概念地圖・後設認知校準曲線
分類:生產力
這一頁不只是把一個概念解釋一遍——一張自己畫的結構圖,加上拿台灣情境從頭走一次的實例演練、這個框架什麼時候會騙你,以及它接回 P.A.I.N. 之後長什麼樣。一頁必須交付的三層 →
後設認知校準曲線:拆開任務,看見自信落差
桂竹筍標籤校稿時,檢查者對兩種版型都蓋下八成把握。把答案對完,熟悉版型與新客版型的落差剛好互相抵掉。這是構造資料呈現的情境。後設認知校準曲線把自報信心與實際正確率放在一起:合併後的一條線可以漂亮貼齊對角線,拆成任務卻分站兩側。要交付下一批工作,主管得追到哪一類判斷需要陪看——平均剛好,支援仍可能放錯地方。
三條曲線,同時看見分組與合併
先固定讀法:橫軸是對自己選定答案為正確的信心,縱軸是同一信心格裡,經事先固定答案查核後的答對比例。每題只有正確或錯誤兩種結果。以下全為構造資料,分母就是各格樣本數。
| 自報信心 | 任務 A:答對/題數 | 任務 B:答對/題數 | 合併:答對/題數 |
|---|---|---|---|
| 50% | 14/20=70% | 6/20=30% | 20/40=50% |
| 70% | 18/20=90% | 10/20=50% | 28/40=70% |
| 90% | 20/20=100% | 16/20=80% | 36/40=90% |
任務 A 的點在對角線上方,代表實際答對比例高於原先把握,信心報得保守。任務 B 在下方,表示把握報得過高。兩組每格題數相同,合併比例恰為兩組正確率的平均——一邊多出的落差,剛好補上另一邊缺的。金線沿著對角線走,只描述這份混合資料;圖上僅連接有資料的三個信心點,空白區域要留給後續紀錄。
「信心與正確程度如何對上」可參考心算判斷的校準研究;研究使用自己的題目與評分方式。本文另行構造任務分組,專門展示合併遮蔽,沒有沿用文獻的實測數字。
讀出落差所需的四個紀錄條件
一、答案揭曉前,把信心留下來。校稿者選完「符合」或「不符合」,就先填把握百分比,再翻核准樣版對答案。主管提示後重填的數字應另外留欄;最初判斷才能拿來核對當時的把握。口頭說過一句「應該可以」很難回收成可比較的紀錄——下一輪就容易變成大家都記得自己早有疑慮。自問:我是否在知道結果之前,記下對所選答案的信心?
二、同一張樣版,固定核對邊界。桂竹筍業者先保存已核准的版型版本,將單題定義為「這張待印稿是否符合該樣版」。判錯與判對都依這個版本核查,排版偏好另開討論。中途換了客戶要求,就新增版本紀錄——拿舊要求答題、拿新要求打分,曲線量到的是規則移動。這項練習只做版型符合與否的核對,不涉及食品安全判定。自問:每題的正誤答案與驗證規則,是否事先固定且能重查?
三、先分任務,再看每格有幾次。既有版型與新客版型先各自登記,同時保留日期、核稿者與樣版版本。每格要一起顯示答對次數、總次數與比例;實際累積後再補不確定區間。分得過細,一格可能只有零星幾題——線就會隨少數答案大幅晃動。分得太粗,又把需要不同支援的工作混在一起。自問:任務是否按有用的差異分層,而且每個信心格有足夠樣本?
四、看貼線程度,也看能否分開正誤。主管若想用低信心挑出陪看稿,就得確認同類任務裡,低信心是否比較常答錯、高信心是否比較常答對。把全部信心往下改,可能讓部分點接近對角線,也可能把原本保守的既有版型推得更遠——整批一起「謙虛一點」缺乏依據。自問:除了信心是否吻合,我也檢驗了信心區分正確與錯誤的能力嗎?
桂竹筍標籤校稿,把兩種版型拆開
底下這家台灣中部的桂竹筍業者,是為了把這個結構講清楚而編出來的示意情境,沒有指涉任何真實公司。場景放在南投,業者準備核對下一輪待印標籤,範圍限於是否符合已核准的樣版。
- 留下兩種信心格:每次先選定符合或不符合,再記60%或80%把握。既有版型與新客版型各自在兩格放入10次判斷,以下次數皆為構造。每格分母看得見。
- 既有版型答對較多:60%把握那格答對9/10次,80%那格也答對9/10次,正確率各為90%。兩格都高於自報信心——熟悉的規格被報得保守。留待更多資料確認。
- 新客版型先加陪看:60%把握那格答對3/10次,80%那格答對7/10次,正確率各為30%與70%。新客樣版的判斷落在對角線下方——主管先安排熟手一起核對,仍沿用原本交付檢查。八成把握也有落差。
- 合併後漂亮貼線:60%那格合計答對12/20次,恰為60%;80%那格答對16/20次,恰為80%。若只留這兩點,任務別需要的支援就被抵掉了。同一個八成,兩種工作處境。
主管看到整體八成吻合,就讓檢查者獨自接下一批新客稿,會把既有版型累積的答對次數借給陌生工作。拆開之後,先讓熟手陪看新客版型,核對時記下卡住的版面位置與查詢路徑;既有版型照既定程序完成。這個安排可以撤回,也能隨後續紀錄調整——十次判斷的樣本很小,還不足以替人貼上穩定的能力標籤。持續累積同口徑資料、補上區間,再討論支援是否減量。以上為說明結構用的示意情境,僅供理解框架之用。
這條校準曲線什麼時候會騙你
- 小樣本也會湊出漂亮抵銷。圖裡的合併貼線是刻意構造;現場少量判斷也可能偶然呈現相似結果。一次多答對或少答對,就足以讓小格比例明顯移動——先保留每格次數、補區間,並看後續批次能否維持。單輪貼線就宣布已掌握自己的能力,會把巧合寫成交接依據。
- 挑簡單的題目,曲線就換了母體。校稿者開始避開新客版型,只交熟悉稿,整體正確率和信心關係也會改變。若報表沒有登記被跳過、轉交與求助的任務,改善可能來自題目組成移動——回顧時把這些去向留在帳上,再比較條件相近的工作,才能判斷支援措施的作用。
- 全員混成一條線,責任就跟著失焦。本文先示範任務合併;實務上也可能把不同人、不同班次放進同一格。集體曲線吻合時,某個人仍可能在某項工作報得過高。分組的目的要連到可採取的支援,資料足夠再往下拆——過度切碎同樣會製造不穩定的紅燈。
痛點視角:誰在平均值裡失去支援
平均剛好,常讓陪看的人提早離席。
檢查者接下新客稿時,主管看見整體曲線過關,就可能把最需要支援的一段交回他獨自承擔。沿著《痛點》的 P.A.I.N. 追下去,先認出誰卡在交付前,再看他在哪個版型反覆翻找樣版、等誰回覆,最後才決定陪看要放在哪一站。這張圖畫得出信心與正確率的落差,畫不出一個人求助時要付出的難堪。如果低報把握就會被責備,下一輪數字也會帶著那份壓力——紀錄制度本身會改變人願意留下什麼。資料討論先對準任務,讓求助有可走的路。今晚挑一張新客待核稿,在交接欄寫下陪看者與可詢問時段,讓下一次卡住有人接得上。
常見問題
校準曲線在對角線上方,代表太有自信嗎?
上方表示實際正確率高於自報信心,這批判斷報得偏保守。下方才表示信心高於答對比例。讀圖先確認兩個軸的定義,再把某個點翻成一句話:例如主圖任務 A 報70%那格,實際18/20題答對,也就是90%。往後換成其他任務或另一批資料,仍要重新核對,避免把局部結果當成固定性格。
合併已經吻合,還需要拆任務嗎?
當任務會影響交付方式、求助管道或熟悉程度,就值得保留分層。本文的等量構造讓兩側落差完全抵銷;現場各組題數不同,合併比例要依各格的實際次數加權。即使整體貼線,也要回到接下來要派的那類工作。拿大量熟悉稿的紀錄支持少量陌生稿獨立交付,會讓平均替支援安排做了錯誤背書。
校準良好,就知道自己哪一題會錯嗎?
校準談的是各信心格與答對比例的吻合程度;找出哪一題較可能錯,還需要檢驗任務內的分辨力。Volz 等人的後設認知測量比較提醒,指標的概念差異會影響解讀,選法應貼合要回答的問題。主管若要優先陪看低信心稿,就另外確認那些稿是否較常出錯——一條合併校準線還欠這份判斷證據。
才剛開始記,多少題可以拿來安排支援?
沒有一個題數能直接適用所有任務;需要多少資料,取決於想辨認多細的落差、各格分布,以及安排錯誤的代價。本文每格十次的場景僅用來解釋結構。起步時保留原有檢查,先採可逆的陪看安排,同時累積固定口徑的判斷與不確定區間。等不同批次的方向穩定,再討論是否減少支援。
從最近一輪校稿留下的把握數字,分出需要陪看的一類任務。接著用過度自信與信心落差釐清偏差方向,透過機率預測的評分延伸評估方法,替下一輪留下可追查的判斷紀錄。
喜歡這篇文章嗎?
每週幫你拆二本好書,把判斷力、好書金句、好問題,直送你的信箱。
不適合你可隨時退訂 · 每週兩封,陪你把書讀進生活。
送出即表示同意我們依隱私權政策使用你的 email。