概念地圖・人類回饋強化學習管線
作者 山姆（謝冠生）・喵喵書評創辦人
發布
分類：創新
這一頁不只是把一個概念解釋一遍——一張自己畫的結構圖，加上拿台灣情境從頭走一次的實例演練、這個框架什麼時候會騙你，以及它接回 P.A.I.N. 之後長什麼樣。一頁必須交付的三層 →
人類回饋強化學習管線：偏好如何進模型
魚礁監測摘要送到審稿人手上，一份把缺測欄寫成「狀況良好」，另一份明寫「這次無資料」；審稿人勾選第二份，這個勾要經過好幾站才會影響模型。人類回饋強化學習（RLHF）把這類判斷送入訓練流程。真正要追的是每一站收到了什麼——範文、勝負紀錄，還是模型預估的獎勵分數。
本頁以2022 年 InstructGPT 論文的經典流程為例：先用示範做監督式微調（SFT），再用人類比較訓練獎勵模型，最後以 PPO 更新策略，並用相對參考策略的 KL 懲罰約束偏離。RLHF 有多種實作。下方魚礁場景為本頁編寫的應用示意，聚焦「評分理由如何進入作業」，訓練批次與部署分開處理。
示範、排序與更新，資料各去哪一站
把資料夾按用途分開，才能追查一個錯誤回答在哪一站被鼓勵。下面把本頁示意的交付物攤開。
| 作業站 | 交進去的東西 | 交出去與查核重點 |
|---|---|---|
| 示範微調 | 監測表、摘要指令、人工寫好的範文 | SFT 策略。檢查範文有沒有保留缺測狀態。 |
| 偏好比較 | 同一份原始表、A／B 候選、人工排序 | 偏好資料供獎勵模型學習。保存審稿依據。 |
| 策略更新 | 訓練提示、生成回答、獎勵分數 | PPO 調整策略，參考策略與 KL 懲罰約束偏離。 |
| 另設評估 | 隔離保留的缺測、矛盾紀錄、正常資料 | 人工回查原表，通過後才安排部署。 |
魚礁團隊若只存「B 勝」，事後很難追查評分理由。可能是 B 附來源，也可能是它比較短。勝負可以成為訓練訊號；理由則留給資料稽核與準則修訂——兩種紀錄都值得保留。
開訓之前要對齊評分任務
一、把好回答寫到別人能照做。魚礁監測表少一欄時，示範摘要要指出哪個觀測項目缺資料、這次可用的紀錄到哪裡，以及哪些結論暫緩。只寫「務必嚴謹」會把判斷留給模型自行猜。請另一位審稿人照範文改一次摘要，看他是否還得追問——追問的那一格就是示範尚未交代的條件。自問：示範是否具體到可以依樣執行？
二、讓原始紀錄坐上評分桌。比較 A 與 B 時，審稿畫面同時顯示魚礁監測表。準則寫清楚來源可追溯、缺測須標示、結論涵蓋範圍要貼合原表。遇到文字流暢但補出觀測結果的候選，就把問題圈在對應句上——這個圈比「我覺得怪」更容易讓下一位標註者理解。自問：排序準則是否包含事實依據與不確定性？
三、在訓練前先封存考題。魚礁團隊把缺測、矛盾紀錄與正常資料各留一批，按調查批次隔離，避免同一份表的改寫流進訓練與評估兩邊。另加「到處寫無資料」的候選，測試評分器會不會偏愛這個口頭禪——正常表格有記錄時，助理仍應完成摘要。自問：是否留出評估資料，並測試獎勵取巧？
魚礁監測摘要助理的一輪偏好標註
底下這家台灣中部的魚礁監測公司，是為了把這個結構講清楚而編出來的示意情境，沒有指涉任何真實公司。
- 先做示範。團隊替摘要助理準備範文：引用監測表中的來源欄，逐項保留已知觀測，缺測項目寫明「這次無資料」，並提醒後續補測。這些範文用於示範微調。交代到句子，審稿才有落點。
- 同題比較。兩個候選都收到同一份表。A 寫「魚礁狀況良好」，把缺測項目補成肯定結論；B 寫「該項目這次無資料」，保留其他已知觀測並引回表內來源。審稿人標註 B 較好，理由是保留未知與引來源。A 那句放心，原表沒有提供。
- 累積偏好資料。這一對 A／B 只是一筆樣本。團隊還要蒐集足夠且多樣的比較資料，隔離保留集，抽查標註分歧。偏好標籤供獎勵模型訓練，文字理由另留作稽核。模型學到什麼，要能往回追。
- 更新後再考。策略生成訓練回答，獎勵模型評分，PPO 依訓練目標更新；再拿封存的三類資料人工核對。碰到相互矛盾的監測紀錄，應說明衝突及待確認處。訓練分數上升，部署仍須過關。
這一輪最有用的交付物，是連得回原表的判斷紀錄。審稿人選 B，還要寫清楚哪個缺測欄阻止了哪一句結論。往後若助理開始對每一項都說「資料不足」，團隊便能回到正常資料的保留集查核，找出過度保守的回答。若 B 引了來源卻引錯欄位，也應退回——外觀完整的引用還需要逐項驗證。這筆樣本沒有證明整個模型已經可靠；它只把一項可教、可查的偏好留下來。以上為說明結構用的示意情境，僅供理解框架之用。
偏好評分什麼時候會騙你
- 標註者的方便可能壓過使用者的需要。熟悉原表的審稿人可能偏愛極短摘要，接手魚礁資料的人卻需要缺測原因與來源位置。把這兩種需求混成單一勝負，會抹掉交接時的麻煩。評分前先寫出預定讀者，分開記錄不同角色的理由——平均偏好常會把少數人的障礙磨平。
- 獎勵代理會留下可以鑽的洞。假設評分器偏愛帶有「無資料」與引用樣式的文字，策略可能反覆產生這些外觀，甚至漏掉原表已有的觀測。評估時放入有來源標籤但內容錯誤、語氣謹慎但刪除關鍵資訊的候選——高分出現在哪裡，就回原表核對哪裡。
- 換一批資料，舊準則可能接不住。魚礁監測遇到新的記錄格式、術語或彼此矛盾的欄位，既有偏好樣本可能缺乏相似情況。上線後仍要追蹤這類錯誤，累積到後續訓練批次。RLHF 調整行為偏好，來源檢索與事實核對必須獨立完成——評分器本身也需要被查。
偏好背後仍有資料空白
每一次勾選，都在替未來的讀者決定哪些麻煩值得被看見。
魚礁摘要的接手者，可能最怕的是拿著一句「良好」往下交件，到了追問時才發現觀測根本缺席。《痛點》的 P.A.I.N. 視角會把這個人拉回評分現場：他拿摘要做哪個決定，哪個資訊空白會逼他重查，誰要承擔重查的時間？這張圖畫得出偏好進入訓練的路徑，畫不出接手者面對空白時的壓力。因此，審稿準則要留位置給使用者的處境。有人想讀得快，有人要能追溯；把分歧存起來，才有機會調整任務邊界。今晚拿一組意見不一致的摘要，請兩位審稿人各圈出一句最擔心被拿去引用的話，再把理由附回原始紀錄——從那一句開始重寫準則。
RLHF，常被問到的幾件事
我按一次讚，模型會立刻重新訓練嗎？
本頁流程把回饋收集、批次訓練、評估與部署分開。一次選擇可以成為後續資料的一部分，仍要經過清理、抽查與資料切分。魚礁團隊也要確認當時使用的原表與候選版本，才知道那個讚支持了什麼。線上服務何時採用新模型，要看另行安排的發布流程——單次勾選不直接觸發本圖的全部更新。
獎勵模型給高分，就表示摘要內容正確嗎？
高分代表評分器依學到的偏好做出的估計。魚礁團隊仍須逐句回到監測表，確認觀測值、缺測狀態與引用位置。若評分器經常把措辭完整的錯誤摘要排在前面，就該把這種失誤送入資料稽核，檢查準則和樣本分布。獎勵分數適合觀察訓練方向；事實正確性另設查核紀錄。
只有 A、B 這一對候選，可以開始訓練嗎？
這一對適合拿來討論準則與演練標註。真正的訓練要有更大、更多樣的資料，涵蓋不同提示和回答失誤，並隔離評估用途。先看團隊能否對「為什麼 B 較好」取得可執行的共識，再擴充收集。這裡沒有提供通用的最低筆數；單一樣本無法支撐對整個助理可靠性的判斷。
模型交給下一位讀者前，先讓一份缺測紀錄走完整個交付流程。想追獎勵訊號如何牽動行動，可接著看Q-learning 的獎勵更新；要在回答前補入可查證資料，則看檢索增強生成管線。
喜歡這篇文章嗎？
每週幫你拆二本好書，把判斷力、好書金句、好問題，直送你的信箱。
不適合你可隨時退訂 · 每週兩封，陪你把書讀進生活。
送出即表示同意我們依隱私權政策使用你的 email。