概念地圖・A／B 測試的樣本數與檢定力
作者 山姆（謝冠生）・喵喵書評創辦人
發布 最後更新
分類：行銷
這一頁不只是把一個概念解釋一遍——一張自己畫的結構圖，加上拿台灣情境從頭走一次的實例演練、這個框架什麼時候會騙你，以及它接回 P.A.I.N. 之後長什麼樣。一頁必須交付的三層 →
A／B 測試的樣本數與檢定力：別急著喊贏
一個線上售票平台的結帳頁跑了四天 A／B。A 版轉換 3.1%，B 版 4.2%。行銷在群組裡貼了截圖，配一句「B 版贏了，上吧」。往下捲一頁，兩組各九百多人。樣本數與檢定力，就是替這種時刻寫的算式：先講清楚你想抓到多小的差，再回頭算要餵多少人進去才抓得到。以這個頁面 3.1% 的基準、雙尾 α 0.05、檢定力 80% 來估，各組九百人能穩定分辨的最小差，是 74% 的相對提升。截圖上那個差，35%。它整個落在雜訊裡。
想抓到多小的差，就得餵多少人
把那條曲線攤成四格。基準轉換率固定在 3.1%，雙尾 α 0.05、檢定力 80%，用 n ≈ 16 × p（1−p）÷ δ² 估出每組所需人數。最後一欄是把人數換算成這個平台的日曆——它的結帳頁平均一天餵得動每組約 570 人。
| 想偵測的相對提升 | 3.1% 要變成 | 每組所需樣本數 | 這個平台要跑多久 |
|---|---|---|---|
| 40% | 4.34% | 約 3,100 | 不到一週 |
| 20% | 3.72% | 約 12,500 | 約三週 |
| 10% | 3.41% | 約 50,000 | 約三個月 |
| 5% | 3.26% | 約 200,000 | 約一年 |
四格之間只有一條規律：δ 蹲在分母的平方裡，所以效果減半、人數就要四倍。3,100 到 12,500 到 50,000 到 200,000，每一格都乘四；換成日曆，是不到一週、三週、三個月、一年。真正卡住多數團隊的，往往落在第一欄——他們從來沒填過它。沒填，等於默默預設自己只想抓「肉眼可見的大勝」，卻拿這個默認值去審一個 5% 的改版。
五個參數，逐格決定這場測試成不成立
一、基準轉換率 p。分子裡的 p（1−p）從這裡來。同一句「兩週就有結論」，在 3.1% 的頁面和 0.8% 的頁面是兩個世界：基準愈低，同樣的相對提升要的人愈多，大致跟 1／p 成正比。所以聽到同業說他們測得很快，先問基準，再問他測的是哪一頁。自問：我要測的那個頁面，近 90 天的基準轉換率是多少？
二、想偵測的最小效果 δ。五格裡唯一沒有標準答案的一格。資料不會告訴你「多小的差你不在乎」，這個數字只能你自己填。填 40%，你買到一週結案；填 5%，你買到一年。填愈小，帳單愈長，而且是四倍四倍地長。自問：小於多少的提升，我看到了也不會為它改版？
三、顯著水準 α。你願意誤報的比例。0.05 的白話是：就算 A、B 其實一模一樣，每二十次也會冒出一次「顯著」。一季只跑兩場，這件事很遙遠；一季跑四十場，它每個月都會來敲門一次。自問：這一季我一共要跑幾場測試？誤報一次的代價由誰承擔？
四、檢定力 1−β。80% 的白話是：真的有那個效果時，你有八成機會抓到，兩成機會空手而回。麻煩不只在漏抓——檢定力愈低，能跨過門檻的就愈集中在那些被雜訊推高的樣本，你留下來的贏家因此會系統性地偏大。自問：漏掉一個真的有效的版本，我損失多少？這個損失撐得起把檢定力拉到 90% 的成本嗎？
五、流量與時間。前四格算出的是分子，這一格是分母的現實。把每組所需人數除以「一天餵得動幾人」，你會得到一個日曆數字。多數關於「要不要測」的爭吵，在這個日曆數字念出來之後就自動結束了。自問：以現在的流量跑到收斂要幾天？這幾天蓋得過一個完整的週循環嗎？
一個台灣線上售票平台的結帳頁，五個參數一格一格估
- 基準轉換率：結帳頁近 90 天平均 3.1%，旺季高、離峰低，年度平均倒是穩定。現成資料
- 最小可偵測效果：問行銷想抓多小的差，回一句「有差就好」。這格空白
- α 與檢定力：沿用 0.05 與 80%，沒人反對，也沒人算過它的價錢。照慣例
- 流量：平均一天每組約 570 人，那四天卡在兩檔大型演唱會之間的離峰，各組只累積到 900。差十四倍
- 停表規則：每天早上九點打開儀表板看一眼，看到綠色就想收工。偷看
五格填完，這場實驗的判決其實在開跑前就寫好了：要穩定看見 20% 的相對提升，每組需要 12,500 人，而平台一天給得動每組 570 人，也就是三週。行銷手上那份四天各組 900 人的資料，能分辨的最小差是 74% 的相對提升，B 版那個 35% 完全被蓋在底下。第五格更麻煩：就算兩版一模一樣，天天偷看、連看十次，「至少有一天亮綠燈」的機率也會從 5% 爬到接近兩成。所以這場實驗真正的產出，是逼出一句本來沒人想講的話——願意等三週，就能看見 20% 以上的差；連三週都等不起，就代表這次改版還沒到值得用 A／B 決定的量級。以上為說明結構用的示意情境，僅供理解框架之用。
這條曲線什麼時候會騙你
- 顯著，跟值得做，是兩件事。p 值只管「這個差有多難用巧合解釋」，它不認得毛利，也不認得工程排期。這個頁面一年大約四十二萬人次走過，3.1% 提到 3.72% 是一年多兩千六百張單、多進帳三十一萬。改版要三個工程師做兩週，這筆帳值不值得，跟顯著與否沒有關係。先算這一筆，你常會發現根本不必測。
- 算出來的樣本數是一張到期日。那個數字的前提是你只在跑滿之後看一次。每天看一次、看十次，等於做了十次檢定，就算兩版毫無差別，至少一次跳出顯著的機率也會漲到接近兩成。同一場實驗同時盯六個彼此獨立的指標是同一種偷看，至少一個顯著的機率會到 26%。要嘛開跑前就把停表日寫進實驗計畫，要嘛改用容許中途看的序貫檢定，並吞下它更嚴的門檻。
- 檢定力不足的時候，你抓到的贏家會被灌水。80% 已經是低標，實務上很多實驗只有三、四成。低檢定力下，只有那些「剛好被雜訊推高」的結果才跨得過門檻，於是留下來的贏家，效果幾乎必然大於真值。很多「測出來 +20%」的改版，年底回頭看只剩個位數，源頭常常在當初那個數字本來就膨脹過。
開跑前那個空格，比跑完的 p 值更難填
五格參數裡，有四格是查得到的。
剩下那一格叫最小可偵測效果。它要你在開跑前就寫下一個數字，而且默默附帶了後半句：低於這個數字的改善，我不在乎。這句話表面上在講統計，實際上在講客戶——你敢說「3.1% 提到 3.26% 我不在乎」，是因為你判斷這群人的痛還沒痛到那個刻度；真在乎，你就會去湊那二十萬人。所以填 δ 的過程，是拿統計的語法逼你把「這群人到底多痛」講成一個可以驗的數。這條曲線畫得出你要多少人才看得見那個差，畫不出那個差被看見以後，值不值得你動手。今晚打開最近那份實驗計畫，在最上面補一行：「小於 ___% 的提升，我們不會為它改版。」把數字填進去，然後拿去問負責那個頁面的人——這個門檻，你認嗎。
常見問題
檢定力一定要 80% 嗎？
80% 是 Jacob Cohen 留下來的慣例，沒有任何規定強制它。它的意思是你接受兩成的機率白跑一場。同樣的基準與效果，拉到 90% 每組人數大約要多三成四，拉到 95% 要多六成六；反過來降到 70%，可以省下約兩成。低成本又可逆的改動（換個按鈕文案）用 70% 換更快的結論，通常划算；一次要重寫結帳流程的改版就別省。關鍵是開跑前選定，別跑完發現不顯著再回頭調鬆。
樣本數還沒跑滿，可以先看結果嗎？
看可以，拿它做決策不行。每天偷看一次、看十次，就算兩版一模一樣，至少一次跳出顯著的機率也會從 5% 漲到接近兩成——你等於花了十次抽獎機會去買一個 5% 的門檻。想合法地邊跑邊看，得換工具：序貫檢定、alpha spending，代價是每次查看的門檻更嚴。實務上最省事的作法是開跑前把停表日與樣本數一起寫進計畫，中途只看「有沒有壞掉」（錯誤率、頁面爆掉、流量分配歪掉），不看勝負。
每組 12,500，是每組還是總共？
每組。A、B 兩組就是 25,000 人次。這也是為什麼多臂測試特別貴：同時測 A、B、C、D 四個版本，總量要五萬，而且四個版本互相比較還會把偽陽性推高，α 得再往下調，人數又要往上補。流量不寬裕的時候，把四個版本排成兩輪兩兩對決，通常比一次擺四臂划算——前提是兩輪之間的季節性沒有大變。
為什麼轉換率低的頁面特別吃人數？
因為相對提升要先乘上基準才會變成絕對差，而絕對差在分母裡是平方。基準 3.1%、想抓 20% 的提升，每組 12,500；基準掉到 1%、同樣想抓 20%，每組要 39,600，三倍多。所以冷門品類、高單價、低頻的頁面幾乎測不動小改版，那是分母的問題，跟團隊努不努力無關。這類頁面比較務實的路是改測上游的漏斗步驟（那裡人多），或乾脆放棄 A／B，改用質性訪談決定。
客單價、停留時間這種指標也能套這條算式嗎？
不能。16 × p（1−p）÷ δ² 這個形式假設指標是二元的，也就是買或沒買。連續型指標要改用變異數：n ≈ 16 × σ² ÷ δ²。難處在於客單價常有長尾，一張兩萬元的搖滾區套票就能把整組平均拉走，變異數大到你需要的人數遠超直覺。實務上會先做兩件事：把極端值截尾（壓到 99 百分位），或改看轉換率、中位數這類穩健指標，然後再算樣本數。
樣本數談完，下一個要盯的是那個被測的指標本身——結帳轉換率漲了 20%，若漲的是折價券催出來的一次性訂單，曲線算得再準也白算。挑指標的判準，可以接著看北極星指標；想確認一次改版的效果是留得住還是三個月後蒸發，同期群留存曲線是比單次 A／B 更耐看的一張圖。
喜歡這篇文章嗎？
每週幫你拆二本好書，把判斷力、好書金句、好問題，直送你的信箱。
不適合你可隨時退訂 · 每週兩封，陪你把書讀進生活。
送出即表示同意我們依隱私權政策使用你的 email。