概念地圖・A/B 偷看與可選停止
作者 山姆（謝冠生）・喵喵書評創辦人
發布
分類：創業
這一頁不只是把一個概念解釋一遍——一張自己畫的結構圖，加上拿台灣情境從頭走一次的實例演練、這個框架什麼時候會騙你，以及它接回 P.A.I.N. 之後長什麼樣。一頁必須交付的三層 →
A/B 偷看與可選停止：每看一次就多一次機會
花生糖工坊的電商實驗跑到第四天，老闆早上打開後台，看到綠色那一版領先，當場就把它全開了。p 值 0.043，比 0.05 小，數字上完全合格。麻煩的地方在於，0.05 這個門檻是為「資料收完之後只檢定一次」訂的。每多打開一次後台，就等於多丟一次骰子——丟的次數夠多，總會有一次落進顯著區。這張圖畫的是一條模擬路徑：一個真的沒有差異的實驗，p 值一路遊走，中途三次跌破門檻又彈回去。看得愈勤，就愈容易剛好在跌破的那一天收手。
一條遊走的線，穿過門檻幾次
同一份資料，看的次數不一樣，你宣布勝利的機率就不一樣。下面三列講的是同一個沒有差異的實驗。
| 看的方式 | 假陽性率 |
|---|---|
| 只在終點檢定一次 | 5％ |
| 每天看一次、共看 11 次 | 約 19％ |
| 每 500 個樣本看一次、共看 20 次 | 約 23％ |
三個數字都指同一件事：假陽性率跟著「你允許自己看幾次」走。圖上那條線最後停在 0.11，代表這個實驗真正的結論是沒有顯著差異——中途那三次跌破門檻，每一次都只是一個可以宣布勝利的時機。門檻沒有動，動的是機會的數量。而且這筆帳是預先算的：你訂下「每天看一次、只要跌破就收手」這條規則的當下，19％ 就已經定了，跟你後來真的用掉幾次無關。實際看幾次只決定那一次的運氣好不好。
你的實驗有沒有在偷看，三個痕跡查得到
一、開跑前有沒有寫下樣本數。花生糖工坊那份實驗計畫寫了「兩版各 3000 個工作階段、預計 12 天」，這是好事——它代表終點是先算出來的。真正要看的是下一句有沒有寫：在收滿之前，誰都不准開報表。少了那一句，前面那個 3000 就只是個心願，等第四天數字好看的時候，沒有任何東西擋得住那隻手。自問：實驗開始前，我有沒有寫下要跑到多少樣本才看？
二、後台的登入紀錄。這是最誠實的一欄，因為它不受記憶影響。花生糖工坊的老闆記得的版本是「我看了一下就發現贏了」，登入紀錄上是第 2、第 3、第 4 天各一次。三次不算多，重點在於它證明了那條規則存在：他允許自己每天看一次，而膨脹的價錢是照規則算的，不是照他用掉的次數算的。自問：後台的登入紀錄上，這個實驗被打開過幾次？
三、實驗是被什麼喊停的。翻回商品頁改版那天的訊息紀錄，問一句：當時是日曆到期了，還是數字剛好轉綠了？花生糖工坊是後者——第 4 天早上 p 值跌到 0.043，實驗當場結束。由數字觸發的結束，等於把停止時間交給雜訊來挑；由日期或樣本數觸發的結束，時間點在你看到任何結果之前就定好了。自問：這個實驗是在什麼情況下被喊停的，是到期還是到數字？
一間花生糖工坊的商品頁實驗，逐天倒帶一次
底下這家台灣中部的花生糖工坊，是為了把這個結構講清楚而編出來的示意情境，沒有指涉任何真實公司。
- 第 0 天，規劃：商品頁換一組新主圖，A 版舊圖、B 版新圖，兩版各 3000 個工作階段，預計 12 天跑完，只在第 12 天檢定一次。起手是對的
- 第 2 天早上：老闆打開後台。這是第一次。累積不到 1000 個工作階段，p 值還在 0.3 附近，關掉。用掉第一次
- 第 3 天早上：第二次打開。B 版看起來有點起色，p 值往下走了一截，還沒過線。用掉第二次
- 第 4 天早上：第三次打開。累積 1900 個工作階段，p ＝ 0.043。老闆當場把 B 版全開，實驗結束在這裡。只用了三次
- 沒發生的第 12 天：若照原計畫收滿 6000 個工作階段，p 值回到 0.21。這條線後半段的走勢，沒有人看到。結論反向
- 那條規則的價錢：他採用的規則是「每天早上看一次，看到 p 小於 0.05 就收手」，跑滿 12 天會看 11 次，假陽性率約 19％（模擬示意值）。約 19％
第 4 天那個 0.043 之所以看得到，是因為機會用多了：每打開一次後台就等於多做一次檢定，而檢定做得愈多次，撞到一次低 p 值的機率就跟著往上走——那個 0.043 是機會堆出來的，不是主圖換出來的。這裡有一個容易算錯的地方要分清楚：19％ 掛在停止規則上，不掛在他用掉的三次上。他訂下「每天看、跌破就收」的那一刻，這條規則的假陽性率就決定了；他第三次就收手，只是說明這一次運氣來得早。真正的損失也不在那張主圖——B 版全開之後，接下來三個月的每一次改版都會以「新主圖比較好」當前提，而那個前提是一天早上的雜訊給的。以上為說明結構用的示意情境，僅供理解框架之用。
修正過了，還有三件事會出錯
- 序貫檢定要收過路費。知道問題之後，多數人會改用群組序貫或 alpha spending 這類方法，讓中途也能合法地看。那確實有效，代價是中途的門檻會被壓得比 0.05 嚴很多，愈早看愈嚴。換句話說，你買回了提前結束的權利，付出的是靈敏度——同樣大小的效果，現在需要更多樣本才驗得出來。以為換個公式就能「隨便看又不用付錢」，那是把方法當成免死金牌。
- 把時間軸修好了，指標軸還開著。後台一頁二十個指標：轉換率、客單價、加購率、跳出率、停留秒數。就算你守住了「只在第 12 天看一次」，那一次你仍然掃了二十欄，然後挑出唯一一個轉綠的。膨脹只是從時間軸搬到了指標軸，總量沒有變。守法的做法是開跑前指定一個主要指標，其餘全部降級成參考欄。
- 停在門檻上的那個效果，一定被高估。提前停止挑中的是「運氣正好站在你這邊的那一刻」。所以即使兩版真的有差距，在跌破門檻的當下量到的提升幅度，也會比長期的真實幅度大一截。這在寫營收預估的時候最傷：拿一個被挑選過的高點去乘全年流量，做出來的數字會漂亮到讓人不敢質疑，而年底對帳的時候差額全在這裡。
那幾次點開後台，各自花掉了什麼
後台那個按鈕，按下去是要付錢的。
0.05 這條線是為「只看一次」訂的，你每打開一次後台，就多用掉一次機會——這是統計那一半的帳。《痛點》要問的是另一半：那幾次早上八點的點擊，動力是哪裡來的？多半是老闆心裡有一件更急的事，例如新主圖的拍攝費已經花掉了、例如下週要跟通路報數字。偷看很少是統計素養的問題，它是壓力找到的出口——p 值只是剛好長得像一個可以用來停手的理由。這張圖畫得出你把機會花在哪幾天，畫不出那幾天你為什麼急。而那個「為什麼急」才是真正要處理的東西：如果一個實驗跑滿 12 天會讓某個人交不了差，那該修的是交差的節奏，先修節奏，再談停止規則。今晚做一件事：打開手上正在跑的那個實驗，在說明欄第一行寫下「收滿 ____ 個樣本之前不開報表」，把數字填進去，截圖丟進團隊群組。有人看著，那條線才擋得住第四天早上的自己。
常見問題
實驗跑到一半完全不能看嗎？
可以看，但要分清楚看什麼。看流量分配有沒有歪、看兩版有沒有壞掉、看訂單有沒有正常寫進資料庫，這些是健康檢查，隨時都該看。不能做的是拿當下的 p 值決定要不要收手。實務上最簡單的辦法是把主要指標的顯著性欄位從日報上拿掉，只留在最終報告裡。看不到那一欄，手就不會癢。
用序貫檢定就可以隨便看了嗎？
序貫檢定讓「中途看」變成合法動作，前提是看的時程與每一次的門檻都在開跑前定好，並且照著執行。它處理的是規則，處理不了臨時起意。如果你今天心血來潮多看一次、明天覺得數字不好又多等三天，那已經跳出這套方法的假設了，算出來的門檻不再保護你。真正的分界線在於：停止規則是不是在你看到資料之前就寫死了。
樣本數要怎麼在開跑前算出來？
要三個輸入：目前的基準轉換率、你認為值得改版的最小提升幅度、以及可以接受的錯誤率。線上的樣本數計算器丟進去就有答案。多數電商實驗算完會嚇一跳——想驗證 1％ 的相對提升，往往需要幾十萬個工作階段。這個數字本身就很有價值：它會告訴你，有些改版根本不值得做 A/B 測試，直接憑判斷做完上線還比較省。
已經偷看過、也已經上線了，怎麼補救？
不必推翻已經上線的版本，但要把它從「已驗證」降級回「未驗證」。做法是重新跑一次乾淨的實驗：同樣兩版、樣本數先算好、停止時間先寫死、中途不看主要指標。這一次的結論才是可以拿去做決策依據的。如果重跑的成本太高，至少在文件上註記「此結論由提前停止取得」，別讓它變成後續三次改版的預設前提。
調出實驗後台的登入紀錄，數一數這個實驗你看過幾次。同時比很多組造成的膨脹，另一張圖拆過多重比較；至於合法的提前結束該怎麼設計，可以接著看提前停止曲線。
喜歡這篇文章嗎？
每週幫你拆二本好書，把判斷力、好書金句、好問題，直送你的信箱。
不適合你可隨時退訂 · 每週兩封，陪你把書讀進生活。
送出即表示同意我們依隱私權政策使用你的 email。