概念地圖・伯克森悖論
分類:系統
這一頁不只是把一個概念解釋一遍——一張自己畫的結構圖,加上拿台灣情境從頭走一次的實例演練、這個框架什麼時候會騙你,以及它接回 P.A.I.N. 之後長什麼樣。一頁必須交付的三層 →
伯克森悖論:一道門檻,切出原本不存在的負相關
一個美食社團的版主,往下滑自家社團的貼文列表,滑出一條規律:裝潢好看的店,味道普遍普通。他把這句話貼出來,三百多則留言都在附和,還有人補了幾家自己踩過的雷。可是這條規律的作者不在店家身上,在那道看不見的門——兩樣都不行的店,根本不會有人貼上來。伯克森悖論說的就是這件事:當你只看得到通過某個門檻的樣本,兩件原本各走各的事,會在你眼前排成一條清楚的下坡。
圖上這 40 個點是為了讓那個幾何看得清楚而排的,真實資料通常沒有這麼乾淨。但幾何本身不會變:只要門檻同時吃兩項,被留下來的那一角就會自己長出斜率。
四段才藝分,各自留下多少人
把那 40 位報考者按才藝分切成四段,數一數每一段有幾個人走進了金色框。
| 才藝分帶 | 母體有幾人 | 拿到證幾人 | 這幾位的互動分 |
|---|---|---|---|
| 8 分以上 | 9 | 5 | 3.2、4.3、4.5、5.1、7.1 |
| 6 到 8 分 | 9 | 6 | 5.1、5.8、6.3、7.0、7.4、9.3 |
| 4 到 6 分 | 9 | 2 | 8.1、9.7 |
| 4 分以下 | 13 | 1 | 9.1 |
四段的母體人數其實差不多(9、9、9、13),拿到證的人數卻從 5、6 一路掉到 2、1。真正該盯的是最後一欄:才藝 8 分以上的持證者,互動分低到 3.2 也照樣過關;才藝不到 6 分的持證者,互動分沒有一個低於 8.1。門檻沒有針對任何人,它只要求兩項合計滿 12 分——才藝借不到的部分,只能拿互動去補。於是「才藝低的人互動一定很好」這句話,被門檻自己寫進了名單裡。
哪一道門切過你的資料,拆成四個問題
一、那道門長什麼樣子。先把篩選條件寫成一句話,寫不出來就代表你還不知道自己在看誰。要注意的是,門常常不是任何人設的:留下評論的顧客、願意受訪的客戶、撐過第一年的同業,這些名單都有隱形的入場條件,只是沒有人把它印在簡章上。自問:這份資料裡的人,是通過了什麼才進來的?
二、這道門吃了幾項。這是全篇最關鍵的一格。門檻只看單一條件時,另一項的分布完全不受影響,兩項之間不會憑空長出關係。真正會製造假負相關的,是「合計滿幾分」「兩項至少一項夠強」這種補償式的門檻——它允許一項不足由另一項頂上,於是留下來的人身上,兩項自動變成互相取代的關係。自問:這道門是只看一項,還是允許互相補分?
三、被擋掉的那群佔多少。擋掉的比例是你估計傷害的第一個數字。街頭藝人考照擋掉 26 位、留下 14 位,落榜的那群比留下來的還多;線上問卷的回收率若只有一成五,等於門後八成五的人沒有出現在任何一條結論裡。比例本身不決定假關係有多強,但它決定你講話該多小心。自問:門後那群人的規模,跟我手上這群比起來如何?
四、你的結論走出框外沒有。框內算出來的關係,適用範圍就是框內。承辦人可以合法地說「持證藝人裡,才藝與互動呈負相關」,但只要句子改成「有才華的街頭藝人比較不會互動」,主詞就悄悄從持證者換成了全體。這種偷換多半發生在報告的摘要頁,資料處理的那一步反而很少出錯。自問:我這句話的主詞,跟我算的那群人是同一群嗎?
一場台灣街頭藝人考照,把看不見的那一群框出來
- 門檻怎麼寫:某縣市街頭藝人證照考試,兩位評審就「才藝」與「互動」各打 0 到 10 分,合計滿 12 分發證。40 位報考,14 位過關。規則公開透明,這一步沒有問題
- 半年後的統計:承辦人把持證者名單拉出來跑相關,才藝與互動的相關係數是 -0.87,看起來強得不像雜訊。名單裡只有過關的那 14 位
- 報告的結論:「本縣持證藝人,才藝越強者互動越弱」,並建議編列高才藝者的互動培訓經費。替一個不存在的問題編預算
- 把落榜的 26 位放回來:同一批人、同一份評分表,一起算的相關係數是 0.00,迴歸斜率同樣是 0.00。換一份名單就換一個結論
- 換一種門檻想一次:如果規則改成只看才藝、7 分以上發證,互動分完全不參與篩選,持證者的互動分布就會跟母體長得一樣。問題出在「合計」那兩個字
這場考照從頭到尾沒有人做錯事。評審照表打分,門檻印在簡章上,承辦人跑的相關係數也算對了。歪掉的是那份名單的邊界——它由門檻畫出,卻被當成整個街頭藝人族群。被切掉的到底是誰?是那些才藝普通、互動也普通的報考者,兩項加起來不到 12 分,連進入統計的資格都沒有。他們一走,畫面上就只剩兩種人:才藝夠強所以互動可以將就的,和才藝不夠所以互動非得很好的。這兩種人擺在同一張圖上,當然排成一條下坡。承辦人真正該做的一件事,是把落榜那 26 份評分表也調出來——那份資料一直都在檔案櫃裡,只是沒有人想到要看。以上為說明結構用的示意情境,僅供理解框架之用。
這張散點圖什麼時候會騙你
- 門檻只吃一項時,這張圖是白畫的。伯克森悖論要成立,篩選條件必須同時牽動兩個變數。如果發證只看才藝、互動分完全不參與,那互動的分布就跟母體一模一樣,兩項之間不會生出任何關係。看到一份被篩過的資料先別急著喊悖論,先看那道門吃了幾項——只吃一項的話,你遇到的多半是別的毛病,例如樣本量太小或量表本身有問題。
- 把門檻放寬救不了你。這是最違反直覺的一格。拿兩欄互不相關的隨機分數自己算一次就看得到:門檻設在合計 12 分時,通過的約三成二、框內相關係數約 -0.50;門檻降到 8 分,通過率拉高到將近七成,相關係數只從 -0.50 變成 -0.43;門檻拉到 14 分、只剩不到兩成通過,相關係數還是約 -0.50。換句話說,那條假斜線幾乎不理會你把門開多大。要讓它消失,得動的是「兩項合起來算」這個做法本身,調鬆調緊都在原地打轉。
- 它常被當成另外兩種偏誤,切口其實在別的地方。倖存者偏誤是整群失敗者從清單上蒸發;辛普森悖論是人齊全,你一分組方向就翻過來。伯克森的特徵更窄:樣本被一條斜線切過,留在線上方的那一群自己長出關係。診斷錯了開的藥也會錯——補樣本、拆分組、找門檻,是三件互不相通的事。碰到「規律很清楚」的資料,先確定自己在治哪一種。
你訪得到的人,都通過了某一道門
做客訪的人,手上都有一份名單。
那份名單怎麼來的,決定了你會得出什麼結論。願意接電話的、願意留 email 的、願意花四十分鐘跟你聊產品的——這些條件疊起來,就是一條斜線。痛得最深的那一群,多半早就換了方案、關了帳號、連客訴都懶得寫;他們的位置落在斜線的另一邊,永遠不會出現在你的訪談逐字稿裡。於是你會聽到一組非常一致的說法,一致到讓你以為自己已經看懂市場。P.A.I.N. 的第一格問「誰在痛」,難就難在這裡:這張圖畫得出誰通過了門檻、他們痛在哪一格,畫不出誰在門外、又是為什麼連門都懶得敲。下一次排客訪名單,在每個受訪者旁邊加一欄「怎麼找到他的」,填完之後先把那一欄從頭讀到尾。十個人的來源如果收斂成兩三個,你手上那份結論的適用範圍,就跟那兩三個來源一樣大。
伯克森悖論的常見問題
伯克森悖論和辛普森悖論差在哪裡?
兩者都會給你錯的方向,但出事的位置不同。辛普森悖論的資料是完整的,你一分組,各組的方向跟合起來看的方向相反,問題出在分組。伯克森悖論的資料從頭就不完整,某一群人在進入資料之前就被一道門檻擋掉了,問題出在收集。判斷方法很直接:先問「這份資料裡的人是怎麼被放進來的」。答得出一道篩選條件,就往伯克森查;如果人齊全、只是你拆了組,那要查的是辛普森。
我沒有跑統計,只是看客戶回饋,也會中嗎?
更會。跑統計的人至少還會被追問樣本從哪來;看回饋的人通常直接把回饋當成市場的聲音。願意留下回饋的顧客,同時通過了好幾道門:買過、記得你、有情緒、有時間打字。這幾道門疊起來就是一條很陡的斜線。實務上最常見的症狀,是「客人最在意價格」跟「客人最在意服務」這兩句話在同一家公司同時成立,因為它們各自來自不同的門後面,而兩份名單從來沒有擺在一起看過。
資料已經被門檻篩過了,還救得回來嗎?
分兩種情況。被擋掉那群人的紀錄如果還在,像考照那 26 份評分表,那就直接把他們放回去一起算,這是最乾淨的做法。如果他們的資料從來沒有產生過,就沒有辦法用算的補回來,只能改成去找人:刻意訪流失客戶、問沒有下單的詢價者、看退貨理由的原文。這條路很麻煩,卻是唯一真的有效的。退一步的做法,是把結論的說法改小,明講「這只適用於已經成交的客戶」,別讓它自己擴張成整個市場。
樣本數變大會不會好一點?
不會。選擇偏誤不會被樣本數稀釋。把報考者從 40 位換成 4000 位、門檻不動,框內那條負斜線一樣在,只是信賴區間變窄、p 值變得更漂亮,於是你更相信一個假的結論——樣本變大反而讓事情更糟。樣本數處理的是隨機誤差,門檻造成的是系統誤差,兩者互不相干。該動的是那道門:把它寫出來,估一估被它擋掉的比例,再決定這個結論能講到多大。
同樣被一道看不見的門切過的,還有兩種常見的錯覺。一種是人明明齊全,方向卻在分組之後整個翻過來,那是辛普森悖論;另一種是整批失敗者從清單上蒸發,剩下的人怎麼看都像做對了,那是倖存者偏誤。三張圖擺在一起讀過一輪,下次拿到一份「規律很清楚」的資料,你會先去找那把刀。
喜歡這篇文章嗎?
每週幫你拆二本好書,把判斷力、好書金句、好問題,直送你的信箱。
不適合你可隨時退訂 · 每週兩封,陪你把書讀進生活。
送出即表示同意我們依隱私權政策使用你的 email。