概念地圖・增益測試與地理對照組
分類:行銷
這一頁不只是把一個概念解釋一遍——一張自己畫的結構圖,加上拿台灣情境從頭走一次的實例演練、這個框架什麼時候會騙你,以及它接回 P.A.I.N. 之後長什麼樣。一頁必須交付的三層 →
地理對照組:這筆廣告費,真的有增量嗎
報表上寫得清清楚楚,這個月廣告帶來三千四百張訂單。老闆只問了一句:不投的話,這三千四百張會不會照樣進來。增益測試就是為了回答這一句而長出來的——把地圖切成兩塊,一塊照常投、一塊整個關掉,四週後看兩塊之間張開多少差距。這張圖畫的就是那塊差距:兩條每週訂單曲線,加上中間張開的那塊面積。真正難的一步落在動筆之前——兩條線得先放到同一個尺度上,否則量到的會是兩塊市場本來的大小差。
兩條線、一塊面積,各代表什麼
整張圖只有五個元素,而每一個元素背後,都藏著一個會讓結論翻盤的決定。
| 圖上的元素 | 它代表什麼 | 讀錯會怎樣 |
|---|---|---|
| 金色實線 | 投放區(其餘縣市),全程維持廣告,原始每週 1,600 張已除以 4 縮到同尺度 | 忘了縮尺度,兩條線實驗前就差 1,200 張,中間那一整塊跟廣告毫無關係 |
| 朱紅虛線 | 對照區(北北基),前六週照常投,第七週起把付費廣告整個關掉 | 只關一半或只關單一平台,量到的會是「少投一點」的效果,跟「完全不投」差很遠 |
| 實驗前那六週 | 兩區比值穩定在 1 比 4,縮到同尺度後兩條線疊在一起 | 疊不上就別往下做——這場實驗還沒開始就沒有基準線 |
| 兩線之間的面積 | 每週 100 張 × 4 週 = 400 張,對照區尺度下的廣告增量 | 直接當成全國增量,等於漏掉投放區那五分之四的市場 |
| 縱軸的刻度 | 每週的訂單張數;營收與毛利要另外換算才對得上廣告費 | 換成點擊或曝光,那塊面積就再也接不回損益表 |
五格裡最容易被跳過的,是第一列尾巴那句「已除以 4」。投放區的量比對照區大四倍,兩條線照原始刻度畫下去,實驗前就隔著 1,200 張的鴻溝——那道鴻溝從頭到尾跟廣告沒關係,它只是說北北基以外的台灣比較大。縮到同尺度之後,前六週兩條線壓成一條,第七週才張開的那一塊,才乾淨地對應到「關掉廣告」這件事。順帶把用詞分清楚:真正的前提是「兩區比值固定」,「兩條線疊在一起」只是縮完尺度以後這張圖的長相,兩者不能當同義詞用。
要看得準,實驗前那段必須先成立
一、先確認兩區的比值是穩的。這是整場實驗的地基。把兩區過去六週的每週訂單相除,比值要一直落在同一個數字上下——這個案子是 4,所以投放區除以 4 之後,兩條線才會疊合。比值自己飄來飄去的話,後面量到的差距就分不清是廣告造成的,還是兩塊市場本來就在各走各的路。自問:把兩區的週訂單相除,過去六週那個數字有沒有一直待在同一個位置?
二、關,就要關到底。對照區那四週,是把所有付費渠道一起停掉,還是只關了其中一個平台?只關一半,量到的是「少投一點」的效果,跟你真正想問的「完全不投」中間差了一大段。同一批人如果還會被聯播網、聯盟行銷、KOL 檔期掃到,紅線就掉不下來,面積會被壓扁,你會以為廣告沒用。自問:這四週裡,對照區的人還有沒有任何一個管道看得到我的廣告?
三、外推到全國,靠的是第二個前提。對照區量到的增量率是 25%。把它乘上全國的量,等於假設投放區的增量率也是 25%——而這件事整場實驗都沒有量到,因為投放區的廣告一天都沒關過。兩區的品類結構、競品密度、通路成熟度只要差得夠多,這個假設就破功。要嘛下一輪把對照組換到另一塊市場再量一次,要嘛在報告裡老實把它寫成假設,別讓它偷偷升格成結論。自問:如果換成關投放區,那個 25% 還會長得一樣嗎?
四、四週這個長度,兩頭都會夾你。太短,品牌廣告的延遲效果還沒發作,你會低估;太長,季節、競品促銷、庫存斷貨全部混進來,你會不知道自己量到的是什麼。實務上先量自己的成交週期——從第一次看到廣告到下單平均幾天,測試期至少要蓋過它兩輪。自問:這四週裡有沒有卡到節慶檔期、缺貨,或是對手剛好在大促?
一個麥芽糖電商品牌,把對照組關四週
- 先切地圖:老字號麥芽糖品牌的電商,禮盒客單價 480 元、毛利率 45%、每月廣告費 40 萬。北北基當對照區,平時每週 400 張;其餘縣市當投放區,平時每週 1,600 張,過去六週比值一直是 1 比 4。地基穩
- 關四週:北北基所有付費渠道整個停掉,其餘縣市的預算一毛不動、素材也不換。關得乾淨
- 量那塊面積:對照區掉到每週 300 張,投放區維持每週 1,600 張。每週少 100 張,四週合計 400 張。面積出來了
- 算增量率:拿每週少掉的 100 張,除以對照區每週原本的 400 張 = 25%。全國每週 2,000 張,若增量率相同,每週增量 500 張、四週共 2,000 張。這步是假設
- 對回毛利:2,000 張 × 480 元 = 96 萬營收,乘上 45% 毛利率 = 43.2 萬,對上四週 40 萬廣告費。只是打平
- 回頭看報表:末次點擊每週記 850 張在廣告帳上,四週 3,400 張,換算毛利 73.44 萬。帳面多七成
這場實驗最值錢的一段,落在 43.2 萬與 73.44 萬之間那條裂縫。兩個數字用的是同一批訂單、同一個客單價、同一組毛利率,差別只在問句:報表問「誰帶來的」,實驗問「不投會怎樣」。老闆看到打平會很難受,難受的地方在於真相被量出來了——帳面那 73.44 萬裡,有一大半是本來就會發生的成交,被廣告在最後一哩路認領走。實務上這種結果多半導向「換位置投」:把預算從已經會回頭的舊客身上,挪去還沒被觸及的縣市與品類,下一輪再關一次對照組,看那塊面積有沒有變厚。以上為說明結構用的示意情境,僅供理解框架之用。
這塊面積什麼時候會騙你
- 那塊面積只回答對照區。圖上量到的 400 張,是北北基這一塊市場的增量,這是實驗真的觀測到的部分。全國那個 2,000 張則是外推出來的,靠的是「兩區增量率一樣」這個從沒被量過的假設。想收窄它,做法是輪替:下一輪把對照組換到中南部再關一次,兩次的增量率靠得夠近,外推才站得住。報告裡把「量到的」與「推出來的」分兩欄寫,別讓它們並排成同一種確定性。
- 地圖上的界線,擋不住廣告。北北基的人跟其他縣市共用同一個聯播網、同一則被轉發的貼文;對照區的親友在外縣市看到廣告,訂單一樣可能落在台北。這種外溢會把兩線之間的差距壓小,所以 25% 通常偏保守。另一個方向的誤差來自時間:品牌廣告的效果有尾巴,四週只蓋得到短期那一段,長期那條尾巴這張圖畫不進去。
- 只做一次,就沒有誤差區間。對照區每週 400 張,本來就會上下晃。假設週間自然波動是一成,一週就是 40 張,四週若剛好同方向累積,160 張的雜訊已經吃掉那塊面積的四成。單次前後對照給不出信賴區間,補救辦法是多切幾組配對區同時跑,或把觀測期拉長到能看出波動的樣子——只憑一次結果就改整年預算,等於把雜訊當成訊號在用。
增益這個詞的痛點視角
歸因報表很會做一件事——把本來就會發生的成交,記進自己的帳。
《痛點》裡有一個問題站在渠道更前面:這個人的痛,急到什麼程度才會自己動手。增益測試等於用四週的預算,替這個問題買了一個答案。對照區那 300 張,是在完全沒有廣告的情況下自己走完全程的人,他們的痛已經到位,廣告在那裡的角色只是路標;多出來的那 100 張才是被推動的一群,痛還卡在猶豫的邊緣,需要一次曝光把他們推過去。這張圖畫得出那 100 張有多厚,畫不出那 300 張為什麼非買不可——而後面這件事,才決定你的產品明年還站不站得住。今晚打開後台,把上個月的訂單按縣市拉一次,找出平時同進同退的那兩塊——名單有了,實驗才排得出來。
關於地理對照組,常見問題
沒有那麼多縣市可以切,還做得了增益測試嗎?
地理只是切法之一。小規模的做法有三種:用時間切,一週開一週關重複幾輪,把週間差距平均起來;用受眾清單切,在投放工具裡保留一群人永遠不投;或直接用平台內建的增益測試功能。時間切最省事,但要避開節慶與檔期,否則波動會蓋過訊號。共同的原則只有一條——保留的那一群必須真的完全接觸不到廣告,留了一半等於沒留。
對照區要關多久才夠?
下限看成交週期:從第一次接觸到下單平均幾天,測試期至少要蓋過兩輪,否則你會把「還在路上的訂單」誤讀成「廣告沒效」。上限看你賠得起多少——關掉的那塊市場真的會少賣,四週是常見的起點,因為它通常蓋得住一般消費品的成交週期,又還沒長到讓季節性混進來。真的關到八週以上,記得同時看競品有沒有在那段時間大促。
增益測試跟 A/B 測試差在哪?
A/B 測試比的是兩個版本,隨機分派的單位是人;增益測試比的是「有廣告」與「完全沒有廣告」,分派單位是整塊市場。差別的代價很現實:樣本單位從個人變成地區,能比較的組數一下少很多,統計上的不確定性也就大得多。所以增益測試通常不追求小數點後的精度,它要回答的是量級問題——這筆錢帶來的增量,跟毛利對得上還是對不上。
為什麼還要找機會關一次投放區?
因為把 25% 外推到全國,靠的是「兩區增量率互相代表」這個沒被量過的前提。輪替設計就是為它而生:這一輪關北北基,下一輪關中南部,兩次的增量率如果落在同一個範圍,外推才有依據;如果差很多,那正好告訴你不同市場的廣告效率本來就不一樣,預算該重新分配。每次輪替都要付出關掉廣告的成本,所以多數品牌一年做一到兩次,排進年度預算的節奏裡。
三千四百,和兩千。同一批訂單、同一個四週,兩個口徑差了一千四百張——沒有人算錯,只是兩個問句從頭到尾在問不同的東西。想把「誰帶來的」那一半也弄清楚,可以接著看歸因模型;想知道對照組要留多久、差多少才算真的有差,統計檢定力與樣本數那張圖把五個參數排在一起讓你一格一格估。
喜歡這篇文章嗎?
每週幫你拆二本好書,把判斷力、好書金句、好問題,直送你的信箱。
不適合你可隨時退訂 · 每週兩封,陪你把書讀進生活。
送出即表示同意我們依隱私權政策使用你的 email。