概念地圖・Stufflebeam CIPP 評鑑模型
分類:生產力
這一頁不只是把一個概念解釋一遍——一張自己畫的結構圖,加上拿台灣情境從頭走一次的實例演練、這個框架什麼時候會騙你,以及它接回 P.A.I.N. 之後長什麼樣。一頁必須交付的三層 →
CIPP 評鑑模型:把成效報告拆回四個決定
補助款核定的公文下來,附件要求半年後繳一份「成效報告」。承辦人翻到最後一頁才發現——要交的四件事裡,有三件必須在計畫開始之前就開始蒐集。CIPP 評鑑模型講的正是這件事:Stufflebeam 在一九六○年代末主張,評鑑的功能是提供決策所需的資訊,於是把它切成情境(Context)、投入(Input)、過程(Process)、成果(Product)四格,每一格對應一種當下就要拍板的決定。四格是一張決策盤,而其中兩格,發生在計畫開始之前。
四格分別在支援哪一種決定
四格收的資料常常長得很像,真正把它們分開的是時點與用途。下表把圖上那四條金色帶子攤成文字。
| 評鑑格 | 核心問句 | 支援的決定 | 蒐集時點 |
|---|---|---|---|
| C・情境 Context | 我們認定的那個缺口,真的存在嗎?誰在痛? | 做不做、目標定在哪 | 計畫書還沒動筆之前 |
| I・投入 Input | 桌上這幾個方案,哪一個划得來? | 選哪個方案、資源怎麼配 | 簽約與採購之前 |
| P・過程 Process | 現在跑的,跟計畫書差多少?差在哪一段? | 當場修正或喊停 | 執行中,越早越好 |
| P・成果 Product | 那個缺口變小了嗎?對誰變小? | 續辦、擴大或收掉 | 期中、結案,最好再追一次 |
兩個警示格說明了整張表的重量:情境與投入的資料,時點一過就補不回來。半年後回頭寫「當初的需求」,寫出來的其實是記憶,而記憶會自動替已經做完的事找理由。多數計畫最後只交得出 P 與 P——我做了、我做完了——因為那兩格的資料,事後補得出來。
四格各自怎麼判斷它在你這裡成不成立
一、情境評鑑:先證明缺口,再談方案。這一格的產出應該是一句能被推翻的話:某一群人,在某個情境下,正在做某個很勉強的補救動作。訪談、既有數據、法規變動、同業做法,都是為了讓那句話站住或倒掉。如果蒐集回來的每一筆資料都指向同一個結論,通常代表題目是照著答案出的。自問:如果拿掉我們想推的這個方案,那個缺口還講得出來嗎?
二、投入評鑑:桌上至少要有三個方案。只有一個方案時,這一格會退化成可行性背書。三個方案並排,才會逼出真正的比較欄位——每人成本、能不能複製、需要誰點頭、失敗時損失多少。這一格也是最容易被時間壓掉的:招標日程一逼近,比較就縮成一頁附件。自問:我這份計畫書是在比較方案,還是在替已經選好的那個補理由?
三、過程評鑑:資料要能當場改東西。判準只有一條——這週收到的這筆資料,能不能讓下週長得不一樣。缺席名單做得到,打三通電話就知道卡在哪;月結一次的滿意度平均分數,等報表出來時課早就上完了。過程評鑑真正的價值,是讓一個原本要跑滿六個月的錯誤,在第三週就被攔下來。收得再細,如果沒有人有權在期中改動設計,這一格就是白工。自問:這筆資料一旦難看,誰有權力在下一週就改掉設計?
四、成果評鑑:把「做完」和「有效」分兩欄放。做完的指標便宜又好看:辦了幾場、來了幾人、滿意度幾分。有效的指標貴:行為變了沒、缺口小了沒、六個月後還在不在。兩者一起放進報告時,讀者的眼睛永遠會停在便宜的那一欄,所以它們該分欄、甚至分頁。自問:拿掉出席率與滿意度,我還剩下哪一個數字能證明缺口變小?
一家地方駕訓班的高齡駕駛回訓課,四格走一遍
- 情境:缺口是誰的:班主任最初的假設是「長輩反應變慢」。實際去訪談十幾位換過照的學員與家屬後,缺口收斂成另一句話——體檢明明過了,但夜間、路口左轉、以及不熟的路段,長輩自己會怕,於是把車鑰匙默默交出去。痛的人也不只駕駛本人,還有那個每次都得繞路接送、又不敢直接開口叫爸爸別開車的女兒。缺口寫錯,後面三格全部白做
- 投入:三個方案並排:模擬機課程(設備租金高、一次只能一人)、教練隨車陪駕(成本中等、可複製)、純教室講習(最便宜、也最像走過場)。用「每人成本 × 家屬願不願意掏錢 × 能不能真的改到夜間左轉」三欄一比,選了隨車陪駕,並把教室講習降級成報名前的一小時說明會。方案是被比出來的
- 過程:第三週就改:開課第三週的隨堂紀錄顯示,下午時段的學員精神明顯下滑,而且課後多半是家屬把車開回家的。當週就把時段挪到上午十點,並在每堂課尾加一段「陪你開回家」的實地收尾。改在第三週,不必等結案
- 成果:交三個難量的數字:結案時交出去的是夜間自行駕駛的次數、家屬那句「這三個月你還會擔心嗎」的重測分數、以及六個月後仍持續回訓的比例。滿意度那張表照收,放附件。九成八的滿意度,常常只證明老師很客氣
- 回頭:第二期重跑情境:第二期招生前把 C 那一格再跑一次,缺口已經從「夜間左轉」漂到「導航語音跟不上、被迫看螢幕」。課程大綱因此換了一個單元。四格可以回頭,這是決策盤跟結案報告最大的分野
這個場景真正值得記住的接縫,在第一格和第四格之間:成果那一格能不能寫得漂亮,早在情境那一格就決定了。如果缺口當初寫的是「長輩反應變慢」,結案時能量的就只剩下反應測驗的秒數——一個跟家屬的擔心、跟長輩願不願意自己開車完全不相干的數字。缺口寫成「夜間左轉會怕」,成果的量法才自動長出來。中間那兩格則負責讓計畫別在半路上死掉:投入那一格擋掉「因為別人都在做模擬機」,過程那一格擋掉「反正合約簽了就跑滿」。四格合起來的功能,是讓一個公部門補助案在每個轉彎處都還有得選。以上為說明結構用的示意情境,僅供理解框架之用。
這張決策盤什麼時候會騙你
- 四格填滿了,不等於做過評鑑。CIPP 最常見的死法,是變成公文裡的四個章節標題:每一格都有字、每一格都寫在結案前一週、每一格的資料來源都是同一份問卷。有個很粗暴但有效的判準——如果這四格的內容能在同一個下午寫完,那你手上的是一份報告目錄,四種決定一個都沒發生過。真正跑起來的 CIPP,四格的日期會散在不同的月份。
- 情境評鑑很容易變成替既定方案背書。現實裡的順序常常顛倒:方案先選好,需求評估才補做,於是資料的功能從「找缺口」變成「找支持」。檢查方式是反過來測一次——這份情境評鑑的結論,有沒有任何一種可能推翻我們本來要做的事?如果連想都想不出那個版本長什麼樣,這一格就只是簡報素材。願意留下反證欄位的情境評鑑,才有決策價值。
- 成果那一格會被「最好量的東西」綁架。Stufflebeam 後來把 Product 再拆成影響、效能、持續性、可移轉性四小項,理由正是單一成果指標撐不住。出席率好量、滿意度好量、行為改變難量、六個月後的持續性最難量,於是報告上永遠是前兩個。更糟的是這種選擇會往回污染設計:知道最後只量得出出席率,設計時就自然往「衝人數」靠。
從《痛點》回頭看這四格
能讓一個計畫在動筆前就被喊停的,只有第一格。
情境評鑑是唯一在問「這件事該不該做」的一格,而它偏偏最早、最麻煩、也最沒有畫面。過程與成果好做得多:一個證明我做了,一個證明我做完了,兩張表都貼得進結案報告,也都不會有人反對。評鑑於是在很多組織裡退化成一件事——證明自己很努力。《痛點》那把 P.A.I.N. 尺,第一刀切的跟情境評鑑是同一個位置:誰在痛(Person)、痛多深(Intensity)。CIPP 的圖畫得出四格的順序與時點,畫不出那個缺口長在誰身上、痛到會不會有人自己掏錢改。一份補助案的成果報告可以四格全綠,而那個缺口從頭到尾只存在於申請書的第二頁。今晚可以做的小動作只有一句話:把手上這個計畫的情境那一格,寫成「某一群人,在某個情境下,正在做某個很勉強的補救動作」。填得進三個空格,缺口是活的;三個空格裡有一格填的是形容詞,那就先別急著往投入那一格走。
常見問題
CIPP 評鑑模型跟柯氏四層次評估差在哪?
柯氏的四層(反應、學習、行為、結果)全部發生在課程辦完之後,量的是一件已經做完的事有沒有效;CIPP 的四格對應的則是四種當下要拍的板,而且情境與投入兩格發生在開課之前。一把是事後的尺,一張是全程的決策盤。實務上兩者不衝突,反而接得很順:CIPP 的第四格(成果)需要一套分層的量法時,柯氏那四級剛好可以整套嵌進去用。
只做過程和成果評鑑可以嗎?
可以交差,很難改善。過程與成果回答的是「有沒有照做」與「做完長什麼樣」,兩者都預設了目標本身是對的。目標定錯時,這兩格會非常配合地告訴你:執行率良好、指標達成。真正把計畫救回來的資訊多半在情境那一格——缺口漂走了、需求的人換了一群、法規改了。至少每個計畫週期回頭跑一次情境評鑑,是成本最低的做法。
小計畫也要四格都做嗎?
四格都要問,但深度可以差很多。十萬元的小案子,情境評鑑可能就是三通電話加一張既有數據的截圖,投入評鑑可能是一張三欄比較表。重點在於這兩件事發生在動筆之前,至於它們寫了幾頁,沒有人在乎。判斷標準是決定的可逆性:越難回頭的決定(簽了長約、買了設備、招了人),前兩格就要花越多力氣。
情境評鑑到底要收哪些東西?
四類就夠用:目標對象自己的說法(訪談、抱怨、現在的替代做法)、既有的客觀數據(申請量、通報數、流失率)、環境條件(法規、補助政策、同業在做什麼)、以及組織自身的限制(人力、場地、能不能持續)。這四類湊起來要能長出一句可被推翻的缺口敘述。收不出那句話,通常表示題目還沒真的成立,往下走只是把不確定性帶進更貴的階段。
下一份計畫書還沒動筆之前,先把成果那一格要交的東西倒著推回來,情境與投入的資料表會自己長出來——這種從終點回頭排的做法,逆向設計那張圖把筆順拆得更細。至於成果那一格該量到哪一層,柯氏四層次評估把它切成四級,正好接在 CIPP 的第四格底下用。
喜歡這篇文章嗎?
每週幫你拆二本好書,把判斷力、好書金句、好問題,直送你的信箱。
不適合你可隨時退訂 · 每週兩封,陪你把書讀進生活。
送出即表示同意我們依隱私權政策使用你的 email。