連接評估與決策：現實主義評估的理論、方法與評析

楊代福 陳雪晴

(重慶大學公共管理學院,重慶 400044)

西方政策評估理論和方法在20世紀60年代專業化以來，作為因果關系的“金標準”，隨機對照實驗、準實驗等方法限制了對背景敏感的結論的得出；系統評論和薈萃分析雖然有利于評估結果的綜合，但仍存在著大量的“簡化與模糊”問題。在西方評估界，一些學者開始開發解決這一難題的方法——現實主義評估(Realist Evaluation)。自1997年其被英國學者雷·波森(Ray Pawson)提出以來，其已在西方學界得到了廣泛的傳播。然而，目前國內學界對這種理論和方法的了解和把握還不夠。因此，本文試圖基于西方相關文獻，對現實主義評估的理論和方法進行系統、全面的梳理，并對其貢獻、意義、不足等進行評析，希冀為我國政策評估理論研究和實踐開展提供參考。

1 現實主義評估的意涵

現實主義評估是一種理論驅動的評估模型或方法。其評估重點從“政策的效果是什么”(What works?)走向“在什么環境下，政策如何或為什么以及對誰有效？(How or why does this work, for whom, in what circumstances?)”它從闡明“項目理論”開始，到進一步理解政策或項目運作的機制、運作的環境以及如果按預期運作將觀察到的結果，以探究在特定環境下各種政策運行成功或失敗背后的邏輯。

2 現實主義評估的要素與邏輯

由于現實主義評估認為項目是在復雜的社會現實背景中進行的復雜的社會互動，于是現實主義評估設計了科學的框架對項目進行評估。其中“機制”(Mechanisms，簡稱M)、“背景”(context，簡稱C)、“結果模式”(Outcome Patterns，簡稱O)是現實主義評估的三個要素，而情境—機制—結果模式結構(Context-Mechanism-Outcome Pattern Configurations，簡稱CMOCs)則是現實主義評估的根本邏輯。

2.1 機制

現實主義者認為，“機制”是指潛在的因果過程，它解釋了項目運作中的“因果力量”。機制具有客觀存在性、必然存在性、潛在性等特點。客觀存在性是指機制如同現實中的物體或事物一樣獨立于主體之外而存在；必然存在性是指機制存在于事物本身的結構內或存在于事物與事物之間所組成的結構中，其作為事物的真實本質而必然存在；潛在性指機制作為深層的結構性因素，往往難以通過觀察而立即得到發掘。

2.2 背景

背景指項目運行的社會環境或環境的某些方面。理想情況下，背景應包括有關結構、文化、能動性以及關系等方面的信息。其中，結構(或制度結構)是指一組內部相關的對象(可能是物質資源)和實踐，它代表著利益的領域。文化代表主體間性的領域，處理“人與人之間觀念的相互影響問題”。能動性意指個體通過自由意志學習使用自己能力的一種狀態，在社會結構中，它被稱為進入指定的位置或地位以從事所擔任的社會地位所指定的活動。關系則指事物之間相互作用、相互影響的狀態，社會存在是由關系構成的，社會行為是以關系為前提的。

2.3 結果模式

結果模式是指政策或項目產生的效果。結果可以依據不同的標準進行分類，比如從時間維度來看，可以分為短期結果、中期結果和長期結果；從結果的好壞來看，可以分為積極結果和消極結果；從政策或項目影響的目標群體來看，可以劃分為對各個不同群體的結果；從政策或項目影響的區域來看，可以劃分為對各個不同區域的結果；從政策設計者的預期來看，可以分為預期結果和非預期結果。考察什么結果，取決于評估的目的和問題。

2.4 背景—機制—結果模式結構

現實主義評估認為，“機制之所以重要是因為它們產生了結果，而背景之所以重要是因為它改變了項目產生結果的過程。因此，必須系統地研究背景和機制以及項目的結果。”將背景、機制和結果模式聯系在一起，便形成了背景—機制—結果模式結構。這一結構表明在項目的生命周期中，背景如何激活其中的機制，最終導致結果的改變。這一“結構”方法將機制變化和相關背景變化結合起來預測和解釋結果的變化。因此，背景—機制—結果模式結構便成為了現實主義評估的根本邏輯。

3 現實主義評估的操作程序

雖然現實主義評估被應用在越來越多的領域，但是由于對現實主義評估的相關理論和概念難以把握以及缺乏統一的規范，現實主義評估的操作困難依然是評估者面臨的一大突出問題。本文通過對國內外現實主義評估的實證論文與規范報告進行閱讀，試圖梳理現實主義評估的操作程序。

3.1 提出初始項目理論

如前所述，項目理論是項目設計者如何期望項目達到其目標的理論和設想，或者說是特定項目活動和特定結果之間的因果關系的假設。基于現實主義哲學的認識論和“基于理論的評估”的邏輯，設定初始項目理論是現實主義評估最初始以及最基礎的一步。提出初始項目理論共包含三塊內容：第一、開發初始項目理論；第二、描述初始項目理論；第三、提出CMOCs假設。

就開發初始項目理論的方法而言，可以通過文獻評論、項目文件審查、與關鍵線人的訪談和/或焦點小組訪談、評估團隊的頭腦風暴、專家咨詢等方法來開發、識別和篩選初始項目理論。在確定初始項目理論后，就需要對其進行描述。各項目理論之間可能也有某些聯系(如包含關系、因果關系、前后關系等)，這些聯系也需要描述出來，可以運用因果關系圖來進行描述。之后則是基于初始項目理論的每個元素提出CMOCs假設，并根據所涉及的每種參與者類型進行調整。如前所述，項目理論具有半規則性，因而需要通過提出CMOCs假設對項目理論進行進一步地具體化。它往往圍繞項目在特定的情境下、針對特定的人會產生什么樣的后果展開。

3.2 提出評估目的、評估問題以及評估重點

該程序共分為四步：第一步是確定此次評估的目的；第二步是依據項目理論和評估目的，確定評估的問題；第三步是依據項目理論和評估目的，確定評估的問題的優先順序；最后一步是篩選出有限個CMOCs假設。

首先，現實主義評估的評估目的也有獨特的要求，即解釋(如何和為什么產生結果)而不僅僅是描述結果。現實主義的評估要回答的問題是結構性問題，而非傳統的價值、相關性、有效性、效率和可持續性問題(如項目實施完成度、對不同人群的效益、成本效益、影響、可持續性等)。其內容主要包含“什么是有效的、如何起作用、為什么起作用、對誰起作用、在什么程度上、在什么情況下、在什么方面起作用”。

評估的問題也有優先順序。依據評估目的，在確定評估的需求和范圍后，確定關鍵機制或主機制。主機制可能是觸發其他機制的前提條件，也可能是對結果影響最大的機制，因而依據主要機制提出的問題往往為優先問題。在確定評估目的、評估問題以及評估重點后，就需要針對以上內容，提出相應的CMOCs假設，其以背景—機制—結果的表述方式展開。最后則需要針對前面確定的特定目的和問題來篩選出最符合評估要求的CMOCs假設。

3.3 資料收集

現實主義評估的資料收集主要包括兩步：首先依據已篩選出的CMOCs假設，收集與項目相關的各種背景、機制和結果的數據；第二步，收集除CMOCs假設外的數據。

進行數據收集時，要先從結果測量開始，之后再收集機制和背景的數據。現實主義評估的思路是一個逆推的過程，即它企圖研究的并非政策的實際效果，而是探究產生這一效果背后的機制與理論。之后需要收集機制和背景的數據，可采用的方法包括文獻法(研究文獻、政府文件、統計數據、相關部門已有數據)、問卷法、深度訪談和焦點小組訪談。第二步就是要收集除CMOCs假設外的數據。由于在之前的項目理論提出階段，可能會遺漏或忽視某些項目理論，同時在已選擇的項目理論中也可能存在對CMOCs假設存在遺漏的狀況，因而通過采用開放和自由的半結構化訪談等方法進一步收集數據，以幫助評估人員尋找之前未被納入到評估范圍內的CMOCs假設，從而使評估結果更加完善。

3.4 資料分析

與所有解釋性案例研究類似，現實主義評估收集和分析多個數據源，并根據這些數據源構建一個連貫合理的關于關鍵事件和行動及其預期和非預期后果的敘述。

首先，分析數據的重點是推斷數據在特定分析中是否作為情境、機制或結果發揮作用。其次，就分析方法而言，現實主義采用的方法包括人工分析(需要具有分類、開放式編碼、軸心式編碼以及撰寫備忘錄等定性分析技能)和運用軟件(如NVivo)分析。最后，就整個過程而言，現實主義評估的分析過程是迭代進行的，即在分析過程中，分析會在資料與理論間來回移動。項目嵌入在復雜的環境中，環境的不斷變化也將對機制的運轉產生影響，如果不通過回環往復地分析驗證，則很難確定是否是特定的背景或機制導致了該結果。

3.5 得出評估結論

最后，得出評估結果。進一步發展、測試或完善項目理論并為項目的相關決策提供證據和建議。其一，需要報告得到的實際CMOCs是怎樣的，并論證其聯系和提供支撐材料。分析結果也將被分類(針對誰、在什么情況下)，并解釋差異。其二，需要評述得到的CMOCs是否支持、駁斥或發展了初始項目理論。將得到的實際CMOCs與之前提出的CMOCs假設和初始項目理論對照，判斷是否支持、駁斥或發展了初始項目理論。還需注意挖掘此前沒有發現、新產生的以及沒有考慮到的機制。其三，如果支持、駁斥或發展了初始項目理論，則要思考會形成或發展成怎樣的現實主義項目理論？要形成項目“在什么環境下，如何或為什么以及對誰有效？”的更準確的、更精細的認識。其四，需要對決策者提出建議。現實主義評估除了獲得現實主義項目理論之外，還需要進一步地向決策者提出建議。當現有項目績效不佳或者績效沒有充分地發揮，可提出修改或調整現有項目的建議。

4 評析與啟示

4.1 現實主義評估的意義與局限

首先，現實主義評估具有重要的意義。一是現實主義評估可為決策者提供預測性和可移植性信息。現實主義評估試圖通過了解“什么對誰有效”“特定項目在哪些情況下有效和無效”以及“什么項目在什么背景下觸發什么機制”來為決策者提供信息。這些理解可以為在什么背景下采用哪些政策、如何完善政策以提高其效力以及如何使政策適應新的背景等決策提供信息，這種理論構建有助于克服傳統案例研究的低外部有效性和低解釋力等局限性。

其次，現實主義評估仍然存在一定的局限。一方面，現實主義評估的基本理論還有待完善。比如，對某些關鍵概念的定義還顯得過于籠統。有學者指出背景和機制的內涵和外延就存在含糊和不具體，這使得在數據中很難區分兩者。另一方面，現實主義評估的操作也還需要改進。因為復雜項目往往由多種干預措施組成、在多個站點實施、并存在多種項目結果，因此對這種項目進行現實主義評估將變得異常復雜。

4.2 現實主義評估對我國政策評估的啟示

目前我國政策評估的理論與方法體系建設還比較滯后，有學者指出：“目前我國仍然未形成一套成熟、完善的政策評估理論和方法體系，這無疑在很大程度上制約了政策評估的科學化程度和規范化水平，使政策評估缺乏科學、系統的理論指導，在實踐中具有較大的盲目性。”因此借鑒和吸收現實主義評估理論與方法，有利于夯實我國政策評估理論和方法的基礎。

其次，現實主義評估可為我國政策評估使用、連接評估和決策提供有益的借鑒。在理論層面上，當前我國的評估研究極少關注評估結果的使用問題，即雖然注重遵循科學的標準，探索如何取得準確、客觀、全面的評估結果，但忽視了應讓評估結果得到決策者或利益相關者及時、有效地使用以及發揮更大的社會影響的機理。在實踐層面上，在政策擴散中，一些地方決策者常常遵循“模仿”和“跟風”的邏輯，缺乏對政策創新的特定背景和機制的考察，致使政策采納出現負效應。現實主義評估主張進一步理解政策運作的機制、運作的環境，探究在特定環境下各種政策運行成功或失敗背后的邏輯，促進了評估結果的更好使用。這為探究我國政策試點背后的深度邏輯和機制并將其轉化為可推廣性的證據提供了可行的途徑。