楊代福 陳雪晴

(重慶大學(xué)公共管理學(xué)院,重慶 400044)

西方政策評估理論和方法在20世紀60年代專業(yè)化以來，作為因果關(guān)系的“金標準”，隨機對照實驗、準實驗等方法限制了對背景敏感的結(jié)論的得出；系統(tǒng)評論和薈萃分析雖然有利于評估結(jié)果的綜合，但仍存在著大量的“簡化與模糊”問題。在西方評估界，一些學(xué)者開始開發(fā)解決這一難題的方法——現(xiàn)實主義評估(Realist Evaluation)。自1997年其被英國學(xué)者雷·波森(Ray Pawson)提出以來，其已在西方學(xué)界得到了廣泛的傳播。然而，目前國內(nèi)學(xué)界對這種理論和方法的了解和把握還不夠。因此，本文試圖基于西方相關(guān)文獻，對現(xiàn)實主義評估的理論和方法進行系統(tǒng)、全面的梳理，并對其貢獻、意義、不足等進行評析，希冀為我國政策評估理論研究和實踐開展提供參考。

1 現(xiàn)實主義評估的意涵

現(xiàn)實主義評估是一種理論驅(qū)動的評估模型或方法。其評估重點從“政策的效果是什么”(What works?)走向“在什么環(huán)境下，政策如何或為什么以及對誰有效？(How or why does this work, for whom, in what circumstances?)”它從闡明“項目理論”開始，到進一步理解政策或項目運作的機制、運作的環(huán)境以及如果按預(yù)期運作將觀察到的結(jié)果，以探究在特定環(huán)境下各種政策運行成功或失敗背后的邏輯。

2 現(xiàn)實主義評估的要素與邏輯

由于現(xiàn)實主義評估認為項目是在復(fù)雜的社會現(xiàn)實背景中進行的復(fù)雜的社會互動，于是現(xiàn)實主義評估設(shè)計了科學(xué)的框架對項目進行評估。其中“機制”(Mechanisms，簡稱M)、“背景”(context，簡稱C)、“結(jié)果模式”(Outcome Patterns，簡稱O)是現(xiàn)實主義評估的三個要素，而情境—機制—結(jié)果模式結(jié)構(gòu)(Context-Mechanism-Outcome Pattern Configurations，簡稱CMOCs)則是現(xiàn)實主義評估的根本邏輯。

2.1 機制

現(xiàn)實主義者認為，“機制”是指潛在的因果過程，它解釋了項目運作中的“因果力量”。機制具有客觀存在性、必然存在性、潛在性等特點?？陀^存在性是指機制如同現(xiàn)實中的物體或事物一樣獨立于主體之外而存在；必然存在性是指機制存在于事物本身的結(jié)構(gòu)內(nèi)或存在于事物與事物之間所組成的結(jié)構(gòu)中，其作為事物的真實本質(zhì)而必然存在；潛在性指機制作為深層的結(jié)構(gòu)性因素，往往難以通過觀察而立即得到發(fā)掘。

2.2 背景

背景指項目運行的社會環(huán)境或環(huán)境的某些方面。理想情況下，背景應(yīng)包括有關(guān)結(jié)構(gòu)、文化、能動性以及關(guān)系等方面的信息。其中，結(jié)構(gòu)(或制度結(jié)構(gòu))是指一組內(nèi)部相關(guān)的對象(可能是物質(zhì)資源)和實踐，它代表著利益的領(lǐng)域。文化代表主體間性的領(lǐng)域，處理“人與人之間觀念的相互影響問題”。能動性意指個體通過自由意志學(xué)習(xí)使用自己能力的一種狀態(tài)，在社會結(jié)構(gòu)中，它被稱為進入指定的位置或地位以從事所擔(dān)任的社會地位所指定的活動。關(guān)系則指事物之間相互作用、相互影響的狀態(tài)，社會存在是由關(guān)系構(gòu)成的，社會行為是以關(guān)系為前提的。

2.3 結(jié)果模式

結(jié)果模式是指政策或項目產(chǎn)生的效果。結(jié)果可以依據(jù)不同的標準進行分類，比如從時間維度來看，可以分為短期結(jié)果、中期結(jié)果和長期結(jié)果；從結(jié)果的好壞來看，可以分為積極結(jié)果和消極結(jié)果；從政策或項目影響的目標群體來看，可以劃分為對各個不同群體的結(jié)果；從政策或項目影響的區(qū)域來看，可以劃分為對各個不同區(qū)域的結(jié)果；從政策設(shè)計者的預(yù)期來看，可以分為預(yù)期結(jié)果和非預(yù)期結(jié)果?？疾焓裁唇Y(jié)果，取決于評估的目的和問題。

2.4 背景—機制—結(jié)果模式結(jié)構(gòu)

現(xiàn)實主義評估認為，“機制之所以重要是因為它們產(chǎn)生了結(jié)果，而背景之所以重要是因為它改變了項目產(chǎn)生結(jié)果的過程。因此，必須系統(tǒng)地研究背景和機制以及項目的結(jié)果?！睂⒈尘?、機制和結(jié)果模式聯(lián)系在一起，便形成了背景—機制—結(jié)果模式結(jié)構(gòu)。這一結(jié)構(gòu)表明在項目的生命周期中，背景如何激活其中的機制，最終導(dǎo)致結(jié)果的改變。這一“結(jié)構(gòu)”方法將機制變化和相關(guān)背景變化結(jié)合起來預(yù)測和解釋結(jié)果的變化。因此，背景—機制—結(jié)果模式結(jié)構(gòu)便成為了現(xiàn)實主義評估的根本邏輯。

3 現(xiàn)實主義評估的操作程序

雖然現(xiàn)實主義評估被應(yīng)用在越來越多的領(lǐng)域，但是由于對現(xiàn)實主義評估的相關(guān)理論和概念難以把握以及缺乏統(tǒng)一的規(guī)范，現(xiàn)實主義評估的操作困難依然是評估者面臨的一大突出問題。本文通過對國內(nèi)外現(xiàn)實主義評估的實證論文與規(guī)范報告進行閱讀，試圖梳理現(xiàn)實主義評估的操作程序。

3.1 提出初始項目理論

如前所述，項目理論是項目設(shè)計者如何期望項目達到其目標的理論和設(shè)想，或者說是特定項目活動和特定結(jié)果之間的因果關(guān)系的假設(shè)?；诂F(xiàn)實主義哲學(xué)的認識論和“基于理論的評估”的邏輯，設(shè)定初始項目理論是現(xiàn)實主義評估最初始以及最基礎(chǔ)的一步。提出初始項目理論共包含三塊內(nèi)容：第一、開發(fā)初始項目理論；第二、描述初始項目理論；第三、提出CMOCs假設(shè)。

就開發(fā)初始項目理論的方法而言，可以通過文獻評論、項目文件審查、與關(guān)鍵線人的訪談和/或焦點小組訪談、評估團隊的頭腦風(fēng)暴、專家咨詢等方法來開發(fā)、識別和篩選初始項目理論。在確定初始項目理論后，就需要對其進行描述。各項目理論之間可能也有某些聯(lián)系(如包含關(guān)系、因果關(guān)系、前后關(guān)系等)，這些聯(lián)系也需要描述出來，可以運用因果關(guān)系圖來進行描述。之后則是基于初始項目理論的每個元素提出CMOCs假設(shè)，并根據(jù)所涉及的每種參與者類型進行調(diào)整。如前所述，項目理論具有半規(guī)則性，因而需要通過提出CMOCs假設(shè)對項目理論進行進一步地具體化。它往往圍繞項目在特定的情境下、針對特定的人會產(chǎn)生什么樣的后果展開。

3.2 提出評估目的、評估問題以及評估重點

該程序共分為四步：第一步是確定此次評估的目的；第二步是依據(jù)項目理論和評估目的，確定評估的問題；第三步是依據(jù)項目理論和評估目的，確定評估的問題的優(yōu)先順序；最后一步是篩選出有限個CMOCs假設(shè)。

首先，現(xiàn)實主義評估的評估目的也有獨特的要求，即解釋(如何和為什么產(chǎn)生結(jié)果)而不僅僅是描述結(jié)果。現(xiàn)實主義的評估要回答的問題是結(jié)構(gòu)性問題，而非傳統(tǒng)的價值、相關(guān)性、有效性、效率和可持續(xù)性問題(如項目實施完成度、對不同人群的效益、成本效益、影響、可持續(xù)性等)。其內(nèi)容主要包含“什么是有效的、如何起作用、為什么起作用、對誰起作用、在什么程度上、在什么情況下、在什么方面起作用”。

評估的問題也有優(yōu)先順序。依據(jù)評估目的，在確定評估的需求和范圍后，確定關(guān)鍵機制或主機制。主機制可能是觸發(fā)其他機制的前提條件，也可能是對結(jié)果影響最大的機制，因而依據(jù)主要機制提出的問題往往為優(yōu)先問題。在確定評估目的、評估問題以及評估重點后，就需要針對以上內(nèi)容，提出相應(yīng)的CMOCs假設(shè)，其以背景—機制—結(jié)果的表述方式展開。最后則需要針對前面確定的特定目的和問題來篩選出最符合評估要求的CMOCs假設(shè)。

3.3 資料收集

現(xiàn)實主義評估的資料收集主要包括兩步：首先依據(jù)已篩選出的CMOCs假設(shè)，收集與項目相關(guān)的各種背景、機制和結(jié)果的數(shù)據(jù)；第二步，收集除CMOCs假設(shè)外的數(shù)據(jù)。

進行數(shù)據(jù)收集時，要先從結(jié)果測量開始，之后再收集機制和背景的數(shù)據(jù)?，F(xiàn)實主義評估的思路是一個逆推的過程，即它企圖研究的并非政策的實際效果，而是探究產(chǎn)生這一效果背后的機制與理論。之后需要收集機制和背景的數(shù)據(jù)，可采用的方法包括文獻法(研究文獻、政府文件、統(tǒng)計數(shù)據(jù)、相關(guān)部門已有數(shù)據(jù))、問卷法、深度訪談和焦點小組訪談。第二步就是要收集除CMOCs假設(shè)外的數(shù)據(jù)。由于在之前的項目理論提出階段，可能會遺漏或忽視某些項目理論，同時在已選擇的項目理論中也可能存在對CMOCs假設(shè)存在遺漏的狀況，因而通過采用開放和自由的半結(jié)構(gòu)化訪談等方法進一步收集數(shù)據(jù)，以幫助評估人員尋找之前未被納入到評估范圍內(nèi)的CMOCs假設(shè)，從而使評估結(jié)果更加完善。

3.4 資料分析

與所有解釋性案例研究類似，現(xiàn)實主義評估收集和分析多個數(shù)據(jù)源，并根據(jù)這些數(shù)據(jù)源構(gòu)建一個連貫合理的關(guān)于關(guān)鍵事件和行動及其預(yù)期和非預(yù)期后果的敘述。

首先，分析數(shù)據(jù)的重點是推斷數(shù)據(jù)在特定分析中是否作為情境、機制或結(jié)果發(fā)揮作用。其次，就分析方法而言，現(xiàn)實主義采用的方法包括人工分析(需要具有分類、開放式編碼、軸心式編碼以及撰寫備忘錄等定性分析技能)和運用軟件(如NVivo)分析。最后，就整個過程而言，現(xiàn)實主義評估的分析過程是迭代進行的，即在分析過程中，分析會在資料與理論間來回移動。項目嵌入在復(fù)雜的環(huán)境中，環(huán)境的不斷變化也將對機制的運轉(zhuǎn)產(chǎn)生影響，如果不通過回環(huán)往復(fù)地分析驗證，則很難確定是否是特定的背景或機制導(dǎo)致了該結(jié)果。

3.5 得出評估結(jié)論

最后，得出評估結(jié)果。進一步發(fā)展、測試或完善項目理論并為項目的相關(guān)決策提供證據(jù)和建議。其一，需要報告得到的實際CMOCs是怎樣的，并論證其聯(lián)系和提供支撐材料。分析結(jié)果也將被分類(針對誰、在什么情況下)，并解釋差異。其二，需要評述得到的CMOCs是否支持、駁斥或發(fā)展了初始項目理論。將得到的實際CMOCs與之前提出的CMOCs假設(shè)和初始項目理論對照，判斷是否支持、駁斥或發(fā)展了初始項目理論。還需注意挖掘此前沒有發(fā)現(xiàn)、新產(chǎn)生的以及沒有考慮到的機制。其三，如果支持、駁斥或發(fā)展了初始項目理論，則要思考會形成或發(fā)展成怎樣的現(xiàn)實主義項目理論？要形成項目“在什么環(huán)境下，如何或為什么以及對誰有效？”的更準確的、更精細的認識。其四，需要對決策者提出建議?，F(xiàn)實主義評估除了獲得現(xiàn)實主義項目理論之外，還需要進一步地向決策者提出建議。當(dāng)現(xiàn)有項目績效不佳或者績效沒有充分地發(fā)揮，可提出修改或調(diào)整現(xiàn)有項目的建議。

4 評析與啟示

4.1 現(xiàn)實主義評估的意義與局限

首先，現(xiàn)實主義評估具有重要的意義。一是現(xiàn)實主義評估可為決策者提供預(yù)測性和可移植性信息?，F(xiàn)實主義評估試圖通過了解“什么對誰有效”“特定項目在哪些情況下有效和無效”以及“什么項目在什么背景下觸發(fā)什么機制”來為決策者提供信息。這些理解可以為在什么背景下采用哪些政策、如何完善政策以提高其效力以及如何使政策適應(yīng)新的背景等決策提供信息，這種理論構(gòu)建有助于克服傳統(tǒng)案例研究的低外部有效性和低解釋力等局限性。

其次，現(xiàn)實主義評估仍然存在一定的局限。一方面，現(xiàn)實主義評估的基本理論還有待完善。比如，對某些關(guān)鍵概念的定義還顯得過于籠統(tǒng)。有學(xué)者指出背景和機制的內(nèi)涵和外延就存在含糊和不具體，這使得在數(shù)據(jù)中很難區(qū)分兩者。另一方面，現(xiàn)實主義評估的操作也還需要改進。因為復(fù)雜項目往往由多種干預(yù)措施組成、在多個站點實施、并存在多種項目結(jié)果，因此對這種項目進行現(xiàn)實主義評估將變得異常復(fù)雜。

4.2 現(xiàn)實主義評估對我國政策評估的啟示

目前我國政策評估的理論與方法體系建設(shè)還比較滯后，有學(xué)者指出：“目前我國仍然未形成一套成熟、完善的政策評估理論和方法體系，這無疑在很大程度上制約了政策評估的科學(xué)化程度和規(guī)范化水平，使政策評估缺乏科學(xué)、系統(tǒng)的理論指導(dǎo)，在實踐中具有較大的盲目性。”因此借鑒和吸收現(xiàn)實主義評估理論與方法，有利于夯實我國政策評估理論和方法的基礎(chǔ)。

其次，現(xiàn)實主義評估可為我國政策評估使用、連接評估和決策提供有益的借鑒。在理論層面上，當(dāng)前我國的評估研究極少關(guān)注評估結(jié)果的使用問題，即雖然注重遵循科學(xué)的標準，探索如何取得準確、客觀、全面的評估結(jié)果，但忽視了應(yīng)讓評估結(jié)果得到?jīng)Q策者或利益相關(guān)者及時、有效地使用以及發(fā)揮更大的社會影響的機理。在實踐層面上，在政策擴散中，一些地方?jīng)Q策者常常遵循“模仿”和“跟風(fēng)”的邏輯，缺乏對政策創(chuàng)新的特定背景和機制的考察，致使政策采納出現(xiàn)負效應(yīng)?，F(xiàn)實主義評估主張進一步理解政策運作的機制、運作的環(huán)境，探究在特定環(huán)境下各種政策運行成功或失敗背后的邏輯，促進了評估結(jié)果的更好使用。這為探究我國政策試點背后的深度邏輯和機制并將其轉(zhuǎn)化為可推廣性的證據(jù)提供了可行的途徑。