[摘要]隨著政府購買社會(huì)服務(wù)項(xiàng)目檢核式評(píng)估的使用與發(fā)展,其無法有效評(píng)估社會(huì)服務(wù)項(xiàng)目實(shí)際運(yùn)作效果的弊端不斷顯現(xiàn)。為探索能夠補(bǔ)足的評(píng)估方法,本文從檢核式評(píng)估法的項(xiàng)目假定及方法出發(fā)進(jìn)行分析和討論。在比較“目標(biāo)為本評(píng)估(GBE)”和“自由目標(biāo)評(píng)估(GFE)”本質(zhì)內(nèi)涵及方法層面之差異的基礎(chǔ)上,本文認(rèn)為“自由目標(biāo)評(píng)估(GFE)”更適用于對(duì)項(xiàng)目的實(shí)際運(yùn)作效果進(jìn)行評(píng)估。為使得“自由目標(biāo)評(píng)估(GFE)”更具操作性,本文以“自由目標(biāo)評(píng)估(GFE)”內(nèi)涵為核心,以扎根理論建構(gòu)理論的邏輯及方法為指導(dǎo),構(gòu)建出包括“確定服務(wù)結(jié)果及其產(chǎn)生的原因”、“收集資料,撰寫結(jié)果說明報(bào)告”、“修訂結(jié)果說明報(bào)告”、“檢驗(yàn)結(jié)果說明報(bào)告”、“分析和解釋評(píng)估結(jié)果”等五個(gè)自由目標(biāo)評(píng)估步驟及其詳細(xì)操作方法。本文期望研究成果能夠?yàn)檎徺I社會(huì)服務(wù)項(xiàng)目效果評(píng)估提供一種可行的新方法。
[關(guān) 鍵 詞]目標(biāo)為本評(píng)估 ?自由目標(biāo)評(píng)估 ?扎根理論
[基金項(xiàng)目]本文為國(guó)家社科基金青年項(xiàng)目“城市社區(qū)建設(shè)多元?jiǎng)恿C(jī)制研究”(編號(hào):15CSH070);江蘇省社會(huì)科學(xué)基金項(xiàng)目研究成果(編號(hào):18SHD002);“中央高?;究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助”(編號(hào):NO.30918013118)。
[作者簡(jiǎn)介]劉 江,男,南京理工大學(xué)公共事務(wù)學(xué)院講師,主要從事社會(huì)工作評(píng)估研究、社會(huì)工作理論研究、社區(qū)研究。
[中圖分類號(hào)]C916 ? ?[文獻(xiàn)標(biāo)識(shí)碼]A ? ?[文章編號(hào)]1008-7672(2019)04-0057-08
一、 引 言
在政府購買社會(huì)服務(wù)項(xiàng)目不斷深入的背景下,社會(huì)服務(wù)項(xiàng)目評(píng)估也得到極大發(fā)展。經(jīng)過積累,評(píng)估實(shí)踐在內(nèi)容和形式上,已經(jīng)呈現(xiàn)出特定的模式。就評(píng)估內(nèi)容而言,劉江通過對(duì)SH市六個(gè)不同類型社會(huì)服務(wù)項(xiàng)目評(píng)估實(shí)踐,歸納出包括“項(xiàng)目理論評(píng)估”、“監(jiān)測(cè)評(píng)估”、“影響評(píng)估”、“成本-收益評(píng)估”等四個(gè)評(píng)估方法構(gòu)成的整合評(píng)估模型。就評(píng)估流程而言,尹阿靂和趙環(huán)根據(jù)深圳2009-2016年的評(píng)估實(shí)踐總結(jié)出“制定評(píng)估方案及指標(biāo)”、“市民政局發(fā)布評(píng)估通知”、“社工服務(wù)機(jī)構(gòu)撰寫并提交自評(píng)報(bào)告”、“第三方評(píng)估機(jī)構(gòu)審閱自評(píng)報(bào)告及相關(guān)資料”、“第三方機(jī)構(gòu)組織評(píng)估專家展開實(shí)地評(píng)估”、“第三方評(píng)估機(jī)構(gòu)匯總意見,得出評(píng)估結(jié)果”、“評(píng)估結(jié)果公示”、“正式公布評(píng)估結(jié)果”等八個(gè)工作步驟。在具體操作上,通常從評(píng)價(jià)主體(指政府和第三方評(píng)估機(jī)構(gòu))的立場(chǎng)出發(fā),以既定的項(xiàng)目計(jì)劃為藍(lán)本進(jìn)行操作化處理建構(gòu)評(píng)估指標(biāo),然后嚴(yán)格地按照評(píng)估指標(biāo)和程序?qū)Ψ?wù)進(jìn)行檢核。
檢核式的評(píng)估實(shí)踐本質(zhì)上體現(xiàn)為一種“以監(jiān)督為目的的監(jiān)控性評(píng)估”。為了凸顯公共問責(zé)性,指導(dǎo)檢核的評(píng)估指標(biāo)通常比較關(guān)注項(xiàng)目基礎(chǔ)設(shè)施、項(xiàng)目人力配置、項(xiàng)目管理制度等,而對(duì)項(xiàng)目實(shí)際服務(wù)及專業(yè)性關(guān)注不足。因此,評(píng)估內(nèi)容體現(xiàn)出“行政管理”取代“專業(yè)服務(wù)”的現(xiàn)象。這種評(píng)估實(shí)踐的優(yōu)點(diǎn)在于,它能夠?yàn)樵u(píng)估者提供一個(gè)與項(xiàng)目有關(guān)的整體圖式,以使得評(píng)估邏輯清晰且容易操作。其缺點(diǎn)在于僵化的評(píng)估指標(biāo)配合以行政化的檢核形式,導(dǎo)致評(píng)估實(shí)踐忽視項(xiàng)目運(yùn)作情境的復(fù)雜性,以及忽視項(xiàng)目實(shí)際運(yùn)作情況和實(shí)際效果。
檢核式評(píng)估面臨的困境源自其背后所堅(jiān)持的評(píng)估理念。檢核式評(píng)估本質(zhì)上屬于傳統(tǒng)的“目標(biāo)為本評(píng)估(Goal-based evaluation,GBE)”。這種評(píng)估在本質(zhì)上假定項(xiàng)目具有恒定性,不因情境和時(shí)間發(fā)展而發(fā)生變化。在方法上堅(jiān)持靜態(tài)主義的觀點(diǎn)。在具體操作上堅(jiān)持外部評(píng)估者使用預(yù)定的項(xiàng)目計(jì)劃或指標(biāo)體系對(duì)項(xiàng)目進(jìn)行檢核。鑒于“目標(biāo)為本評(píng)估(GBE)”的局限性,應(yīng)對(duì)當(dāng)前評(píng)估實(shí)踐困境的前提不是對(duì)評(píng)估內(nèi)容、評(píng)估流程、評(píng)估指標(biāo)等進(jìn)行修補(bǔ),而要從項(xiàng)目本質(zhì)假定和方法兩個(gè)層次進(jìn)行厘定,然后再從具體操作上進(jìn)行廓清。根據(jù)這一思路,本文首先以“目標(biāo)為本評(píng)估(GBE)”作為分析的起點(diǎn),然后引入在項(xiàng)目本質(zhì)假定和方法上與之相對(duì)的“自由目標(biāo)評(píng)估(Goal-free evaluation,GFE)”進(jìn)行比較分析和討論,最后在扎根理論的指導(dǎo)下提出可操作性評(píng)估步驟。本文期望通過上述三個(gè)內(nèi)容之分析,在厘清當(dāng)前評(píng)估實(shí)踐本質(zhì)內(nèi)涵的前提下,建構(gòu)一種新的評(píng)估方法以供補(bǔ)足。
二、 目標(biāo)為本評(píng)估(GBE)與自由目標(biāo)評(píng)估(GFE)之內(nèi)涵
何謂評(píng)估?評(píng)估是用科學(xué)的研究方法對(duì)社會(huì)服務(wù)項(xiàng)目的設(shè)計(jì)、策劃、實(shí)施和效果等方面進(jìn)行的測(cè)度、診斷和評(píng)價(jià)的活動(dòng)。一般而言,評(píng)估方法因評(píng)估者對(duì)項(xiàng)目本質(zhì)的假定不同而形成較大差異。當(dāng)評(píng)估者假定項(xiàng)目具有“可管理、運(yùn)作情境穩(wěn)定、所解決的問題之根源已知且有邊界、目標(biāo)可測(cè)量且可預(yù)測(cè)、不關(guān)注意外性結(jié)果”等特征時(shí),通常會(huì)使用“目標(biāo)為本評(píng)估(GBE)”。當(dāng)評(píng)估者假定項(xiàng)目具有“情境復(fù)雜性、無解決問題的已知辦法、目標(biāo)不可控且不可預(yù)測(cè)、接納意外性結(jié)果”等特征時(shí),通常會(huì)使用“自由目標(biāo)評(píng)估(GFE)”。與項(xiàng)目本質(zhì)假定對(duì)應(yīng),在方法上前者堅(jiān)持靜態(tài)主義的觀點(diǎn),后者堅(jiān)持動(dòng)態(tài)主義的觀點(diǎn)。
(一) 目標(biāo)為本評(píng)估(GBE)
“目標(biāo)為本評(píng)估(GBE)”是大多數(shù)評(píng)估者最為熟悉,也是當(dāng)前最為流行的評(píng)估方法。它旨在判斷項(xiàng)目的既定目標(biāo)是否實(shí)現(xiàn)。評(píng)估者通常根據(jù)項(xiàng)目計(jì)劃預(yù)設(shè)一系列指標(biāo),以檢驗(yàn)項(xiàng)目實(shí)施程度如何。它假定項(xiàng)目?jī)?nèi)容和項(xiàng)目目標(biāo)之間天然地存在線性聯(lián)系,因此,應(yīng)該自動(dòng)地將這種聯(lián)系納入項(xiàng)目評(píng)估的范圍之內(nèi)。由此,測(cè)量和因果判斷成為“目標(biāo)為本評(píng)估(GBE)”的核心內(nèi)容。這一觀點(diǎn)在大量類似邏輯模型(logic model)、CIPP模型等指導(dǎo)項(xiàng)目設(shè)計(jì)的改變理論中體現(xiàn)得淋漓盡致。這類改變理論預(yù)先假定了項(xiàng)目按照線性邏輯發(fā)展,因此,試圖將項(xiàng)目預(yù)期行動(dòng)與預(yù)定目標(biāo)按照線性因果邏輯串聯(lián)起來。然后,基于線性因果邏輯對(duì)項(xiàng)目進(jìn)行描述和判斷。在這種評(píng)估中,評(píng)估者通常是外部評(píng)估者。外部評(píng)估者通常以項(xiàng)目預(yù)定計(jì)劃作為藍(lán)本,以邏輯模型或者CIPP模型為指導(dǎo),按照輸入、過程、產(chǎn)出、結(jié)果對(duì)項(xiàng)目進(jìn)行描述(或操作化處理),然后按照各部分之間的因果邏輯對(duì)項(xiàng)目效果進(jìn)行檢驗(yàn)(或評(píng)判)。這種評(píng)估在操作上包括以下幾個(gè)前后連貫的步驟:首先,以任何與項(xiàng)目有關(guān)的文檔或資料為基礎(chǔ),以確定項(xiàng)目服務(wù)和預(yù)期目標(biāo);其次,建立項(xiàng)目服務(wù)與目標(biāo)之間的因果聯(lián)系;再次,用這個(gè)預(yù)定的因果聯(lián)系檢驗(yàn)項(xiàng)目運(yùn)作的實(shí)際情況。由此看出,“目標(biāo)為本評(píng)估(GBE)”是一種理論先行的評(píng)估。在邏輯上,它遵循了演繹的邏輯。它預(yù)先設(shè)定了項(xiàng)目運(yùn)作的理論和邏輯,強(qiáng)調(diào)預(yù)定理論與項(xiàng)目實(shí)際情況之間的比較,并根據(jù)比較結(jié)果對(duì)項(xiàng)目進(jìn)行評(píng)判。
事實(shí)上,“目標(biāo)為本評(píng)估(GBE)”屬于傳統(tǒng)類型的評(píng)估,體現(xiàn)出傳統(tǒng)評(píng)估“掌控”、“預(yù)測(cè)”、“有序”的項(xiàng)目假設(shè)。這種項(xiàng)目假設(shè)將項(xiàng)目視為一種簡(jiǎn)單的、靜態(tài)的、線性發(fā)展的邏輯。它忽略了項(xiàng)目運(yùn)作的情境復(fù)雜性、項(xiàng)目的綜合性等特征。受此項(xiàng)目本質(zhì)假定之影響,“目標(biāo)為本評(píng)估(GBE)”在方法上堅(jiān)持(預(yù)定計(jì)劃先行的)靜態(tài)主義觀點(diǎn)。雖然借助于項(xiàng)目預(yù)定計(jì)劃能夠幫助外部評(píng)估者迅速了解項(xiàng)目運(yùn)作的理論邏輯,但是,這種評(píng)估對(duì)于深刻理解項(xiàng)目實(shí)際運(yùn)作邏輯(actual logic)幫助甚微。事實(shí)上,項(xiàng)目運(yùn)作情境的復(fù)雜性可能會(huì)導(dǎo)致項(xiàng)目實(shí)際運(yùn)作與項(xiàng)目預(yù)定計(jì)劃背離。而評(píng)估者通常將預(yù)定計(jì)劃之外未預(yù)期的結(jié)果處理為項(xiàng)目運(yùn)作失敗的表現(xiàn)。由此,“目標(biāo)為本評(píng)估(GBE)”評(píng)估結(jié)果的有效性將會(huì)降低。
(二) 自由目標(biāo)評(píng)估(GFE)
作為對(duì)“目標(biāo)為本評(píng)估(GBE)”的補(bǔ)足,“自由目標(biāo)評(píng)估(GFE)”主要指,評(píng)估者在不了解項(xiàng)目預(yù)定目標(biāo)的情況下,對(duì)項(xiàng)目開展的評(píng)估。所謂“自由”主要指評(píng)估在理論上保持獨(dú)立性,不受項(xiàng)目設(shè)計(jì)者、實(shí)施者、服務(wù)對(duì)象和評(píng)估結(jié)果使用者對(duì)項(xiàng)目目標(biāo)界定之影響。所謂“目標(biāo)”主要指項(xiàng)目運(yùn)作所產(chǎn)生的實(shí)際結(jié)果,而非項(xiàng)目預(yù)先設(shè)定要實(shí)現(xiàn)之目標(biāo)。
在項(xiàng)目本質(zhì)假定上,不同于“目標(biāo)為本評(píng)估(GBE)”,“自由目標(biāo)評(píng)估(GFE)”對(duì)項(xiàng)目的本質(zhì)假定是:第一,項(xiàng)目目標(biāo)不是預(yù)先給定的,而需要通過實(shí)際的評(píng)估活動(dòng)才能獲得;第二,預(yù)定的目標(biāo)只是一種語言上的修辭,并且這種修辭并不能反映項(xiàng)目的真實(shí)目標(biāo)和項(xiàng)目產(chǎn)生的實(shí)際改變;第三,項(xiàng)目可能產(chǎn)生預(yù)定目標(biāo)以外的意外性目標(biāo)或結(jié)果。正是基于這些對(duì)項(xiàng)目本質(zhì)的認(rèn)知,評(píng)估者不需要預(yù)知項(xiàng)目預(yù)定目標(biāo)是什么,進(jìn)而可以從項(xiàng)目預(yù)定計(jì)劃和目標(biāo)中解放出來。評(píng)估者可以根據(jù)項(xiàng)目的實(shí)際運(yùn)作結(jié)果對(duì)項(xiàng)目目標(biāo)進(jìn)行調(diào)整,進(jìn)而實(shí)現(xiàn)“自由”。就“目標(biāo)”而言,相較于清晰、明確、固定的預(yù)定目標(biāo),項(xiàng)目目標(biāo)具有模糊性、不確定性。但是,這又會(huì)導(dǎo)致自由目標(biāo)評(píng)估者在尋找項(xiàng)目結(jié)果時(shí)存在困難。因此,自由目標(biāo)評(píng)估鼓勵(lì)其評(píng)估者將有效回應(yīng)服務(wù)對(duì)象需求作為項(xiàng)目目標(biāo),并將項(xiàng)目提供的服務(wù)與服務(wù)對(duì)象需求之間連結(jié)起來,而不是與項(xiàng)目既定目標(biāo)連結(jié)。由此,全面、公平、精確的需求評(píng)估對(duì)于開展自由目標(biāo)評(píng)估至關(guān)重要。評(píng)估者可以通過服務(wù)對(duì)象需求滿足程度作為項(xiàng)目運(yùn)作的實(shí)際結(jié)果,并展開評(píng)估。由此看出,與“目標(biāo)為本評(píng)估(GBE)”理論先行不同,“自由目標(biāo)評(píng)估(GFE)”是“服務(wù)對(duì)象為導(dǎo)向”的評(píng)估。
在方法上,“自由目標(biāo)評(píng)估(GFE)”堅(jiān)持動(dòng)態(tài)主義觀點(diǎn)。它強(qiáng)調(diào)評(píng)估不受預(yù)定計(jì)劃和目標(biāo)的影響,能夠應(yīng)對(duì)服務(wù)對(duì)象需求、項(xiàng)目資源、項(xiàng)目目標(biāo)在項(xiàng)目運(yùn)作過程中發(fā)生的變化。評(píng)估者必須堅(jiān)持兩點(diǎn)以避開項(xiàng)目預(yù)定計(jì)劃和目標(biāo)而實(shí)現(xiàn)動(dòng)態(tài)性:一是不能與了解項(xiàng)目預(yù)定目標(biāo)的工作人員交流和溝通;二是不能試圖尋找項(xiàng)目預(yù)定目標(biāo)。評(píng)估者越不了解項(xiàng)目預(yù)定計(jì)劃和目標(biāo),就越會(huì)將注意力集中于項(xiàng)目所產(chǎn)生的實(shí)際結(jié)果,進(jìn)而實(shí)現(xiàn)對(duì)項(xiàng)目的動(dòng)態(tài)適應(yīng)。為此,自由目標(biāo)評(píng)估者需要建立一個(gè)目標(biāo)監(jiān)督者(goal-screener)團(tuán)隊(duì)。該團(tuán)隊(duì)作為評(píng)估者和項(xiàng)目上層利益相關(guān)者(如項(xiàng)目投資者、行政人員、管理者等)之間的中間人而起作用。其作用主要有兩個(gè):一是監(jiān)督評(píng)估者試圖通過項(xiàng)目工作人員尋找預(yù)定目標(biāo)的行為;二是在評(píng)估者和項(xiàng)目上層利益相關(guān)者之間起到監(jiān)督作用,以防止評(píng)估者與上層利益相關(guān)者之間達(dá)成合謀。通過這些方式,“自由目標(biāo)評(píng)估(GFE)”提升其評(píng)估結(jié)果的無偏性。就操作邏輯而言,“自由目標(biāo)評(píng)估(GBE)”目標(biāo)是通過各類資料在服務(wù)與實(shí)際結(jié)果(或服務(wù)對(duì)象需求)之間建立連結(jié)。它要求評(píng)估者首先識(shí)別出項(xiàng)目運(yùn)作的實(shí)際結(jié)果,然后通過回溯的方式確定該結(jié)果是由項(xiàng)目而引起。在方法上采用歸納的方法來理解和分析項(xiàng)目運(yùn)作效果。因此,它是一種質(zhì)性的、探索的、深度描述的評(píng)估方法。
“自由目標(biāo)評(píng)估(GFE)”的特征決定了它必須在一定的前提下才適用。前提之一是,評(píng)估者不能預(yù)先知曉與項(xiàng)目有關(guān)的任何信息,保證評(píng)估者對(duì)項(xiàng)目預(yù)定計(jì)劃和目標(biāo)保持一種“無知”狀態(tài)。這種“無知”可以提升評(píng)估者的獨(dú)立性,進(jìn)而保證評(píng)估的可靠性和公正性。前提之二是,項(xiàng)目上層利益相關(guān)者(如行政人員、管理者等)贊同“自由目標(biāo)評(píng)估(GFE)”的理念和方法。由于“自由目標(biāo)評(píng)估(GFE)”在理念和操作方法上與常用的“目標(biāo)為本評(píng)估(GBE)”具有較大差異,因此,獲得項(xiàng)目上層利益相關(guān)者認(rèn)可或贊同是順利使用該方法的重要保障。
三、 “目標(biāo)為本評(píng)估(GBE)”與“自由目標(biāo)評(píng)估(GFE)”之比較
根據(jù)前文分析,雖然“目標(biāo)為本評(píng)估(GBE)”和“自由目標(biāo)評(píng)估(GFE)”因項(xiàng)目本質(zhì)的假定不同而導(dǎo)致兩者存在較大差異,但是,從評(píng)估發(fā)展階段來看兩者均屬于“第三代”評(píng)估,兩者都以“評(píng)判”作為評(píng)估的核心特征。也即,兩者均需要通過特定的方法(或方式)對(duì)項(xiàng)目運(yùn)作的結(jié)果進(jìn)行判定,并找出其原因。實(shí)際上,兩類評(píng)估均屬于實(shí)證主義哲學(xué)范疇。在本體論上,兩者均堅(jiān)持現(xiàn)實(shí)主義本體論,主張觀察者(評(píng)估者)興趣之外只存在唯一的現(xiàn)實(shí),這個(gè)現(xiàn)實(shí)依據(jù)不變的自然法則起作用,多以因果的形式出現(xiàn)。在認(rèn)識(shí)論上,兩者均堅(jiān)持客觀主義認(rèn)識(shí)論,主張觀察者可以使被研究的現(xiàn)象外在化,并與其保持一定距離(這種狀態(tài)經(jīng)常被稱作“主體——客體二元主義”),任何價(jià)值觀都無法對(duì)之產(chǎn)生影響。為更加清楚地呈現(xiàn)這兩類評(píng)估的差異,在前文分析的基礎(chǔ)上,本文從項(xiàng)目本質(zhì)假設(shè)、評(píng)估目的、評(píng)估方案設(shè)計(jì)、測(cè)量方法、評(píng)估者角色、評(píng)估者立場(chǎng)、評(píng)估結(jié)果評(píng)價(jià)等維度進(jìn)行對(duì)比(見表1)。
就操作方法而言,“目標(biāo)為本評(píng)估(GBE)”因?yàn)橛羞壿嬆P汀IPP模型等改變理論做支撐而變得簡(jiǎn)潔且易操作。在邏輯模型、CIPP模型等指導(dǎo)下,目標(biāo)為本評(píng)估者的主要工作是:(1)對(duì)項(xiàng)目預(yù)定計(jì)劃按照邏輯模型進(jìn)行操作化處理;(2)以操作化結(jié)果作為依據(jù)對(duì)項(xiàng)目進(jìn)行檢核,以最終確定項(xiàng)目運(yùn)作效果。相較而言,“自由目標(biāo)評(píng)估(GFE)”因沒有固定的評(píng)估理論(或評(píng)估模型)作為指導(dǎo)而在操作方法上具有模糊性。因此,“自由目標(biāo)評(píng)估(GFE)”需要在方法上尋求突破,以保證其具有可操作性。
四、 “自由目標(biāo)評(píng)估(GFE)”操作方法
“自由目標(biāo)評(píng)估(GFE)”屬于結(jié)果評(píng)估,在操作方法上要求評(píng)估者以項(xiàng)目運(yùn)作的實(shí)際結(jié)果為起點(diǎn),通過回溯的方式尋找關(guān)于項(xiàng)目以往經(jīng)驗(yàn)之“影響”的信息?!白杂赡繕?biāo)評(píng)估(GFE)”實(shí)質(zhì)上是一種事后評(píng)估,并且是在項(xiàng)目運(yùn)作結(jié)束之后展開的回溯性因果機(jī)制評(píng)估。其最終目標(biāo)是在項(xiàng)目活動(dòng)(或服務(wù))與項(xiàng)目實(shí)際結(jié)果之間建立因果聯(lián)系。Youker等人根據(jù)“自由目標(biāo)評(píng)估”的內(nèi)涵制定了用于指導(dǎo)評(píng)估實(shí)踐的通用規(guī)則:(1)識(shí)別項(xiàng)目所產(chǎn)生的實(shí)際結(jié)果;(2)識(shí)別項(xiàng)目所提供的干預(yù)或服務(wù);(3)確定項(xiàng)目干預(yù)或服務(wù)與實(shí)際結(jié)果之間的邏輯聯(lián)系;(4)確定干預(yù)或服務(wù)對(duì)結(jié)果的影響是積極、消極,還是中立,及其程度。雖然這一規(guī)則為自由目標(biāo)評(píng)估者指明了方向,但是,具體操作方法仍需進(jìn)一步澄清。
(一) 自由目標(biāo)評(píng)估與扎根理論的親和性
前文已述,“自由目標(biāo)評(píng)估(GBE)”是一種強(qiáng)調(diào)質(zhì)性的、探索的、深度描述的評(píng)估方法,通常采用歸納法收集資料以完成評(píng)估。它要求評(píng)估者以項(xiàng)目既存資料作為分析起點(diǎn),然后使用多個(gè)步驟來篩選資料、分析資料。最終,從眾多與項(xiàng)目有關(guān)的資料中逐步識(shí)別項(xiàng)目服務(wù)與結(jié)果(或改變/需求)之間的聯(lián)系。實(shí)際上,“自由目標(biāo)評(píng)估(GBE)”這一邏輯和目標(biāo)與扎根理論具有高度親和性。扎根理論的宗旨是在經(jīng)驗(yàn)資料的基礎(chǔ)上建立理論。研究者在開始研究之前一般不做理論預(yù)設(shè),而是直接從原始資料中歸納出概念和命題,然后上升到理論。它是一種自下而上建構(gòu)(歸納)理論的方法,即在系統(tǒng)收集資料的基礎(chǔ)上尋找核心概念,并在這些核心概念之間建立聯(lián)系。
在扎根理論中,資料必須經(jīng)過“編碼”,進(jìn)而建立(或探索)研究現(xiàn)象之間的聯(lián)系?!熬幋a”的基本原則在于對(duì)資料進(jìn)行持續(xù)地比較、從中擷取主題(themes)、建立范疇(categories),進(jìn)而提煉出接近真實(shí)世界、內(nèi)容豐富、統(tǒng)合完整、具解釋力的理論。編碼是兩項(xiàng)同時(shí)進(jìn)行的活動(dòng):機(jī)械的資料縮減與對(duì)資料進(jìn)行分析性的分類處理。Strauss與Corbin區(qū)分出三個(gè)不同的編碼過程,分別是:開放式編碼、主軸編碼、選擇性編碼。開放式編碼是對(duì)龐雜的資料進(jìn)行分類的初步嘗試中,確定主題并指定最初的編碼或標(biāo)簽。這一過程關(guān)注的是原始資料本身,通過編碼使得深藏于資料中的主題浮現(xiàn)。但是,這一過程并不重視建立主題之間的聯(lián)系。主軸編碼階段則關(guān)注有關(guān)原因與結(jié)果、條件與互動(dòng)、策略與過程的問題,并且搜尋那些彼此離得較近的類別或概念。這一階段的主要工作有兩個(gè):其一是尋找概念或主題之間的相關(guān)性;其二是在眾多質(zhì)性資料與主題之間建立聯(lián)系,形成類似變量與測(cè)量指標(biāo)之關(guān)系網(wǎng)絡(luò)。最后,進(jìn)入選擇編碼環(huán)節(jié)。這一環(huán)節(jié)需要對(duì)原始質(zhì)性資料和前期編碼進(jìn)行再次閱讀和分析。這一環(huán)節(jié)主要涉及以下幾個(gè)步驟:步驟一是選擇性查閱說明主題的案例,并在資料搜集完成之后進(jìn)行比較和對(duì)比;步驟二是發(fā)展出成熟的概念,并確定幾個(gè)核心通則或觀點(diǎn)來籌劃整體性分析;步驟三是圍繞核心通則或觀點(diǎn)來組織概念或主題。
(二) 自由目標(biāo)評(píng)估操作步驟
根據(jù)前文的分析,“自由目標(biāo)評(píng)估(GBE)”和扎根理論在理念、操作原則等方面具有親和性。由此,可以借助扎根理論三級(jí)編碼的思路來指導(dǎo)開展“自由目標(biāo)評(píng)估(GFE)”。值得再次明確的是,“自由目標(biāo)評(píng)估(GFE)”是結(jié)果評(píng)估的一種。它關(guān)注項(xiàng)目的實(shí)際結(jié)果及其產(chǎn)生的原因。結(jié)合扎根理論建構(gòu)概念(或主題)之間的關(guān)系的步驟,可以通過以下步驟完成自由目標(biāo)評(píng)估。
第一步,確定項(xiàng)目實(shí)際結(jié)果及其產(chǎn)生的可能原因。這一步驟類似與扎根理論中開放編碼。此步驟的主要任務(wù)是,從眾多資料中確定項(xiàng)目實(shí)際結(jié)果和其產(chǎn)生的原因,并對(duì)其進(jìn)行主題化或概念化。評(píng)估者和結(jié)果使用者(如項(xiàng)目執(zhí)行者、項(xiàng)目資助者)共同確定可行的評(píng)估問題,用以指導(dǎo)資料收集。評(píng)估問題圍繞項(xiàng)目實(shí)際結(jié)果和導(dǎo)致結(jié)果的可能原因進(jìn)行設(shè)計(jì)(這些原因必定是項(xiàng)目提供過的各類服務(wù))。就結(jié)果而言,可以通過以下問題獲得評(píng)估資料:服務(wù)對(duì)象(個(gè)體、團(tuán)體、社區(qū)、組織或機(jī)構(gòu))可觀察的、可驗(yàn)證的變化是什么?或者,服務(wù)對(duì)象需求滿足程度如何?就原因而言,可以通過以下問題獲得評(píng)估資料:項(xiàng)目執(zhí)行者通過什么服務(wù)而實(shí)現(xiàn)服務(wù)對(duì)象的變化或需求滿足?
第二步,收集評(píng)估資料,撰寫結(jié)果說明報(bào)告。這一步驟類似于扎根理論中的主軸編碼。其主要目標(biāo)是建立項(xiàng)目服務(wù)和項(xiàng)目實(shí)際結(jié)果之間的因果聯(lián)系。這一步主要有兩個(gè)評(píng)估任務(wù)。任務(wù)一是評(píng)估者閱讀與項(xiàng)目有關(guān)的原始材料(如各類臺(tái)賬)、評(píng)估資料(需求評(píng)估報(bào)告、階段性總結(jié)報(bào)告)、自評(píng)報(bào)告等,以識(shí)別項(xiàng)目實(shí)際結(jié)果以及與結(jié)果有關(guān)的各類服務(wù)。此步驟收集的項(xiàng)目資料既包括質(zhì)性資料,又包括量化資料。待資料收集好之后,將各類服務(wù)與結(jié)果表述為因果關(guān)系的表達(dá)形式。任務(wù)二是撰寫結(jié)果說明報(bào)告。結(jié)果說明報(bào)告包括兩項(xiàng)任務(wù):(1)清晰地描述項(xiàng)目服務(wù)和項(xiàng)目實(shí)際結(jié)果,以呈現(xiàn)出項(xiàng)目的基本形態(tài);(2)勾勒出項(xiàng)目服務(wù)與項(xiàng)目實(shí)際結(jié)果之間的因果聯(lián)系。
第三步,修訂結(jié)果說明報(bào)告。這一步驟的主要目標(biāo)是對(duì)結(jié)果報(bào)告說明呈現(xiàn)的因果關(guān)系進(jìn)行進(jìn)一步澄清。由于項(xiàng)目執(zhí)行者深知項(xiàng)目運(yùn)作的實(shí)際情況,因此,邀請(qǐng)項(xiàng)目執(zhí)行者對(duì)結(jié)果報(bào)告說明進(jìn)行修訂能夠提升評(píng)估結(jié)果的有效性。項(xiàng)目執(zhí)行者一方面對(duì)前一步驟形成的因果關(guān)系進(jìn)行檢驗(yàn),另一方面識(shí)別結(jié)果說明報(bào)告以外可能的項(xiàng)目結(jié)果以修訂既成因果關(guān)系。此外,評(píng)估者需對(duì)眾多不同的因果聯(lián)系進(jìn)行類別化處理。亦即,以既成的因果聯(lián)系中的主題(或概念)為分析對(duì)象進(jìn)行歸納處理,以進(jìn)一步精簡(jiǎn)材料。這一步以結(jié)果說明報(bào)告為分析對(duì)象,不涉及任何與項(xiàng)目有關(guān)的實(shí)際資料。邀請(qǐng)項(xiàng)目執(zhí)行者進(jìn)行修訂是為了確保因果聯(lián)系具有實(shí)質(zhì)合理性。
第四步,檢驗(yàn)結(jié)果說明報(bào)告。這一步驟類似于扎根理論中的選擇編碼。這個(gè)步驟的目標(biāo)是檢驗(yàn)經(jīng)過修訂的結(jié)果說明報(bào)告(確切說是因果聯(lián)系)。為提升評(píng)估資料和分析結(jié)果的可靠性,評(píng)估者需要邀請(qǐng)第三方獨(dú)立者對(duì)修訂后的結(jié)果說明報(bào)告中的因果邏輯關(guān)系展開進(jìn)一步檢驗(yàn)。根據(jù)自由目標(biāo)評(píng)估的內(nèi)涵,第三方評(píng)估者一方面不能與項(xiàng)目利益相關(guān)者有關(guān)聯(lián),另一方面不需要提前了解項(xiàng)目相關(guān)信息。其工作主要是從學(xué)理(或者邏輯)的角度對(duì)前一階段的因果邏輯進(jìn)行論證,以確保從項(xiàng)目資料中建構(gòu)而來的因果聯(lián)系具有形式合理性。
第五步,分析和解釋評(píng)估結(jié)果。分析的主要任務(wù)是在對(duì)結(jié)果進(jìn)行類別化處理的過程中識(shí)別潛在的模式。根據(jù)扎根理論的指導(dǎo),為識(shí)別潛在模式,可以從三個(gè)層次展開分析:(1)對(duì)每個(gè)結(jié)果進(jìn)行深度描述和分析;(2)對(duì)單個(gè)服務(wù)和單個(gè)結(jié)果之間的關(guān)系進(jìn)行深度分析;(3)從系統(tǒng)的角度出發(fā),對(duì)多個(gè)服務(wù)和多個(gè)結(jié)果之間的關(guān)系進(jìn)行分析與綜合,此時(shí),需要在不同的主題、類別之間建立橫向與縱向的濃密網(wǎng)絡(luò),進(jìn)而確定項(xiàng)目運(yùn)作潛在改變模式。
通過上述五個(gè)步驟,一方面可以對(duì)項(xiàng)目的實(shí)際效果及其產(chǎn)生的原因進(jìn)行分析和理解,另一方面可以實(shí)現(xiàn)對(duì)項(xiàng)目知識(shí)的積累,甚至形成特定領(lǐng)域的項(xiàng)目理論(這也是扎根理論要實(shí)現(xiàn)的最終目標(biāo))。值得強(qiáng)調(diào)的是,由于“自由目標(biāo)評(píng)估(GFE)”屬于實(shí)證主義哲學(xué)范式,因此在評(píng)估資料收集和分析過程中要盡量強(qiáng)調(diào)客觀性,進(jìn)而保證評(píng)估結(jié)果的客觀性和有效性。
五、 總結(jié)與討論
(一) 總結(jié)
當(dāng)前我國(guó)政府購買社會(huì)服務(wù)通常使用檢核式評(píng)估法進(jìn)行評(píng)估。這種評(píng)估方法本質(zhì)上屬于“目標(biāo)為本評(píng)估(GBE)”。這類評(píng)估在本質(zhì)上認(rèn)為項(xiàng)目是可管理的、項(xiàng)目運(yùn)作情境是穩(wěn)定的、項(xiàng)目目標(biāo)是可控制的。這類評(píng)估在方法上強(qiáng)調(diào)以事先確定的項(xiàng)目理論(或項(xiàng)目邏輯)對(duì)項(xiàng)目運(yùn)作情況進(jìn)行檢驗(yàn)。因此,這類評(píng)估適用于對(duì)發(fā)展相對(duì)成熟、運(yùn)作情境相對(duì)穩(wěn)定的社會(huì)服務(wù)項(xiàng)目展開評(píng)估。雖然這類評(píng)估邏輯清楚、操作便捷,但是,它無法有效應(yīng)對(duì)復(fù)雜情況中運(yùn)作的社會(huì)服務(wù)項(xiàng)目。與此不同,“自由目標(biāo)評(píng)估(GFE)”認(rèn)為項(xiàng)目運(yùn)作情境具有復(fù)雜性、項(xiàng)目過程和項(xiàng)目目標(biāo)不可控。這類評(píng)估通常以項(xiàng)目的實(shí)際結(jié)果作為關(guān)注的焦點(diǎn),采用動(dòng)態(tài)主義的方法觀,通過回溯性研究的方法展開評(píng)估。這類評(píng)估適用于對(duì)正在發(fā)展中的、運(yùn)作情境不穩(wěn)定,且亟待探索的社會(huì)服務(wù)項(xiàng)目展開評(píng)估。由于當(dāng)前我國(guó)政府購買不同領(lǐng)域的社會(huì)服務(wù)項(xiàng)目發(fā)展均還未成熟,甚至很多領(lǐng)域的服務(wù)還處于探索階段,因此,不宜使用結(jié)構(gòu)性較強(qiáng)的“目標(biāo)為本評(píng)估(GBE)”展開評(píng)估,反而應(yīng)該以靈活性更強(qiáng)的“自由目標(biāo)評(píng)估(GFE)”展開評(píng)估。在具體操作方法上,“自由目標(biāo)評(píng)估(GFE)”與扎根理論具有親和性,因此,可以以項(xiàng)目運(yùn)作的實(shí)際效果為起點(diǎn),然后使用“開放編碼”、“主軸編碼”、“選擇編碼”等技術(shù)從眾多評(píng)估資料中澄清項(xiàng)目面貌、建立并檢驗(yàn)項(xiàng)目服務(wù)與結(jié)果之間的因果聯(lián)系。甚至可以在“自由目標(biāo)評(píng)估(GFE)”之評(píng)估結(jié)果的基礎(chǔ)上不斷積累項(xiàng)目知識(shí)、發(fā)展項(xiàng)目理論,以便最終實(shí)現(xiàn)社會(huì)服務(wù)項(xiàng)目規(guī)范化。
(二) 討論
雖然本文將“目標(biāo)為本評(píng)估(GBE)”和“自由目標(biāo)評(píng)估(GFE)”視為兩種不同的評(píng)估類型并從多個(gè)維度進(jìn)行對(duì)比分析,但是,這并不意味這兩種評(píng)估具有本質(zhì)的差別。從哲學(xué)范式上看,這兩類評(píng)估均屬于實(shí)證主義哲學(xué)范疇。兩者均堅(jiān)持現(xiàn)實(shí)主義本體論和客觀主義認(rèn)識(shí)論。這兩種評(píng)估均屬于第三代評(píng)估。其共性是“評(píng)判”,也即對(duì)項(xiàng)目運(yùn)作效果及其原因進(jìn)行評(píng)價(jià)和判斷。二者的不同之處在于對(duì)項(xiàng)目進(jìn)行評(píng)判的方式不同?!澳繕?biāo)為本評(píng)估(GBE)”以某種預(yù)先規(guī)定的外在標(biāo)準(zhǔn)進(jìn)行評(píng)判,而“自由目標(biāo)評(píng)估(GFE)”則以項(xiàng)目實(shí)際運(yùn)作情況作為評(píng)判的標(biāo)準(zhǔn)。在相互關(guān)系上,兩者不是替代關(guān)系,而是補(bǔ)足關(guān)系。此外,雖然基于扎根理論而形成的具體評(píng)估步驟使得“自由目標(biāo)評(píng)估”的理念得以具象化,但是,依然有以下幾個(gè)問題值得注意:(1)評(píng)估資料的客觀性如何保證;(2)在涉及價(jià)值等問題的評(píng)估實(shí)踐中,如何保證從項(xiàng)目資料中建構(gòu)而來的因果聯(lián)系的有效性?雖然這些問題在扎根理論中均有論及,但是,對(duì)這些問題的回應(yīng)超出了方法本身的論域范圍。由此,要將其置于評(píng)估實(shí)踐的背景下進(jìn)行考察,要充分考慮評(píng)估實(shí)踐所面臨的政治、權(quán)力、價(jià)值等因素。而這些內(nèi)容也正是該方法未來研究的重要方向。
(責(zé)任編輯:亞立)
Abstract In order to explore the alternative evaluation method, this paper analyzes the essential assumptions of check-up evaluation method firstly. Then, On the basis of comparing the differences between “goal-based evaluation” and “goal-free evaluation”, this paper asserts that the “goal-free evaluation” is more suitable for the evaluation of program actual effects. Under the guidance of grounded theory, this paper constructs a five-step evaluation method, which includes: “determining the program outcome and its causes”, “collecting data and drafting outcome report”, “revising outcome report”, “examining outcome report”, “analyzing and interpreting outcome report”.
Key words goal-based evaluation; goal-free evaluation; grounded theory