劉江 顧東輝
摘要:社會工作服務效果評估內嵌了因果律。受因果律本體論假定的影響,社會工作服務效果評估通常有兩種方法,一種用社會科學研究方法探索經驗層次服務與結果之間的規(guī)則性聯(lián)系,另一種用理論來解釋經驗層次規(guī)則性聯(lián)系。前者屬于統(tǒng)計學解釋,后者屬于機制性解釋。為整合統(tǒng)計學解釋與機制性解釋,文章以實用主義的機制內涵和過程追蹤法為指導,提出“經驗-方法-理論”和“理論-方法-經驗”兩種不同的社會工作服務效果評估策略。
關鍵詞:社會工作評估;因果機制;方法為本;理論驅動
中圖分類號: C916?????? ?文獻標識碼: A文章編號:2096–7640(2021)06-0005-09
一、引言
在日益追求服務效率、效益、效力的背景下,效果的呈現(xiàn)是社會工作服務責信(accountability)最重要的體現(xiàn)。因此,研究應該著力于如何科學有效地呈現(xiàn)社會工作服務效果。何謂社會工作服務效果?一般而言,社會工作服務效果包含兩層含義:“其一是目標是否達成,其二是目標達成是否歸因于服務本身”[1]。根據這兩層含義,效果評估包含了因果律(causality)。效果評估就是要“檢驗社會工作服務與其目標(之間)的因果關系”[2]?!靶Чu估必須清楚地闡明社會工作服務實現(xiàn)服務目標的具體機制(mechanisms)”[3]。
在社會科學研究中,因果聯(lián)系的本質通常具有兩種本體論層次的假定。第一種假定通常將因果聯(lián)系理解為一種“規(guī)則性經驗聯(lián)系模式(patterns ofregular empirical association)”[4]。這種假定意味著“因果聯(lián)系的確立在于檢驗原因和結果之間有規(guī)則的聯(lián)系”[5]。因果規(guī)則(或規(guī)則性聯(lián)系)可以通過“檢驗原因和結果之間的模式化關系來進行分析”[6]25。在實際操作中,主要檢驗經驗事件之間可觀測或可測量的規(guī)則性聯(lián)系。第二種假定通?!皩⒁蚬?lián)系理解為一種機制”[7]。作為機制的因果聯(lián)系,“它對從原因到結果傳遞的理論過程感興趣”[6]25?!盎跈C制的因果本體理解,經驗層次原因和結果之間有規(guī)則的聯(lián)系并不是必要的,必要的是原因產生結果的深層機制?!盵8]
因果聯(lián)系本體論的兩種假定決定了社會工作服務效果評估兩種不同的操作方法。其一是方法為本的效果評估法,其二是理論驅動的效果評估法。在方法為本的效果評估法中,為檢驗社會工作服務與服務目標之間的因果聯(lián)系,評估者通常需要從眾多可能的干擾要素中,識別并確定所提供的社會工作服務是實現(xiàn)目標的唯一前置性要素,并在此基礎上確定原因和結果之間存在的規(guī)則性關聯(lián)(如相關關系)。社會科學研究方法中的質性和定量方法(比如實驗法、準實驗法、統(tǒng)計分析法、案例比較法等)通常用于方法為本的效果評估。
社會工作服務效果評估僅僅確定原因與其結果之間的規(guī)則性關聯(lián)還不夠。原因在于“規(guī)則性聯(lián)系只是揭示了結果產生的經驗性過程,但是該過程為何如此仍然是亟待解釋的黑箱”[6]25。為解釋這一黑箱,需要將評估從經驗規(guī)則引向更加抽象的理論分析。由此,社會工作服務效果評估至少應該包括兩個層次:其一是在經驗層次上說明社會工作服務與結果之間的聯(lián)系(也即服務與目標之間的規(guī)則性聯(lián)系);其二是解釋經驗層次聯(lián)系的內在機制(也即服務如何實現(xiàn)目標)。如果第一層次是說明“是什么”,且可以借助社會科學研究方法來回應,那么,第二層次就是對“是什么”進行解釋。第二層次的解釋需要借助超越經驗的理論分析來實現(xiàn)。
根據上述分析,社會工作服務效果評估的含義就不僅僅是目標是否達成和目標達成是否歸因于社會工作服務本身,還包括經驗與理論之間的躍遷。如何實現(xiàn)這種躍遷是社會工作服務效果評估需要回應的問題。為回應這一問題,本文擬采取四種策略展開分析:一是分析方法為本的效果評估策略及其特征;二是分析理論驅動的效果評估策略及其特征;三是對方法為本的效果評估和理論驅動的效果評估的解釋類型進行分析;四是以實用主義因果律(pragmatic causality)的內涵作為指導,融合經驗層次的規(guī)則性聯(lián)系和理論層次的機制性因果,并形成兩條整合了“理論-方法-經驗材料”的效果評估策略。
二、方法為本的效果評估法
根據規(guī)則性因果本體論假定,效果評估通常要求評估者對社會工作服務經驗層面的因果聯(lián)系進行檢驗。其任務是在排除所有干擾因素的情況下,確定目標實現(xiàn)歸因于所提供的服務。為實現(xiàn)這一任務,評估者通常借助社會科學研究方法展開效果評估,如測量、研究設計、調查研究(質性與定量)等。
(一)測量與效果評估
測量(measurement)是第一代評估的顯著形式,具有明顯的工具性和技術性特征。它認為“任何指定的調查變量都可以被測量”[9]。它要求根據服務目標(或測量的目標變量)編制科學合理的測量工具。評估者需要使用這些科學合理的測量工具對服務目標進行直接測量。那么,測量對服務效果進行衡量的邏輯是什么?測量運用于效果評估的核心在于其能否體現(xiàn)出測量客體的水平。而測量客體水平的高低又暗含了比較的思想。這種比較通常是將服務對象的測量結果與服務對象所屬類別群體的一般狀況(也即通常所講的“常?!保┻M行比較。在社會工作服務領域,正因為個人或群體與其所屬群體類別(“常模”)之間存在某種差距,才導致他們形成某種“匱乏”,產生某種“需求”。社會工作服務效果就集中體現(xiàn)于解決“匱乏”和滿足“需求”,以使其能夠與“常?!北3忠恢禄蛘邇?yōu)于“常?!?。測量參與社會工作效果評估的前提就在于通過科學的方法獲取某個特定領域的“常?!保约敖嬘行У臏y量工具。
測量的優(yōu)點是能夠用相對統(tǒng)一的、符合大眾一般水平的標準對服務對象的狀況進行評定。但是,僅是標準化測量工具的使用還不足以說明社會工作服務的效果。原因在于,標準化測量工具無法確定在排除干擾因素的情況下,社會工作服務與結果之間的聯(lián)系。
(二)研究設計與效果評估
根據效果評估的第二層含義,控制(或排除)社會工作服務以外的干擾項是實現(xiàn)規(guī)則性因果聯(lián)系檢驗的重要前提。有效的因果推論(或因果檢驗)還涉及比較的議題。和測量中與“常?!钡谋容^不同,因果推論中的比較通常是與自身的反事實(counter- factual)狀態(tài)比較。所謂反事實,“就是和我們能夠觀測到的現(xiàn)實情況相反的一種狀態(tài)”[10]5。根據反事實理論,兩個變量之間的規(guī)則性因果聯(lián)系可以理解為:“一個變量A對于另一個變量B的因果效應,就是A成立時B的事實狀態(tài)與A不成立時B的反事實狀態(tài)之間的差異”[10]5。差異顯著則說明A和B之間具有因果聯(lián)系。這一反事實的因果推論在社會工作服務效果評估中主要體現(xiàn)為:服務對象O在接受社會工作服務S時的狀況P,與服務對象O不接受社會工作服務S時的狀況P之間的差異。
根據反事實的因果推論,事實和反事實都必須發(fā)生在同一個對象身上。在進行效果評估時,需要考慮同一個服務對象在接受社會工作服務與不接受社會工作服務時表現(xiàn)出來的實際狀況是否具有顯著差異。這個要求為效果評估帶來困境,因為任何一個服務對象所能觀測的都是其接受或者不接受服務的情況,而無法觀測其接受且不接受服務的情況。受這一困境的影響,進行社會工作服務因果檢驗的前提又轉變?yōu)?,找到(或建構)與接受服務的對象相似的,但又不接受社會工作服務的對象。由此,社會工作效果評估的基本任務就是構建出與服務對象高度相似的案例,以保證事實案例和反事實案例之間的差異源自是否接受社會工作服務這一唯一要素。
就具體評估策略而言,與反事實理論最為貼近的方法是實驗法。“實驗法的基本要素包括:隨機分配、實驗組、控制組、干預、前測、后測”[11]166。其中,實驗組和控制組就是反事實理論中所指的事實案例和反事實案例。前者接受社會工作服務,后者不接受社會工作服務。隨機分配的作用就是保證進入實驗組和控制組的服務對象在總體上保持相似性,也即在基本特征上不具有顯著性差異。前測是在進行社會工作服務之前,對服務對象的目標狀況進行有效測量。后測是在社會工作服務結束之后,對服務對象的目標狀況進行有效測量。社會工作服務效果即為實驗組和控制組后測結果的差異。如果有差異,且差異顯著,則說明社會工作服務具有效果。
從反事實因果推論的角度看,實驗法是最佳的方法。但是,實驗法用于社會工作評估時會面臨嚴重的適用性困境。首先,反事實組別(控制組)設定難。受服務倫理的限制,社會工作服務無法將目標群體隨機分成兩組,并讓其中一組接受服務(實驗組),另外一組不接受服務(控制組)。在此情況下,基于實驗組和控制組的效果評估便不可能成功。其次,缺乏前測。受社會工作服務重視實務的影響,專業(yè)的社會工作評估者通常是事后的總結性評估(summative evaluation)。效果評估通常被安排在社會工作服務完成之后,對項目的效果進行總結性評價。這使得社會工作評估通常缺乏可供比較的前測。
針對第一個困境,以單案例(single-subject design)為主的研究設計得以引入社會工作服務效果評估。單案例設計有三個核心要素:“基線階段 A、干預階段B、重復的測量”[11]223。具體而言,單案例設計從簡單的“A — B ”設計,到相對復雜的“A—B—A”設計和“A—B—A—B”設計。其中,重復的測量主要用于控制潛在的干擾項,進而提升內在效度。在具體使用過程中,“基線階段通常通過多次(至少三次)測量,以確立有關服務對象在干預目標上的穩(wěn)定模式”[11]224。“這種穩(wěn)定模式或者表現(xiàn)為三次測量結果呈現(xiàn)穩(wěn)定的水平線,或者表現(xiàn)為持續(xù)上升或下降的趨勢,或者表現(xiàn)為一種穩(wěn)定的上下波動”[11]224。當測量結果呈現(xiàn)穩(wěn)定的模式之后,則可以確定已經排除多種干擾要素,進而可以進入干預階段的測量。干預階段的測量通常與基線的測量使用同樣的測量工具。然后,通過可視化(如曲線圖)的方式將階段A和階段B的模式進行呈現(xiàn)并比較,以確定社會工作服務是否有效。
根據上述分析可知,不論是嚴謹的實驗法,還是單案例設計,基本上都以確立社會工作服務與結果之間在經驗層次的規(guī)則性聯(lián)系為目標。它們一方面能夠完成服務結果測量之要求,另一方面也能完成將服務結果歸于社會工作服務本身之要求。即便如此,這些設計也可能因為不關注其他“干擾”要素,而降低了對社會工作服務復雜運作過程的了解與把握。
(三)調查研究與效果評估
在多數情況下,社會工作服務效果評估是一種事后的總結性評估。此時,調查研究的應用范圍更廣。而質性研究和量化研究是使用最多的方法。①在社會工作服務事后評估中,質性研究和量化研究可以單獨使用,也可以混合使用。二者的選擇取決于評估者對社會工作服務項目本質的假定。
社會工作服務項目在本質上有兩種假定。第一種假定認為:“社會工作服務的目標是提前預定的,服務內容和目標之間存在某種線性聯(lián)系,并且項目具有恒定性,不因項目運作的情境和項目運作的時間發(fā)展而產生變化?!盵12]第二種假定認為:“社會工作服務項目具有較強的情境性和時間性,項目運作所在的情境及其成長變化都會使得項目具有強烈的動態(tài)性特征,由此社會工作服務項目運作具有不可預測性?!盵13]兩種社會工作服務項目的假定決定了社會工作服務效果評估使用研究方法的偏好。
在第一種假定的支持下,評估者通常會使用量化研究方法。由于假定社會工作服務項目具有情境恒定性、線性因果律,評估者通常會根據項目方案,按照特定的邏輯(如邏輯模型、CIPP模型等)在社會工作服務及其預設的目標之間建立因果邏輯。在具體評估過程中,評估者或者根據因果邏輯的各個部分對社會工作服務的運作情況進行檢核,或者將因果邏輯進行操作化處理,形成可供驗證的研究假設,并借助問卷調查和統(tǒng)計分析對研究假設進行檢驗。在第二種假設的支持下,評估者通常使用質性研究方法。由于假定社會工作服務具有情境變異性、時間變異性,項目的實際運作狀況無法與預定的項目方案完全匹配,甚至會產生很多意外性結果。評估者無法根據預定的項目方案來指導評估,轉而“以項目實際產生的結果為焦點來展開回溯性研究”[14]。在這一思路指導下,“首先,評估者使用多種不同的方法(如資料查閱、利益相關者焦點訪談等)來確定社會工作服務項目產生的實際結果(非項目預定結果);其次,評估者在眾多資料中識別和分析產生實際結果的服務,并在服務和結果之間建立起聯(lián)系;最后,在確定社會工作服務與實際結果之間的聯(lián)系之后,評估者繼續(xù)尋找與服務有關的新的資料來確定(或檢驗)二者之間的聯(lián)系。”[14]這一過程直至評估資料中不再有新的聯(lián)系出現(xiàn)而停止。
此外,質性與量化方法的混合使用也是一種可供選擇的方法。在混合方法中,質性研究扮演探索的角色,量化研究扮演假設檢驗的角色。首先,使用質性研究在各類與服務有關的資料中建立起服務與實際結果之間的聯(lián)系;其次,將這一聯(lián)系轉化為可供檢驗的研究假設、設置調查問卷、收集量化資料;最后,使用恰當的統(tǒng)計技術對量化資料進行分析,以檢驗社會工作服務與結果之間的聯(lián)系是否具有顯著性。
調查法用于效果評估的優(yōu)勢在于能夠在沒有任何事前設計的情況下,對社會工作服務的效果進行事后評估。即便如此,其不足也非常明顯。通常情況下,一個特定的社會工作服務項目的服務對象是個體或群體。這意味著服務對象通常是小樣本。這對樣本量有一定要求的量化研究產生了較大阻礙。雖然可以使用質性研究代替量化研究,但是在實證主義主導范式下,質性研究因其缺乏統(tǒng)計檢驗功能而在評估結果的效度上受到質疑。
總體而言,在方法為本的效果評估中,基于測量、研究設計和調查研究方法所獲得的因果聯(lián)系屬于經驗層面的聯(lián)系。其對象是特定的經驗層面的社會工作服務和結果之間的規(guī)則性聯(lián)系。這種規(guī)則性聯(lián)系屬于經驗因果,與韋伯所言的“意義因果”[15]相去甚遠。它無法對服務為何產生特定的結果進行有效解釋。
三、理論驅動的效果評估法
根據因果聯(lián)系第二種本體論假定,理論驅動的評估(theory-driven evaluation)作用(或目的)之一是解釋社會工作服務效果產生的機制。社會工作效果評估通常具有兩種理論,“其一是實施理論(impleme- ntation theory),其二是項目理論(program theory)”[16]72。
(一)實施理論與效果評估
實施理論要回應的問題是,“項目預定的目標是否會在項目具有足夠質量保證的情況下實現(xiàn)”[16]72。實施理論關注項目運作的過程以及指導這一運作過程的邏輯,其中程序邏輯模型(PLM)、CIPP模型最為常見。從項目運作質量管理的角度看,項目實施理論中使用的邏輯通常以項目發(fā)展的階段性特征進行設計。具體而言,社會工作服務項目的設計通常根據其發(fā)展階段可以分為準備階段、運作階段(或生長階段)、結果階段。其中,準備階段主要包括項目的投入(如人力、物力、財力等投入和安排),運作階段主要指項目的具體運作(如針對服務對象開展的各種干預策略),結果階段主要包括項目的產出、效果、影響等。項目發(fā)展階段潛藏了一種因時間先后而定的線性因果邏輯。這種線性因果邏輯的作用通常被視為社會工作服務質量和服務效果的重要保障。社會工作項目開發(fā)者只需根據這一線性因果邏輯認真設計項目各個板塊的內容,而實務工作者只需按照這一邏輯及其各個板塊的內容認真執(zhí)行,便可保障項目的質量和效果。社會工作服務效果的評估只需檢核項目實施的實際投入、過程、產出、結果和影響等內容是否與項目預定的計劃相匹配。如果匹配,則說明社會工作服務有效果;如果不匹配,則無效果。本質而言,這類理論是一種形式理論。其各個板塊之間的因果聯(lián)系通常只是在形式上用帶有方向性的箭頭“→”表示。這種因果表達形式并非項目各個部分之間的實質關系,它并不能揭示服務與結果之間真實的邏輯聯(lián)系。
(二)項目理論與效果評估
項目理論要回應社會工作項目目標為何得以實現(xiàn),其目標是進行解釋。項目理論包括“規(guī)范理論(normative theory)和因果理論(causal theory)”[17]。其中,因果理論的作用是提供項目緣何運作的因果假設。與實施理論注重社會工作服務項目的形式邏輯不同,項目理論(尤其是因果理論)聚焦于項目運作的實際情況,幫助厘清項目中“如果A那么B”的鏈條。[18]項目理論對社會工作服務實際情況關注的目的在于探索潛藏于項目實際運作表層之下的深層因果。相對于經驗層次的規(guī)則性聯(lián)系,項目理論所探索的深層因果更加抽象,甚至不可見。對這種抽象層次的因果進行理解的關鍵,是借助社會科學理論,對特定的社會工作服務與其結果之間的規(guī)則性聯(lián)系進行升華式理解。根據這一思路,社會工作服務效果評估就必須回到項目的實際運作,首先探索其在經驗層面的規(guī)則性聯(lián)系,然后探索其背后潛藏的因果機制(或社會科學理論)。也可以從理論出發(fā),經過操作化處理并建立好因果邏輯關系之后,再開展實務和評估工作。
比較兩種評估中的理論,實施理論用一種高度概化的邏輯來理解社會工作服務的運作。它并不能真正獲知社會工作服務緣何實現(xiàn)特定目標。因此,實施理論既不能提供經驗層次的規(guī)則性聯(lián)系,也不能提供理論層次的因果機制。項目理論(尤其是因
果理論)本質上關注超越經驗層次因果機制的理論解釋。一方面它能夠從經驗層面呈現(xiàn)社會工作服務運作的實質邏輯,另一方面它又能從深層的理論角度對社會工作服務與目標之間的關系進行解釋。項目理論(尤其是因果理論)在一定程度上超越了樸素的經驗主義,更貼近于韋伯所謂的“意義因果”的內涵。
四、兩類評估方法的解釋內涵
本質而言,方法為本的效果評估和理論驅動的效果評估,分別屬于兩種不同的解釋類型。前者屬于統(tǒng)計學解釋,后者屬于機制性解釋。
(一)統(tǒng)計學解釋與方法為本的效果評估法
統(tǒng)計學解釋的重要特征是,“如果我們找到一個能夠對被解釋事件的概率造成影響的因素,我們就有了解釋”[19]22。在使用統(tǒng)計學解釋的學者看來,如果一個要素和某個特定結果的條件概率之間具有系統(tǒng)性關聯(lián),那么就可以確定這個要素是原因。統(tǒng)計因果通常使用各種統(tǒng)計模型以確定原因和結果之間的關系。一個結果必定有多個原因,因此,統(tǒng)計模型通常使用“控制”的方式來確定核心因素與結果之間的聯(lián)系。比如,網絡游戲成癮青少年的網癮行為之改變,可能受到很多因素的影響:一是社會工作者使用的服務技術,二是社會工作者與服務對象之間的專業(yè)關系,三是網癮青少年與父母的關系,四是網癮青少年朋輩群體特征……在眾多因素中,要確定哪一個或哪幾個因素對網癮行為改變產生影響,就需要對其他不關注的因素進行“控制”?!翱刂啤钡姆绞接泻芏啵热鐚嶒灲M和控制組,回歸分析中的控制變量等。使用“控制”得到的實際上是在排除(或控制)其他因素的前提下,某個特定因素對結果的影響。這一思路恰巧符合了社會工作服務效果評估的第二層含義。值得注意的是,在社會工作服務中,服務對象的任何改變都是一個高度復雜的社會過程,是不同因素綜合作用的結果。因此,在社會工作服務中,使用統(tǒng)計控制以獲取單個因素對結果產生的凈影響并不一定可取。
從統(tǒng)計分析、由理論出發(fā)形成可供檢驗的假設,并將假設中的概念操作化為可以用經驗材料測量的變量的角度來看,“統(tǒng)計分析本身不是因果解釋,而是對因果解釋的測量和檢驗”[19]25。統(tǒng)計方法直接作用的對象是經驗層面的社會工作服務與結果,以及二者的規(guī)則(統(tǒng)計)性聯(lián)系。其本質是使用概率的方式,對經驗層次的不同事件(或事實)之間的聯(lián)系進行歸納,而非解釋??傊?,統(tǒng)計學解釋的內涵體現(xiàn)為第一種因果本體論假定,與方法為本的效果評估契合。
(二)機制性解釋與理論驅動的效果評估法
關于機制(mechanism)的理解隨研究者所在領域的不同而具有差異。以往有關機制的界定可以分成三類:“一類認為因果機制是將因果力(causalforces)從原因傳遞到結果的系統(tǒng);一類認為因果機制是串聯(lián)原因和結果之間的一系列經驗事件;一類認為因果機制就是原因和結果之間的某種干預變量”[6]32。關于機制的分歧的焦點在于機制是否具有可見性、可測性。[20]一種觀點認為:“機制是一種不存在于現(xiàn)實世界中的分析性構念,是行動主體一種不可測的身體、社會、心理過程,因此只有通過推理的方式來認識因果機制。”[21]另外一種觀點認為:“機制具有可觀測性、穩(wěn)健性和現(xiàn)實性,它是現(xiàn)實世界的一部分,可以通過觀察而來?!盵22]兩種對立的觀點對基于機制的解釋性研究造成阻礙。為了彌補兩種不同理解給機制性解釋的運用帶來的困境, Beach和Pedersen從實用主義的立場出發(fā),認為:“在使用機制進行分析時的目標是盡可能地接近潛在的因果機制,某些因果機制可以通過細致地觀察實際機制的方式進行概念化或操作化,在輔以大量證據的支持下接近潛在的因果機制。”[6]44
“機制雖然難以通過直接觀察或經驗感知而獲得,但是它定位于比變量(或事件)更抽象的層次,可以用于解釋變量之間的統(tǒng)計關系?!盵23]在進行社會工作效果評估時,“不能簡單地對經驗層次的現(xiàn)象進行重復觀察(或測量),而是深入經驗和統(tǒng)計關系的表層之下,以識別偶發(fā)事件發(fā)生規(guī)律的潛在機制”[24]。在操作上,“對機制的認識可以通過引入可觀察的效應來確定潛在機制的存在,而且這些效應正是由潛藏的機制所引起”[25]。理論驅動的效果評估法中對理論的強調,體現(xiàn)出機制性解釋中對抽象于經驗層次的潛藏的機制的追求。總之,機制性解釋的內涵體現(xiàn)為第二種因果本體論假定,與理論驅動的效果評估契合。
根據上述分析可知,統(tǒng)計學解釋本質上揭示的是經驗層次事件之間的聯(lián)系。機制性解釋在統(tǒng)計學解釋的基礎上往前一步,對經驗層次的事件(或變量層次)之間的聯(lián)系進行抽象理解。機制性解釋期望通過探索經驗層次(或變量)背后更深層次的意涵,進而打開社會工作服務與結果之間的因果黑箱。如果說經驗層次的規(guī)則性聯(lián)系回答是什么的問題,那么機制回答的就是為什么的問題。它既關注社會工作服務運作的實質性因果邏輯(經驗性邏輯),又要超越經驗,探索深層次的理論意涵。方法為本、理論驅動、統(tǒng)計學解釋、機制性解釋四者之間的關系如表1所示。
五、機制分析:方法與理論的整合路徑
前文已述,機制性解釋下的社會工作服務效果評估應該是從經驗層次到理論層次的躍遷。由此,社會工作服務效果評估應該將經驗層次的規(guī)則性聯(lián)系與理論層次的因果機制進行整合。在實用主義機制內涵的指導下,經驗的規(guī)則性聯(lián)系與理論的因果機制的整合可以借助過程追蹤(process tracing) 的方法來實現(xiàn)。過程追蹤運用于社會工作服務效果評估至少包含兩層含義。一層含義是,在經驗層面探索原因(X)到結果(Y)的運作過程。這個過程要求評估者從社會工作服務運作的實際狀況中識別服務與結果,以及二者中間可能的其他要素(或干預事件),進而形成經驗層面的規(guī)則性聯(lián)系。另一層含義是,在理論層面探索可以解釋經驗層面規(guī)則性聯(lián)系的理論。在具體評估過程中,可以使用基于理論建構的過程追蹤法(theory-building process tracing)或基于理論檢驗的過程追蹤法(theory - testing process tracing)來整合規(guī)則性聯(lián)系和深層機制(或理論)。
(一)基于理論建構的過程追蹤與機制分析的效果評估法
“基于理論建構的過程追蹤起始于經驗材料,并且對經驗材料進行結構化分析來探索原因(X)和結果(Y)之間可能存在的機制”②[6]16。雖然以經驗材料作為起點,但是該方法要求要確定地知道原因(X)和結果(Y)是什么,以及二者之間存在某種關聯(lián)。該方法的具體操作過程見圖1。
第一,“根據社會工作服務項目的資料確定原因(X)和結果(Y)”[6]16,并借助相關理論對原因(X)和結果(Y)進行界定。原因(X)和結果(Y)可以通過對項目申報書、服務計劃書、服務的利益相關者訪談等資料進行分析來確定。在確定經驗層面的原因和結果之后,需要將社會工作服務與其對應的研究領域相結合,對已經確定的原因和結果進行概念化,并對二者之間的關聯(lián)進行理論化(theorization)理解。
第二,收集經驗證據,“以經驗證據作為原因(X)和結果(Y)之間因果機制在經驗層面的線索”[6]18。在以實踐為導向的社會工作服務項目中,結果通常由工作者提供的服務,以及其提供服務的方式來實現(xiàn)。因此,因果機制的經驗線索可以通過梳理項目計劃書,關注項目所提供的各種服務,以及其服務的傳遞方式來獲得。這個階段的工作量較大,需要評估者或者研究者收集大量與項目有關的經驗材料。并從經驗材料的對比分析中,歸納出一個較為穩(wěn)健的包含原因→過程→結果的經驗性規(guī)則聯(lián)系(也即原因和結果之間不斷重復出現(xiàn)的模式)。
第三,“從經驗層次的規(guī)則性聯(lián)系中推斷該聯(lián)系可能蘊含的潛在因果機制”[6]17。這個步驟的核心任務在于從經驗層次的規(guī)則性聯(lián)系,躍遷至理論層面的因果機制。研究者和評估者不能僅僅停留于對經驗層次規(guī)則性聯(lián)系的歸納總結,還需將形成的經驗層次的規(guī)則性聯(lián)系置于特定的學術研究領域中同理論進行對話,與該領域中不同的理論進行來回分析,以尋找最適配的理論。這一過程直至經驗層次的規(guī)則性聯(lián)系與理論之間實現(xiàn)邏輯自洽而結束。
(二)基于理論檢驗的過程追蹤法與機制分析的效果評估法
與基于理論建構的過程追蹤不同,基于理論檢驗的過程追蹤起始于特定的理論及因其而形成的因果機制假定。在該方法中,評估者通常“預先擁有原因(X)和結果(Y)之間存在某種合理機制的猜想(或假設),或者根據現(xiàn)有理論通過邏輯推理來建構因果機制”[6]14。該法雖然從理論的角度揭示了原因(X)和結果(Y)之間的因果機制,但是這類因果機制因其抽象性質而難以獲得對社會工作服務項目運作的直觀認知。因此,該方法需要從理論(或抽象)層次的因果機制轉向經驗層次。該方法的具體操作過程見圖2。
第一,確定項目中的原因(X)和結果(Y),并“根據項目所在領域的研究成果對原因和結果進行概念化處理,然后確定概念化的原因和結果之間是否存在假設③的(或可供檢驗的)因果聯(lián)系”[6]14。其作用是從理論的角度對項目實際運作的因果邏輯進行預先假定。其所得結果是一個理論化的因果機制。
第二,對理論化的因果機制進行操作化(opera- tionalization)處理。其目的是“將理論層面的因果機制,轉化為可觀測的實質因果聯(lián)系”[6]14。這種轉換要求評估者能將理論層次的因果與項目運作的實際內容、傳遞過程等進行對接。其關鍵點在于理論概念和項目的實際服務、傳遞過程等經驗資料之間的有效調適。
第三,收集經驗證據,“確定項目中是否存在假設的因果機制,以及該機制是否發(fā)揮了預期的作用”[6]14。由于基于理論層次而形成的理論化的因果機制具有不可觀測性,因此,需要對操作化的經驗層次的規(guī)則性聯(lián)系進行檢驗。這要求評估者以項目的利益相關者為對象收集項目信息,然后檢驗經驗層次的規(guī)則性聯(lián)系,進而確定理論層次的因果機制是否存在。
(三)機制分析的本質
不論是基于理論建構的過程追蹤,還是基于理論檢驗的過程追蹤,雖然兩者的邏輯起點不同,但是其最終的歸宿都是獲得項目的因果機制。兩種方法均假定因果機制具有抽象性和不可見性。兩者都持實用主義的觀點,認為抽象的機制具有其現(xiàn)實或經驗的表現(xiàn)形式。在這種假定下,抽象的和不可見的因果機制可以借助理論獲得理解,同時借助經驗資料獲得實質性把握。借助對因果機制的假定、理解及探索,這兩種方法成功地將理論、方法和經驗資料進行有效結合。在基于理論建構的過程追蹤中,從經驗資料到規(guī)則性聯(lián)系,再到理論(或潛在因果機制)建構,將得益于各種不同的質性研究方法之有效使用(如扎根理論等方法)。在基于理論檢驗的過程追蹤中,從理論到因果聯(lián)系,再到可供觀測的經驗資料的收集和檢驗,將得益于各種不同的量化研究方法之使用(如概念化、操作化、測量、統(tǒng)計分析等)。由此,方法為本和理論驅動的效果評估法就得到有效整合。
六、結論與討論
社會工作服務效果評估的核心是探索或檢驗社會工作服務與結果之間的因果聯(lián)系。在這一核心的指引下,以往關于效果評估的研究通常朝著兩條進路不斷發(fā)展。一條以社會工作服務經驗層次的規(guī)則性聯(lián)系為研究對象,將各種不同的社會科學研究方法運用于社會工作服務效果評估之中。另一條以社會工作服務潛藏的因果機制為研究對象,并借助不同學科的理論來解釋這種機制。雖然兩條進路都以探索社會工作服務與結果之間的因果聯(lián)系為主要目標,但是因為各自所堅持的因果本體論假定不同而存在較大差異。前者認為,因果聯(lián)系在本體上是一種規(guī)則性經驗聯(lián)系模式,可以通過經驗觀察、統(tǒng)計檢驗等方式確定原因和結果之間的規(guī)則性聯(lián)系。這種規(guī)則性聯(lián)系揭示的是經驗事件之間的事實聯(lián)系。后者認為,因果聯(lián)系是一種超越經驗層次的機制,是從原因到結果的一種不可見,甚至不可測的潛藏機制。這種機制只有通過理論推論的方式才能得以認識。兩種效果評估方法因其背后的因果假定和解釋類型不同,導致二者呈現(xiàn)平行發(fā)展的特征。
社會工作服務既是一個經驗運作過程,也是一個理論應用過程。因此,效果評估需要思考如何將經驗運作和理論使用進行有效整合。本文在對因果聯(lián)系的本體論假定、解釋類型等做了分析之后,以實用主義的機制性解釋(pragmatic mechanism)作為指導,將經驗、方法、理論三者進行整合。本文形成了兩種可能的整合策略。一種是以經驗層次的規(guī)則性聯(lián)系作為起點,通過歸納、概念化等方法最終走向理論解釋。另一種是以理論性因果聯(lián)系作為起點,通過演繹、操作化等方法最終走向經驗層次的因果聯(lián)系。雖然起點不同,但是兩種方法都以整合理論和經驗為核心目標。
長期以來,社會科學研究方法的不斷發(fā)展和社會工作對實務的強調,共同推動了社會工作服務的評估朝向方法為本的方向發(fā)展。研究方法的便捷性、經驗資料的易理解性通常使得隱藏在社會工作服務背后的深層機制(或理論過程)被忽視。社會工作知識的積累過程應該是經驗和理論兩個方面共同發(fā)展的過程。過于重視社會工作服務中的經驗事實,而忽視其背后的理論內涵,可能會導致社會工作實務在低水平的經驗層次不斷重復,這又阻礙了社會工作專業(yè)的深度發(fā)展。結合本文的研究結果,在社會工作服務效果評估中,應該將實務經驗和理論進行整合。這種整合或者以經驗聯(lián)系為起點,或者以理論聯(lián)系為起點。如何選擇則與社會工作服務項目的特征及評估者的素養(yǎng)有關。鑒于社會工作服務效果評估的重要性和復雜性,建議第三方評估應該超越簡單的以指標為主導的檢查式評估,轉而以尊重項目獨特性,運用本文提出的兩種整合性方法展開效果評估。
注釋
①在有的研究方法書籍中通常將調查研究與量化研究等同,將調查等同于問卷調查。本文認為,調查并非只包括問卷調查,質性研究中常用的個案訪談、焦點小組訪談、專家德爾菲法等均屬于調查。因此,本文將質性研究和量化研究均置于調查研究之列。
②本文雖然借用了實用主義的機制本體論假定,但是依然傾向于認為機制(mechanism)是超越經驗層次的、不可見的、與理論有關的要素。因此,這里所說的基于經驗材料的機制,在本質上是社會工作服務、中間要素、結果之間的規(guī)則性關聯(lián)??梢员硎鰹閄→n1→ n2→……Y。
③這里的假設不是源自社會工作服務,也不是源自評估者的經驗,而是在原因和結果概念化的基礎上,從與之對應的理論而推演出來的假設。
參考文獻
[1] 羅希, 弗里曼, 李普希.項目評估:方法與技術[M].邱澤奇, 等,譯.北京:華夏出版社, 2002:20
[2] 劉江.社會工作服務效果評估:基于定性與定量方法的混合評估法[J].華東理工大學學報(社會科學版), 2016(6):36-43,83.
[3] ?KHANDDER S R, KOOLWAL G B, SAMAD H A. Handbookon? impact? evaluation: quantitative? methods? and pracitces [M].Washington DC: The World Bank Publication, 2010:3.
[4] ?BRADY H E. Causation and explanation in social science [C]//JANET? M? BOX-STREFFENSMEIER,? HENRY? E? BRADY, DAVID COLLIER. The Oxford handbook of political methodo- logy. Oxford: Oxford University Press, 2010:217-270.
[5] ?MARINI M M, SINGER B. Causality in the social sciences [J].Sociological? methodology, 1988, 18: 347-409. Doi:10.2307/271053.
[6] ?BEACH D, PEDERSEN R B. Process-tracing methods: founda-tions and guidelines [M]. Ann Arbor: The University of MichiganPress, 2013.
[7] ?BENNETT, ANDREW. Process-tracing: a bayesian perspective[C]// JANET M BOX-STEFFENSMEIER, HENRY E BRADY, DAVID COLLIER. The Oxford handbook of political methodo- logy. Oxford: Oxford University Press, 2010:702-721.
[8] ?BOGEN J. Regularities and causality: generalizations and causalexplanations[J]. Studies in history & philosophy of biological and biomedical sciences, 2005, 36(2):397-420.
[9] 古貝, 林肯.第四代評估[M].秦霖, 等, 譯.北京:中國人民大學出版社, 2008:5.
[10]胡安寧.社會科學因果推斷的理論基礎[M].北京:社會科學文獻出版社, 2015.
[11] ENGEL RAFAEL J , SCHUTT RUSSELL K. The practice of re- search in social work.[M].3rd ed. Clifornia: SAGE Publication,2013.
[12]劉江.自由目標評估:一種可行的社會服務項目效果評估法——兼論社會服務項目效果評估的新轉向[J].華東理工大學學報(社會科學版), 2019(4):57-64.
[13] FITZPATRICK J L, SANDERS J R, WORTHEN B R. Program evaluation: alternative? approaches? and? practical? guidelines[M].3rd ed. Boston: Pearson Education, 2004:41.
[14] YOUKER B W. Goal-free evaluation: a potential model for theevaluation? of? social? work? programs[J]. Social? work? research,2013, 37(4):432-438.
[15]馬克斯·韋伯.社會學的基本概念[M].顧忠華, 譯.桂林:廣西師范大學出版社, 2010:36
[16] WEISSC. Theory-basedevaluation: ?past,presentand future[C]//ROG D J, FOURNIER D. Progress and future? direc- tions in evaluation: perspectives on theory, practice and methods. San Francisco: Jossey-Bass, 1997.
[17] CHEN? H-T,? ROSSI? P? H. TheTheory-drivenapproach? to validity[J]. Evaluation and program planning, 1987, 10(1):95-103.
[18]王海萍, 許秀嫻.我國社會工作干預項目評估流程與方法回顧[J].社會工作與管理, 2018(5):15-20.
[19]彼得·赫斯特洛姆.解析社會:分析社會學原理[M].陳云松, 等, 譯.南京:南京大學出版社, 2010.
[20] ASTBURY B, LEEUW F L. Unpacking black boxes: mechan- isms and theory building in evaluation[J]. American journal ofevaluation, 2010, 31(3):363-381.
[21] GEORGE A L, BENNETT A . Case studies and theory develop- ment in the social sciences [M]. Cambridge: MIT Press, 2005:137.
[22] BUNGE M. Mechanism and explanation[J]. Philosophyofthe so- cial sciences, 1997, 27(4):410-465.
[23] PAWSON? R.Invisible? mechanisms[J]. Evaluation? journalofAustralasia, 2008, 8(2):3-13.
[24] BHASKAR R. A realist theory of science [M]. Sussex, Brighton:Harvest Press, 1975:13.
[25] SAYER R K. The mechanisms of emergence[J]. Philosophy of the social sciences, 2004, 34(2):260-282.
(文字編輯:王香麗責任校對:徐朝科)
Method-Based, Theory-Driven and Mechanism Analysis: ThreeApproaches for Social Work Service Effect Evaluation
LIU Jiang1, GU Donghui2
(1. School ofPublic Affairs, Nanjing University of Science and Technology, Nanjing, 210094, China;2. School of Social Development andPublic Policy, Fudan University, Shanghai, 200433, China)
Abstract: Causality is embedded in the effectsevaluation of social work services. Influenced by the ontology of causality, there are two approaches to evaluate the effects of social work services. One is to explore the regular relationship between services and results based on social science research methods, and the other is to explain the regular relationship between services and results based on theory. The former belongs to statistical interpretation, while the latter belongs to mechanism interpretation. In order to integrate the statistical interpretation and the mechanism interpretation, under the guidance of pragmatism mechanism and process tracing, this paper puts forward two different methods of social work service effect evaluation:“experience- method-theory”and“theory-method-experience”.
Key words: social work evaluation; causal mechanism; method-based; theory-driven