吳洪淇

引 言

在現(xiàn)代社會(huì)中，司法是一個(gè)國(guó)家進(jìn)行有效社會(huì)治理的重要手段。而作為一種社會(huì)治理手段的司法是否起到相應(yīng)的作用，則有賴于良好的司法制度、適格的司法職業(yè)群體以及到位的司法保障措施。改革開放40年來(lái)，我國(guó)在司法領(lǐng)域的制度建設(shè)、人員優(yōu)化以及物質(zhì)保障方面都取得了長(zhǎng)足的進(jìn)步。但在社會(huì)整體快速發(fā)展的背景下，司法領(lǐng)域中司法不公、司法不廉、司法公信力不足等問(wèn)題依然突出，司法錯(cuò)判、司法行政化、司法負(fù)荷過(guò)重依然困擾著司法系統(tǒng)。(1)關(guān)于司法領(lǐng)域存在問(wèn)題的分析，參見龍宗智：《司法建設(shè)論》，北京：法律出版社，2021年，第153-154頁(yè)。因此，從2013年黨的十八大以來(lái)，我國(guó)以前所未有的速度和深度全面推進(jìn)司法領(lǐng)域的全方位改革。隨著司法改革的全面推進(jìn)，為了使改革舉措能夠更具針對(duì)性和實(shí)效性，對(duì)于司法領(lǐng)域的系統(tǒng)評(píng)估和跟蹤性評(píng)估也相應(yīng)產(chǎn)生。這些評(píng)估類型繁多，評(píng)估的組織者來(lái)源各異，所運(yùn)用的方法千差萬(wàn)別，所得出的結(jié)果自然也就截然不同。從社會(huì)學(xué)研究方法的角度來(lái)說(shuō)，對(duì)某一項(xiàng)目的評(píng)估，就是“運(yùn)用社會(huì)研究程序，系統(tǒng)地調(diào)查社會(huì)干預(yù)項(xiàng)目的效果，……評(píng)估者運(yùn)用社會(huì)研究的方法，評(píng)估并幫助改進(jìn)社會(huì)項(xiàng)目的各個(gè)重要方面，包括對(duì)社會(huì)問(wèn)題的診斷、概念化、設(shè)計(jì)、執(zhí)行與管理、產(chǎn)出與績(jī)效”。(2)艾爾·R.巴比：《社會(huì)研究方法》，邱澤奇譯，北京：清華大學(xué)出版社，2020年，第317頁(yè)。因此，司法評(píng)估作為項(xiàng)目評(píng)估的一種亞類型，其本質(zhì)依然還是一種評(píng)估活動(dòng)，依然要遵循評(píng)估活動(dòng)本身的一些基本準(zhǔn)則。這些方法運(yùn)用的科學(xué)與否將直接影響對(duì)我國(guó)司法狀況評(píng)估判斷的科學(xué)性與準(zhǔn)確性。

近年來(lái)，我國(guó)司法的許多制度改革逐漸轉(zhuǎn)向通過(guò)試點(diǎn)來(lái)對(duì)改革方案進(jìn)行試錯(cuò)，經(jīng)過(guò)試點(diǎn)總結(jié)經(jīng)驗(yàn)教訓(xùn)，提煉可推廣的方案，待時(shí)機(jī)成熟后再上升為司法解釋和全國(guó)立法。在這一背景下，針對(duì)相關(guān)司法制度的評(píng)估便成為決定我國(guó)司法制度改革走向的一個(gè)重要環(huán)節(jié)。目前盡管針對(duì)司法的評(píng)估已非常多，但我國(guó)學(xué)者還很少對(duì)司法評(píng)估方法特別是定性研究方法本身進(jìn)行專門討論。(3)何挺對(duì)刑事司法改革中的實(shí)驗(yàn)研究做了系統(tǒng)的分析，并對(duì)實(shí)驗(yàn)研究與評(píng)估研究之間的關(guān)系進(jìn)行了論述。實(shí)驗(yàn)和評(píng)估雖有交集但也存在很多差異。參見何挺：《刑事司法改革中的實(shí)驗(yàn)研究》，北京：法律出版社，2019年，第234-235頁(yè)。此外還可參見吉姆·帕森斯等：《試點(diǎn)與改革：完善司法制度的實(shí)證研究方法》，郭志媛譯，北京：北京大學(xué)出版社，2006年，第117-119頁(yè)。一些試點(diǎn)改革當(dāng)中，對(duì)試點(diǎn)效果加以評(píng)估這一至關(guān)重要的環(huán)節(jié)往往被忽略，缺乏足夠的科學(xué)性。因此，有必要針對(duì)司法制度改革的評(píng)估進(jìn)行認(rèn)真審慎的研究。由于筆者已經(jīng)在其他文章中對(duì)司法評(píng)估的定量方法進(jìn)行過(guò)反思，(4)吳洪淇：《司法量化評(píng)估的建構(gòu)邏輯與理論反思》，《探索與爭(zhēng)鳴》2021年第8期。本文主要對(duì)司法評(píng)估的定性方法進(jìn)行初步的描述與分析。作為背景性材料，文章第一部分對(duì)我國(guó)司法評(píng)估存在的主要問(wèn)題作初步的檢討；第二部分將討論司法評(píng)估為什么需要定性方法，對(duì)定量方法與定性方法在司法評(píng)估開展過(guò)程中存在的優(yōu)勢(shì)與劣勢(shì)進(jìn)行檢討；第三部分著重描述分析訪談、參與觀察等定性方法在司法評(píng)估當(dāng)中的應(yīng)用及其潛在問(wèn)題；第四部分則著重以某一司法改革評(píng)估項(xiàng)目為例來(lái)展示一種將定量與定性方法相結(jié)合的基本進(jìn)路。

一、司法評(píng)估的主要問(wèn)題

對(duì)于我國(guó)司法狀況的評(píng)估形式相當(dāng)多，這些評(píng)估有的以評(píng)估的形式出現(xiàn)，有的以試點(diǎn)的方式出現(xiàn)，有的則以檢查的方式出現(xiàn)。從不同的角度可以作不同的評(píng)估類型區(qū)分：從評(píng)估主體來(lái)看，有司法系統(tǒng)內(nèi)部自己的評(píng)估與司法系統(tǒng)外部對(duì)司法系統(tǒng)本身的評(píng)估；從評(píng)估范圍來(lái)說(shuō)，有整體評(píng)估和專項(xiàng)評(píng)估之分，整體評(píng)估著眼于整個(gè)司法主體各個(gè)領(lǐng)域，專項(xiàng)評(píng)估則常常著眼于某一項(xiàng)改革(比如司法員額制、司法責(zé)任制)或某一問(wèn)題(比如司法人員流失問(wèn)題、速裁程序問(wèn)題)；從評(píng)估對(duì)象來(lái)說(shuō)，有針對(duì)全國(guó)范圍內(nèi)公檢法等大范圍的評(píng)估，也有僅針對(duì)某一系統(tǒng)或某一地區(qū)司法機(jī)構(gòu)的評(píng)估。林林總總的司法評(píng)估體現(xiàn)了我們對(duì)政策實(shí)施后果的重視，但現(xiàn)有的司法評(píng)估也存在諸多問(wèn)題。

第一，司法評(píng)估的主體中立性和獨(dú)立性不足。司法評(píng)估的評(píng)估者本身的中立性是確保司法評(píng)估客觀性的一個(gè)前提性條件。但在許多司法評(píng)估中，司法評(píng)估者的中立性往往就存在一些可疑之處。首先，一些評(píng)估者本身也許就是政策的倡導(dǎo)者或推行者，對(duì)政策在司法機(jī)關(guān)推行中存在的問(wèn)題往往會(huì)選擇性忽略或者低估，以至于在評(píng)估的設(shè)計(jì)和實(shí)施過(guò)程中無(wú)法對(duì)被評(píng)估對(duì)象給予客觀的評(píng)估。其次，一些評(píng)估的評(píng)估者與被評(píng)估者之間本身存在上下級(jí)或其他利害關(guān)系，這些利害關(guān)系的存在對(duì)評(píng)估的中立性也會(huì)帶來(lái)一些影響。最后，一些評(píng)估的評(píng)估者有時(shí)候是自我進(jìn)行評(píng)估，即使由第三方評(píng)估，第三方本身就是受被評(píng)估者委托或者由被評(píng)估者提供經(jīng)費(fèi)支持，缺乏足夠的獨(dú)立性。

第二，司法評(píng)估的主觀預(yù)設(shè)性太強(qiáng)。這種主觀預(yù)設(shè)一方面表現(xiàn)為結(jié)論先行，把改革本身當(dāng)成一種政績(jī)，對(duì)改革舉措的運(yùn)行過(guò)程缺乏必要的關(guān)注。正如一些學(xué)者所說(shuō)，在現(xiàn)有一些司法改革當(dāng)中，一些部門和地方在缺乏深入調(diào)研、充分聽取各方意見的情況下，就急于總結(jié)各項(xiàng)司法改革舉措的成果、經(jīng)驗(yàn)，草率宣布司法改革取得巨大進(jìn)步、成效顯著。(5)胡昌明：《司法體制改革評(píng)估的衡量標(biāo)準(zhǔn)及方法》，《中國(guó)法律評(píng)論》2018年第3期。之所以出現(xiàn)這一看似荒謬的現(xiàn)象，其根源還在于一些司法機(jī)構(gòu)許多時(shí)候是為了改革而改革，為了政績(jī)而改革。對(duì)這些機(jī)構(gòu)來(lái)說(shuō)，改革本身就是一種政績(jī)的體現(xiàn)，至于改革成效如何則并不關(guān)心。主觀預(yù)設(shè)另一方面的表現(xiàn)則是對(duì)改革的評(píng)估不夠全面，有關(guān)改革試點(diǎn)效果的評(píng)估常常缺乏必要的審慎，著重闡述試點(diǎn)改革“取得正面效果與實(shí)施的可行性，而對(duì)其局限性與可能存在的問(wèn)題要么忽略不提，要么提及很少”。(6)郭松：《試點(diǎn)改革與刑事訴訟制度發(fā)展》，北京：法律出版社，2018年，第92-93頁(yè)。正是主觀預(yù)設(shè)性太強(qiáng)，導(dǎo)致一些改革的官方評(píng)價(jià)與民間評(píng)價(jià)之間常常存在巨大的差距。

第三，司法評(píng)估所使用的方法科學(xué)性欠缺。司法評(píng)估本質(zhì)上還是項(xiàng)目評(píng)估的一種亞類型，需要遵循項(xiàng)目評(píng)估的基本方法才能確保其準(zhǔn)確性。在我國(guó)的一些司法評(píng)估當(dāng)中，采用了多種多樣的評(píng)估方法。在定量方法方面，常常會(huì)采用指標(biāo)設(shè)計(jì)、調(diào)取數(shù)據(jù)、問(wèn)卷調(diào)查等方法；在定性方法方面，常常會(huì)采取座談、制度實(shí)驗(yàn)等方式。但無(wú)論在定量方法還是定性方法方面，還存在一些不盡人意的地方，導(dǎo)致司法評(píng)估的過(guò)程和評(píng)估結(jié)果最后都未能取得令人滿意的效果。下面三個(gè)部分將著重圍繞司法評(píng)估中的定性方法本身展開討論。

二、司法評(píng)估為何需要定性方法？

從整體上看，目前司法評(píng)估所運(yùn)用的方法主要還是以定量為主，通過(guò)問(wèn)卷的發(fā)放、回收與統(tǒng)計(jì)或者案件數(shù)據(jù)的統(tǒng)計(jì)來(lái)收集司法不同層面的信息和評(píng)價(jià)。(7)吳洪淇：《司法量化評(píng)估的建構(gòu)邏輯與理論反思》，《探索與爭(zhēng)鳴》2021年第8期。但對(duì)于司法評(píng)估來(lái)說(shuō)，僅僅只有定量方法還是不夠的，需要定性方法來(lái)加以有效的補(bǔ)充。

(一)定性研究方法

按照社會(huì)學(xué)家吉登斯的界定，定性方法是以下幾種研究方法的統(tǒng)稱：“焦點(diǎn)團(tuán)體、民族志、半結(jié)構(gòu)或無(wú)結(jié)構(gòu)訪談、面對(duì)面訪談、參與觀察、傳記研究、口述史、敘事研究、扎根理論以及生活史研究?！?8)安東尼·吉登斯、菲利普·薩頓：《社會(huì)學(xué)基本概念》，王修曉譯，北京：北京大學(xué)出版社，2019年，第43頁(yè)。與定量方法不同，定性方法作為一類實(shí)證研究方法更接近被觀察者，通過(guò)近距離的訪談、觀察和個(gè)人體驗(yàn)來(lái)深入把握被觀察者本身。正如社會(huì)研究方法的權(quán)威學(xué)者艾爾·巴比所說(shuō)：定性研究方法“典型的做法是，試圖先從無(wú)法預(yù)測(cè)的進(jìn)程中，發(fā)現(xiàn)有意義的東西——從初始的觀察，嘗試性推展出一般結(jié)論，這些結(jié)論能夠啟發(fā)進(jìn)一步觀察，進(jìn)行這種觀察，然后再修正結(jié)論等”。(9)艾爾·R.巴比：《社會(huì)研究方法》，第286頁(yè)。這種不帶強(qiáng)烈預(yù)設(shè)的方法與帶有明確指向性的定量方法形成較為鮮明的對(duì)比。目前在司法評(píng)估中比較可能涉及的定性方法主要有以下三種：

第一種是定性訪談方法，主要通過(guò)與觀察者面對(duì)面訪談的方式來(lái)獲取對(duì)某一問(wèn)題的相關(guān)信息。在定性訪談中，由訪問(wèn)者確立對(duì)話方向，針對(duì)受訪者提出若干具體議題并加以追問(wèn)，通過(guò)訪問(wèn)者與受訪者之間的互動(dòng)來(lái)完成相應(yīng)的調(diào)查與評(píng)價(jià)。(10)艾爾·R.巴比：《社會(huì)研究方法》，第305頁(yè)。訪談不同于我國(guó)法學(xué)學(xué)者們?cè)谘芯慨?dāng)中常用的集體座談。訪談一般是一對(duì)一的深度訪談，這樣確保被訪談?wù)卟粫?huì)因?yàn)槠渌嗽趫?chǎng)而心生顧忌。訪談?wù)叱龖?yīng)了解所需要的問(wèn)題之外，還要進(jìn)一步了解被訪談?wù)叩墓ぷ鳉v程和相應(yīng)背景知識(shí)，這樣更有利于理解被訪談?wù)邔?duì)相關(guān)問(wèn)題的回答。訪談一般在相應(yīng)的工作場(chǎng)所進(jìn)行，這樣訪談?wù)呖梢愿钊肜斫獗辉L談?wù)叩墓ぷ髑榫场ＴL談要遵守相應(yīng)的職業(yè)倫理，通過(guò)保密、匿名等方式避免因訪談給被訪談?wù)邘?lái)困擾。(11)劉思達(dá)：《法律社會(huì)學(xué)：定性研究是主流》，《中國(guó)社會(huì)科學(xué)報(bào)》2010年12月2日，第11版。訪談之前需要做好充分的準(zhǔn)備工作，訪談之后需要將訪談的數(shù)據(jù)進(jìn)行整理、編碼、匯總，形成相應(yīng)的數(shù)據(jù)庫(kù)，為后續(xù)的研究提供最基本的材料。我國(guó)法學(xué)學(xué)者早在20世紀(jì)90年代便已將訪談方法運(yùn)用于司法問(wèn)題研究，比如蘇力有關(guān)中國(guó)基層司法的研究就主要采用了訪談的方法。(12)蘇力：《送法下鄉(xiāng)：中國(guó)基層司法制度研究》，北京：中國(guó)政法大學(xué)出版社，2001年，第100頁(yè)。定性訪談方法從開放性角度可以分為結(jié)構(gòu)化訪談、半結(jié)構(gòu)化訪談、非結(jié)構(gòu)化訪談以及專題小組訪談。(13)有關(guān)三種分類的具體描述，參見邁克爾·G.馬克斯菲爾德、艾爾·R.巴比：《刑事司法與犯罪學(xué)研究方法》，劉為軍等譯，北京：中國(guó)政法大學(xué)出版社，2021年，第368-372頁(yè)。其中，在我國(guó)刑事司法研究中，專題小組訪談(我國(guó)常常稱為“座談”)是較為常用的形式。

第二種方法是實(shí)地觀察，通過(guò)到考察對(duì)象實(shí)地進(jìn)行觀察來(lái)獲取信息。這種方法適合于那些需要在自然場(chǎng)景中研究某一事件或行為，通過(guò)到實(shí)地進(jìn)行觀察可以獲取很多直觀的認(rèn)識(shí)，同時(shí)通過(guò)實(shí)地觀察具體場(chǎng)景下相關(guān)人員的生存環(huán)境及其在該環(huán)境下的具體行為，可以更深刻理解這些人員行為與環(huán)境之間的互動(dòng)關(guān)系。實(shí)地觀察按照參與被觀察者環(huán)境的程度可以被大致區(qū)分為直接觀察與參與觀察。直接觀察通常是以某一外來(lái)者的身份來(lái)訪問(wèn)觀察某一特定的機(jī)構(gòu)或環(huán)境，比如到某一法院進(jìn)行參觀調(diào)研。在這種情況下，研究者是很明確的外來(lái)身份，而被研究者也清楚了解觀察者的身份和目的。直接觀察的優(yōu)點(diǎn)是可以簡(jiǎn)單快捷地進(jìn)入實(shí)地獲取特定的信息，但缺點(diǎn)也很明顯。由于被研究者清楚地知道觀察者的目的，觀察者進(jìn)入實(shí)地這一行為本身就對(duì)被觀察者的行為帶來(lái)影響，使得被觀察者的行為產(chǎn)生不自然的變化。為此，研究人員還可能通過(guò)隱匿研究目的以一種內(nèi)部人的身份進(jìn)入被觀察者的環(huán)境中，這是運(yùn)用參與觀察的方法。參與觀察，就是指研究者以某種內(nèi)部身份參與被觀察者的環(huán)境，從而對(duì)其內(nèi)部運(yùn)作過(guò)程進(jìn)行觀察的一種基本方法。作為社會(huì)科學(xué)實(shí)證研究中歷史最為悠久的一種方法，參與觀察最大的優(yōu)點(diǎn)在于可以在很大程度上避免被觀察者因?yàn)橥獠拷槿攵鴮?dǎo)致數(shù)據(jù)中的虛假信息，直觀地觀察到所要了解的信息。在刑事司法研究中，研究人員常?？梢酝ㄟ^(guò)掛職、實(shí)習(xí)等方式讓自己得以融入被觀察者的環(huán)境，借以直接觀察到司法機(jī)構(gòu)當(dāng)中的常規(guī)運(yùn)行狀態(tài)。當(dāng)然，參與觀察由于研究者隱匿研究的目的而可能帶來(lái)欺騙研究對(duì)象的后果及其他風(fēng)險(xiǎn)，這就需要在開展參與觀察之前做好相關(guān)的預(yù)案。參與觀察方法的另一個(gè)缺陷是由于研究者高度嵌入研究場(chǎng)景，其所觀察的信息就是高度地方性的，那么這些信息是否能夠適用于其他場(chǎng)景也就是其可適用性就值得探究。(14)邁克爾·G.馬克斯菲爾德、艾爾·R.巴比：《刑事司法與犯罪學(xué)研究方法》，第436頁(yè)。

第三種是歷史文獻(xiàn)分析方法。在社會(huì)科學(xué)里，所謂歷史文獻(xiàn)是指一手的原始文獻(xiàn)資料(primary source)，而不是他人的學(xué)術(shù)著作、教材等二手文獻(xiàn)。(15)劉思達(dá)：《法律社會(huì)學(xué)：定性研究是主流》，《中國(guó)社會(huì)科學(xué)報(bào)》2010年12月2日，第11版。歷史文獻(xiàn)分析方法就是通過(guò)查閱歷史文獻(xiàn)來(lái)觀察制度在一定時(shí)間段中的具體運(yùn)行狀況和變化趨勢(shì)。作為一種評(píng)估方法，歷史文獻(xiàn)分析方法的獨(dú)特優(yōu)勢(shì)在于其關(guān)注的時(shí)間段更長(zhǎng)，能夠在長(zhǎng)時(shí)段中展示某一制度實(shí)施前后的變化趨勢(shì)。與此同時(shí)，由于這些歷史文獻(xiàn)都是已經(jīng)發(fā)生過(guò)的，不需要接觸研究對(duì)象即可以開展相關(guān)數(shù)據(jù)收集，因此其呈現(xiàn)的內(nèi)容很難被更改，也就能更為客觀地呈現(xiàn)制度運(yùn)作的軌跡。司法機(jī)關(guān)在開展司法活動(dòng)過(guò)程中會(huì)生成大量的歷史文獻(xiàn)，比如案卷、會(huì)議記錄、人事檔案等等。我國(guó)已經(jīng)有一些學(xué)者運(yùn)用該方法來(lái)研究司法制度，比如利用審判委員會(huì)會(huì)議記錄來(lái)研究審判委員會(huì)制度的運(yùn)作狀況，(16)比如左衛(wèi)民：《審判委員會(huì)運(yùn)行狀況的實(shí)證研究》，《法學(xué)研究》2016年第3期；王倫剛、劉思達(dá)：《基層法院審判委員會(huì)壓力案件決策的實(shí)證研究》，《法學(xué)研究》2017年第1期。利用案卷卷宗來(lái)研究非法證據(jù)排除、案卷移送等制度，(17)比如左衛(wèi)民：《刑事訴訟的中國(guó)圖景》，北京：三聯(lián)書店，2010年，第104-147頁(yè)。利用雜志回復(fù)咨詢記錄來(lái)研究律師制度(18)比如劉思達(dá)：《當(dāng)代中國(guó)日常法律工作的意涵變遷(1979—2003)》，《中國(guó)社會(huì)科學(xué)》2007年第2期。等等。

(二)定性方法在司法評(píng)估中的優(yōu)勢(shì)

目前在我國(guó)司法評(píng)估中主要還是以定量方法為主，這種定量方法的應(yīng)用大體分成兩種形式：第一種是分發(fā)問(wèn)卷，通過(guò)分發(fā)問(wèn)卷來(lái)收集針對(duì)司法機(jī)構(gòu)和人員行為的評(píng)價(jià)來(lái)實(shí)現(xiàn)對(duì)司法狀況的評(píng)估，比如目前針對(duì)司法公信力、司法文明指數(shù)、司法公開等展開的評(píng)估活動(dòng)。第二種則是直接調(diào)取或應(yīng)用相關(guān)的統(tǒng)計(jì)數(shù)據(jù)。這種方式主要發(fā)生在針對(duì)某一具體司法制度改革的評(píng)價(jià)中，比如對(duì)司法員額制、司法責(zé)任制、認(rèn)罪認(rèn)罰制度的改革。針對(duì)這些改革的效果，上級(jí)司法機(jī)關(guān)可以通過(guò)收集匯總下級(jí)機(jī)關(guān)的相關(guān)數(shù)據(jù)了解相關(guān)改革的進(jìn)展情況。比如最高人民檢察院張軍檢察長(zhǎng)向全國(guó)人大常委會(huì)所作的關(guān)于人民檢察院適用認(rèn)罪認(rèn)罰從寬制度情況的報(bào)告，就是通過(guò)大量的數(shù)據(jù)展示了認(rèn)罪認(rèn)罰案制度改革的進(jìn)展?fàn)顩r。

這些定量方法運(yùn)用在司法評(píng)估當(dāng)中的優(yōu)勢(shì)在于：第一，可以通過(guò)定量方法快速收集樣本數(shù)量較大的、覆蓋面較廣的數(shù)據(jù)，進(jìn)而讓評(píng)估者通過(guò)數(shù)據(jù)分析快捷地掌握某一研究對(duì)象的基本狀況；第二，通過(guò)設(shè)置背景性信息、回歸分析等一系列數(shù)據(jù)分析方法可以將評(píng)估結(jié)果與受訪者的背景信息聯(lián)系起來(lái)，探求不同數(shù)據(jù)之間的相關(guān)關(guān)系甚至是因果關(guān)系，從而呈現(xiàn)有關(guān)研究對(duì)象相對(duì)立體化的數(shù)據(jù)畫像。第三，定量方法有助于從宏觀視角對(duì)研究對(duì)象整體上進(jìn)行評(píng)估，可以快速勾勒出研究對(duì)象的整體樣態(tài)。除了上述優(yōu)勢(shì)之外，這些定量方法本身所具有的“數(shù)目字管理”特征一定程度上也契合我國(guó)為克服國(guó)家治理規(guī)模所帶來(lái)的治理壓力。(19)周雪光：《中國(guó)國(guó)家治理的制度邏輯：一個(gè)組織學(xué)研究》，北京：三聯(lián)書店，2017年，第18頁(yè)?！皵?shù)目字管理”這個(gè)概念最早來(lái)自黃仁宇的相關(guān)著作，意在強(qiáng)調(diào)量化考核的手段與工具在國(guó)家治理中的重要性。參見黃仁宇：《萬(wàn)歷十五年》，北京：三聯(lián)書店，2001年，第275頁(yè)。正因?yàn)榇嬖谶@樣一些優(yōu)勢(shì)，所以目前國(guó)內(nèi)對(duì)司法的評(píng)估大多數(shù)采用的都是定量方法。

但針對(duì)司法評(píng)估來(lái)說(shuō)，定量分析方法也存在一些無(wú)法克服的短板。首先，定量分析方法需要較高的門檻。定量分析方法一般需要有較大規(guī)模的樣本量，如果是通過(guò)問(wèn)卷方法來(lái)收集的話，收集數(shù)據(jù)的成本比較高；如果從司法機(jī)構(gòu)內(nèi)部統(tǒng)計(jì)數(shù)據(jù)的話，往往很難為外部研究者所獲得，獲取途徑受限制較大。定量分析從樣本抽樣、問(wèn)卷設(shè)計(jì)到問(wèn)卷的分析統(tǒng)計(jì)等都需要較高的技術(shù)要求，即經(jīng)過(guò)相對(duì)專門的培訓(xùn)與學(xué)習(xí)，這種較高的技術(shù)門檻往往是許多法學(xué)學(xué)者無(wú)法達(dá)到的。其次，定量方法在數(shù)據(jù)收集上采用的是相對(duì)標(biāo)準(zhǔn)化的方式，無(wú)論是問(wèn)卷調(diào)查還是數(shù)據(jù)統(tǒng)計(jì)方法，都有相對(duì)標(biāo)準(zhǔn)化的問(wèn)題設(shè)置，這種標(biāo)準(zhǔn)格式容易使豐富的研究對(duì)象被“削足適履”。(20)艾爾·R.巴比：《社會(huì)研究方法》，第233頁(yè)。最后，定量分析方法當(dāng)中調(diào)查者往往并不直接接觸被調(diào)查者，脫離被調(diào)查者的生活與工作情境，其對(duì)被調(diào)查者的感受與判斷更多的是來(lái)自冷冰冰的數(shù)據(jù)而非豐富的社會(huì)場(chǎng)景。從這個(gè)意義上說(shuō)，其對(duì)被調(diào)查者的了解是基于數(shù)據(jù)的了解，缺乏足夠的理解與穿透性。

正是因?yàn)槎糠治龇椒ǖ纳鲜鰞?yōu)缺點(diǎn)，在對(duì)司法的評(píng)估中僅僅運(yùn)用定量分析方法是不夠的。司法活動(dòng)是司法者在特定的工作環(huán)境中展開的一種法律適用活動(dòng)，任何司法或訴訟制度改革對(duì)司法的影響將在司法者的行為中生動(dòng)展現(xiàn)。這些行為很多時(shí)候恰恰是無(wú)法通過(guò)回答問(wèn)卷或者統(tǒng)計(jì)數(shù)據(jù)反映的，而是需要研究者親身進(jìn)入司法的場(chǎng)域，通過(guò)訪談、參與觀察乃至查詢相關(guān)歷史文獻(xiàn)，從而對(duì)某一項(xiàng)制度改革對(duì)被改革者產(chǎn)生的微妙且深遠(yuǎn)的影響有更深層次的體悟。與定量方法相比，定性方法在司法評(píng)估活動(dòng)當(dāng)中沒(méi)有帶有非常強(qiáng)的預(yù)設(shè)，盡管在研究者進(jìn)入被評(píng)估場(chǎng)域的時(shí)候帶有大致的主題，但這種主題是相對(duì)含糊的，研究者對(duì)于需要收集的信息總體上是開放的。研究者除了與被研究者交談來(lái)獲取信息之外，還可以調(diào)閱歷史資料，可以從被研究者在評(píng)估場(chǎng)域中的反應(yīng)與表現(xiàn)中獲得有關(guān)司法活動(dòng)的立體化信息。因此，通過(guò)定性方法來(lái)進(jìn)行司法評(píng)估不僅僅是收集數(shù)據(jù)，還可以在收集數(shù)據(jù)的過(guò)程中逐漸形成相應(yīng)的直觀印象進(jìn)而逐漸生成理論。在這個(gè)過(guò)程中，研究者對(duì)被研究對(duì)象的觀察是立體化的，對(duì)其的理解逐步得以深入，從而不斷修正和完善自身的相關(guān)理論。

三、定性方法在司法評(píng)估中的應(yīng)用與檢討

根據(jù)評(píng)估的條件、對(duì)象和標(biāo)準(zhǔn)，定性方法在司法評(píng)估中的應(yīng)用可以通過(guò)多種方式組織。從評(píng)估條件來(lái)說(shuō)，評(píng)估跨越的時(shí)間越長(zhǎng)，對(duì)評(píng)估對(duì)象的觀察也就有越多的時(shí)間；評(píng)估的人力資源越豐富，評(píng)估活動(dòng)采用的方法就更多樣；從評(píng)估的對(duì)象來(lái)說(shuō)，針對(duì)某一司法改革措施、司法群體、司法機(jī)構(gòu)等的評(píng)估所采取的方法都會(huì)有所差異。因此，司法評(píng)估當(dāng)中對(duì)定性方法的具體應(yīng)用很難說(shuō)有一個(gè)非常統(tǒng)一的運(yùn)用方式。我國(guó)以往在司法評(píng)估活動(dòng)中存在一些定性方法的應(yīng)用，只是這些方法的應(yīng)用尚有諸多不規(guī)范的地方，影響評(píng)估結(jié)果的科學(xué)性。以下主要列舉我國(guó)在司法評(píng)估當(dāng)中幾種較為常用的組織方式并對(duì)其可能存在的潛在風(fēng)險(xiǎn)做一些檢討。

(一)觀察訪談方式

觀察訪談是目前司法評(píng)估比較常用的一種方式。近年來(lái)司法改革一系列舉措比如認(rèn)罪認(rèn)罰改革、速裁制度改革、值班律師改革、司法責(zé)任制改革等的評(píng)估基本上都是以這一方式展開的。這些司法或訴訟制度改革舉措推行之后，評(píng)估者往往會(huì)到各地區(qū)選擇一些具有代表性的機(jī)構(gòu)，通過(guò)與一線辦案人員座談的方式對(duì)政策的實(shí)施效果進(jìn)行評(píng)估。這種方法的步驟一般是：第一步，先按照不同類型地區(qū)、不同層級(jí)選擇一些具有代表性的機(jī)構(gòu)，比如發(fā)達(dá)地區(qū)與不發(fā)達(dá)地區(qū)，基層單位與市一級(jí)單位等；第二步評(píng)估者會(huì)到被評(píng)估單位進(jìn)行觀摩，現(xiàn)場(chǎng)了解情況；第三步，由被評(píng)估單位選出相應(yīng)的代表參與座談；第四步綜合代表者的意見撰寫出對(duì)應(yīng)的評(píng)估報(bào)告，這些評(píng)估報(bào)告有時(shí)還會(huì)以被評(píng)估者對(duì)自身的評(píng)估報(bào)告作為基礎(chǔ)。這種方法常見于上級(jí)機(jī)關(guān)對(duì)下級(jí)機(jī)關(guān)某一方面的評(píng)估中，由于上級(jí)機(jī)關(guān)處于領(lǐng)導(dǎo)地位，故而這種評(píng)估活動(dòng)的推進(jìn)有著強(qiáng)大的組織基礎(chǔ)，也會(huì)得到下級(jí)機(jī)關(guān)的積極配合。

但從研究方法的科學(xué)性來(lái)說(shuō)，前述評(píng)估方法也存在以下幾個(gè)問(wèn)題：首先，由于這類評(píng)估往往帶有評(píng)比的性質(zhì)，下級(jí)機(jī)關(guān)為了在上級(jí)機(jī)關(guān)面前展示成績(jī)，往往會(huì)展現(xiàn)最好的一面，而對(duì)于改革政策 的不足有意無(wú)意地給予淡化處理，這必然影響評(píng)估過(guò)程中獲取信息的客觀性；其次，這種方法在選取評(píng)估對(duì)象和訪談對(duì)象時(shí)帶有較強(qiáng)的主觀色彩，特別是在訪談對(duì)象的選取上主要依賴被評(píng)估單位推薦，基于前述第一方面考慮，被評(píng)估單位往往會(huì)推選那些持正面評(píng)價(jià)的訪談對(duì)象；最后，其所采用的座談方法一般將很多受訪者放在同一空間和時(shí)間來(lái)提供相關(guān)信息，受訪者常常由于領(lǐng)導(dǎo)或者其他利害關(guān)系人在場(chǎng)而心生顧忌，使得一些負(fù)面的但能夠反映真實(shí)狀況的信息被屏蔽和過(guò)濾。正如一些政治社會(huì)學(xué)者所觀察到的，在考核檢查過(guò)程中地方官員占據(jù)信息優(yōu)勢(shì)和主動(dòng)權(quán)，并通過(guò)諸多策略影響操縱考核內(nèi)容、考核對(duì)象、問(wèn)題解決等，從而有效削弱考核檢查的制度初衷。(21)周雪光：《中國(guó)國(guó)家治理的制度邏輯：一個(gè)組織學(xué)研究》，第227頁(yè)。司法評(píng)估活動(dòng)常常被下級(jí)單位視為某種意義上的檢查考核，因此，在評(píng)估的過(guò)程中同樣容易出現(xiàn)類似的問(wèn)題，這才導(dǎo)致前述評(píng)估環(huán)節(jié)被架空或扭曲的現(xiàn)象出現(xiàn)。

因此，要使司法評(píng)估中采用的這一方法真正能夠客觀反映被評(píng)估者的真實(shí)情況，還需要從以下幾個(gè)方面加以改進(jìn)。首先，在被評(píng)估單位的選取上要選擇不同類型，根據(jù)區(qū)域發(fā)展程度、案件類型、單位層級(jí)等情況選擇具有代表性的機(jī)構(gòu)對(duì)象。其次，在被訪談?wù)叩倪x取上，要由評(píng)估單位根據(jù)被評(píng)估單位的名冊(cè)進(jìn)行隨機(jī)的選取，當(dāng)然在選取的過(guò)程中可以參考評(píng)估單位的意見。選取的人員同樣要具有一定代表性，在不同角色中選取一定數(shù)量的代表以呈現(xiàn)多視角的信息，比如對(duì)司法員額制改革的評(píng)估，不僅要傾聽員額法官的意見，也要傾聽法官助理的意見；不僅要傾聽領(lǐng)導(dǎo)層的意見，也要傾聽一線辦案人員的意見等。再次，在訪談方法的具體應(yīng)用上，應(yīng)該盡量采用單獨(dú)訪談方式，對(duì)受訪者盡量進(jìn)行單獨(dú)訪談，告訴受訪者將為其保密，使其能夠暢所欲言，避免不必要的顧慮。在訪談之前要做一些準(zhǔn)備工作，對(duì)受訪者的背景信息通過(guò)訪談的方式進(jìn)行一定了解，以便理解受訪者提供的評(píng)估信息。最后，在訪談的方法上也需相當(dāng)技巧，質(zhì)性社會(huì)學(xué)研究認(rèn)為，與一般意義上的過(guò)程性發(fā)問(wèn)相比，差異性發(fā)問(wèn)能夠更好地獲取所需要的信息。所謂過(guò)程性發(fā)問(wèn)，是指以時(shí)間邏輯為基礎(chǔ)的過(guò)程性發(fā)問(wèn)(how)或試圖對(duì)案例性質(zhì)進(jìn)行定性的發(fā)問(wèn)(what)；而所謂的差異性發(fā)問(wèn)，則是指探求結(jié)構(gòu)/機(jī)制性原因的發(fā)問(wèn)，伴隨著結(jié)構(gòu)/機(jī)制性的因果關(guān)系假說(shuō)和替代假說(shuō)。(22)趙鼎新：《質(zhì)性社會(huì)學(xué)研究的差異性發(fā)問(wèn)和發(fā)問(wèn)藝術(shù)》，《社會(huì)學(xué)研究》2021年第3期。因此，為進(jìn)行有效的訪談，無(wú)論在訪談的組織、訪談地點(diǎn)、訪談順序還是具體發(fā)問(wèn)方式等方面都需要在評(píng)估前進(jìn)行精心的組織，才能取得預(yù)期的效果。

(二)實(shí)驗(yàn)比較方式

在司法評(píng)估中，定性方法還可以通過(guò)實(shí)驗(yàn)比較的方式來(lái)展開。一項(xiàng)政策在司法機(jī)構(gòu)中實(shí)施的效果有時(shí)需要通過(guò)對(duì)比實(shí)驗(yàn)才能看出。實(shí)驗(yàn)比較法通過(guò)選取一個(gè)實(shí)驗(yàn)組和一個(gè)對(duì)照組，實(shí)驗(yàn)組實(shí)行新的政策，對(duì)照組則保持原來(lái)的運(yùn)行狀態(tài)，經(jīng)過(guò)一段時(shí)間的運(yùn)行后再比較兩個(gè)組的差異及其影響因素。這種實(shí)驗(yàn)比較法最早來(lái)自自然科學(xué)實(shí)驗(yàn)方法，在實(shí)驗(yàn)室中通過(guò)調(diào)整部分變量，對(duì)比不同組別的變化狀況，從而了解不同變量與結(jié)果之間的因果關(guān)系。這種實(shí)驗(yàn)比較方式后來(lái)被引入社會(huì)科學(xué)領(lǐng)域，比如在經(jīng)濟(jì)學(xué)領(lǐng)域，我國(guó)改革開放初期，對(duì)包產(chǎn)到戶政策的推行某種意義上就是實(shí)驗(yàn)比較的方法，一些集體先行采用包產(chǎn)到戶政策，與另外一些未采用該政策的集體產(chǎn)生了鮮明的對(duì)比，效果顯現(xiàn)之后，政策才逐漸鋪開。經(jīng)濟(jì)特區(qū)與一般地區(qū)、自貿(mào)區(qū)與一般地區(qū)等宏觀政策上的區(qū)分一定程度上也帶有這種對(duì)比實(shí)驗(yàn)的性質(zhì)。在法學(xué)領(lǐng)域，實(shí)驗(yàn)比較法同樣被作為政策實(shí)施過(guò)程中的一種重要方法。比如20世紀(jì)60年代，針對(duì)犯罪嫌疑人審前羈押率過(guò)高的問(wèn)題，維拉基金會(huì)與紐約大學(xué)法學(xué)院開展了名為“曼哈頓保釋計(jì)劃”，探索利用面談等方式來(lái)替代附金錢條件的釋放，取得了很好的效果。在該計(jì)劃推行的第一年，就采用了對(duì)照組與實(shí)驗(yàn)組加以對(duì)比的方法，探索政策影響因素及其實(shí)際效果。(23)參見柏恩敬等編譯：《審前羈押制度演變的比較研究》，北京：法律出版社，2018年，第41頁(yè)。我國(guó)法學(xué)界也在21世紀(jì)初期引入了這一方法。比如樊崇義、顧永忠等教授主持的偵查訊問(wèn)中律師在場(chǎng)、錄音、錄像三項(xiàng)制度改革實(shí)驗(yàn)，在北京、河南、甘肅三地的一些司法機(jī)關(guān)當(dāng)中進(jìn)行了對(duì)比實(shí)驗(yàn)，產(chǎn)生了很大的反響。(24)關(guān)于本項(xiàng)目的詳細(xì)情況可以參見樊崇義、顧永忠主編：《偵查訊問(wèn)程序改革實(shí)證研究——偵查訊問(wèn)中律師在場(chǎng)、錄音、錄像制度實(shí)驗(yàn)》，北京：中國(guó)人民公安大學(xué)出版社，2007年。迄今為止，實(shí)驗(yàn)比較方法已經(jīng)在我國(guó)的未成年人取保候?qū)?、證人出庭作證、羈押巡視制度、量刑程序、刑事和解、辯訴交易等制度當(dāng)中開展過(guò)相關(guān)的實(shí)驗(yàn)研究。(25)具體介紹可參見何挺：《刑事司法改革中的實(shí)驗(yàn)研究》，第93頁(yè)。

實(shí)驗(yàn)比較的開展大致可以分為三個(gè)步驟：第一階段，實(shí)驗(yàn)設(shè)計(jì)與準(zhǔn)備階段，這一階段主要完成以下幾個(gè)方面的工作：(1)明確實(shí)驗(yàn)的目標(biāo)，提出需要通過(guò)實(shí)驗(yàn)驗(yàn)證和解決的相關(guān)問(wèn)題，提煉需要通過(guò)實(shí)驗(yàn)加以驗(yàn)證的基本假設(shè)；(2)選取實(shí)驗(yàn)的地點(diǎn)和對(duì)象，對(duì)對(duì)照組和實(shí)驗(yàn)組進(jìn)行精心挑選，對(duì)實(shí)驗(yàn)組的人員進(jìn)行必要的培訓(xùn)和準(zhǔn)備工作；(3)設(shè)計(jì)實(shí)驗(yàn)開展的基本方案，這一方案要圍繞實(shí)驗(yàn)的目標(biāo)展開。以證人出庭為例，哪些因素影響了證人出庭的意愿，增加證人保護(hù)措施、證人補(bǔ)償制度等能否增強(qiáng)證人出庭的意愿，證人出庭后的效果是否強(qiáng)于不出庭等應(yīng)該都在實(shí)驗(yàn)設(shè)計(jì)階段著重加以考慮。第二階段，實(shí)驗(yàn)實(shí)施階段，這一階段是實(shí)驗(yàn)展開的關(guān)鍵階段，主要包括以下幾個(gè)方面的工作：(1)控制實(shí)驗(yàn)的環(huán)境，實(shí)驗(yàn)環(huán)境需要通過(guò)外部控制以達(dá)到實(shí)驗(yàn)設(shè)計(jì)的要求，避免其他無(wú)關(guān)變量對(duì)因變量的影響；(26)何挺：《刑事司法改革中的實(shí)驗(yàn)研究》，第68頁(yè)。(2)施加自變量的刺激，在司法評(píng)估當(dāng)中，這些自變量常常是一些新的改革舉措；(3)觀察自變量加以刺激之后因變量所產(chǎn)生的影響，這種影響可以通過(guò)訪談、參與觀察等方式獲??；第三個(gè)階段是對(duì)實(shí)驗(yàn)進(jìn)行總結(jié)階段，這一階段的主要工作是將實(shí)驗(yàn)的結(jié)果進(jìn)行總結(jié)和反思，對(duì)實(shí)驗(yàn)當(dāng)中在自變量和因變量在實(shí)驗(yàn)中的互動(dòng)關(guān)系進(jìn)行總結(jié)與提煉。

在實(shí)驗(yàn)對(duì)比方法開展的過(guò)程中運(yùn)用定性方法需要注意的是，被評(píng)估對(duì)象是具有高度主觀性的人，容易對(duì)實(shí)驗(yàn)本身產(chǎn)生影響，使得實(shí)驗(yàn)的結(jié)果失真或走樣。這一點(diǎn)與自然科學(xué)實(shí)驗(yàn)是完全不同的，也是在設(shè)計(jì)和控制實(shí)驗(yàn)時(shí)要盡量避免的。這些影響因素主要來(lái)自兩個(gè)方面：第一，在內(nèi)部效度方面，主要影響因素包括樣本選取上要注意選擇具有代表性的樣本，防止樣本偏差；盡量抑制被實(shí)驗(yàn)者因?yàn)橹雷约禾幱趯?shí)驗(yàn)過(guò)程中帶來(lái)行為改變，從而按照實(shí)驗(yàn)的目的來(lái)改變自己的行為，也就是所謂的霍桑效應(yīng)；(27)霍桑效應(yīng)起源于1924至1933年間的一系列實(shí)驗(yàn)研究，由哈佛大學(xué)心理專家梅奧(George Elton Mayo)教授為首的研究小組提出此概念，具體是指那些意識(shí)到自己正在被別人觀察的個(gè)人具有改變自己行為的傾向。因?yàn)槭茄芯咳藛T在芝加哥西方電力公司霍桑工廠進(jìn)行的工作條件、社會(huì)因素和生產(chǎn)效益關(guān)系實(shí)驗(yàn)中發(fā)現(xiàn)的，故稱為霍桑效應(yīng)。盡量避免將實(shí)驗(yàn)者的主觀意愿帶入實(shí)驗(yàn)中，在實(shí)驗(yàn)樣本的選取、實(shí)驗(yàn)過(guò)程設(shè)計(jì)和實(shí)驗(yàn)結(jié)果評(píng)價(jià)上要盡量避免主觀目標(biāo)的影響。第二，外部效度方面，當(dāng)我們將實(shí)驗(yàn)獲得的結(jié)論向外進(jìn)行推廣應(yīng)用時(shí)，該結(jié)論的可適用性將會(huì)受到實(shí)驗(yàn)對(duì)象條件的特殊性等系列因素的影響。例如不同區(qū)域的法院面臨的辦案壓力可能截然不同，如果推行證人出庭作證制度實(shí)驗(yàn)，就要考慮區(qū)域辦案壓力的差別。實(shí)驗(yàn)者主觀意愿也會(huì)對(duì)外部效度產(chǎn)生影響，如果實(shí)驗(yàn)者帶有強(qiáng)烈的意愿來(lái)推廣實(shí)驗(yàn)結(jié)論，那么實(shí)驗(yàn)本身的特殊性常常就會(huì)被一般性所替代。

(三)時(shí)序比較方式

第三種以定性方式來(lái)進(jìn)行司法評(píng)估的類型是時(shí)序比較方式，這種方式就是在一定的時(shí)間跨度內(nèi)對(duì)某一研究對(duì)象進(jìn)行持續(xù)的觀察和比較，進(jìn)而判斷研究對(duì)象本身的變化情況。在人類學(xué)和社會(huì)學(xué)中，往往會(huì)針對(duì)某一地區(qū)進(jìn)行長(zhǎng)達(dá)幾年甚至幾十年的觀察，比如費(fèi)孝通筆下的江村、林耀華筆下的閩北小村都屬于此類研究。(28)參見費(fèi)孝通：《江村經(jīng)濟(jì)》，北京：商務(wù)印書館，2001年；林耀華：《金翼:一個(gè)中國(guó)家族的史記》，莊孔韶、方靜文譯，北京：三聯(lián)書店，2015年。這種方式的時(shí)間跨度往往較長(zhǎng)，周期一般在一年以上，因?yàn)橹挥凶銐虻臅r(shí)間跨度才能看出一個(gè)機(jī)構(gòu)的較為顯著的變化。這種方式最常用到兩種方法：第一種是歷史文獻(xiàn)法，對(duì)被評(píng)估機(jī)構(gòu)的相關(guān)檔案材料進(jìn)行相對(duì)長(zhǎng)時(shí)間跨度的檢索與分析，從中看出相關(guān)制度的影響和變化情況。但在司法評(píng)估中，歷史文獻(xiàn)法一般只能作為輔助性方法，因?yàn)樗饕糜讷@取歷史上的信息，無(wú)法評(píng)估當(dāng)前正在發(fā)生的狀態(tài)。刑事速裁程序的試點(diǎn)時(shí)間為兩年，速裁程序試點(diǎn)結(jié)束之后認(rèn)罪認(rèn)罰從寬制度的試點(diǎn)時(shí)間也是兩年，有些學(xué)者通過(guò)某些機(jī)構(gòu)這幾年累計(jì)的數(shù)據(jù)觀察制度試點(diǎn)過(guò)程中的基本運(yùn)行狀況。(29)比如孫長(zhǎng)永、田文軍：《認(rèn)罪認(rèn)罰案件量刑建議機(jī)制實(shí)證研究——以A市兩級(jí)法院適用認(rèn)罪認(rèn)罰從寬制度審結(jié)的案件為樣本》，《西南政法大學(xué)學(xué)報(bào)》2021年第5期。第二種則是通過(guò)定期的評(píng)估來(lái)了解某一研究對(duì)象的發(fā)展變化狀況。無(wú)論是某一制度的試點(diǎn)還是針對(duì)某一機(jī)構(gòu)的運(yùn)行狀態(tài)的評(píng)估往往都需要一定的時(shí)間跨度才能呈現(xiàn)。這種評(píng)估可能是采用沉浸式的法律民族志方式，比如像《秦窯法庭》一書展現(xiàn)的作者對(duì)一個(gè)法庭的持續(xù)跟蹤觀察；(30)丁衛(wèi)：《秦窯法庭:基層司法的實(shí)踐邏輯》，北京：三聯(lián)書店，2014年。也可能是通過(guò)對(duì)一個(gè)機(jī)構(gòu)定期的回訪來(lái)了解相關(guān)政策的運(yùn)作效果，比如筆者曾連續(xù)多年定期訪問(wèn)西北某一基層檢察院，從中考察司法改革相關(guān)政策對(duì)其產(chǎn)生的影響。

與實(shí)驗(yàn)方式相比，時(shí)序比較方式的優(yōu)點(diǎn)在于兩個(gè)方面：(1)時(shí)間跨度一般更長(zhǎng)一些，對(duì)一些制度的運(yùn)行效果能夠進(jìn)行更為充分的展現(xiàn)，對(duì)被評(píng)估者的判斷會(huì)更準(zhǔn)確；(2)時(shí)序比較法對(duì)于被評(píng)估者的干預(yù)要小很多，從而避免實(shí)驗(yàn)方法對(duì)被評(píng)估者帶來(lái)的影響。實(shí)驗(yàn)方式展開過(guò)程中需要進(jìn)行分組和政策實(shí)施，對(duì)被評(píng)估者的干預(yù)程度較深，而時(shí)序比較方式當(dāng)中，評(píng)估者更像是一名消極的旁觀者，對(duì)被評(píng)估者的影響盡管也同樣存在，但要小很多。不過(guò)，相比于實(shí)驗(yàn)方法，時(shí)序比較法也存在一些缺點(diǎn)：(1)由于時(shí)序比較法的時(shí)間跨度較長(zhǎng)，因此花費(fèi)的時(shí)間成本、人力成本等更高。而我國(guó)各地針對(duì)各種不同司法政策的評(píng)估往往都是運(yùn)動(dòng)式治理的一部分，有著較強(qiáng)的時(shí)間要求，很難完全按照時(shí)序評(píng)估的方式推進(jìn)；(2)由于時(shí)序比較法跨度時(shí)間比較長(zhǎng)，對(duì)被評(píng)估對(duì)象影響的因素來(lái)源就呈現(xiàn)多樣化，這就使得相關(guān)自變量和因變量之間關(guān)系變得非常模糊，很難給出比較清晰的描述。正是因?yàn)榍笆鰞?yōu)缺點(diǎn)的存在，時(shí)序比較法更適合那些需要長(zhǎng)時(shí)間觀察的評(píng)估項(xiàng)目。

四、邁向定量與定性方法相結(jié)合的司法評(píng)估模式

前述對(duì)可能應(yīng)用于司法評(píng)估中定性方法的介紹展示了這種方法相比于定量方法的優(yōu)勢(shì)和不足之處。當(dāng)然，評(píng)估運(yùn)用何種方法更為合適其實(shí)取決于評(píng)估的目的和需要，沒(méi)有脫離評(píng)估目標(biāo)本身的完美方法。與此同時(shí)，在司法評(píng)估實(shí)踐中也并不會(huì)單純使用某一種方法，更多的時(shí)候是多種方法的組合使用，定量方法與定性方法相互結(jié)合。從這個(gè)角度來(lái)說(shuō)，司法評(píng)估活動(dòng)是一種綜合運(yùn)用定量與定性方法的評(píng)價(jià)活動(dòng)。以下我們以某一司法改革評(píng)估項(xiàng)目為例，探討實(shí)踐中如何構(gòu)建一種定量與定性方法相結(jié)合的司法評(píng)估模式。

該司法改革評(píng)估項(xiàng)目的目標(biāo)是通過(guò)評(píng)估來(lái)了解在全國(guó)部分試點(diǎn)單位的某一司法改革政策推行效果及存在的問(wèn)題。評(píng)估對(duì)象是全國(guó)10個(gè)試點(diǎn)地區(qū)的部分檢察院和法院，評(píng)估的周期為半年左右。由于評(píng)估對(duì)象機(jī)構(gòu)較多，評(píng)估時(shí)間比較短暫，加上該司法改革政策涉及被評(píng)估單位的幾乎每一個(gè)人，即使選取代表性樣本，覆蓋面預(yù)計(jì)上千人次。在這一情況下，如果僅僅使用定性方法，顯然無(wú)法在規(guī)定的時(shí)間完成相應(yīng)的評(píng)估任務(wù)。但如果僅僅采用定量的問(wèn)卷方法，由于該司法改革政策涉及的被評(píng)估機(jī)構(gòu)人事變動(dòng)的方方面面，很難僅僅用問(wèn)卷來(lái)完成相關(guān)信息的收集工作。為此，項(xiàng)目組采用了定性方法與定量方法相結(jié)合的基本模式，針對(duì)不同的信息收集任務(wù)應(yīng)用不同的方法，最后將通過(guò)不同方式收集來(lái)的信息加以整合評(píng)估。

在司法評(píng)估準(zhǔn)備階段，項(xiàng)目組主要完成以下幾項(xiàng)準(zhǔn)備工作：(1)完成第三方評(píng)估指標(biāo)體系，針對(duì)評(píng)估對(duì)象和評(píng)估目標(biāo)，制定出相應(yīng)的指標(biāo)體系，該指標(biāo)體系為整個(gè)評(píng)估工作確立了一個(gè)基本標(biāo)準(zhǔn)；(2)根據(jù)指標(biāo)體系，確定哪些指標(biāo)可以通過(guò)定量方法來(lái)獲取信息，哪些指標(biāo)只能通過(guò)定性方法來(lái)獲取信息，在此基礎(chǔ)上設(shè)計(jì)出相應(yīng)的調(diào)查問(wèn)卷和訪談提綱；(3)通過(guò)隨機(jī)抽取程序來(lái)確定試點(diǎn)地區(qū)的試點(diǎn)單位；(4)根據(jù)指標(biāo)體系，請(qǐng)被評(píng)估對(duì)象提交自我評(píng)估報(bào)告，該自評(píng)報(bào)告為評(píng)估人員快速了解被評(píng)估對(duì)象提供了途徑。與此同時(shí)，在評(píng)估的過(guò)程中，可以通過(guò)與自評(píng)報(bào)告信息進(jìn)行比較，從而得出更為全面的評(píng)估意見。

在司法評(píng)估實(shí)施階段，項(xiàng)目組按照下列步驟來(lái)開展工作：(1)評(píng)估小組進(jìn)入被評(píng)估機(jī)構(gòu)，確定評(píng)估工作開展的主要場(chǎng)所；(2)調(diào)取被評(píng)估機(jī)構(gòu)花名冊(cè)，根據(jù)花名冊(cè)分發(fā)調(diào)查問(wèn)卷；(3)根據(jù)花名冊(cè)，按照領(lǐng)導(dǎo)層、中層領(lǐng)導(dǎo)和一線辦案人員三個(gè)類別結(jié)合是否進(jìn)入員額等標(biāo)準(zhǔn)來(lái)進(jìn)行分組，從每一組中抽取一定數(shù)額的訪談對(duì)象；(4)在主要場(chǎng)所或者被訪談?wù)叩霓k公地點(diǎn)進(jìn)行單獨(dú)的訪談，了解被訪談?wù)叩谋尘靶畔ⅰ⒈辉L談?wù)邔?duì)相關(guān)政策的評(píng)價(jià)意見等信息；(5)回收問(wèn)卷，收集被評(píng)估機(jī)構(gòu)的相關(guān)信息。

在司法評(píng)估的總結(jié)階段，需要完成以下幾項(xiàng)工作：(1)對(duì)問(wèn)卷進(jìn)行統(tǒng)計(jì)匯總；(2)對(duì)訪談信息進(jìn)行整理，對(duì)相關(guān)信息進(jìn)行編碼、分組、匯總；(3)召開評(píng)估總結(jié)會(huì)議，結(jié)合問(wèn)卷數(shù)據(jù)、訪談數(shù)據(jù)及相關(guān)背景數(shù)據(jù)，對(duì)被評(píng)估單位及相關(guān)政策的實(shí)施狀況進(jìn)行基本評(píng)估，撰寫評(píng)估報(bào)告；(4)對(duì)本次評(píng)估活動(dòng)的組織狀況、評(píng)估方法和利弊得失進(jìn)行總結(jié)。

前述項(xiàng)目是采取定量方法與定性方法相結(jié)合來(lái)對(duì)某一司法改革政策在不同機(jī)構(gòu)中實(shí)施狀況進(jìn)行評(píng)估的一個(gè)實(shí)際運(yùn)用例子?？傮w來(lái)說(shuō)，定性方法和定量方法在該案例中取得了比較好的效果。一方面，每個(gè)評(píng)估機(jī)構(gòu)大約用一天的時(shí)間完成了調(diào)查問(wèn)卷的收集，快速完成了相關(guān)信息的回收。通過(guò)問(wèn)卷調(diào)查回收了上千份調(diào)查問(wèn)卷，受訪者覆蓋了被調(diào)研機(jī)構(gòu)幾乎所有利益相關(guān)者，比較全面地反映了本次改革的利益相關(guān)者在一些問(wèn)題上的基本立場(chǎng)。另一方面，通過(guò)單獨(dú)訪談和收集一些歷史文獻(xiàn)的方式對(duì)一些需要進(jìn)一步挖掘的關(guān)鍵問(wèn)題進(jìn)行深入的了解。許多未能入額人員和相對(duì)底層的人員在單獨(dú)訪談中提供了通過(guò)定量方法無(wú)法收集到的信息。此外，通過(guò)對(duì)比入額人員與非入額人員、一線人員與領(lǐng)導(dǎo)層等不同分組人員對(duì)司法改革政策的評(píng)價(jià)及受到的影響情況，可以描繪出司法改革政策所產(chǎn)生的分化效應(yīng)。在本評(píng)估項(xiàng)目中，定性方法和定量方法這兩類不同的研究方法得以較好的結(jié)合，發(fā)揮了兩種研究方法的研究特長(zhǎng)，有效地將兩種研究方法的不足之處進(jìn)行了互補(bǔ)，在有限時(shí)間內(nèi)完成了相應(yīng)的司法評(píng)估任務(wù)。

當(dāng)然，需要看到在這一司法評(píng)估項(xiàng)目中能夠有效將定性方法與定量方法相結(jié)合并使其發(fā)揮最佳的功效，還因?yàn)橛幸韵聝蓚€(gè)有利條件：第一，組織條件。本次評(píng)估活動(dòng)是在中央部門直接支持下開展的，這就意味著本次評(píng)估活動(dòng)本身有著強(qiáng)大的權(quán)力資源作支撐，這是絕大部分評(píng)估項(xiàng)目所不具備的。(31)關(guān)于權(quán)力資源對(duì)調(diào)研的意義，參見蘇力：《法律社會(huì)學(xué)調(diào)查中的權(quán)力資源——一個(gè)社會(huì)學(xué)調(diào)查過(guò)程的反思》，《社會(huì)學(xué)研究》1998年第6期。正因?yàn)橛羞@一后盾，許多評(píng)估手段才能得以快速順利地完成，讓被評(píng)估單位盡量配合提供各類需要的資料。第二，強(qiáng)大的調(diào)研團(tuán)隊(duì)和調(diào)研基礎(chǔ)。本項(xiàng)目由一個(gè)有著良好基礎(chǔ)的調(diào)研團(tuán)隊(duì)完成，該調(diào)研團(tuán)隊(duì)由十?dāng)?shù)名核心團(tuán)隊(duì)成員、數(shù)十名外圍研究成員組成，在過(guò)去數(shù)年時(shí)間里長(zhǎng)期從事著司法評(píng)估的活動(dòng)。這些基礎(chǔ)為該研究團(tuán)隊(duì)能夠在本次司法評(píng)估活動(dòng)中嫻熟地運(yùn)用定量方法和定性方法提供了可能。由此可以看出，要在司法評(píng)估當(dāng)中發(fā)揮出定性方法和定量方法的最佳效果需要有較好的評(píng)估資源和評(píng)估團(tuán)隊(duì)作為支撐，否則可能導(dǎo)致兩類方法都淺嘗輒止，無(wú)法深入評(píng)估對(duì)象。在具體的司法評(píng)估實(shí)踐中，應(yīng)該根據(jù)評(píng)估目標(biāo)、評(píng)估條件、評(píng)估資源和評(píng)估團(tuán)隊(duì)力量等綜合考慮，根據(jù)有效獲取評(píng)估信息最大化這一基本原則來(lái)選擇恰當(dāng)?shù)乃痉ㄔu(píng)估方法。

五、結(jié) 語(yǔ)

隨著司法改革的不斷深入，對(duì)司法改革舉措成效的評(píng)估成為其中不可或缺的環(huán)節(jié)。司法改革舉措評(píng)估結(jié)果成為我們決定下一步是否繼續(xù)推廣相關(guān)改革舉措和改進(jìn)相關(guān)舉措的最重要基礎(chǔ)。從這個(gè)意義上說(shuō)，司法評(píng)估已經(jīng)成為我們進(jìn)行有效司法治理的一個(gè)前提性條件。盡管我們已經(jīng)對(duì)諸多司法改革舉措展開了司法改革試點(diǎn)，但似乎對(duì)于司法改革舉措評(píng)估本身的方法及其科學(xué)性還缺乏足夠的關(guān)注，從而造成了“凡是試點(diǎn)必然成功”、改革評(píng)估流于形式等不太科學(xué)的現(xiàn)象。因此，有必要針對(duì)司法評(píng)估基本方法本身的科學(xué)性及其具體應(yīng)用的基本條件從理論上加以反思，對(duì)現(xiàn)有評(píng)估方法的開展進(jìn)行考察和改進(jìn)。本文主要側(cè)重從定性方法入手，針對(duì)現(xiàn)有司法評(píng)估當(dāng)中所運(yùn)用的座談、實(shí)驗(yàn)等方法的不足進(jìn)行檢討。對(duì)于方法論的檢討是開展科學(xué)的司法評(píng)估的一個(gè)前提條件。當(dāng)然，任何工具都是服務(wù)于其評(píng)估目的，都是受制于其評(píng)估資源和評(píng)估條件的。因此，在具體開展司法評(píng)估的過(guò)程中，應(yīng)該結(jié)合相應(yīng)的評(píng)估目的和評(píng)估資源，采用相對(duì)恰當(dāng)?shù)乃痉ㄔu(píng)估方法，確定相對(duì)優(yōu)化合理的司法評(píng)估方案。唯有如此，通過(guò)司法改革獲得的司法治理才能真正得以實(shí)現(xiàn)。