■ 朱 劍
(南京大學(xué) 學(xué)報(bào)編輯部,江蘇 南京 210093)
大數(shù)據(jù)之于學(xué)術(shù)評(píng)價(jià):機(jī)遇抑或陷阱?
——兼論學(xué)術(shù)評(píng)價(jià)的“分裂”
■ 朱 劍
(南京大學(xué) 學(xué)報(bào)編輯部,江蘇 南京 210093)
作為行政權(quán)力部門分配學(xué)術(shù)資源和進(jìn)行學(xué)術(shù)管理重要依據(jù)的學(xué)術(shù)評(píng)價(jià)如今已發(fā)生了分裂,定性評(píng)價(jià)和定量評(píng)價(jià)由一般的評(píng)價(jià)方法升格成為兩種不同的評(píng)價(jià)種類。兩類評(píng)價(jià)的主體分別為學(xué)術(shù)共同體和專業(yè)評(píng)價(jià)機(jī)構(gòu)。兩個(gè)評(píng)價(jià)主體展開了對(duì)評(píng)價(jià)權(quán)力的角逐,致使學(xué)術(shù)評(píng)價(jià)失去了完整性而變得殘缺不全。正是在如此情境下,學(xué)術(shù)評(píng)價(jià)迎來了大數(shù)據(jù)時(shí)代。大數(shù)據(jù)之于學(xué)術(shù)評(píng)價(jià),既提供了評(píng)價(jià)回歸統(tǒng)一的機(jī)遇,也布下了分裂走向極致的陷阱。重建科學(xué)合理的學(xué)術(shù)評(píng)價(jià)機(jī)制的關(guān)鍵,是處理好大數(shù)據(jù)時(shí)代與前大數(shù)據(jù)時(shí)代學(xué)術(shù)評(píng)價(jià)的關(guān)系、科研體制與學(xué)術(shù)評(píng)價(jià)的關(guān)系以及學(xué)術(shù)評(píng)價(jià)內(nèi)部諸要素間的復(fù)雜關(guān)系。唯此,分裂的評(píng)價(jià)方能在科學(xué)的意義上重新歸于統(tǒng)一。
大數(shù)據(jù) 學(xué)術(shù)評(píng)價(jià) 評(píng)價(jià)主體 評(píng)價(jià)方法
“大數(shù)據(jù)”概念的提出不過短短四五年的時(shí)間,之所以能在如此短的時(shí)間里風(fēng)行于世,不僅因?yàn)榛ヂ?lián)網(wǎng)時(shí)代有著“數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合”這一事實(shí)基礎(chǔ),更因?yàn)榧夹g(shù)進(jìn)步所帶來的看得見的效用:人們可以從幾何級(jí)數(shù)增長的天量數(shù)據(jù)中挖掘可資利用的信息,并通過“基于云計(jì)算的數(shù)據(jù)處理與應(yīng)用模式,通過數(shù)據(jù)的集成共享,交叉復(fù)用形成的智力資源和知識(shí)服務(wù)能力”[1],為經(jīng)濟(jì)建設(shè)和社會(huì)發(fā)展提供其無可比擬的服務(wù)。
作為一場新的技術(shù)革命,大數(shù)據(jù)不同凡響的作用正在某些行業(yè)中顯現(xiàn),這就使學(xué)界中人聯(lián)想到,在學(xué)術(shù)研究和學(xué)術(shù)評(píng)價(jià)領(lǐng)域,大數(shù)據(jù)是否也會(huì)帶來某些變化,甚至是革命性的變化?答案似乎是肯定的。在學(xué)術(shù)研究中,采集和運(yùn)用數(shù)據(jù)進(jìn)行研究已是一種得到公認(rèn)的方法,大數(shù)據(jù)無疑會(huì)使可資學(xué)術(shù)研究的數(shù)據(jù)在量與質(zhì)的方面都有所提高,會(huì)使研究方法更加豐富多彩。與學(xué)術(shù)研究相比,在學(xué)術(shù)評(píng)價(jià)中,數(shù)據(jù)的作用更是無處不在:一方面,根據(jù)數(shù)據(jù)制作的各種排行榜和排名表大行其道;另一方面,圍繞數(shù)據(jù)的意義和作用的爭論也從未平息,對(duì)學(xué)術(shù)評(píng)價(jià)的質(zhì)疑和詬病幾乎都與數(shù)據(jù)有關(guān)。兩方面的對(duì)立呈膠著狀態(tài),迫切需要新元素的介入來改變現(xiàn)狀。在這樣的情境下,大數(shù)據(jù)自然被寄予了更多的期望。
的確,由于評(píng)價(jià)數(shù)據(jù)與數(shù)據(jù)處理之于評(píng)價(jià)的不可或缺性,大數(shù)據(jù)完全有可能對(duì)評(píng)價(jià)產(chǎn)生影響。但是,影響的程度有多大,影響是正面的還是負(fù)面的,則很可能取決于我們對(duì)大數(shù)據(jù)與評(píng)價(jià)關(guān)系的看法。要讓大數(shù)據(jù)發(fā)揮正面的積極作用,我們首先應(yīng)該弄清楚學(xué)術(shù)評(píng)價(jià)的現(xiàn)狀及其問題的癥結(jié)到底何在;其次應(yīng)該準(zhǔn)確地描述和分析這些問題與數(shù)據(jù)和數(shù)據(jù)處理方法之間有著何種關(guān)系;最后再來看大數(shù)據(jù)是否有助于這些問題的解決以及解決的條件是否具備,從而判斷大數(shù)據(jù)能在多大程度上改變學(xué)術(shù)評(píng)價(jià)現(xiàn)狀。本文將循著這個(gè)思路對(duì)大數(shù)據(jù)與學(xué)術(shù)評(píng)價(jià)的關(guān)系作一嘗試性的探討。
(一)學(xué)術(shù)評(píng)價(jià)的分裂
學(xué)術(shù)評(píng)價(jià)的對(duì)象是多元的,學(xué)術(shù)成果(作品)、作者、期刊、出版機(jī)構(gòu)、科研機(jī)構(gòu)等都可歸入評(píng)價(jià)對(duì)象,但只有對(duì)學(xué)術(shù)成果(作品)的評(píng)價(jià)是基礎(chǔ)性的,對(duì)其余各種對(duì)象的評(píng)價(jià)都是建立在對(duì)成果(作品)評(píng)價(jià)的基礎(chǔ)上的,所以,核心的評(píng)價(jià)是對(duì)成果(作品)的評(píng)價(jià)。學(xué)術(shù)成果(作品)一旦公開發(fā)表或發(fā)布,對(duì)它的評(píng)價(jià)就是所有讀者和應(yīng)用者的基本權(quán)利,這就決定了評(píng)價(jià)的主體也是多元的。一般說來,讀者和應(yīng)用者通過學(xué)術(shù)批評(píng)來行使他們的評(píng)價(jià)權(quán)利。學(xué)術(shù)批評(píng)的方式當(dāng)然也是可以多種多樣的,最常見的批評(píng)方式則是撰寫和發(fā)表學(xué)術(shù)評(píng)論。多主體決定了學(xué)術(shù)批評(píng)永遠(yuǎn)也不可能完全一致,而且,被批評(píng)者擁有反批評(píng)的權(quán)利,評(píng)價(jià)不會(huì)一次性地結(jié)束。換言之,在學(xué)術(shù)研究領(lǐng)域,一錘定音的評(píng)價(jià)幾乎不會(huì)存在。學(xué)術(shù)評(píng)價(jià)在一定時(shí)段內(nèi)的不確定性對(duì)于學(xué)術(shù)研究的進(jìn)展是十分必要的,學(xué)術(shù)研究正是在這樣反復(fù)的批評(píng)與反批評(píng)中實(shí)現(xiàn)超越的。
在現(xiàn)實(shí)中,學(xué)術(shù)評(píng)價(jià)的作用并不局限于研究領(lǐng)域和應(yīng)用領(lǐng)域,它還是行政權(quán)力部門行使學(xué)術(shù)資源分配和科研管理權(quán)力的依據(jù),從而與權(quán)力相關(guān),而資源分配和科研管理需要的是結(jié)論明確的評(píng)價(jià),不然就會(huì)無所適從。顯然,多主體和多時(shí)段反復(fù)進(jìn)行的學(xué)術(shù)批評(píng)無法滿足行政權(quán)力部門的需要。為了使評(píng)價(jià)具有明確的結(jié)論,最好的辦法就是對(duì)評(píng)價(jià)主體的身份作出限定。如果有一個(gè)主體能夠博采眾長,短時(shí)間內(nèi)作出讓多數(shù)人信服的權(quán)威評(píng)價(jià),那么,這個(gè)主體作出的評(píng)價(jià)就是行政權(quán)力部門最好的也是最自然的選擇。這是一種特殊的評(píng)價(jià),它不是學(xué)術(shù)評(píng)價(jià)的全部,卻需要建立在對(duì)全部評(píng)價(jià)進(jìn)行判斷和揚(yáng)棄的基礎(chǔ)之上。這樣的評(píng)價(jià)在科研體制中的重要性不言而喻,如果這樣的評(píng)價(jià)出了問題,必將危及整個(gè)科研事業(yè),也必將引發(fā)被評(píng)價(jià)者群起而攻之。不幸的是,群起而攻之的局面至少在十多年前就出現(xiàn)了,且久久不能平息。可以說,今天對(duì)學(xué)術(shù)評(píng)價(jià)的所有批評(píng)和抨擊都集中于為行政權(quán)力部門服務(wù)的評(píng)價(jià)上。只要集中分配和管理學(xué)術(shù)資源,不管分配和管理的權(quán)力集中于行政權(quán)力部門,還是轉(zhuǎn)移到專門機(jī)構(gòu),為其服務(wù)的學(xué)術(shù)評(píng)價(jià)都是不可或缺的。在可以預(yù)見的將來,這樣的集中分配和管理資源的方式都不可能有根本的改變,這是我們今天討論學(xué)術(shù)評(píng)價(jià)問題無法改變的前提。因此,本文所討論的學(xué)術(shù)評(píng)價(jià)也主要限于這樣的評(píng)價(jià),而不是針對(duì)多元主體的學(xué)術(shù)批評(píng)。必須指出的是,為分配和管理資源服務(wù)的評(píng)價(jià)如果能做到科學(xué)和合理,對(duì)學(xué)術(shù)研究同樣是有意義的。從根本上說,分配和管理學(xué)術(shù)資源也是為學(xué)術(shù)研究服務(wù),它與學(xué)術(shù)研究的利益應(yīng)該是一致的。
如果說,為行政權(quán)力部門服務(wù)的學(xué)術(shù)評(píng)價(jià)應(yīng)該由權(quán)威的評(píng)價(jià)主體作出,那么,迄今為止,得到最多承認(rèn)的、最可能具備這種能力的評(píng)價(jià)者則是學(xué)術(shù)共同體,盡管它總是遭遇各種挑戰(zhàn)。學(xué)術(shù)共同體的評(píng)價(jià)又稱為“同行評(píng)議”。直到20世紀(jì)90年代末,來自學(xué)術(shù)共同體的專家也還是這種評(píng)價(jià)的唯一主體,同行評(píng)議也還是這種評(píng)價(jià)的唯一方式。但是,隨著國家對(duì)學(xué)術(shù)研究投入的不斷加大,學(xué)術(shù)資源日漸增多,評(píng)價(jià)與利益的關(guān)系越來越緊密,同行評(píng)議開始“異化”,“這些起源于歐美、并且長期行之有效的東西,卻在中國發(fā)生了變異,甚至是‘異化’。其中‘異化’最明顯、危害最嚴(yán)重的,莫過于‘同行評(píng)議’”,“權(quán)力支配,人情主導(dǎo),標(biāo)準(zhǔn)缺失……三者只要居其一,都會(huì)使學(xué)術(shù)評(píng)價(jià)的意義受到嚴(yán)重?fù)p害”,“在我們當(dāng)前的學(xué)術(shù)評(píng)價(jià)中,往往是三者一起發(fā)生作用,多路夾擊,來自歐美的同行評(píng)議,怎么可能不水土不服以致徹底變質(zhì)呢?”[2]于是,以“定量評(píng)價(jià)”的數(shù)據(jù)統(tǒng)計(jì)和運(yùn)算見長的專業(yè)評(píng)價(jià)機(jī)構(gòu)應(yīng)運(yùn)而生,并開始與學(xué)術(shù)共同體搶奪評(píng)價(jià)主體的資格。
隨著專業(yè)評(píng)價(jià)機(jī)構(gòu)的問世并積極地參與到為行政權(quán)力部門服務(wù)的行列中,通行的學(xué)術(shù)評(píng)價(jià)已分裂為定性評(píng)價(jià)和定量評(píng)價(jià)兩類。需要特別指出的是,將學(xué)術(shù)評(píng)價(jià)區(qū)分為獨(dú)立的定性評(píng)價(jià)和定量評(píng)價(jià),是存在著對(duì)學(xué)術(shù)評(píng)價(jià)認(rèn)識(shí)的誤區(qū)的。定性也好,定量也罷,原都只不過是學(xué)術(shù)評(píng)價(jià)的一種具體方法,互相之間并不對(duì)立和排斥,在專業(yè)評(píng)價(jià)機(jī)構(gòu)出現(xiàn)以前,即當(dāng)學(xué)術(shù)共同體還是唯一的評(píng)價(jià)主體時(shí),評(píng)價(jià)者可以根據(jù)不同的評(píng)價(jià)目的,采取或定性或定量或兩者皆用的方法。專事定量評(píng)價(jià)的評(píng)價(jià)機(jī)構(gòu)問世后,這一情況才發(fā)生了改變,定量評(píng)價(jià)逐漸成了這些機(jī)構(gòu)的專利,同行評(píng)議逐漸地與定性評(píng)價(jià)畫上了等號(hào)。緣此,定性評(píng)價(jià)和定量評(píng)價(jià)才由具體方法上升成為不同的評(píng)價(jià)類別。定性和定量各自的“獨(dú)立”,造成了學(xué)術(shù)評(píng)價(jià)的分裂乃至對(duì)立,對(duì)學(xué)術(shù)評(píng)價(jià)產(chǎn)生了不容忽視的影響,而這至今仍未引起足夠的重視。
(二)分裂后的學(xué)術(shù)評(píng)價(jià)
1.不同評(píng)價(jià)主體的對(duì)立
學(xué)術(shù)評(píng)價(jià)的分裂首先體現(xiàn)在評(píng)價(jià)主體的分裂。在分裂為定性和定量兩大類的學(xué)術(shù)評(píng)價(jià)現(xiàn)實(shí)中,定性評(píng)價(jià)的主體是學(xué)術(shù)共同體,定量評(píng)價(jià)的主體是一些專業(yè)評(píng)價(jià)機(jī)構(gòu),這似乎已得到了公認(rèn)。在評(píng)價(jià)實(shí)踐中,這兩個(gè)主體極易區(qū)分,無需多談。重要的是,盡管每個(gè)人都可以進(jìn)行學(xué)術(shù)評(píng)價(jià),但并不是所有人都能被行政權(quán)力部門認(rèn)可為評(píng)價(jià)主體的,特別是在涉及資源分配和科研管理的評(píng)價(jià)中,行政權(quán)力部門的選擇一直在學(xué)術(shù)共同體與專業(yè)評(píng)價(jià)機(jī)構(gòu)之間徘徊。
能被行政權(quán)力部門倚重的評(píng)價(jià)主體當(dāng)然要有排他性的特殊稟賦,學(xué)術(shù)共同體與專業(yè)評(píng)價(jià)機(jī)構(gòu)獲得評(píng)價(jià)主體資格的依憑是不同的,而這個(gè)依憑與數(shù)據(jù)有著不可分割的關(guān)系。
學(xué)術(shù)共同體之成為評(píng)價(jià)主體,依憑的是學(xué)術(shù)同行的身份。因其是學(xué)術(shù)同行,故對(duì)于評(píng)價(jià)對(duì)象(比如學(xué)術(shù)期刊、學(xué)術(shù)論文及其作者)所涉及或涉足的研究領(lǐng)域和專業(yè)非常熟悉,而被選為評(píng)審專家的共同體成員,更需要熟知該領(lǐng)域和精通該專業(yè),做到對(duì)同行中各種正在研究的問題的意義、基礎(chǔ)、方法、資料、難點(diǎn)及國內(nèi)外研究歷史、現(xiàn)狀和進(jìn)展,特別是相關(guān)學(xué)術(shù)批評(píng)都了然于胸。因此,他們對(duì)于評(píng)價(jià)對(duì)象的價(jià)值就可以通過對(duì)學(xué)術(shù)批評(píng)的吸納和自己的主觀判斷,從其理論貢獻(xiàn)、實(shí)踐意義、社會(huì)效益、經(jīng)濟(jì)效用等諸多方面進(jìn)行具體分析和價(jià)值判斷,最終得出評(píng)價(jià)結(jié)論。這樣的被稱為同行評(píng)議的評(píng)價(jià),其主體的身份資源實(shí)乃源于自身的學(xué)養(yǎng),這在一定程度上體現(xiàn)了評(píng)價(jià)主體對(duì)相關(guān)專業(yè)學(xué)術(shù)信息匯集、處理和擁有的能力,這是一種獨(dú)特的資源,是非學(xué)術(shù)共同體成員所無法具備的,具有唯一性和排他性。但是,他們的資源(學(xué)養(yǎng))能否以數(shù)據(jù)的形式來表現(xiàn),卻是一個(gè)懸而未決的問題。事實(shí)上,許多有過評(píng)價(jià)專家經(jīng)歷或身份的學(xué)者都既不具備將自身的學(xué)養(yǎng)、學(xué)術(shù)批評(píng)的信息數(shù)據(jù)化的能力,也不具備將評(píng)價(jià)對(duì)象的價(jià)值通過數(shù)據(jù)或運(yùn)算來體現(xiàn)的能力和興趣。在專業(yè)評(píng)價(jià)機(jī)構(gòu)崛起后,這成了學(xué)術(shù)共同體失去了唯一評(píng)價(jià)主體資格、甚至被逐出評(píng)價(jià)領(lǐng)域的主要原因。
專業(yè)評(píng)價(jià)機(jī)構(gòu)大多由從事文獻(xiàn)情報(bào)學(xué)研究的人員組成,他們與眾多的評(píng)價(jià)對(duì)象當(dāng)然不可能屬于同一學(xué)術(shù)共同體,換言之,他們對(duì)評(píng)價(jià)對(duì)象所屬的專業(yè)不可能精通,甚至一竅不通。筆者曾經(jīng)指出,評(píng)價(jià)機(jī)構(gòu)與評(píng)價(jià)對(duì)象之間存在著“信息不對(duì)稱”:“對(duì)于各學(xué)科前沿問題、艱深問題……評(píng)價(jià)機(jī)構(gòu)掌握的實(shí)質(zhì)性信息遠(yuǎn)低于被評(píng)價(jià)者。”既然如此,評(píng)價(jià)機(jī)構(gòu)又是依憑什么獲取學(xué)術(shù)評(píng)價(jià)主體身份的?這是因?yàn)椋u(píng)價(jià)機(jī)構(gòu)不僅擅長于對(duì)一些論文和期刊外在形式數(shù)據(jù)的統(tǒng)計(jì),并且進(jìn)行了復(fù)雜的數(shù)據(jù)處理,形成了大量的形式數(shù)據(jù),“從而造成了占據(jù)信息優(yōu)勢的假象”[3]。正是憑借對(duì)這些關(guān)于評(píng)價(jià)對(duì)象的量化數(shù)據(jù)的擁有以及運(yùn)算的貌似具有排他性的能力,更因其制作的各種排行榜和排名表使復(fù)雜的學(xué)術(shù)評(píng)價(jià)變得十分簡單和明確,得到了行政權(quán)力部門的青睞,評(píng)價(jià)機(jī)構(gòu)得以在事實(shí)上躋身于學(xué)術(shù)評(píng)價(jià)主體的行列之中,且后來居上,大有將學(xué)術(shù)共同體逐出評(píng)價(jià)領(lǐng)域的氣勢。
2.不同評(píng)價(jià)方法的對(duì)立
與評(píng)價(jià)主體分裂相輔相成的是評(píng)價(jià)方法的分裂。所謂評(píng)價(jià)方法,主要指對(duì)評(píng)價(jià)信息的采集和處理的方法。這是現(xiàn)實(shí)中定量評(píng)價(jià)與定性評(píng)價(jià)除了評(píng)價(jià)主體不同之外最大的不同之處。定量評(píng)價(jià)者(所有的專業(yè)評(píng)價(jià)機(jī)構(gòu)無一例外都屬此類)大多堅(jiān)持認(rèn)為,所有的評(píng)價(jià)信息在理論上都是有可能轉(zhuǎn)化為數(shù)據(jù)來表達(dá)的,而所有的數(shù)據(jù)都是可以通過復(fù)雜的加權(quán)(一般是在運(yùn)算中的系數(shù)或占比)和精細(xì)的運(yùn)算(精確到小數(shù)點(diǎn)后4-6位)進(jìn)行比較的,他們的結(jié)論就是經(jīng)過運(yùn)算而得出的排序表。因此,量化評(píng)價(jià)實(shí)際上就是一系列復(fù)雜的運(yùn)算并歸總排序。而定性評(píng)價(jià)大多是對(duì)所獲取的原始信息的直接分析和判斷,很少有一個(gè)將各種不同信息進(jìn)行數(shù)據(jù)轉(zhuǎn)換、并通過加權(quán)運(yùn)算等一系列復(fù)雜方法處理數(shù)據(jù)的過程。因此,定性評(píng)價(jià)往往是一種經(jīng)驗(yàn)判斷。
在關(guān)于學(xué)術(shù)評(píng)價(jià)的種種討論中,人們并不質(zhì)疑評(píng)價(jià)是否應(yīng)該分裂為定性和定量這兩類評(píng)價(jià),也不追究評(píng)價(jià)緣何而發(fā)生分裂,反將這種分裂視為自然的現(xiàn)象,故而一直就定量評(píng)價(jià)與定性評(píng)價(jià)孰優(yōu)孰劣爭論不休。其實(shí),這樣的爭論意義并不大,因?yàn)樽鳛橐话阍u(píng)價(jià)方法,無論是定性評(píng)價(jià)還是定量評(píng)價(jià),都是各有其優(yōu)長和局限的。但是,在評(píng)價(jià)分裂后,作為獨(dú)立的評(píng)價(jià)種類的定性評(píng)價(jià)和定量評(píng)價(jià),卻未見得將其優(yōu)長充分發(fā)揮,卻使自身的局限明顯地放大了。我們不妨來看看“獨(dú)立”后各自的情況。
定量評(píng)價(jià)所標(biāo)榜的優(yōu)點(diǎn)在于:(1)“客觀”。所有評(píng)價(jià)信息都有明確的數(shù)據(jù)源。(2)“公正”、“公平”。所有信息都轉(zhuǎn)換為數(shù)據(jù),用統(tǒng)一的公式進(jìn)行運(yùn)算,一旦公式確定,就能排除人為干擾。(3)“科學(xué)”。其過程可以重復(fù),其結(jié)論可以驗(yàn)證。但是,只要對(duì)這些優(yōu)點(diǎn)作進(jìn)一步分析就可以發(fā)現(xiàn),所謂優(yōu)點(diǎn)所在,恰恰也是其缺陷所在:(1)“客觀”的有限性。并不是所有的評(píng)價(jià)信息特別是內(nèi)容層面的信息都可以轉(zhuǎn)化為用作比較的數(shù)據(jù)的,不管如何加權(quán)和運(yùn)算都無法彌補(bǔ)在信息到數(shù)據(jù)轉(zhuǎn)換過程中出現(xiàn)的信息丟失和偏差。因此,“客觀”往往只是一種表象。(2)“公正、公平”的前提難以保證。這個(gè)前提就是,數(shù)據(jù)必須覆蓋評(píng)價(jià)對(duì)象的所有方面,但至少到目前為止,這樣的覆蓋還無法實(shí)現(xiàn);所有的數(shù)據(jù)都是自然產(chǎn)生而沒有受到人為干擾的,即數(shù)據(jù)必須絕對(duì)真實(shí),但在定量評(píng)價(jià)的數(shù)據(jù)采集及加權(quán)運(yùn)算的方法盡人皆知后,再也無法確保做到這一點(diǎn),為應(yīng)對(duì)評(píng)價(jià)而發(fā)生的不端行為就集中表現(xiàn)為數(shù)據(jù)造假。(3)專業(yè)的缺位使評(píng)價(jià)的科學(xué)性大打折扣。由于從事定量評(píng)價(jià)的人員大多非學(xué)術(shù)共同體成員,不懂專業(yè)是他們的致命傷,為彌補(bǔ)這一缺陷,定量評(píng)價(jià)通過大量數(shù)據(jù)的采集和復(fù)雜的加權(quán)運(yùn)算,來替代學(xué)術(shù)共同體成員的專業(yè)判斷,這種替代的科學(xué)性通常會(huì)受到質(zhì)疑。(4)極其簡單的評(píng)價(jià)結(jié)論。由于是外行對(duì)內(nèi)行的評(píng)價(jià),評(píng)價(jià)機(jī)構(gòu)往往沒有能力用評(píng)價(jià)對(duì)象所屬學(xué)科的專業(yè)知識(shí)來對(duì)數(shù)據(jù)和運(yùn)算結(jié)果進(jìn)行解析,并完成評(píng)價(jià)結(jié)論,其評(píng)價(jià)結(jié)論就只能是無法反映實(shí)際學(xué)術(shù)內(nèi)容的各種排名表,于評(píng)價(jià)對(duì)象難有實(shí)質(zhì)性幫助。
定性評(píng)價(jià)被承認(rèn)的優(yōu)點(diǎn)在于:(1)“直接”。直面評(píng)價(jià)對(duì)象,所有的信息都可以為評(píng)價(jià)所用,而不必考慮其是否能轉(zhuǎn)換為數(shù)據(jù),更無需復(fù)雜的運(yùn)算。(2)“專業(yè)”。定性評(píng)價(jià)即同行評(píng)議,只有來自學(xué)術(shù)共同體的評(píng)價(jià)能夠深入到內(nèi)容層面進(jìn)行評(píng)價(jià),故是一種專業(yè)性的評(píng)價(jià)。(3)作為價(jià)值判斷的結(jié)論內(nèi)涵的豐富性。其評(píng)價(jià)結(jié)論可以是排名表,但更可以是鑒定性的文字,甚至長篇大論,如果評(píng)價(jià)的公正性和專業(yè)性得到保證,就既能讓公眾信服,也能讓評(píng)價(jià)對(duì)象從中獲益。但是,在放棄了定量分析等非直接判斷的方式、同行評(píng)議在成為單純的定性評(píng)價(jià)之后,其缺陷也是明顯的,本來具有的優(yōu)勢甚至變成了劣勢:(1)單純的定性評(píng)價(jià)有可能使評(píng)價(jià)成為一種純粹的主觀判斷,必然受到評(píng)價(jià)者自身學(xué)識(shí)、德行等多方面的制約,以及外界各種因素的干擾,公正性難以得到保證。(2)定性評(píng)價(jià)的過程難以展示,很難做到公開;如果將評(píng)價(jià)視為一種科學(xué)研究或?qū)嶒?yàn),其過程難以重復(fù)驗(yàn)證,科學(xué)和公平也難以體現(xiàn)。(3)由于前兩點(diǎn)缺陷,評(píng)價(jià)的隨意性難以避免,公信力難以保證。
需要指出的是,學(xué)術(shù)評(píng)價(jià)走向分裂的標(biāo)志并不在于評(píng)價(jià)方法的不同和對(duì)立,而在于兩個(gè)獨(dú)立的評(píng)價(jià)主體的出現(xiàn)。主體的分裂甚至對(duì)立,才導(dǎo)致了方法的割裂和抵牾。作為一般的評(píng)價(jià)方法,無論單純的定性評(píng)價(jià)還是單純的定量評(píng)價(jià)都不可能獨(dú)立應(yīng)對(duì)所有的評(píng)價(jià)需要,本應(yīng)統(tǒng)攝于同一評(píng)價(jià)主體之下,才能給評(píng)價(jià)提供科學(xué)和合理的基本保證。這里所說的“統(tǒng)攝”與所謂“定量評(píng)價(jià)與定性評(píng)價(jià)相結(jié)合”的含義是有本質(zhì)區(qū)別的,關(guān)于這一點(diǎn),下文將詳加分析,這里只是強(qiáng)調(diào),定性評(píng)價(jià)與定量評(píng)價(jià)各自的獨(dú)立乃至互相對(duì)立,只能使學(xué)術(shù)評(píng)價(jià)因分裂而走入歧途。
(三)評(píng)價(jià)分裂的后果
因評(píng)價(jià)方法上升為評(píng)價(jià)類別而出現(xiàn)的評(píng)價(jià)分裂,對(duì)學(xué)術(shù)評(píng)價(jià)造成的最嚴(yán)重后果就是使學(xué)術(shù)評(píng)價(jià)變得殘缺不全。
在學(xué)術(shù)評(píng)價(jià)中,評(píng)價(jià)主體是否具備學(xué)科專業(yè)優(yōu)勢是起決定作用的,所以,學(xué)術(shù)共同體這一評(píng)價(jià)主體的身份毋庸置疑。在評(píng)價(jià)發(fā)生分裂之前,同行評(píng)議并不意味著對(duì)主觀判斷的必然濫用和對(duì)定量評(píng)價(jià)的必然排斥,同行學(xué)者不能進(jìn)行定量評(píng)價(jià)是因?qū)I(yè)評(píng)價(jià)機(jī)構(gòu)的產(chǎn)生而制造出的一種假象。今天的同行評(píng)議,受到兩方面的制約,一是在事關(guān)利益的評(píng)價(jià)中,同行評(píng)議對(duì)評(píng)價(jià)環(huán)境和評(píng)價(jià)主體自身的道德水準(zhǔn)有苛刻的要求。若沒有一個(gè)干凈的學(xué)術(shù)環(huán)境,單純的定性評(píng)價(jià)可能比單純的定量評(píng)價(jià)更加荒唐。二是在學(xué)術(shù)成果(作品)數(shù)量巨大的時(shí)代,離開了數(shù)據(jù)統(tǒng)計(jì)和定量分析,同行評(píng)議的效率將十分低下,不確定性也必然增加,要提高效率和保持一定的穩(wěn)定性,同行評(píng)議除了經(jīng)驗(yàn)判斷外,也離不開數(shù)據(jù)分析。當(dāng)然,同行所做的數(shù)據(jù)分析與評(píng)價(jià)機(jī)構(gòu)的定量評(píng)價(jià)并不是一回事。評(píng)價(jià)分裂后的同行評(píng)議,既缺乏清潔的外部環(huán)境,又割舍了定量分析,當(dāng)然無法令人信服。
在評(píng)價(jià)分裂后,獨(dú)立的定量評(píng)價(jià)主要由專業(yè)評(píng)價(jià)機(jī)構(gòu)作出,其評(píng)價(jià)主體的身份是令人懷疑的。如果說,只有學(xué)術(shù)成果(作品)的閱讀者和使用者才具備評(píng)價(jià)主體的資格,那么,評(píng)價(jià)機(jī)構(gòu)既不是閱讀者,也不是使用者,其對(duì)評(píng)價(jià)對(duì)象各種形式數(shù)據(jù)的統(tǒng)計(jì)大多與閱讀和使用無關(guān),應(yīng)該是連起碼的評(píng)價(jià)主體的資格也不具備的。由于不懂專業(yè)的根本性缺陷幾乎無法靠自身的努力得到足量的彌補(bǔ),所造成的外行評(píng)價(jià)內(nèi)行,很可能失之毫厘而差之千里;對(duì)評(píng)價(jià)信息的數(shù)據(jù)化處理雖然是其優(yōu)勢,但不具備學(xué)科專業(yè)知識(shí),其數(shù)據(jù)分析難以深入內(nèi)容層面,內(nèi)容信息的缺失也使得評(píng)價(jià)機(jī)構(gòu)的定量評(píng)價(jià)只有數(shù)據(jù),只有運(yùn)算,只有排序,卻沒有學(xué)術(shù),也沒有真正的價(jià)值判斷。僅此兩點(diǎn),都足以致命。因此,在傳統(tǒng)的評(píng)價(jià)環(huán)境內(nèi),評(píng)價(jià)機(jī)構(gòu)的定量評(píng)價(jià)絕不可能是一種獨(dú)立存在的評(píng)價(jià)。
在現(xiàn)實(shí)評(píng)價(jià)中,數(shù)據(jù)運(yùn)算與經(jīng)驗(yàn)判斷已成為兩種對(duì)立的評(píng)價(jià),在這背后,其實(shí)隱含了這樣一種理論預(yù)設(shè):定性評(píng)價(jià)與定量評(píng)價(jià)應(yīng)該由不同的人或機(jī)構(gòu)分別來做,因?yàn)閺氖露ㄐ栽u(píng)價(jià)的學(xué)術(shù)共同體做不了定量評(píng)價(jià),而專業(yè)評(píng)價(jià)機(jī)構(gòu)也做不了定性評(píng)價(jià),所以將學(xué)術(shù)評(píng)價(jià)分為各自獨(dú)立的定性評(píng)價(jià)和定量評(píng)價(jià)是有道理的。這樣的理論預(yù)設(shè)是值得懷疑的。第一,專業(yè)評(píng)價(jià)機(jī)構(gòu)的確沒有能力做定性評(píng)價(jià),但學(xué)術(shù)共同體并非不能做定量評(píng)價(jià),與定性評(píng)價(jià)的專業(yè)門檻高企不同,定量評(píng)價(jià)并沒有高不可攀的技術(shù)門檻,學(xué)術(shù)共同體在經(jīng)過必要的訓(xùn)練后,完全有能力做定量評(píng)價(jià)。第二,專業(yè)評(píng)價(jià)機(jī)構(gòu)不僅沒有能力做定性評(píng)價(jià),其實(shí)也沒有能力獨(dú)立完成定量評(píng)價(jià),定量評(píng)價(jià)包含有數(shù)據(jù)運(yùn)算與價(jià)值判斷這兩層意思,評(píng)價(jià)機(jī)構(gòu)的最終產(chǎn)品,即其制作的所有排行榜和排名表都只是運(yùn)算的結(jié)果,而不是專業(yè)分析和價(jià)值判斷的結(jié)論,充其量也只是未完成的評(píng)價(jià)。第三,成功的定量評(píng)價(jià)離不開學(xué)術(shù)共同體的參與和主導(dǎo),從數(shù)據(jù)挖掘的方向、數(shù)據(jù)評(píng)價(jià)意義的設(shè)計(jì)、數(shù)據(jù)運(yùn)算的公式,到運(yùn)算結(jié)果的解析和最終具有價(jià)值判斷意義的評(píng)價(jià)結(jié)論的得出,哪一項(xiàng)也離不開學(xué)術(shù)共同體。
可見,評(píng)價(jià)的分裂和分裂后定性和定量評(píng)價(jià)的互相對(duì)立,不僅使同行評(píng)議淪為狹隘的主觀判斷,而且使定量評(píng)價(jià)變成了一場數(shù)字游戲。評(píng)價(jià)再也無法統(tǒng)攝于同一評(píng)價(jià)主體,殘缺不全也就是必然的了。這樣的結(jié)果不僅導(dǎo)致了現(xiàn)實(shí)中學(xué)術(shù)評(píng)價(jià)的不合理,而且也直接導(dǎo)致了學(xué)術(shù)評(píng)價(jià)自身的危機(jī)與困境。那么,大數(shù)據(jù)時(shí)代的到來是否有助于學(xué)術(shù)評(píng)價(jià)走出分裂的困境?
當(dāng)我們將改進(jìn)學(xué)術(shù)評(píng)價(jià)的希望寄托于大數(shù)據(jù)時(shí),面對(duì)的卻是分裂的評(píng)價(jià),分裂必定導(dǎo)致評(píng)價(jià)的殘缺,但統(tǒng)合后的評(píng)價(jià)未見得就一定科學(xué)合理,因此,對(duì)大數(shù)據(jù)之于評(píng)價(jià)作用的判斷,需要回答兩個(gè)問題:一是大數(shù)據(jù)能否將分裂的評(píng)價(jià)統(tǒng)合起來;二是統(tǒng)合后的評(píng)價(jià)能否借助于大數(shù)據(jù)變得科學(xué)和合理。
(一)信息、數(shù)據(jù)與評(píng)價(jià)的關(guān)系
在回答大數(shù)據(jù)對(duì)評(píng)價(jià)的作用這個(gè)問題之前,有必要重新討論評(píng)價(jià)信息、評(píng)價(jià)數(shù)據(jù)與學(xué)術(shù)評(píng)價(jià)的關(guān)系。信息與數(shù)據(jù)的作用主要體現(xiàn)在評(píng)價(jià)過程中,所以,讓我們從評(píng)價(jià)的過程說起。無論在前大數(shù)據(jù)時(shí)代還是大數(shù)據(jù)時(shí)代,學(xué)術(shù)評(píng)價(jià)的過程簡單說來實(shí)際上就是這樣幾個(gè)步驟:(1)確定評(píng)價(jià)的目的(必須是具體的而不是抽象的目的);(2)確定評(píng)價(jià)對(duì)象(評(píng)價(jià)客體);(3)確定誰來評(píng)價(jià)(評(píng)價(jià)主體);(4)確定評(píng)價(jià)方法、程序和標(biāo)準(zhǔn);(5)評(píng)價(jià)主體收集與評(píng)價(jià)客體相關(guān)的各種可能有用的信息;(6)根據(jù)確定的方法、程序和標(biāo)準(zhǔn),對(duì)所收集的信息進(jìn)行比較、分析和處理;(7)得出評(píng)價(jià)結(jié)論。
在一般理解中,似乎只有評(píng)價(jià)方法和作為評(píng)價(jià)標(biāo)準(zhǔn)的指標(biāo)體系才與數(shù)據(jù)相關(guān),其實(shí)不然。如果說,評(píng)價(jià)數(shù)據(jù)來源于評(píng)價(jià)信息,那么,以上所言評(píng)價(jià)過程的七個(gè)方面,每一個(gè)方面都與評(píng)價(jià)信息有關(guān)。比如,確定評(píng)價(jià)目的時(shí),除了考慮此項(xiàng)評(píng)價(jià)的必要性外,還要考慮可行性,即實(shí)現(xiàn)此項(xiàng)目的是否有必要的信息作為評(píng)價(jià)的基礎(chǔ);再如,確定評(píng)價(jià)主體時(shí),必須有一個(gè)評(píng)價(jià)專家數(shù)據(jù)庫,可以提供專家的各種相關(guān)信息;至于信息收集和處理,更是直接作用于信息;而評(píng)價(jià)結(jié)論其實(shí)也就是評(píng)價(jià)者通過信息處理而對(duì)評(píng)價(jià)對(duì)象作出的價(jià)值判斷,理應(yīng)包含豐富的信息。所以說,信息是評(píng)價(jià)的基礎(chǔ),沒有相關(guān)信息,也就無從評(píng)價(jià)。
信息、數(shù)據(jù)與評(píng)價(jià)三者間的關(guān)系主要體現(xiàn)在轉(zhuǎn)換和分析兩個(gè)方面。首先,是對(duì)與評(píng)價(jià)有關(guān)的信息進(jìn)行數(shù)據(jù)轉(zhuǎn)換。在前大數(shù)據(jù)時(shí)代,這種轉(zhuǎn)換基本是指向性的和局部性的。所謂“指向性”,指的是具有明確指向的信息(高密度高價(jià)值信息)到數(shù)據(jù)的轉(zhuǎn)換,比如文摘、引用等指向明確的信息,轉(zhuǎn)換為可以運(yùn)算的數(shù)據(jù),而離開了這些有明確指向的信息,數(shù)據(jù)生成幾無可能,這與對(duì)數(shù)據(jù)的認(rèn)識(shí)以及挖掘和處理數(shù)據(jù)的能力有關(guān)。所謂“局部性”,指的是只是部分信息的部分方面被轉(zhuǎn)換為數(shù)據(jù),比如文摘和引用信息都屬于相對(duì)比較容易轉(zhuǎn)換為數(shù)據(jù)的,而在此之外的大量信息卻無法轉(zhuǎn)換為數(shù)據(jù);即使文摘和引用,其所包含的與學(xué)術(shù)貢獻(xiàn)相關(guān)的信息量也是十分豐富的,但轉(zhuǎn)換為數(shù)據(jù)時(shí)除了頻次和比率外,其他信息基本都丟失了。在大數(shù)據(jù)時(shí)代,信息到數(shù)據(jù)轉(zhuǎn)換的指向性和局限性依然會(huì)存在,但是,由于對(duì)數(shù)據(jù)認(rèn)識(shí)的深度和數(shù)據(jù)挖掘的廣度大大增加,處理的技術(shù)更加先進(jìn),我們有理由期待,除了指向明確的信息轉(zhuǎn)換為數(shù)據(jù)以外,還有可能出現(xiàn)低密度高價(jià)值的新數(shù)據(jù)源;我們也有理由相信,可以有更多的信息能夠比較全面地轉(zhuǎn)換為數(shù)據(jù)。其次,是對(duì)由信息轉(zhuǎn)換而來的數(shù)據(jù)進(jìn)行運(yùn)算和分析并得出結(jié)論。在前大數(shù)據(jù)時(shí)代,由于信息到數(shù)據(jù)轉(zhuǎn)換的指向性和局部性,數(shù)據(jù)不可能完全代替信息,因此,數(shù)據(jù)對(duì)評(píng)價(jià)的作用是有限的,單純的數(shù)據(jù)運(yùn)算結(jié)果也是代替不了評(píng)價(jià)結(jié)論的。在大數(shù)據(jù)時(shí)代,不管數(shù)據(jù)量有多大,也不管運(yùn)算方法有多先進(jìn),單純的數(shù)據(jù)運(yùn)算仍然無法代替價(jià)值判斷,但是,數(shù)據(jù)的運(yùn)算結(jié)果可以更好地用于學(xué)術(shù)評(píng)價(jià),特別是對(duì)數(shù)據(jù)的利用不再是專業(yè)評(píng)價(jià)機(jī)構(gòu)的專利,數(shù)據(jù)對(duì)同行評(píng)議同樣有意義,甚至有更大的意義。因此,引入大數(shù)據(jù),的確會(huì)對(duì)學(xué)術(shù)評(píng)價(jià)發(fā)生重大影響。
(二)大數(shù)據(jù)對(duì)評(píng)價(jià)的影響
“大數(shù)據(jù)對(duì)社會(huì)經(jīng)濟(jì)生活產(chǎn)生的影響絕不限于技術(shù)層面,它為我們看待世界提供了一種全新的方法,即決策行為將日益基于數(shù)據(jù)分析做出,而不是像過去更多憑借經(jīng)驗(yàn)和直覺做出?!薄斑@是一場革命,龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程,無論學(xué)術(shù)界、商界還是政府,所有領(lǐng)域都將開始這種進(jìn)程?!盵4]顯然,大數(shù)據(jù)時(shí)代的到來,憑借巨量數(shù)據(jù)的獲取和運(yùn)算的模式正在顛覆“憑借經(jīng)驗(yàn)和直覺”的模式,而被廣泛地運(yùn)用于判斷、預(yù)測和決策之中。如果數(shù)據(jù)的量足夠龐大,覆蓋的面足夠?qū)拸V,挖掘得足夠徹底,處理得足夠精細(xì),那么,這種憑借“云計(jì)算”得出的評(píng)價(jià)性結(jié)論或預(yù)測性判斷就可以相對(duì)準(zhǔn)確,在某些領(lǐng)域或某些問題的判斷上,它有可能勝過經(jīng)驗(yàn)和直覺。
正是基于大數(shù)據(jù)的特點(diǎn),在學(xué)術(shù)評(píng)價(jià)領(lǐng)域,當(dāng)“憑借經(jīng)驗(yàn)和直覺”的定性評(píng)價(jià)與憑借客觀數(shù)據(jù)的定量評(píng)價(jià)孰優(yōu)孰劣爭得不亦樂乎之時(shí),人們似乎找到了一把打開這個(gè)幾乎成了“死結(jié)”的問題之鎖的鑰匙。比如,有評(píng)論者認(rèn)為:“在‘前大數(shù)據(jù)時(shí)代’,期刊的評(píng)價(jià)方式多采用專家定性評(píng)價(jià)、內(nèi)容評(píng)價(jià)……評(píng)價(jià)的模糊性與主觀性是這一階段期刊評(píng)價(jià)存在的主要問題。主觀性指評(píng)價(jià)缺少客觀依據(jù)和數(shù)據(jù)支撐,具有想當(dāng)然的嫌疑;模糊性則因?yàn)樵u(píng)價(jià)依據(jù)不能使人信服而導(dǎo)致評(píng)價(jià)不夠精確”,“這些‘前大數(shù)據(jù)時(shí)代’期刊評(píng)價(jià)存在的主要問題,隨著大數(shù)據(jù)產(chǎn)生而得以‘緩解’。比方說,由于大數(shù)據(jù)的支撐,定量評(píng)價(jià)、形式評(píng)價(jià)等客觀的評(píng)價(jià)方式可以得到更好的實(shí)現(xiàn)……促使學(xué)術(shù)評(píng)價(jià)更趨于精確性與客觀性。從某種意義上來說,這是對(duì)‘前大數(shù)據(jù)時(shí)代’期刊評(píng)價(jià)的超越?!盵5]這里說的雖然是學(xué)術(shù)期刊評(píng)價(jià),但因?yàn)楝F(xiàn)行學(xué)術(shù)評(píng)價(jià)機(jī)制的核心就是學(xué)術(shù)期刊評(píng)價(jià),通過對(duì)學(xué)術(shù)期刊的評(píng)價(jià)來間接地評(píng)價(jià)學(xué)術(shù)成果,即發(fā)表在學(xué)術(shù)期刊上的論文,在沒有找到使人信服而又操作性良好的直接評(píng)價(jià)學(xué)術(shù)論文的方法之前,這樣的“以刊評(píng)文”實(shí)則就是學(xué)術(shù)評(píng)價(jià)的主要表現(xiàn)。顯然,大數(shù)據(jù)技術(shù)被寄予厚望,希望通過它可以大大提升定量評(píng)價(jià)的精準(zhǔn)度,以實(shí)現(xiàn)評(píng)價(jià)的“超越”。
不難看出,以上對(duì)大數(shù)據(jù)的期待,仍然是建立在定性評(píng)價(jià)與定量評(píng)價(jià)相分裂和相對(duì)立基礎(chǔ)上的,由于定性評(píng)價(jià)被認(rèn)定為“缺少客觀依據(jù)和數(shù)據(jù)支撐,具有想當(dāng)然的嫌疑”,自然就會(huì)推論出大數(shù)據(jù)對(duì)定性評(píng)價(jià)的影響是極為有限的,亦即大數(shù)據(jù)挽救不了定性評(píng)價(jià),轉(zhuǎn)而對(duì)大數(shù)據(jù)時(shí)代有“客觀依據(jù)和數(shù)據(jù)支撐”的定量評(píng)價(jià)寄予了厚望,期望它能超越“前大數(shù)據(jù)時(shí)代”。也就是說,要通過加強(qiáng)定量評(píng)價(jià),使之壓倒性地戰(zhàn)勝定性評(píng)價(jià),從而使分裂的評(píng)價(jià)一方“吃”掉另一方而實(shí)現(xiàn)評(píng)價(jià)的統(tǒng)一。
然而,以上看法并沒有弄清信息、數(shù)據(jù)與評(píng)價(jià)之間的關(guān)系,也就沒有理解數(shù)據(jù)在評(píng)價(jià)中的真實(shí)作用和意義。大數(shù)據(jù)時(shí)代云計(jì)算處理的數(shù)據(jù)不管量有多大,都離不開與其所代表的信息的關(guān)系,丟失了信息的數(shù)據(jù)不管設(shè)計(jì)了多么復(fù)雜的算式,其運(yùn)算結(jié)果都沒有任何意義,只會(huì)將評(píng)價(jià)扭曲。由于大數(shù)據(jù)時(shí)代數(shù)據(jù)的價(jià)值雖大,但密度極低,較之前大數(shù)據(jù)時(shí)代,數(shù)據(jù)的挖掘和運(yùn)算都更離不開對(duì)數(shù)據(jù)的解讀。這種解讀,核心是對(duì)數(shù)據(jù)與信息關(guān)系的解讀,需要有計(jì)算技術(shù),更需要有各學(xué)科專業(yè)知識(shí)。專業(yè)評(píng)價(jià)機(jī)構(gòu)雖然具備計(jì)算技術(shù),卻永遠(yuǎn)也無法具備各學(xué)科的專業(yè)知識(shí),所以,他們可以對(duì)基于大數(shù)據(jù)的評(píng)價(jià)提供技術(shù)支持,但卻無力得出科學(xué)的評(píng)價(jià)結(jié)論。學(xué)術(shù)評(píng)價(jià)不是簡單的或復(fù)雜的數(shù)字游戲,而是一項(xiàng)嚴(yán)肅的科研活動(dòng),它必然要受到科研活動(dòng)一般規(guī)律的支配和約束。大數(shù)據(jù)于科研的意義并非僅及于學(xué)術(shù)評(píng)價(jià)一項(xiàng),如今,許多學(xué)科的研究都引入了大數(shù)據(jù)技術(shù),但這些科研活動(dòng)的主體,無一例外,都是本專業(yè)的科研人員,而不是只懂技術(shù)而不懂專業(yè)的外行。如果非本專業(yè)的評(píng)價(jià)人員能夠?qū)υ搶I(yè)的學(xué)術(shù)成果作出科學(xué)評(píng)價(jià),那么,他們也就可以在所有的學(xué)科的研究中取代專業(yè)人員,而這不啻天方夜譚。學(xué)術(shù)共同體之所以被國際學(xué)術(shù)界公認(rèn)為最合適的學(xué)術(shù)評(píng)價(jià)主體,更多的是因?yàn)橹挥羞@樣的評(píng)價(jià)才具有專業(yè)水準(zhǔn),才能對(duì)學(xué)術(shù)研究作出真正的貢獻(xiàn)。
到目前為止,所有有關(guān)大數(shù)據(jù)的理論方法和實(shí)踐經(jīng)驗(yàn)并不能直接應(yīng)用于學(xué)術(shù)評(píng)價(jià)。大數(shù)據(jù)理論和方法在其他領(lǐng)域的成功運(yùn)用并不意味著它就能成功地移植到學(xué)術(shù)評(píng)價(jià)中來。學(xué)術(shù)評(píng)價(jià)特別是人文社會(huì)科學(xué)學(xué)術(shù)評(píng)價(jià)較之一般運(yùn)用于生產(chǎn)領(lǐng)域、經(jīng)濟(jì)領(lǐng)域的基于大數(shù)據(jù)的評(píng)價(jià)要復(fù)雜得多。其不同之一是,不管學(xué)術(shù)評(píng)價(jià)的目的和對(duì)象如何多元,學(xué)術(shù)質(zhì)量都是評(píng)價(jià)的中心問題,而學(xué)術(shù)產(chǎn)品與現(xiàn)代工業(yè)產(chǎn)品最大的區(qū)別在于,前者是十足的個(gè)性化產(chǎn)品,很難進(jìn)行深入到內(nèi)容層面的關(guān)于學(xué)術(shù)質(zhì)量的量化比較;后者則是規(guī)整的標(biāo)準(zhǔn)化產(chǎn)品,很容易進(jìn)行包括產(chǎn)品質(zhì)量、用戶體驗(yàn)、市場需求在內(nèi)的各方面的量化比較。其不同之二是,學(xué)術(shù)評(píng)價(jià)主要是對(duì)既有成果的價(jià)值判斷,而生產(chǎn)和市場領(lǐng)域的評(píng)價(jià)更多的是對(duì)市場前景的預(yù)測和營銷策略的設(shè)計(jì),兩者對(duì)數(shù)據(jù)的挖掘方向和運(yùn)算方法因目的不同而存在巨大差異。因此,在生產(chǎn)領(lǐng)域、經(jīng)濟(jì)領(lǐng)域中風(fēng)生水起的大數(shù)據(jù)理論和方法,在學(xué)術(shù)評(píng)價(jià)領(lǐng)域要想一顯身手,需要評(píng)價(jià)理論和方法的及時(shí)跟進(jìn)。其最大的瓶頸就是,必須找到一條能夠讓個(gè)性化產(chǎn)品可以不受干擾地利用大數(shù)據(jù)技術(shù)進(jìn)行量化數(shù)據(jù)類比的路,這條路,在前大數(shù)據(jù)時(shí)代根本就沒找到。在評(píng)價(jià)環(huán)境沒有根本改變、評(píng)價(jià)理論和方法沒有根本突破之前,要找到這條路基本不可能。因此,大數(shù)據(jù)技術(shù)要在學(xué)術(shù)評(píng)價(jià)方面真實(shí)地投入運(yùn)用并發(fā)揮積極作用,恐怕還有很長的路要走,在現(xiàn)實(shí)與愿景之間,還橫亙著一條巨大的鴻溝。
(三)機(jī)遇與陷阱并存
其實(shí),不管是否在大數(shù)據(jù)時(shí)代,包括學(xué)術(shù)評(píng)價(jià)在內(nèi)的所有評(píng)價(jià)都會(huì)受到以下幾個(gè)方面因素的影響和制約:其一,是否具備成熟的、并且為公眾(特別是評(píng)價(jià)對(duì)象)普遍認(rèn)可的評(píng)價(jià)理論。其二,是否具備在評(píng)價(jià)理論指導(dǎo)下成熟的、并且為公眾(特別是評(píng)價(jià)對(duì)象)普遍認(rèn)可的科學(xué)評(píng)價(jià)方法。其三,是否具備學(xué)術(shù)評(píng)價(jià)所必需的干凈清潔的學(xué)術(shù)環(huán)境。其四,是否具有高學(xué)科專業(yè)水準(zhǔn)和公信力的評(píng)價(jià)主體,能夠擔(dān)當(dāng)起進(jìn)行公正合理的學(xué)術(shù)評(píng)價(jià)的責(zé)任。其五,能否收集到足以支持評(píng)價(jià)方法的準(zhǔn)確的評(píng)價(jià)信息。其六,是否具備對(duì)評(píng)價(jià)信息進(jìn)行有效處理的能力。其七,是否具有對(duì)處理結(jié)果進(jìn)行專業(yè)解釋的能力。只有同時(shí)滿足了上述條件,才可能得出科學(xué)合理的評(píng)價(jià)結(jié)論。
筆者并不懷疑大數(shù)據(jù)技術(shù)將會(huì)給學(xué)術(shù)評(píng)價(jià)帶來某種機(jī)遇,大數(shù)據(jù)以及相應(yīng)技術(shù)顯然比前大數(shù)據(jù)時(shí)代更容易部分地而不是全部地滿足上述第五和第六個(gè)條件,從而有可能在評(píng)價(jià)中更好地發(fā)揮數(shù)據(jù)的作用。但是,科學(xué)評(píng)價(jià)所必須具備的七個(gè)條件,特別是前四個(gè)和最后一個(gè)條件并不會(huì)因?yàn)榇髷?shù)據(jù)時(shí)代的到來自然而然地就具備了,即使是第五和第六這兩個(gè)條件,也不僅僅是數(shù)據(jù)的量級(jí)和運(yùn)算的能力問題,所以也不會(huì)因?yàn)榇髷?shù)據(jù)時(shí)代的到來就一定能取得突破。
在分裂的評(píng)價(jià)中,專事定量評(píng)價(jià)的各評(píng)價(jià)機(jī)構(gòu)幾乎壟斷了所有的數(shù)據(jù)挖掘與運(yùn)算排序,而這些機(jī)構(gòu)顯然不具備上述基本條件,撇開前四個(gè)條件不論,僅就后三個(gè)條件而言,即使其最擅長的數(shù)據(jù)處理也不可能完成,因?yàn)樗麄儧]有能力對(duì)數(shù)據(jù)及運(yùn)算結(jié)果予以專業(yè)解析,只能將經(jīng)運(yùn)算排序的結(jié)果作為評(píng)價(jià)的結(jié)論發(fā)布出來,評(píng)價(jià)的過程在此已告中斷,今天的各種排行榜和排名表大多是這樣的未完成產(chǎn)品。沒有學(xué)術(shù)共同體的主導(dǎo)*目前專業(yè)評(píng)價(jià)機(jī)構(gòu)大多號(hào)稱其排行榜和排名表是“定量評(píng)價(jià)與定性評(píng)價(jià)相結(jié)合”的產(chǎn)物,因?yàn)樗麄円肓送袑<覅⑴c他們的制作。而事實(shí)上,專家在其中的作用是很可疑的。專家充其量也只是起到了“打分機(jī)器”的作用,根本談不上“專家主導(dǎo)”,與學(xué)術(shù)共同體為主體的評(píng)價(jià)更是相差甚遠(yuǎn)。,這樣的所謂定量評(píng)價(jià),不僅無法發(fā)揮大數(shù)據(jù)的威力,而且已成為大數(shù)據(jù)在學(xué)術(shù)評(píng)價(jià)中應(yīng)用的障礙。
正因?yàn)槿绱耍^分地迷信評(píng)價(jià)機(jī)構(gòu)的大數(shù)據(jù)技術(shù),就有可能掉入工具理性的陷阱?!爱?dāng)前我國社會(huì)經(jīng)濟(jì)、文化、信息越來越向全球化發(fā)展,各行各業(yè)都在進(jìn)入科學(xué)管理時(shí)代,可以說工具理性已經(jīng)逐漸滲透到社會(huì)生活的方方面面……從西方科學(xué)技術(shù)體系移植的各種科學(xué)計(jì)量工具以一種學(xué)術(shù)研究的姿態(tài)凜然應(yīng)用于中國學(xué)術(shù)管理的方方面面,信息技術(shù)的不斷進(jìn)步使得海量的信息都可以被儲(chǔ)存、被分離、被分析,于是核心期刊排行榜、來源期刊排行榜、中國大學(xué)排行榜以及研制各種名號(hào)排行榜的技術(shù)門檻已經(jīng)不是問題,越來越多的研究機(jī)構(gòu)和傳媒企業(yè)甚至個(gè)人都以無比的熱情投入到對(duì)他人的排序中。”[6]然而,這些基于大量數(shù)據(jù)及運(yùn)算而制作的各種排行榜和排名表的科學(xué)性卻始終受到學(xué)界的質(zhì)疑。比如在定量評(píng)價(jià)中普遍使用的引文分析法的“合法性問題”在學(xué)術(shù)界就一直爭議不斷,“向來不乏學(xué)者對(duì)以引文分析為基礎(chǔ)的量化學(xué)術(shù)評(píng)價(jià)提出異議或批評(píng)。爭議源自于學(xué)術(shù)界對(duì)引用行為和引文本質(zhì)沒有形成普遍性的認(rèn)識(shí)論共識(shí)”[7]。可見,在評(píng)價(jià)理論不能讓學(xué)術(shù)界信服、評(píng)價(jià)方法不能得到科學(xué)驗(yàn)證之時(shí),大數(shù)據(jù)技術(shù)縱然能增加數(shù)據(jù)的量以及運(yùn)算方法,其在學(xué)術(shù)評(píng)價(jià)中也難有用武之地。不僅如此,在定量評(píng)價(jià)一家獨(dú)大的情形下,數(shù)據(jù)的作用往往被片面夸大和扭曲,大數(shù)據(jù)如果盲目地運(yùn)用,只會(huì)圍繞評(píng)價(jià)對(duì)象制造出更多的形式數(shù)據(jù),而深入內(nèi)容層面的數(shù)據(jù)仍將付諸闕如,其片面性和扭曲度將更為加大,亦即前大數(shù)據(jù)時(shí)代定量評(píng)價(jià)的缺陷將被成倍地放大,這樣的評(píng)價(jià),恐怕只會(huì)添亂。從這個(gè)意義上來說,大數(shù)據(jù)不僅不能讓定量評(píng)價(jià)更精細(xì)和準(zhǔn)確,相反,會(huì)讓已扭曲的定量評(píng)價(jià)走向極致。
與任何新技術(shù)一樣,作為一項(xiàng)新技術(shù)的大數(shù)據(jù)的運(yùn)用也具有一定的條件限制,不具備必要的條件,機(jī)遇就可能成為陷阱,而大數(shù)據(jù)之有可能成為學(xué)術(shù)評(píng)價(jià)的陷阱是緣于評(píng)價(jià)的分裂,因此,要抓住大數(shù)據(jù)提供的機(jī)遇以改進(jìn)學(xué)術(shù)評(píng)價(jià),要?jiǎng)?wù)就是讓分裂的評(píng)價(jià)走向統(tǒng)一。首先,要破除只有評(píng)價(jià)機(jī)構(gòu)才具備挖掘數(shù)據(jù)和運(yùn)算能力的神話,各專業(yè)學(xué)者既然有能力將大數(shù)據(jù)運(yùn)用于學(xué)術(shù)研究,就有能力將大數(shù)據(jù)運(yùn)用于學(xué)術(shù)評(píng)價(jià),定量評(píng)價(jià)不是評(píng)價(jià)機(jī)構(gòu)的專利。其次,要看到所有評(píng)價(jià)機(jī)構(gòu)發(fā)布的各種排行榜和排名表都不是嚴(yán)格意義上的定量評(píng)價(jià),更不是完整的學(xué)術(shù)評(píng)價(jià)。再次,要看到迄今為止,所有評(píng)價(jià)機(jī)構(gòu)所做的與數(shù)據(jù)和運(yùn)算有關(guān)的工作都仍停留在前大數(shù)據(jù)時(shí)代,其發(fā)布的排行榜和排名表所依憑的基本都是指向性明確的單一數(shù)據(jù),其算法也基本是簡單的加權(quán)統(tǒng)計(jì)。對(duì)于評(píng)價(jià)機(jī)構(gòu)來說,如何真正運(yùn)用大數(shù)據(jù)技術(shù),其難度一點(diǎn)不比專業(yè)學(xué)者小,甚至更大,因?yàn)椴欢畬W(xué)科專業(yè),就搞不清什么數(shù)據(jù)是有價(jià)值的。在這方面,他們恰恰需要專業(yè)學(xué)者的指導(dǎo)。最后,大數(shù)據(jù)運(yùn)用于學(xué)術(shù)評(píng)價(jià),只能由專業(yè)學(xué)者主導(dǎo),評(píng)價(jià)機(jī)構(gòu)的所謂定量評(píng)價(jià)不管它的數(shù)據(jù)量有多大,運(yùn)算有多精細(xì),也只能是學(xué)術(shù)評(píng)價(jià)的一個(gè)工具??v然大數(shù)據(jù)有可能使這個(gè)工具更為精細(xì),但是,工具永遠(yuǎn)不可能完全代替人。因此,我們在談?wù)摯髷?shù)據(jù)對(duì)評(píng)價(jià)的積極作用時(shí),評(píng)價(jià)的統(tǒng)一是必要前提。
以上我們分析了學(xué)術(shù)評(píng)價(jià)的現(xiàn)狀及其問題的癥結(jié)所在以及數(shù)據(jù)與評(píng)價(jià)的關(guān)系,顯然,大數(shù)據(jù)可以給學(xué)術(shù)評(píng)價(jià)帶來某些機(jī)遇,但同時(shí)也存在著某種陷阱,那么,應(yīng)該如何抓住大數(shù)據(jù)的機(jī)遇并有效避免其陷阱?在筆者看來,關(guān)鍵是要讓分裂的評(píng)價(jià)走向統(tǒng)一,為此,必須處理好以下幾個(gè)關(guān)系。
(一)大數(shù)據(jù)時(shí)代學(xué)術(shù)評(píng)價(jià)與“前大數(shù)據(jù)時(shí)代”學(xué)術(shù)評(píng)價(jià)的關(guān)系
目前,對(duì)現(xiàn)行評(píng)價(jià)的詬病可謂不絕于耳,批評(píng)的焦點(diǎn)多集中于現(xiàn)行的評(píng)價(jià)方法,改造或重建學(xué)術(shù)評(píng)價(jià)的努力也主要體現(xiàn)在評(píng)價(jià)方法層面,似乎只要找到合理的方法,評(píng)價(jià)問題就能迎刃而解。大數(shù)據(jù)正是因?yàn)橛锌赡軒碓u(píng)價(jià)方法的改進(jìn)才被寄予厚望。然而,評(píng)價(jià)絕不是單純的方法問題,大數(shù)據(jù)并沒有也不可能改變學(xué)術(shù)評(píng)價(jià)的基本屬性,除了為學(xué)術(shù)研究服務(wù)以外,學(xué)術(shù)評(píng)價(jià)在今后相當(dāng)長的時(shí)間內(nèi)仍將是學(xué)術(shù)資源分配和學(xué)術(shù)管理的依據(jù)。因此,大數(shù)據(jù)時(shí)代的學(xué)術(shù)評(píng)價(jià),并不意味著能成為割斷歷史的全新評(píng)價(jià),而只能是過去評(píng)價(jià)的一種延續(xù)。這就決定了這樣一個(gè)基本事實(shí):過去評(píng)價(jià)中存在的基本問題,大數(shù)據(jù)時(shí)代同樣存在,這些問題不解決,是改變不了評(píng)價(jià)現(xiàn)狀的。
同時(shí),大數(shù)據(jù)時(shí)代又是一個(gè)以技術(shù)革命為突破口的觀念革命時(shí)代。大數(shù)據(jù)并不是一項(xiàng)孤立的技術(shù),它的產(chǎn)生與信息時(shí)代的到來是緊密相關(guān)的,以互聯(lián)網(wǎng)思維為標(biāo)志的新思維不僅孕育了新的產(chǎn)業(yè),而且正在使許多傳統(tǒng)行業(yè)發(fā)生變革,所以,我們有理由期待基于大數(shù)據(jù)技術(shù)的新的評(píng)價(jià)理念的產(chǎn)生,來推動(dòng)評(píng)價(jià)理論的創(chuàng)新,破解評(píng)價(jià)中的既有問題。但是,迄今為止,作為互聯(lián)網(wǎng)思維最好體現(xiàn)的新技術(shù)、新模式和新平臺(tái)在學(xué)術(shù)評(píng)價(jià)中尚未得以呈現(xiàn),學(xué)術(shù)評(píng)價(jià)與新的時(shí)代仍然格格不入,因此,如何通過引入大數(shù)據(jù)實(shí)現(xiàn)評(píng)價(jià)理論的革新才是突破舊問題的關(guān)鍵。
(二)科研體制與學(xué)術(shù)評(píng)價(jià)的關(guān)系
科研體制與學(xué)術(shù)評(píng)價(jià)之間存在著一定的因果關(guān)系,從某種意義上來說,有什么樣的科研體制,就有什么樣的學(xué)術(shù)評(píng)價(jià),學(xué)術(shù)評(píng)價(jià)的問題恰恰是科研體制問題的表現(xiàn)。在科研體制不變的前提下,要想讓大數(shù)據(jù)時(shí)代的學(xué)術(shù)評(píng)價(jià)走出定性評(píng)價(jià)與定量評(píng)價(jià)分裂的狀態(tài),構(gòu)建健全的學(xué)術(shù)評(píng)價(jià)體系,難度極大。當(dāng)然,評(píng)價(jià)體系對(duì)科研體制也會(huì)有反作用,評(píng)價(jià)的革新,可以倒逼科研體制的改革,但這有待于學(xué)術(shù)界的廣泛參與。最本質(zhì)的學(xué)術(shù)評(píng)價(jià)乃是內(nèi)容評(píng)價(jià),而最好的內(nèi)容評(píng)價(jià)來自于學(xué)術(shù)共同體內(nèi)的學(xué)術(shù)批評(píng)。緣此,評(píng)價(jià)體系的重建只能寄希望于學(xué)術(shù)民主,而不僅僅是某種方法和技術(shù)的突破。學(xué)術(shù)是否民主,民主的程度如何,有一個(gè)標(biāo)志,那就是看是否具有正常的學(xué)術(shù)批評(píng)。然而,在目前的科研體制和評(píng)價(jià)機(jī)制之下,我們還看不到正常的學(xué)術(shù)批評(píng)的回歸。
如果說,大數(shù)據(jù)能對(duì)學(xué)術(shù)評(píng)價(jià)產(chǎn)生一定的正面影響,那么,大數(shù)據(jù)首先要在學(xué)術(shù)批評(píng)中發(fā)揮作用。大數(shù)據(jù)無疑是可以用于學(xué)術(shù)批評(píng)的,可以為學(xué)術(shù)批評(píng)提供更多的資源和便利?,F(xiàn)在的問題首先是,誰來做真正的學(xué)術(shù)批評(píng)?其次才是大數(shù)據(jù)在評(píng)價(jià)中的運(yùn)用。道理很簡單,沒有學(xué)術(shù)批評(píng)的先行并作為評(píng)價(jià)的主要信息源和數(shù)據(jù)源,所有的信息和數(shù)據(jù)都是無法深入到內(nèi)容層面的,不能深入到內(nèi)容層面的評(píng)價(jià),縱然再怎么“客觀”、“公正”,又能有多大意義?因此,正常的學(xué)術(shù)評(píng)價(jià)何以潰退?如何回歸?這的確值得一直在批評(píng)學(xué)術(shù)評(píng)價(jià)現(xiàn)狀的學(xué)術(shù)界深思和反省。
(三)學(xué)術(shù)評(píng)價(jià)內(nèi)部各要素間的復(fù)雜關(guān)系
1.學(xué)術(shù)共同體與專業(yè)評(píng)價(jià)機(jī)構(gòu)的關(guān)系
如果我們認(rèn)同學(xué)術(shù)評(píng)價(jià)的信息應(yīng)源于學(xué)術(shù)批評(píng),那么,誰是評(píng)價(jià)主體的問題就不言而喻,只有學(xué)術(shù)共同體才是合適的學(xué)術(shù)評(píng)價(jià)主體。今天來自學(xué)術(shù)共同體的評(píng)價(jià)即“同行評(píng)議”之所以因極度“異化”而陷入困境,一個(gè)十分重要的原因就是正常的學(xué)術(shù)批評(píng)的缺失,致使同行評(píng)議失去了最基本的依據(jù)和最有效的監(jiān)督。如果學(xué)術(shù)民主和學(xué)術(shù)批評(píng)能夠走向正常,“同行評(píng)議”真正成為學(xué)術(shù)共同體意志的體現(xiàn),那么,以學(xué)術(shù)共同體為主體的學(xué)術(shù)評(píng)價(jià)機(jī)制就有望重建。與學(xué)術(shù)共同體相比,專業(yè)評(píng)價(jià)機(jī)構(gòu)因不是共同體成員而缺乏的恰恰是專業(yè)性,所以不可能是合適的學(xué)術(shù)評(píng)價(jià)主體。這是一個(gè)基本的判斷,但作這樣的判斷,并非將專業(yè)評(píng)價(jià)機(jī)構(gòu)排除在學(xué)術(shù)評(píng)價(jià)之外,專業(yè)評(píng)價(jià)機(jī)構(gòu)自有其獨(dú)特的作用,那就是評(píng)價(jià)數(shù)據(jù)的生產(chǎn)者。其實(shí),每個(gè)評(píng)價(jià)機(jī)構(gòu)都制作有大量的評(píng)價(jià)數(shù)據(jù),大多建有自己的數(shù)據(jù)庫,只是這些數(shù)據(jù)庫到目前為止都沒有很好地發(fā)揮應(yīng)有的作用。一方面,評(píng)價(jià)機(jī)構(gòu)為自己的數(shù)據(jù)庫的開放設(shè)置了種種障礙,數(shù)據(jù)制作也遠(yuǎn)非透明,其數(shù)據(jù)來源、統(tǒng)計(jì)口徑等也是各行其是,缺乏公認(rèn)的科學(xué)標(biāo)準(zhǔn)。另一方面,學(xué)術(shù)界對(duì)數(shù)據(jù)庫的價(jià)值還不了解,數(shù)據(jù)庫還很少為學(xué)術(shù)研究和學(xué)術(shù)批評(píng)所利用。這就造成了專業(yè)評(píng)價(jià)機(jī)構(gòu)依憑其對(duì)數(shù)據(jù)庫的壟斷來爭奪評(píng)價(jià)主體的地位、卻遮蔽了數(shù)據(jù)庫的真正價(jià)值這樣的買櫝還珠的結(jié)果。因此,正確的選擇應(yīng)該是專業(yè)評(píng)價(jià)機(jī)構(gòu)從評(píng)價(jià)主體回歸其數(shù)據(jù)生產(chǎn)者的定位。在大數(shù)據(jù)時(shí)代,專業(yè)評(píng)價(jià)機(jī)構(gòu)在數(shù)據(jù)的提供、算法的設(shè)計(jì)等方面都是大有可為的,但其作用也僅限于此,真理多行一步就會(huì)變成謬誤,所有的數(shù)據(jù)及算法都只是為學(xué)術(shù)研究和學(xué)術(shù)評(píng)價(jià)提供工具,而不是評(píng)價(jià)本身。利用這些數(shù)據(jù)來進(jìn)行研究和批評(píng)或評(píng)價(jià)的應(yīng)該是各專業(yè)學(xué)者,亦即各學(xué)術(shù)共同體成員。如何認(rèn)識(shí)和利用數(shù)據(jù)這一工具,是大數(shù)據(jù)時(shí)代各專業(yè)學(xué)者面臨的新考驗(yàn),這也是他們回歸學(xué)術(shù)評(píng)價(jià)主體地位必須跨越的一道門檻。
2.定性評(píng)價(jià)與定量評(píng)價(jià)的關(guān)系
在今天的評(píng)價(jià)體制中,定性評(píng)價(jià)和定量評(píng)價(jià)已被視為兩種不同的評(píng)價(jià),由此產(chǎn)生了一系列問題,于是,從管理部門到學(xué)術(shù)界以及專業(yè)評(píng)價(jià)機(jī)構(gòu)都提出了定量評(píng)價(jià)與定性評(píng)價(jià)相結(jié)合的原則。之所以要“兩結(jié)合”,一般的解釋是讓這兩種各有所長、也各有缺陷的評(píng)價(jià)互補(bǔ),以使評(píng)價(jià)變得相對(duì)全面和公正。這種已被普遍接受的觀點(diǎn)貌似公允,其實(shí)似是而非。如前所述,其要害在于分裂了的評(píng)價(jià)縱然能夠“兩結(jié)合”,也只能貌合神離。比如,在一些所謂的“兩結(jié)合”評(píng)價(jià)中,專家實(shí)際只是根據(jù)量化指標(biāo)進(jìn)行打分的機(jī)器,其學(xué)術(shù)專長無法發(fā)揮,徒有其名。在我們明確了學(xué)術(shù)評(píng)價(jià)的主體只能是學(xué)術(shù)共同體后,就不難發(fā)現(xiàn)科學(xué)的評(píng)價(jià)并不在于定性評(píng)價(jià)與定量評(píng)價(jià)這兩種評(píng)價(jià)相結(jié)合,而在于讓定性評(píng)價(jià)和定量評(píng)價(jià)都回歸到一般的評(píng)價(jià)方法,由評(píng)價(jià)主體根據(jù)不同的評(píng)價(jià)目的來選擇和確定最合適的方法。這個(gè)方法,可以是定性的,也可以是定量的,更多的時(shí)候則可能既有定性的又有定量的。如同學(xué)術(shù)研究一樣,研究者可以根據(jù)不同的研究目的和所掌握的不同資料,采用不同的方法。方法可以多種多樣,但不同的方法只能由同一個(gè)主體來統(tǒng)攝,而不應(yīng)分別成為不同主體的專利。由此觀之,大數(shù)據(jù)時(shí)代意味著用于評(píng)價(jià)的資料更為豐富,相應(yīng)地,評(píng)價(jià)方法也會(huì)更趨多元,定性評(píng)價(jià)與定量評(píng)價(jià)都只是方法之一種,而且,隨著數(shù)據(jù)的精細(xì)化、多元化,定性與定量之間的分野也會(huì)日漸模糊,而不會(huì)如現(xiàn)在這般涇渭分明。能夠靈活而準(zhǔn)確地選用和統(tǒng)攝評(píng)價(jià)方法的主體顯然只能是學(xué)術(shù)共同體。
3.評(píng)價(jià)目的與指標(biāo)體系的關(guān)系
學(xué)術(shù)評(píng)價(jià)的目的是多種多樣的。無論何種評(píng)價(jià),其能否成功進(jìn)行,評(píng)價(jià)目的的清晰明確都是具有決定意義的。“不同的評(píng)價(jià)目的決定著不同的評(píng)價(jià)標(biāo)準(zhǔn)和指標(biāo)、不同的評(píng)價(jià)方法和評(píng)價(jià)專家的選擇以及評(píng)價(jià)程序的確定,它是評(píng)價(jià)的龍頭,分類評(píng)價(jià)的動(dòng)因,規(guī)定、制約和導(dǎo)引著整個(gè)評(píng)價(jià)的方向和具體做法?!盵8]但自從蛻變?yōu)閷J聻樾姓?quán)力部門分配學(xué)術(shù)資源和進(jìn)行科研管理的工具之后,學(xué)術(shù)評(píng)價(jià)的發(fā)展一直有一種追求或趨向,即忽略評(píng)價(jià)目的的不同,而刻意尋求通適性的評(píng)價(jià)指標(biāo)體系,讓一個(gè)評(píng)價(jià)指標(biāo)體系能夠適應(yīng)所有目的的評(píng)價(jià),以使資源分配和科研管理更為直觀和簡單。制定“科學(xué)合理的評(píng)價(jià)指標(biāo)體系”成為行政權(quán)力部門的明確要求,并寫入了一些行業(yè)指導(dǎo)類的文件,比如原新聞出版總署制定的《全國報(bào)紙期刊出版質(zhì)量綜合評(píng)估指標(biāo)體系(試行)》就是這類文件的典型,“總署賦予了這個(gè)指標(biāo)體系兩個(gè)鮮明的特征:其一,純量化;其二,通適性”[9]。這個(gè)指標(biāo)體系,應(yīng)對(duì)的是包括學(xué)術(shù)期刊在內(nèi)的全國各種各樣的報(bào)紙期刊,其評(píng)價(jià)結(jié)果如何,也就可想而知了。這樣的指標(biāo)體系,通適性與純量化實(shí)乃互為表里:因其通適,必然要求純量化;因其純量化,故而能夠通適。指標(biāo)體系本質(zhì)上只是一種評(píng)價(jià)標(biāo)準(zhǔn),指望一個(gè)標(biāo)準(zhǔn)普適于不同目的、不同對(duì)象、不同內(nèi)容的一切評(píng)價(jià),是不切實(shí)際的。這樣的指標(biāo)體系完全抹殺了不同的評(píng)價(jià)目的對(duì)評(píng)價(jià)方法和標(biāo)準(zhǔn)的選擇性差異。在這樣“萬能”的指標(biāo)體系約束下,不管評(píng)價(jià)目的如何不同,定性評(píng)價(jià)實(shí)際已被排除在評(píng)價(jià)方法之外,定量評(píng)價(jià)已成為唯一的方法。這已成為當(dāng)今行政權(quán)力部門主導(dǎo)的學(xué)術(shù)評(píng)價(jià)中最常見的現(xiàn)象,也已成為前大數(shù)據(jù)時(shí)代評(píng)價(jià)的一個(gè)特征。如果這樣的趨勢不予改變,隨著大數(shù)據(jù)時(shí)代的到來,在通適性的量化評(píng)價(jià)面前,再豐富的數(shù)據(jù)特別是所有個(gè)性化的數(shù)據(jù)都將失去意義,評(píng)價(jià)必定走入死胡同。因此,在大數(shù)據(jù)時(shí)代,必須破除通適性、純量化評(píng)價(jià)的神話,根據(jù)不同的評(píng)價(jià)目的,選擇不同的評(píng)價(jià)方法,唯此,大數(shù)據(jù)才可真正有用武之地。
4.評(píng)價(jià)信息與評(píng)價(jià)數(shù)據(jù)的關(guān)系
大數(shù)據(jù)作為一種技術(shù),在各種可資評(píng)價(jià)的信息獲取以及信息到數(shù)據(jù)的轉(zhuǎn)換方面,其作用是前大數(shù)據(jù)時(shí)代無法比擬的。但大數(shù)據(jù)要在評(píng)價(jià)中發(fā)揮作用,還有以下五大瓶頸需要突破:一是對(duì)信息的挖掘,可資評(píng)價(jià)的信息散布于方方面面,如何將其挖掘出來?二是從信息到數(shù)據(jù)的轉(zhuǎn)換,如何將具有豐富內(nèi)涵的信息在盡可能不丟失其意義的前提下轉(zhuǎn)變?yōu)閿?shù)據(jù),對(duì)丟失的信息如何彌補(bǔ)?三是對(duì)數(shù)據(jù)意義的界定,每項(xiàng)數(shù)據(jù)都有其特定的含義,縮小和夸大其意義都會(huì)導(dǎo)致評(píng)價(jià)結(jié)果的偏頗,如何作出準(zhǔn)確的界定?四是對(duì)數(shù)據(jù)的處理和運(yùn)算,不同的處理方法和運(yùn)算公式會(huì)得出不同的處理和運(yùn)算結(jié)果,什么樣的數(shù)據(jù)用什么樣的處理方法和運(yùn)算公式最合理?五是對(duì)運(yùn)算結(jié)果的解讀,對(duì)數(shù)據(jù)的處理和運(yùn)算都是脫離了原始信息的處理手段,對(duì)數(shù)據(jù)處理和運(yùn)算結(jié)果的解讀實(shí)際就是讓數(shù)據(jù)還原為帶有價(jià)值判斷意義的信息的過程,如何保證這樣的還原不會(huì)走樣?以上五大瓶頸在前大數(shù)據(jù)時(shí)代即已存在,隨著大數(shù)據(jù)技術(shù)的運(yùn)用,被挖掘數(shù)據(jù)量必然出現(xiàn)井噴式的激增,突破瓶頸的難度將更大。所有這些,都不僅僅是單純的技術(shù)問題,更是各學(xué)科的專業(yè)問題。
5.評(píng)價(jià)結(jié)論與評(píng)價(jià)效果的關(guān)系
不管出于何種目的、采取何種方法的評(píng)價(jià),都是要讓被評(píng)價(jià)者從評(píng)價(jià)中獲得教益,否則,評(píng)價(jià)就失去意義。因此,評(píng)價(jià)效果的好壞往往通過評(píng)價(jià)結(jié)論對(duì)被評(píng)價(jià)者有無助益及助益多少來體現(xiàn)。即使為行政權(quán)力部門服務(wù)的評(píng)價(jià),也理應(yīng)如此。今天的學(xué)術(shù)評(píng)價(jià)之所以被詬病連連,一個(gè)重要的原因就是評(píng)價(jià)結(jié)論過于簡單,簡單到就剩下一張排行榜或排名表,被評(píng)價(jià)者幾無學(xué)術(shù)或質(zhì)量進(jìn)益方面的收獲。但這樣的評(píng)價(jià)在現(xiàn)行的科研體制中卻與學(xué)術(shù)利益甚至學(xué)術(shù)研究和發(fā)表的資格緊緊地綁在一起而變得如此重要,迫使被評(píng)價(jià)者——如學(xué)者、期刊主編等,不得不將評(píng)價(jià)機(jī)構(gòu)作為研究的對(duì)象,以從事各專業(yè)學(xué)術(shù)研究者的智商,“破譯”如此簡單的榜(表)的奧秘當(dāng)然不在話下,于是,或者選擇激烈的批評(píng),或者選擇無奈的迎合,或者兩者兼而有之,從而造成了學(xué)術(shù)界圍繞評(píng)價(jià)而出現(xiàn)的一些怪象,“某些機(jī)構(gòu)……競相公開打出了期刊評(píng)價(jià)甚至學(xué)術(shù)評(píng)價(jià)的旗號(hào)……迫不及待地要充當(dāng)評(píng)價(jià)主體”;“學(xué)術(shù)期刊不再關(guān)心學(xué)者的需求,而一味迎合評(píng)價(jià)機(jī)構(gòu)的偏好,甚至不惜造假”[10]。評(píng)價(jià)結(jié)論的極簡化與行政權(quán)力部門簡單化管理需求以及由此造成的對(duì)評(píng)價(jià)目的差異性的忽視、對(duì)定性評(píng)價(jià)的排斥和對(duì)定量評(píng)價(jià)的偏好以及由此造成的評(píng)價(jià)方法的單一、對(duì)評(píng)價(jià)指標(biāo)通適性和純量化的追求以及由此造成的評(píng)價(jià)信息和數(shù)據(jù)的片面性之間,有著明確的因果關(guān)系。換言之,學(xué)術(shù)體制不改,大數(shù)據(jù)也難以改變評(píng)價(jià)結(jié)果仍然簡單的現(xiàn)狀;而簡單的結(jié)果不僅對(duì)評(píng)價(jià)對(duì)象的作用有限,而且難免偏頗,甚至背離真實(shí),評(píng)價(jià)仍然難逃尖銳的批評(píng)乃至猛烈的抨擊。
現(xiàn)在讓我們回到本文開頭提出的問題:大數(shù)據(jù)可能給學(xué)術(shù)評(píng)價(jià)帶來怎樣的影響?
正是在評(píng)價(jià)分裂的情境下,學(xué)術(shù)評(píng)價(jià)迎來了大數(shù)據(jù)時(shí)代。大數(shù)據(jù)之應(yīng)用于學(xué)術(shù)評(píng)價(jià),對(duì)數(shù)據(jù)挖掘和運(yùn)算能力、對(duì)數(shù)據(jù)和運(yùn)算結(jié)果的解析能力都提出了新的要求,而分裂的評(píng)價(jià)顯然滿足不了這樣的要求,從而為學(xué)術(shù)評(píng)價(jià)從分裂走向統(tǒng)一提供了某種契機(jī),而結(jié)束分裂狀態(tài),也是大數(shù)據(jù)成功地運(yùn)用于學(xué)術(shù)評(píng)價(jià)的前提條件。但是,被權(quán)力和利益撕裂了的學(xué)術(shù)評(píng)價(jià)要走向統(tǒng)一,并不取決于技術(shù),而是取決于造成評(píng)價(jià)分裂的科研體制是否有所改變,如果體制不變,那么,評(píng)價(jià)分裂依舊,大數(shù)據(jù)之于定性評(píng)價(jià)則幾無助益,而對(duì)定量評(píng)價(jià)的作用更不容樂觀,當(dāng)面對(duì)劇增的數(shù)據(jù)和復(fù)雜的運(yùn)算不能作出具有專業(yè)水準(zhǔn)的解析時(shí),定量評(píng)價(jià)只能與學(xué)術(shù)研究漸行漸遠(yuǎn),越來越背離評(píng)價(jià)的初衷。
因此,要讓大數(shù)據(jù)在學(xué)術(shù)評(píng)價(jià)中發(fā)揮積極作用,并借助大數(shù)據(jù)的推動(dòng),重建科學(xué)合理的學(xué)術(shù)評(píng)價(jià),前提就是:讓評(píng)價(jià)不再分裂,讓方法不再被壟斷;讓評(píng)價(jià)機(jī)構(gòu)做其力所能及的事——專心地做數(shù)據(jù),而把數(shù)據(jù)的最終解釋權(quán)交還給學(xué)術(shù)共同體;讓正常的學(xué)術(shù)批評(píng)重回學(xué)術(shù)研究之中;讓同行評(píng)議真正代表學(xué)術(shù)共同體的意志。而這一切,都有待于科研體制的改革和評(píng)價(jià)理論的重建,但愿大數(shù)據(jù)能成為促成這一改革和重建的催化劑。
[1][4]《帶您了解大數(shù)據(jù)》,http://www.thebigdata.cn/YeJieDongTai/8470.html
[2]李劍鳴:《自律的學(xué)術(shù)共同體與合理的學(xué)術(shù)評(píng)價(jià)》,載《清華大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)》,2014年第4期。
[3]朱 劍:《重建學(xué)術(shù)評(píng)價(jià)機(jī)制的邏輯起點(diǎn)——從“核心期刊”、“來源期刊”排行榜談起》,載《清華大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)》,2012年第1期。
[5]郝日虹 張清俐:《尋找大數(shù)據(jù)與學(xué)術(shù)期刊評(píng)價(jià)體系創(chuàng)新的“契合點(diǎn)”》,載《中國社會(huì)科學(xué)報(bào)》,2015年2月11日。
[6]陳 燕 崔金貴:《學(xué)術(shù)評(píng)價(jià)中工具理性與價(jià)值理性的主導(dǎo)成因及平衡機(jī)制》,載《清華大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)》,2012年第6期。
[7]劉 宇 李 武:《引文評(píng)價(jià)合法性研究——基于引文功能和引用動(dòng)機(jī)研究的綜合考察》,載《南京大學(xué)學(xué)報(bào)(哲學(xué)·人文科學(xué)·社會(huì)科學(xué))》,2013年第6期。
[8]葉繼元:《人文社會(huì)科學(xué)評(píng)價(jià)體系探討》,載《南京大學(xué)學(xué)報(bào)(哲學(xué)·人文科學(xué)·社會(huì)科學(xué))》,2010 年第1期。
[9]朱 劍:《量化指標(biāo):學(xué)術(shù)期刊不能承受之輕——評(píng)〈全國報(bào)紙期刊出版質(zhì)量綜合評(píng)估指標(biāo)體系(試行)〉》,載《清華大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)》,2013年第1期。
[10]仲偉民:《緣于體制:社科期刊十個(gè)被顛倒的關(guān)系》,載《南京大學(xué)學(xué)報(bào)(哲學(xué)·人文科學(xué)·社會(huì)科學(xué))》,2013年第2期。
(責(zé)任編輯:任天成)
2015-04-10
朱 劍,南京大學(xué)學(xué)報(bào)編輯部編審,主要研究學(xué)術(shù)期刊與學(xué)術(shù)評(píng)價(jià)。
本文系教育部人文社會(huì)科學(xué)研究規(guī)劃基金項(xiàng)目“高校學(xué)術(shù)期刊發(fā)展戰(zhàn)略研究”(課題編號(hào):14YJAZH116)的研究成果。