邱香華，韓云波

(西南大學(xué) 期刊社，重慶 400715)

一、SCI與CSSCI：數(shù)據(jù)開發(fā)還是期刊評價(jià)

改革開放以來，中國學(xué)術(shù)研究成果不斷走向世界。今天，正值國家建設(shè)“雙一流”大學(xué)號角已經(jīng)吹響之際，在學(xué)術(shù)論文數(shù)量有了極大突破的基礎(chǔ)上，如何提升學(xué)術(shù)論文質(zhì)量而不僅僅是以數(shù)量取勝，已經(jīng)成為當(dāng)下的熱點(diǎn)話題。長期以來，尤其是在高校的評價(jià)體系中，學(xué)術(shù)論文的數(shù)量和質(zhì)量一直是最重要的衡量指標(biāo)，并逐漸形成了一些共通性的評價(jià)指向。

在自然科學(xué)領(lǐng)域，1987年國家科委委托中國科技信息研究所調(diào)研中國在國際期刊上發(fā)表的科技論文，確定以SCI、EI、ISR、ISTP四大檢索系統(tǒng)為統(tǒng)計(jì)源[1]，幾年后剔除了ISR。目前，在大多數(shù)高校已經(jīng)形成以SCI為核心并根據(jù)JCR分區(qū)確定論文質(zhì)量權(quán)重的評價(jià)方式，從重視科研論文的數(shù)量逐步向重視質(zhì)量轉(zhuǎn)變。由于各高校具體情況的差異，在具體評價(jià)方式上，又出現(xiàn)了以在SCI收錄期刊的發(fā)文數(shù)、以SCI收錄期刊的影響因子、以SCI論文的被引次數(shù)、以h指數(shù)等作為評價(jià)指標(biāo)的不同方法[2]。也有學(xué)者提出，對于不同學(xué)科門類之間論文的學(xué)術(shù)影響力，應(yīng)采用多指標(biāo)進(jìn)行綜合評價(jià)，并進(jìn)而論證了其合理性[3]。針對長期以來存在的“評刊”還是“評文”的爭議，雖然各高校采用了種種辦法來使評價(jià)體系盡可能做到公平合理，但依然存在著種種不盡如人意之處。

在社會科學(xué)領(lǐng)域，與SCI相類似，國際上也有SSCI和A&HCI等檢索系統(tǒng)，但由于中西方的具體情況存在差異，社會科學(xué)論文主要發(fā)表陣地是在國內(nèi)，目前已形成北京大學(xué)圖書館開發(fā)的“中文核心期刊要目總覽”(亦稱“北大核心”或“北核”)和南京大學(xué)中國社會科學(xué)評價(jià)研究中心開發(fā)的“中文社會科學(xué)引文索引”(CSSCI)(亦稱“南大核心”或“C刊”)等檢索系統(tǒng)。對于社會科學(xué)論文的評價(jià)而言，與自然科學(xué)論文的評價(jià)相似，長期以來也主要是“以刊評文”，以是否進(jìn)入檢索系統(tǒng)收錄期刊為準(zhǔn)，尤其是目前多數(shù)高校將在CSSCI來源期刊發(fā)表的論文作為各類考核要求的標(biāo)準(zhǔn)。在一些大學(xué)排行榜中，CSSCI發(fā)文量也是社科評價(jià)的重要數(shù)量指標(biāo)。由于CSSCI來源期刊學(xué)術(shù)影響力差異較大，一些學(xué)校也對CSSCI來源期刊進(jìn)行了類似分區(qū)的權(quán)重劃分。盡管有各種努力，但出于“以文評刊”初衷的來源期刊遴選，依然囿于“以刊評文”而廣受“學(xué)術(shù)共同體”的詬病。盡管CSSCI自身也在不斷做出改進(jìn)，“努力探索數(shù)據(jù)及其發(fā)布方式的多元化”[4]，但依然如朱劍所指出的，“CSSCI雖然比較忠實(shí)地遵循了‘加氏定律’，但在其起步階段表現(xiàn)出了對核心期刊明顯的路徑依賴，對評價(jià)功能的過度宣傳，使其在影響迅速擴(kuò)大的同時(shí)背離了初衷，檢索工具變成了評價(jià)產(chǎn)品”，因而極力呼吁“對于‘三大核心’及所有的評價(jià)機(jī)構(gòu)來說，明智的進(jìn)路選擇在于，退出學(xué)術(shù)評價(jià)，回歸評價(jià)數(shù)據(jù)開發(fā)者的定位”[5]。但顯然，“三大核心”的用戶即高校和科研機(jī)構(gòu)對這樣的呼吁并不買賬，量化評價(jià)的客觀性成了跨越學(xué)科門類多樣性與研究領(lǐng)域復(fù)雜性而保持相對公平的法寶，因而，CSSCI等的數(shù)據(jù)開發(fā)反而進(jìn)一步強(qiáng)化了其評價(jià)性定位。

無論是SCI還是CSSCI，目前都存在著量化統(tǒng)計(jì)在標(biāo)準(zhǔn)一致的客觀性背景下勢必犧牲科學(xué)研究個(gè)體性特征的問題，這對于原創(chuàng)性的科學(xué)研究尤其不利，反而是給那些貌似遵循學(xué)術(shù)規(guī)范而實(shí)際上內(nèi)容平庸的“中流”水平的科研成果大開了方便之門。由此衍生出了三個(gè)方面差異極大的聲音：(1)數(shù)據(jù)開發(fā)者試圖極力撇清其“評價(jià)”的功能，但是，評價(jià)功能就明明白白地?cái)[在那里，如果僅僅是單純的數(shù)據(jù)開發(fā)而不講究將“優(yōu)質(zhì)”數(shù)據(jù)遴選出來提供給用戶，那么，數(shù)據(jù)開發(fā)也就失去了意義。(2)科研管理者面對眾多的學(xué)科門類和復(fù)雜的研究領(lǐng)域，如何能夠找到一個(gè)能夠進(jìn)行橫向比較的相對公平或熵值最小的評價(jià)標(biāo)準(zhǔn)，否則，管理者如何制定傾斜政策和確定發(fā)展規(guī)劃？(3)科研工作者希望自己的論文獲得更大的學(xué)術(shù)影響力，而傳播市場的不同平臺提供給論文的傳播效果顯然是不一樣的，不同期刊的傳播能力的差異所在，不僅僅是市場渠道，也有平臺美譽(yù)度，而數(shù)據(jù)在傳播能力形成及提升的過程中，毋庸置疑地充當(dāng)了十分重要的角色。

本文要思考的問題是，能不能找到一種方法，在運(yùn)用SCI和CSSCI的評價(jià)功能時(shí)，對基于大數(shù)據(jù)的客觀描述進(jìn)行補(bǔ)充，引入模糊方法或質(zhì)性評價(jià)作為適當(dāng)補(bǔ)充，以此對基于數(shù)據(jù)的純客觀評價(jià)可能帶來的指標(biāo)體系一律化而導(dǎo)致的僵化刻板進(jìn)行補(bǔ)弊糾偏。本文擬分別就SCI和CSSCI的情況進(jìn)行說明，提出相應(yīng)的思考和建議。

二、模糊綜合評判法與SCI期刊論文質(zhì)量評價(jià)

SCI作為國際上一種優(yōu)秀的科學(xué)論文檢索系統(tǒng)，幾十年來在科學(xué)界產(chǎn)生了極其重要的影響。改革開放以來，SCI被引入到中國科研評價(jià)體系之中，目前SCI期刊論文發(fā)表的數(shù)量和質(zhì)量早已成為各大高校和科研院所職稱評審、申報(bào)項(xiàng)目、課題驗(yàn)收、選拔各類人才的重要標(biāo)準(zhǔn)。SCI進(jìn)入中國科研評價(jià)30余年來，初步擺脫了早期對SCI的盲目迷信，開始對SCI評價(jià)機(jī)制與體系進(jìn)行反思與重構(gòu)。

(一)SCI運(yùn)用于期刊論文評價(jià)的現(xiàn)實(shí)困境

對于SCI期刊論文質(zhì)量的評價(jià)，各大高校也各有一套具體的評判標(biāo)準(zhǔn)，有的依據(jù)中科院JCR分區(qū)進(jìn)行評價(jià)，有的依據(jù)SCI的影響因子進(jìn)行區(qū)分，有的依據(jù)SCI期刊論文的引用頻次進(jìn)行評價(jià)，還有高校根據(jù)綜合分區(qū)和影響因子等制定了一套評價(jià)辦法。值得注意的是，這些評價(jià)標(biāo)準(zhǔn)的制定，大多是人為依據(jù)某些較單一的指標(biāo)進(jìn)而由科研管理部門或少數(shù)專家人為進(jìn)行的定性分析，由此劃定評價(jià)標(biāo)準(zhǔn)，在一定程度上缺乏經(jīng)過反復(fù)檢測的模型驗(yàn)證，因而具有一定的盲目性和主觀性。需要探索的是，如何利用SCI期刊的各種指標(biāo)對SCI期刊論文質(zhì)量進(jìn)行評價(jià)，從而更加合理地評價(jià)和選擇相應(yīng)的學(xué)術(shù)期刊，進(jìn)而實(shí)施科研人員的績效獎(jiǎng)勵(lì)，不僅有利于調(diào)動(dòng)科研人員的積極性，而且有助于建立更加和諧的科研環(huán)境和秩序。但由于SCI在各學(xué)科之間收錄的期刊不平衡，學(xué)科分布不協(xié)調(diào)，各個(gè)學(xué)科之間具有差異性，給獎(jiǎng)勵(lì)政策的制定帶來了困難和挑戰(zhàn)。各高校獎(jiǎng)勵(lì)政策的制定應(yīng)注重減少學(xué)科影響帶來的差別性待遇，進(jìn)而提高科研人員整體的積極性。為此，可考慮將SCI期刊論文質(zhì)量的評價(jià)進(jìn)行歸一化處理，結(jié)合“刊”和“文”的雙重因素，進(jìn)而制定相應(yīng)論文獎(jiǎng)勵(lì)政策。

反映SCI期刊論文質(zhì)量的因素有很多，常見的有論文下載量、SCI分區(qū)、影響因子和學(xué)術(shù)影響力等，其中論文下載量和影響因子顯然是量化的指標(biāo)。然而，簡單地從數(shù)據(jù)來評判某篇論文的好壞并不具有很強(qiáng)的說服力，還要結(jié)合學(xué)科結(jié)構(gòu)和期刊本身的特點(diǎn)來評判。論文下載量在一定程度上反映了文章質(zhì)量的好壞，研究內(nèi)容前沿、研究方法新穎的文章一般會引起廣泛的關(guān)注，下載量會相對增加。SCI分區(qū)是廣泛參照的評價(jià)標(biāo)準(zhǔn)，被各大高校普遍采用。然而，單純以SCI分區(qū)來評判論文水平的體系存在的問題正逐漸凸顯。SCI 期刊中的影響因子千差萬別，從衡量期刊質(zhì)量的影響因子來看，不僅期刊與期刊之間存在著非常大的差別，而且學(xué)科與學(xué)科之間也有很大差異。學(xué)科間期刊影響因子的差異，使論文與影響因子直接掛鉤則會產(chǎn)生學(xué)科間不可比較的困難。此外，業(yè)內(nèi)人士也會關(guān)注論文的被引頻次，被引頻次的高低除了取決于期刊的論文質(zhì)量以外，與其所屬學(xué)科領(lǐng)域、研究群體的大小等也有直接關(guān)系。而且，同樣一篇論文發(fā)表在影響較大的期刊上和發(fā)表在一般期刊上，其引用情況可能會有很大的差異，這就不能單純從引用頻次來判斷論文質(zhì)量高低。綜合以上分析，SCI期刊論文的質(zhì)量評價(jià)是一項(xiàng)復(fù)雜的系統(tǒng)工程，無論是以上指標(biāo)中的任何一項(xiàng)，都不可避免地存在種種偏頗，甚至?xí)M(jìn)種種偶然性因素。本文旨在將影響SCI期刊論文的四個(gè)主要指標(biāo)作相應(yīng)處理，建立評判SCI期刊論文質(zhì)量的指標(biāo)體系，進(jìn)而實(shí)現(xiàn)高校SCI期刊論文評價(jià)的量化。

對于評價(jià)SCI期刊論文質(zhì)量的指標(biāo)體系研究已有大量的成果，有諸多文獻(xiàn)基于建立的指標(biāo)體系再進(jìn)一步利用模糊方法進(jìn)行研究。本文從SCI期刊論文下載量、分區(qū)、影響因子和學(xué)術(shù)影響力等四個(gè)方面建立SCI期刊論文質(zhì)量的評價(jià)指標(biāo)體系，利用模糊綜合評判法將SCI期刊論文質(zhì)量的定性分析轉(zhuǎn)換為定量評價(jià)分析。對影響SCI期刊論文的因素進(jìn)行量化處理，可以消除因?qū)W科間評價(jià)因素不均衡而給論文質(zhì)量評估帶來的不可比問題，建立有效的學(xué)術(shù)評價(jià)標(biāo)準(zhǔn)，避免簡單依據(jù)某種因素評判帶來的盲目性和主觀性，使得高校SCI期刊質(zhì)量論文評判更加科學(xué)合理。

(二)模糊綜合評判法的基本流程與指標(biāo)體系

模糊綜合評判法是一種基于模糊數(shù)學(xué)的評價(jià)方法，適合解決各種非確定性問題，能有效克服傳統(tǒng)評價(jià)方法中可能出現(xiàn)的不同程度的人為因素和主觀因素的影響，比傳統(tǒng)的定性描述更加科學(xué)和準(zhǔn)確。其評價(jià)流程如圖1。

圖1 模糊綜合評判法評價(jià)流程

確定評價(jià)指標(biāo)體系是對SCI期刊論文質(zhì)量評價(jià)的基礎(chǔ)性工作，是評價(jià)的主要依據(jù)。為獲得有價(jià)值的評價(jià)效果，力求全面客觀地反映SCI期刊論文質(zhì)量，其具體要求有四：第一，確定評價(jià)因素集要與SCI期刊論文質(zhì)量評價(jià)的目標(biāo)一致。第二，要具有可測性，評價(jià)體系中SCI期刊論文質(zhì)量評價(jià)內(nèi)容可通過實(shí)際觀察加以直接測量來獲得明確結(jié)論。第三，評價(jià)SCI期刊論文質(zhì)量的各因素之間相互獨(dú)立，不存在因果關(guān)系，因素集的構(gòu)建具有層次性。第四，指標(biāo)要有可比性，指標(biāo)要反映SCI期刊論文質(zhì)量中共同的屬性。

科學(xué)、規(guī)范的評價(jià)指標(biāo)可以減少評價(jià)誤差，更精確地反映客觀事實(shí)，提高評價(jià)質(zhì)量。針對本文的研究內(nèi)容，需要搜集的資料包括論文發(fā)表3個(gè)月、6個(gè)月和1年的下載量，論文發(fā)表當(dāng)年中科院分區(qū)和JCR國際分區(qū)，論文發(fā)表當(dāng)年發(fā)表期刊的影響因子以及該期刊前兩年的影響因子，論文所屬研究領(lǐng)域的權(quán)威人士對論文發(fā)表期刊的認(rèn)可度，論文發(fā)表1年內(nèi)的他引率等一些材料。本文建立的SCI期刊論文質(zhì)量評價(jià)指標(biāo)體系如表1。

表1 SCI期刊論文質(zhì)量評價(jià)指標(biāo)體系

(三)運(yùn)用模糊綜合評判模型進(jìn)行綜合評價(jià)

1．確定評價(jià)因素集和評價(jià)等級集

U={論文下載量(U1)，SCI分區(qū)(U2)，影響因子(U3)，學(xué)術(shù)影響力(U4)}；

U1={三個(gè)月內(nèi)的下載量(u11)，六個(gè)月內(nèi)的下載量(u12)，一年內(nèi)的下載量(u13)}；

U2={中科院分區(qū)(u21)，JCR國際分區(qū)(u22)}；

U3={當(dāng)期影響因子(u31)，前一年影響因子(u32)，前兩年影響因子(u33)}；

U4={業(yè)內(nèi)認(rèn)可度(u41)，期刊論文數(shù)量(u42)，引用率(u43)}。

本文確定的評語集為V={一類(v1)，二類(v2)，三類(v3)，四類(v4) }。

2．確定指標(biāo)權(quán)重

指標(biāo)體系中各層次指標(biāo)的權(quán)重通過熟悉論文評價(jià)的專家討論確定，其權(quán)重分配如表2。

表2 SCI期刊論文質(zhì)量評價(jià)體系中各級指標(biāo)權(quán)重

3．進(jìn)行一級綜合評判

假設(shè)評價(jià)小組成員由100人組成，為了克服專家主觀打分對分析結(jié)果的影響，采用數(shù)據(jù)調(diào)查法與專家打分法相結(jié)合。評價(jià)組人員對SCI期刊論文A的質(zhì)量情況進(jìn)行投票，其統(tǒng)計(jì)結(jié)果如表3。

表3 評價(jià)組成員對論文A的評價(jià)情況

由表3可得U1—U4的單因素評價(jià)矩陣Z1—Z4為：

由Z1—Z4和表2中的D1—D4可得U1—U4的綜合評價(jià)矩陣H1—H4，其中Hi=DiZi(i=1,2,3,4)。這里實(shí)施的主要是模糊矩陣的合成運(yùn)算。

H1=(0.4，0.3，0.2，0.02);H2= (0.5，0.32，0.16，0.04);

H3= (0.4，0.4，0.12，0.02);H4=(0.35，0.35，0.24，0)。

4．H1—H4組成單因素評價(jià)矩陣

求綜合評價(jià)矩陣R=BH=(0.3，0.3，0.24，0.04)。為方便處理,將R歸一化得:

R1=(0.3/0.88，0.3/0.88， 0.24/0.88， 0.04/0.88)=(0.34， 0.34， 0.27， 0.05 )。

5．對劃分的四類論文進(jìn)行賦值并計(jì)算分值

表4 論文評價(jià)賦值及分類指標(biāo)

取評分矩陣G= (95， 85， 75， 65)，則分值F=R1GT=84.77。

由此可得SCI期刊論文A的質(zhì)量屬于“二類”，距離“一類”還有一定的差距。事實(shí)上在實(shí)際操作中既可以對論文進(jìn)行“一類、二類、三類、四類”的評定，也可以從SCI期刊論文質(zhì)量的最終得分來判定論文質(zhì)量。

三、CSSCI/核心期刊論文質(zhì)量評價(jià)的模糊綜合化改進(jìn)

由于單純“以刊評文”很難對科研成果進(jìn)行準(zhǔn)確的評價(jià)，在社會科學(xué)領(lǐng)域，近年來從各大型數(shù)據(jù)庫及評價(jià)系統(tǒng)開始，作出了各種改善評價(jià)的努力，在影響因子及被引頻次的基礎(chǔ)上，引入一些具有定性意義但又可以用定量方式表現(xiàn)出來的指標(biāo)，對單純的定量指標(biāo)進(jìn)行評價(jià)，并且落實(shí)到具體的單篇論文評價(jià)上，在大數(shù)據(jù)運(yùn)用中以模糊綜合化方式進(jìn)行改進(jìn)。基于對“以刊評文”現(xiàn)象的糾偏，本文列舉“以文評人”和“以文評文”兩類嘗試，提出討論與建議。

(一)以文評人：《中國哲學(xué)社會科學(xué)最有影響力學(xué)者排行榜研究報(bào)告：基于中文論文的研究(2017版)》的指標(biāo)體系及運(yùn)用

《中國哲學(xué)社會科學(xué)最有影響力學(xué)者排行榜研究報(bào)告：基于中文論文的研究(2017版)》于2017年9月25日由長安大學(xué)中國人文社會科學(xué)評價(jià)研究中心發(fā)布。該報(bào)告采集了8 100位學(xué)者的中文論文數(shù)據(jù)，發(fā)布三類排行榜，其中一級學(xué)科排行榜3 150人、二級學(xué)科排行榜7 978人、交叉學(xué)科排行榜4 579人。該排行榜摒棄了以往單純依據(jù)CSSCI或核心期刊論文發(fā)表數(shù)量進(jìn)行排行的傳統(tǒng)做法，引入了更多具有質(zhì)性評價(jià)性質(zhì)的指標(biāo)。正如該指標(biāo)體系簡介所稱：“學(xué)術(shù)影響力是評價(jià)科研人員實(shí)力的重要內(nèi)容之一。但是，如何評價(jià)學(xué)者的學(xué)術(shù)影響力一直是學(xué)界的難題。本排行榜力圖構(gòu)建一套客觀、可重復(fù)、操作性強(qiáng)、多維的評價(jià)指標(biāo)體系?！盵6]具體指標(biāo)如表5所示。

表5 學(xué)者排行榜指標(biāo)體系與權(quán)重分配

資料來源：《中國哲學(xué)社會科學(xué)最有影響力學(xué)者排行榜:基于中文論文的研究(2017版)指標(biāo)體系簡介》，http://evaluation.chd.edu.cn/info/1003/1271.htm

在上述6個(gè)指標(biāo)中，近五年核心期刊發(fā)文量、他引總量、論文下載量3個(gè)指標(biāo)是傳統(tǒng)型指標(biāo)，具有明顯的量性特征；H指數(shù)、AR指數(shù)、高被引論文篇數(shù)3個(gè)指標(biāo)是特征型指標(biāo)，具有明顯的質(zhì)性特征。在3個(gè)特征型指標(biāo)中，H指數(shù)2005年由美國加利福尼亞大學(xué)圣地亞哥分校的喬治·希爾施提出，指作者發(fā)表的Np篇論文中有h篇每篇至少被引用了h次，而Np-h篇論文每篇被引次數(shù)均等于或小于h次，H指數(shù)用于綜合評判學(xué)者的產(chǎn)出數(shù)量與產(chǎn)出水平，將二者結(jié)合起來可以評定學(xué)者產(chǎn)出論文的平均被引水平。H指數(shù)自2005年以來得到廣泛運(yùn)用，但H指數(shù)的靜態(tài)指標(biāo)性質(zhì)，其弊端亦很快顯現(xiàn)出來，有學(xué)者指出其“缺乏靈敏度，缺乏區(qū)分度，缺乏波動(dòng)性”三個(gè)缺陷，因而提出了用于解決“h指數(shù)只升不降的問題”的AR指數(shù)，“AR指數(shù)是在R指數(shù)解決了h指數(shù)的敏感度和區(qū)分度問題的基礎(chǔ)上，試圖采用論文發(fā)表年齡這一因變量來解決h指數(shù)只升不降的問題”[7]。在長安大學(xué)的評價(jià)體系中，AR指數(shù)的意義在于“借鑒Page Rank算法的思路，將進(jìn)入重要作者的引用認(rèn)同視為同行評議的肯定性結(jié)果，對個(gè)體研究人員的學(xué)術(shù)影響力進(jìn)行評價(jià)”。在數(shù)據(jù)計(jì)算方面，該指標(biāo)體系指出：“由于各指標(biāo)的計(jì)量單位不同，在綜合結(jié)果中產(chǎn)生的影響不同，因此我們對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，以消除計(jì)量單位帶來的影響。所有指標(biāo)數(shù)據(jù)的綜合處理步驟如下：(1)統(tǒng)計(jì)TN、CN、DN、H指數(shù)和高被引論文篇數(shù)等指標(biāo)值；(2)建立AR矩陣，計(jì)算AR值；(3)對各指標(biāo)的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；(4)運(yùn)用指標(biāo)體系計(jì)算學(xué)者的總體得分；(5)依據(jù)計(jì)算結(jié)果對各學(xué)科學(xué)者進(jìn)行排名?！?/p>

經(jīng)過我們對排行榜中部分學(xué)校和學(xué)科入選學(xué)者進(jìn)行同行評議的抽樣測評，由傳統(tǒng)指標(biāo)進(jìn)行量性評價(jià)再建立AR矩陣的方法，可以避免數(shù)量與質(zhì)量的較大誤差，其評價(jià)結(jié)果基本上符合同行評議結(jié)果。

(二)以文評刊：“中文學(xué)術(shù)出版物評測發(fā)布系統(tǒng)”的指標(biāo)體系及運(yùn)用

上文所述“以文評人”的做法，在傳統(tǒng)量化評價(jià)基礎(chǔ)上采用AR指數(shù)等進(jìn)行數(shù)據(jù)修正的做法，主要用于評價(jià)學(xué)者，并避免了產(chǎn)出水平不高和動(dòng)態(tài)分布不均勻等誤差。而南京大學(xué)中國社會科學(xué)評價(jià)研究中心開發(fā)的“中文學(xué)術(shù)出版物評測發(fā)布系統(tǒng)”，則以論文成果為中心，預(yù)期可以實(shí)現(xiàn)“以文評刊”，進(jìn)而對量化評價(jià)中可能出現(xiàn)的偏頗實(shí)現(xiàn)有力的補(bǔ)救。

南京大學(xué)中國社會科學(xué)評價(jià)研究中心于2018年5月30日向各期刊社發(fā)出“評審專家邀請函”，邀請相關(guān)專家參與“CSSCI期刊論文測評”工作。邀請函中約定的評審專家入選條件如下：(1)熱愛社會主義祖國，擁護(hù)中國共產(chǎn)黨的領(lǐng)導(dǎo)；(2)具有上述專業(yè)學(xué)科領(lǐng)域博士學(xué)位或高級專業(yè)技術(shù)職稱；(3)在學(xué)術(shù)出版機(jī)構(gòu)實(shí)際承擔(dān)責(zé)任編輯工作；(4)熱心公益，愿意積極參與CSSCI期刊論文質(zhì)量測評工作；(5)每位評審專家原則上每月應(yīng)完成不低于10篇的論文測評；(6)評審專家年齡一般在55周歲以下。中心隨后組建了兩個(gè)“CSSCI期刊論文評測項(xiàng)目”微信群。2018年7月1日，該評測項(xiàng)目先期為1 000位專家配置了賬號，以“中文學(xué)術(shù)出版物評測發(fā)布系統(tǒng)”的方式上線進(jìn)行試評。

和其他期刊評價(jià)系統(tǒng)公開發(fā)布詳細(xì)的評價(jià)指標(biāo)體系及其權(quán)重、計(jì)算方法等不同，南京大學(xué)中國社會科學(xué)評價(jià)研究中心網(wǎng)站上雖然有“遴選標(biāo)準(zhǔn)”和“遴選程序”兩個(gè)欄目，但均為空白，因而無法獲得其正式的官方評價(jià)方法及程序的數(shù)據(jù)。但據(jù)相關(guān)信息透露，CSSCI的指標(biāo)主要是被引頻次和影響因子兩項(xiàng)，分別占不同權(quán)重。換言之，CSSCI的評價(jià)就是純量化評價(jià)，這一評價(jià)長期以來受到主張應(yīng)由“學(xué)術(shù)共同體”進(jìn)行評價(jià)的學(xué)者們的強(qiáng)烈詬病。因而，“CSSCI期刊論文測評”項(xiàng)目的出臺，就是試圖以學(xué)術(shù)共同體同行評議的方式，對純量化評價(jià)進(jìn)行具有質(zhì)性評價(jià)意義的有力補(bǔ)充。

“中文學(xué)術(shù)出版物評測發(fā)布系統(tǒng)”公布的“十分制評分標(biāo)準(zhǔn)說明”[8]，包含權(quán)重相等的4項(xiàng)指標(biāo)，每項(xiàng)評分均取1至10的整數(shù)值，最后得分為各項(xiàng)平均分，保留到小數(shù)點(diǎn)后兩位。每項(xiàng)指標(biāo)在說明中均列出了優(yōu)質(zhì)論文和劣質(zhì)論文的評分說明，而對中等質(zhì)量的論文未作說明。本文根據(jù)其具體評分說明，整理為表6。

上述4項(xiàng)指標(biāo)較好地反映了一篇優(yōu)質(zhì)論文應(yīng)當(dāng)具備的主要元素：創(chuàng)新程度、完備程度、難易程度分別反映了作者在論文構(gòu)思和寫作過程中的主觀因素，成果價(jià)值則是論文完成之后的客觀效果。上述兩個(gè)方面，將論文的主客觀方面良好地結(jié)合起來，主觀方面通過論文反映作者的學(xué)術(shù)水平，客觀方面通過論文反映傳播的社會效益。

“中文學(xué)術(shù)出版物評測發(fā)布系統(tǒng)”首期提供了CSSCI來源期刊(高校學(xué)報(bào)類)2018年上半年的18個(gè)學(xué)科的概率抽樣論文253篇。從目前的專家打分來看，部分論文的得分并不理想。在此舉出兩類數(shù)據(jù)(表7)。一是多學(xué)科綜合數(shù)據(jù)。據(jù)2018年7月5日微信群發(fā)布的數(shù)據(jù)，已評篇數(shù)198篇，最高分8.59分，最低分3.35分，無優(yōu)質(zhì)論文，集中于5至7分(139篇，占70%)，劣質(zhì)論文雖然僅有24篇，但其12%的比例已經(jīng)頗為驚人。二是單學(xué)科數(shù)據(jù)。以中國語言文學(xué)為例，相對于其他學(xué)科而言，中國語言文學(xué)屬于低影響因子學(xué)科。從2018年7月17日已評篇數(shù)30篇(其中已有10人評分的21篇，最少評測人數(shù)4人)的數(shù)據(jù)看，極度缺乏優(yōu)質(zhì)論文，最高分僅8分；但劣質(zhì)論文也相對較少，最低分4.30分，5分以下僅2篇，占比7%；主要為中等質(zhì)量論文，5至7分段24篇，占比高達(dá)80%。

表7 CSSCI論文評測抽樣評測得分表

從表7看，學(xué)報(bào)論文抽樣質(zhì)量并不理想，作為全國高校文科學(xué)報(bào)質(zhì)量水平體現(xiàn)的70種CSSCI來源期刊幾乎沒有優(yōu)質(zhì)論文，且7分以上的論文比例不到20%，大量論文僅為中等質(zhì)量之作，甚至有比例不低的劣質(zhì)論文充斥版面，這不得不引起人們的深思。

近年來，對于核心或C刊“以刊評文”一直存在兩個(gè)方面不同的聲音。一方面，管理部門在以C刊發(fā)表論文作為科研成果質(zhì)量認(rèn)定標(biāo)準(zhǔn)方面，出現(xiàn)了驚人的一致；由此延伸開來，在以文獻(xiàn)計(jì)量學(xué)方法總結(jié)歸納研究現(xiàn)狀時(shí)，人們也往往將CSSCI來源期刊或核心期刊作為文獻(xiàn)來源，比如一篇文章就在闡釋其“數(shù)據(jù)來源”時(shí)指出：“要探尋我國高等教育領(lǐng)域?qū)W科建設(shè)研究的演變過程，需要借助高質(zhì)量的相關(guān)文獻(xiàn)進(jìn)行分析。本研究選取了北大核心收錄的14種高等教育類期刊作為文獻(xiàn)來源，以提高研究的信效度。”[9]在這樣的“信效度”前提下，C刊或核刊的地位不言而喻，應(yīng)該說在一定程度上不僅得到了管理部門的認(rèn)可，也得到了至少是以文獻(xiàn)計(jì)量學(xué)方法觀察學(xué)術(shù)史的“學(xué)術(shù)共同體”的認(rèn)可。另一方面，部分期刊利用量化評價(jià)的系統(tǒng)漏洞，大量發(fā)表以斂財(cái)為宗旨的劣質(zhì)論文，同時(shí)又利用聚斂的錢財(cái)高價(jià)購買少量優(yōu)質(zhì)論文，并運(yùn)用不當(dāng)引用手段推高數(shù)據(jù)，導(dǎo)致在以單純的數(shù)據(jù)評價(jià)中能夠“魚目混珠”進(jìn)入C刊或核刊，這部分期刊雖然在學(xué)術(shù)界臭名遠(yuǎn)揚(yáng)，但仍然以C刊或核刊的資格而得到了多數(shù)機(jī)構(gòu)量化管理的認(rèn)可。僅有個(gè)別機(jī)構(gòu)采取了“黑名單”的方式，如中山大學(xué)在《中山大學(xué)人文社會科學(xué)重要核心期刊目錄(境內(nèi)中文)》中，就明確列出了CSSCI來源期刊的“黑名單期刊16種”及CSSCI擴(kuò)展版“黑名單期刊2種”[10]。

學(xué)術(shù)界及期刊界對“以刊評文”有著強(qiáng)烈的反彈，如劉慶昌認(rèn)為：“以刊評文更大的問題在于學(xué)術(shù)評價(jià)部門和機(jī)構(gòu)對具體成果及其研究者的相對輕視。之所以如此說，是因?yàn)橐钥u文的原理就是只問研究成果發(fā)表的刊物性質(zhì)，而不問研究者究竟做了什么。學(xué)術(shù)研究的創(chuàng)造問題、規(guī)范問題和道德問題，研究者的學(xué)養(yǎng)、理想問題，都不在學(xué)術(shù)評價(jià)部門和機(jī)構(gòu)的考慮之列。一種不見學(xué)術(shù)、不見人的學(xué)術(shù)評價(jià)方略當(dāng)然是值得商榷的?！盵11]以此來看，“評刊”的最終歸宿是“評文”，而“評文”則必將走向“評人”，學(xué)術(shù)共同體重視的是學(xué)術(shù)研究的具體內(nèi)容與觀點(diǎn)，其落腳點(diǎn)顯然更應(yīng)該是在作為學(xué)術(shù)研究主體的“人”與作為學(xué)術(shù)研究成果的“文”上面，而“刊”的作用主要是作為學(xué)術(shù)研究的載體而存在。

按照應(yīng)然性的推論，C刊發(fā)表的都應(yīng)該是有相對較高水平的學(xué)術(shù)論文，而從本文上述評測抽樣得分可見，雖然多數(shù)論文都得到了5分及以上的合格分，但抽樣中5分以下的已占到了16%，對于C刊來說，這是一個(gè)相當(dāng)高的比例。“如果高校和研究機(jī)構(gòu)的管理部門，簡單采用以刊評文的方法，那么，‘好班里的差生’因在‘好班’，也就自然成為‘好學(xué)生’；同樣的，‘差班里的好學(xué)生’也會因在‘差班’，自然成為‘差生’。雖然這種情況出現(xiàn)的概率較低，但只要有一例，就說明可能有這一類情況，那么，以刊評文的辦法就是不可取的”[11]。因而，以評刊的基本數(shù)據(jù)為基礎(chǔ)，回歸到“文”并進(jìn)而回歸到“人”的層面，才是最大限度確保學(xué)術(shù)評價(jià)公正性的必要途徑。

(三)運(yùn)用模糊綜合評判法“評刊”進(jìn)而“評文”與“評人”

在本文討論SCI期刊論文評價(jià)部分，我們提出了模糊綜合評判法的運(yùn)用，由此得出SCI期刊論文質(zhì)量的最終得分，并以此判定SCI論文質(zhì)量的好壞。在人文社會科學(xué)領(lǐng)域，也有學(xué)者提出運(yùn)用判斷矩陣方法，獲得從目標(biāo)層到準(zhǔn)則層、準(zhǔn)則層到指標(biāo)層的判斷矩陣數(shù)據(jù)，進(jìn)行歸一化處理，并進(jìn)行一致性檢驗(yàn)，最后得出“學(xué)術(shù)成果質(zhì)量相對于各個(gè)評價(jià)指標(biāo)的表達(dá)式”[12]。人文社科的評價(jià)與自然科學(xué)評價(jià)在總的原理上相似，本文已列出SCI期刊論文評價(jià)的計(jì)算方式，此處不再贅述。

需要說明的是，無論是SCI期刊還是CSSCI來源期刊，無論期刊數(shù)據(jù)庫是否認(rèn)可其自身的評價(jià)功能，都應(yīng)自覺承擔(dān)起凈化期刊學(xué)術(shù)環(huán)境的責(zé)任，在數(shù)據(jù)開發(fā)與運(yùn)用的過程中自覺承擔(dān)起反對和防范“劣幣驅(qū)逐良幣”學(xué)術(shù)失范的責(zé)任。在此，筆者針對期刊提出兩點(diǎn)思考。

第一，處理好“刊”作為屬概念與“文”作為種概念的關(guān)系?！翱笔菍伲尸F(xiàn)給人們的是整體印象；“文”是種，呈現(xiàn)給人們的是個(gè)體印象。期刊之所以能夠進(jìn)入評價(jià)體系并體現(xiàn)評價(jià)功能，在于期刊的總體質(zhì)量通過整體數(shù)據(jù)而得到認(rèn)可，進(jìn)而推論出“屬”中的“種”與“屬”有著相關(guān)性和一致性，進(jìn)而驗(yàn)證“以刊評文”的合理性。然而，個(gè)別期刊利用計(jì)量方法的漏洞，發(fā)表了一些劣質(zhì)論文，“好班”里混進(jìn)了“差生”，導(dǎo)致期刊聲譽(yù)下降，這也是“以刊評文”受到詬病的重要原因。因而，本文認(rèn)為，期刊應(yīng)有明確的學(xué)術(shù)質(zhì)量底線意識，設(shè)立最低限制，將劣質(zhì)論文擋在門外，編輯和評審專家都應(yīng)本著“把每一篇文章做成精品”的學(xué)術(shù)精品意識，讓每一篇文章都能夠經(jīng)得起評測的檢驗(yàn)。

第二，處理好“刊”作為傳播平臺與“文”作為傳播內(nèi)容的關(guān)系。在21世紀(jì)傳播方式變遷中，“‘以傳者為本位’的傳播思想真正轉(zhuǎn)變到了‘以受者為本位’上來”[13]。期刊的核心功能定位在于傳播平臺，站在期刊的立場上，重視的是“以傳者為本位”；論文的核心功能定位在于傳播內(nèi)容，站在論文的立場上，重視的是“以受者為本位”。在當(dāng)下傳播大勢下，論文即單篇的“文”理應(yīng)受到更多的重視，也就是說，不僅要重視期刊的影響因子，更要重視單篇論文的被引頻次以及被引質(zhì)量。這就要求，期刊編輯在從策劃到收稿、審稿、錄用的流程中，有必要對論文的傳播質(zhì)量進(jìn)行預(yù)評估，以此作為編輯出版工作的重要依據(jù)。同時(shí)，還要做好論文傳播質(zhì)量的精細(xì)化數(shù)據(jù)分析，以此作為編輯出版工作的相關(guān)依據(jù)。

四、結(jié)語：“以人為本”創(chuàng)新期刊論文質(zhì)量評價(jià)

在一切圍繞期刊和學(xué)術(shù)研究的工作中，都需要貫徹“以人為本”的基本原則，但也必須要有可以橫向比較的數(shù)據(jù)基礎(chǔ)，“以刊評文”就是基于數(shù)據(jù)可比較性而出現(xiàn)的，其后出現(xiàn)的種種問題，說明無論是期刊評價(jià)還是學(xué)術(shù)評價(jià)，都是一個(gè)復(fù)雜系統(tǒng)，有些可以量化分析，有些則不便運(yùn)用純量化手段，因而需要運(yùn)用模糊綜合評判法來進(jìn)行處理，在歸一化處理和一致性檢驗(yàn)的基礎(chǔ)上，充分尊重學(xué)術(shù)研究的個(gè)性化特征與創(chuàng)新性思維，做出更加科學(xué)合理且具有充分可執(zhí)行性的基于“刊”的平臺功能并以“文”和“人”為本位的評價(jià)，促進(jìn)科學(xué)研究的良性發(fā)展。