沈　勇

(清華大學 公共管理學院，北京 100084)

?

論文指標與一級學科評估結果之比較

沈勇

(清華大學 公共管理學院，北京 100084)

在評價學術水平時，與占主導地位的一級學科評估相比，論文所代表的客觀指標有效嗎？研究產(chǎn)出在多大程度上影響了一級學科評估結果？現(xiàn)有文獻對二者在評價學術水平時的關系尚無實證研究。以CSSCI論文數(shù)、引用數(shù)、頂級期刊論文數(shù)和人均論文數(shù)為解釋變量，以一級學科評估分數(shù)為因變量，運用主成分回歸分析方法，對研究產(chǎn)出與一級學科評估結果進行比較。研究發(fā)現(xiàn)，基于論文指標的客觀評價與一級學科評估結果高度正相關，由規(guī)模因子和質(zhì)量因子構成的綜合指標能解釋83%的學科評估結果。研究產(chǎn)出很大程度上決定了學科排序結果，基于論文的綜合指標是學科評估的一種可行的替代方法。

論文指標；論文引用率；一級學科；學科評估；學科排序

對高等教育機構的學術評價，經(jīng)歷了從早期主觀指標到更重視綜合指標的變化。據(jù)美國的有關研究，自20世紀70年代以來，在人文、社科、生物和工程等36個學科的評價都是采取主觀調(diào)查的方式。這類采用聲譽等主觀指標的研究方法，其引發(fā)的持續(xù)爭議在于測度實際生產(chǎn)率時是否可靠[1-2]。隨著各類大學排行榜的興起，為避免指標的非均衡化，人們越來越多地采用主觀和客觀相結合的方式評價機構學術水平。評估指標的綜合化和復雜化趨勢更加明顯，根據(jù)楊天平等人的文章，在12個各類大學排行榜中，平均指標數(shù)達到22個[3]。研究產(chǎn)出作為衡量高校特別是研究型大學學科建設水平的重要指標，在研究領域和大學實踐中得到重視。

盡管基于研究產(chǎn)出的客觀方法和市場導向的排行榜評估目的不盡相同，但現(xiàn)有文獻對二者在評價學術績效時的關系尚無有力的實證研究。鑒于一級學科評估的重要性，評估結果會影響資源配置，并對高校學科建設具有導向作用，其作為研究的比較對象是有意義的。本研究的主要問題是：基于論文指標的客觀方法在評估學科水平時有效嗎？一級學科評估結果在多大程度上體現(xiàn)了研究產(chǎn)出的貢獻？二者之間是否存在可替代性？

一、文獻綜述

1.關于研究產(chǎn)出指標的選取

采用同行評議期刊的文章數(shù)量來評價研究產(chǎn)出是近幾十年來國外較普遍的做法[4-6]。盡管書籍和專著等也屬于研究產(chǎn)出，但由于信息獲取較難，且不易確定不同形式產(chǎn)出的權重，Morgan建議采用期刊發(fā)表作為研究產(chǎn)出的客觀測度指標，認為學術期刊重視原創(chuàng)性和同行評議，可能是最適合學科范圍的評價工具。作者選取10種專業(yè)領域期刊，不做權重區(qū)別，對教師研究產(chǎn)出進行測度。這類分析通常是基于文章數(shù)量，計數(shù)作為一個合理的替代，用來表明某一學院通過專業(yè)媒介所產(chǎn)生的理論與實踐貢獻[7]537。

Bloom等認為，學術產(chǎn)出依靠大量教師的參與，機構產(chǎn)出的一個重要因素是大量關鍵學者的加總的貢獻[8]377。但是，學術產(chǎn)出的計量易受到規(guī)模影響，簡單的加總可能對小的院系不利。Jordan等認為院系的規(guī)模和發(fā)表論文之間存在積極的關系[9]。根據(jù)Ferris等的研究，教師產(chǎn)出通常是用某一領域核心期刊的產(chǎn)出率來測度的，并建議使用人均產(chǎn)出概念[10]309。林夢泉等也建議在學科評估中應增加“人均指標”[11]。

當然，僅僅采用論文數(shù)量作為指標難以恰當評價學術影響力。Farber等認為引用情況是衡量學術產(chǎn)出影響力的更好的分析單位，并通過SSCI檢索工具獲取引用數(shù)據(jù)來分析學院的學術產(chǎn)出[12]。

也有學者對采用論文數(shù)量或引用率等單一指標提出批評，建議對研究績效的評價要考慮不同因素的權重[13]。除了引用情況作為質(zhì)量指標外，研究人員還建議考慮期刊性質(zhì)，最好的雜志傾向于發(fā)表對該領域核心發(fā)展最重要的文章[14]。

2.關于指標間的關系

在生產(chǎn)率所代表的客觀指標和反映主觀指標的聲譽變量之間，研究發(fā)現(xiàn)，二者存在積極的關系[15]。然而，一項早期對生物化學學者的研究有相反的發(fā)現(xiàn)，即二者之間不存在顯著關系[16]。盡管不同研究結果有差異，更多的研究表明，主、客觀指標之間存在一致性，二者具有中等程度的關系[10]325。

中國學者也發(fā)現(xiàn)，上海交通大學世界大學學術綜合排名和論文數(shù)之間的相關性為0.563 (P<0.001)[17]。另一項對中國50所重點大學論文產(chǎn)出的研究表明，綜合引用和數(shù)量因素的h指數(shù)與載文量、總被引之間的相關系數(shù)分別為0.81和0.93[18]?？傮w看，機構的論文產(chǎn)出與引用數(shù)之間存在較強的相關性(r=0.829)[8]387。

3.研究方法

早期有關論文產(chǎn)出研究以描述性統(tǒng)計為主，近來主成分分析等多元統(tǒng)計方法陸續(xù)被用于論文產(chǎn)出研究。古繼寶等基于SCI收錄的25個國家19個學科領域的論文統(tǒng)計數(shù)據(jù),運用主成分和因子分析得出反映論文產(chǎn)出差距的3個獨立因子,進而從科研實力和科研質(zhì)量等角度對各個科技主體的科研水平進行新的排名和詮釋[19]107。

另有一篇文章對36所“985工程”高校的ESI科技論文進行綜合評價排名，在論文總數(shù)、被引頻次、篇均被引及頂級論文數(shù)等原始指標的基礎上，合成反映論文總體實力的第一主因子和反映單篇論文的學術影響力的第二主因子[20]106。

國外有學者建議，對于計數(shù)資料，原則上可以使用多元線性回歸分析[21]。這無疑有助于更好地解釋變量之間的關系。

二、數(shù)據(jù)與方法

1.數(shù)據(jù)來源

研究樣本為公共管理學科，這是基于作者對學科熟悉程度和數(shù)據(jù)采集復雜度的權衡?？紤]到公共管理學包含政治學、經(jīng)濟學、管理學、社會學和法學等多學科特點，在一定程度上能緩和樣本學科的局限性。為便于比較，本研究樣本從參與2012年全國公共管理一級學科評估的60所院校中選取，不考慮在該評估期沒有獨立的公共管理學院或以公共管理學科為主體的辦學實體的院校，最后確定38所學院作為評價對象。

本研究認為，在人文社科領域，入選CSSCI的刊物基本能反映當前中國人文社會科學界各個學科的最新研究成果，且學術水平較高、影響較大、編輯出版較為規(guī)范，因此已被多篇研究用于高等院校社會科學領域的論文產(chǎn)出分析[22-23]。本研究利用中國知網(wǎng)(CNKI)，檢索38所學院作為第一作者機構在2009-2013年間發(fā)表的CSSCI論文，檢索核查截止時間為2014年12月30日。作者標注多個單位的，只計算第一單位。其中，對機構名稱發(fā)生變化或采用簡稱的，在甄別后也一并計入。在剔除書評類、會議綜述類、訪談類及一稿多投文章后，最后得到7 840篇文獻。

2.變量選擇

在變量設計上，本研究以2012年公共管理一級學科評估分數(shù)為因變量，以論文總數(shù)、引用數(shù)、頂級論文數(shù)、人均論文數(shù)作為自變量。論文總數(shù)：指樣本學院的CSSCI論文合計數(shù)。經(jīng)過一定機制篩選的CSSCI期刊大體涵蓋了本學科最主要的中文論文產(chǎn)出。引用數(shù)量：由于中國社科論文引用率普遍偏低，參照一級學科評估的做法，選取各學院引用率最高的前20篇CSSCI論文來統(tǒng)計引用率。頂級論文數(shù)：這一指標用來反映公共管理學科對基礎研究和理論研究的貢獻[24]。在管理學、經(jīng)濟學、政治學、社會學及法學這五個公共管理學科的主要支撐學科中，根據(jù)中文核心期刊要目總覽和CSSCI的期刊評價，選取這五個學科門類中排名最高的期刊，即《管理世界》、《經(jīng)濟研究》、《政治學研究》、《社會學研究》和《法學研究》五種期刊，另外增加綜合性的《中國社會科學》期刊。人均論文數(shù)：反映各學院教師的人均CSSCI論文產(chǎn)出量。教師界定為該學院的全職在崗教師，其數(shù)據(jù)通過受訪學院的主頁獲取。

3.分析工具

本研究采用SPSS18軟件進行主成分回歸分析。采用主成分回歸分析方法有利于消除多重共線性的影響，且能把多個指標化為少數(shù)幾個綜合指標，盡量不改變指標體系對因變量的解釋程度[25-26]。在主成分分析的基礎上，通過回歸分析比較學術產(chǎn)出與一級學科評估結果之間的相關關系。

三、分析結果

1.描述統(tǒng)計

表1顯示各變量的均值、標準差和樣本數(shù)，其中，頂級論文指標差異性最大，學科評估分數(shù)指標差異性最小。

表1　描述統(tǒng)計量

2.相關性判定

表2為相關系數(shù)矩陣，論文總數(shù)、引用數(shù)、頂級論文數(shù)、人均論文數(shù)變量之間都存在顯著相關性，為消除多重共線性影響，采用主成分方法降維。

表2　相關性矩陣

首先進行KMO檢驗和巴特利球體檢驗，其結果如表3所示。根據(jù)Kaiser給出的度量標準，KMO大于0.8，說明適合做因子分析。本表中的Bartlett值大于129(P<0.001)，球度檢驗表明相關陣不是一個單位矩陣，因子模型合適。

表3　KMO和Bartlett 的檢驗

3.確定主成分

如何提取主成分的數(shù)量，文獻建議有不同的準則，一般根據(jù)特征值大于1的標準，或者方差貢獻率大于85%的閾值[27]。由于第一個主成分解釋總變差為81.95%，第二個主成分特征值雖小于1，但其方差解釋力超過10%，因此人工確定提取兩個主成分，二者合計貢獻率為92.47%，并進行正交旋轉(zhuǎn)，其結果如表4所示。

表4　方差解釋

4.特征向量矩陣表

表5為旋轉(zhuǎn)前后的主成分載荷矩陣，顯然，旋轉(zhuǎn)后的特征值及主成分負荷有很大改善，主成分1主要與論文總數(shù)、引用數(shù)和人均指標有關，而主成分2則主要與頂級論文指標有關。因此，本研究把主成分1命名為規(guī)模因子，反映的是與論文數(shù)量、影響力等有關的總體實力；主成分2命名為質(zhì)量因子，反映的是高水平論文質(zhì)量。

表5　旋轉(zhuǎn)前后的成份矩陣

注：提取方法為主成分分析法。

5.因子分值

利用SPSS軟件可自動計算因子1和因子2的分值，同時，根據(jù)F綜=0.655*F1+0.345*F2的表達式，計算出綜合因子分值及排序，如表6所示。

表6　學科評估、因子得分及排序

續(xù)表6

學院名稱評估分數(shù)評估排序F1規(guī)模因子F2質(zhì)量因子F綜合因子因子排序華東師范大學公共管理學院7515-0.19-0.70-0.3721湘潭大學公共管理學院74170.56-0.420.2212東北財經(jīng)大學公共管理學院7218-0.81-0.41-0.6732中南財經(jīng)政法大學公共管理學院7218-0.38-0.21-0.3219重慶大學公共管理學院72180.45-0.620.0815中央財經(jīng)大學政府管理學院7021-0.63-0.28-0.5127對外經(jīng)濟貿(mào)易大學公共管理學院7021-0.48-0.55-0.5127大連理工大學公共管理與法學學院7021-0.56-0.51-0.5529燕山大學公共管理學院7021-0.29-0.71-0.4325鄭州大學公共管理學院7021-0.580.03-0.3721內(nèi)蒙古大學公共管理學院6826-0.75-0.48-0.6631上海財經(jīng)大學公共經(jīng)濟與管理學院68260.070.340.1614河海大學公共管理學院6826-0.11-0.77-0.3320湖南農(nóng)業(yè)大學公共管理與法學學院6826-1.27-0.07-0.8638西南交通大學公共管理學院6826-0.91-0.19-0.6732西南大學政治與公共管理學院6826-0.52-0.34-0.4626西北大學公共管理學院6826-0.25-0.66-0.3923浙江工業(yè)大學政治與公共管理學院6733-1.10-0.33-0.8437浙江工商大學公共管理學院6733-1.130.09-0.7134華僑大學公共管理學院6733-0.61-0.48-0.5730河南大學哲學與公共管理學院6733-0.95-0.40-0.7636中南民族大學公共管理學院6733-0.94-0.39-0.7535浙江財經(jīng)大學財政與公共管理學院6733-1.631.89-0.4124

學科評估前5位的院校是人民大學、清華大學、北京大學、武漢大學和華中科技大學，這五校也同時進入綜合因子排序前五位。與學科評估排序相比，綜合因子排序前10位學院中，有9所同時出現(xiàn)在學科評估前10名中。如果考慮前一半院校排序情況，有17所學校同時出現(xiàn)在一級學科評估結果的前19名中?？傮w看，盡管院校排序有微調(diào)，但兩種評估結果的一致性比較高。

其中，廈門大學因規(guī)模因素未進入因子得分前10名，吉林大學則因較高的質(zhì)量因子從學科評估第12位進入因子得分前10名。此外，排序變化較大的是，東北財大和湖南農(nóng)大均因規(guī)模實力較弱分別下降了14位和12位，上海財大則因質(zhì)量和規(guī)模因素表現(xiàn)不錯而上升12位。

6.主成分回歸分析

主成分分析主要是對現(xiàn)有變量的簡化和提煉，其結果體現(xiàn)了38所學院基于規(guī)模因子和質(zhì)量因子得分的總排序，為進一步了解這一結果與學科評估排序之間的關系，以因子1和因子2作為自變量，評估分數(shù)的標準化值作為因變量進行多元線性回歸分析，其結果如表7和表8所示。

表7　回歸分析的R值和R2值

表8　回歸系數(shù)

根據(jù)回歸分析的結果，解釋變量與因變量高度正相關(R=0.91)，模型通過F檢驗(p<0.001)，說明模型的擬合優(yōu)度還是不錯的，從決定系數(shù)看，規(guī)模因子和質(zhì)量因子能解釋因變量約83%的變差。

從回歸系數(shù)看，規(guī)模因子標準化系數(shù)為0.824，質(zhì)量因子的系數(shù)為0.386，二者均通過顯著性檢驗(p<0.001)，規(guī)模因素較質(zhì)量因素解釋力更強。

由于前述回歸結果是基于主成分分析，且變量已標準化，為便于理解，對標準化變量進行還原后，得到如下方程式：

Y=35.4+0.076X1+0.042X2+0.059X3+0.518X4

從回歸方程看，人均指標(X4)的回歸系數(shù)為0.518，在所有自變量中貢獻最大，即人均指標每增加1篇，學科評估分數(shù)會增加超過0.5分。按貢獻大小，其他變量依次為論文總數(shù)指標(X1)、頂級論文指標(X3)和引用率指標(X2)。

四、結　　論

根據(jù)主成分分析的結果，以論文總數(shù)、引用率、人均指標和頂級論文為代表的客觀指標，可以提煉為代表學科研究實力的規(guī)模因子和質(zhì)量因子兩個成分，二者反映原始變量92.47%的信息。對比前述文獻，古繼寶一文提取三個因子的方差為78.9%[19]113，胡瑤一文提取兩個因子的累計貢獻率為92.09%[20]120。因此，客觀指標較好地保留了學術產(chǎn)出指標的原始信息，具有較高的區(qū)分度，能夠清晰地區(qū)分樣本學科的研究產(chǎn)出績效。

回歸分析結果也表明，客觀指標與一級學科結果具有高度的相關性(R=0.91，p<0.001)，研究產(chǎn)出對一級學科評估結果的貢獻占比約83%，對學科評估結果具有很強的解釋力。從兩種方法的排名結果比較，有9所學校同時進入了兩種排序的前10名，二者具有較高的一致性。從一級學科評估“科學研究水平”一級指標的得分看，前10名中有7所學校也同時位居綜合因子前10名，這也進一步驗證了客觀指標排序的有效性。

實證研究發(fā)現(xiàn)：研究產(chǎn)出指標是決定學科排序結果的支配性因素。應該說，衡量學科水平的指標并非是單一的，為什么客觀化方法與綜合指標在評價學科績效時具有高度的一致性？這也許與質(zhì)量概念的特性有關，教育質(zhì)量是一個難以琢磨的抽象的概念，很難定義和測度[28]。這一概念所包含的心理特性增強了其模糊性，雖然學術水平包括不同的側(cè)面，但這些指標間存在一定的相關性。例如，當我們指稱某一學科水平較高時，通常也暗含了高水平的師資、高質(zhì)量的學生和高水平的研究產(chǎn)出等評價。以論文形式衡量的學術產(chǎn)出，經(jīng)過了嚴格的學術共同體檢驗，是反映學術水平更直接、更集中、更容易測度的指標。

對評估實踐而言，兩種方法各有其特點及針對性，很難有“最好的方法”。學科評估是對一級學科整體情況的判斷，具有綜合性的優(yōu)點，能為機構提供綜合排序和更全面的診斷?？陀^方法更簡潔、清晰，適于分析學科這類專業(yè)性較強的學術產(chǎn)出績效，而且可以進一步用于比較研究。

研究建議：研究產(chǎn)出評價可以在某種程度上作為學科評估的替代性方法。由于一級學科評估包含四類一級指標和14個二級指標，大量主客觀信息的采集與處理增加了評估的復雜性，且評估材料是自行申報的，這些填報的數(shù)據(jù)難以核實，可能導致評估結果的較大偏差[29]。而且，這些其他因素加起來只是解釋了剩余17%的變差，從成本角度看，未必是有效的。因此，對于大學排名而言，應把產(chǎn)出作為重點比較的指標，如無特別必要，建議盡可能利用公開數(shù)據(jù)源、采用客觀方法進行評價[30]。

由于研究產(chǎn)出是一個多維度的概念，僅以論文指標來衡量產(chǎn)出也反映了本文的局限性[7]566。事實上，研究產(chǎn)出通常還包括國際發(fā)表、專著、研究報告等，基于可行性的考慮，為避免多種形式產(chǎn)出的加總可能造成的爭議，本文未計算這部分成果，這無疑會對學術績效的評價有一定影響。而且，本研究是基于2009-2013年間的公共管理學科的數(shù)據(jù)，其結論是否能推廣至其他學科以及是否反映了長期趨勢還有待后續(xù)驗證。

[1]Drew D E and Karpf R. Ranking Academic Departments:Empirical findings and a Theoretical Perspective[J].Research in Higher Education,1981(4):305-320.

[2]Morgan D R, Meier K J, Kearney R C, Hays S W and Birch H B. Reputation and Productivity among U.S. Public Administration and Public Affairs Programs[J].Public Administration Review,1981(6):666-673.

[3]楊天平,任永燦.國內(nèi)外大學評價指標體系的發(fā)展趨勢[J].高教發(fā)展與評估,2014(5):1-11.

[4]Wyer, J C, Conrad, C F. Institutional Inbreeding Reexamined[J].American Educational Research Journal,1984(1):213-225.

[5]Levin, S G, Stephan, P E. Research Productivity over the Life Cycle:Evidence for Academic Scientists[J].The American Economic Review,1991(1):114-132.

[6]Horta H. Deepening our Understanding of Academic Inbreeding Effects on Research Information Exchange and Scientific Output: New Insights for Academic Based Research[J]. Higher Education,2013(65):487-510.

[7]Forrester J P. Public Administration Productivity:An Assessment of Faculty in PA Programs[J].Administration & Society,1996(4).

[8]Bloom M., Klein W C. Publications and Citations:A Study of Faculty at Leading Schools of Social Work[J].Journal of Social Work Education,1995(3).

[9]Jordan J M, Meador M and Walters S J K. Effects of Departmental Size and Organization on the Research Productivity of Academic Economists[J].Economics of Education Review,1988(2):251-255.

[10]Ferris J M, Stallings R A. Sources of Reputation among Public Administration and Public Affairs Programs[J].American Review of Public Administration,1988(2).

[11]林夢泉,姜輝,任超.學科評估發(fā)展與改革探究[J].中國高等教育,2010(21):43-44.

[12]Farber M, Powers P and Thompson F. Assessing Faculty Research Productivity in Graduate Public Policy Programs[J].Policy Sciences,1984(16):281-289.

[13]Hattie J & Marsh H W. The Telationship Between Research and Teaching:A Meta-analysis[J].Review of Educational Research,1996(4):507-542.

[14]Forrester J P,Watson S S. An Assessment of Public Administration Journals:The Perspective of Editors and Editorial Board Members[J].Public Administration Review,1994(5):474-482.

[15]Ehrenberg R G and Hurst P J. The 1995 NRC ratings of Doctoral Programs:A Hedonic Model[J].Change,1996(6):46-50.

[16]Long J S. Productivity and Academic Position in the Scientific Career[J].American Sociological Review,1978(12):889-908.

[17]周志峰,萬榮根,俞樹文.h指數(shù)視角的高校學術水平分析[J].情報雜志,2009(3):71-74.

[18]萬錦堃,花平寰,趙呈剛.中國部分重點大學h指數(shù)的探討[J].科學觀察,2007(3):9-16.

[19]古繼寶,陳玉娣,梁樑.基于論文產(chǎn)出的科研實力和質(zhì)量評價指標體系研究[J].研究與發(fā)展管理,2008(2).

[20]胡瑤,王惠文,關蓉.基于ESI 科技論文評價與比較分析[J].北京航空航天大學學報：社會科學版,2013(2).

[21]Inanc O & Tuncer O. The Effect of Academic Inbreeding on Scientific Effectiveness[J].Scientometrics,2011(88):885-898.

[22]姜春林,劉則淵,劉樹高.研究型大學人文社會科學學科論文產(chǎn)出差距的計量分析[J].科學學與科學技術管理,2006(1):92-98.

[23]李樹青,蘇新寧,袁培國.我國高等院校社會科學學科的機構被引分析[J].情報科學,2005,23(11):1735-1740.

[24]馬駿.中國公共行政學:回顧與展望[J].中國行政管理,2012(4):7-11.

[25]郭顯光.如何用SPSS 軟件進行主成分分析[J].統(tǒng)計與信息論壇,1998(2):60-64.

[26]郭呈全,陳希鎮(zhèn).主成分回歸的SPSS實現(xiàn)[J].統(tǒng)計與決策,2011(5):157-159.

[27]高策理,蔡斌.使用主成分分析進行綜合排名時出現(xiàn)高相關指標的研究[J].數(shù)學的實踐與認識,2004(12):21-24.

[28]Brown S W & Swartz T A. A Gap Analysis of Professional Dervice Quality[J]. Journal of Marketing,1989(2):92-98.

[29]朱允衛(wèi),易開剛.目前我國一級學科評估中存在的問題及對策[J].中國高教研究,2004(12):28-30.

[30]林曉青.大學排名的危機及對策建議[J].中國高教研究,2009(8):43.

10.3963/j.issn.1672-8742.2016.02.007

沈勇(1968-)，男，河南信陽人，管理學博士，研究方向為高等教育公共服務質(zhì)量評價。

G40-058.1

A

1672-8742(2016)02-0049-09

2015-10-20；編輯：榮翠紅)