俞立平　鄭昆

DOI.10.3969/j.issn.1008-0821.2021.12.012

[中圖分類號]G301 [文獻標識碼]A [文章編號]1008-0821（2021）12-0121-10

學術(shù)期刊是展現(xiàn)科研成果和進行學術(shù)交流的重要平臺，是推動學術(shù)創(chuàng)新和理論創(chuàng)新的重要支撐。學術(shù)期刊評價可以衡量不同期刊的質(zhì)量、貢獻、影響，有利于促進學術(shù)期刊繁榮發(fā)展，對推動我國科研事業(yè)健康發(fā)展、調(diào)動科研工作者的積極性有著重要的作用。

期刊評價的方法包括單指標評價、多指標綜合評價和組合評價。單指標評價所能提供的信息有限，實踐中多采用多指標綜合評價或混合多種多指標方法的組合評價?？茖W規(guī)范的評價體系可以梳理學科成果，引導學科的良性發(fā)展。目前，我國比較成熟和完善的期刊評價體系包括北京大學中國核心期刊要目總覽、南京大學中國社會科學引文索引CSSCI、中國科學技術(shù)信息研究所中國科技論文與引文數(shù)據(jù)庫CSTPCD等，均采用了指標體系評價。

在多指標綜合評價模型中，如何確定評價指標的權(quán)重是其核心問題。指標權(quán)重反映了指標在評價體系中的重要性程度，直接影響評價結(jié)果。權(quán)重的確定方法主要有主觀賦權(quán)法、客觀賦權(quán)法和主客觀組合賦權(quán)法。主觀賦權(quán)法是研究者或?qū)＜彝ㄟ^結(jié)合實際情況和經(jīng)驗判斷主觀的賦予統(tǒng)計指標不同的權(quán)重系數(shù)，包括德爾菲法、層次分析法、直接賦權(quán)法等。主觀賦權(quán)法應用的領(lǐng)域包括綜合國力評價、企業(yè)經(jīng)濟效益評價、大學排名等，期刊評價中也多采用以專家打分形式的主觀賦權(quán)法。

客觀賦權(quán)法是對數(shù)據(jù)本身進行挖掘的一種賦權(quán)方法?？陀^賦權(quán)法不借助數(shù)據(jù)以外的信息，各指標權(quán)重的確定是基于數(shù)據(jù)本身的信息以及各指標之間的關(guān)系?？陀^賦權(quán)法的最大特點是一旦評價指標的數(shù)據(jù)確定，則評價權(quán)重和評價結(jié)果確定。由于沒有人為干擾，一定程度上也得到了認可。關(guān)于主觀賦權(quán)與客觀賦權(quán)法的優(yōu)劣，學術(shù)界還沒有取得共識?？陀^賦權(quán)法主要包括熵權(quán)法、獨立性權(quán)系數(shù)法、變異系數(shù)法、粗糙集法和CRITIC法等，在科技評價中也得到了廣泛的應用，特別是在學術(shù)研究領(lǐng)域，廣泛分布于評價類論文中。

在目前幾乎所有的學術(shù)評價中，很多研究只交代了賦權(quán)方法，卻很少給出選擇該方法的充分理由，更缺少對不同客觀賦權(quán)方法權(quán)重進行比較的研究。本文以學術(shù)期刊評價為例，在對各類客觀賦權(quán)方法的賦權(quán)原理進行比較的基礎(chǔ)上，對比不同客觀賦權(quán)方法的權(quán)重以及評價結(jié)果，在理論上有助于豐富學術(shù)評價的權(quán)重理論，在實踐中對于選擇客觀賦權(quán)方法也具有重要參考。

客觀賦權(quán)法在期刊評價中應用廣泛。劉蓮花選取總被引頻次、影響因子、他引率、引用刊數(shù)、學科影響指標、學科擴散指標、被引半衰期、H指數(shù)8項指標，采用變異系數(shù)法計算出各指標的客觀權(quán)重并加入到距離綜合評價法中，實現(xiàn)了15種數(shù)學中文核心期刊的綜合評價：陳旸等利用粗糙集方法基于信息熵獲得客觀權(quán)重值結(jié)果，建立圖書館信息資源智能評價模型：俞立平采用客觀賦權(quán)法對經(jīng)濟學期刊進行評價，發(fā)現(xiàn)熵權(quán)法和離散系數(shù)法適用于同類指標評價，復相關(guān)系數(shù)法和CRIT-IC評價法應慎重選用：曾偉等利用熵權(quán)法、主成分分析法等多種方法對18種科技期刊影響力進行評價，并對評價結(jié)果進行檢驗，得出熵權(quán)法適用性較差的結(jié)論：鐘賽香等針對變異系數(shù)法、熵權(quán)法等7種指標權(quán)重客觀賦權(quán)方法，分析不同方法的評價值和評價序的變化規(guī)律，實現(xiàn)對各種客觀賦權(quán)法的“優(yōu)劣比較”：徐峰等使用熵權(quán)法、變異系數(shù)法、獨立性權(quán)系數(shù)法得到權(quán)重并建立綜合評價模型計算高校專業(yè)評分及排名。

客觀賦權(quán)法廣泛應用在期刊評價、科技評價、教育評價等領(lǐng)域?？陀^賦權(quán)法不僅可以獨立地作為賦權(quán)方法，也可以與其他客觀賦權(quán)法或主觀賦權(quán)法相結(jié)合，形成組合賦權(quán)法。但以下方面有待進一步研究：

第一，不同客觀賦權(quán)法的理論基礎(chǔ)和特點問題，應該對其進行進一步的分析比較。

第二，不同客觀賦權(quán)法權(quán)重之間的關(guān)系如何？對于權(quán)重高度相關(guān)的客觀賦權(quán)法，它們之間是否存在某種必然聯(lián)系？

第三，客觀賦權(quán)方法的選擇是主觀的，這一點無法改變，也是客觀評價法“主觀性”的一個重要依據(jù)。畢竟學術(shù)評價是為科研管理服務(wù)的，那么如何選擇客觀評價方法？

1理論與方法

1.1幾種客觀賦權(quán)方法

主要客觀賦權(quán)方法如圖1所示，客觀賦權(quán)方法主要根據(jù)指標問的相關(guān)關(guān)系和指標內(nèi)數(shù)據(jù)變異程度進行賦權(quán)，主要客觀賦權(quán)方法包括獨立性權(quán)系數(shù)法、粗糙集法、CRITIC法、變異系數(shù)法、熵權(quán)法、均方差法等。

獨立性權(quán)系數(shù)法的思想在于利用指標之間的共線性強弱來確定權(quán)重。如果說某指標與其他指標的相關(guān)性很強，說明信息有著較大的重疊，意味著該指標的權(quán)重會比較低，反之如果說某指標與其他指標的相關(guān)性較弱，那么說明該指標攜帶的信息量較大，該指標應該賦予更高的權(quán)重。

獨立性權(quán)系數(shù)法僅僅只考慮了數(shù)據(jù)之間的相關(guān)性，其計算方式是使用回歸分析得到的復相關(guān)系數(shù)R值來表示共線性強弱（即相關(guān)性強弱），該值越大說明共線性越強，權(quán)重會越低。比如有5個指標，那么指標1作為因變量，其余4個指標作為自變量進行回歸分析，就會得到復相關(guān)系數(shù)R值，余下4個指標重復進行即可。計算權(quán)重時，首先得到復相關(guān)系數(shù)R值的倒數(shù)即1/R，然后將值進行歸一化即得到權(quán)重。

1.2客觀賦權(quán)法的進一步討論

客觀賦權(quán)法通過信息量來確定權(quán)重，存在幾個問題：

第一，不同客觀賦權(quán)法是根據(jù)指標所包含信息量的大小來確定權(quán)重，信息量一般是通過指標內(nèi)部的變異程度和指標問的相關(guān)關(guān)系來確定。熵權(quán)法與變異系數(shù)法在原理上相似，變異系數(shù)法以變異系數(shù)衡量信息量的大小，變異系數(shù)越大，指標所包含的信息量越大，其權(quán)重越大：熵權(quán)法以熵值作為信息量的度量，熵值越小，說明指標的變異程度越大，則指標的權(quán)重越大。

第二，信息量不一定等同于綜合評價信息?？陀^賦權(quán)法將與其他指標相關(guān)性較高的指標賦予較小甚至為0的權(quán)重，如獨立性權(quán)系數(shù)法，CRITIC法。但是指標體系中各指標具有較高相關(guān)性的現(xiàn)象是十分普遍的?？陀^賦權(quán)法認為，某一指標與其他指標的相關(guān)性越高，代表該屬性的冗余度越高，其權(quán)重就越小。但這其實是不合理的，如評價學生的學業(yè)水平，其物理成績和生物成績的相關(guān)性可能很高，外語成績與其他學科成績的相關(guān)性較弱，就簡單地賦予生物成績較小的權(quán)重，而給英語較高的權(quán)重，這無疑是不合理的，在一定程度上掩蓋了學生在理工科上突出的事實。同樣的，變異系數(shù)法、均方差法依據(jù)指標內(nèi)部的變異程度來確定權(quán)重，變異程度越高，則指標的權(quán)重越大，這會進一步放大在某一指標上指標值的差異。但是指標的變異程度與指標重要性，這二者之間顯然存在差異。

第三，客觀賦權(quán)法本質(zhì)是基于評價指標數(shù)據(jù)自身計算權(quán)重，其權(quán)重與管理的實際需求可能存在差別，在期刊評價中應該慎用選擇客觀評價方法。盲目使用客觀賦權(quán)法可能導致評價結(jié)果不準確，如在招聘過程中，對應聘者的各項素質(zhì)進行綜合評價，若招聘崗位為銷售，則應該賦予人際溝通能力、語言表達能力等指標較高的權(quán)重：如招聘崗位為技術(shù)類，則應賦予技術(shù)能力、項目經(jīng)驗等指標更高的權(quán)重。這種情況下主觀賦權(quán)可以很好地滿足需要，但如果使用客觀賦權(quán)法則不能夠體現(xiàn)不同評價角度的差異。

第四，不同客觀賦權(quán)方法所得到的權(quán)重存在一定的差異，那么權(quán)重大小排序能否體現(xiàn)指標重要性的差別，以及個別指標的權(quán)重值是否合理。比如在學術(shù)期刊評價中，通常認為影響因子的重要性較高，而載文量的重要性較低，如果某種客觀賦權(quán)方法的權(quán)重結(jié)果不符合這種認識，那么該種賦權(quán)方法可能不夠合理或者不適用于期刊評價，可以通過專家會議等方式判斷其有效性和合理性。

2實證研究

2.1研究數(shù)據(jù)

為了比較不同客觀賦權(quán)法的差別，分析客觀賦權(quán)法的本質(zhì)，本文通過期刊評價進行實證分析。為了提高研究結(jié)果的穩(wěn)健性，本文在理學學科中選擇數(shù)學，在經(jīng)濟學學科中選擇經(jīng)濟學，在工學學科中選擇計算機（信息系統(tǒng)）進行研究。評價指標的選取必須客觀、全面、可行，才能保證指標體系的科學性和準確性。選擇的評價指標包括：總被引頻次、影響因子、他引影響因子、5年影響因子、即年指標、載文量、被引半衰期、引用半衰期、特征因子、論文影響分值10個指標，進行正向化以及標準化處理后，同時采取6種客觀賦權(quán)方法得到權(quán)重，加權(quán)匯總得到評價值，并比較不同評價方法的評價結(jié)果，做進一步的分析。

JCR2019共有數(shù)學期刊324種，經(jīng)濟學期刊373種，計算機科學（信息系統(tǒng)）期刊156種，清除含有缺失值的期刊數(shù)據(jù)后，共有數(shù)學期刊308種，經(jīng)濟學期刊337種，計算機科學（信息系統(tǒng)）期刊143種，對這3類期刊數(shù)據(jù)進行實證分析。

2.2不同客觀賦權(quán)法的權(quán)重比較

1）不同客觀賦權(quán)法的權(quán)重及排序

利用幾種客觀賦權(quán)方法分別對3類期刊計算權(quán)重系數(shù)。數(shù)學期刊的權(quán)重結(jié)果如表1所示，可以發(fā)現(xiàn)，不同客觀賦權(quán)方法所確定的權(quán)重差別較大，以總被引頻次為例，熵權(quán)法對此指標的權(quán)重分別為0.204，認為此指標最為重要，而粗糙集的權(quán)重僅為0.002，重要性很低：對于不同客觀賦權(quán)法，載文量的排序結(jié)果均優(yōu)先于影響因子，也就是說，載文量的重要性大于影響因子，這與期刊評價的一般認識相悖。

經(jīng)濟學期刊的權(quán)重結(jié)果如表2所示。同數(shù)學期刊一樣，總被引頻次在熵權(quán)法上權(quán)重值最大，而在粗糙集上表現(xiàn)為最小;在不同賦權(quán)法上，載文量的重要性也均大于影響因子。

計算機期刊的權(quán)重結(jié)果如表3所示。均方差法、CRITIC法和粗糙集認為引用半衰期的重要性最高，熵權(quán)法、變異系數(shù)法則認為其重要性較低，進一步說明了不同客觀賦權(quán)法所得權(quán)重的差異較大：有4類賦權(quán)方法認為載文量的重要性大于影響因子。

綜合來看，不同客觀賦權(quán)方法所確定的權(quán)重差別較大：在期刊評價中，通常認為影響因子的重要性高于載文量，而客觀賦權(quán)法卻得出載文量的權(quán)重值大于影響因子的結(jié)果：論文影響分值多被采用為期刊評價的指標，但其在3種期刊上粗糙集所得權(quán)重上表現(xiàn)為0，為可以剔除的冗余指標：同種客觀賦權(quán)方法在3類期刊上所得權(quán)重存在一定的差異，但整體上排序結(jié)果基本一致。

2）不同客觀賦權(quán)法權(quán)重的相關(guān)系數(shù)

計算不同客觀賦權(quán)法所得權(quán)重的相關(guān)系數(shù)。表4為數(shù)學期刊所得權(quán)重的相關(guān)系數(shù)，可以發(fā)現(xiàn)，由于熵權(quán)法和變異系數(shù)法在賦權(quán)原理上相似，二者的相關(guān)系數(shù)為0.976，呈現(xiàn)高度的正相關(guān)：CRITIC法與均方差法也呈現(xiàn)高度的正相關(guān)：部分方法所得權(quán)重呈現(xiàn)負相關(guān)，如變異系數(shù)法與粗糙集。

表5為經(jīng)濟學期刊所得權(quán)重的相關(guān)系數(shù)，同數(shù)學期刊一樣，熵權(quán)法與變異系數(shù)法也呈現(xiàn)高度的正相關(guān)，變異系數(shù)法與粗糙集呈現(xiàn)負相關(guān)：CRITIC法與粗糙集呈現(xiàn)高度的正相關(guān)。

表6為計算機期刊所得權(quán)重的相關(guān)系數(shù)，同上述兩種期刊一樣，熵權(quán)法與變異系數(shù)法呈現(xiàn)高度的正相關(guān)，變異系數(shù)法與粗糙集呈現(xiàn)負相關(guān);CRIT-IC法與粗糙集呈現(xiàn)較高的正相關(guān)。

計算3類期刊所得權(quán)重的均值，得到表7。綜合來看，客觀賦權(quán)法所得權(quán)重結(jié)果存在一定差異，實際應用中應根據(jù)需要選擇合適的客觀賦權(quán)方法。由于在賦權(quán)原理上相似，熵權(quán)法和變異系數(shù)法在3類期刊上均呈現(xiàn)高度的正相關(guān)，其相關(guān)系數(shù)的平均值為0.985，均方差與CRITIC的相關(guān)性也較高。

2.3不同客觀賦權(quán)法評價結(jié)果比較

1）不同客觀賦權(quán)法的評價值排序

通過各類客觀賦權(quán)方法得到權(quán)重值后，對各指標值進行加權(quán)匯總即得到各評價對象的綜合評價值，本文節(jié)選了以熵權(quán)法為參考其綜合評價值排名前10的期刊。

數(shù)學期刊評價值的排序結(jié)果如表8所示。可以看出粗糙集的排序結(jié)果與其他賦權(quán)法差異較大，熵權(quán)法與變異系數(shù)法的排序結(jié)果較為相似。

經(jīng)濟學期刊評價值的排序結(jié)果如表9所示。與數(shù)學期刊類似，粗糙集的排序結(jié)果與其他賦權(quán)法差異較大：熵權(quán)法與變異系數(shù)法、獨立性權(quán)系數(shù)法與CRITIC法的排序結(jié)果較為相似。

計算機期刊評價值的排序結(jié)果如表10所示。粗糙集的排序結(jié)果與其他賦權(quán)法存在差異;除粗糙集外的5種賦權(quán)方法的排序結(jié)果較為相似。

綜合來看，由于粗糙集所得權(quán)重的極端性，粗糙集的排序結(jié)果與其他賦權(quán)法存在一定的差異;除粗糙集外的5種賦權(quán)方法的排序結(jié)果相似度較高。

2）不同客觀賦權(quán)法評價值的相關(guān)系數(shù)

為進一步比較不同客觀賦權(quán)法所得評價值的差異，本文對評價值結(jié)果進行相關(guān)性分析。

數(shù)學期刊不同客觀賦權(quán)法評價值的相關(guān)系數(shù)如表11所示。由于熵權(quán)法與變異系數(shù)法原理相近，其權(quán)重也高度正相關(guān)，所以二者的評價值也呈現(xiàn)高度的正相關(guān)，相關(guān)系數(shù)為0.994：部分賦權(quán)法的權(quán)重結(jié)果呈現(xiàn)負相關(guān)，其評價值卻呈現(xiàn)正相關(guān)，如變異系數(shù)法和粗糙集，均方差法和變異系數(shù)法。

經(jīng)濟學期刊評價值的相關(guān)系數(shù)如表12所示，熵權(quán)法與變異系數(shù)法的相關(guān)系數(shù)高達0.998：均方差法與變異系數(shù)法的權(quán)重呈現(xiàn)負相關(guān)，其評價值卻呈現(xiàn)高度的正相關(guān)。

計算機期刊評價值的相關(guān)系數(shù)如表13所示，同數(shù)學、經(jīng)濟學期刊類似，熵權(quán)法與變異系數(shù)法的評價值呈現(xiàn)高度正相關(guān)：均方差法與變異系數(shù)法的權(quán)重呈現(xiàn)負相關(guān)，其評價值卻呈現(xiàn)高度的正相關(guān)。

可以看出，盡管各類客觀賦權(quán)法所得到的權(quán)重結(jié)果差異較大，但其評價結(jié)果卻大都呈現(xiàn)出中、高度的正相關(guān)性：由于原理相近，熵權(quán)法與變異系數(shù)法的相關(guān)系數(shù)都在0.99以上，均方差法與CRITIC法的相關(guān)性都在0.96以上：部分賦權(quán)法的權(quán)重結(jié)果呈現(xiàn)負相關(guān)，其評價值卻呈現(xiàn)正相關(guān)。如果根據(jù)評價值的排序結(jié)果來衡量客觀賦權(quán)法的有效性，可能會得出錯誤的結(jié)論。

3）權(quán)重相關(guān)度低、結(jié)果相關(guān)度高原因分析

部分客觀賦權(quán)法所得權(quán)重呈現(xiàn)負相關(guān)，其評價結(jié)果卻呈現(xiàn)中高度的正相關(guān)。造成這一現(xiàn)象的原因是評價指標之間存在高度的相關(guān)性，如表14所示。在某一指標的指標值較大的期刊，在另一指標的指標值也通常較大。若某一期刊的所有或者多數(shù)指標值都比另一期刊高，就會導致權(quán)重的大小對綜合評價值的排序結(jié)果影響較小。

3結(jié)論與討論

1）客觀賦權(quán)法原理主要包括3個方面

第一，基于指標問的相關(guān)關(guān)系來確定權(quán)重，如獨立性權(quán)系數(shù)法，某一指標與其他指標的相關(guān)系數(shù)越大，其權(quán)重越小;第二，根據(jù)指標數(shù)據(jù)的變異程度計算權(quán)重，如變異系數(shù)法、熵權(quán)法，指標數(shù)據(jù)內(nèi)部的變異程度越高，其權(quán)重越低;第三，兼顧指標相關(guān)性和指標數(shù)據(jù)變異程度，如CRITIC法。

2）客觀權(quán)重相差較大但評價結(jié)果相差不一定較大

總體上客觀賦權(quán)法所得權(quán)重結(jié)果存在一定差異，甚至表現(xiàn)出負相關(guān)，但其評價結(jié)果卻大都呈現(xiàn)出中、高度的正相關(guān)性，這是評價指標之間高度的相關(guān)性所導致的。這個問題一定程度上掩蓋了客觀賦權(quán)法選擇的錯誤，因為即使客觀賦權(quán)法方法選錯了，結(jié)果或許不那么嚴重。需要注意的是，如果評價的學術(shù)期刊數(shù)量較少，不同客觀賦權(quán)法的評價結(jié)果也許相差不大，但當評價的學術(shù)期刊較多時，結(jié)果相差會較大。

3）原理相近的客觀賦權(quán)法權(quán)重和評價結(jié)果均高度相關(guān)

由于熵權(quán)法和變異系數(shù)法在賦權(quán)原理上相似，二者所得權(quán)重的平均相關(guān)系數(shù)為0.985，其評價值也表現(xiàn)為高度的正相關(guān)：均方差法和CRITIC法的相關(guān)系數(shù)為0.769，其評價值的相關(guān)系數(shù)都在0.96以上。

4）客觀權(quán)重與主觀管理需求往往不一致

一方面，客觀賦權(quán)法對各期刊評價指標的賦權(quán)帶有較大的不確定性：另一方面，在學術(shù)期刊評價中，出于管理需要，對某些指標的權(quán)重專家是有共識的。由于客觀賦權(quán)法基于數(shù)據(jù)自身得到權(quán)重的特點，其權(quán)重與指標的管理要求的實際重要性可能存在較大差別，在期刊評價中應該慎用。即應該選取那些更接近管理要求的權(quán)重組合即客觀賦權(quán)法，而所有的客觀賦權(quán)法中不一定能找到這種權(quán)重組合。

本文通過探究不同類型客觀賦權(quán)法的原理以及對期刊數(shù)據(jù)進行實證分析后發(fā)現(xiàn)，在實際期刊評價中，盲目選擇客觀賦權(quán)法可能會誤判指標的重要程度，對客觀賦權(quán)法的選擇應考慮主觀管理需求。如果某種客觀賦權(quán)法所得權(quán)重結(jié)果符合主觀管理需求和綜合評價，可以選擇該客觀賦權(quán)方法，否則應考慮主觀賦權(quán)方法或主客觀結(jié)合賦權(quán)法。

（責任編輯：孫國雷）