胡澤文 曹玲 尹獻(xiàn)
關(guān)鍵詞:高校評(píng)估;大學(xué)排名;評(píng)價(jià)指標(biāo);TOPSIS模型;面板數(shù)據(jù)模型;層次分析模型;灰色關(guān)聯(lián)模型
高校排名主要通過制定經(jīng)過科學(xué)論證的評(píng)估標(biāo)準(zhǔn)和評(píng)估方法,對(duì)高校的科研活動(dòng)和科研成果給予科學(xué)計(jì)算和評(píng)估之后得出綜合評(píng)分或排名。評(píng)估結(jié)果可以作為一種價(jià)值尺度,促進(jìn)高校發(fā)展,使高校能夠清晰直觀了解到在教學(xué)、科研、國(guó)際化以及學(xué)術(shù)成就等諸多方面指標(biāo)上的優(yōu)點(diǎn)和不足之處,為學(xué)生擇校、政府資助、項(xiàng)目和資金支持、高校自我認(rèn)識(shí)和改進(jìn)提供一個(gè)基準(zhǔn)參考。然而目前國(guó)內(nèi)外高校評(píng)估實(shí)踐在評(píng)價(jià)指標(biāo)選擇和指標(biāo)權(quán)重確定方面仍存在較多的主觀成分.定量化的客觀評(píng)估實(shí)踐相對(duì)較少。戴躍依認(rèn)為評(píng)價(jià)目的和評(píng)價(jià)指標(biāo)體系的不同會(huì)影響到評(píng)價(jià)和排名結(jié)果。因此“如何克服指標(biāo)選擇和權(quán)重確定過程中的主觀性,使其對(duì)價(jià)值主體的影響最小化.使評(píng)價(jià)更具客觀性”是當(dāng)前高校評(píng)估領(lǐng)域亟需解決的重點(diǎn)難點(diǎn)問題。施艷萍等和郭叢斌等從指標(biāo)多樣性、權(quán)重分配、文獻(xiàn)數(shù)據(jù)和聲譽(yù)數(shù)據(jù)來源等維度對(duì)世界主流的大學(xué)排名指標(biāo)體系特征進(jìn)行分析,發(fā)現(xiàn)THE世界大學(xué)排名指標(biāo)體系最為全面和均衡;QS指標(biāo)體系相對(duì)簡(jiǎn)單,聲譽(yù)等主觀因素的比重較高;US News世界大學(xué)排名指標(biāo)體系重視科研,文獻(xiàn)類客觀指標(biāo)比重較大。不同高校評(píng)估機(jī)構(gòu)在評(píng)估指標(biāo)、權(quán)重和方法方面的創(chuàng)新性和差異性,會(huì)導(dǎo)致不同評(píng)估機(jī)構(gòu)給出的高校排名結(jié)果之間有所差異,使得這些榜單排名給參考人員帶來困惑。
國(guó)際性高校評(píng)估與排名實(shí)踐相對(duì)較早.1986年和1987年,《泰晤士高等教育》和美國(guó)新聞與世界報(bào)道分別推出了英國(guó)高等學(xué)校排名和美國(guó)最佳大學(xué)排名,排名不僅對(duì)高校進(jìn)行整體排名,而且進(jìn)行了分學(xué)科排名和分學(xué)位等級(jí)階段。2004年開始,《泰晤士高等教育》與教育網(wǎng)絡(luò)機(jī)構(gòu)QS(Quac.quarelli Symonds)公司共同推出世界大學(xué)排名。然而2009年開始,《泰晤士高等教育》和QS公司終止合作,開始單獨(dú)推出自己的世界大學(xué)排名。21世紀(jì)初,中國(guó)的一些社會(huì)團(tuán)體、政府組織或高等教育機(jī)構(gòu)受國(guó)際大學(xué)評(píng)價(jià)的影響,開始嘗試對(duì)中國(guó)的大學(xué)進(jìn)行評(píng)估排名。例如:2003年開始的中國(guó)校友會(huì)大學(xué)排行榜,2004年武漢大學(xué)中國(guó)科學(xué)評(píng)價(jià)研究中心推出的中國(guó)大學(xué)競(jìng)爭(zhēng)力排行榜(簡(jiǎn)稱中評(píng)榜),以及2015年上海軟科教育信息咨詢有限公司推出的中國(guó)最好大學(xué)排名榜(原為上海交通大學(xué)世界一流大學(xué)排名)。面對(duì)各類不同機(jī)構(gòu)推出的大學(xué)排行榜,國(guó)內(nèi)外學(xué)者提出一些質(zhì)疑與建議。胡詠梅認(rèn)為網(wǎng)大高校排名指標(biāo)體系中涉及科研評(píng)價(jià)的指標(biāo)權(quán)重過大,會(huì)使高校不重視“人才培養(yǎng)”這一基本職能。夏振榮等發(fā)現(xiàn)建校歷史、私立大學(xué)和英語大國(guó)高校對(duì)大學(xué)排名具有正面影響,而辦學(xué)歷史、地域條件和大學(xué)性質(zhì)對(duì)大學(xué)排名的影響是有限的。李鵬虎發(fā)現(xiàn)上海交通大學(xué)世界大學(xué)學(xué)術(shù)排名的排名指標(biāo)體系中,數(shù)據(jù)覆蓋面單一,論文指標(biāo)來源多為英文刊物.對(duì)德國(guó)和法國(guó)等一些非英語國(guó)家的頂尖大學(xué)有失公平。
此外,胡澤文等全面系統(tǒng)性闡述和比較分析了國(guó)際代表性高校評(píng)估和排名實(shí)踐在評(píng)估時(shí)采用的特色指標(biāo)和特色評(píng)估方法.為國(guó)內(nèi)高校評(píng)估實(shí)踐提出一些建議:評(píng)估單元應(yīng)該細(xì)化到具體學(xué)科和專業(yè),不同評(píng)估單元應(yīng)該有不同的指標(biāo)和權(quán)重;應(yīng)注重科研商業(yè)化活動(dòng)的評(píng)估:量化評(píng)估與同行評(píng)議應(yīng)該結(jié)合起來;評(píng)估應(yīng)該考慮市場(chǎng)化因素;評(píng)估時(shí)不僅要注重存量指標(biāo),也應(yīng)該注重流量指標(biāo);應(yīng)考慮相對(duì)影響、高被引和低被引指標(biāo)的使用。國(guó)際學(xué)者Aguillo I F等分別測(cè)度了5種國(guó)際性高校排名實(shí)踐之間的相似性,發(fā)現(xiàn)Quacquarelli Symonds公司和西班牙國(guó)家研究委員會(huì)網(wǎng)絡(luò)計(jì)量學(xué)實(shí)驗(yàn)室的歐洲大學(xué)排名結(jié)果之間存在較大差異,而中國(guó)臺(tái)灣地區(qū)財(cái)團(tuán)法人高等教育評(píng)比中心基金會(huì)和荷蘭萊頓大學(xué)科學(xué)技術(shù)研究所提供的歐洲大學(xué)排名結(jié)果相似度較高。Barreto P D和Hans P H發(fā)現(xiàn)政治經(jīng)濟(jì)和文化環(huán)境因素、資金和領(lǐng)導(dǎo)是影響高校名次漲落的重要因素,高校排名也會(huì)導(dǎo)致資助的偏見,排名靠前的高校能夠獲得更多經(jīng)費(fèi)資助。此外,高敏等通過統(tǒng)計(jì)分析2016年中國(guó)最好大學(xué)排名TOPl00高校的區(qū)域差異性,發(fā)現(xiàn)國(guó)內(nèi)百強(qiáng)高校基本呈現(xiàn)東部多西部少、南部多北部少的分布態(tài)勢(shì),區(qū)域經(jīng)濟(jì)發(fā)展水平和富裕程度對(duì)高校排名的影響較大。
1數(shù)據(jù)與研究方法
首先將中國(guó)最好大學(xué)排行榜中TOP100高校在2015-2018年歷年的不同評(píng)價(jià)指標(biāo)數(shù)據(jù)及排名結(jié)果組成面板數(shù)據(jù),實(shí)現(xiàn)融合面板數(shù)據(jù)模型和層次分析模型的指標(biāo)新權(quán)重測(cè)算,然后以2017年中國(guó)最好大學(xué)排行榜的TOP100高校作為評(píng)估對(duì)象,分別實(shí)現(xiàn)基于不同權(quán)重和不同定量評(píng)估方法的高校評(píng)估實(shí)踐,并對(duì)排名結(jié)果進(jìn)行綜合對(duì)比分析。
1.1中國(guó)最好大學(xué)排名指標(biāo)體系
中國(guó)最好大學(xué)排名是由上海軟科教育信息咨詢公司基于第三方公開數(shù)據(jù),采用客觀透明的評(píng)價(jià)指標(biāo)體系和排名方法,對(duì)國(guó)內(nèi)大學(xué)進(jìn)行排名。自2015年開始,每年發(fā)布中國(guó)最好大學(xué)排名榜。該排名2015年并未加入社會(huì)聲譽(yù)這一指標(biāo),但在2018年才開始將培養(yǎng)結(jié)果指標(biāo)權(quán)重從15%更改為10%,加入社會(huì)聲譽(yù)指標(biāo),并將權(quán)重設(shè)定為5%。其余指標(biāo)保持不變。2018年中國(guó)最好大學(xué)排名榜單采用的指標(biāo)及權(quán)重如表1所示(http://cnews.chinadai.1y.com.cn/2018-02/27/content_35746829.htm)。
由表1可知,中國(guó)最好大學(xué)排行榜采用的指標(biāo)均是可以通過統(tǒng)計(jì)數(shù)據(jù)測(cè)度的硬性指標(biāo).其中人才培養(yǎng)類指標(biāo)的權(quán)重最高,達(dá)到45%。人才培養(yǎng)類指標(biāo)中,生源質(zhì)量指標(biāo)最受重視,權(quán)重高達(dá)30%,并將社會(huì)聲譽(yù)指標(biāo)作為人才培養(yǎng)類指標(biāo)的一部分。中國(guó)最好大學(xué)排名也非常重視服務(wù)社會(huì)指標(biāo)和國(guó)際化指標(biāo),權(quán)重分別達(dá)到10%和5%。
此外,一級(jí)指標(biāo)中,科學(xué)研究占比達(dá)到40%,其二級(jí)指標(biāo)一科研規(guī)模、科研質(zhì)量、頂尖成果和頂尖人才的指標(biāo)權(quán)重采用平均分配的原則.各占10%。中國(guó)最好大學(xué)排名對(duì)于生源和科研兩項(xiàng)指標(biāo)最為重視,總權(quán)重達(dá)到85%。該指標(biāo)體系采用的指標(biāo)數(shù)據(jù)均來自第三方數(shù)據(jù)庫,論文數(shù)量、論文質(zhì)量、高被引論文、高被引學(xué)者數(shù)據(jù)均來自Scopus數(shù)據(jù)庫。生源質(zhì)量、培養(yǎng)結(jié)果及社會(huì)聲譽(yù)等指標(biāo)數(shù)據(jù)則采用省級(jí)教育部和統(tǒng)計(jì)年鑒等發(fā)布的數(shù)據(jù)。因此指標(biāo)數(shù)據(jù)具有可獲取性和客觀性。
1.2面板數(shù)據(jù)構(gòu)建
面板數(shù)據(jù)是時(shí)間序列和截面混合數(shù)據(jù),指截面上不同個(gè)體在不同時(shí)點(diǎn)上觀測(cè)的二維數(shù)據(jù)。通過面板數(shù)據(jù)模型測(cè)算高校評(píng)估指標(biāo)權(quán)重是權(quán)重定量測(cè)度的新思路。面板數(shù)據(jù)主要由2015-2018年中國(guó)最好大學(xué)排行榜Top100高校的各指標(biāo)得分?jǐn)?shù)據(jù)和綜合得分?jǐn)?shù)據(jù)組成,具體構(gòu)建過程如下:首先基于原始數(shù)據(jù)和指標(biāo)權(quán)重測(cè)算出Top100高校每個(gè)指標(biāo)的得分?jǐn)?shù)據(jù)和綜合得分?jǐn)?shù)據(jù),然后篩選出2015-2018年期間連續(xù)在前100名中出現(xiàn)的高校指標(biāo)及綜合得分?jǐn)?shù)據(jù)組成面板數(shù)據(jù)。高校指標(biāo)數(shù)據(jù)中剔除了只在2015年和2016年出現(xiàn)的“產(chǎn)學(xué)研合作(校企合作論文)”指標(biāo),以及只在2018年出現(xiàn)的“社會(huì)捐贈(zèng)”指標(biāo)、只在2017年和2018年出現(xiàn)的“學(xué)生國(guó)際化(留學(xué)生比例)”指標(biāo),現(xiàn)共有指標(biāo)8個(gè)。部分高校2015-2018年期間指標(biāo)及其綜合得分的面板數(shù)據(jù)如表2所示(https://www.shang.hairanking,cn/rankings/bcur/201611)。
1.3研究方法
首先將表2面板數(shù)據(jù)中反映高校綜合質(zhì)量的總分設(shè)置為因變量,并標(biāo)記為Y,反映高校不同維度質(zhì)量的指標(biāo)作為自變量.各個(gè)自變量的標(biāo)記分別為:生源質(zhì)量得分(X1)、培養(yǎng)成果得分(X2)、科研規(guī)模得分(X3)、科研質(zhì)量得分(X4)、頂尖成果得分(X5)、頂尖人才得分(X6)、科技服務(wù)得分(X7)和成果轉(zhuǎn)化得分(X8)。同時(shí)根據(jù)中國(guó)最好大學(xué)排名指標(biāo)體系,將反映高校綜合質(zhì)量的所有指標(biāo)進(jìn)行分層,形成高校綜合質(zhì)量評(píng)估的層次結(jié)構(gòu)模型,如表3所示,涵蓋評(píng)估目標(biāo):高校綜合質(zhì)量,標(biāo)記為字母0;3個(gè)一級(jí)指標(biāo)A1、A2和A3;A1的兩個(gè)二級(jí)指標(biāo)X1和X2,標(biāo)記為字母B1和B2;A2的4個(gè)二級(jí)指標(biāo)X3~X6,標(biāo)記為C1~C4;A3的兩個(gè)二級(jí)指標(biāo)X7和X8,標(biāo)記為D1和D2。
然后通過構(gòu)建反映自變量(X1~X2)與因變量(Y)之間多元回歸關(guān)系的面板數(shù)據(jù)模型,借助計(jì)量經(jīng)濟(jì)學(xué)軟件包EViews工具,量化分析各評(píng)估指標(biāo)對(duì)高校綜合排名的重要性,得出反映各指標(biāo)重要性的回歸系數(shù),同時(shí)基于各層指標(biāo)系數(shù)之間差值的絕對(duì)值大小,建立判斷指標(biāo)之間相對(duì)重要性的標(biāo)準(zhǔn),利用層次分析法構(gòu)建各層指標(biāo)相對(duì)重要性的判斷矩陣.并基于判斷矩陣,利用數(shù)學(xué)函數(shù)測(cè)算新的指標(biāo)權(quán)重。最后融合新的指標(biāo)權(quán)重,借助Excel工具,綜合運(yùn)用各類量化評(píng)估方法:TOPSIS法、改進(jìn)型TOPSIS和灰色關(guān)聯(lián)法對(duì)高校排名進(jìn)行評(píng)估檢驗(yàn),并與原始指標(biāo)權(quán)重的評(píng)估結(jié)果進(jìn)行對(duì)比分析。個(gè)體固體效應(yīng)模型和混合模型是面板數(shù)據(jù)模型的兩種類型,個(gè)體固體效應(yīng)模型的數(shù)學(xué)表達(dá)式為:
其中i=1,2,…,N;t=1,2,…T,混合模型也稱不變參數(shù)模型,即所有截面的截距相同(截距c為常數(shù)),系數(shù)相同(自變量前的系數(shù)β不變)。此外,層次分析法、TOPSIS法和灰色關(guān)聯(lián)法的數(shù)學(xué)原理、評(píng)估過程和評(píng)估實(shí)踐參考胡澤文主編的書藉《信息資源評(píng)估理論與實(shí)踐》。
2融合面板模型和層次分析法的新權(quán)重測(cè)算
2.1面板數(shù)據(jù)選擇與分析
將Y作為因變量,X1~X2作為自變量,分別采用混合模型(Pooled Regression Model)和個(gè)體固定效應(yīng)回歸模型(Fixed Effects Regression Model)對(duì)表2所示TOP100中國(guó)高校組成的面板數(shù)據(jù)進(jìn)行擬合分析,結(jié)果如表4所示。
為了檢驗(yàn)固定效應(yīng)模型是否比混合模型更合適表2面板數(shù)據(jù)的擬合,冗余性F檢驗(yàn)被采用。F檢驗(yàn)假設(shè):
H0:模型中不同個(gè)體的截距相同。
H1:模型中不同個(gè)體的截距項(xiàng)a不同。
檢驗(yàn)結(jié)果顯示F檢驗(yàn)的概率為0.408.概率不顯著,表示接受零假設(shè).因此應(yīng)該摒棄固定效應(yīng)模型,選擇混合效應(yīng)模型。根據(jù)表4中8個(gè)指標(biāo)變量與評(píng)價(jià)總得分之間的回歸系數(shù)關(guān)系,構(gòu)建混合模型的數(shù)學(xué)表達(dá)式:
2.2融合層次分析法的指標(biāo)相對(duì)重要性標(biāo)準(zhǔn)建立
判斷矩陣作為層次分析法的計(jì)算基礎(chǔ),矩陣元素的值是人們對(duì)各因素相對(duì)重要性認(rèn)識(shí)的反映,對(duì)決策效果或評(píng)估結(jié)果會(huì)產(chǎn)生直接重要的影響。判斷矩陣的元素一般采用1~9及其倒數(shù)的標(biāo)度方法。但由于具體情況的不同,筆者結(jié)合Saaty教授提出的“1~9標(biāo)度方法”.建立反映各指標(biāo)相對(duì)重要性的判斷標(biāo)準(zhǔn),從而形成高校評(píng)價(jià)指標(biāo)層次結(jié)構(gòu)模型及其對(duì)應(yīng)的判斷矩陣。通過分析反映各指標(biāo)重要性的回歸系數(shù)及其差值大?。ū?混合模型擬合結(jié)果),發(fā)現(xiàn)各指標(biāo)回歸系數(shù)差值的絕對(duì)值主要在0~0.5之間.因此對(duì)傳統(tǒng)“1~9標(biāo)度”的相對(duì)重要性標(biāo)準(zhǔn)依據(jù)指標(biāo)系數(shù)差值的絕對(duì)值區(qū)間進(jìn)行重新設(shè)定為:差值絕對(duì)值為“0”表示兩個(gè)指標(biāo)對(duì)其上級(jí)指標(biāo)同樣重要,標(biāo)度為1;“0.05~0.1”表示兩個(gè)指標(biāo)相比,一個(gè)比另一個(gè)稍微重要,標(biāo)度為3:“0.15~0.2”表示兩個(gè)指標(biāo)相比,一個(gè)比另一個(gè)明顯重要,標(biāo)度為5;“0.25~0.3”表示兩個(gè)指標(biāo)相比,一個(gè)比另一個(gè)強(qiáng)烈重要,標(biāo)度為7;“大于0.35”表示兩個(gè)指標(biāo)相比.一個(gè)比另一個(gè)極端重要,標(biāo)度為9。此外,標(biāo)度2表示介于標(biāo)度1和3之間的重要性,標(biāo)度4、6和8表示類似含義。具體標(biāo)準(zhǔn)如表5所示。
2.3融合面板數(shù)據(jù)模型和層次分析法的新權(quán)重測(cè)算
基于表4所示混合模型擬合出的8個(gè)具體指標(biāo)得分與高校綜合質(zhì)量得分之間的回歸系數(shù)大小,測(cè)算出各指標(biāo)兩兩之間的絕對(duì)值,與表5所示新建立的1~9標(biāo)度進(jìn)行匹配,建立4個(gè)判斷矩陣:評(píng)估目標(biāo)(0)及其一級(jí)指標(biāo)(A)矩陣O-A、一級(jí)指標(biāo)A,及其二級(jí)指標(biāo)矩陣A-B、一級(jí)指標(biāo)A,及其二級(jí)指標(biāo)矩陣A-C、一級(jí)指標(biāo)A,及其二級(jí)指標(biāo)矩陣A-D。其中矩陣0-A建立過程中,評(píng)估目標(biāo)(O)的3個(gè)一級(jí)指標(biāo)A1~A3的回歸系數(shù)由其子指標(biāo)系數(shù)求和所得。然后對(duì)4個(gè)判斷矩陣進(jìn)行一致性檢驗(yàn),并應(yīng)用“和積法”計(jì)算指標(biāo)權(quán)重。一致性檢驗(yàn)標(biāo)準(zhǔn)為CR值,當(dāng)CR的值小于0.1時(shí),判斷矩陣具有令人滿意的一致性。CR=CI/RI,其中CI為一致性指標(biāo),等于(最大特征根一階數(shù))/(階數(shù)一1),RI為矩陣階數(shù)對(duì)應(yīng)的值(查表可得)。
基于4個(gè)判斷矩陣O-A、A1-B、A2-C和A3一D計(jì)算出各指標(biāo)的權(quán)重,以及4個(gè)判斷矩陣的一致性檢驗(yàn)標(biāo)準(zhǔn)CR。結(jié)果顯示4個(gè)判斷矩陣的CR分別為0.047、0、0.045和0,全部小于0.1,符合一致性檢驗(yàn)標(biāo)準(zhǔn)。其中表6和表7展示了判斷矩陣O-A和A1-B的指標(biāo)權(quán)重及一致性檢驗(yàn)結(jié)果,其中矩陣A-B中的數(shù)字7表示指標(biāo)B,比B,強(qiáng)烈重要(從兩個(gè)指標(biāo)系數(shù)絕對(duì)值差0.278可以判斷)。表8展示了各層指標(biāo)權(quán)重相對(duì)于評(píng)估目標(biāo)(O)的層次總排序,得到8個(gè)具體指標(biāo)對(duì)于評(píng)估目標(biāo)的重要性,即指標(biāo)的最終權(quán)重。其中B,和B,的最終權(quán)重由B1和B2權(quán)重分別乘以A1權(quán)重所得;C1~C4最終權(quán)重由C1~C4各自權(quán)重分別乘以A2權(quán)重。
2.4融合原始權(quán)重的層次分析權(quán)重
依據(jù)表1所示各指標(biāo)的原始權(quán)重,判斷指標(biāo)之間的相對(duì)重要性,構(gòu)建4個(gè)判斷矩陣O-A、A1-B、A2-C和A3-D。其中A2和A3一級(jí)指標(biāo)下的C1、C2、C3、C4和D1、D2、D3權(quán)重一樣,因此其權(quán)重分別是上一級(jí)權(quán)重的1/4和1/3,故不建立相應(yīng)矩陣進(jìn)行計(jì)算。其中表9展示了判斷矩陣O-A的指標(biāo)權(quán)重及一致性檢驗(yàn)結(jié)果。表10展示了各層指標(biāo)權(quán)重相對(duì)于評(píng)估目標(biāo)(O)的層次總排序,即指標(biāo)的最終權(quán)重。具體計(jì)算過程和方法與2.3部分相同。
2.5新權(quán)重與原始權(quán)重之間的比較分析
基于2017年中國(guó)最好大學(xué)評(píng)價(jià)指標(biāo)體系各層指標(biāo)的原始權(quán)重,通過兩兩比較各層指標(biāo)的相對(duì)重要性(通過原始權(quán)重差值比較),建立相應(yīng)的判斷矩陣,測(cè)算出基于原始權(quán)重的新權(quán)重。表11比較分析了所選8個(gè)指標(biāo)的原始權(quán)重(記為權(quán)重1)、融合原始權(quán)重的層次分析權(quán)重(權(quán)重2)、融合面板數(shù)據(jù)模型的層次分析權(quán)重(權(quán)重3)。
從表11可以看出,在一級(jí)指標(biāo)A1~A3權(quán)重方面.權(quán)重1和權(quán)重2的指標(biāo)權(quán)重大小不一樣,但權(quán)重排序仍然一樣,A1“人才培養(yǎng)”仍然排第一,A3“服務(wù)社會(huì)”排第三,然而基于面板模型測(cè)算的權(quán)重3中,A2“科學(xué)研究”的權(quán)重排第一。在二級(jí)指標(biāo)權(quán)重方面,3類權(quán)重中排名第一仍然是B1指標(biāo)“生源質(zhì)量”。權(quán)重2是基于原始權(quán)重1的層次分析權(quán)重,兩類權(quán)重的指標(biāo)值差異相對(duì)較小,C1~C4和D1~D2權(quán)重值各自相等,無差異。權(quán)重3是基于高校各指標(biāo)面板數(shù)據(jù)擬合分析結(jié)果的基礎(chǔ)上進(jìn)行層次分析得到的新權(quán)重,各指標(biāo)權(quán)重之間的差值相對(duì)較大,區(qū)分明顯,較具客觀性。例如:權(quán)重1中的4個(gè)指標(biāo)C1~C4權(quán)重全部為10%,權(quán)重2中的4個(gè)指標(biāo)C1~C4權(quán)重全部為9%,而權(quán)重3中的4個(gè)指標(biāo)C1~C4權(quán)重各不相同,分別為13%、10%、7%、27%,各指標(biāo)的重要程度區(qū)分明顯。
3融合新型評(píng)估權(quán)重和方法的中國(guó)高校評(píng)估檢驗(yàn)
分別運(yùn)用TOPSIS法、改進(jìn)型TOPSIS和灰色關(guān)聯(lián)法對(duì)所選高校進(jìn)行評(píng)估檢驗(yàn)和比較分析,并與原始指標(biāo)權(quán)重的評(píng)估結(jié)果進(jìn)行對(duì)比分析.借此檢驗(yàn)新型定量評(píng)估權(quán)重和方法的有效性和健壯性,同時(shí)比較分析不同評(píng)估方法和權(quán)重下高校評(píng)估結(jié)果之間的差異。
3.1基于TOPSIS法和改進(jìn)型TOPSIS法的高校評(píng)估檢驗(yàn)
1)評(píng)估對(duì)象及原始數(shù)據(jù)
評(píng)估對(duì)象及原始數(shù)據(jù)由2017年中國(guó)最好大學(xué)排名結(jié)果中的Topl00所大學(xué)及其8個(gè)評(píng)估指標(biāo)數(shù)據(jù)組成。由于原始數(shù)據(jù)中存在指標(biāo)值為零的高校,會(huì)影響評(píng)估結(jié)果,因此刪除指標(biāo)值為“0”的高校,共剩下72所高校作為評(píng)估對(duì)象(部分高水平大學(xué)會(huì)因指標(biāo)值缺失未選人樣本),72所高校名稱及其指標(biāo)數(shù)據(jù)如表12所示(部分)。
為了計(jì)量比較不同指標(biāo)權(quán)重下的改進(jìn)型TOP.SIS法評(píng)估結(jié)果差異,分別使用表8所示層次分析法指標(biāo)權(quán)重和表13所示熵值法權(quán)重對(duì)表14標(biāo)準(zhǔn)化矩陣進(jìn)行加權(quán),形成原始標(biāo)準(zhǔn)化矩陣、層次分析法權(quán)重加權(quán)的標(biāo)準(zhǔn)化矩陣和熵值法權(quán)重加權(quán)的標(biāo)準(zhǔn)化矩陣,并測(cè)算出3類標(biāo)準(zhǔn)化矩陣下的各高校接近程度C,對(duì)所選高校進(jìn)行評(píng)估排名。傳統(tǒng)TOPSIS法排名、熵值加權(quán)的TOPSIS法排名和層次分析權(quán)重的TOPSIS法排名結(jié)果,如表16所示。
如表16所示.傳統(tǒng)TOPSIS法排名和熵值加權(quán)的改進(jìn)TOPSIS法排名結(jié)果一致性相對(duì)較高.前5名的高校名單完全一致。筆者設(shè)計(jì)的融合面板數(shù)據(jù)模型和層次分析新權(quán)重的TOPSIS法高校排名結(jié)果取得較好效果,排名結(jié)果的前5名高校與中國(guó)最好大學(xué)排名的前5名高校名次完全一致,仍然是清華大學(xué)、北京大學(xué)、浙江大學(xué)、上海交通大學(xué)和復(fù)旦大學(xué)。
3.2融合新權(quán)重的灰色關(guān)聯(lián)法高校評(píng)估分析
融入表8所示基于面板數(shù)據(jù)模型和層次分析法測(cè)算出的8個(gè)指標(biāo)新權(quán)重,利用灰色系統(tǒng)關(guān)聯(lián)法對(duì)所選72所高校進(jìn)行灰色關(guān)聯(lián)評(píng)估排名?;疑P(guān)聯(lián)評(píng)價(jià)模型的構(gòu)建過程:首先建立目標(biāo)特征矩陣.設(shè)有M所高校有N項(xiàng)評(píng)價(jià)指標(biāo),建立MxN階目標(biāo)特征值矩陣X。
在該矩陣中X(K)表示第i個(gè)高校的第K項(xiàng)指標(biāo)值。同時(shí)從矩陣X中篩選每項(xiàng)指標(biāo)的最優(yōu)值,形成最優(yōu)數(shù)列:X(K)。為了實(shí)現(xiàn)不同類型指標(biāo)之間的比較,利用正向指標(biāo)的區(qū)間值標(biāo)準(zhǔn)化式(4)對(duì)矩陣X進(jìn)行規(guī)范化處理,即無量綱化。
然后利用表8所示的8個(gè)指標(biāo)層次分析法權(quán)重對(duì)矩陣X進(jìn)行加權(quán).并計(jì)算分析各高校的灰色關(guān)聯(lián)度,即求出每所高校的比較系列xi(露)與參考系列X(K)的絕對(duì)差:AXi(K)=X(K)-X(K),并找出其最大值A(chǔ)max和最小值A(chǔ)min,繼而利用式(5)和式(6)計(jì)算每所高校的關(guān)聯(lián)系數(shù)和關(guān)聯(lián)度.其計(jì)算公式如下:
其中P值設(shè)定的目的在于調(diào)整比較環(huán)境的大小,通常取值范圍在0~1之間。最后基于上述灰色關(guān)聯(lián)度計(jì)算過程測(cè)算出72所高校的灰色關(guān)聯(lián)度大小,并進(jìn)行排名,具體排名結(jié)果如表17所示。各高校灰色關(guān)聯(lián)度的具體計(jì)算過程參見書藉《信息資源評(píng)估理論與實(shí)踐》。
表17所示的各高校灰色關(guān)聯(lián)度越大.表示高校比較序列與參考序列之間的關(guān)系越近,其排名越靠前??梢悦黠@看出的是,表17所列舉出的灰色關(guān)聯(lián)度TOP15高校與2017年中國(guó)最好大學(xué)排名的TOP15高校具有較高的一致性,其中兩類排名的前6名高校名單完全一致,說明融合新權(quán)重的灰色關(guān)聯(lián)評(píng)估能夠取得較好的評(píng)估效果。
4結(jié)論
通過設(shè)計(jì)和實(shí)現(xiàn)融合面板數(shù)據(jù)模型及層次分析模型的新權(quán)重測(cè)算,實(shí)證檢驗(yàn)和比較分析了融合新權(quán)重的各類評(píng)估方法是否具有較優(yōu)的評(píng)估效果和實(shí)際應(yīng)用前景,具體評(píng)估結(jié)果如表18所示。表18展示了2017年中國(guó)最好大學(xué)排名靠前72所高校中TOP20所高校的原始排名(記為排名A)、融合面板數(shù)據(jù)模型和層次分析法權(quán)重的灰色關(guān)聯(lián)度排名(排名B)、融合面板數(shù)據(jù)模型和層次分析法權(quán)重的TOPSIS法排名(排名C)、融合熵值法權(quán)重的改進(jìn)TOPSIS法排名(排名D)、TOPSIS法排名(排名E)、高校最大最小名次的差值F和差值G。差值F表示每所高校在排名A至排名E中的最大最小名次差值;差值G表示每所高校在排名A和排名B中的最大最小名次差值:差值H表示每所高校在排名A和排名c中的最大最小名次差值。
表18所示5種高校排名使用的數(shù)據(jù)相同,而評(píng)估方法和指標(biāo)權(quán)重不同,因此具有可比性。5種排名以原始排名TOP20高校為比較標(biāo)準(zhǔn),通過比較其他4種排名結(jié)果在高校原始排名順序上的差異,發(fā)現(xiàn)不同評(píng)估方法和權(quán)重所得的高校排名之間是否具有一致性。此外,設(shè)計(jì)的4種排名方法客觀性和定量化較高.均通過客觀權(quán)重和客觀評(píng)估方法實(shí)現(xiàn)。從表18可以發(fā)現(xiàn)一些有意義的結(jié)論:
1)總體來看,5種排名中高校最高最低名次差值的平均值相對(duì)較高,為10.84。高校排名結(jié)果會(huì)受到指標(biāo)權(quán)重和評(píng)估方法的影響.基于同種指標(biāo)體系和相同數(shù)據(jù),但使用不同的評(píng)估方法和權(quán)重得到的高校排名結(jié)果之間會(huì)有所差異。綜合實(shí)力越靠前的高校,基于不同評(píng)估方法和權(quán)重的排名結(jié)果吻合度越高;綜合實(shí)力越靠后的高校,在5種排名結(jié)果中的吻合度越低.甚至?xí)霈F(xiàn)部分高校不同方法排名結(jié)果差值達(dá)到30的較大差異。
2)融合新型面板數(shù)據(jù)模型和層次分析模型權(quán)重的灰色關(guān)聯(lián)度排名(排名B)和改進(jìn)TOPSIS法排名(排名C)在前5名高校的排名順序上與原始排名(排名A)完全一致;排名B與原始排名A中的TOP20所高校名次差值G的平均值僅為較低的1.15,TOP72所高校名次差值G的平均值為3.39:排名C與原始排名A中的TOP20所高校名次差值H的平均值僅為1.8,TOP72所高校名次差值H的平均值為3.64。其他兩種排名——融合熵值法權(quán)重的改進(jìn)TOPSIS法排名(排名D)和TOP.SIS法排名(排名E)結(jié)果之間具有較高的一致性,兩類排名中的前5名高校名次順序基本一致,TOP20所高校的名次差值平均值為1.65,TOP72所高校名次差值平均值為3.5。然而排名D和排名E與原始排名A的高校排名順序有較大差異,例如:排名D與原始排名A的TOP20所高校名次差值平均值為3.55,TOP72所高校名次差值平均值為5.78.比排名B和原始排名A的TOP20所高校名次差值平均值1.15高出2.4,比TOP72所高校名次差值平均值3.39高出2.39。
3)5種高校排名結(jié)果的前5名高校名次差異極小,每所高校最大名次與最小名次的差值在2以內(nèi)。在原始排名第6至第15名的高校名次方面,5種排名高校名次差值最大的是南開大學(xué)和北京師范大學(xué),差值均為21??傮w來說,排名A和排名B的TOP15高校名次比較接近.最高名次與最低名次的差值最大為4。而排名D和排名E的TOPl5高校名次比較接近,最高名次與最低名次的差值最大為8(僅1所高校),其他高校的差值均在4及其以下。