李 蓓,周柯為,李燕峰,吳令珂
(1.中南大學(xué) 生命科學(xué)院,湖南 長沙410013;2.中南大學(xué) 統(tǒng)戰(zhàn)部,湖南 長沙410083;3.華南理工大學(xué) 經(jīng)濟(jì)與貿(mào)易學(xué)院,廣東 廣州510006)
當(dāng)前,如何在高校坐標(biāo)系中找準(zhǔn)自己的定位,挖掘自身科研優(yōu)勢、在激烈的競爭中脫穎而出、有針對性地提出科學(xué)的發(fā)展規(guī)劃是每所學(xué)校面臨的重要課題[1-2]。越來越多的高校開始引進(jìn)科研績效分析工具,較為典型的有InCite、SciVal套件等,國內(nèi)也相繼出現(xiàn)了如“中國高校基本指標(biāo)數(shù)據(jù)庫與診斷系統(tǒng)”(以下簡稱“診斷系統(tǒng)”)及“中國高??蒲谐晒y(tǒng)計(jì)分析數(shù)據(jù)庫”(以下簡稱“成果分析數(shù)據(jù)庫”)等科研評價(jià)工具,用以支持高??蒲泄芾砼c決策。本文從科學(xué)成果評價(jià)的角度分別從數(shù)據(jù)來源、學(xué)科分類、時(shí)間范圍、重要計(jì)量指標(biāo)等方面對三種科研評價(jià)系統(tǒng)進(jìn)行比較,分析這三個(gè)數(shù)據(jù)庫的特色及其優(yōu)勢,并以中南大學(xué)為實(shí)例,將科研產(chǎn)出、影響力、相同指標(biāo)數(shù)據(jù)進(jìn)行對比,為高??蒲泄芾砉ぷ骷霸O(shè)計(jì)綜合性評價(jià)體系提供參考。
SciVal是愛思唯爾于2014年推出的新型學(xué)術(shù)績效評價(jià)工具,是原有產(chǎn)品SciVal Spotlight和SciVal Strata整合升級后的新產(chǎn)品。它集成了Spotlight和Strata的強(qiáng)大分析能力,同時(shí)還增加了更多的評價(jià)指標(biāo),提高了計(jì)算的復(fù)雜度[3]?,F(xiàn)包括5大板塊:Overview(成果概述)、Benchmarking(對標(biāo)分析)、Collaboration(合作伙伴的拓展)、Trends(研究趨勢的預(yù)測)、My SciVal(我的SciVal)。該平臺包含全球220余個(gè)國家超過4 600家大學(xué)及科研機(jī)構(gòu)的數(shù)據(jù),全面支持科研績效分析、院校之間的橫向比較、以及拓展國際合作[4]。SciVal以幫助高校決策者制定、評價(jià)和執(zhí)行交叉學(xué)科科研策略為目的,基于Elsevier旗下的Scopus文摘與引文數(shù)據(jù)庫,采用近5年的數(shù)據(jù),從跨學(xué)科的角度揭示科研績效的產(chǎn)出,通過共引聚類原理和可視化技術(shù),把這些評價(jià)指標(biāo)展現(xiàn)在使用者面前。目前,Scopus和Scival已經(jīng)為泰晤士國際大學(xué)排名、QS國際大學(xué)排名、US News大學(xué)排名以及上海交通大學(xué)Ranking等全球知名的國際大學(xué)排名機(jī)構(gòu)提供統(tǒng)計(jì)數(shù)據(jù)庫源和評價(jià)指標(biāo)。
中國高?;局笜?biāo)數(shù)據(jù)庫與診斷系統(tǒng)是山西瀛珈數(shù)據(jù)科技有限公司研發(fā)的產(chǎn)品,專注于高等教育數(shù)據(jù)的收集、組織、挖掘與分析,為高校健康持續(xù)發(fā)展提供數(shù)據(jù)支撐、系統(tǒng)工具和決策參考。診斷系統(tǒng)包括高校診斷、學(xué)科診斷、人才遴選、雙一流學(xué)科潛力分析四個(gè)模塊。指標(biāo)呈現(xiàn)為一、二、三級,共有10個(gè)一級指標(biāo)、36個(gè)二級指標(biāo)、160余個(gè)三級指標(biāo),分別從基礎(chǔ)資源、學(xué)科建設(shè)、人才引進(jìn)、人才培養(yǎng)、科研成果、經(jīng)費(fèi)投入、社會服務(wù)、排行排名等方面出發(fā)進(jìn)行評價(jià),評價(jià)維度廣泛,與評價(jià)單一的學(xué)術(shù)影響力不同,該數(shù)據(jù)庫適用于綜合評價(jià)。
中國高??蒲谐晒y(tǒng)計(jì)分析數(shù)據(jù)庫是CNKI在中國知網(wǎng)總庫基礎(chǔ)上研發(fā)的為高校科研管理人員提供評定高??蒲谐晒亩糠治龉ぞ?。它由五大部分組成,包括概覽、全國高校、全國作者、本校分析與對比分析,其中概覽是從地區(qū)、學(xué)科、年度、高被引論文、熱點(diǎn)文獻(xiàn)、熱詞進(jìn)行分析的。該數(shù)據(jù)庫能夠從地區(qū)、高校、作者、學(xué)科等維度對高校方面進(jìn)行統(tǒng)計(jì)與分析,提供基于發(fā)文量、被引頻次、下載量等多項(xiàng)統(tǒng)計(jì)指標(biāo)及綜合指標(biāo),并能實(shí)現(xiàn)任意高校間對比分析等功能,滿足高??蒲泄芾?、建設(shè)一流大學(xué)和一流學(xué)科的需求。
從不同評價(jià)系統(tǒng)的介紹可以看出,這三類數(shù)據(jù)庫的總體目標(biāo)是一致的,即為高校及學(xué)術(shù)研究機(jī)構(gòu)的科研管理和決策提供服務(wù),但在功能設(shè)置上區(qū)別較大。這三種數(shù)據(jù)庫的具體功能比較見表1。
表1 三種科研評價(jià)工具的功能比較
(續(xù)上表)
數(shù)據(jù)來源及其分布決定科學(xué)評價(jià)的準(zhǔn)確性、可靠性及全面性,不同的數(shù)據(jù)來源會導(dǎo)致統(tǒng)計(jì)數(shù)據(jù)存在差異[5]。SciVal使用Elsevier旗下的文獻(xiàn)研究工具Scopus作為數(shù)據(jù)來源。Scopus是全球最大的文摘與引文數(shù)據(jù)庫,包含45.5萬條記錄(其中70%有摘要),并收錄全球5 000家出版商的近19 500個(gè)條目,數(shù)據(jù)來源龐大。與SciVal相比,國內(nèi)開發(fā)的科研評價(jià)數(shù)據(jù)庫診斷系統(tǒng)主要以各類政府網(wǎng)站、科研數(shù)據(jù)庫作為數(shù)據(jù)來源,如教育部、財(cái)政部網(wǎng)站、中國學(xué)位與研究生教育信息網(wǎng)、ESI數(shù)據(jù)庫、Web of Science數(shù)據(jù)庫等,數(shù)據(jù)來源廣泛,評價(jià)維度也更為全面,但也可能存在數(shù)據(jù)收集不及時(shí)的問題。成果分析數(shù)據(jù)庫與診斷系統(tǒng)較為類似,它使用CNKI的中國知網(wǎng)總庫作為數(shù)據(jù)來源,統(tǒng)計(jì)了972所普通本科院校的國內(nèi)學(xué)術(shù)期刊論文、WOS期刊論文、博士碩士學(xué)位論文、國內(nèi)會議論文、CPCI-S論文、CPCI-SSH論文、國內(nèi)外專利、基金項(xiàng)目、獎勵等成果。從它們的數(shù)據(jù)來源可以看出,三類數(shù)據(jù)庫解決的問題是有差異的,SciVal是基于論文發(fā)表為基礎(chǔ)的分析系統(tǒng),主要統(tǒng)計(jì)分析收錄在Scopus數(shù)據(jù)庫中的外文文獻(xiàn)、專利等;成果分析數(shù)據(jù)庫的核心在于統(tǒng)計(jì)中文文獻(xiàn)的發(fā)表情況及其在各類核心期刊中的分布;診斷系統(tǒng)特點(diǎn)在于對各校各專業(yè)人才、項(xiàng)目、精品課程、論文論著產(chǎn)出的統(tǒng)計(jì),為高校多方面的表現(xiàn)提供意見。
細(xì)致具體的學(xué)科類別更加接近真實(shí)學(xué)科結(jié)構(gòu),使得對學(xué)科科研績效的評價(jià)更為準(zhǔn)確,并可進(jìn)一步深入挖掘?qū)W科優(yōu)勢。SciVal的學(xué)科分類有三種:Scopus的學(xué)科領(lǐng)域分類法All Science Journal Classification(ASJC),包含27個(gè)學(xué)科領(lǐng)域以及334個(gè)細(xì)分學(xué)科;Quacquarelli Symonds(QS)分類,它涵蓋6個(gè)學(xué)科領(lǐng)域和63個(gè)科目;Times Higher Education Classification(THE)分類,它涵蓋ASJC的11個(gè)主題領(lǐng)域。值得一提的是,SciVal對論文的學(xué)科歸屬,是通過文后引文的學(xué)科分布對文獻(xiàn)進(jìn)行分?jǐn)?shù)化處理(fractional),然后給予不同權(quán)重,再分配到多個(gè)學(xué)科領(lǐng)域進(jìn)行的,這樣可以更加準(zhǔn)確地分析這篇論文以及它對多學(xué)科領(lǐng)域做出的貢獻(xiàn)。但工具本身不提供與教育部學(xué)科分類體系的映射,需要手動進(jìn)行匹配??蒲谐晒麛?shù)據(jù)庫采用教育部專業(yè)分類法,設(shè)13個(gè)學(xué)科大類,103個(gè)一級學(xué)科,359個(gè)二級學(xué)科進(jìn)行評價(jià),實(shí)現(xiàn)了高校及其學(xué)者成果的分學(xué)科統(tǒng)計(jì),支持高校對學(xué)科發(fā)展水平分類評價(jià)和同類比較研究,也支持高校對人才評價(jià)、人才引進(jìn)和尋找學(xué)科專家的需求。診斷系統(tǒng)在進(jìn)行科研成果分析時(shí),以ESI數(shù)據(jù)庫與Web of Science數(shù)據(jù)庫為來源的三級指標(biāo)既可以使用ESI學(xué)科分類法,也可以使用教育部專業(yè)分類法進(jìn)行檢索。
三種評價(jià)系統(tǒng)的評價(jià)指標(biāo)設(shè)計(jì)層次不同,而期刊論文的數(shù)量與質(zhì)量是科研評估的重點(diǎn),因此選取其中的論文評價(jià)指標(biāo)進(jìn)行比較。從論文發(fā)表的角度來看,三種數(shù)據(jù)庫的指標(biāo)體系也有差異(見圖1)。SciVal評價(jià)系統(tǒng)中包括科研產(chǎn)出數(shù)、歸一化影響因子、總被引次數(shù)、篇均被引次數(shù)、被引量前10%論文數(shù)、Citescore10%期刊論文數(shù)、瀏覽數(shù)、瀏覽數(shù)前10%期刊論文數(shù)、篇均瀏覽量、瀏覽的歸一化影響因子等。其中歸一化影響因子(FWCI)是SciVal特有的指標(biāo),是文獻(xiàn)實(shí)際被引量與(學(xué)科)領(lǐng)域內(nèi)的平均被引量的比值,可用以衡量科研質(zhì)量。通過對學(xué)科和發(fā)表時(shí)間的歸一化,可以在不同學(xué)科構(gòu)成背景下觀察科研影響力的按年趨勢。FWCI一般以1.00為分界線,大于1.00表示科研產(chǎn)出影響力高于世界平均水平,小于1.00則低于世界平均水平。
成果分析數(shù)據(jù)庫關(guān)于論文發(fā)表情況的統(tǒng)計(jì)分為兩類:國內(nèi)期刊論文與發(fā)表在Web of Science(WOS期刊)上的論文。其中國內(nèi)期刊論文又分為學(xué)術(shù)期刊、核心期刊與全部期刊,采用發(fā)文量、被引頻次、篇均被引、高被引論文、熱點(diǎn)論文、各大核心期刊收錄論文等指標(biāo)。論文所在的期刊分區(qū)是論文質(zhì)量的一大證明,一般來說,論文的期刊分區(qū)越高,論文的水準(zhǔn)也越好。該數(shù)據(jù)庫統(tǒng)計(jì)了WOS期刊中不同JCR分區(qū)的論文數(shù)。這使得科研評價(jià)工作者對發(fā)表的論文層次高低有把握,而不是一概而論。從圖1可以看出,成果分析數(shù)據(jù)庫關(guān)于論文的評價(jià)指標(biāo)多且細(xì)。從指標(biāo)設(shè)置來看,診斷系統(tǒng)注重于評價(jià)高校的綜合能力,適用于高??蒲泄芾砣藛T。相對前兩個(gè)科研評價(jià)工具而言,診斷系統(tǒng)關(guān)于論文發(fā)表情況的指標(biāo)較少,更多地集中在評價(jià)學(xué)?;A(chǔ)資源、師資力量及其他科研成果方面的表現(xiàn)。論文評價(jià)指標(biāo)共設(shè)置了7個(gè),分別是SCI收錄論文、SSCI收錄論文、CSSCI收錄論文、CSSCI重要論文、Science,Nature和CELL論文、ESI高被引及熱點(diǎn)論文,可以看出,診斷系統(tǒng)主要是對高層次論文進(jìn)行統(tǒng)計(jì)。
圖1 三大科研評價(jià)工具論文評價(jià)指標(biāo)體系
診斷系統(tǒng)與成果分析數(shù)據(jù)庫有較多的指標(biāo)類似,如SCI收錄論文、ESI高被引論文、國家自然科學(xué)基金數(shù)、專利授權(quán)數(shù)等(見圖2)。由于數(shù)據(jù)來源的差異,SciVal的指標(biāo)設(shè)置與其他兩個(gè)科研評價(jià)工具大相徑庭。
圖2 診斷系統(tǒng)與成果分析數(shù)據(jù)庫相同指標(biāo)
為了更直觀地展現(xiàn)這三種評價(jià)工具的特性和共性,本研究收集了中南大學(xué)在各評價(jià)工具中的表現(xiàn),從科學(xué)論文產(chǎn)出、影響力和相同指標(biāo)數(shù)據(jù)差異進(jìn)行比較,分析這三種科研評價(jià)工具的適用性。
通過SciVal中Overview模塊,以2013-2018年為時(shí)間單位,可得到科研產(chǎn)出(Scholarly Output)、總被引(Citation Count)、篇均被引(Citation per Publication)、歸一化影響因子(Field-Weighted Citation Impact)、h5指數(shù)、前10%高被引文獻(xiàn)占比、前10%期刊文獻(xiàn)占比、國際合作文獻(xiàn)比例等。SciVal可以從文章標(biāo)題、摘要以及關(guān)鍵詞中提取具有特質(zhì)性的關(guān)鍵詞,并通過領(lǐng)域內(nèi)的專業(yè)詞表進(jìn)行抽取,進(jìn)行學(xué)科研究通過對中南大學(xué)2013-2017年發(fā)表的文獻(xiàn)進(jìn)行統(tǒng)計(jì)分析,得出可視化結(jié)果(見圖3),可以發(fā)現(xiàn),中南大學(xué)在鋰化合物、電池、鋰合金、二次電池等主題成果豐碩,也印證了中南大學(xué)材料工程、冶金等學(xué)科的優(yōu)勢。
圖3 中南大學(xué)2013-2017年研究主題可視化分析
還可以通過Benchmarking模塊,與其他類型的院校進(jìn)行評價(jià)與比較,有助于揭示學(xué)校的科研影響力,找到自己的優(yōu)勢,明確差距和不足。在Trends模塊中,研究者可以準(zhǔn)確掌握學(xué)科領(lǐng)域研究熱點(diǎn),無論是對于學(xué)者的學(xué)術(shù)研究,科研管理者有效開展科研管理工作,還是決策者實(shí)行學(xué)科規(guī)劃,都是極其重要的。由于數(shù)據(jù)來源的差異,兩個(gè)國內(nèi)科研評價(jià)工具指標(biāo)設(shè)置與SciVal迥異,且指標(biāo)種類豐富,涉及廣泛,因此單獨(dú)整理了每個(gè)評價(jià)工具提供的所有指標(biāo),并選用了兩個(gè)中文評價(jià)工具共同擁有的指標(biāo)進(jìn)行對比分析。從表2可知,兩個(gè)數(shù)據(jù)庫相同指標(biāo)的數(shù)據(jù)有一定差異。診斷系統(tǒng)中SCI、SSCI收錄論文數(shù)均比成果分析數(shù)據(jù)庫少,而發(fā)明專利授權(quán)數(shù)比成果分析數(shù)據(jù)庫高出3倍多,其他指標(biāo)如高被引論文、熱門論文數(shù)則相差無幾。研究認(rèn)為可能存在以下幾個(gè)問題:數(shù)據(jù)收集具有滯后性、論文發(fā)表署名單位使用其他寫法等??梢妰蓚€(gè)數(shù)據(jù)庫評價(jià)的側(cè)重點(diǎn)有所不同,成果分析數(shù)據(jù)庫指標(biāo)設(shè)置側(cè)重學(xué)術(shù)論文評價(jià),對學(xué)術(shù)論文進(jìn)行了細(xì)致全面的分類,而診斷系統(tǒng)側(cè)重于對高校概況性、發(fā)展性的評估。
表2 兩個(gè)國內(nèi)科研評價(jià)工具相同指標(biāo)數(shù)據(jù)對比(2018年)
通過以上功能對比和實(shí)證研究可以看出,國內(nèi)研發(fā)的診斷系統(tǒng)與成果分析數(shù)據(jù)庫與同國際接軌的SciVal工具存在一定差異,但都有各自的特色,具體如下:
三種評價(jià)系統(tǒng)的數(shù)據(jù)來源不同。成果分析數(shù)據(jù)庫的中文文獻(xiàn)發(fā)表數(shù)據(jù)主要來源于CNKI,英文文獻(xiàn)發(fā)表數(shù)據(jù)主要來自Web of Science,診斷系統(tǒng)的數(shù)據(jù)來源與成果分析數(shù)據(jù)庫有重合的地方,數(shù)據(jù)來源較為廣泛,多為各類政府機(jī)構(gòu)網(wǎng)站、科研數(shù)據(jù)庫,但論文發(fā)表數(shù)據(jù)與成果分析數(shù)據(jù)庫論文數(shù)量差異較大。專利數(shù)量差異也比較大,SciVal主要提供的是外文文獻(xiàn)發(fā)表數(shù)據(jù),來源于Scopus,論文數(shù)據(jù)量是多于另外兩個(gè)評價(jià)系統(tǒng)的。SciVal囊括了從論文產(chǎn)出、引用影響力到合作評估、卓越性度量等多達(dá)30多種評價(jià)指標(biāo),多數(shù)都是Snowball雪球指標(biāo),即為多所國際高校認(rèn)證的標(biāo)準(zhǔn)化指標(biāo)。指標(biāo)的設(shè)定層次豐富,如高被引文獻(xiàn)數(shù)量,就包括了前1%、前5%、前10%和前25%,另外加上8 500多所科研機(jī)構(gòu)和220個(gè)國家的預(yù)置數(shù)據(jù)。
每個(gè)評價(jià)工具都有其特性,與兩個(gè)中文數(shù)據(jù)庫相比,SciVal最大的特色是使用了歸一化影響因子。歸一化影響因子可以消除學(xué)科和發(fā)表年份之間的差異,是對影響因子(IF)的一大改進(jìn),所以很多學(xué)?,F(xiàn)在選用SciVal作為學(xué)科評估的工具。值得一提的是,SciVal提供了基于社交媒體的數(shù)據(jù),如大眾媒體的瀏覽量、提及量等,成果分析數(shù)據(jù)庫也提供了論文的下載量等指標(biāo)。這些社交媒體指標(biāo)可以作為學(xué)術(shù)影響力的補(bǔ)充對科研單位的社會影響力進(jìn)行評價(jià),使得評價(jià)更加全面。此外,SciVal提供了主題詞分析,具有競爭優(yōu)勢發(fā)掘功能,可以分析出研究機(jī)構(gòu)哪些研究領(lǐng)域具備競爭優(yōu)勢或潛在競爭力,掌握研究機(jī)構(gòu)的研究趨勢,并通過文章的作者關(guān)系掌握合作研究的情況,發(fā)掘有潛力的合作伙伴等。診斷數(shù)據(jù)庫的一大特點(diǎn)是將國內(nèi)高校進(jìn)行分類整合,可以較方便地選擇與本校級別相同或優(yōu)于本校的高校進(jìn)行比較,觀察兩校具體學(xué)科的優(yōu)劣勢。系統(tǒng)不僅給出了高校某一指標(biāo)的具體表現(xiàn)、在全國高校占比、排名信息,還可以將某一類型的高校(可自主設(shè)置)的均值進(jìn)行比較。用戶還可以根據(jù)自身需求設(shè)置診斷指標(biāo)體系或使用系統(tǒng)內(nèi)部自帶的評價(jià)體系(如邱均平評價(jià)體系)進(jìn)行自身及對標(biāo)競爭高校的實(shí)時(shí)觀察。成果分析數(shù)據(jù)庫的特點(diǎn)是論文評價(jià)指標(biāo)豐富,國內(nèi)期刊論文成果統(tǒng)計(jì)了國內(nèi)主流核心期刊發(fā)文量,并提供他引頻次、學(xué)科H指數(shù)、學(xué)科影響因子等指標(biāo),對WOS數(shù)據(jù)也做了較為詳細(xì)的分級,提供的指標(biāo)有SCI論文數(shù)量、SSCI論文數(shù)量、A&HCI論文數(shù)量、ESCI論文數(shù)量、Q1區(qū)論文數(shù)量、Q2區(qū)論文數(shù)量、Q3區(qū)論文數(shù)量、Q4區(qū)論文數(shù)量、高被引論文數(shù)量、熱點(diǎn)論文數(shù)量。為科研管理人員根據(jù)不同的評價(jià)目的選擇不同的評價(jià)指標(biāo)提供了便利。
通過試用三種數(shù)據(jù)庫,從用戶體驗(yàn)來說,明顯感覺兩種中文數(shù)據(jù)庫提供的界面主要是通過表格方式來顯示學(xué)校數(shù)據(jù),也可以提供折線圖和柱狀圖。而SciVal可以通過圖表、數(shù)據(jù)、儀表盤等和20多種指標(biāo)結(jié)合,快速可視化呈現(xiàn)機(jī)構(gòu)和學(xué)科的科研績效、科研趨勢等。在實(shí)現(xiàn)各領(lǐng)域科研績效比較時(shí),除了進(jìn)行二維縱向比較外,還可以進(jìn)行三維指標(biāo)比較,界面簡潔、數(shù)據(jù)可視化效果強(qiáng)大。從操作難易度上比較,SciVal是英文界面,操作上比兩個(gè)中文評價(jià)工具要難。從受眾群體來看,診斷系統(tǒng)的學(xué)?;A(chǔ)指標(biāo)較為全面,評價(jià)維度較廣,受眾群體偏向高校管理人員。SciVal和成果分析數(shù)據(jù)庫關(guān)于論文評價(jià)更為細(xì)致。通過以上功能對比和實(shí)證分析可以看出,SciVal系統(tǒng)的優(yōu)勢集中體現(xiàn)在:高質(zhì)量的數(shù)據(jù)源、多種學(xué)科分類體系、基于共引聚類的數(shù)據(jù)分析技術(shù)和對比優(yōu)勢,更直觀的可視化分析技術(shù),側(cè)重于對學(xué)科未來發(fā)展趨勢的預(yù)測。兩種中文數(shù)據(jù)庫的優(yōu)勢在于界面友好,學(xué)科分類體系便于統(tǒng)計(jì),提供更多的基礎(chǔ)性指標(biāo),指標(biāo)分層有自己的特色,并且價(jià)格優(yōu)勢明顯。用戶可根據(jù)自身需求選擇相應(yīng)的科研評價(jià)工具及其指標(biāo),使得評估工作更合理、更科學(xué)。
佛山科學(xué)技術(shù)學(xué)院學(xué)報(bào)(社會科學(xué)版)2020年1期