史竹琴 朱先奇
摘要:ESI是基于SCI和SSCI的統(tǒng)計(jì)數(shù)據(jù)庫(kù),在世界一流大學(xué)與學(xué)科評(píng)價(jià)中發(fā)揮著非常重要的參考作用,受到了國(guó)內(nèi)高校的廣泛關(guān)注。在此背景下,文章討論ESI在世界一流大學(xué)與學(xué)科評(píng)價(jià)中應(yīng)注意的六大問(wèn)題,如ESI的成果分配方式與國(guó)內(nèi)的通行分配方式存在差異,ESI的不同檢索方式獲取同一評(píng)價(jià)目標(biāo)數(shù)據(jù)得到的結(jié)果不盡相同等。在此基礎(chǔ)上,針對(duì)問(wèn)題提出在實(shí)踐中應(yīng)采取的應(yīng)對(duì)措施,如要精準(zhǔn)把握ESI中各指標(biāo)的內(nèi)涵、結(jié)果顯示、基準(zhǔn)線及閾值標(biāo)準(zhǔn)、檢索方式,要更加重視高水平論文和拔尖人才的發(fā)現(xiàn)等。
關(guān)鍵詞:ESI;一流大學(xué);一流學(xué)科;教育評(píng)價(jià)
中圖分類號(hào):G40-058.1 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1008-5831(2017)06-0084-08
一、研究概述
2015年10月,國(guó)務(wù)院印發(fā)了《統(tǒng)籌推進(jìn)世界一流大學(xué)和一流學(xué)科建設(shè)總體方案》,在此方案中明確提出“到2020年若干所大學(xué)和一批學(xué)科進(jìn)入世界一流行列,若干學(xué)科進(jìn)入世界一流學(xué)科前列”等系列建設(shè)目標(biāo)?!半p一流”建設(shè)由此受到中國(guó)各級(jí)政府和高校的高度重視,有多個(gè)省份和若干高校已經(jīng)制定了扶持政策和具體實(shí)施方案,“雙一流”建設(shè)必將成為中國(guó)高等教育發(fā)展的風(fēng)向標(biāo)和指揮棒。但是,迄今為止,對(duì)于“雙一流”的具體評(píng)價(jià)標(biāo)準(zhǔn)尚無(wú)精確界定,尤其是如何定量化評(píng)價(jià)更是處于探索階段。當(dāng)前,國(guó)內(nèi)主要是利用湯姆森路透的ESI(Essential science indicators,基本科學(xué)指標(biāo))數(shù)據(jù)庫(kù)統(tǒng)計(jì)指標(biāo)對(duì)國(guó)內(nèi)高校和學(xué)科與國(guó)際上的高校和學(xué)科進(jìn)行比較。這一數(shù)據(jù)庫(kù)的確可以快速使得國(guó)內(nèi)高校在世界高校坐標(biāo)系中找到自己的定位,更能夠具體清楚地看到自己的既有優(yōu)勢(shì)與差距,因此最近幾年受到了中國(guó)高校的廣泛關(guān)注。但是,ESI本身作為一個(gè)國(guó)際化的論文統(tǒng)計(jì)數(shù)據(jù)庫(kù),是否與中國(guó)高等教育實(shí)際相符合、相適應(yīng)需要深入思考與研究。
關(guān)于利用ESI進(jìn)行世界一流大學(xué)與學(xué)科的評(píng)價(jià)實(shí)踐并不是一個(gè)新話題,當(dāng)前研究主要集中在文獻(xiàn)計(jì)量領(lǐng)域,產(chǎn)生了眾多研究成果。一是關(guān)于ESI數(shù)據(jù)庫(kù)的基本功能與應(yīng)用介紹。熊璐在其碩士論文中較為系統(tǒng)地介紹了ESI數(shù)據(jù)庫(kù)并就其應(yīng)用進(jìn)行了闡述和分析;劉雪立等則概括了近些年利用ESI數(shù)據(jù)進(jìn)行機(jī)構(gòu)、學(xué)科、地區(qū)等方面的應(yīng)用;另外,劉雪立還介紹了ESI界定高被引論文的方法。二是針對(duì)某一個(gè)學(xué)科領(lǐng)域的評(píng)價(jià)研究。這方面的研究比較多,是應(yīng)用研究的熱點(diǎn)。例如,Ma、Ni等對(duì)全球計(jì)算機(jī)學(xué)科進(jìn)行了系統(tǒng)分析;邱均平、楊瑞仙對(duì)材料科學(xué)進(jìn)行了計(jì)量研究。三是針對(duì)一所高校的整體分析。這方面的應(yīng)用研究成果也比較多,比如何春建對(duì)于南京師范大學(xué),寇繼虹和郭雨橙對(duì)于武漢大學(xué)科研產(chǎn)出的分析研究。四是對(duì)地區(qū)科研實(shí)力的分析。這方面的研究需要較大的數(shù)據(jù)量,從更高層面進(jìn)行針對(duì)性分析。例如,陳燕對(duì)于山東省高校、豐國(guó)政對(duì)于廣東省高校的分析。五是綜合評(píng)價(jià)實(shí)踐研究,這方面以邱均平教授為首的研究團(tuán)隊(duì)每?jī)赡臧l(fā)布的《世界一流大學(xué)及學(xué)科競(jìng)爭(zhēng)力排行榜》為典型,該報(bào)告自2006年發(fā)布以來(lái)得到了各界的廣泛關(guān)注,為中國(guó)科研機(jī)構(gòu)尤其是各學(xué)科認(rèn)知自身在國(guó)際上的發(fā)展水平提供了積極參考。六是對(duì)ESI存在問(wèn)題及改進(jìn)方法的研究。這方面的研究是隨著ESI越來(lái)越受中國(guó)高校重視而產(chǎn)生的,有一定的探索性。比如,梁瑛和鄒小筑提出了ESI工程類與中國(guó)教育部學(xué)科分類的對(duì)比研究,并提出了如何將兩者進(jìn)行對(duì)應(yīng)的方法,具有較強(qiáng)的實(shí)踐意義。
從上面的分析看,基于ESI的研究成果大都偏向于應(yīng)用,對(duì)其本質(zhì)、使用時(shí)應(yīng)注意問(wèn)題等還研究得不夠系統(tǒng)和徹底。為此,本文將系統(tǒng)探討ESI在世界一流大學(xué)與學(xué)科評(píng)價(jià)中應(yīng)注意的問(wèn)題,并針對(duì)這些問(wèn)題提出應(yīng)對(duì)措施。
二、ESI在世界一流大學(xué)與學(xué)科評(píng)價(jià)中應(yīng)注意的問(wèn)題
ESI雖然創(chuàng)建時(shí)間較早(2001年),但是在實(shí)際應(yīng)用中對(duì)其基本屬性以及應(yīng)用細(xì)節(jié)還缺乏深入、系統(tǒng)性認(rèn)識(shí)和思考,存在的一些問(wèn)題亟待解決。
(一)ESI是基于SCI和SSCI的一個(gè)統(tǒng)計(jì)庫(kù),這是它的本質(zhì)屬性
ESI與SCI、SSCI是一脈相承的,SCI創(chuàng)建于1961年,SSCI則創(chuàng)建于1973年,而SCI和SSCI是典型的引文數(shù)據(jù)庫(kù),其最主要的功能是為了信息檢索——即通過(guò)引文構(gòu)建知識(shí)組織網(wǎng)絡(luò),達(dá)到所謂的“越查越新、越查越舊”的檢索目的。而ESI建立在SCI和SSCI之上(并不包括A&HCI),它的最主要的目的是建立一個(gè)統(tǒng)計(jì)庫(kù),創(chuàng)建各種統(tǒng)計(jì)指標(biāo)(如高被引論文、高影響力作者)。制定不同閾值標(biāo)準(zhǔn)(如1%、5%等),從SCI和SSCI出發(fā)統(tǒng)計(jì)國(guó)家、機(jī)構(gòu)、學(xué)科、學(xué)者、論文的科學(xué)表現(xiàn),所以它的主要功能是“科學(xué)評(píng)價(jià)”。另外,從ESI的名字——“基本科學(xué)指標(biāo)”也可以看出其評(píng)價(jià)功能。
由此,我們要認(rèn)清楚ESI的本質(zhì)。ESI的數(shù)據(jù)來(lái)源就是SCI和SSCI,沒(méi)有其他任何數(shù)據(jù)庫(kù)數(shù)據(jù),也就是說(shuō)集中在學(xué)術(shù)論文方面,并且不包含人文藝術(shù)學(xué)科領(lǐng)域論文,所以它的評(píng)價(jià)有特定范疇,只能反映一個(gè)國(guó)家、組織、學(xué)科、學(xué)者在學(xué)術(shù)論文方面的表現(xiàn),并不能反映這些評(píng)價(jià)對(duì)象的綜合實(shí)力。在實(shí)際評(píng)價(jià)中,切忌“以偏概全”,切忌“濫用誤用”工具。在世界一流大學(xué)和一流學(xué)科評(píng)價(jià)中,ES1只能是“反映論文生產(chǎn)力和影響力”的一個(gè)統(tǒng)計(jì)工具,超出這一范圍而夸大其功能并不可取。
(二)ESI是一個(gè)綜合性的工具,不單單能評(píng)價(jià)大學(xué)和學(xué)科,它為我們呈現(xiàn)多視角的統(tǒng)計(jì)分析結(jié)果
當(dāng)前版本的ESI是一個(gè)功能比較豐富的統(tǒng)計(jì)工具,提供了多種組合查詢方式,可以非常方便地提供多視角的統(tǒng)計(jì)分析結(jié)果。我們只有很好地掌握這些基本的檢索統(tǒng)計(jì)功能,才能更科學(xué)、更充分地利用這一數(shù)據(jù)庫(kù)。需要注意的是,ESI現(xiàn)實(shí)的結(jié)果都顯示“發(fā)文數(shù)、被引數(shù)、篇均被引、頂尖論文(包含高被引論文和熱門論文)”四個(gè)指標(biāo)數(shù)據(jù),提供的功能如表1所示。
從表1看,ESI提供了非常強(qiáng)大的檢索統(tǒng)計(jì)功能,能夠從多個(gè)角度對(duì)評(píng)價(jià)對(duì)象進(jìn)行統(tǒng)計(jì)分析,比如查詢中國(guó)大陸當(dāng)前在所有國(guó)家(地區(qū))中的相對(duì)科技論文實(shí)力,可以沿著“國(guó)家(地區(qū))→不限定”查找(2006年1月1日-2016年8月31日的十余年數(shù)據(jù),中國(guó)大陸發(fā)文、被引位居全球第二,頂尖論文位居全球第三,平均被引則排在104位);如果想了解中國(guó)大陸計(jì)算機(jī)科學(xué)的相對(duì)實(shí)力,則可以沿著“國(guó)家(地區(qū))→研究領(lǐng)域”查找(發(fā)文、被引、頂尖論文都排在全球第二,平均被引排在第46位)。endprint
所以,ESI的檢索統(tǒng)計(jì)功能非常強(qiáng)大,通過(guò)組合檢索可以實(shí)現(xiàn)多個(gè)查詢目的,而不是僅僅局限在大學(xué)和學(xué)科評(píng)價(jià)方面。我們只有很好地研究這些功能,才能更快速、更準(zhǔn)確地查找到需要的信息。
(三)ESI的成果分配統(tǒng)計(jì)方式為“利益均沾,獨(dú)立計(jì)數(shù)”,與中國(guó)普遍實(shí)行的方式有差異
對(duì)于合著論文的成果分配一直是一個(gè)比較有爭(zhēng)議、棘手的問(wèn)題。在ESI中采取了比較“簡(jiǎn)單”的統(tǒng)計(jì)方式,即每一個(gè)合著者都平等對(duì)待,共同分享這一成果,且都記為1。如果一篇文章有N個(gè)作者,那么這N個(gè)作者的發(fā)文數(shù)都會(huì)累計(jì)1;如果這篇論文被引了100次,則每位作者的被引次數(shù)也都會(huì)累計(jì)100。同理,對(duì)于機(jī)構(gòu)、國(guó)家、學(xué)科等都采取同樣的成果分配方式。
ESI的這種“利益均沾,獨(dú)立計(jì)數(shù)”的成果分配方式需要引起我們的注意。在中國(guó)甚至很多西方國(guó)家,進(jìn)行科研考核、成果評(píng)價(jià)時(shí)都不采用這種方式,而是按照第一作者、通訊作者等“作者身份”來(lái)確定每個(gè)作者的比重;即使是每個(gè)作者都同等作用,一般也按照1/N來(lái)進(jìn)行成果分配。所以,ESI的這種計(jì)數(shù)方式雖然簡(jiǎn)單,但是和現(xiàn)實(shí)(尤其是中國(guó)的科研考核方式)計(jì)數(shù)方式存在較大差別,甚至在一定程度上具有一定的“迷惑性”,部分地掩蓋了某些評(píng)價(jià)目標(biāo)的實(shí)力,而相應(yīng)地夸大了某些評(píng)價(jià)目標(biāo)的實(shí)力。
(四)ESI不同檢索組合得到的同一研究對(duì)象的統(tǒng)計(jì)結(jié)果不盡相同,有的差異較大
上文已經(jīng)較為詳細(xì)地介紹了ESI的各項(xiàng)檢索功能,但是在實(shí)際操作中發(fā)現(xiàn)一個(gè)問(wèn)題:通過(guò)不同的檢索組合進(jìn)行同一目標(biāo)檢索時(shí)得到的結(jié)果有差異,個(gè)別結(jié)果差異較大。圖1、圖2、圖3給出的是“機(jī)構(gòu)→國(guó)家(地區(qū))”“研究領(lǐng)域→機(jī)構(gòu)”和“機(jī)構(gòu)→機(jī)構(gòu)”得到的北京大學(xué)的相關(guān)結(jié)果,這三個(gè)組合檢索式都可以得到北京大學(xué)在這10年問(wèn)的總發(fā)文數(shù)和總被引次數(shù)等情況。在“機(jī)構(gòu)→國(guó)家(地區(qū))”檢索中,北京大學(xué)的發(fā)文為55571,被引次數(shù)為712811;在“研究領(lǐng)域→機(jī)構(gòu)”檢索中,北京大學(xué)的發(fā)文為55570,被引次數(shù)為712801;在“機(jī)構(gòu)一機(jī)構(gòu)”檢索中,其結(jié)果與“研究領(lǐng)域一機(jī)構(gòu)”所得結(jié)果一致。從北京大學(xué)的情況看,不同的組合得到的結(jié)果略有差別。接著,我們嘗試觀察中國(guó)的另一個(gè)機(jī)構(gòu)“INST MICROELECT”(中科院微電子研究所),在“機(jī)構(gòu)_國(guó)家(地區(qū))”檢索中發(fā)文為l,被引次數(shù)為3,其中頂尖論文為8;在“研究領(lǐng)域一機(jī)構(gòu)”檢索中發(fā)文為624,被引次數(shù)為9914,頂尖論文仍為8;在“機(jī)構(gòu)→機(jī)構(gòu)”檢索中所得結(jié)果與“研究領(lǐng)域→機(jī)構(gòu)”所得結(jié)果一致。從這一結(jié)果看,所得檢索結(jié)果差別非常大。通過(guò)頂尖論文數(shù)量來(lái)判斷,“機(jī)構(gòu)→國(guó)家(地區(qū))”所得結(jié)果可能存在一定問(wèn)題,因?yàn)榘l(fā)文為1不可能得到8篇頂尖論文。所以,雖然ESI提供了很全面的檢索功能,并且可能有多個(gè)組合檢索可以達(dá)到殊途同歸的目的,但是一定要謹(jǐn)慎比較各個(gè)結(jié)果,從而得到更為精準(zhǔn)的檢索結(jié)果。
(五)ESI在處理重名時(shí)還不夠精確
重名問(wèn)題是Web of Knowledge中困擾已久的問(wèn)題,當(dāng)前該平臺(tái)已經(jīng)通過(guò)限定檢索可以更精準(zhǔn)地得到結(jié)果。但是,在ESI中重名問(wèn)題并沒(méi)有得到很好解決,尤其是在人名和機(jī)構(gòu)名方面,其處理功能還比較“粗糙”。
首先分析一下上文提及的“INST MICROELECT”,我們將這一機(jī)構(gòu)的8篇頂尖論文逐一打開(kāi)核查,發(fā)現(xiàn)沒(méi)有一篇屬于中國(guó)大陸,其中7篇屬于新加坡微電子研究所,1篇屬于俄羅斯微電子研究所。由此可見(jiàn)在機(jī)構(gòu)中存在“重名”的情況。接著,我們核查一位名為“Peng,K”的成果,結(jié)果顯示該人有5篇頂尖論文,逐一核查,發(fā)現(xiàn)有“Peng,Kang(1篇,美國(guó)天普大學(xué),計(jì)算機(jī)領(lǐng)域)”“Peng,Ke(1篇,荷蘭萊頓大學(xué))”“Peng,Kathy(1篇,美國(guó)斯坦福大學(xué))”“Peng,Kang(2篇,中國(guó)中南大學(xué),材料科學(xué)領(lǐng)域),由此可見(jiàn)對(duì)于作者來(lái)說(shuō),重名問(wèn)題廣泛存在,在ESI中并沒(méi)有得到很好處理。
(六)ESI中的研究領(lǐng)域與中國(guó)的學(xué)科分類差別很大
在ESI中,總共提供了22個(gè)研究領(lǐng)域,它們中既有非常精細(xì)的領(lǐng)域,如分子生物學(xué)與遺傳學(xué),也有比較粗的領(lǐng)域,如工程學(xué),所以ESI把它們命名為研究領(lǐng)域(Research Fields),而非學(xué)科。但是,中國(guó)不少人把這些研究領(lǐng)域當(dāng)成學(xué)科,這是認(rèn)識(shí)誤區(qū)。更為重要的是,這22個(gè)研究領(lǐng)域與中國(guó)《教育部學(xué)位授予和人才培養(yǎng)學(xué)科目錄》無(wú)法很好對(duì)應(yīng)。生物學(xué))與生物化學(xué)(071010生物化學(xué)與分子生物學(xué));二是二級(jí)學(xué)科分為多個(gè)領(lǐng)域,如071010生物化學(xué)與分子生物學(xué)分為生物化學(xué)(與生物學(xué)并稱)和分子生物學(xué)兩個(gè)研究領(lǐng)域;三是一個(gè)領(lǐng)域?qū)?yīng)多個(gè)一級(jí)學(xué)科甚至跨學(xué)科門類,如藥理學(xué)與毒理學(xué)這一研究領(lǐng)域?qū)?yīng)1007藥學(xué)和1004公共衛(wèi)生與預(yù)防醫(yī)學(xué)兩個(gè)一級(jí)學(xué)科,而環(huán)境學(xué)與生態(tài)學(xué)這一研究領(lǐng)域則跨了08工學(xué)和07理學(xué)兩大門類;四是一個(gè)一級(jí)學(xué)科劃分為多個(gè)研究領(lǐng)域,其中最為明顯的是0710生物學(xué)分為生物學(xué)與生物化學(xué)、微生物學(xué)、分子生物學(xué)與遺傳學(xué)、神經(jīng)系統(tǒng)科學(xué)與行為學(xué)、植物學(xué)與動(dòng)物學(xué)6個(gè)研究領(lǐng)域;五是一些領(lǐng)域包含的范疇非常廣,如工程學(xué)實(shí)際包含多個(gè)一級(jí)學(xué)科。
從上面的分析可以看出,ESI的研究領(lǐng)域與教育部學(xué)科分類無(wú)法很好對(duì)應(yīng)(表2),有的領(lǐng)域較粗糙,有的領(lǐng)域則較精細(xì)。當(dāng)前中國(guó)的學(xué)科評(píng)估越來(lái)越著眼于一級(jí)學(xué)科,所以ESI提供的學(xué)科數(shù)據(jù)與我們的實(shí)際評(píng)估有些“脫軌”。
三、中國(guó)雙一流大學(xué)建設(shè)的應(yīng)對(duì)措施
從上面的分析來(lái)看,ESI是國(guó)外的產(chǎn)品,還存在一些問(wèn)題,尤其是如何有效的“本土化”還需要進(jìn)一步梳理。針對(duì)這些問(wèn)題,筆者提出相應(yīng)的應(yīng)對(duì)措施。
(一)精準(zhǔn)把握ESI中各指標(biāo)的內(nèi)涵、結(jié)果顯示、基準(zhǔn)線及閾值標(biāo)準(zhǔn)、檢索方式,這是合理利用ESI的基本出發(fā)點(diǎn)
首先我們必須了解ESI的三大指標(biāo)及其意義——頂級(jí)論文(Top papers)、高被引論文(Highly citedpapers)和熱門論文(Hot papers)的內(nèi)涵。高被引論文是指一個(gè)研究領(lǐng)域內(nèi),某年發(fā)表的論文迄今為止按照被引次數(shù)從高到低排序排在前1%的論文。熱門論文是指一個(gè)研究領(lǐng)域內(nèi),近兩年發(fā)表的論文在最近兩個(gè)月的被引次數(shù)從高到底排在前0.1%的論文。頂級(jí)論文則是高被引論文和熱門論文的總和。endprint