耿海英
〔摘 要〕[目的/意義]研究人員評(píng)價(jià)作為科研評(píng)價(jià)的一部分在科研管理過(guò)程中具有重要意義。[方法/過(guò)程]介紹了歐盟科研人員評(píng)價(jià)標(biāo)準(zhǔn)聯(lián)合框架ACUMEN的基本情況,闡釋了該項(xiàng)目中研究人員評(píng)價(jià)體系設(shè)計(jì)的思想與模型以及具體的評(píng)價(jià)指標(biāo)和方法,重點(diǎn)分析了該評(píng)價(jià)方法的特點(diǎn)。[結(jié)果/結(jié)論] ACUMEN評(píng)價(jià)方法對(duì)我國(guó)研究人員評(píng)價(jià)實(shí)踐的啟示與思考。
〔關(guān)鍵詞〕歐盟;ACUMEN;研究人員;評(píng)價(jià)方法;啟示
DOI:10.3969/j.issn.1008-0821.2016.07.007
〔中圖分類號(hào)〕G3212 〔文獻(xiàn)標(biāo)識(shí)碼〕A 〔文章編號(hào)〕1008-0821(2016)07-0034-07
同行評(píng)議法是一種重要的研究人員評(píng)價(jià)方法,在科研評(píng)價(jià)工作中發(fā)揮著積極作用,但其評(píng)價(jià)結(jié)果的主觀性,甚至是偏見(jiàn)性問(wèn)題也不容忽視[1]。隨著文獻(xiàn)計(jì)量學(xué)的發(fā)展,文獻(xiàn)計(jì)量學(xué)方法被引入科研評(píng)價(jià)中。發(fā)表論文數(shù)、被引次數(shù)和h指數(shù)是評(píng)價(jià)研究人員的主要文獻(xiàn)計(jì)量學(xué)指標(biāo)[2],P指數(shù)[3]、Pt指數(shù)[4]等新的綜合評(píng)價(jià)指標(biāo)也逐漸被應(yīng)用到研究人員評(píng)價(jià)中。隨著信息獲取和學(xué)術(shù)交流方式的改變,Altmetrics作為學(xué)術(shù)影響力評(píng)價(jià)方法的有效補(bǔ)充[5-6],可以更充分地了解研究人員的學(xué)術(shù)工作以及他們?cè)趯W(xué)術(shù)界和學(xué)術(shù)界之外的影響[7],但目前以理論研究為主。歐盟項(xiàng)目ACUMEN(Academic Careers Understood through Measurement and Norms,簡(jiǎn)稱ACUMEN)在參考?xì)W盟同行評(píng)議系統(tǒng)基礎(chǔ)上,提出一種包含文獻(xiàn)計(jì)量學(xué)指標(biāo)和Altmetrics指標(biāo)的研究人員綜合評(píng)價(jià)體系。本文以期通過(guò)對(duì)ACUMEN評(píng)價(jià)方法的分析,為我國(guó)研究人員評(píng)價(jià)實(shí)踐提供參考。
1 ACUMEN項(xiàng)目基本情況
ACUMEN是歐盟的一個(gè)研究人員評(píng)價(jià)標(biāo)準(zhǔn)聯(lián)合研究計(jì)劃,于2010年啟動(dòng),2014年完成,是歐盟第7框架計(jì)劃(FP7)科研體系改革的重要組成部分。ACUMEN由荷蘭萊頓大學(xué)、以色列巴伊蘭大學(xué)、西班牙最高科研理事會(huì)、英國(guó)胡弗漢頓大學(xué)、愛(ài)沙尼亞研究委員會(huì)、德國(guó)洪森堡大學(xué)、德國(guó)維爾道應(yīng)用技術(shù)大學(xué)、丹麥哥本哈根大學(xué)皇家圖書情報(bào)學(xué)院和荷蘭皇家科學(xué)院數(shù)字人文組(eHumanities Group-KNAW),共計(jì)9個(gè)研究機(jī)構(gòu)聯(lián)合完成,并由萊頓大學(xué)科學(xué)技術(shù)研究中心(Center for Science and Technology Studies)主任——Paul Wouters擔(dān)任首席研究員[8]。
ACUMEN項(xiàng)目組指出,目前研究人員評(píng)價(jià)實(shí)踐中存在以下不足之處[9]:(1)目前的研究人員評(píng)價(jià)標(biāo)準(zhǔn)以單學(xué)科評(píng)價(jià)為主,能在一定程度上反映學(xué)術(shù)成果質(zhì)量,但不夠全面。例如,期刊的影響因子和被引次數(shù)等文獻(xiàn)計(jì)量指標(biāo)可在一定程度上反映一篇論文的學(xué)術(shù)質(zhì)量,但卻不能反映出這篇論文與社會(huì)經(jīng)濟(jì)發(fā)展之間的關(guān)系。(2)隨著研究人員規(guī)模的增加,學(xué)術(shù)研究體系的日益復(fù)雜,已有的評(píng)價(jià)方法,如同行評(píng)議法的局限性逐漸顯現(xiàn)。(3)原有的評(píng)價(jià)體系不能評(píng)價(jià)新的知識(shí)創(chuàng)新模式和學(xué)術(shù)交流方式,例如研究人員間以網(wǎng)絡(luò)為媒介進(jìn)行的合作和交流。(4)有些文獻(xiàn)計(jì)量學(xué)指標(biāo)是宏觀、中觀層面的測(cè)度指標(biāo),并不適合微觀層面,如研究人員個(gè)體層面的測(cè)度。(5)原有的評(píng)價(jià)指標(biāo)未涉及性別差異,但由于社會(huì)分工的存在,性別差異帶來(lái)的影響確實(shí)存在。
ACUMEN項(xiàng)目組為解決以上評(píng)價(jià)實(shí)踐中的問(wèn)題和不足,將項(xiàng)目任務(wù)分為6個(gè)子項(xiàng)目[9]:(1)分析比較了歐洲當(dāng)前的同行評(píng)審系統(tǒng),分析了當(dāng)前評(píng)價(jià)和同行評(píng)審實(shí)踐中的經(jīng)驗(yàn)和觀點(diǎn),深入探索新的個(gè)體研究人員評(píng)價(jià)方法。(2)重點(diǎn)關(guān)注研究人員的網(wǎng)絡(luò)顯示度,開(kāi)發(fā)了一系列基于網(wǎng)絡(luò)數(shù)據(jù)的評(píng)價(jià)指標(biāo)和工具。(3)研究了學(xué)術(shù)研究如何在網(wǎng)絡(luò)上討論,重點(diǎn)關(guān)注社交媒體平臺(tái)。(4)分析了評(píng)價(jià)指標(biāo)、定性標(biāo)準(zhǔn)和評(píng)價(jià)過(guò)程對(duì)女性研究人員職業(yè)發(fā)展的影響。(5)評(píng)估了現(xiàn)有績(jī)效評(píng)價(jià)中的科學(xué)計(jì)量指標(biāo),從已有指標(biāo)中選擇部分指標(biāo),同時(shí)還考慮了指標(biāo)可能的負(fù)面影響,分析了如何使用好指標(biāo)來(lái)測(cè)量生產(chǎn)力、影響、合作和多樣性。(6)匯集以上各子項(xiàng)目信息,在以上研究基礎(chǔ)上設(shè)計(jì)出ACUMEN 評(píng)價(jià)指標(biāo)體系,并制定了評(píng)價(jià)實(shí)踐指南。
ACUMEN設(shè)計(jì)出的研究人員評(píng)價(jià)指標(biāo)體系包含了研究人員學(xué)術(shù)生涯的3個(gè)主要方面(專長(zhǎng)、產(chǎn)出和影響力)。該評(píng)價(jià)指標(biāo)體系能夠凸顯研究人員的成績(jī),更好地展示每一個(gè)研究人員,還可作為傳統(tǒng)個(gè)人簡(jiǎn)歷的補(bǔ)充。
2 ACUMEN評(píng)價(jià)方法
21 評(píng)價(jià)思想與模型
傳統(tǒng)的評(píng)價(jià)過(guò)程中,科研績(jī)效評(píng)價(jià)通常是機(jī)構(gòu)、團(tuán)隊(duì)或科研人員產(chǎn)出的直接測(cè)量,研究人員在評(píng)價(jià)過(guò)程中僅僅是評(píng)價(jià)對(duì)象而不是重要參與者。評(píng)估者的視野往往局限于特定的評(píng)價(jià),不能對(duì)科研人員在科學(xué)或?qū)W術(shù)系統(tǒng)更高層面的影響力進(jìn)行全面評(píng)價(jià),評(píng)價(jià)過(guò)程又往往保密。ACUMEN項(xiàng)目組擯棄以上做法,提出全新的評(píng)價(jià)視角。ACUMEN項(xiàng)目組認(rèn)為評(píng)價(jià)是評(píng)估者與被評(píng)者之間復(fù)雜的互動(dòng)過(guò)程,而不是簡(jiǎn)單的研究人員的績(jī)效測(cè)量,評(píng)估者與被評(píng)者之間可以就選擇合適的評(píng)價(jià)標(biāo)準(zhǔn)和評(píng)價(jià)材料進(jìn)行交流;應(yīng)該考慮評(píng)價(jià)系統(tǒng)對(duì)科研人員職業(yè)發(fā)展的影響。同時(shí)還分析比較了不同國(guó)家、不同學(xué)科和不同機(jī)構(gòu)已有的評(píng)價(jià)實(shí)踐,以及這些評(píng)價(jià)實(shí)踐對(duì)科研人員職業(yè)發(fā)展的影響[10]?;谝陨纤枷?,ACUMEN項(xiàng)目組提出讓科研人員在評(píng)價(jià)實(shí)踐中發(fā)出自己聲音的評(píng)價(jià)模式。其評(píng)價(jià)模型以研究人員陳述為中心,輻射以專長(zhǎng)、產(chǎn)出和影響力。評(píng)價(jià)模型見(jiàn)圖1。ACUMEN項(xiàng)目組在此模型基礎(chǔ)上設(shè)計(jì)出了一套評(píng)價(jià)工具,即ACUMEN研究人員評(píng)價(jià)指標(biāo)體系。
22 ACUMEN研究人員評(píng)價(jià)指標(biāo)體系
ACUMEN研究人員評(píng)價(jià)指標(biāo)體系就是ACUMEN項(xiàng)目組在其評(píng)價(jià)思想和評(píng)價(jià)模型基礎(chǔ)上設(shè)計(jì)出的一套評(píng)價(jià)工具。該指標(biāo)體系包含科研人員3個(gè)方面的主要信息:專長(zhǎng)、產(chǎn)出和影響力。具體有4個(gè)文件組成:陳述與學(xué)術(shù)年齡計(jì)算、專長(zhǎng)、產(chǎn)出和影響力[11]。每一個(gè)研究人員都要填寫這4個(gè)文件,每一個(gè)文件里都包含了研究人員職業(yè)和成績(jī)方面的材料。
221 文件1——陳述與學(xué)術(shù)年齡計(jì)算
陳述:學(xué)者可以在此部分闡釋本人作為研究人員的價(jià)值,盡可能輔以證據(jù)。學(xué)者可以陳述本人的主要貢獻(xiàn),比如是在發(fā)表文章方面,還是學(xué)生教育方面抑或是媒體方面,類似于國(guó)內(nèi)人才評(píng)價(jià)(如職稱評(píng)審等)中的個(gè)人主要業(yè)績(jī)的自述部分。
學(xué)術(shù)年齡:學(xué)術(shù)年齡計(jì)算方法及詳細(xì)說(shuō)明見(jiàn)表1。
表1 學(xué)術(shù)年齡計(jì)算方法及說(shuō)明
學(xué)術(shù)年齡計(jì)算 說(shuō) 明
博士起始日
博士答辯日
博士答辯完后養(yǎng)育孩子數(shù)和特殊情況
學(xué)術(shù)年齡=博士答辯后全職工作年限-養(yǎng)育孩子數(shù)-特殊情況(其中計(jì)算單位都是年)?!肌?學(xué)術(shù)年齡有助于評(píng)委準(zhǔn)確評(píng)判
其中養(yǎng)育孩子數(shù),如果一個(gè)孩子出生后由本人獨(dú)自撫養(yǎng),則計(jì)數(shù)為1,如果由夫妻兩人撫養(yǎng),則計(jì)數(shù)為05。特殊情況則指由于生病等其他原因而沒(méi)有從事學(xué)術(shù)工作的時(shí)間。
“學(xué)術(shù)年齡”主要是考慮到研究人員真正從事學(xué)術(shù)活動(dòng)的時(shí)間,尤其是女性研究人員。不考慮性別年齡因素而直接對(duì)評(píng)價(jià)結(jié)果進(jìn)行比較顯然有失公允。ACUMEN項(xiàng)目組的調(diào)查結(jié)果證實(shí)了傳統(tǒng)的性別模式,即男性出版物產(chǎn)出數(shù)量平均比女性要高,女性在合著中的地位不能平等地體現(xiàn)出來(lái)[12]。因此,ACUMEN項(xiàng)目組在評(píng)價(jià)體系中充分考慮了性別因素。同時(shí),一些研究人員由于撫養(yǎng)孩子、生病或其他原因從事科研活動(dòng)的實(shí)際時(shí)間與工作年限會(huì)有所不同,因此,ACUMEN項(xiàng)目組提出了學(xué)術(shù)年齡的概念。
222 文件2——專長(zhǎng)
研究人員可以在此部分闡述自己在學(xué)術(shù)、教學(xué)、技術(shù)、交流、組織等方面的能力,同時(shí)可以輔以定量數(shù)據(jù)或者具體事例加以佐證。具體指標(biāo)和說(shuō)明詳見(jiàn)表2。
此部分多是研究人員通過(guò)示例或描述來(lái)證明自己各方面的專長(zhǎng)或技能,其中很多指標(biāo)在國(guó)內(nèi)研究人員評(píng)價(jià)時(shí)也會(huì)用到,如授課時(shí)間、做報(bào)告、論文獲獎(jiǎng)、接受媒體采訪、行政職務(wù)等。
223 文件3——產(chǎn)出
研究人員可以在此部分展示其在學(xué)術(shù)、教學(xué)等方面的成果產(chǎn)出。此部分成果產(chǎn)出不僅包括傳統(tǒng)的期刊論文、圖書、專利等產(chǎn)出,也包括數(shù)據(jù)集、軟件工具等,還包括在社交媒體等網(wǎng)站上的貢獻(xiàn)等,需要有定量數(shù)據(jù)和具體事例加以佐證。具體指標(biāo)和說(shuō)明詳見(jiàn)表3。
224 文件4——影響力
研究人員可以在此部分展示其在科學(xué)或?qū)W術(shù)、社會(huì)、經(jīng)濟(jì)、教學(xué)等方面的影響力,要有定量數(shù)據(jù)或者具體事例加以佐證。具體指標(biāo)和說(shuō)明詳見(jiàn)表4。
文件3和文件4則是目前研究人員評(píng)價(jià)中經(jīng)常用到的兩項(xiàng)內(nèi)容,只不過(guò)評(píng)價(jià)內(nèi)容更加細(xì)化和全面,而且增加了新型媒體環(huán)境下的產(chǎn)出和影響。如今,學(xué)者可以通過(guò)網(wǎng)絡(luò)這種非正式途徑進(jìn)行學(xué)術(shù)交流,如通過(guò)個(gè)人網(wǎng)站、研究小組網(wǎng)站、機(jī)構(gòu)庫(kù)、預(yù)印本、研究博客或社交網(wǎng)站。研究人員還可以通過(guò)添加標(biāo)簽和評(píng)論,與網(wǎng)絡(luò)上他人的出版物進(jìn)行互動(dòng)和反饋[13]。因此,網(wǎng)絡(luò)指標(biāo)和Altmetrics指標(biāo)可以作為傳統(tǒng)影響力指標(biāo)的補(bǔ)充,為測(cè)量學(xué)者和出版物影響力提供了一種新方式[14-15]。ACUMNE主要在“產(chǎn)出”和“影響力”評(píng)價(jià)方面采用了網(wǎng)絡(luò)計(jì)量指標(biāo)和Altmetrics指標(biāo)。
文件4中引入學(xué)術(shù)搜索引擎數(shù)據(jù)??蒲性u(píng)價(jià)中常用的數(shù)據(jù)源就是Web of Science和Scopus。Web of Science數(shù)據(jù)庫(kù)更傾向于收錄英文語(yǔ)種出版物,而且收錄期刊文獻(xiàn)中社會(huì)科學(xué)中的部分學(xué)科和人文藝術(shù)類覆蓋不足[16]。Scopus數(shù)據(jù)庫(kù)系統(tǒng)覆蓋范圍起始于1995年,收錄年限較短,不適于評(píng)價(jià)青年學(xué)者。因此,ACUMEN項(xiàng)目組充分考慮了這些數(shù)據(jù)源的優(yōu)缺點(diǎn),使用這些傳統(tǒng)引文數(shù)據(jù)庫(kù)的同時(shí),引入了Google數(shù)據(jù)作為補(bǔ)充,使用了Google Scholar和Google Books引文指標(biāo)以及基于Google Scholar的h指數(shù)。
文件3和文件4中的指標(biāo)比較全面,但同時(shí)也存在某些指標(biāo)數(shù)據(jù)不易獲取(如商業(yè)活動(dòng)收入),某些指標(biāo)數(shù)據(jù)可能不真實(shí)(如Altmetrics指標(biāo)數(shù)據(jù))等問(wèn)題,因此具體使用時(shí)應(yīng)根據(jù)評(píng)價(jià)目的、評(píng)價(jià)對(duì)象、數(shù)據(jù)可獲取性等因素對(duì)指標(biāo)進(jìn)行有選擇性地刪減。
3 ACUMEN評(píng)價(jià)方法特點(diǎn)
ACUMEN評(píng)價(jià)方法作為歐盟項(xiàng)目的一個(gè)研究成果,歷經(jīng)5年,其研制過(guò)程也是眾多學(xué)者潛心研究的過(guò)程。透過(guò)其研制過(guò)程及各階段研究成果,可發(fā)現(xiàn)該評(píng)價(jià)方法具有以下特點(diǎn)。
31 研究人員在評(píng)價(jià)過(guò)程中扮演著重要的角色
ACUMEN項(xiàng)目組一改傳統(tǒng)評(píng)價(jià)過(guò)程中研究人員僅僅是評(píng)價(jià)對(duì)象的做法,而是讓研究人員在評(píng)價(jià)過(guò)程中發(fā)出自己的聲音,具體表現(xiàn)在:(1)研究人員可以在文件1的“陳述”部分以“故事”的形式講述自己所做的主要學(xué)術(shù)成績(jī)、貢獻(xiàn)及社會(huì)經(jīng)濟(jì)價(jià)值等;(2)研究人員可以在其他指標(biāo)部分輔以說(shuō)明性或證據(jù)式的描述。因此,該方法中研究人員通過(guò)示例或描述來(lái)證明自己的成績(jī)或技能,而不是僅僅列出成果和活動(dòng)清單。通過(guò)研究人員的參與,有助于評(píng)估者了解隱藏于數(shù)字背后的東西。
32 多維度、多角度綜合評(píng)價(jià)研究人員
研究人員除了從事科研活動(dòng)有直接的科研產(chǎn)出如論文、圖書等,還有其他職責(zé)或活動(dòng),如教學(xué)、準(zhǔn)備教學(xué)材料,也會(huì)接受媒體采訪,也會(huì)參加企業(yè)活動(dòng)或者參加其他同行評(píng)議活動(dòng)。ACUMEN項(xiàng)目組從科研活動(dòng)的社會(huì)經(jīng)濟(jì)功能出發(fā),從研究人員的專長(zhǎng)、成果產(chǎn)出及影響力3個(gè)維度綜合衡量。其中每一個(gè)維度里又包含多方面,而不僅僅是學(xué)術(shù),如影響力就包括學(xué)術(shù)、社會(huì)、經(jīng)濟(jì)、教學(xué)等多方面。指標(biāo)選取方面既有諸如引文數(shù)這樣的定量指標(biāo),也有獲獎(jiǎng)、受邀講話等之類的定性指標(biāo)。因此,該方法試圖全方位、多視角地反映出研究人員學(xué)術(shù)、社會(huì)、經(jīng)濟(jì)等方面的綜合價(jià)值。
33 評(píng)價(jià)指標(biāo)體系的靈活性
ACUMEN研究人員評(píng)價(jià)指標(biāo)體系可謂是一個(gè)針對(duì)研究人員的文件包,但是不同學(xué)科領(lǐng)域研究人員從事的活動(dòng)相差巨大,研究形式各異。人文社會(huì)科學(xué)領(lǐng)域圖書扮演著重要角色,而工程學(xué)領(lǐng)域和應(yīng)用科學(xué)領(lǐng)域會(huì)議論文和技術(shù)參考作品起重要作用[16-17]。如果每位研究人員都填寫統(tǒng)一的文檔表格,則不僅浪費(fèi)時(shí)間精力,也可能不適用。因此,ACUMEN項(xiàng)目組建議不同學(xué)科、不同領(lǐng)域、不同目的的評(píng)估者可以依據(jù)本身的特點(diǎn),對(duì)評(píng)價(jià)指標(biāo)體系進(jìn)行不同程度有針對(duì)性的刪減,僅保留能體現(xiàn)評(píng)價(jià)需求的重要指標(biāo),以減少研究人員的填寫壓力,適應(yīng)具體的評(píng)價(jià)需求。
34 有相應(yīng)的指南用以指導(dǎo)評(píng)價(jià)
ACUMEN項(xiàng)目組在設(shè)計(jì)評(píng)價(jià)指標(biāo)體系的同時(shí),創(chuàng)建了評(píng)價(jià)指南,指南里不僅解釋了各種數(shù)據(jù)源的優(yōu)缺點(diǎn),還解釋了各種定量方法和指標(biāo),指出各種方法和指標(biāo)的優(yōu)勢(shì)及不足,指導(dǎo)評(píng)估者根據(jù)其評(píng)價(jià)目的、所在學(xué)科領(lǐng)域選擇適用的評(píng)價(jià)指標(biāo),并通過(guò)具體評(píng)價(jià)樣例詳細(xì)說(shuō)明如何利用此評(píng)價(jià)方法開(kāi)展評(píng)價(jià)。該指南不僅有利于評(píng)估者和研究人員深入了解此套評(píng)價(jià)方法,有助于評(píng)估者開(kāi)展評(píng)價(jià),也有利于研究人員參與到評(píng)價(jià)過(guò)程。
4 啟 示
ACUMEN作為歐盟第7框架計(jì)劃的一個(gè)重要部分,其參與成員機(jī)構(gòu)多達(dá)9個(gè),其中包括多個(gè)從事計(jì)量學(xué)和科學(xué)評(píng)價(jià)的重要研究機(jī)構(gòu)。因此,作為其研究成果的ACUMEN研究人員評(píng)價(jià)方法也體現(xiàn)了歐盟研究人員評(píng)價(jià)發(fā)展的最新趨勢(shì)。ACUMEN評(píng)價(jià)方法對(duì)于我國(guó)研究人員評(píng)價(jià),甚至于科研評(píng)價(jià)實(shí)踐具有一定的啟發(fā)意義。
41 擴(kuò)展研究人員評(píng)價(jià)內(nèi)容、構(gòu)建多維度的評(píng)價(jià)體系 評(píng)價(jià)是指從人類活動(dòng)的行為中發(fā)現(xiàn)行為的意義與價(jià)值,揭示價(jià)值內(nèi)涵的一種方法與手段,實(shí)質(zhì)是人把握被評(píng)價(jià)對(duì)象對(duì)人類社會(huì)發(fā)展、經(jīng)濟(jì)發(fā)展以及人類生存環(huán)境的改善等方面產(chǎn)生的意義與價(jià)值這樣一種觀念性活動(dòng)[18]。由此可推,研究人員的評(píng)價(jià)就是對(duì)研究人員從事學(xué)術(shù)活動(dòng)對(duì)人類社會(huì)發(fā)展、經(jīng)濟(jì)發(fā)展以及人類生存環(huán)境的改善等方面所產(chǎn)生的意義和價(jià)值做出一種觀念性的判斷。因此,研究人員的評(píng)價(jià)體系中應(yīng)納入社會(huì)價(jià)值或公共價(jià)值、經(jīng)濟(jì)價(jià)值之類的考量指標(biāo)。作為科研活動(dòng)主體的研究人員并不是僅僅從事發(fā)表論文、出版圖書等直接的科研活動(dòng),也有其他職責(zé)和活動(dòng),如教學(xué)、接受媒體采訪、參加企業(yè)活動(dòng)或者參與其他同行評(píng)議活動(dòng)。這些活動(dòng)都是重要的評(píng)價(jià)內(nèi)容,因此,簡(jiǎn)單以論文、專利、項(xiàng)目和經(jīng)費(fèi)作為主要評(píng)價(jià)內(nèi)容的學(xué)術(shù)評(píng)價(jià)體系已不適用,需要構(gòu)建全面衡量研究人員的多維度評(píng)價(jià)體系,除評(píng)價(jià)研究人員的學(xué)術(shù)成績(jī)外,還要測(cè)度研究人員教學(xué)、技術(shù)、經(jīng)濟(jì)、社會(huì)和文化方面的影響或價(jià)值。
42 引入網(wǎng)絡(luò)計(jì)量學(xué)和Altemetrics
隨著網(wǎng)絡(luò)在社會(huì)生活各方面的滲透和普及、Web20技術(shù)的推廣,各種網(wǎng)絡(luò)平臺(tái)與社交媒體平臺(tái)正在改變著研究人員的科研模式和學(xué)術(shù)交流模式,以及科研成果的傳播與擴(kuò)散方式。傳統(tǒng)文獻(xiàn)數(shù)據(jù)庫(kù)已經(jīng)無(wú)法滿足目前信息技術(shù)環(huán)境下的科學(xué)評(píng)價(jià),網(wǎng)絡(luò)計(jì)量指標(biāo)與Altemetrics指標(biāo)的加入成為必然。網(wǎng)絡(luò)計(jì)量指標(biāo)在測(cè)度某些學(xué)術(shù)影響力(如學(xué)術(shù)成果的網(wǎng)絡(luò)影響力)或教學(xué)影響力(如網(wǎng)絡(luò)課件的利用情況)時(shí)具有優(yōu)勢(shì),而Altemetrics在測(cè)度社會(huì)影響力時(shí)更具優(yōu)勢(shì)。
43 分類評(píng)價(jià)、分學(xué)科評(píng)價(jià)
分類、分學(xué)科是評(píng)價(jià)工作的基本原則。實(shí)際上,即使分類評(píng)價(jià),同一類里,如基礎(chǔ)研究中不同學(xué)科也存在較大差異。評(píng)價(jià)中的很多指標(biāo)(如引用)學(xué)科差異明顯,因此,在考慮學(xué)科差異性基礎(chǔ)上,充分考慮學(xué)科特點(diǎn),有選擇性地制定適用于本學(xué)科的評(píng)價(jià)標(biāo)準(zhǔn),避免“一刀切”現(xiàn)象。2013年底,教育部在《教育部關(guān)于深化高等學(xué)校科技評(píng)價(jià)改革的意見(jiàn)》中也曾指出“實(shí)施分類評(píng)價(jià)”,“按照基礎(chǔ)研究、應(yīng)用研究、技術(shù)轉(zhuǎn)移、成果轉(zhuǎn)化等不同工作的特點(diǎn)”建立科學(xué)合理、各有側(cè)重的評(píng)價(jià)標(biāo)準(zhǔn)[19]。
44 鼓勵(lì)研究人員參與評(píng)價(jià)
目前我國(guó)科研評(píng)價(jià)過(guò)程中,研究人員作為評(píng)價(jià)客體一直處于被評(píng)價(jià)的位置,幾乎不參與到評(píng)價(jià)過(guò)程。其實(shí),評(píng)價(jià)與被評(píng)價(jià)應(yīng)該是一個(gè)互動(dòng)的過(guò)程,評(píng)估者可能會(huì)對(duì)學(xué)科科學(xué)活動(dòng)缺乏深入了解,在評(píng)價(jià)標(biāo)準(zhǔn)制定的過(guò)程中通過(guò)與研究人員的溝通交流能夠選取更適用于本學(xué)科、更易被研究人員接受的指標(biāo),這樣也促使研究人員在評(píng)價(jià)之初就對(duì)評(píng)價(jià)方法和指標(biāo)有個(gè)感性認(rèn)識(shí),減少評(píng)價(jià)過(guò)程中的抵觸情緒。同時(shí),研究人員參與評(píng)價(jià)還可通過(guò)提供定量數(shù)據(jù)的同時(shí)輔以描述性的文字作為定量數(shù)據(jù)的證據(jù)支撐,為評(píng)估者提供參考。
45 公開(kāi)評(píng)價(jià)指標(biāo)體系并制定使用指南
我國(guó)研究人員評(píng)價(jià)體系多是由科研管理者制定,研究人員對(duì)指標(biāo)體系雖有一定了解,但不并深入,很多科研人員不清楚指標(biāo)的具體含義,因此出現(xiàn)了研究人員要求檢索機(jī)構(gòu)檢索其論文“影響因子”的現(xiàn)象。科研管理部門應(yīng)在制定好評(píng)價(jià)指標(biāo)體系后,輔以使用指南,用以解釋需要的數(shù)據(jù)源、指標(biāo)含義、指標(biāo)的使用范圍等,并將這些材料公布于眾,真正做到公開(kāi)、公平、公正地評(píng)價(jià),讓研究人員了解具體評(píng)價(jià)方法的同時(shí)也能起到研究人員自評(píng)的效果,促使最后評(píng)價(jià)結(jié)果的可靠性。
參考文獻(xiàn)
[1]Lee C J,Sugimoto C R,Zhang G,et al.Bias in peer review[J].Journal of the American Society for Information Science and Technology,2013,64(1):2-17.
[2]王煉.科學(xué)計(jì)量學(xué)應(yīng)用于科研人員績(jī)效評(píng)價(jià)的挑戰(zhàn)[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2007,28(4):165-168.
[3]王志軍,鄭德俊.p指數(shù)運(yùn)用于人才評(píng)價(jià)的有效性實(shí)證研究[J].圖書情報(bào)工作,2012,56(14):93-97.
[4]韓毅,夏慧.時(shí)間因素視角下科研人員評(píng)價(jià)的Pt指數(shù)研究[J].中國(guó)圖書館學(xué)報(bào),2015,(6):73-85.
[5]Bornmann L.Do altmetrics point to the broader impact of research?An overview of benefits and disadvantages of altmetrics[J].Journal of Informetrics,2014,8(4):895-903.
[6]Moed H F,Halevi G.Multidimensional assessment of scholarly research impact[J].Journal of the Association for Information Science and Technology,2015,66(10):1988-2002.
[7]Konkiel S,Scherer D.New opportunities for repositories in the age of altmetrics[J].Bulletin of the American Society for Information Science and Technology,2013,39(4):22-26.
[8]ACUMEN about[EB/OL].http:∥research-acumen.eu/about,2015-01-25.
[9]ACUMEN Report Summary-Periodic Report Summary 2[EB/OL].http:∥cordis.europa.eu/result/rcn/157417en.html,2015-01-25.
[10]ACUMEN Report Summary-Final Report Summary[EB/OL].http:∥cordis.europa.eu/result/rcn/157423en.html,2015-01-25.
[11]ACUMEN Portfolio[EB/OL].http:∥research-acumen.eu/wp-content/uploads/BlankAcumenPortfolio.v13x.pdf,2015-01-25.
[12]Van der Weijden I,Calero Medina C.Gender,Academic Position and Scientific Publishing:a bibliometric analysis of the oeuvres of researchers:International Conference on Science and Technology Indicators,Leiden,2014[C].
[13]Neylon C,Wu S.Article-Level Metrics and the Evolution of Scientific Impact[J].PLoS Biol,2009,7(11):e1000242.
[14]Bar-Ilan J,Haustein S,Peters I,et al.Beyond citations:Scholars visibility on the social Web:the 17th International Conference on Science and Technology Indicators,Montreal,Canada,2012[C].
[15]Kousha K,Thelwall M.Web Impact Metrics for Research Assessment[M].Cronin B,Sugimoto C R.Beyond Bibliometrics:Harnessing Multidimensional Indicators of Scholarly Impact.MIT Press,2014.
[16]Moed H F.Citation Analysis in Research Evaluation[M].Netherland:Springer Netherlands,2005:135.
[17]Moed H F.Citation Analysis in Research Evaluation[M].Netherland:Springer Netherlands,2005:133-134.
[18]潘云濤.科技評(píng)價(jià)理論、方法及實(shí)證[G].北京:科學(xué)技術(shù)文獻(xiàn)出版社,2008:1.
[19]教育部關(guān)于深化高等學(xué)校科技評(píng)價(jià)改革的意見(jiàn)[EB/OL].http:∥www.gov.cn/gzdt/2013-12/20/content2551954.htm,2015-01-25.
(本文責(zé)任編輯:郭沫含)