劉中興 楊建林
收稿日期:2020-06-01
基金項(xiàng)目:國(guó)家社會(huì)科學(xué)基金重點(diǎn)項(xiàng)目 “面向國(guó)家發(fā)展與安全決策的情報(bào)服務(wù)創(chuàng)新研究”(項(xiàng)目編號(hào):NO.18ATQ003)。
作者簡(jiǎn)介:劉中興(1996-),男,碩士研究生,研究方向:數(shù)據(jù)挖掘。
通訊作者:楊建林(1970-),男,教授,博士,博士生導(dǎo)師,研究方向:數(shù)據(jù)挖掘,信息檢索,學(xué)術(shù)評(píng)價(jià)。
摘? 要:[目的/意義]考察我國(guó)圖書(shū)情報(bào)領(lǐng)域內(nèi)個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)的應(yīng)用情況,為后續(xù)的個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)研究提供參考,推動(dòng)構(gòu)建更加科學(xué)、合理的個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)體系。[方法/過(guò)程]收集9種CSSCI圖書(shū)情報(bào)學(xué)代表期刊2014—2018年有關(guān)個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)的文獻(xiàn)數(shù)據(jù),運(yùn)用內(nèi)容分析法,從使用范圍、使用環(huán)境、使用動(dòng)機(jī)、使用情感4個(gè)方面考察指標(biāo)應(yīng)用情況。[結(jié)果/結(jié)論]分析顯示,我國(guó)圖書(shū)情報(bào)領(lǐng)域個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)使用處于主要研究h類(lèi)指數(shù)的指標(biāo)發(fā)展階段,較多使用傳統(tǒng)簡(jiǎn)便的文獻(xiàn)計(jì)量指標(biāo),如h指數(shù)、發(fā)文量與被引頻次;個(gè)人學(xué)術(shù)綜合評(píng)價(jià)的多元指標(biāo)融合途徑研究較少,仍有必要繼續(xù)加強(qiáng)包括多指標(biāo)融合比較、進(jìn)一步完善個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)體系在內(nèi)的學(xué)術(shù)評(píng)價(jià)研究。
關(guān)鍵詞:個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo);使用評(píng)估;學(xué)術(shù)評(píng)價(jià);內(nèi)容分析法
DOI:10.3969/j.issn.1008-0821.2020.12.014
〔中圖分類(lèi)號(hào)〕G250.252? 〔文獻(xiàn)標(biāo)識(shí)碼〕A? 〔文章編號(hào)〕1008-0821(2020)12-0140-10
Research on The Use of Individual Academic Evaluation
Index in Library and Information Field in China
Liu Zhongxing1,2? Yang Jianli1,2*
(1.School of Information management,Nanjing University,Nanjing 210023,China;
2.Jiangsu Key Laboratory of Data Engineering and Knowledge Service,Nanjing 210023,China)
Abstract:[Purpose/Significance]To investigate the use of individual academic evaluation indicators in the field of picture situation in China,to provide reference for academic evaluation researchers,and to promote the improvement of individual academic evaluation system.[Methods/Process]Literature data on individual academic evaluation indexes of 9 CSSCI representative journals from 2014 to 2018 were collected,and content analysis method was used to investigate the application of indexes from four aspects:use scope,use environment,use motivation and use emotion.[Results/Conclusions]The analysis showed that the personal academic evaluation indicators in the field of picture and situation in China were in the development stage of the indicators mainly studied in category h index,while the traditional and simple bibliometric indicators,such as h index,publication volume and citation frequency,were mostly used.There are few studies on the integration of multiple indicators in individual academic comprehensive evaluation,so it is still necessary to continue to strengthen the research on academic evaluation,including the integration of multiple individual academic evaluation indicators and the further improvement of individual academic evaluation index system.
Key words:individual academic evaluation index;usage assessment;academic evaluation;content analysis
學(xué)術(shù)評(píng)價(jià)是指針對(duì)學(xué)術(shù)成果的學(xué)術(shù)貢獻(xiàn)、學(xué)術(shù)創(chuàng)新、學(xué)術(shù)價(jià)值、學(xué)術(shù)影響以及社會(huì)影響、應(yīng)用價(jià)值、經(jīng)濟(jì)效益等方面的評(píng)估[1]。學(xué)術(shù)評(píng)價(jià)指標(biāo)是對(duì)學(xué)術(shù)評(píng)價(jià)對(duì)象某個(gè)或某些屬性的概括,可以從質(zhì)和量?jī)煞矫鏋閷W(xué)術(shù)成就評(píng)價(jià)提供數(shù)據(jù),如發(fā)文量、引文量等。期刊影響因子[2]是反映期刊重要性的一種宏觀測(cè)度,是指期刊論文獲得的客觀響應(yīng),可以用來(lái)計(jì)算期刊在一個(gè)學(xué)科領(lǐng)域的學(xué)術(shù)影響[3],它不屬于個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo),但對(duì)個(gè)人學(xué)術(shù)評(píng)價(jià)方法的發(fā)展有推動(dòng)作用。目前常見(jiàn)的被評(píng)價(jià)對(duì)象有學(xué)術(shù)期刊、研究論文、學(xué)者個(gè)人、研究機(jī)構(gòu)、學(xué)科或?qū)I(yè)等。過(guò)去20年里,使用指標(biāo)來(lái)評(píng)估研究成果的現(xiàn)象增多,科研管理的效率與科學(xué)性得到顯著提高,但是,評(píng)價(jià)工作中存在復(fù)雜而混亂的現(xiàn)象,對(duì)評(píng)價(jià)指標(biāo)的研究與應(yīng)用產(chǎn)生一定的負(fù)面影響。以學(xué)者個(gè)人學(xué)術(shù)評(píng)價(jià)為例,評(píng)價(jià)活動(dòng)中存在個(gè)體與期刊的學(xué)術(shù)影響力掛鉤、以刊評(píng)人、指標(biāo)混用等現(xiàn)象,在職稱(chēng)晉升、成果評(píng)獎(jiǎng)等工作中經(jīng)常引起爭(zhēng)議。
學(xué)術(shù)評(píng)價(jià)可分為宏觀層面(國(guó)家、大學(xué)、期刊等)與微觀層面(個(gè)人)兩個(gè)方面。相較之下,使用學(xué)術(shù)指標(biāo)對(duì)宏觀層面的評(píng)價(jià)研究成果較多,并且更易于人們接受[4];微觀層面研究更具爭(zhēng)議性并且研究較少[5],仍有大量可探索空間。學(xué)界非常關(guān)注面向個(gè)體的學(xué)術(shù)評(píng)價(jià),包括評(píng)價(jià)過(guò)程中應(yīng)該盡量避免的事項(xiàng)。著名文獻(xiàn)計(jì)量學(xué)家Van等[6]指出:“用刊物的影響因子來(lái)評(píng)價(jià)1篇論文或1個(gè)學(xué)者的學(xué)術(shù)表現(xiàn)是不可饒恕的”。2012年,多家機(jī)構(gòu)和多位知名科學(xué)家聯(lián)合簽署《舊金山宣言》(San Francisco Declaration on Research Assessment,DORA)[7],不提倡使用影響因子去評(píng)價(jià)個(gè)體的學(xué)術(shù)成就。學(xué)術(shù)評(píng)價(jià)應(yīng)針對(duì)特定客體用特定的指標(biāo),模糊客體差別混合使用指標(biāo)是不合適的,評(píng)價(jià)學(xué)者個(gè)人學(xué)術(shù)水平的指標(biāo)應(yīng)體現(xiàn)在個(gè)人的學(xué)術(shù)成果中。
為了進(jìn)一步完善個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)的研究與應(yīng)用,有必要全面認(rèn)識(shí)個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)的應(yīng)用情況,如學(xué)者們主要使用哪些指標(biāo)去評(píng)價(jià)學(xué)者個(gè)人,哪些環(huán)境下使用哪些指標(biāo),使用指標(biāo)的動(dòng)機(jī)、情感如何,等等。圖書(shū)情報(bào)領(lǐng)域的學(xué)者是學(xué)術(shù)評(píng)價(jià)研究的主要力量。此背景下,本文嘗試聚焦使用范圍、使用環(huán)境、使用動(dòng)機(jī)、使用情感4個(gè)維度,更全面、透徹地概括我國(guó)圖書(shū)情報(bào)領(lǐng)域個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)的應(yīng)用情況,為后續(xù)的個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)研究提供參考,也有助于構(gòu)建更加科學(xué)、合理的個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)體系。
1? 相關(guān)研究
與本文相關(guān)的研究工作主要包括面向個(gè)體的學(xué)術(shù)評(píng)價(jià)指標(biāo)研究、特定類(lèi)型命名實(shí)體使用情況研究以及基于引用情感分析的評(píng)價(jià)研究3個(gè)方面。
1.1? 面向個(gè)體的學(xué)術(shù)評(píng)價(jià)指標(biāo)研究
現(xiàn)有的個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)較多,常用的有發(fā)文量、引文量、篇均被引數(shù)、h指數(shù)和h型指數(shù)、百分位數(shù)指標(biāo)、學(xué)術(shù)跡等。這些評(píng)價(jià)指標(biāo)各具特色,不同程度地推動(dòng)著個(gè)人學(xué)術(shù)評(píng)價(jià)工作的發(fā)展。部分學(xué)者對(duì)它們進(jìn)行了分類(lèi)討論。如葉鷹[8]將學(xué)術(shù)評(píng)價(jià)指標(biāo)分為均值測(cè)度、高影響特征測(cè)度和整體綜合測(cè)度3類(lèi)指標(biāo);徐佳寧等[9]按照指標(biāo)計(jì)算方法和特性將文獻(xiàn)、數(shù)據(jù)庫(kù)和官方機(jī)構(gòu)使用的個(gè)人學(xué)術(shù)成就評(píng)價(jià)指標(biāo)歸為傳統(tǒng)指標(biāo)、相對(duì)指標(biāo)、h類(lèi)指標(biāo)、百分位指標(biāo)4類(lèi);高志等[10]認(rèn)為目前評(píng)價(jià)個(gè)人學(xué)術(shù)影響力常用的方法有4類(lèi),即基于傳統(tǒng)文獻(xiàn)計(jì)量學(xué)的評(píng)價(jià)方法、h指數(shù)及其衍生指數(shù)、基于社會(huì)網(wǎng)絡(luò)的評(píng)價(jià)方法和基于Altmetrics的評(píng)價(jià)方法。遲培娟等[13]通過(guò)比較分析學(xué)術(shù)跡與F1000評(píng)分、影響因子、被引次數(shù)等指標(biāo),探討了不同評(píng)價(jià)指標(biāo)的差異性和相關(guān)性。
每種個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)均有其優(yōu)缺點(diǎn),多數(shù)學(xué)者認(rèn)為沒(méi)有完美的指標(biāo)。如邱均平等[14]認(rèn)為h指數(shù)是一個(gè)計(jì)算簡(jiǎn)單并且易于理解的復(fù)合指標(biāo),評(píng)價(jià)研究層次廣泛,但不能反映科學(xué)家研究活動(dòng)的衰退狀況而且有區(qū)分度不高的缺陷,使用時(shí)應(yīng)考慮它的局限性;Egghe L等[15]指出h指數(shù)對(duì)高被引論文不敏感這一缺點(diǎn),并在修訂h指數(shù)的基礎(chǔ)上提出了G指數(shù);金碧輝[16]提出新的R指數(shù)和AR指數(shù)作為h指數(shù)的補(bǔ)充;杜建等[4]指出,目前所有的基于引證分析的個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo),如總被引次數(shù)、篇均被引次數(shù)、h指數(shù)等都有缺點(diǎn)。Costas R等[17]指出,單獨(dú)依靠一種指標(biāo)進(jìn)行評(píng)價(jià)是不科學(xué)的,不能相互替代的指標(biāo)應(yīng)互為補(bǔ)充。
部分學(xué)者建議在利用指標(biāo)開(kāi)展個(gè)人學(xué)術(shù)評(píng)價(jià)時(shí)應(yīng)綜合考慮同行評(píng)議[18],或聯(lián)合使用指標(biāo)綜合評(píng)價(jià)[19],或定量指標(biāo)多維化使用。我國(guó)目前聯(lián)合應(yīng)用若干指標(biāo)進(jìn)行個(gè)人學(xué)術(shù)評(píng)價(jià)的具體方法和相關(guān)實(shí)證較少。
1.2? 特定類(lèi)型命名實(shí)體使用情況研究
特定類(lèi)型命名實(shí)體包括關(guān)鍵字、主題、數(shù)據(jù)集、關(guān)鍵方法、關(guān)鍵理論等實(shí)體。實(shí)體可以用于評(píng)估學(xué)術(shù)影響,也可以進(jìn)行挖掘,轉(zhuǎn)化為知識(shí)發(fā)現(xiàn)[21]。
章成志等[22]、徐庶睿等[23]、王玉琢等[24]采集學(xué)術(shù)論文全文,結(jié)合所構(gòu)建的詞典,用基于字典匹配的方法識(shí)別并抽取文獻(xiàn)中符合要求的算法,在此基礎(chǔ)上依據(jù)提及頻次、提及位置等考察評(píng)估十大算法的使用情況和影響力;Belter C W[25]對(duì)3個(gè)海洋學(xué)領(lǐng)域數(shù)據(jù)集的文獻(xiàn)計(jì)量和引用情況進(jìn)行了評(píng)估;丁楠等[26]以內(nèi)容分析法為主要研究方法,對(duì)我國(guó)圖書(shū)情報(bào)領(lǐng)域權(quán)威期刊2003—2013年間的數(shù)據(jù)引用行為進(jìn)行等距抽樣調(diào)查分析;崔明等[27]采用內(nèi)容分析法對(duì)圖書(shū)情報(bào)領(lǐng)域的軟件使用情況進(jìn)行了統(tǒng)計(jì)分析;楊波等[28]采用已有研究的元數(shù)據(jù)規(guī)范,人工摘錄數(shù)據(jù)并提出一系列用來(lái)表示軟件影響力和質(zhì)量的指標(biāo),量化研究了生物信息學(xué)中的軟件利用行為;趙蓉英等[29]利用Altmetrics(譯為補(bǔ)充計(jì)量學(xué)或替代計(jì)量學(xué)),從下載量、被引次數(shù)以及軟件間復(fù)用次數(shù)3方面對(duì)開(kāi)源軟件的學(xué)術(shù)影響力進(jìn)行評(píng)價(jià)和分析;任增元等[30]利用CNKI庫(kù),規(guī)定檢索詞檢索并篩選數(shù)據(jù)樣本,利用Excel、CiteSpace軟件進(jìn)行文獻(xiàn)計(jì)量,分析了我國(guó)學(xué)術(shù)論文評(píng)價(jià)一段時(shí)間內(nèi)的研究狀況。
1.3? 基于引用情感分析的評(píng)價(jià)研究
使用某個(gè)指標(biāo)的情感表明作者對(duì)該指標(biāo)的態(tài)度。持肯定態(tài)度或否定態(tài)度明顯對(duì)該指標(biāo)的評(píng)價(jià)具有不同的作用。分析作者對(duì)指標(biāo)的態(tài)度或情感極性,可以歸納出學(xué)者在不同引用情感下的引用行為特征。
耿樹(shù)青等[31]提出一種基于“被引次數(shù)—引用情感”指標(biāo)的引用情感評(píng)價(jià)方法去研究論文學(xué)術(shù)影響力,實(shí)驗(yàn)結(jié)果表明,加入引用情感后,對(duì)論文學(xué)術(shù)影響力的評(píng)價(jià)更全面,區(qū)分能力更強(qiáng)。劉盛博等[32]基于引用內(nèi)容分析角度進(jìn)行引文評(píng)價(jià)的性質(zhì)研究,將引用情感分為正面引用、負(fù)面引用和中性引用3種類(lèi)型,并認(rèn)為研究引文動(dòng)機(jī)的方法有兩種,分別是作者訪談和基于引文內(nèi)容進(jìn)行推測(cè)分析,但第一種方法往往費(fèi)時(shí)費(fèi)力;Athar A等[34]認(rèn)為,如果僅從引文句子本身識(shí)別情感是不可靠的,尤其是如果引文句子在同一段落不同地方進(jìn)行了情感轉(zhuǎn)折,那么情感檢測(cè)是缺失的,這使得從引文上下文中明確情感顯得更加重要。Abu-Jbara A等[35]基于NLP文獻(xiàn)計(jì)量學(xué)對(duì)引文的目的(即作者意圖)與極性(即作者情感)進(jìn)行了增加引文上下文識(shí)別的研究,研究表明,使用引用上下文可以提高分類(lèi)精度,增加情感被檢出的文章數(shù)量。
使用個(gè)人學(xué)術(shù)指標(biāo)亦屬于引用的一種形式,參考上述文獻(xiàn)可以看出,基于上下文及引文內(nèi)容對(duì)使用情感、使用動(dòng)機(jī)等進(jìn)行標(biāo)注,可以幫助確定個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)的使用動(dòng)機(jī)和使用情感。
2? 研究方法
2.1? 基本思路
參考綜述中針對(duì)算法、數(shù)據(jù)集、軟件、論文評(píng)價(jià)等特定類(lèi)型命名實(shí)體研究文獻(xiàn)的方法,本文采用詞典匹配與CNKI關(guān)鍵詞檢索相結(jié)合的方法,篩選出使用個(gè)人學(xué)術(shù)指標(biāo)的文獻(xiàn)的元數(shù)據(jù)(標(biāo)題、摘要、關(guān)鍵詞)和全文,采用內(nèi)容分析法對(duì)數(shù)據(jù)進(jìn)行編碼標(biāo)注,再以文獻(xiàn)全文內(nèi)容輔助分析,獲取指標(biāo)使用范圍、環(huán)境、動(dòng)機(jī)、情感4個(gè)維度的標(biāo)注數(shù)據(jù)。具體研究流程如圖1所示。
首先,本文以9種圖書(shū)情報(bào)領(lǐng)域期刊2014—2018年文獻(xiàn)為研究對(duì)象,將文獻(xiàn)與個(gè)人學(xué)術(shù)評(píng)價(jià)詞典進(jìn)行匹配篩選,得出相關(guān)文獻(xiàn)元數(shù)據(jù);其次,獲取相關(guān)文獻(xiàn)元數(shù)據(jù)對(duì)應(yīng)的文獻(xiàn)全文內(nèi)容,便于后續(xù)輔助分析;然后,采取內(nèi)容分析法,結(jié)合文獻(xiàn)全文內(nèi)容,對(duì)相關(guān)文獻(xiàn)元數(shù)據(jù)進(jìn)行使用范圍、使用環(huán)境、使用動(dòng)機(jī)、使用情感4個(gè)方面的編碼標(biāo)注;最后,對(duì)編碼數(shù)據(jù)進(jìn)行分析,得到我國(guó)圖書(shū)情報(bào)領(lǐng)域內(nèi)個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)的應(yīng)用情況。
2.2? 數(shù)據(jù)獲取與處理
2.2.1? 數(shù)據(jù)獲取與詞典構(gòu)建
為揭示我國(guó)圖書(shū)情報(bào)領(lǐng)域個(gè)人學(xué)術(shù)指標(biāo)的使用情況,本文咨詢專(zhuān)家意見(jiàn),根據(jù)劉宇等[36]對(duì)CSSCI圖書(shū)情報(bào)學(xué)來(lái)源期刊的分層結(jié)構(gòu),剔除兩種與圖書(shū)館學(xué)、情報(bào)學(xué)交叉較少的檔案學(xué)期刊(《檔案學(xué)研究》和《檔案學(xué)通訊》),選取中國(guó)社會(huì)科學(xué)引文索引(CSSCI2017—2018版,http://cssci.nju.edu.cn/)收錄的圖書(shū)館、情報(bào)與文獻(xiàn)學(xué)18種來(lái)源期刊中的9種,獲取2014—2018年論文元數(shù)據(jù)(標(biāo)題、摘要、關(guān)鍵詞)與全文文獻(xiàn),具體期刊如表1所示。
根據(jù)文獻(xiàn)[9]搜集評(píng)價(jià)數(shù)據(jù)庫(kù)和官方機(jī)構(gòu)使用的個(gè)人研究表現(xiàn)評(píng)價(jià)指標(biāo),在Google Scholar中以每種個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)名稱(chēng)作為檢索詞進(jìn)行檢索,通過(guò)檢索出的文獻(xiàn)以及介紹內(nèi)容,得到每種評(píng)價(jià)指標(biāo)的別名(簡(jiǎn)稱(chēng)、縮略詞等),將指標(biāo)及其別名整理為個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)詞典集,如表2所示。
此外,為了防止從科研文獻(xiàn)中抽取的術(shù)語(yǔ)具有偏倚性、誤差性以及詞典構(gòu)建時(shí)存在的指標(biāo)遺漏問(wèn)題,本文同時(shí)構(gòu)建了一個(gè)個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)輔助主題關(guān)鍵詞集,用于構(gòu)造檢索條件表達(dá)式進(jìn)行輔助篩選,最大化確保篩選文獻(xiàn)主題與本文研究相關(guān),具體內(nèi)容如表3所示。
2.2.2? 文本匹配篩選分析
中國(guó)知網(wǎng)(CNKI)是中國(guó)最大的學(xué)術(shù)電子資源集成商,收錄95%以上正式出版的中文學(xué)術(shù)資源。CNKI文獻(xiàn)檢索中的跨庫(kù)專(zhuān)業(yè)檢索功能,可用于圖書(shū)情報(bào)專(zhuān)業(yè)人員查新、信息分析等工作。本文使用邏輯運(yùn)算符和關(guān)鍵詞構(gòu)造檢索式進(jìn)行檢索,具體數(shù)據(jù)檢索、收集、篩選清洗處理如下:
利用上文構(gòu)造的個(gè)人學(xué)術(shù)指標(biāo)詞典集與輔助主題關(guān)鍵詞集,根據(jù)CNKI的檢索語(yǔ)法,SU=‘主題、TI=‘題名、KY=‘關(guān)鍵詞、AB=‘摘要、FT=‘全文等,令主題、題名、關(guān)鍵詞、摘要限定為詞典集的內(nèi)容進(jìn)行“或”搜索,構(gòu)造專(zhuān)業(yè)檢索表達(dá)式,并選擇時(shí)間跨度為2014—2018年,再進(jìn)一步限定9種CSSCI圖書(shū)情報(bào)代表期刊條件篩選(檢索時(shí)間2019年8月),收集到學(xué)術(shù)性文獻(xiàn)743篇。
接著,論文數(shù)據(jù)清洗分為3輪,第一輪篩選根據(jù)題名、摘要、關(guān)鍵詞判定文獻(xiàn)是否相關(guān),第二輪根據(jù)全文內(nèi)容輔助分析判讀是否符合標(biāo)準(zhǔn),第三輪對(duì)前兩輪篩選后的最終數(shù)據(jù)進(jìn)行分析維度的人工標(biāo)注。論文數(shù)據(jù)篩選清洗避免了期刊、學(xué)術(shù)機(jī)構(gòu)、學(xué)科、論文成果的學(xué)術(shù)評(píng)價(jià)指標(biāo)文獻(xiàn),只選取關(guān)于學(xué)者個(gè)人學(xué)術(shù)評(píng)價(jià)的文章;此外,本文認(rèn)為高??蒲袌F(tuán)隊(duì)是介于學(xué)術(shù)機(jī)構(gòu)和科研人員個(gè)人之間的學(xué)者團(tuán)體,納入學(xué)者學(xué)術(shù)評(píng)價(jià)范圍;若評(píng)價(jià)論文的文章中涉及學(xué)者個(gè)人影響力評(píng)價(jià)等,本文也納入符合標(biāo)準(zhǔn)數(shù)據(jù)范圍。
最終利用人工標(biāo)注、相關(guān)信息技術(shù)以及文獻(xiàn)全文內(nèi)容輔助分析,最大化剔除非相關(guān)論文后,得到有關(guān)個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)的論文96篇為編碼數(shù)據(jù)的標(biāo)注結(jié)果。
3? 結(jié)果分析
本文研究問(wèn)題是探究個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)在我國(guó)圖書(shū)情報(bào)領(lǐng)域的應(yīng)用情況,本文采用內(nèi)容分析法抽取文獻(xiàn)樣本,以個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)為分析單元,制定4個(gè)分析維度:使用范圍、使用環(huán)境、使用動(dòng)機(jī)、使用情感,對(duì)分析維度進(jìn)行內(nèi)容編碼與統(tǒng)計(jì)。
3.1? 基于使用范圍維度的分析
使用范圍即個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)使用的普遍程度,本文認(rèn)為提及的指標(biāo)數(shù)量越多,表明該指標(biāo)被更大范圍的學(xué)者熟知,關(guān)注度越大。本文根據(jù)全文內(nèi)容輔助分析,按1篇論文中出現(xiàn)該指標(biāo)則統(tǒng)計(jì)頻次1次的規(guī)則,在文獻(xiàn)數(shù)據(jù)中收集到提及指標(biāo)共398條??紤]到評(píng)價(jià)指標(biāo)在實(shí)際研究時(shí)會(huì)存在諸多變種指標(biāo),若將變種指標(biāo)與原始指標(biāo)簡(jiǎn)單歸為一類(lèi)去統(tǒng)計(jì)頻次則過(guò)于籠統(tǒng),所以本文在指標(biāo)統(tǒng)計(jì)分類(lèi)時(shí),將部分原始指標(biāo)與改進(jìn)指標(biāo)按研究需要分類(lèi)統(tǒng)計(jì)(如h指數(shù)、h型指數(shù)分開(kāi)統(tǒng)計(jì)),并僅分類(lèi)統(tǒng)計(jì)出現(xiàn)頻次大于等于5次的指標(biāo)實(shí)體,統(tǒng)計(jì)結(jié)果如圖2所示。
圖2顯示,h指數(shù)(59次)、被引頻次(50次)、發(fā)文量(45次)分別是文獻(xiàn)數(shù)據(jù)中出現(xiàn)頻率前3位的指標(biāo),h型指數(shù)出現(xiàn)次數(shù)較多,為26次。本文發(fā)現(xiàn),傳統(tǒng)指標(biāo)發(fā)文量與被引頻次作為最直觀的計(jì)量指標(biāo),主要用于背景提及、直接使用和結(jié)合其他指標(biāo)進(jìn)行分析,受到我國(guó)學(xué)者重視;h指數(shù)與h型指數(shù)是當(dāng)前我國(guó)學(xué)者最為關(guān)注的個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo);h指數(shù)、被引頻次和發(fā)文量是目前我國(guó)個(gè)人學(xué)術(shù)評(píng)價(jià)領(lǐng)域范圍內(nèi)提及使用廣泛的前3項(xiàng)指標(biāo)。
此外,在統(tǒng)計(jì)標(biāo)注結(jié)果中出現(xiàn)頻率大于等于5次的指標(biāo)還有篇均被引頻次(19次)、g指數(shù)(16次)、相關(guān)的3類(lèi)指標(biāo)A指數(shù)、R指數(shù)和AR指數(shù)(共15次)、引文量(13次)、p指數(shù)及其改進(jìn)指數(shù)(12次)、e指數(shù)(7次)、中心性指標(biāo)(7次)、AuthorRank(6次)。總體來(lái)看,出現(xiàn)頻率靠前的大多數(shù)是傳統(tǒng)指標(biāo)與h型指數(shù)指標(biāo),規(guī)范化指標(biāo)、百分位與整體綜合測(cè)度指標(biāo)出現(xiàn)頻率甚至沒(méi)有進(jìn)入統(tǒng)計(jì)結(jié)果,總體大大少于傳統(tǒng)指標(biāo)與h指數(shù)這兩類(lèi)指標(biāo),這表明目前我國(guó)在個(gè)人學(xué)術(shù)評(píng)價(jià)層面仍處于廣泛研究、使用傳統(tǒng)指標(biāo)和h型指數(shù)指標(biāo)的階段。對(duì)比來(lái)看,規(guī)范化指標(biāo)、百分位與整體綜合測(cè)度類(lèi)的指標(biāo)雖然反映信息更多,但計(jì)算難度更大,出現(xiàn)頻率更少,表明學(xué)者在考量指標(biāo)簡(jiǎn)單性和計(jì)算復(fù)雜性方面偏好直觀、簡(jiǎn)單的指標(biāo)。在統(tǒng)計(jì)頻次小于5的指標(biāo)里,學(xué)術(shù)跡、皇冠指數(shù)、I3指標(biāo)、w指數(shù)、f指數(shù)、合作網(wǎng)絡(luò)關(guān)系研究頻次高于剩余其他指標(biāo),提及次數(shù)為1次的指標(biāo)大多是文獻(xiàn)作者根據(jù)原有指標(biāo)改進(jìn)并自命名的指標(biāo)。
3.2? 基于使用環(huán)境維度的分析
使用環(huán)境即使用個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)的文獻(xiàn)上下文內(nèi)容環(huán)境,本維度用于判別文獻(xiàn)將指標(biāo)應(yīng)用于何種環(huán)境中。本文根據(jù)關(guān)鍵詞、論文主題和全文內(nèi)容,將指標(biāo)使用環(huán)境分為指標(biāo)研究、指標(biāo)運(yùn)用、學(xué)術(shù)評(píng)價(jià)思考和其他,如表4所示。
將文獻(xiàn)按照指標(biāo)使用環(huán)境進(jìn)行分類(lèi)標(biāo)注,結(jié)果如表5所示。數(shù)據(jù)集包含96篇文獻(xiàn),統(tǒng)計(jì)文獻(xiàn)指標(biāo)398個(gè)。其中,指標(biāo)研究文獻(xiàn)51篇,占比53%,此類(lèi)文獻(xiàn)中出現(xiàn)指標(biāo)265個(gè),占比67%;指標(biāo)運(yùn)用文獻(xiàn)24篇,占比25%,出現(xiàn)指標(biāo)61個(gè),占比15%,大多該類(lèi)文獻(xiàn)僅涉及運(yùn)用指標(biāo)達(dá)成評(píng)價(jià)目的,并未對(duì)指標(biāo)進(jìn)行評(píng)判或研究;學(xué)術(shù)評(píng)價(jià)思考文
本文分析發(fā)現(xiàn),指標(biāo)研究類(lèi)文獻(xiàn)占多數(shù),大多探討現(xiàn)有指標(biāo)的缺陷或改進(jìn),個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)在該類(lèi)環(huán)境下被提及的個(gè)數(shù)更多,平均每篇文獻(xiàn)提及指標(biāo)5.2個(gè),高于平均水平,表明在進(jìn)行指標(biāo)研究時(shí)存在比其他3類(lèi)研究任務(wù)更多的指標(biāo)提及。
指標(biāo)運(yùn)用類(lèi)文獻(xiàn)中,大多數(shù)學(xué)者對(duì)指標(biāo)的使用行為是將某個(gè)指標(biāo)作為判斷核心作者的工具去使用,例如利用發(fā)文量、被引頻次、h指數(shù)等統(tǒng)計(jì)評(píng)出核心高影響力作者,便于文獻(xiàn)問(wèn)題的研究。雖然文獻(xiàn)所占比例25%,排在第2位,但平均每篇文獻(xiàn)提及指標(biāo)僅有2.5個(gè),表明學(xué)者們?cè)趩渭冞\(yùn)用指標(biāo)時(shí),一般不超過(guò)3個(gè)指標(biāo)。
學(xué)術(shù)評(píng)價(jià)思考類(lèi)文獻(xiàn)不局限于研究或使用指標(biāo),而是將指標(biāo)放入整個(gè)學(xué)術(shù)評(píng)價(jià)環(huán)境中進(jìn)行探討,指標(biāo)的篇均提及數(shù)量屬于平均水平。其他類(lèi)文獻(xiàn)使用環(huán)境上,同行評(píng)議和學(xué)術(shù)評(píng)價(jià)思考兩者占大多數(shù),學(xué)者們對(duì)于同行評(píng)議這一主題的單一研究以及學(xué)術(shù)評(píng)價(jià)大環(huán)境思考方面有所關(guān)注,但該類(lèi)文獻(xiàn)平均提及指標(biāo)數(shù)最少。
此外,本文分別統(tǒng)計(jì)出在4類(lèi)環(huán)境里,哪些指標(biāo)出現(xiàn)頻次較高,選取出現(xiàn)較高的指標(biāo)進(jìn)行統(tǒng)計(jì),如圖3所示。
根據(jù)圖3可知,指標(biāo)研究類(lèi)文獻(xiàn)中,提及h指數(shù)的頻次明顯多于其他指標(biāo),表明h指數(shù)與h型指數(shù)受到我國(guó)學(xué)者重視,是我國(guó)的主要研究指標(biāo)。指標(biāo)運(yùn)用類(lèi)文獻(xiàn)中,前3項(xiàng)指標(biāo)分別是發(fā)文量、被引量和h指數(shù),且前3項(xiàng)指標(biāo)明顯多于其他指標(biāo),它們的共同特征是統(tǒng)計(jì)方便和計(jì)算簡(jiǎn)單,評(píng)價(jià)效果直觀易懂,表明學(xué)者們?cè)趩渭冞\(yùn)用指標(biāo)時(shí),傾向于使用較為直觀、簡(jiǎn)單的指標(biāo),這與基于使用范圍角度分析的觀點(diǎn)一致。學(xué)術(shù)評(píng)價(jià)思考類(lèi)文獻(xiàn)和其他類(lèi)文獻(xiàn)中,沒(méi)有明顯高頻的指標(biāo)出現(xiàn),這也與兩類(lèi)文獻(xiàn)研究主題寬泛有關(guān),但出現(xiàn)頻次相對(duì)較多的指標(biāo)仍是h指數(shù)、被引頻次和發(fā)文量。
3.3? 基于使用動(dòng)機(jī)維度的分析
使用動(dòng)機(jī)即涉及個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)的原因。考慮到指標(biāo)的使用與算法的使用有共通之處,本文參考章成志等[22]對(duì)算法實(shí)體使用動(dòng)機(jī)的分類(lèi)思想,分類(lèi)并判斷作者提及相應(yīng)指標(biāo)的使用動(dòng)機(jī),分類(lèi)標(biāo)準(zhǔn)如表6所示。
動(dòng)機(jī)類(lèi)型二級(jí)分類(lèi)說(shuō)明具體實(shí)例
背景提及a——介紹指標(biāo)的背景信息、解釋指標(biāo)的原理、他人工作中使用“在情報(bào)學(xué)領(lǐng)域?qū)W(xué)科領(lǐng)域核心作者的選取主要是依據(jù)作者的發(fā)文量、被引頻次、h指數(shù)等來(lái)度量。”
實(shí)際使用b
單一使用b1在文獻(xiàn)中使用了指標(biāo),且沒(méi)有改進(jìn),也沒(méi)有與其他指標(biāo)比較“本文根據(jù)作者相關(guān)文獻(xiàn)的被引頻次來(lái)選擇核心作者?!?/p>
單一使用并比較b2在文獻(xiàn)中使用了指標(biāo),且與其他指標(biāo)進(jìn)行了比較“對(duì)h指數(shù)和g指數(shù)進(jìn)行比較和研究,重點(diǎn)分析了科研人員h指數(shù)逐年變化的態(tài)勢(shì)?!?/p>
結(jié)合改進(jìn)使用b3在文獻(xiàn)中結(jié)合改進(jìn)并使用了指標(biāo),且沒(méi)有與其他指標(biāo)進(jìn)行對(duì)比“結(jié)合集成影響指標(biāo)(I3)和h指數(shù)構(gòu)成I3型多變量指標(biāo)框架,獲得……等多變量指標(biāo)?!?/p>
結(jié)合改進(jìn)使用并比較b4在文獻(xiàn)中結(jié)合改進(jìn)使用了指標(biāo),且與其他指標(biāo)進(jìn)行對(duì)比“設(shè)計(jì)了反映作者自身科研價(jià)值的指標(biāo)V……將評(píng)價(jià)結(jié)果分別與傳統(tǒng)指標(biāo)和單一指標(biāo)進(jìn)行對(duì)比,進(jìn)一步驗(yàn)證了方法的有效性?!?/p>
根據(jù)分類(lèi),對(duì)文獻(xiàn)數(shù)據(jù)進(jìn)行標(biāo)注,得到指標(biāo)使用動(dòng)機(jī)的整體分布,如圖4所示。就指標(biāo)整體使用動(dòng)機(jī)而言,背景提及的占比略高于實(shí)際使用,這表明,我國(guó)個(gè)人學(xué)術(shù)評(píng)價(jià)研究領(lǐng)域的學(xué)者在背景介紹和提及指標(biāo)方面較為重視,他們?cè)谑褂?、研究某一指?biāo)時(shí)習(xí)慣將與該指標(biāo)發(fā)展脈絡(luò)相關(guān)的其他指標(biāo)進(jìn)行背景提及,使得指標(biāo)的背景提及動(dòng)機(jī)數(shù)量增多。
本文進(jìn)一步統(tǒng)計(jì)了出現(xiàn)頻次前5項(xiàng)指標(biāo)的使用動(dòng)機(jī)分布,如圖5所示。統(tǒng)計(jì)顯示,就單個(gè)指標(biāo)而言,出現(xiàn)頻率最高的5種指標(biāo),除了h型指數(shù),其余指標(biāo)使用動(dòng)機(jī)均是實(shí)際使用明顯多于背景提及。本文認(rèn)為學(xué)者們實(shí)際使用指標(biāo),尤其是進(jìn)行指標(biāo)研究時(shí),習(xí)慣將其他相關(guān)指標(biāo)作為背景提及,使得指標(biāo)整體使用動(dòng)機(jī)分布中的背景提及頻次多于實(shí)際使用頻次。總體上看,提及次數(shù)多的指標(biāo)一般實(shí)際使用動(dòng)機(jī)占比更高,相應(yīng)地,提及次數(shù)少的指標(biāo)一般背景提及動(dòng)機(jī)占比更高。
在指標(biāo)的實(shí)際使用二級(jí)分類(lèi)方面,指標(biāo)實(shí)際使用整體分布情況統(tǒng)計(jì)結(jié)果如圖6所示。結(jié)果顯示,指標(biāo)的實(shí)際使用主要集中在單一使用并比較方面,占比46%,這說(shuō)明多數(shù)情況下學(xué)者們使用指標(biāo)的習(xí)慣傾向于在使用指標(biāo)的同時(shí)與其他指標(biāo)使用做比較,體現(xiàn)分析的全面性和優(yōu)越性;指標(biāo)的單一使用情況占比64%,多于指標(biāo)的結(jié)合改進(jìn)使用情況的36%占比,表明學(xué)者們?cè)谥笜?biāo)實(shí)際使用方面較多是直接使用現(xiàn)有指標(biāo)進(jìn)行研究比較,說(shuō)明較為認(rèn)可現(xiàn)有指標(biāo);但指標(biāo)結(jié)合改進(jìn)情況仍有近4成的占比,表示學(xué)界處于較多使用現(xiàn)有指標(biāo),卻又不滿足于現(xiàn)有指標(biāo),仍處于探索研究完善指標(biāo)性能的階段。
頻次前5的單指標(biāo)使用動(dòng)機(jī)二級(jí)分類(lèi)分布如表7所示??梢钥闯?,h指數(shù)與篇均被引頻次常用于單一使用并比較和結(jié)合改進(jìn)使用,單一使用和結(jié)合改進(jìn)使用并比較的比例不多;被引頻次和發(fā)文量常用于單一使用和單一使用并比較,主要原因是這兩種統(tǒng)計(jì)指標(biāo)計(jì)算簡(jiǎn)單,表達(dá)簡(jiǎn)潔,利于直接使用;h型指數(shù)作為h指數(shù)的衍生發(fā)展,一般不單一使用,文獻(xiàn)作者一般會(huì)將其與h指數(shù)等指標(biāo)做比較,或是繼續(xù)進(jìn)行改良,故單一使用的比例最少。
另外,頻次靠后的其他指標(biāo),使用動(dòng)機(jī)則多聚集于背景提及和結(jié)合改進(jìn)使用并比較兩種。結(jié)合全文輔助分析可以看出,低頻指標(biāo)一般被作為文獻(xiàn)背景簡(jiǎn)要提及,或是經(jīng)過(guò)作者改良提出的新命名指標(biāo),未取得更多關(guān)注。
3.4? 基于使用情感維度的分析
作者對(duì)指標(biāo)的使用情感在某種程度上顯示出對(duì)該指標(biāo)的認(rèn)可程度,本文通過(guò)全文輔助分析,將作者對(duì)于指標(biāo)的使用情感進(jìn)行正面、中性和負(fù)面的標(biāo)注,考察學(xué)者在不同引用情感下的引用行為特征。標(biāo)注說(shuō)明如表8所示。通過(guò)全文內(nèi)容及上下文判斷使用情感,最終得到使用情感標(biāo)注的指標(biāo)數(shù)據(jù)。
情感分類(lèi)標(biāo)注的結(jié)果如表9所示。分析發(fā)現(xiàn),學(xué)者們中性使用指標(biāo)的行為占比62.06%,遠(yuǎn)高于正負(fù)情感;正面使用占比次之,為26.38%,多于負(fù)面使用的占比11.56%。根據(jù)統(tǒng)計(jì)結(jié)果和全文輔助分析顯示,多數(shù)學(xué)者對(duì)指標(biāo)的使用情感持客觀中立的態(tài)度,中性評(píng)價(jià)的行為多伴隨背景提及類(lèi)型出現(xiàn),即學(xué)者們對(duì)這類(lèi)指標(biāo)表示有所了解,但并不深入評(píng)價(jià),將其多運(yùn)用于背景提及,豐富文章綜述;中性指標(biāo)還有一種使用行為是學(xué)者們使用這些指標(biāo)作為研究數(shù)值上的比較,但并不予以評(píng)價(jià)。
在正面的情感使用方面,學(xué)者們多傾向于使用指標(biāo)去判定一個(gè)研究領(lǐng)域的核心作者,這代表著文章作者對(duì)這類(lèi)指標(biāo)是相信和認(rèn)可的正面態(tài)度;學(xué)者們負(fù)面評(píng)價(jià)指標(biāo)的使用行為大多是指出這類(lèi)指標(biāo)的缺陷,借此引出更好的指標(biāo)或引出研究提出的新指標(biāo),經(jīng)比較之后認(rèn)可新指標(biāo)的優(yōu)勢(shì)。
4? 討? 論
加菲爾德曾在中國(guó)明確表示,不能以SCI論文數(shù)量評(píng)價(jià)科學(xué)水平,應(yīng)該運(yùn)用更科學(xué)的評(píng)價(jià)標(biāo)準(zhǔn)體系[37]。圖書(shū)情報(bào)學(xué)界內(nèi)以蘇新寧、葉繼元等為代表的學(xué)者們認(rèn)為體系的構(gòu)建應(yīng)受到格外的重視,同時(shí)也表示評(píng)價(jià)制度的建設(shè)并非一蹴而就,需要在豐富的評(píng)價(jià)實(shí)踐基礎(chǔ)上加以總結(jié)、抽象和概括,形成文字性的規(guī)范[38]。在科學(xué)、合理的學(xué)術(shù)評(píng)價(jià)指標(biāo)體系中,應(yīng)有專(zhuān)用的指標(biāo)對(duì)不同客體進(jìn)行評(píng)價(jià),避免指標(biāo)混用,希望在不斷地探索進(jìn)步中明確形成更加規(guī)范、有效的個(gè)人評(píng)價(jià)指標(biāo)體系。
本文分析發(fā)現(xiàn),在學(xué)者研究行為方面,根據(jù)已有指標(biāo)改進(jìn)提出一個(gè)新指標(biāo)后,再與其他指標(biāo)比較效果的行為不多,指標(biāo)研究習(xí)慣有待優(yōu)化。仍有部分學(xué)者對(duì)指標(biāo)使用客體區(qū)分不清,例如混淆個(gè)人、期刊、文獻(xiàn)3類(lèi)評(píng)價(jià)客體的指標(biāo)去提出新指標(biāo),使用影響因子去評(píng)價(jià)個(gè)體等。學(xué)術(shù)評(píng)價(jià)研究、模型研究的文獻(xiàn),雖提及指標(biāo),但不具體深入研究,指標(biāo)引用情感以中性居多,重點(diǎn)放在方法、模型、框架角度去思考如何形成一個(gè)更好的學(xué)術(shù)評(píng)價(jià)體系。簡(jiǎn)單運(yùn)用指標(biāo)的文獻(xiàn),大多數(shù)行為是將某些指標(biāo)用于確定該領(lǐng)域的核心、高影響力作者,且大多數(shù)使用單一指標(biāo)如發(fā)文量、h指數(shù),簡(jiǎn)單向讀者展示核心作者的排名與篩選的過(guò)程,傳遞出對(duì)這類(lèi)指標(biāo)的正向認(rèn)可的情感。在指標(biāo)使用上,有學(xué)者提出觀點(diǎn),認(rèn)為指標(biāo)在不斷改進(jìn),越來(lái)越成熟,指標(biāo)本身是合理的,但學(xué)者實(shí)際使用的計(jì)算方式不準(zhǔn)確、不科學(xué),在學(xué)者使用指標(biāo)的行為規(guī)范性上存在研究空間。對(duì)指標(biāo)融合研究有貢獻(xiàn)文獻(xiàn)仍十分稀少。指標(biāo)融合研究較多的代表學(xué)者是葉鷹,也有部分學(xué)者嘗試結(jié)合多指標(biāo)去探究更好的綜合評(píng)價(jià)方法,例如運(yùn)用多個(gè)指標(biāo)逐步篩選作者,或分配指標(biāo)一定權(quán)重去篩選作者,但采用的方法較簡(jiǎn)單,沒(méi)有實(shí)質(zhì)創(chuàng)新。
另外,本文發(fā)現(xiàn),傳統(tǒng)的科研人員評(píng)價(jià)方法還包括同行評(píng)議法、文獻(xiàn)計(jì)量法、社會(huì)網(wǎng)絡(luò)分析法等。目前研究較為新興的評(píng)價(jià)方法是Altmetrics,但由于語(yǔ)言差異以及政策限制,國(guó)內(nèi)學(xué)者對(duì)國(guó)外網(wǎng)絡(luò)平臺(tái)使用較少,Altmetrics評(píng)價(jià)在我國(guó)的實(shí)際適用程度有所欠缺,而且現(xiàn)有Altmetrics評(píng)價(jià)主要偏向期刊、文獻(xiàn)評(píng)價(jià),較少用于個(gè)人學(xué)術(shù)評(píng)價(jià)。
5? 結(jié)? 語(yǔ)
通過(guò)分析評(píng)價(jià),預(yù)測(cè)未來(lái)學(xué)術(shù)發(fā)展的趨向,是學(xué)術(shù)評(píng)價(jià)的最高境界,作為學(xué)術(shù)評(píng)價(jià),不僅要看到過(guò)去,知曉現(xiàn)在,更要能夠預(yù)測(cè)未來(lái),真正將評(píng)價(jià)當(dāng)作一種學(xué)術(shù)引領(lǐng)來(lái)做[1]。我國(guó)圖書(shū)情報(bào)學(xué)目前正處于快速發(fā)展時(shí)期,學(xué)術(shù)評(píng)價(jià)恰恰是關(guān)乎圖書(shū)情報(bào)學(xué)發(fā)展的關(guān)鍵部分之一,個(gè)人學(xué)術(shù)評(píng)價(jià)作為學(xué)術(shù)評(píng)價(jià)的重要組成部分,應(yīng)予以重視。
本文運(yùn)用內(nèi)容分析法,從4個(gè)維度分析個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)在我國(guó)圖書(shū)情報(bào)領(lǐng)域的應(yīng)用情況。通過(guò)分析,筆者認(rèn)為:我國(guó)圖書(shū)情報(bào)領(lǐng)域h指數(shù)、發(fā)文量與被引頻次指標(biāo)出現(xiàn)次數(shù)最多,個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)應(yīng)用依舊傳統(tǒng),主要使用傳統(tǒng)簡(jiǎn)便的指標(biāo),仍處于主要研究h指數(shù)與h型指數(shù)的階段;個(gè)人學(xué)術(shù)綜合評(píng)價(jià)的多指標(biāo)融合途徑研究較少,新興的Altmetrics評(píng)價(jià)方法在我國(guó)還未適用;仍有必要繼續(xù)加強(qiáng)包括多指標(biāo)融合比較、進(jìn)一步構(gòu)建個(gè)人學(xué)術(shù)指標(biāo)體系在內(nèi)的個(gè)人學(xué)術(shù)評(píng)價(jià)指標(biāo)研究。
本文的貢獻(xiàn)在于:篩選數(shù)據(jù)后加之全文內(nèi)容輔助分析,指標(biāo)數(shù)據(jù)收集精準(zhǔn),不僅考慮指標(biāo)的使用范圍頻次,還考慮了指標(biāo)使用的環(huán)境、動(dòng)機(jī)和情感,分析結(jié)果較為深入、全面。本文的局限性在于:情況研究?jī)H限于我國(guó)圖書(shū)情報(bào)領(lǐng)域代表期刊,數(shù)據(jù)量偏少;在分析各項(xiàng)指標(biāo)使用時(shí),沒(méi)有考慮使用指標(biāo)學(xué)者的年齡、從業(yè)經(jīng)歷等影響方面;沒(méi)有對(duì)數(shù)據(jù)進(jìn)行多維度關(guān)聯(lián)解讀。今后可嘗試對(duì)更全的數(shù)據(jù)進(jìn)行相關(guān)性分析,加強(qiáng)分類(lèi)標(biāo)準(zhǔn)與信度和效度檢驗(yàn)。
參考文獻(xiàn)
[1]蘇新寧,王東波.學(xué)術(shù)評(píng)價(jià)相關(guān)問(wèn)題與思考[J].信息資源管理學(xué)報(bào),2018,8(3):4-11.
[2]Garfield E.Citation Indexes for Science.A New Dimension in Documentation Through Association of Ideas[J].International Journal of Epidemiology,2006,35(5):1123-1127.
[3]蘇新寧.構(gòu)建人文社會(huì)科學(xué)學(xué)術(shù)期刊評(píng)價(jià)體系[J].東岳論叢,2008,(1):35-42.
[4]杜建,張玢,李陽(yáng),等.學(xué)者學(xué)術(shù)影響力評(píng)價(jià)指標(biāo)的優(yōu)選與學(xué)術(shù)行為特點(diǎn)的國(guó)內(nèi)外比較[J].圖書(shū)情報(bào)工作,2011,55(10):98-102,143.
[5]Costas R,Bordons M.Bibliometric Indicators at the Micro-level:Some Results in the Area of Natural Resources at the Spanish CSIC[J].Research evaluation,2005,14(2):110-120.
[6]Van,Noorden R.Metrics:A Profusion of Measures[J].Nature News,2010,465(7300):864-866.
[7]Hoppeler H.The San Francisco Declaration on Research Assessment[J].2013:2163-2164.
[8]葉鷹.國(guó)際學(xué)術(shù)評(píng)價(jià)指標(biāo)研究現(xiàn)狀及發(fā)展綜述[J].情報(bào)學(xué)報(bào),2014,33(2):215-224.
[9]徐佳寧,孫婧.學(xué)者個(gè)人學(xué)術(shù)成就評(píng)價(jià)指標(biāo)研究述評(píng)[J].情報(bào)探索,2018,(11):122-128.
[10]高志,張志強(qiáng).個(gè)人學(xué)術(shù)影響力定量評(píng)價(jià)方法研究綜述[J].情報(bào)理論與實(shí)踐,2016,39(1):133-138.
[11]高志,張志強(qiáng).個(gè)人學(xué)術(shù)影響力的動(dòng)態(tài)評(píng)價(jià)方法研究綜述[J].情報(bào)雜志,2015,34(11):40-43,78.
[12]高志,張志強(qiáng).個(gè)人學(xué)術(shù)影響力與年齡的變化規(guī)律研究進(jìn)展——基于自然科學(xué)領(lǐng)域[J].情報(bào)雜志,2016,35(2):105-109,156.
[13]遲培娟,宋秀芳.個(gè)人學(xué)術(shù)影響力評(píng)價(jià)方法比較分析——學(xué)術(shù)跡與F1000評(píng)分、影響因子、被引次數(shù)等指標(biāo)的比較分析[J].情報(bào)科學(xué),2018,36(12):9-12.
[14]邱均平,繆雯婷.h指數(shù)在人才評(píng)價(jià)中的應(yīng)用——以圖書(shū)情報(bào)學(xué)領(lǐng)域中國(guó)學(xué)者為例[J].科學(xué)觀察,2007,(3):17-22.
[15]Egghe L,Rousseau R.An Informetric Model for the Hirsch-index[J].Scientometrics,2006,69(1):121-129.
[16]金碧輝.R 指數(shù),AR 指數(shù):h 指數(shù)功能擴(kuò)展的補(bǔ)充指標(biāo)[J].科學(xué)觀察,2007,2(3):1-8.
[17]Costas R,Bordons Maria Bordons.Is G-index Better than H-index?An Exploratory Study at the Individual Level[J].Scientometrics,2008,77(2):267-288.
[18]孫亦樑,徐克敏.合理利用SCI對(duì)個(gè)人做學(xué)術(shù)評(píng)價(jià)[J].圖書(shū)館論壇,2002,(5):24-26,53.
[19]Leeuwen T N V,Visser M S,Moed H F,et al.The Holy Grail of Science Policy:Exploring and Combining Bibliometric Tools in Search of Scientific Excellence[J].Scientometrics,2003,57(2):257-280.
[20]王菲菲,王筱涵,劉揚(yáng).三維引文關(guān)聯(lián)融合視角下的學(xué)者學(xué)術(shù)影響力評(píng)價(jià)研究——以基因編輯領(lǐng)域?yàn)槔齕J].情報(bào)學(xué)報(bào),2018,37(6):610-620.
[21]Ding Y,Song M,Han J,et al.Entitymetrics:Measuring the Impact of Entities[J].PloS one,2013,8(8):e71416.
[22]章成志,丁睿祎,王玉琢.基于學(xué)術(shù)論文全文內(nèi)容的算法使用行為及其影響力研究[J].情報(bào)學(xué)報(bào),2018,37(12):1175-1187.
[23]徐庶睿,章成志,盧超.利用引文內(nèi)容進(jìn)行主題級(jí)學(xué)科交叉類(lèi)型分析[J].圖書(shū)情報(bào)工作,2017,61(23):15-24.
[24]王玉琢,章成志.考慮全文本內(nèi)容的算法學(xué)術(shù)影響力分析研究[J].圖書(shū)情報(bào)工作,2017,61(23):6-14.
[25]Belter C W.Measuring the Value of Research Data:A Citation Analysis of Oceanographic Data Sets[J].PLoS One,2014,9(3):e92590.
[26]丁楠,丁瑩,楊柳,等.我國(guó)圖書(shū)情報(bào)領(lǐng)域數(shù)據(jù)引用行為分析[J].中國(guó)圖書(shū)館學(xué)報(bào),2014,40(6):105-114.
[27]崔明,潘雪蓮,華薇娜.我國(guó)圖書(shū)情報(bào)領(lǐng)域的軟件使用和引用研究[J].中國(guó)圖書(shū)館學(xué)報(bào),2018,44(3):66-78.
[28]楊波,王雪,佘曾溧.生物信息學(xué)文獻(xiàn)中的科學(xué)軟件利用行為研究[J].情報(bào)學(xué)報(bào),2016,35(11):1140-1147.
[29]趙蓉英,魏明坤,汪少震.基于Altmetrics的開(kāi)源軟件學(xué)術(shù)影響力評(píng)價(jià)研究[J].中國(guó)圖書(shū)館學(xué)報(bào),2017,43(2):80-95.
[30]任增元,徐婧,姜春林.我國(guó)學(xué)術(shù)評(píng)價(jià)研究述評(píng)與趨勢(shì)展望——基于1998—2015年1 429篇文獻(xiàn)的計(jì)量分析[J].情報(bào)雜志,2016,35(12):139-144,154.
[31]耿樹(shù)青,楊建林.基于引用情感的論文學(xué)術(shù)影響力評(píng)價(jià)方法研究[J].情報(bào)理論與實(shí)踐,2018,41(12):93-98.
[32]劉盛博,丁堃.基于引用內(nèi)容的引文評(píng)價(jià)分析[J].第九屆中國(guó)科技政策與管理學(xué)術(shù)年會(huì)論文集,2013.
[33]劉盛博,丁堃,張春博.基于引用內(nèi)容性質(zhì)的引文評(píng)價(jià)研究[J].情報(bào)理論與實(shí)踐,2015,38(3):77-81.
[34]Athar A,Teufel S.Context-enhanced Citation Sentiment Detection[C]//Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies.Association for Computational Linguistics,2012:597-601.
[35]Abu-Jbara A,Ezra J,Radev D.Purpose and Polarity of Citation:Towards Nlp-based Bibliometrics[C]//Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies.2013:596-606.
[36]劉宇,葉繼元,袁曦臨.圖書(shū)情報(bào)學(xué)期刊的分層結(jié)構(gòu):基于同行評(píng)議的實(shí)證研究[J].中國(guó)圖書(shū)館學(xué)報(bào),2011,37(2):105-114.
[37]葉繼元.人文社會(huì)科學(xué)評(píng)價(jià)體系探討[J].南京大學(xué)學(xué)報(bào):哲學(xué)·人文科學(xué)·社會(huì)科學(xué)版,2010,47(1):97-110,160.
[38]葉繼元.近年來(lái)國(guó)內(nèi)外學(xué)術(shù)評(píng)價(jià)的難點(diǎn)、對(duì)策與走向[J].甘肅社會(huì)科學(xué),2019,(3):61-67.
(責(zé)任編輯:孫國(guó)雷)