■楊毓麗 高 健 秦 奮
大連理工大學(xué)圖書館,大連市甘井子區(qū)凌工路2號 116024
2016年12月8日,荷蘭著名出版商Elsevier推出期刊評價體系CiteScore,該指標(biāo)與影響因子(IF)類似,但其基于Elsevier自有科學(xué)文獻數(shù)據(jù)庫Scopus收錄期刊。該評價體系包含8個指標(biāo):CiteScore、引用追蹤、引用百分位、引用四分位數(shù)、CiteScore排名、引用數(shù)、文獻數(shù)量和引用比例。CiteScore發(fā)布后,學(xué)術(shù)界將其視為IF的挑戰(zhàn)對手。目前,國內(nèi)外已有文獻對CiteScore和IF進行對比分析,比較兩者在期刊收錄范圍、計算方法、影響力排名分區(qū)等方面的差異,例如,van Noorden[1]比較了高IF期刊在CiteScore中的表現(xiàn),結(jié)果表明Nature,Science等期刊的CitesScore值偏低,如果按照CiteScore統(tǒng)計方法,一些期刊編輯部有可能會減少非研究性文獻類型,從而獲得更高的CiteScore值;肖仙桃等[2]重點評價中國科技期刊在2個評價體系中的表現(xiàn);葉艷等[3]分析了經(jīng)濟管理學(xué)類期刊IF和CiteScore指數(shù)的異同;劉雪立等[4]統(tǒng)計了8個學(xué)科期刊CiteScore和IF的相關(guān)性;Teixeira等[5]分析了CiteScore和IF在期刊收錄范圍、相互覆蓋程度的特征;Erfanmanesh等[6]利用CiteScore,SJR和SNIP中位數(shù)分析了102個國家發(fā)文總量和引用數(shù)的相關(guān)性,結(jié)果表明國家發(fā)文總量和引用數(shù)與CiteScore,SJR和SNIP密切相關(guān);Kim等[7]介紹了CiteScore統(tǒng)計方式與其他期刊影響因子的不同;Elliott[8]認(rèn)為SCImago或CiteScore基于3年時間窗口,更能反映半衰期較長的臨床醫(yī)學(xué)期刊的影響力;Yan等[9]分學(xué)科計算了開放獲取期刊和非開放獲取期刊在CiteScore的分區(qū)情況,結(jié)果表明,社會科學(xué)中非開放獲取期刊具有更高的CiteScore值,而在生物化學(xué)和醫(yī)學(xué)領(lǐng)域,開放獲取期刊具有較高CiteScore值。本文在上述研究基礎(chǔ)上,通過建立CiteScore值與IF回歸模型,分析兩者的相關(guān)性,并利用R語言,進一步調(diào)用residuals()命令,獲得CiteScore和IF殘差,并對殘差進行排序,抽取CiteScore和IF殘差較大的10種期刊與CiteScore和IF殘差較小的5種期刊,通過提出被引比率速率指數(shù)來考察不同類型文獻在不同時間窗口被引比率的變化規(guī)律,以期為期刊影響因子評價提供新的參考依據(jù)。
本研究的IF數(shù)據(jù)來源于科睿唯安的Web of Science(WoS)數(shù)據(jù)庫,選取了2016年版《期刊引證報告》(JCR)數(shù)據(jù)。CiteScore數(shù)據(jù)來源于Scopus數(shù)據(jù)庫,Scopus數(shù)據(jù)庫收錄期刊數(shù)量為22000多種,其中11000多種期刊沒有影響因子但有CiteScore值。而一些被SCI收錄、影響因子不錯的期刊未被Scopus收錄,如期刊AstrophysicalJournalofSupplementSeries,ACSCentralScience等。CiteScore和IF比較情況見表1。
表1 CiteScore和IF的比較
注: IF2是指引證時間窗口為2年的期刊IF,IF5是指引證時間窗口為5年的期刊IF。
步驟1:從Scopus檢索平臺下載2012—2016年各收錄期刊的CiteScore數(shù)據(jù)。
步驟2:從WoS檢索平臺下載2012—2016年各期刊的IF2和IF5。
步驟3:為了解期刊IF的數(shù)據(jù)分布特點,統(tǒng)計2014—2016年CiteScore和IF的最大值、最小值、平均值、中位數(shù)和標(biāo)準(zhǔn)差。中位數(shù)與平均值的比值以及標(biāo)準(zhǔn)差一定程度上說明數(shù)據(jù)分布的偏態(tài)情況,對稱分布的中位數(shù)與平均值比值為1,偏離1越遠說明數(shù)據(jù)偏倚越大。
步驟4:將數(shù)據(jù)導(dǎo)入*.csv文件。在R語言程序中讀取*.csv 文件,通過調(diào)用cor()、fitlm<-lm()以及summary(fitlm)3個函數(shù),分別建立2012—2016年CiteScore和IF2、IF5的線性回歸模型,以考察CiteScore指標(biāo)和IF之間是否具有相關(guān)性。
步驟5:為了確保期刊CiteScore在學(xué)術(shù)界的透明度,Scopus數(shù)據(jù)庫提供收錄期刊過去3年發(fā)表論文的原始記錄鏈接入口。為考察CiteScore和IF的異同,通過調(diào)用residuals()命令,獲得CiteScore和IF殘差,并對殘差進行排序,從中抽取CiteScore和IF殘差較大的10種期刊(5種期刊的CiteScore高于IF,5種期刊的CiteScore低于IF)與Citescore和IF殘差較小的5種期刊為樣本進行分析(表2)。
表2 CiteScore和IF殘差較大的10種期刊和殘差較小的5種期刊的評價指標(biāo)
CiteScore引證時間窗口選擇3年,這是IF2和IF5的折中,還是最佳的引證時間窗口?不同類型的文獻影響力是否一致?為此,本研究對抽取的15種期刊進行線性回歸分析,通過對文獻類型和引證時間窗口進行拆分,可得到CiteScore的計算公式:
(1)
為考察不同類型文獻的被引速率是否在3年達到峰值,筆者采用文獻[10]的被引速率:
(2)
式中v為論文被引速率,Ci為論文在第i年的被引頻次,Cn為論文在第n年的被引頻次。這一指數(shù)被廣泛用于考察不同文獻類型、不同學(xué)科期刊IF老化速率的研究,如用于發(fā)現(xiàn)“睡美人”文獻和“王子”文獻[11-12]等。本研究在此概念基礎(chǔ)上,進一步提出被引比率速率指數(shù):
(3)
式中σ為文獻被引比率速率,ωi為第i年被引用論文占全部論文的比例,ωn為第n年被引用論文占全部論文的比例。本研究通過被引比率速率指數(shù)考察不同類型文獻在不同時間窗口被引比率的變化規(guī)律。
2016年所有期刊CiteScore排名中,CiteScore指數(shù)前10位的期刊分別屬于醫(yī)學(xué)、化學(xué)、材料和天文學(xué)學(xué)科(表3)。同時這10種期刊都不是開放獲取期刊,說明開放獲取并不是期刊具有高影響力的必要條件。通過檢索這10種期刊IF排名情況,發(fā)現(xiàn)除Ca-ACancerJournalforClinicians的IF2(187.04)和IF5(160.239)排名均高居頭名外,其余樣本期刊的CiteScore和IF排名差異較大。例如MaterialsScienceandEngineering:R和ProgressinMaterialsScience的IF均排在20多位,PhysiologicalReviews和ProgressinPolymerScience的IF均排在30多位。這10種期刊的IF2和IF5排名均相同。而在CiteScore統(tǒng)計下,IF排名靠前的期刊如Science、Nature和Cell在CiteScore排名中分別位于54、67和19位,其他學(xué)科的頂級學(xué)術(shù)期刊如TheNewEnglandJournalofMedicine,TheLancet在CiteScore評價體系中排名差強人意。這一排名方式有可能使科研人員對于CiteScore評價方法的公正性和客觀性產(chǎn)生質(zhì)疑。
對于CiteScore值高于IF值的原因,CiteScore在使用說明中提出了以下兩個影響因素:(1)CiteScore基于Scopus數(shù)據(jù)庫,由于Scopus數(shù)據(jù)庫收錄范圍大于WoS數(shù)據(jù)庫,因此Scopus收錄期刊數(shù)量較多,帶來引用的可能較大;(2)由于CiteScore統(tǒng)計分母包括社論、技術(shù)通信、來信、通告、讀者來信、科學(xué)訊息觀察、報告等文獻,因此許多綜合類期刊的CiteScore值低于IF值,但對于只發(fā)表研究論文和綜述論文的期刊,其CiteScore值高于IF值[13]。盡管不同期刊有不同的引用峰度,但相較于IF2,3年的引證時間窗口可以使期刊捕捉更多引文信息,從而能夠累積更多被引頻次,這也是CiteScore值高于IF值的主要原因之一。Scopus認(rèn)為:信件的引用對學(xué)術(shù)界的影響力與一篇研究論文的引用對學(xué)術(shù)界的影響力相同;同時分子和分母之間文獻類型一致性可簡化期刊評價指標(biāo)的計算,降低文獻計量的操作難度。在進行文獻類型分類時,Scopus將所有信件、評論等與研究類論文一視同仁,這一做法尚值得商榷。
表3 2016年CiteScore排名前10期刊的評價指標(biāo)
從IF取值范圍來看,2014—2016年樣本期刊的IF2和IF5均高于CiteScore。其中,2016年IF2的最大值為187.04,2016年IF5的最大值為160.24,比CiteScore值大一倍。2014—2016年IF平均值、中位數(shù)、標(biāo)準(zhǔn)差均遠高于CiteScore值,這表明IF數(shù)據(jù)離散程度較高,而CiteScore數(shù)據(jù)相對集中(表4)。
表4 CiteScore和IF取值范圍統(tǒng)計結(jié)果
本研究通過分析CiteScore和IF的相關(guān)性,發(fā)現(xiàn)2012—2016年所有樣本期刊的CiteScore和IF呈線性相關(guān),R-squared取值范圍為[0.7973,0.8076],顯著性水平均小于0.01,2012—2016年相關(guān)系數(shù)r略有差異,但變化不大,其中CiteScore和IF5的相關(guān)系數(shù)均高于CiteScore和IF2的相關(guān)系數(shù)(表5)。
表5 2012—2016年Citescore和IF的線性回歸結(jié)果
注:*為顯著性標(biāo)記;***表明顯著性水平小于0.01。
在對回歸模型進行顯著性檢驗后,本研究進一步進行殘差分析以檢驗?zāi)P偷恼_性。本研究用R語言par(mfrow=c(1,4))和plot()函數(shù)生成4種用于殘差診斷的圖形(圖1),查看殘差是否服從正態(tài)分布。以2016年CiteScore和IF線性回歸殘差為例,圖1(a)為殘差和擬合值模型,殘差和擬合值之間數(shù)據(jù)點均勻分布在y=0兩側(cè),呈現(xiàn)隨機分布;圖1(b)為殘差的Q-Q plot模型,數(shù)據(jù)點按對角線排列,呈正態(tài)分布;圖1(c)為標(biāo)準(zhǔn)化殘差平方根和擬合值,數(shù)據(jù)點均勻分布在y=0兩側(cè),紅色線呈現(xiàn)平穩(wěn)的變化趨勢且沒有明顯的形狀特征;圖1(d)為標(biāo)準(zhǔn)化殘差和杠桿值,沒有出現(xiàn)紅色等高線,說明數(shù)據(jù)中沒有特別影響回歸結(jié)果的異常點,殘差基本符合假設(shè)條件。
圖1 殘差診斷的圖形。(a)殘差和擬合值模型;(b)殘差的Q-Q plot模型;(c)標(biāo)準(zhǔn)化殘差平方根和擬合值;(d)標(biāo)準(zhǔn)化殘差和杠桿值
通過對不同文獻類型,不同時間窗口的CiteScore值、被引速率和被引比率速率的統(tǒng)計結(jié)果進行分析。
(1)收錄文獻類型不同是造成10種樣本期刊CiteScore和IF殘差較大的原因之一。以NatureReviews、TheLancet、Nature、Science4種期刊為例(圖2),2015年NatureReviews的研究論文、會議論文、綜述論文、注釋、信件、編者按、調(diào)查和其他類型文獻的發(fā)文數(shù)分別占總發(fā)文數(shù)的12.14%、0%、19.62%、45.79%、3.27%、0%、14.95%、4.2%。TheLancet以上文獻類型分別占總發(fā)文數(shù)的19.75%、0.08%、5.5%、28.56%、26%、11%、3.73%、4.32%。上述期刊發(fā)表大量除研究論文、會議論文、綜述論文以外的其他類型文獻,導(dǎo)致其CiteScore值明顯低于IF。
(2)對于發(fā)文量較少的期刊,Scopus收錄范圍較廣,被引頻次較高,造成CiteScore明顯高于 IF。以期刊ChemicalReviews和IEEECommunicationsSurveysandTutorials為例,2016年這兩種期刊的發(fā)文量分別為37篇和208篇,由于這兩種期刊主要發(fā)表研究論文、會議論文和綜述論文,因此根據(jù)CiteScore和IF計算公式,二者分母值相同,Scopus數(shù)據(jù)庫被引頻次較高,因此這兩種期刊CiteScore值明顯高于IF,二者的殘差較大。而CommunicationsinAlgebra、JournalofComputationalandAppliedMathematics、JournalofOrganometallicChemistry、ThinSolidFilms、JournalofSeaResearch這5種期刊盡管也只刊發(fā)研究論文、綜述論文等文獻類型,但由于發(fā)文數(shù)量較多,例如2016年ThinSolidFilms的發(fā)文量為1533篇,收錄文獻類型的差異對CiteScore值整體影響較小,因此CiteScore和IF殘差較小。
圖2 2011—2015年不同類型文獻發(fā)文數(shù)統(tǒng)計。(a)Nature Reviews Drug Discovery;(b)The Lancet; (c)Nature;(d)Science
圖3 不同期刊5年被引速率統(tǒng)計。(a)Cell;(b)Chemical Society Reviews;(c)Chemical Reviews;(d)Communication in Algebra
(3)從圖3可以看出,所有期刊在2~5年的被引速率均未達到高峰,呈現(xiàn)被引速率遞減狀態(tài)。15種樣本期刊中,Science的會議類文獻在4年后達到峰值61.72%,5年后被引速率為58.42%,呈現(xiàn)遞減;Cell的編者按文獻在3年后達到高峰50%,隨后2年被引速率分別遞減為41.67%和40.00%;其他13種期刊各種類型文獻都隨引證時間窗口延長,其被引速率逐漸增大。這說明2年、3年和5年均不是上述期刊的最佳引證時間窗口,這可能是因為殘差較大的期刊如TheLancet、ProgressinMaterialsScience、ChemicalSocietyReviews、ChemicalReviews的影響因子都較高,在行業(yè)中具有較大的影響力,引用半衰期較長,如Nature,Science的引用半衰期均大于10年;而殘差較小的期刊所在學(xué)科引用較慢,如CommunicationsinAlgebra、JournalofComputational和AppliedMathematics是數(shù)學(xué)類期刊,新的理論發(fā)表后往往需要等待若干年才可能引發(fā)關(guān)注。本研究的統(tǒng)計結(jié)果也從另一個方面印證了Gonzalez等[14]的結(jié)論:“不同學(xué)科的引證窗口存在不一致,即使同一學(xué)科不同期刊的引證窗口也存在不一致現(xiàn)象,因此無論是2年還是5年,對于單個學(xué)科或者期刊來說,都不是引證窗口的最佳選擇,針對具體期刊的引證窗口進行分析或許是最優(yōu)選擇”。
(4)從圖4被引比率速率增長值來看,除化學(xué)類期刊外,各收錄期刊均在1~3年內(nèi)保持快速增長,達到峰值,從第4年起,期刊被引比率速率呈現(xiàn)遞減。對于化學(xué)類期刊如ChemicalReviews、ChemicalSocietyReviews,文獻第1年的被引比率即達100%,在隨后的第2年和第3年一直呈現(xiàn)快速增長態(tài)勢,隨后逐年遞減。從文獻類型看,綜述類文獻的被引比率較其他類型高,信件、編者按、調(diào)查類文獻的被引比率較低,注釋類文獻的被引比率最低。從被引比率速率值來看,IF較高的期刊如Science被引比率值也較高,同時學(xué)科也對被引比率速率值有影響,數(shù)學(xué)類期刊如CommunicationsinAlgebra、JournalofComputationalandAppliedMathematics較低,而化學(xué)類期刊JournalofOrganometallicChemistry被引比率速率值較高。由上述數(shù)據(jù)分析可看出,相比2年和5年時間窗口,3年的引證窗口更能捕捉15種期刊大多數(shù)文章的文獻價值。同時,相對于綜述論文和研究論文的高被引比率,CiteScore統(tǒng)計的其他類型文獻的被引比率比較低。因此,如果CiteScore能對不同類型文獻進行加權(quán),比如研究論文和綜述論文計算為1分,注釋、信件、編者按等文獻類型根據(jù)被引速率和被引比率進行加權(quán)百分比計入評價,那么CiteScore的評價將會更客觀。
圖4 不同期刊5年被引比率速率統(tǒng)計。(a)Science;(b)Communication in Algebra;(c)Chemical Society Reviews;(d)Chemical Reviews
同IF一樣,使用CiteScore無法比較不同學(xué)科領(lǐng)域期刊的影響力,對此CiteScore也作了說明:“不應(yīng)使用CiteScore在不同學(xué)科領(lǐng)域中進行比較,該指標(biāo)不是領(lǐng)域標(biāo)準(zhǔn)化度量指標(biāo)”[8]。但同時也指出:“使用CiteScore百分比排名可比較具有相同CiteScore值的不同學(xué)科期刊”[8]。然而通過對CiteScore引證報告的數(shù)據(jù)進行分析發(fā)現(xiàn),由于Scopus數(shù)據(jù)庫收錄期刊數(shù)量眾多,并且CiteScore取值小數(shù)點后二位,因此該報告中存在大量CiteScore值相同,百分比排名相同,分區(qū)相同的期刊,例如CellStructureandFunction、EricssonReview等8種期刊分屬7個學(xué)科,但是CiteScore值均為1.33,Quartile均為2區(qū),Percentile均為62,從而難以通過百分比排名對期刊進行評價區(qū)分。相比之下,IF在加菲爾德的堅持下,在產(chǎn)生之初便采用小數(shù)點后三位,加菲爾德在論文“The history and meaning of the journal impact factor”中特別指出:“這樣做可以盡量避免影響因子相同的情況,盡管讀者并不在意如JAMA的影響因子是24.8還是24.831”[15]。
筆者在分析數(shù)據(jù)時發(fā)現(xiàn),CiteScore統(tǒng)計存在一些問題:例如FoodandEnergySecurity共被Scopus檢索1篇論文,這篇論文卻有9次引用,因此,CiteScore影響因子達到9,位于學(xué)科期刊的1區(qū)。同樣CerebellumandAtaxias共被Scopus檢索1篇論文,被引6次,影響因子為6,位于學(xué)科期刊1區(qū);TranslationalEndocrinologyandMetabolism被Scopus檢索1篇論文,被引3次,影響因子為3,位于學(xué)科期刊2區(qū)。其他還有NanoLIFE被Scopus檢索2篇論文,CiteScore影響因子為1.5,位于學(xué)科期刊2區(qū)。這些只發(fā)表1篇或2篇論文的期刊卻位于學(xué)科期刊1區(qū)和2區(qū),這對其他發(fā)文較多、引用滯后從而導(dǎo)致CiteScore值較低的期刊有失偏頗。Elsevier未來可采用定量篩選方式對期刊發(fā)文設(shè)置遴選標(biāo)準(zhǔn),例如按出版頻率計算各出版頻率發(fā)文數(shù)量的置信區(qū)間,區(qū)間之外的刊物不予打分。比如月刊,假如一年只收錄20篇文章,就排除在CiteScore評價范圍之外。采用更為嚴(yán)謹(jǐn)?shù)脑u價篩選方式能夠增強CiteScore作為期刊評價指標(biāo)的公信力。
在2016年發(fā)布的2015年版CiteScore期刊類目表中,植物科學(xué)專業(yè)期刊AnnualReviewofPlantBiology被歸入 General Medicine學(xué)科,信息計量學(xué)期刊Scientometrics被歸入法學(xué)學(xué)科,社會學(xué)專業(yè)期刊Mobilization被歸入Transportation學(xué)科。盡管Elsevier對上述錯誤進行了修正,且在2017年期刊引證報告中將上述期刊歸入合適類目,但仍有其他期刊類目不合適,如2017年CiteScore引證報告中AccountabiliyinResearch的學(xué)科類目歸于Library and Information Sciences和Education General Medicine學(xué)科,根據(jù)該期刊介紹,其主要發(fā)表生物醫(yī)學(xué)研究的同行評議論文,很顯然,將其歸于圖書館信息類目并不合適,該期刊在IF數(shù)據(jù)庫中歸于Medical Ethics學(xué)科,無疑更為恰當(dāng)。
CiteScore的期刊涵蓋數(shù)量較多,2016年涵蓋的期刊數(shù)量達22618種,是WoS數(shù)據(jù)庫的兩倍。CiteScore 2015年涵蓋的期刊為22209種,2014年21504種,2013年20796種,每年都新增幾百種期刊。與WoS相比,Scopus收錄更多中文期刊,一旦CiteScore被廣泛接受,將為中文期刊評價提供新的視野。然而從期刊評價來看,CiteScore將所有類型的文獻納入計量范圍的做法值得商榷。統(tǒng)計結(jié)果表明,研究論文、綜述論文的被引比率明顯高于其他類型的論文,注釋類文獻的被引比率最低,如將其與研究論文、綜述論文等同計算引用率,無疑有失偏頗。另外,CiteScore的引證窗口為3年,從被引比率速率增長值來看,除化學(xué)類期刊外,各期刊確實在前3年內(nèi)保持快速增長,并達到峰值,從第4年起,期刊被引比率速率呈現(xiàn)遞減。然而本研究的統(tǒng)計樣本只選擇了殘差較大的10種期刊和殘差較小的5種期刊,樣本量較小。3年的引證窗口是否為最佳選擇,3年是否足以捕捉大多數(shù)學(xué)科的引文高峰,都是未來CiteScore評價需進一步探討的問題。
[1] van Noorden R. Controversial impact factor gets a heavyweight rival[J].Nature,2016,540(7633):325-326.
[2] 肖仙桃,曲建升,王玏,等. CiteScore與JCR期刊評估指標(biāo)的比較分析[J]. 中國科技期刊研究,2017,28(10):954-958.
[3] 葉艷,張李義.基于CiteScore指數(shù)與影響因子的期刊評價研究——以經(jīng)濟管理領(lǐng)域期刊為例[J]. 情報科學(xué),2017(7):126-131.
[4] 劉雪立,任勝利,程維紅,等. 不同學(xué)科期刊CiteScore與影響因子的比較研究[J]. 中國科技期刊研究,2017,28(9):837-841.
[5] Teixeira D S J A,Memon A R. CiteScore:A cite for sore eyes,or a valuable,transparent metric?[J].Scientometrics,2017,111(1):1-4
[6] Erfanmanesh M,Tahira M,Abrizah A. The publication success of 102 nations in Scopus and the performance of their Scopus-indexed journals[J].PublishingResearchQuarterly,2017,33(1):1-12
[7] Kim K, Chung Y. Overview of journal metrics[J].ScienceEditing,2018,5(1):16-20.
[8] Elliott D B. What is the most appropriate citation metric for a clinical journal?[J].Ophthalmic&PhysiologicalOptics,2018,38(1):1-5.
[9] Yan E,Li K. Which domains do open-access journals do best in? A 5-year longitudinal study[J].JournaloftheAssociationforInformationScience&Technology,2018,2(1):1-19
[10] Wang J. Citation time window choice for research impact evaluation[J].Scientometrics,2013,94(3):851-872.
[11] Lachance C,Larivière V. On the citation lifecycle of papers with delayed recognition[J].JournalofInformetrics,2014,8(4):863-872.
[12] 杜建,武夷山.基于被引速率指標(biāo)識別睡美人文獻及其“王子”——以2014年諾貝爾化學(xué)獎得主 Stefan Hell的睡美人文獻為例[J]. 情報學(xué)報,2015(5):508-521.
[13] Elsevier. CiteScore metrics FAQs[EB/OL]. [2017-09-21]. http://supportcontent.elsevier.com/RightNow%20Next%20Gen/Scopus/Files/5221_CiteScore_FAQ.pdf.
[14] González M I D,González P D. Do fixed citation windows affect the impact maturation rates of scientific journals?[J].InvestigaciónBibliotecológica:Archivonomía,BibliotecológicaeInformación,2016,30(68):73-89.
[15] Garfield E. The history and meaning of the journal impact factor[J].TheJournaloftheAmericanMedicalAssociation,2006,295(1):90.