■檀 旦

武漢大學(xué)中南醫(yī)院醫(yī)學(xué)新知雜志編輯部，武漢市武昌區(qū)東湖路169號 430071

對文獻進行及時、恰當(dāng)?shù)脑u估是學(xué)術(shù)評價的前提。目前，國內(nèi)外常用的評價體系[1-3]都是基于論文發(fā)表的期刊及某一數(shù)據(jù)庫中該論文出版后的總被引次數(shù)，缺乏對論文本身的評價。同行評議是遴選論文、維護和提高學(xué)術(shù)質(zhì)量的重要途徑之一[4]?；ヂ?lián)網(wǎng)時代對同行評議前景的看好以及對居于主導(dǎo)地位的影響因子的詬病亟需新的評價科學(xué)質(zhì)量的方式。

F1000(Faculty of 1000)是一個基于同行評議的文獻評估系統(tǒng)，其名稱來源于 Science Navigation Group機構(gòu)計劃籌建一個由全球頂級科學(xué)家組成的千人學(xué)院，請生物醫(yī)學(xué)專家從每年發(fā)布的生物醫(yī)學(xué)論文中評選出一小部分(不足千分之二)賦予F1000論文稱號，推薦給全世界的生物學(xué)和醫(yī)學(xué)工作者[5-6]。

全世界卓越的科學(xué)家和臨床醫(yī)生通過F1000推薦生物學(xué)和醫(yī)學(xué)領(lǐng)域的重要文章，并且評價文章和闡述文章的重要性，提供生物學(xué)及醫(yī)學(xué)論文的重要信息及研究成果。F1000從2002年開始推薦文章，至今已有14年。F1000在全世界擁有超過5000名專家，推薦了超過100000篇頂級生物學(xué)和醫(yī)學(xué)文章，覆蓋超過3500種同行評議期刊，并且每天更新。F1000成員平均每個月推薦超過1500篇文章。F1000成員及其推薦的文章分布超過40個學(xué)科，并進一步細分為超過300個亞學(xué)科。

F1000從兩年前開始改變計算方式，不再使用F1000因子來表示文章的重要性[7-10]，而是改用“星”來表示。F1000成員推薦文章時需簡短闡述文章的重要性，而后將文章劃分為好、很好、杰出3個等級(相當(dāng)于1星、2星、3星的分數(shù))。F1000根據(jù)每位推薦者單獨的評分來計算文章的總分，并且根據(jù)總分對文章排序。一篇文章得到的總評論數(shù)和總星數(shù)越多，排名就越靠前。

國內(nèi)學(xué)者宋麗萍選取F1000和Web of Science數(shù)據(jù)庫，以免疫學(xué)和生物信息學(xué)為研究對象，檢索并統(tǒng)計2005—2011年的數(shù)據(jù)，分析F1000因子與文章被引頻次的相關(guān)性，結(jié)果表明傳統(tǒng)文獻計量指標(biāo)與同行評議結(jié)果具有正相關(guān)性[11]。Wardle D A研究7種生態(tài)學(xué)核心期刊共1530篇文獻在F1000中的被推薦情況與論文出版5年后的被引頻次比較，結(jié)果發(fā)現(xiàn)F1000分數(shù)并不能預(yù)測其被引頻次，也不能預(yù)測被引數(shù)百次的高影響力文章[12]。此外，Allen L[13]、Li X[14]、劉春麗[15]、Mohammadi E[16]、Waltman L[4]等也就同行評議指標(biāo)和替代計量學(xué)指標(biāo)做過類似的研究。以上研究廣泛討論了F1000因子與 Web of Science、Google Scholar、Scopus以及被引次數(shù)的相關(guān)性。然而，仍有以下不足：①F1000因子是兩年前F1000評價文章的指標(biāo)，如今已改用F1000總分來表示；②統(tǒng)計文章被引頻次的時間不夠長，可能造成誤差。本文采用新的檢索方式，在新的F1000總分計算方式下，以醫(yī)學(xué)信息學(xué)和糖尿病為主題，檢索2010年發(fā)表文獻的F1000總分以及文章發(fā)表至今的總被引頻次和所在期刊的影響因子(IF)，分析F1000總分與總被引頻次、F1000總分與期刊IF的相關(guān)性，探索F1000和傳統(tǒng)文獻計量指標(biāo)在科學(xué)評價中的有效性與相關(guān)性，以期為數(shù)字出版時代文獻及期刊評價提供借鑒。

1 資料與方法

1.1 檢索方法

選擇2010年為檢索年份，得到文獻發(fā)表至今(5年)的總被引頻次和文章累計被推薦情況，避免造成偏倚。

通過閱讀文獻、與F1000工作人員溝通和自身實踐，發(fā)現(xiàn)可在 PubMed中檢索 F1000文獻，并且PubMed檢索優(yōu)于F1000自帶的檢索功能，兩種檢索方法如下：①使用loprovf1000[Filter]進行字段限定。在 PubMed檢索框中分別直接輸入((loprovf1000[Filter]OR loprovf1000m[Filter]))AND“Medical Informatics”[Mesh]和((loprovf1000[Filter]OR loprovf1000m[Filter]))AND“Diabetes Mellitus”[Mesh]進行檢索[17]；②在 PubMed 的 My NCBI的filter中選擇類別為LinkOut，檢索框中輸入“Faculty of 1000”，然后檢索，選擇“Faculty of 1000 Ltd”，而后在PubMed中直接檢索就可以顯示F1000推薦的結(jié)果。均去掉印刷出版日期在2010年之前的文獻，以及出版日期在2010年之后的文獻。提取每篇文章的PMID、題目、第一作者、刊名、F1000總分等信息，并繪制Excel表格。利用Web of Science數(shù)據(jù)庫檢索每篇文章的總被引頻次，在JCR中檢索期刊在2010年的影響因子，并將文章的總被引頻次和期刊IF加入之前繪制的表格。

1.2 統(tǒng)計學(xué)處理

使用SPSS20.0軟件進行分析，運用Spearman檢驗分析F1000總分與文章總被引頻次、F1000總分與期刊IF的相關(guān)性。P＜0.01為差異有統(tǒng)計學(xué)意義。

2 結(jié)果

2.1 文獻檢索結(jié)果

2.1.1 醫(yī)學(xué)信息學(xué)主題檢索結(jié)果

2010年發(fā)表并被F1000推薦的醫(yī)學(xué)信息學(xué)主題的文獻共259篇。

F1000總分為8分的文獻有2篇，分別發(fā)表在JAMA和Science Translational Medicine上，總被引頻次為208次和122次，2種期刊2010年的IF分別為30.011和3.292?？偡譃?分的文章有2篇，5分的文章1篇，4分的文章6篇，3分的文章18篇，2分的文章78篇，其余為1分的文章。

總被引頻次最高的文章被引464次，F(xiàn)1000總分為2分，刊名為PLoSBiology，IF為12.472?？偙灰l次最低的文章被引1次，F(xiàn)1000總分為1分，刊名為 Anaesthesia，IF為0.729。

IF最高的期刊為The New England Journal of Medicine，IF為53.486，被推薦文章3篇，F(xiàn)1000總分均為1分，總被引頻次分別為132次、86次和76次。IF最低的期刊為 Biomedical Papers of the Medical Faculty of the University Palacky， Olomouc，Czechoslovakia，IF為0.716，被推薦文章 1篇，F(xiàn)1000總分為1分，總被引頻次為5次。

在JCR中未查詢到3種期刊2010年的IF數(shù)據(jù)，分 別 為 Database-The Journal of Biological Databases and Curation、Biotechnology Journal和Journal of Anxiety Disorders。

2.1.2 糖尿病主題檢索結(jié)果

2010年發(fā)表并被F1000推薦的糖尿病主題的文獻共169篇。

F1000總分為14分的文獻有3篇，其中2篇發(fā)表在Nature上，1篇發(fā)表在The New England Journal of Medicine上，總被引頻次分別為285次、80次和885次，2種期刊2010年的IF分別為36.104和53.486?？偡譃?3分的文章有1篇，5～9分的文章9篇，3～4分的文章26篇，其余為1分和2分的文章。

總被引頻次最高的文章被引885次，F(xiàn)1000總分為 14分，刊名為 The New England Journal of Medicine，IF為53.486?？偙灰l次最低的文章被引0次，F(xiàn)1000總分為2分，刊名為European Heart Journal，IF為 10.052。

IF最高的期刊為The New England Journal of Medicine，IF為53.486，被推薦文章8篇，F(xiàn)1000總分最高為14分，最低為1分，總被引頻次最高885次，最低49次。IF最低的期刊為Australian Journal of Primary Health，IF為0.408，被推薦文章1篇，F(xiàn)1000總分為1分，總被引頻次為26次。

2種期刊未在JCR中查詢到2010年的IF數(shù)據(jù)，分別為 Preventing Chronic Disease和 Endocrine Practice。

2.2 相關(guān)性分析結(jié)果

2.2.1 醫(yī)學(xué)信息學(xué)主題相關(guān)性分析結(jié)果

（1）醫(yī)學(xué)信息學(xué)主題F1000總分與總被引頻次的相關(guān)性

將Excel中的數(shù)據(jù)導(dǎo)入到SPSS20.0軟件，由于兩個變量不滿足線性相關(guān)分析的適用條件，因此進行Spearman秩相關(guān)分析，結(jié)果見表1。相關(guān)系數(shù)r表示兩變量間的直線相關(guān)程度，r值的范圍為-1～1。r為正表示兩變量之間為正相關(guān)，反之為負相關(guān)。r接近于0表示兩變量間關(guān)系不密切，r的絕對值接近1表示2變量間關(guān)系較密切[18]。由表1可知，r=0.223，F(xiàn)1000總分與總被引頻次呈低度正相關(guān)(P＜0.01)。

表1 醫(yī)學(xué)信息學(xué)主題F1000總分與總被引頻次的相關(guān)性分析結(jié)果

（2）醫(yī)學(xué)信息學(xué)主題F1000總分與期刊IF的相關(guān)性

剔除3種在JCR中查詢不到IF數(shù)據(jù)的期刊及其相關(guān)數(shù)據(jù)，而后進行Spearman檢驗，結(jié)果見表2。由表2可知，r=0.165，F(xiàn)1000總分與期刊IF呈低度正相關(guān)(P＜0.01)。

表2 醫(yī)學(xué)信息學(xué)主題F1000總分與期刊IF的相關(guān)性分析結(jié)果

2.2.2 糖尿病主題相關(guān)性分析結(jié)果

（1）糖尿病主題F1000總分與總被引頻次的相關(guān)性

將Excel中的數(shù)據(jù)導(dǎo)入到SPSS20.0軟件，由于兩個變量不滿足線性相關(guān)分析的適用條件，因此進行Spearman秩相關(guān)分析，結(jié)果見表3。由表3可知，r=0.390，F(xiàn)1000總分與總被引頻次呈低度正相關(guān)(P＜0.01)。

表3 糖尿病主題F1000總分與總被引頻次的相關(guān)性分析結(jié)果

（2）糖尿病主題F1000總分與期刊IF的相關(guān)性

剔除兩種在JCR中查詢不到IF數(shù)據(jù)的期刊及其相關(guān)數(shù)據(jù)，而后進行Spearman檢驗，結(jié)果見表4。由表4可知，r=0.335，F(xiàn)1000總分與期刊IF呈低度正相關(guān)(P＜0.01)。

表4 糖尿病主題F1000總分與期刊IF的相關(guān)性分析結(jié)果

3 討論

F1000關(guān)注研究的特異性和評價的主觀性，是基于同行評議的定性評價，與文獻計量學(xué)方法定量表示的IF和被引頻次有一定區(qū)別，但是二者的初衷都是為了向科研工作者提供重要信息及研究成果。然而，F(xiàn)1000總分最高的文章不一定是總被引頻次和期刊IF最高的，兩種方式得到的結(jié)果有一定的差異。

本研究結(jié)果表明，醫(yī)學(xué)信息學(xué)和糖尿病兩個主題文獻的F1000總分與總被引頻次，F(xiàn)1000總分與期刊IF均呈正相關(guān)(P＜0.01)，這與 Allen L[13]、Li X[14]、 宋 麗 萍[11，19]、 劉 春 麗[15]、 Mohammadi E[16]、Waltman L[4]等的研究結(jié)果類似，說明雖然F1000與傳統(tǒng)引用及影響計量指標(biāo)從不同維度描述論文的學(xué)術(shù)影響力，但是兩者具有一定程度的正相關(guān)性，表明上述指標(biāo)在科學(xué)評價中的有效性和可行性。兩個主題文獻的F1000總分與總被引頻次的相關(guān)性均大于F1000總分與期刊IF的相關(guān)性，這是因為F1000總分與被引頻次都更關(guān)注單篇論文的質(zhì)量，而IF關(guān)注整本期刊的質(zhì)量。

兩個主題文獻的F1000總分與總被引頻次和IF的相關(guān)性均不高，可能有以下原因：

（1）F1000的時效性優(yōu)于傳統(tǒng)的計量指標(biāo)。

文章一經(jīng)發(fā)表或者還未發(fā)表就可被F1000推薦，Waltman L對F1000推薦的超過13萬篇論文的研究顯示，80%的論文在正式出版前2個月至出版后4個月即得到推薦，只有不到10%的文獻在出版6個月以后被推薦[4，20]，而傳統(tǒng)文獻計量學(xué)指標(biāo)的統(tǒng)計往往在文獻發(fā)表若干年后。雖然本研究統(tǒng)計文獻發(fā)表5年后的總被引頻次，但是文章的被引頻次隨著時間推移會逐漸增加，而且不排除某些被引頻次不高的文獻發(fā)表5年后被引頻次突然增加的情況。

（2）F1000與傳統(tǒng)計量學(xué)指標(biāo)評價文章的角度不同。

F1000從專家的角度反映文章質(zhì)量，而被引從作者的角度反映文章質(zhì)量，因此一些低被引，甚至零被引論文受到專家的推薦，而高被引論文反而沒有被專家推薦。

（3）F1000推薦文章的側(cè)重點與傳統(tǒng)計量學(xué)指標(biāo)不同。

F1000的專家推薦文章時會根據(jù)研究內(nèi)容給論文賦予一個或多個標(biāo)簽，如新發(fā)現(xiàn)、能夠改變臨床實踐、新藥靶點、技術(shù)進步等。已有研究表明，“新發(fā)現(xiàn)”更容易高被引，但是“能夠改變臨床實踐”類的文章專家推薦力度更高，而后者的被引次數(shù)往往不高，通過專家推薦能更好的識別醫(yī)學(xué)研究成果對臨床實踐的適用性。此外，在醫(yī)學(xué)領(lǐng)域，臨床研究類論文被引頻次低于基礎(chǔ)研究和非干預(yù)性研究，引文分析會嚴重低估臨床研究的影響力[20-21]。因此，結(jié)合F1000專家對論文的評價以及論文的標(biāo)簽特征可以幫助揭示論文的價值。

（4）F1000推薦存在自身的局限性。

既然F1000是基于同行評議的定性評價，專家推薦文章的動機和因素、遴選專家是否有傾向性或偏倚、專家是否相互推薦或者地域性因素等可能導(dǎo)致不客觀的結(jié)果[12]，而基于定量評價的文獻計量學(xué)指標(biāo)可以盡可能地避免這些情況。

綜上，由于F1000與傳統(tǒng)文獻計量學(xué)指標(biāo)評價文章的時效性、角度和側(cè)重點不同，且兩者均有自身的優(yōu)點和局限性，應(yīng)當(dāng)將兩者結(jié)合起來對文獻進行相對全面的評價。

4 結(jié)語

(1)從統(tǒng)計學(xué)角度看，F(xiàn)1000與傳統(tǒng)文獻計量學(xué)指標(biāo)具有正相關(guān)性，這在一定程度上說明了定性評價與定量評價的一致性，也表明上述指標(biāo)在科學(xué)評價中的有效性和可行性。通過對F1000推薦文獻的統(tǒng)計分析，可以進一步對所收錄期刊的價值作出相應(yīng)評價；

(2)F1000與文獻計量學(xué)指標(biāo)從不同維度描述了論文層面的學(xué)術(shù)影響力，分別反映了科學(xué)評價的一個側(cè)面，都有自身的局限性，應(yīng)將兩者相結(jié)合進行多維度的評價分析。

[1]Reinstein A，Hasselback JR，Riley M E，etal.Pitfallsof using citation indices for making academic accounting promotion，tenure， teaching load， and merit pay decisions[J].Issues in Accounting Education， 2011，26(1)：99-131.

[2]Psmeyers P，Burbules N C.How to improve your impact factor：Questioning the quantification of academic quality[J].J Philos Educ， 2011，45(1)：1-17.

[3]楊遠芬.科技論文評價方法實證比較研究[J].科技管理研究， 2008，28(8)：57-59.

[4]Waltman L，Costas R.F1000 recommendations as a potential new data source for research evaluation：a comparison with citations[J].JAm Soc Inf Sci Technol， 2014，65(3)：433-445.

[5]謝巖巖，孫繼林.F1000的文獻評價功能淺議[J].圖書館雜志，2011，30(4)：38-42.

[6]Bommann L，Daniel H D.Selecting scientific excellence through comm ittee peer review-a citation analysis of publications previously published to approval or rejection of post-doctoral research fellowship applicants[J].Scientometrics， 2006， 68(12)：427-440.

[7]何星星，武夷山.基于文獻利用數(shù)據(jù)的期刊論文定量評價研究[J].情報雜志，2012，31(8)：98-102.

[8]陳美倫.一種新的醫(yī)學(xué)論文學(xué)術(shù)評價系統(tǒng)——醫(yī)學(xué) F1000[J].中華醫(yī)學(xué)圖書情報雜志，2008，17(2)：70-72.

[9]廖星，謝雁鳴.F1000：新興醫(yī)學(xué)論文評價和檢索系統(tǒng)[J].中國中西醫(yī)結(jié)合雜志，2012，32(5)：701-703.

[10]劉春麗.基于軟同行評議的科學(xué)論文影響力評價方法——F1000 因子[J].中國科技期刊研究，2012，23(3)：383-386.

[11]宋麗萍，王建芳.基于F1000與WoS的同行評議與文獻計量相關(guān)性研究[J].中國圖書館學(xué)報，2012，38(198)：62-69.

[12]Wardle D A.Do “Faculty of 1000”(F1000)ratings of ecological publications serve as reasonable predictors of their future impact[J].Ideas in Ecology and Evolution，2010，3(3)：11-15.

[13]Allen L，Jones C，Dolby K，et al.Looking for landmarks：the role of expert review and bibliometric analysis in evaluating scientific publication outputs[J].PLoS One， 2009， 4(6)：e5910.

[14]Li X， Thelwall M.F1000， mendeley and traditional bibliometric indicators[C]//Archambault E， Gingras Y，Lariviere V.The 17th International Conference on Science and Technology Indicators， Montreal， Canada， 2012：541-551.

[15]劉春麗，何欽成.不同類型選擇計量指標(biāo)評價論文相關(guān)性研究——基于 Mendeley、F1000和 Google Scholar三種學(xué)術(shù)社交網(wǎng)絡(luò)工具[J].情報學(xué)報，2013，32(2)：206-212.

[16]Mohammadi E，Thelwall W.Assessing non-standard article impact using F1000 labels[J].Scientometrics， 2013，97(2)：383-395.

[17]夏武青，葛芬，唐輝.醫(yī)學(xué)F1000推薦文獻的來源期刊分布[J].中華醫(yī)學(xué)圖書情報雜志，2011，20(11)：59-62.

[18]張文彤，閆潔.SPSS統(tǒng)計分析基礎(chǔ)教程[M].北京：高等教育出版社，2004：325-347.

[19]宋麗萍，王建芳，王樹義.科學(xué)評價視角下F1000、Mendeley與傳統(tǒng)文獻計量指標(biāo)的比較[J].中國圖書館學(xué)報，2014，40(212)：48-54.

[20]杜建，武夷山.文獻引文軌跡：分類及測度[J].情報理論與實踐， 2015，38(7)：52-58.

[21]Van Eck N J， Waktman L， Van Raan A F J， et al.Citation analysis may severely underestimate the impact of clinical research as compared to basic research[J].PLoSOne， 2013，8(4)：e62395.