■賀 穎 徐小然

天津師范大學管理學院，天津市西青區(qū)賓水西道393號 300387

隨著科學技術的突飛猛進和開放科學(Open Science)的深入人心，開放獲取(Open Access，OA)期刊的質量受到廣泛關注，大致原因如下：(1)OA期刊雖然是高效的學術交流方式，但科研用戶仍是按照傳統(tǒng)標準判斷OA期刊的價值；(2)OA期刊雖然出版速度快且免費獲取，但若沒有質量保證，其可用性和作為科學交流平臺的價值就無法保障；(3)作者是否愿意向OA期刊投稿并支付發(fā)表費仍取決于期刊的學術質量，而不是出版模式和載體。因此，學術質量不僅是OA期刊的生命線，也是其賴以生存和發(fā)展的基礎。

目前OA期刊質量評價體系尚未統(tǒng)一，國內外針對OA期刊質量評價的研究主要集中在期刊學術影響力和期刊本身質量的評價[1]。同行評議[2]、引文分析、網絡計量學[3]、網站性能測評以及影響因子評價法[4-6]、綜合評價法[7]等都被用來評價OA期刊。Naidu等[8]通過權威數據庫、是否核心期刊、是否獲獎、國際論文比等指標建立了OA期刊質量評價指標體系。張紅芹等[9]肯定了傳統(tǒng)的期刊質量評價理論與實踐適用于OA期刊，但也認為將傳統(tǒng)紙質期刊總結出來的方法完全應用于OA期刊評價可能還是會存在一些偏差。顧立平等[10]認為應該基于數字開放環(huán)境來思考OA期刊的評價指標對于OA中免費在線獲取、分享特性的適用性，以及其“開放”的監(jiān)督作用是否對OA期刊質量有所幫助。王新[11]以物理學科為例，提出高被引OA論文的開放情況和被引率是評價一個學科OA期刊學術影響力的核心指標,也是OA期刊的價值體現(xiàn)。Wei[12]建立開放度量指標來衡量OA期刊的社會影響。目前，國內大多數專家主要是從引文或其他傳統(tǒng)分析的角度來整體評價OA期刊，較少研究人員會從“開放”角度分析OA期刊的影響。本文認為OA期刊的質量評價應從“學術”和“開放”兩個維度進行探索，并分析“學術”和“開放”兩個維度在評價OA期刊學術質量和傳播影響力方面的相關性以及差異，為OA期刊的評價提供理論參考。

1 研究過程

1.1 研究問題

由單盲評審的作者被動性導致的不公正性催生了雙方信息均隱匿的雙盲評審[13]，后來各方為積極防范歧視等問題發(fā)生，要求提升評審的透明度，開放評審應運而生。常唯等[14]分別調研雙盲評審與開放評審，通過比較發(fā)現(xiàn)，兩者都在不同的角度提高了文章的質量與價值。因此，本研究采用對比的方式，對采用雙盲評審和開放評審模式的OA期刊質量從不同維度進行對比評價，并觀察在兩種質量可保證的評審類型中OA期刊質量評價維度是否有差異。由此，提出以下研究問題。

問題一：采用雙盲評審和開放評審模式的OA期刊的兩個質量評價維度是否有差異？

問題二：學術質量維度和開放質量維度是否對不同評審類型的OA期刊具有相同的評價效力，即哪個評價維度更適用于哪種評審類型的OA期刊？

1.2 研究基礎

1.2.1 學術維度評價工具

目前來看，傳統(tǒng)期刊質量評價的結果主要體現(xiàn)在每年定期公布的《期刊引證報告》(JournalCitationReports，JCR)上。在JCR的代表性指標中，被引頻次和影響因子表征該學術期刊在所屬學科領域的影響力，且均呈現(xiàn)正比關系，可在一定程度上說明期刊的學術質量。工程索引(Engineering Index，EI)是美國工程信息公司(Engineering Information Inc.)推出的工程技術類文獻檢索工具，一直嚴格遵守“嚴謹”二字，因以水平高、實用價值強、質量上乘為原則來選擇合適的期刊而飽受贊譽[15]。因此，本研究借用JCR以及EI收錄作為引文分析評價的工具。

1.2.2 開放維度評價工具

DOAJ也有一個評價指標——DOAJ Seal，它是用來評定OA期刊開放性的指標[16]。DOAJ將DOAJ Seal頒發(fā)給在OA出版方面成績顯著的期刊，“顯著”體現(xiàn)在期刊必須符合7個標準，即在長期保存(Long Term Preservation)、持久標識符(Persistent Article Identifiers)的使用、許可證類型(License Type)、許可證信息(License Information in Article)、論文元數據(Metadata Supply to DOAJ)和作者權利(Copyright and Publishing Rights)、自我存檔(Self-Archiving Policy)7個方面具有最佳實踐。DOAJ對其數據庫中OA期刊的認定嚴格執(zhí)行實時監(jiān)控，一旦期刊不再符合標準，則撤銷Seal的授予。由此看來，DOAJ Seal在評定OA質量上秉持認真、謹慎的態(tài)度。

1.3 數據來源

選擇DOAJ數據庫，分別檢索Open Peer Review(OPR)和Double Blind Peer Review(DBPR)兩種評審類型，得到175種采用開放式同行評審的OA期刊和9123種采用雙盲同行評審的OA期刊(數據時效性截至2021年7月1日)。通過網絡爬取檢索期刊名稱、ISSN、EISSN、是否有DOAJ Seal認證等數據，之后與采集到的2021年度JCR中的SCIE、SSCI、A&HCI，以及EI期刊檢索目錄進行數據對比，確定175種開放評審OA期刊和9123種雙盲評審OA期刊是否被收錄，最終形成數據表(表1)。

表1 DOAJ收錄的采用雙盲評審或開放評審的OA期刊數據表(節(jié)選)

1.4 研究思路與方法

考慮到所采集的數據涉及雙盲、開放評審模式，在兩種評審模式下又分別進行了“學術”和“開放”兩個維度的劃分，產生了“0”與“1”的賦值，加上本研究從“學術”和“開放”兩個維度分析OA期刊的質量評價作用之間是否具有顯著性影響，因此可以采用交叉列聯(lián)分析方法。交叉列聯(lián)分析可用于分析兩個或兩個以上分類變量在不同取值情況下的數據分布情況，可以深入分析變量之間的相互獨立或相互關系的統(tǒng)計分析過程。本研究根據采集數據的特性，分別觀察采用雙盲評審和開放評審的OA期刊入選JCR和EI與獲得DOAJ Seal認證是否能一一對應，是否具有相關性，即驗證學術質量維度和開放質量維度的關聯(lián)性。

對兩個維度的評價指標進行比對分析，以判定哪一種維度對OA期刊的評價更有效，而ROC曲線恰好能很容易地查出在任意界限值時對評價結果的識別能力。它的原理是監(jiān)測兩種及以上檢測變量對同一狀態(tài)信號刺激的反應，并將觀測數據繪制到同一坐標中，直觀地識別優(yōu)劣：距離對角參考線越遠，即ROC曲線中檢測線下的面積越大，有效程度越高，質量評價效果就越優(yōu)[17]。在本研究中ROC曲線主要用于兩個不同質量評價維度對不同評審類型的OA期刊質量評價有效程度的檢驗。

2 研究結果

2.1 學術質量維度與開放質量維度的關聯(lián)

(1)雙盲評審模式下數據實證結果。表2～4展示了雙盲評審模式中，學術評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的交叉列聯(lián)統(tǒng)計數據、卡方檢驗(Chi-Square Test)值(P<α)以及關聯(lián)程度(r=0.061)數據?？梢钥闯?，采用雙盲評審模式的OA期刊的學術評價維度(JCR & EI)與開放評價維度(DOAJ Seal)具有顯著性關聯(lián)，但由于采用雙盲評審模式的OA期刊樣本數量很大(9123種)，所顯示的關聯(lián)程度很微弱，關聯(lián)度系數才0.061。

表2 雙盲評審模式下學術評價維度(JCR & EI)與 開放評價維度(DOAJ Seal)的交叉列聯(lián)結果

表3 雙盲評審模式下學術評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的卡方檢驗結果(N=9123)

表4 雙盲評審模式下學術評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的關聯(lián)程度(N=9123)

(2)開放評審模式下數據實證結果。表5～7展示了開放評審模式中學術評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的交叉列聯(lián)統(tǒng)計數據、卡方檢驗值(P<α)以及關聯(lián)程度(r=0.480)數據?？梢钥闯觯_放評審類型的學術評價維度(JCR & EI)與開放評價維度(DOAJ Seal)有顯著性關聯(lián)，關聯(lián)度接近中度相關的程度。

表5 開放評審模式下學術評價維度(JCR & EI)與開放 評價維度(DOAJ Seal)的交叉列聯(lián)結果

2.2 不同質量評價維度的有效性及程度

(1) 雙盲評審模式下數據實證結果。圖1所示為采用雙盲評審模式的OA期刊學術評價維度(JCR & EI)與開放評價維度(DOAJ Seal)有效性測評ROC曲線，可以看到，線1和線2都處于敏感度有效區(qū)域，且線1比線2更遠離參考線，說明線1所代表的開放評價維度(DOAJ Seal)比線2所代表的學術評價維度(JCR & EI)對雙盲評審模式的OA期刊質量更有判別效力。表8所示為兩條ROC曲線下的面積數據，開放評價維度(DOAJ Seal)的AUC(即ROC曲線下的面積)為0.730，大于學術評價維度(JCR & EI)的AUC 0.695，同樣說明開放評價維度(DOAJ Seal)比學術評價維度(JCR & EI)更能評價雙盲評審模式的OA期刊質量。

表6 開放評審模式下學術評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的交叉列聯(lián)卡方檢驗結果(N=175)

表7 開放評審模式下學術評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的關聯(lián)程度(N=175)

圖1 雙盲評審模式下學術評價維度和開放評價維度ROC曲線

表8 雙盲評審模式下學術評價維度和開放評價維度的AUC

(2)開放評審模式下數據實證結果。圖2所示為采用開放評審模式的OA期刊學術評價維度(JCR & EI)與開放評價維度(DOAJ Seal)有效性測評的ROC曲線，可以看到：線3和線4都處于敏感度有效區(qū)域，且線3比線4更遠離參考線，說明線3所代表的開放評價維度(DOAJ Seal)比線4所代表的學術評價維度(JCR & EI)對開放評審模式的OA期刊質量更有判別效力。表9所示為兩條ROC曲線下的面積數據，開放評價維度(DOAJ Seal)的AUC為0.730，大于學術評價維度(JCR & EI)的AUC 0.695，同樣說明開放評價維度(DOAJ Seal)比學術評價維度(JCR & EI)更能評價開放評審模式的OA期刊質量。

圖2 開放評審模式下學術評價維度和開放評價維度的ROC曲線

表9 開放評審模式下學術評價維度和開放評價維度的AUC

3 研究啟示

3.1 驗證了DOAJ收錄的OA期刊的學術質量

OA期刊的質量及其學術影響力不斷提升，促進學術交流和信息資源共享，加快科學研究成果的傳播和轉化，對學術界產生積極的影響。OA期刊不僅沿用了傳統(tǒng)學術期刊的同行評議制度，而且利用網絡平臺的快捷和交互特性，積極采取開放同行評議制度，極大地保證了OA期刊的質量，促進OA期刊的良性發(fā)展。此外，OA期刊越來越受到著名檢索機構的重視和認可，并沒有因為其免費使用而影響OA期刊的質量，反而因為免費，增加了其顯示度和可獲取性，進而提高其學術質量。

3.2 OA期刊質量評價的“學術”和“開放”兩個維度是互促與雙贏的關系

從開放評價維度分析OA期刊的質量，開放程度越高，越能獲得DOAJ Seal認證，期刊刊載的論文被閱讀、下載、傳播、引用的概率就越大。隨著論文被引用數量的增加，OA期刊學術質量同步提升，加上OA的優(yōu)勢，被關注度更高，更易于在網絡中被傳播和被引用。因此，OA期刊質量評價的兩個維度——學術與開放相互促進、共獲雙贏。

3.3 開放評審模式增加學術評價維度和開放評價維度的關聯(lián)性

采用開放評審模式的OA期刊質量的學術評價維度與開放評價維度接近中度顯著性關聯(lián)，而采用雙盲評審模式的OA期刊則不具備這種關聯(lián)特性，說明開放評審增加了同行評議過程的透明度，進而增加了OA期刊的開放性。因此，開放評審不僅提高了OA期刊的學術質量，更擴展了其開放評價維度，使得兩種評價維度更加緊密地聯(lián)系在一起。

3.4 開放維度對OA期刊質量更有評價效力

無論是在雙盲評審模式還是在開放評審模式，開放和學術這兩個評價維度都能很好地評價OA期刊。開放維度提高了OA期刊的影響力，為期刊擴大影響范圍，吸引作者投稿鋪墊了堅實的基礎，而學術維度約束著期刊時刻把控質量，但開放評價維度比學術評價維度對OA期刊質量評價更具優(yōu)勢。因此，開放評價維度質量標準的認定和統(tǒng)一，對OA期刊學術質量評價起到很重要的作用。

4 結語

本研究對采用雙盲評審模式和開放評審模式的OA期刊質量進行了實證研究，驗證了“學術”和“開放”維度對OA期刊質量評價的重要性。本研究的創(chuàng)新點為：(1)將OA期刊的質量評價分為兩個維度，即以引文分析為基礎的傳統(tǒng)“學術質量評價維度”和以開放程度為標準的“開放質量評價維度”；(2)將采用雙盲評審和開放評審模式的OA期刊作為研究樣本，驗證兩個質量評價維度的關聯(lián)及有效性；(3)用網絡爬取的OA期刊質量數據進行實證分析。本研究不足之處在于：(1)只研究了采用雙盲評審和開放評審模式的OA期刊，沒有涉及單盲評審、委員會評審等評議模式；(2)OA期刊的學術質量評價僅以是否被JCR、EI收錄為標準，沒有考慮其他學術質量評價體系。今后，希冀用更多不同評審模式和質量評價體系來對OA期刊的質量評價維度進行驗證。