●蔣 燕

（武漢圖書館，武漢 430015）

1 引言

目前，對于數(shù)字資源及其服務(wù)效果的評估業(yè)界并無一個(gè)專門的統(tǒng)一標(biāo)準(zhǔn)。在2009年《全國縣以上公共圖書館第四次評估標(biāo)準(zhǔn)細(xì)則（省級）》中，對數(shù)字資源的評定指標(biāo)僅有兩大項(xiàng)10小項(xiàng)。［1］評估體系側(cè)重于資源的建立及組織，僅包含了資源采購過程中所完成的量化標(biāo)準(zhǔn)（213、2131、2132、272、2723項(xiàng)），內(nèi)容編排及界面設(shè)計(jì)指標(biāo)（2724、351項(xiàng)） 以及利用率指標(biāo)（353項(xiàng)）等，而對于數(shù)字資源的檢索系統(tǒng)、功能、用戶服務(wù)、使用效果的評估卻未制定出行之有效的評估指標(biāo)。

另外，國內(nèi)所進(jìn)行的數(shù)字資源績效評估研究與實(shí)踐還有CALLS文理中心對數(shù)字資源在各個(gè)成員高校館中的使用情況進(jìn)行列表統(tǒng)計(jì)方法，中國科學(xué)院文獻(xiàn)情報(bào)中心利用Elsevier數(shù)據(jù)庫的使用統(tǒng)計(jì)數(shù)據(jù)分析科研人員對生物學(xué)文獻(xiàn)的信息需求的方法，［2］“E線圖情”所開發(fā)建立的電子資源評價(jià)指標(biāo)體系。［3］從這些研究及實(shí)踐成果來看，對于解決數(shù)字資源建設(shè)后的績效評估，包括評估方法、準(zhǔn)則、程序及評估結(jié)果如何運(yùn)用于系統(tǒng)后續(xù)的改善等問題沒有一個(gè)令人滿意的答案。而數(shù)字資源建設(shè)的重點(diǎn)正逐漸從資源建設(shè)向資源服務(wù)轉(zhuǎn)變，這就更需要圖書館對于資源及服務(wù)的測量評價(jià)方法進(jìn)行重新定位。

2 數(shù)字資源績效評估要素

在傳統(tǒng)的館藏資源評估體系中，評估的主要目的是支持圖書館建設(shè)館藏資源。隨著數(shù)字資源數(shù)量的不斷增加，服務(wù)范圍不斷擴(kuò)大，數(shù)字資源服務(wù)將靈活地?cái)U(kuò)展至所有可能出現(xiàn)的網(wǎng)絡(luò)服務(wù)終端，館藏資源的概念將被淡化。因此，數(shù)字資源績效評估將建立一種開放性的評估新體系，以滿足各種用戶對各種資源的認(rèn)知程度為目的，并最大化地滿足用戶的信息需求。

數(shù)字資源服務(wù)效果的評估項(xiàng)目應(yīng)涉及到三個(gè)方面。

2.1 資源的可及性

資源的可及性是利用程度的決定因素，其涵蓋階段自用戶登錄系統(tǒng)到取得需要的資源為止。在進(jìn)入系統(tǒng)階段，方便及易于使用是公認(rèn)的最重要的因素，如果用戶在注冊過程花太多時(shí)間或登記表格難以填寫，便可能中途放棄。有意完成注冊過程的用戶在遇到缺乏必備工具、指示不足或網(wǎng)絡(luò)斷線時(shí)，也很容易放棄。有些電子期刊系統(tǒng)并不要求用戶注冊及填寫個(gè)人資料，使用率反而高。

2.2 資源的可用性

資源的可用性和用戶的利用效果有關(guān)，例如查尋所需時(shí)間、成功率、失敗率、用戶主觀的滿意度等。資源的可用性必須考慮到各個(gè)用戶層面的需要。

2.3 資源的使用率

包括誰是主要用戶？他們在做什么？他們的使用目的、使用頻率、使用習(xí)慣如何？用戶的使用情況，通過分析IP地址獲得可能是最容易的方式。用戶的使用行為可由點(diǎn)擊方式得知，例如瀏覽、檢索、下載、打印、e-mail全文等。［4］

3 國外數(shù)字資源績效評估的研究與實(shí)踐

建立起一個(gè)科學(xué)的數(shù)字資源績效評估體系，將有利于合理、優(yōu)化地發(fā)展圖書館的數(shù)字資源，乃至整體資源建設(shè)。因此，國內(nèi)外相關(guān)機(jī)構(gòu)和學(xué)者都在嘗試建立一套科學(xué)合理的評估指標(biāo)體系，其中最著名的例子應(yīng)屬美國學(xué)術(shù)圖書館協(xié)會（American Research Libraries）所完成的“ARLE-metrics Project”計(jì)劃等。

3.1 美國學(xué)術(shù)圖書館協(xié)會（ARL） E-metrics項(xiàng)目［5］

美國學(xué)術(shù)圖書館協(xié)會（ARL）下屬的統(tǒng)計(jì)和測度委員會 （Statisticsand Measurement Committee） 在 2000年開始啟動E-Metrics數(shù)字資源評估項(xiàng)目，其指標(biāo)體系分兩部分：網(wǎng)絡(luò)統(tǒng)計(jì)和績效指標(biāo)（見表1、表2）。

表1 ARL E-metrics Project網(wǎng)絡(luò)統(tǒng)計(jì)指標(biāo)

表2 ARLE-metrics Project績效指標(biāo)

ARLE-metrics項(xiàng)目的評價(jià)重點(diǎn)在于：第一，數(shù)字資源的使用、費(fèi)用、配套設(shè)施等情況；第二，數(shù)字資源的使用占圖書館全部服務(wù)的比例；第三，數(shù)字資源的使用對用戶的研究和學(xué)習(xí)的影響。ARLE-metrics項(xiàng)目的核心思想是關(guān)注以數(shù)字方式提供的服務(wù)與傳統(tǒng)服務(wù)的比例關(guān)系，通過數(shù)據(jù)分析，用數(shù)字資源的使用所占全部服務(wù)的比例來反映數(shù)字資源及服務(wù)的績效水平。

3.2 英國COUNTER項(xiàng)目［6］

The Project COUNTER全稱為“網(wǎng)絡(luò)電子資源在線使用統(tǒng)計(jì)項(xiàng)目”（Counting Online Usageof Networked Electronic Resources），發(fā)源于英國，于2002年3月正式啟動。目的是為圖書館、出版商及數(shù)據(jù)庫廠商制定統(tǒng)一的數(shù)字資源統(tǒng)計(jì)記錄與交換格式。COUNTER分別于2003年、2005年制定出《數(shù)據(jù)庫和電子期刊的使用統(tǒng)計(jì)規(guī)范》（the COUNTER Code of Practice for Journals and Databases）（2008年第二版）、《電子書與參考文獻(xiàn)的使用統(tǒng)計(jì)規(guī)范》（2006年第二版）（the COUNTER Codeof Practicefor Booksand Reference Works）。

3.3 圖書館聯(lián)盟國際聯(lián)合體（ICOLC）《電子資源使用統(tǒng)計(jì)評估指導(dǎo)方針》［7］

圖書館聯(lián)盟國際聯(lián)合體（ICOLC） 于2003年對原已編訂的《電子資源使用統(tǒng)計(jì)評估指導(dǎo)方針》（ICOLC Guidelines for Statistical Measures of Usage of Web-based Indexed，Abstracted，and Full-Text Resources） 進(jìn)行 重新編定，增補(bǔ)及修訂數(shù)據(jù)。2006年10月4日公布的最新版本更名為《Guidelines for Statistical Measures of Usageof Web-Based Resources》。其目的是提供一種廣泛性的數(shù)字資源指導(dǎo)方針。其評價(jià)指標(biāo)主要包括：（1）基本需求數(shù)據(jù)，如登錄次數(shù)、檢索次數(shù)、菜單使用次數(shù)、全文資料被檢索或下載的次數(shù)等；（2） 統(tǒng)計(jì)資料的詳細(xì)程度；（3）隱私權(quán)及使用者保密協(xié)定；（4）機(jī)構(gòu)或聯(lián)盟的保密協(xié)定；（5）統(tǒng)計(jì)資料獲取方式；（6）統(tǒng)計(jì)資料的傳遞方式。

4 數(shù)字資源績效評估指標(biāo)體系實(shí)證分析

4.1 評估指標(biāo)制定的原則及評估指標(biāo)數(shù)據(jù)

綜觀上述評估項(xiàng)目的實(shí)際應(yīng)用來看，數(shù)字資源評估體系的各項(xiàng)指標(biāo)必須依據(jù)一定的原則來制定。

（1）評估指標(biāo)必須是有意義的。計(jì)算機(jī)軟件可以按照人們的設(shè)計(jì)完成各種統(tǒng)計(jì)，但制訂評價(jià)指標(biāo)只能選取其中有意義的內(nèi)容，對管理決策沒有意義的內(nèi)容不適合作為評價(jià)指標(biāo)。

（2）評估指標(biāo)必須有明確的定義。指標(biāo)的含義要有明確的定義，避免歧義；并且統(tǒng)計(jì)、計(jì)算指標(biāo)數(shù)值的方法也要有詳細(xì)的說明。

（3）評估指標(biāo)必須具有可操作性。計(jì)算評價(jià)指標(biāo)所需的統(tǒng)計(jì)數(shù)據(jù)必須是可獲取的，無論是由計(jì)算機(jī)軟件自動記錄還是由圖書館員來統(tǒng)計(jì)，無法測量的指標(biāo)是沒有意義的。

（4）評估指標(biāo)必須具有可比性。不同機(jī)構(gòu)用同一套指標(biāo)體系得出的數(shù)據(jù)必須具有可比性。例如，使用數(shù)字資源的人數(shù)就是一個(gè)沒有可比性的指標(biāo)，當(dāng)兩家圖書館使用數(shù)字資源的人數(shù)相同時(shí)，并不能說明它們的用戶在數(shù)字資源使用的普及方面水平相同，因?yàn)樗鼈兎?wù)的對象人數(shù)不同。而使用電子資源的人數(shù)占全部服務(wù)對象的比例才是一個(gè)可比的數(shù)值。

根據(jù)以上原則，筆者以目前需求較多的電子期刊資源為分析對象，試圖建立一個(gè)完整的數(shù)字資源績效評估指標(biāo)模型，從資源、使用、成本及績效4個(gè)方面來驗(yàn)證數(shù)字資源績效評估指標(biāo)體系的可行性。

表3 電子期刊資源評估數(shù)據(jù)統(tǒng)計(jì)指標(biāo)

表4 電子期刊資源評估績效指標(biāo)

其中，數(shù)據(jù)統(tǒng)計(jì)指標(biāo)R1-1、R3、R4、R5、U1、U3及C1、C2項(xiàng)為必備統(tǒng)計(jì)項(xiàng)目，反映了資源組織及使用的基本情況；在績效指標(biāo)中，P2、P5、P6則是衡量電子期刊服務(wù)及績效成本的關(guān)鍵因素。

4.2 電子期刊績效評估指標(biāo)的應(yīng)用優(yōu)勢

（1） 能夠提供完整的數(shù)據(jù)統(tǒng)計(jì)資料（R1—R5） 及資源使用狀況（U1—U9），并能夠通過對績效的量化分析（P1—P8）確保在數(shù)字資源的選擇、采購與管理等方面符合圖書館的發(fā)展方向及符合所服務(wù)對象的需求。

（2）對于館員而言，在統(tǒng)計(jì)及分析的過程中也能對本館數(shù)字資源的使用狀況（U1—U9）有更深入的了解，并根據(jù)用戶需求及使用習(xí)慣制定更加有效的服務(wù)策略。

（3） 借由紙本資源與數(shù)字資源使用狀況的比較（P1），能夠協(xié)助圖書館管理者制訂符合用戶需求的館藏發(fā)展規(guī)劃。

（4） 通過追蹤資源在實(shí)際使用中的數(shù)據(jù)信息（U3—U7），能夠找出與數(shù)字資源廠商提供的統(tǒng)計(jì)數(shù)據(jù)間的差異，通過資源的使用狀況與成本的對比情況（P4、P5、P8），制定出符合自身利益的定價(jià)及供貨模式。

5 數(shù)字資源績效評估體系構(gòu)建的對策及建議

雖然上述數(shù)字資源績效評估體系有著較強(qiáng)的應(yīng)用優(yōu)勢，但在發(fā)展過程中也會遇到不少的困難和挑戰(zhàn)，如缺乏標(biāo)準(zhǔn)的定義與計(jì)量方法、數(shù)據(jù)統(tǒng)計(jì)存在一定的局限性、數(shù)據(jù)分析存在一定的障礙等，因此還需從以下幾個(gè)方面著手采取相應(yīng)措施進(jìn)一步完善：

（1）數(shù)字資源的服務(wù)統(tǒng)計(jì)數(shù)據(jù)來自圖書館自身的服務(wù)器、數(shù)據(jù)供貨商、系統(tǒng)代理商以及統(tǒng)計(jì)軟件等不同渠道，因此，應(yīng)制定出統(tǒng)一的數(shù)據(jù)統(tǒng)計(jì)規(guī)范，提供統(tǒng)一的各項(xiàng)統(tǒng)計(jì)項(xiàng)目的標(biāo)準(zhǔn)定義，以提高數(shù)字資源統(tǒng)計(jì)信息的可用性與可靠性，進(jìn)一步作為評估的客觀量化材料。

（2）數(shù)字館藏、在線公共目錄、圖書館網(wǎng)站等都已成為目前圖書館主要的服務(wù)方式，各項(xiàng)數(shù)字化服務(wù)的使用都必須加以統(tǒng)計(jì)與分析。應(yīng)統(tǒng)一規(guī)劃，制定出統(tǒng)一標(biāo)準(zhǔn)，作為各圖書館數(shù)字資源服務(wù)統(tǒng)計(jì)的依據(jù)。同時(shí)，應(yīng)將數(shù)字資源服務(wù)以及成本效益考核納入圖書館評估范圍，這樣才能使圖書館的數(shù)字資源服務(wù)績效得到合理的體現(xiàn)。

（3）建立數(shù)字資源統(tǒng)計(jì)填報(bào)系統(tǒng)，利用在線填報(bào)的方法，提高各項(xiàng)統(tǒng)計(jì)調(diào)查的效率。將填報(bào)機(jī)制標(biāo)準(zhǔn)化、制度化，使圖書館建立一套針對數(shù)字資源服務(wù)、使用、成本及用戶情況等數(shù)據(jù)的收集—統(tǒng)計(jì)—分析的標(biāo)準(zhǔn)化程序。

（4）加強(qiáng)對館員的培訓(xùn)，結(jié)合國內(nèi)外各種評估方法及標(biāo)準(zhǔn)的發(fā)展，使館員充分了解統(tǒng)計(jì)數(shù)據(jù)對館藏發(fā)展、行政管理、讀者服務(wù)的重要性，提高數(shù)據(jù)統(tǒng)計(jì)的可靠性和有效性。

［1］文化部.省級圖書館評估標(biāo)準(zhǔn)細(xì)則［S/OL］.［2010－03－04］.http://www.ndcnn.gov.ch/datulib/opensts/2009/2009_07/opensts.2009－07－28.4987186925/view.

［2］張盛強(qiáng).國內(nèi)外數(shù)字資源評估指標(biāo)體系概述［J］.圖書館理論與實(shí)踐，2007（3）：26－27.

［3］申彥濤.e線圖情與圖書館管理創(chuàng)新［EB/OL］.［2010－03－04］.http://www.chinalibs.net/Artinfo.aspx?titleid=156735.

［4］ Judy Luther.White Paper on Electronic Journal Usage Statistics［EB/OL］.［2010－03－04］.http://www.clir.orq/pubs/reports/pub94/contentc.html.

［5］史繼紅.兩個(gè)重要的電子資源使用績效評價(jià)體系的比較 ［J］.數(shù)字圖書館論壇，2007（7）：53－54.

［6］ COUNTER.COUNTER Codes of Practice ［EB/OL］.［2010－03－04］.http://www.projectcounter.org/code_practice.html.

［7］ ICOLC.Guidelines for Statistical Measures of Usage of Web-Based Resources［EB/OL］.［2010－03－04］.http://www.library.yale.edu/consortia/webstats06.htm.