喻志娟， 張 穎， 徐 瓊

(長沙理工大學(xué) 圖書館， 湖南 長沙 410114)

隨著計算機技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展，數(shù)字資源已成為文獻信息的主要表現(xiàn)形式。在圖書館界，數(shù)字資源取代傳統(tǒng)紙質(zhì)文獻成為圖書館文獻資源檢測建設(shè)最重要的組成部分。與此同時，數(shù)字資源購置費用在圖書館資源購置總經(jīng)費中所占比例逐年攀升。高校圖書館正向著數(shù)字化、智慧化方向轉(zhuǎn)型發(fā)展。因此，無論是采購新的數(shù)字資源，還是續(xù)訂、維護已有的數(shù)字資源，都面臨著一系列新的問題：怎樣對數(shù)字資源進行采購前的遴選以及使用后的評價？怎樣通過對數(shù)字資源的評價來引導(dǎo)數(shù)字資源合理化、科學(xué)化配置？怎樣通過大數(shù)據(jù)的分析更好地為教學(xué)和科研服務(wù)，更好地為學(xué)校的學(xué)科建設(shè)、雙一流大學(xué)建設(shè)提供信息資源保障，以此實現(xiàn)學(xué)校資金使用效益最大化？

圖書館對數(shù)字資源的監(jiān)測需求由來已久，以前都是靠廠商提供訪問量、下載量、檢索量的數(shù)據(jù)，反饋給圖書館匯總，圖書館領(lǐng)導(dǎo)拍拍腦袋簽上大名，最后遞交給采購部門，該方式獲得的數(shù)字資源數(shù)據(jù)不夠客觀，可信度不高，缺乏依據(jù)，缺少監(jiān)管，師生對這種采購流程頗有微辭。隨著互聯(lián)網(wǎng)技術(shù)和大數(shù)據(jù)分析技術(shù)的發(fā)展，統(tǒng)計和分析工作可以利用技術(shù)的手段來實現(xiàn)，這樣使得統(tǒng)計數(shù)據(jù)更加客觀、合理、科學(xué)、精準(zhǔn)。目前，在數(shù)字圖書館行業(yè)中，國外進行大數(shù)據(jù)分析和資源評價的研究已有報道，而在國內(nèi)進行大數(shù)據(jù)分析和評價的理論成果也有不少，但實用成果還很稀少。可以預(yù)計在不遠的將來，國內(nèi)外數(shù)字圖書行業(yè)，各數(shù)據(jù)提供商之間將會呈現(xiàn)出以平臺為載體，以學(xué)科為對象，以內(nèi)容為靈魂，以服務(wù)為根本的競爭格局。迫切需要對各種數(shù)字資源進行大數(shù)據(jù)的挖掘，建立起以學(xué)校為單位、以學(xué)科為縱軸、以各種內(nèi)容數(shù)據(jù)、評價數(shù)據(jù)和運行數(shù)據(jù)等業(yè)務(wù)數(shù)據(jù)為維度的混合復(fù)雜數(shù)據(jù)模型。在數(shù)學(xué)模型的基礎(chǔ)上，通過搭建網(wǎng)絡(luò)平臺自動完成數(shù)據(jù)采集、智能分析和實時展現(xiàn)的任務(wù)。

一、平臺的架構(gòu)設(shè)計

搭建云服務(wù)平臺，實現(xiàn)跨網(wǎng)段的數(shù)據(jù)異步交互，實現(xiàn)各個客戶端和云服務(wù)端的數(shù)據(jù)交互，并對各項數(shù)據(jù)的核心價值，各個學(xué)校購買情況、評價數(shù)據(jù)、運維狀態(tài)以及數(shù)字資源的學(xué)科屬性進行大數(shù)據(jù)挖掘和分析。云服務(wù)平臺必須能支持200個(及以上)的數(shù)字資源網(wǎng)站監(jiān)測(基于對一個省內(nèi)高校數(shù)量的考慮)。能實現(xiàn)交換機端口10 Gbps的校園網(wǎng)絡(luò)的數(shù)據(jù)采集和數(shù)據(jù)提取。

數(shù)字圖書館運行監(jiān)測服務(wù)云平臺包含云服務(wù)端和學(xué)?？蛻舳藘蓚€部分?？傮w架構(gòu)設(shè)計如圖1所示。

圖1 平臺總體架構(gòu)設(shè)計圖

平臺包含6層結(jié)構(gòu)。云端服務(wù)器，實現(xiàn)數(shù)據(jù)的收集和分析，為各學(xué)科、資源等有價值的數(shù)據(jù)進行分析和展示。

二、平臺客戶端

平臺客戶端主要包含數(shù)字資源實時監(jiān)測預(yù)警、資源統(tǒng)計與分析系統(tǒng)、數(shù)字資源評價報表系統(tǒng)、數(shù)字資源售后服務(wù)等子系統(tǒng)，其目的是為了實現(xiàn)對圖書館的已購數(shù)據(jù)庫或試用數(shù)據(jù)庫進行監(jiān)測、統(tǒng)計、售后服務(wù)、績效評價等功能，并完成對本地各項元數(shù)據(jù)的收集。平臺客戶端結(jié)構(gòu)圖如圖2所示:

圖2 平臺客戶端的架構(gòu)

(一)數(shù)字資源實時監(jiān)測預(yù)警子系統(tǒng)

數(shù)字資源的實時監(jiān)測預(yù)警系統(tǒng)采用爬蟲技術(shù)，實時探測各個B/S數(shù)字資源系統(tǒng)的運行情況，及時反饋運行結(jié)果，并通過短信和郵件的方式告知相關(guān)管理人員。有效提高了數(shù)字資源的運維和服務(wù)水平，讓大量的數(shù)字資源服務(wù)器更加可靠穩(wěn)定地運行。

(二)數(shù)字資源統(tǒng)計和分析子系統(tǒng)

圖書館資源統(tǒng)計與分析系統(tǒng)基于Redhat-Linux采用PFRING技術(shù)路線，通過端口鏡像抓包分析技術(shù)，對核心交換機進出端口的數(shù)據(jù)進行高速采集，并提取相關(guān)TCP、HTTP協(xié)議的元數(shù)據(jù)。再采用JAVA多線程技術(shù)，對采集的數(shù)字資源元數(shù)據(jù)進行清洗，對清洗過的數(shù)據(jù)進行數(shù)據(jù)結(jié)構(gòu)的建模，滿足統(tǒng)計分析的要求?；诮y(tǒng)計分析的元數(shù)據(jù)，可以生成圖書館按照時間維度、學(xué)科維度、資源類別的訪問下載量和檢索量等主要的指標(biāo)性數(shù)據(jù)，為圖書館的各項資源服務(wù)提供可靠的依據(jù)。

(三)資源廠商售后服務(wù)子系統(tǒng)

通過對資源廠商售后服務(wù)子系統(tǒng)的搭建，可以為圖書館用戶提供更加便捷的售后服務(wù)在線通道。以下幾個方面將得到較好的改善：管理人員發(fā)生變化后第一時間通過平臺進行資料更新，避免溝通脫節(jié)；數(shù)據(jù)資源的數(shù)據(jù)一旦發(fā)生變動，無論變動大小，第一時間通過平臺更新相關(guān)信息，既不增加管理人員的負擔(dān)，又更新了第一手資料；系統(tǒng)對數(shù)字資源廠商的每一次更新都有詳細記錄，并據(jù)此出具售后服務(wù)質(zhì)量報告；圖書館的任何部門都能隨時查閱相關(guān)信息，不再需要在多個部門之間來回協(xié)調(diào)。

(四)數(shù)字資源評價報表子系統(tǒng)

數(shù)字資源評價報表子系統(tǒng)基于以上4個子系統(tǒng)產(chǎn)生和收集到的大量元數(shù)據(jù)而生成，可以為圖書館管理人員和館領(lǐng)導(dǎo)提供針對圖書館各個數(shù)字資源運行和使用情況的績效評價報告。

三、技術(shù)創(chuàng)新點

圖書館運維系統(tǒng)的后臺支撐服務(wù)基于J2EE體系架構(gòu)開發(fā)；采用Quartz多線程技術(shù)、爬蟲技術(shù)、Cache緩存技術(shù)、瀏覽器識別和模擬登陸技術(shù)，準(zhǔn)確、高效地定位和發(fā)現(xiàn)各個數(shù)字資源是否正常、硬件設(shè)備運行是否正常。系統(tǒng)通過移動網(wǎng)絡(luò)運行于Android、IOS等系統(tǒng)通信終端及時反饋故障信息給用戶。后臺還采用多種精密算法，其結(jié)果通過短信、郵件、微信等預(yù)警方式快捷告知用戶，以免形成騷擾。系統(tǒng)采用了嚴(yán)謹(jǐn)合理的架構(gòu)支撐體系，如圖3所示：

圖3 平臺的架構(gòu)支撐體系

上述流程實現(xiàn)過程中，從以下幾個方面實現(xiàn)了技術(shù)上的創(chuàng)新和突破：(1)對爬蟲技術(shù)進行了優(yōu)化和合理的配置。不僅可以正常地識別各個資源的狀態(tài)，而且需要把每一次的探測網(wǎng)絡(luò)的流量控制到10 KB/s之內(nèi)(只有這樣才能支撐起幾百個資源的并發(fā)探測)。(2)為保證后臺多線程支撐程序7×24小時不間斷的運行，對quartz框架作優(yōu)化和重寫。(3)由于某些數(shù)字資源采用的是https協(xié)議，爬蟲程序采集的結(jié)果狀態(tài)兼容https的資源網(wǎng)站。(4)后臺支撐程序不僅支持資源網(wǎng)站，還兼容了服務(wù)器、交換機等硬件設(shè)備的性能監(jiān)控。

四、平臺運行結(jié)果

平臺采用了多種信息技術(shù)，特別是利用網(wǎng)絡(luò)爬蟲技術(shù)，精確識別數(shù)字資源或者B/S系統(tǒng)是否正常訪問、響應(yīng)和下載等狀態(tài)，有效實現(xiàn)了基于應(yīng)用層的資源監(jiān)控，解決了長期以來困擾圖書館的網(wǎng)絡(luò)運維問題(目前國內(nèi)公司運維系統(tǒng)是基于物理層或者網(wǎng)絡(luò)鏈路層的監(jiān)控)。

(一)較為全面地反映圖書館數(shù)字資源使用狀況

該平臺能記錄某一個時間段內(nèi)各個學(xué)院的客觀下載量、訪問量、檢索量、訪問入口等，以及最新資源介紹、最新數(shù)字資源學(xué)術(shù)價值、最新數(shù)字資源特點、最新數(shù)字資源培訓(xùn)資料、最新售后服務(wù)跟進情況等指標(biāo)和屬性數(shù)據(jù)。

(二)將大數(shù)據(jù)技術(shù)應(yīng)用于圖書館數(shù)字資源監(jiān)測

采用端口鏡像的方式對數(shù)字資源進行高速線性采集，然后對數(shù)據(jù)進行還原和分析，分析出各個不同角色、不同院系使用數(shù)字資源的情況，最后進行統(tǒng)計和匯總。這樣就解決了圖書館的數(shù)字資源統(tǒng)計問題。該技術(shù)路線在數(shù)字圖書館行業(yè)中的運用，結(jié)合了數(shù)字圖書館大數(shù)據(jù)分析技術(shù)，在國際與國內(nèi)均屬領(lǐng)先地位。平臺采用云平臺的方式分布式部署，對不同學(xué)校、圖書館的監(jiān)測數(shù)據(jù)、資源訪問數(shù)據(jù)以及評價數(shù)據(jù)等海量數(shù)據(jù)進行多線程處理，然后匯總到云平臺存儲，再橫向挖掘出有價值的數(shù)據(jù)結(jié)果，使大數(shù)據(jù)技術(shù)在數(shù)字圖書館界變成了現(xiàn)實。

(三)能快速生成不同維度的分析報告

平臺通過不同維度的數(shù)據(jù)的收集，然后根據(jù)圖書館的業(yè)務(wù)流程和算法，生成各種對圖書館有價值的分析報告。

五、結(jié)論

該平臺通過對圖書館各種業(yè)務(wù)流程和網(wǎng)絡(luò)運行數(shù)據(jù)進行客觀、公正的采集和分析，對高校圖書館的數(shù)字資源利用情況和數(shù)據(jù)資源提供商的服務(wù)質(zhì)量進行實時跟蹤和展現(xiàn)，為圖書館數(shù)字資源遴選、采購和續(xù)訂提供決策參考。特別是運用分析結(jié)果，可以督促廠商改善服務(wù)質(zhì)量，提高圖書館經(jīng)費使用效率，改善圖書館數(shù)字資源的使用效果，為提升圖書館運行管理和服務(wù)水平提供重要參考，為當(dāng)今圖書館轉(zhuǎn)型發(fā)展提供決策依據(jù)。