王繼華

關(guān)鍵詞：?大數(shù)據(jù)時代;圖書館數(shù)據(jù)挖掘;情報分析;中文發(fā)現(xiàn)系統(tǒng)

摘 要：?大數(shù)據(jù)時代，對大量數(shù)據(jù)進(jìn)行挖掘、分析、處理、提取成為圖書館服務(wù)升級及服務(wù)范圍拓展的主要工作內(nèi)容，而海量數(shù)據(jù)中存在的暗數(shù)據(jù)對相關(guān)數(shù)據(jù)的實際應(yīng)用價值造成了嚴(yán)重的阻礙。文章以大數(shù)據(jù)時代圖書館中文發(fā)現(xiàn)系統(tǒng)數(shù)據(jù)挖掘及情報分析功能為例，結(jié)合大數(shù)據(jù)的概念及應(yīng)用特點，對大數(shù)據(jù)時代圖書館的數(shù)據(jù)挖掘及情報分析進(jìn)行了探究，旨在為大數(shù)據(jù)時代圖書館服務(wù)效率的提升提供一些參考。

現(xiàn)階段，全球信息總量呈爆炸式增長，大數(shù)據(jù)時代已經(jīng)到來。目前學(xué)界還沒有明確的關(guān)于大數(shù)據(jù)的概念，一般來說，大數(shù)據(jù)主要是指管理PB級的數(shù)據(jù)存儲，并通過數(shù)據(jù)挖掘及情報分析技術(shù)，獲得對應(yīng)數(shù)據(jù)的潛在價值，從而為相關(guān)人員提供信息數(shù)據(jù)支持。圖書館大數(shù)據(jù)主要用于學(xué)術(shù)性質(zhì)的數(shù)據(jù)集合，其在數(shù)據(jù)大小方面遠(yuǎn)遠(yuǎn)超出了常規(guī)運(yùn)行軟件可以承受的處理范圍。因此，對圖書館大規(guī)模數(shù)據(jù)進(jìn)行分析，對數(shù)據(jù)挖掘及情報分析技術(shù)進(jìn)行適當(dāng)探究具有非常重要的意義。

1 大數(shù)據(jù)的特點

相較于以往的海量數(shù)據(jù)而言，大數(shù)據(jù)具有價值密度低、多樣性、體量大、速度快的特征。大數(shù)據(jù)時代，人們可以利用數(shù)學(xué)運(yùn)算的方式對內(nèi)部數(shù)據(jù)進(jìn)行綜合分析，從而得出相應(yīng)事件的未來發(fā)展趨勢，獲得未知領(lǐng)域相關(guān)學(xué)術(shù)信息的關(guān)聯(lián)性。大數(shù)據(jù)時代，系統(tǒng)、完整、全面的數(shù)據(jù)深度剖析，可以對以往知識體系進(jìn)行逐步完善，并獲得更深層次的知識脈絡(luò)，如亞馬遜、奈飛依據(jù)用戶類似查詢，可以進(jìn)行相關(guān)產(chǎn)品推薦，從而提高對應(yīng)商品的銷售效益。

2 大數(shù)據(jù)時代下圖書館的數(shù)據(jù)挖掘及情報分析的困境及優(yōu)化思路

2.1 大數(shù)據(jù)時代圖書館數(shù)據(jù)挖掘困境及優(yōu)化思路

大數(shù)據(jù)時代，數(shù)據(jù)科學(xué)得到了迅速的發(fā)展，圖書館大數(shù)據(jù)開發(fā)處理效率得到了有效提升。首先，大數(shù)據(jù)時代圖書館內(nèi)部學(xué)術(shù)信息資源規(guī)模的提升，對圖書館數(shù)據(jù)挖掘工作提出了更高的要求。大數(shù)據(jù)時代，數(shù)字館藏規(guī)模不斷擴(kuò)大，數(shù)據(jù)類型也呈現(xiàn)出多樣化的特征。以往隨機(jī)取樣的大數(shù)據(jù)分析方法，已不能滿足現(xiàn)階段圖書館數(shù)字化服務(wù)的要求，再加上大數(shù)據(jù)環(huán)境中相關(guān)數(shù)據(jù)價值往往隱藏在海量數(shù)據(jù)中，單一的機(jī)器及取樣方式已無法獲取相應(yīng)數(shù)據(jù)的細(xì)節(jié)問題。針對這種情況，在數(shù)據(jù)挖掘模型構(gòu)建過程中，圖書館就需要進(jìn)行分布式計算框架的設(shè)置，如利用Spark、Map Reduce等軟件進(jìn)行集群計算環(huán)境的設(shè)置，同時，結(jié)合數(shù)據(jù)前期清洗也可在時間一定的情況下獲得相應(yīng)的文獻(xiàn)關(guān)聯(lián)信息。其次，隨著圖書館內(nèi)部數(shù)據(jù)類型的多元化發(fā)展，圖書館數(shù)據(jù)也由以往的多維、一維逐步轉(zhuǎn)化為巨維。而在巨維數(shù)據(jù)分析過程中，以往多維數(shù)據(jù)模型就無法發(fā)揮良好的分析能力。在這種情況下，圖書館就需要結(jié)合主成分分析、奇異值分解等維度規(guī)約技術(shù)，適當(dāng)降低數(shù)據(jù)維度，保證數(shù)據(jù)模型的可靠性。最后，在當(dāng)前數(shù)據(jù)挖掘分析過程中，圖書館仍然無法在常規(guī)數(shù)據(jù)挖掘任務(wù)中有效識別詞語語義關(guān)聯(lián)、近義詞或同義詞的聯(lián)系，如信息檢索、自動摘要等。此時，短文本處理環(huán)節(jié)就無法保證整體數(shù)據(jù)文獻(xiàn)處理的效果，再加上目前圖書館數(shù)據(jù)知識庫在規(guī)模及應(yīng)用方式上的限制，也對圖書館提供全方位的數(shù)據(jù)信息服務(wù)造成了一定的阻礙。筆者認(rèn)為，以上問題都可通過應(yīng)用語義處理技術(shù)加以解決，即適當(dāng)提升相關(guān)數(shù)據(jù)挖掘算法的語義化等級，提高整體數(shù)據(jù)的處理效率。在語義處理過程中，圖書館主要依靠中文知網(wǎng)、WordNet、維基百科、互動百科等結(jié)構(gòu)化程度較高的知識庫，結(jié)合Word2 Vcctor工具的應(yīng)用，進(jìn)行大規(guī)模預(yù)料詞語矩陣的建立，以便為圖書館圖像、視頻、語音挖掘效率的提升提供依據(jù)?[1]。利用語義處理技術(shù)還可以將音頻數(shù)據(jù)轉(zhuǎn)換為文本，并通過聲音信號時間位置的記錄，提高整體音頻數(shù)據(jù)標(biāo)準(zhǔn)的準(zhǔn)確性。結(jié)合語義標(biāo)注方式及微信等社會化API網(wǎng)絡(luò)接口的設(shè)置，圖書館也可以確定相應(yīng)數(shù)據(jù)概念的本體，便于明確信息間的聯(lián)系，構(gòu)建多維度知識處理網(wǎng)絡(luò)。

2.2 大數(shù)據(jù)時代圖書館情報分析困境及優(yōu)化思路

以往圖書館情報分析大多為專利資源、Web資源、文獻(xiàn)資源等文本信息，而現(xiàn)階段數(shù)據(jù)源除文本數(shù)據(jù)外，還包括科技計劃項目立項書、政府公文、科技報告等非機(jī)構(gòu)文檔，致使傳統(tǒng)數(shù)據(jù)情報分析的弊端日益凸顯。同時，基于大數(shù)據(jù)存儲量的TB或PB級別，圖書館還需要在統(tǒng)一數(shù)據(jù)非結(jié)構(gòu)情報分析模型中，進(jìn)行有效信息抽取算法的設(shè)置，以便實現(xiàn)多數(shù)據(jù)源情報的有效融合?[2]。在大數(shù)據(jù)情報分析數(shù)據(jù)挖掘算法設(shè)置過程中，圖書館需要在以往關(guān)聯(lián)規(guī)則、分類算法的基礎(chǔ)上，對分析結(jié)果的準(zhǔn)確度要求進(jìn)行螺旋式處理，并設(shè)置相應(yīng)的實時數(shù)據(jù)動態(tài)情報分析工具，以保證大量情報資源的有效分析。以往圖書館情報資源大多為純凈情報資源，相關(guān)資源可采用人工分析方式進(jìn)行清洗，而在大數(shù)據(jù)時代，數(shù)據(jù)規(guī)模的巨大化導(dǎo)致大量臟數(shù)據(jù)存在于圖書館數(shù)據(jù)庫中，這對整體數(shù)據(jù)分析的真實性造成了嚴(yán)重的影響。針對這種情況，圖書館可以對半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行預(yù)處理，利用特征屬性提取的方式將冗余數(shù)據(jù)去除，然后對相應(yīng)數(shù)據(jù)進(jìn)行集中整合分析，以保證情報分析的效率。

3 大數(shù)據(jù)時代下圖書館中文發(fā)現(xiàn)系統(tǒng)數(shù)據(jù)挖掘及情報分析

3.1 中文發(fā)現(xiàn)系統(tǒng)機(jī)理

大數(shù)據(jù)時代，圖書館中文發(fā)現(xiàn)系統(tǒng)主要是在非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)的基礎(chǔ)上，利用現(xiàn)代化數(shù)據(jù)儲存及挖掘工具，結(jié)合搜索引擎技術(shù)的應(yīng)用，對圖書館內(nèi)部及外部各項學(xué)術(shù)信息進(jìn)行深度挖掘探究，以便為圖書館用戶提供更加全面的服務(wù)?[3]。中文發(fā)現(xiàn)系統(tǒng)數(shù)據(jù)挖掘具有發(fā)現(xiàn)知識、洞察全局、價值再生的效果。其中，發(fā)現(xiàn)知識主要是針對圖書館內(nèi)部工作人員與圖書館用戶之間的數(shù)據(jù)進(jìn)行搜集，通過對信息資源的深度關(guān)聯(lián)分析，可在資源與服務(wù)之間建立系統(tǒng)聯(lián)系，提升信息搜索定位的效率;洞察全局主要是在統(tǒng)一的文獻(xiàn)信息資源中，將各個獨(dú)立的信息模塊進(jìn)行有機(jī)整合，從而形成一個完整的情報分析系統(tǒng)，便于全面分析研究學(xué)習(xí)趨勢，為文獻(xiàn)機(jī)構(gòu)提供全局形式的文獻(xiàn)學(xué)術(shù)信息;價值再生主要是對文獻(xiàn)內(nèi)部資源立體聯(lián)系的總體分析，通過對學(xué)位論文、圖書、期刊等文獻(xiàn)資源的關(guān)聯(lián)分析，可確定最終學(xué)術(shù)發(fā)展的趨勢，便于挖掘圖書館大數(shù)據(jù)暗信息。

3.2 中文發(fā)現(xiàn)系統(tǒng)引文及學(xué)術(shù)源流分析

在實際應(yīng)用中，圖書館中文發(fā)現(xiàn)系統(tǒng)可以提供圖書間、圖書與期刊、期刊間、期刊與圖書的前后引證聯(lián)系，同時也可以為圖書館用戶提供施引文獻(xiàn)列表、鏈接及被引文獻(xiàn)列表、鏈接，為相關(guān)學(xué)術(shù)反向研究提供有效的數(shù)據(jù)支持?[4]。現(xiàn)階段，圖書館中文發(fā)現(xiàn)系統(tǒng)已擁有7，000多萬條的引用分析數(shù)據(jù)，而引文關(guān)聯(lián)數(shù)據(jù)總體數(shù)量也在11億條以上。通過對圖書、期刊、會議論文等相關(guān)學(xué)術(shù)文獻(xiàn)的立體引文分析，圖書館可進(jìn)一步完善立體服務(wù)網(wǎng)絡(luò)。在中文發(fā)現(xiàn)系統(tǒng)運(yùn)行過程中，圖書館可以綜合利用抽象、歸納等多種統(tǒng)計學(xué)和數(shù)學(xué)方法，對內(nèi)部學(xué)術(shù)對象引用、被引用情況進(jìn)行統(tǒng)一概況敘述，便于獲得相應(yīng)學(xué)術(shù)資源內(nèi)部學(xué)術(shù)情報特征。在實際應(yīng)用中，中文發(fā)現(xiàn)系統(tǒng)引文分析功能可以打破時間、空間及學(xué)科的限制，通過有序化的學(xué)術(shù)文獻(xiàn)排列，從外向內(nèi)、由表及里地對相應(yīng)學(xué)術(shù)文獻(xiàn)進(jìn)行量化分析，這有利于明確學(xué)術(shù)研究環(huán)節(jié)文獻(xiàn)引用頻率，進(jìn)而確定相關(guān)研究科目的影響情況。同時，中文發(fā)現(xiàn)系統(tǒng)引文研究也可以明確不同學(xué)科間的聯(lián)系和不同文獻(xiàn)信息要素間的引證關(guān)系及其信息來源特征，而通過對相關(guān)文獻(xiàn)信息被引用頻率、引用頻率的關(guān)聯(lián)分析，也可以明確相應(yīng)學(xué)術(shù)文獻(xiàn)的老化規(guī)律，以便確定相關(guān)文獻(xiàn)的學(xué)術(shù)價值。圖書館中文發(fā)現(xiàn)系統(tǒng)主要具有知識相關(guān)鏈條、作者相關(guān)鏈條、作者機(jī)構(gòu)相關(guān)鏈條等幾個方面的搜索功能。其中，知識相關(guān)鏈條主要是對知識源頭、知識主體、知識活動進(jìn)行相關(guān)關(guān)聯(lián)分析，通過立體知識鏈條的設(shè)置，確定相關(guān)知識主體之間的聯(lián)系。通過對知識主體、作者機(jī)構(gòu)、作者立體聯(lián)系的分析，圖書館可確定對應(yīng)學(xué)科、文獻(xiàn)信息及學(xué)術(shù)關(guān)聯(lián)的關(guān)系，為學(xué)術(shù)信息與文獻(xiàn)信息建立反向聯(lián)系，為后續(xù)學(xué)術(shù)研究提供有效的數(shù)據(jù)支持。圖書館中文發(fā)現(xiàn)系統(tǒng)學(xué)術(shù)源流功能的作用是在以往單一文獻(xiàn)資源研究單位的基礎(chǔ)上，進(jìn)行深入分析，對學(xué)術(shù)文獻(xiàn)中數(shù)據(jù)與對應(yīng)研究單位之間的聯(lián)系進(jìn)行逐步明確，最終形成知識概念鏈條。在實際應(yīng)用過程中，圖書館中文發(fā)現(xiàn)系統(tǒng)的學(xué)術(shù)源流模塊可以從單向、雙向線性兩個方面對整體知識關(guān)聯(lián)鏈狀架構(gòu)進(jìn)行合理分析，直至得到需要的信息?[5]。?結(jié)合文獻(xiàn)基本要求，中文發(fā)現(xiàn)系統(tǒng)還可以對文獻(xiàn)學(xué)科領(lǐng)域與文獻(xiàn)學(xué)術(shù)寫作人員之間的信息關(guān)聯(lián)進(jìn)行綜合分析，并依據(jù)學(xué)術(shù)文獻(xiàn)創(chuàng)作人員所在機(jī)構(gòu)的特征，進(jìn)一步創(chuàng)建機(jī)構(gòu)間的聯(lián)系，從而確定相應(yīng)學(xué)術(shù)研究人員的工作方向及對應(yīng)學(xué)術(shù)研究的發(fā)展趨勢。

3.3 中文發(fā)現(xiàn)系統(tǒng)知識關(guān)聯(lián)及生長方向評估

圖書館中文發(fā)現(xiàn)系統(tǒng)主要是在提供同一主題、領(lǐng)域及學(xué)科學(xué)術(shù)文獻(xiàn)信息的基礎(chǔ)上，對相應(yīng)知識關(guān)聯(lián)及生長方向進(jìn)行合理評估，并對不同主題、領(lǐng)域及學(xué)科的學(xué)術(shù)文獻(xiàn)信息進(jìn)行挖掘分析，從而確定相關(guān)學(xué)術(shù)研究機(jī)構(gòu)之間的聯(lián)系。在圖書館中文發(fā)現(xiàn)系統(tǒng)中，知識不僅僅是一個立體網(wǎng)絡(luò)架構(gòu)，而是具有較為廣闊的空間范圍。而相關(guān)學(xué)術(shù)知識間也具有較為密切的聯(lián)系，相關(guān)知識間的聯(lián)系也被稱為知識延伸及情報分析的關(guān)鍵節(jié)點，因此，為了保證知識間組織的科學(xué)性及實際效用，圖書館對知識關(guān)系進(jìn)行科學(xué)管理就顯得非常重要。知識關(guān)聯(lián)是知識發(fā)現(xiàn)、知識創(chuàng)造的節(jié)點，其在知識載體間聯(lián)系的判定方面具有重要的作用。而通過某個知識點的觸發(fā)，也可以帶動另外的知識點過渡到迅速發(fā)展階段，以便對同一主題或不同主題間學(xué)術(shù)產(chǎn)出情況進(jìn)行綜合對比分析，并得出不同學(xué)術(shù)研究的發(fā)展情況。在學(xué)術(shù)領(lǐng)域一定的情況下，對相關(guān)學(xué)術(shù)知識的關(guān)聯(lián)度分析，也可以確定相關(guān)學(xué)術(shù)研究行為的連續(xù)性及生長方向，以便建立具有學(xué)術(shù)參考價值的學(xué)術(shù)研究體系?[6]。

3.4 中文發(fā)現(xiàn)系統(tǒng)可視化及智能輔助評估

圖書館中文發(fā)現(xiàn)系統(tǒng)可視化功能主要包括學(xué)術(shù)要素查看、學(xué)術(shù)檢索結(jié)果輸出等模塊，同時還可以提供研究主題、學(xué)科關(guān)聯(lián)對比分析曲線圖表、圖書文獻(xiàn)現(xiàn)狀及生長方向可視化處理等服務(wù)。圖書館中文發(fā)現(xiàn)系統(tǒng)主要利用計算機(jī)可視化技術(shù)，對統(tǒng)一結(jié)構(gòu)化文獻(xiàn)進(jìn)行深度剖析，并利用對比、歸一等數(shù)理方法，將學(xué)術(shù)文獻(xiàn)創(chuàng)作時間、學(xué)術(shù)文獻(xiàn)創(chuàng)作人員、學(xué)術(shù)文獻(xiàn)創(chuàng)作類型、學(xué)術(shù)文獻(xiàn)價值等相關(guān)要素進(jìn)行集中整合，形成系統(tǒng)科學(xué)的數(shù)理統(tǒng)計分析文件，并結(jié)合計算機(jī)可視化圖表處理，展示相關(guān)學(xué)術(shù)研究的主題熱門程度，為相關(guān)學(xué)術(shù)研究人員提供更加直觀的學(xué)術(shù)研究參考信息，為其學(xué)術(shù)研究工作的正常開展及明確開題方向提供依據(jù)。圖書館中文發(fā)現(xiàn)系統(tǒng)智能輔助模塊具有檢索關(guān)鍵詞相關(guān)詞條解釋、期刊及圖文導(dǎo)航、用戶搜索行為分析、學(xué)術(shù)研究產(chǎn)出推送、用戶潛在搜索需求主動推送、常用學(xué)科分析推送等功能?[7]?，F(xiàn)階段，圖書館中文發(fā)現(xiàn)系統(tǒng)在運(yùn)行過程中對智能輔助系統(tǒng)的應(yīng)用，徹底改變了以往單一用戶檢索詞輸入、提交、尋找的信息檢索模式，通過主動信息推送的形式對圖書館用戶檢索詞輸入環(huán)節(jié)信息輸送需求進(jìn)行自動評估，并為其提供相關(guān)文獻(xiàn)信息的來源及類似信息。

3.5 中文發(fā)現(xiàn)系統(tǒng)趨勢評估

圖書館中文發(fā)現(xiàn)系統(tǒng)趨勢分析主要包括產(chǎn)出量指標(biāo)劃分、學(xué)術(shù)發(fā)展現(xiàn)狀展示、規(guī)定時間段學(xué)術(shù)發(fā)展趨勢總結(jié)、學(xué)術(shù)信息發(fā)展趨勢深度挖掘及相關(guān)主題關(guān)聯(lián)指標(biāo)搜索等。圖書館中文發(fā)現(xiàn)系統(tǒng)趨勢分析主要是通過對搜索主題、篇數(shù)等數(shù)字性質(zhì)資料的分析，確定指標(biāo)一定時多個連續(xù)關(guān)聯(lián)之間的增減變動趨勢變化。在中文發(fā)現(xiàn)系統(tǒng)實際運(yùn)行過程中，文獻(xiàn)搜集人員可以通過主題搜索，獲得相應(yīng)主題變動趨勢數(shù)字曲線，并結(jié)合相關(guān)內(nèi)容數(shù)據(jù)，得出對應(yīng)學(xué)術(shù)主題的發(fā)展情況。而對不同年代的學(xué)術(shù)主題進(jìn)行數(shù)據(jù)分析，有助于對學(xué)術(shù)發(fā)展的趨勢進(jìn)行預(yù)估判定，以便為后續(xù)學(xué)術(shù)研究主題的確定提供數(shù)據(jù)指導(dǎo)?[8]。在圖書館中文發(fā)現(xiàn)系統(tǒng)學(xué)術(shù)變化曲線中，若相應(yīng)曲線在某一環(huán)節(jié)處于波峰階段，則表明相應(yīng)環(huán)節(jié)內(nèi)相關(guān)主題學(xué)術(shù)研究工作的開展較為頻繁;若相應(yīng)曲線在某一環(huán)節(jié)處于波谷階段，則表明相應(yīng)環(huán)節(jié)內(nèi)該主題學(xué)術(shù)研究處于低迷狀態(tài)。

4 結(jié)語

綜上所述，大數(shù)據(jù)時代下的圖書館數(shù)據(jù)挖掘及情報分析工作主要是指在新技術(shù)思維的指導(dǎo)下，針對現(xiàn)階段圖書館數(shù)據(jù)處理需求，從智能輔助、生長方向分析、趨勢分析等方面進(jìn)行多模塊數(shù)據(jù)挖掘系統(tǒng)的構(gòu)建。而在基礎(chǔ)數(shù)據(jù)挖掘及情報專業(yè)分析的前提下，通過第三方軟件或其他技術(shù)工具的應(yīng)用，不僅可以展示圖書館內(nèi)部學(xué)術(shù)資源的關(guān)聯(lián)情況，而且便于相關(guān)決策數(shù)據(jù)進(jìn)行單個圖像元素的描述，從而為數(shù)據(jù)各個屬性值的多維展示提供有效幫助。

參考文獻(xiàn)：

[1] ??史夢楚.數(shù)據(jù)挖掘在大數(shù)據(jù)時代下的應(yīng)用?[J].?中國新通信，2017（8）：88.

[2]?劉春霞.基于數(shù)據(jù)挖掘的用戶借閱行為分析：以河南理工大學(xué)圖書館為例?[J].圖書情報導(dǎo)刊，2017（8）：1-8.

[3]?程晏萍.大數(shù)據(jù)在高校圖書館中的數(shù)據(jù)挖掘?流程及應(yīng)用分析?[J].高校圖書情報論壇，??2016（3）：33-35.

[4] ?張宏偉，史惠媛.數(shù)據(jù)挖掘在高校圖書館文獻(xiàn)采購決策中的應(yīng)用：以黑龍江中醫(yī)藥大學(xué)圖書館為例?[J].中國中醫(yī)藥圖書情報雜志，2016?（2）：22-24.

[5]?李艷，呂鵬，李瓏.基于大數(shù)據(jù)挖掘與決策分析體系的高校圖書館個性化服務(wù)研究?[J].圖書情報知識，2016（2）：60-68.

[6]?陳靜榮.圖書借閱分析系統(tǒng)的數(shù)據(jù)挖掘技術(shù)?[J].農(nóng)業(yè)圖書情報學(xué)刊，2017（2）：69-72.

[7]?王紅.數(shù)據(jù)挖掘在數(shù)字化圖書館中的應(yīng)用研究?[J].農(nóng)業(yè)圖書情報學(xué)刊，2016（1）：39-41.

[8]?余鵬，李艷，呂鵬.高等院校大數(shù)據(jù)挖掘與決?策分析體系的應(yīng)用研究?[J].現(xiàn)代教育技術(shù)，??2016（8）：102-108.