杜紅剛，吳岳忠

（湖南工業(yè)大學(xué) 計算機與通信學(xué)院，湖南 株洲 412007）

基于云存儲的網(wǎng)絡(luò)文檔共享系統(tǒng)

杜紅剛，吳岳忠

（湖南工業(yè)大學(xué) 計算機與通信學(xué)院，湖南 株洲 412007）

針對非結(jié)構(gòu)化的海量文檔獲取困難的問題，設(shè)計和開發(fā)了基于云存儲的網(wǎng)絡(luò)文檔共享系統(tǒng)。該系統(tǒng)采用了Hadoop和Lucene以及Mahout來實現(xiàn)對文檔存儲、全文檢索和推薦。通過測試證明，網(wǎng)絡(luò)文檔共享系統(tǒng)可以使用戶更快速高效地獲取文檔。

云存儲；文檔共享；全文檢索；推薦

隨著計算機硬件的飛速發(fā)展，處理速度的不斷提高，人們在獲取快速的處理速度同時也產(chǎn)生著大量的文檔和用戶數(shù)據(jù)。然而隨著互聯(lián)網(wǎng)的到來和快速發(fā)展，這種數(shù)據(jù)呈指數(shù)級增長。在工作中，人們從這些大量的文檔中獲取自己想要的文檔時，就變得越加困難而緩慢。

為了解決這個問題，本文提出并設(shè)計實現(xiàn)了基于云存儲的網(wǎng)絡(luò)文檔共享系統(tǒng)。主要研究工作及創(chuàng)新點為：

1）系統(tǒng)將文檔存儲在以Hadoop為基礎(chǔ)的文件存儲集群，它可以使人們擺脫對移動存儲設(shè)備的依賴，只要有網(wǎng)絡(luò)就可以隨時隨地的訪問自己的文件，而且成本低廉，安全穩(wěn)定；

2）系統(tǒng)配合使用Lucene作為全文搜索引擎，提取文檔關(guān)鍵詞特性，以矢量的方式來標(biāo)識文檔的特征，從而為用戶快速查找到有效文檔；

3）系統(tǒng)通過Mahout數(shù)據(jù)挖掘來為用戶做智能推薦。

1 相關(guān)技術(shù)

1.1 云存儲

云存儲是在云計算（cloud computing）概念上延伸和發(fā)展出來的一個新的概念，是一種新興的網(wǎng)絡(luò)存儲技術(shù)，是指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。如今存儲的解決方案很多，其中Hadoop是比較成熟的一種方案。Hadoop是Apache軟件基金會所研發(fā)的開放源碼項目。它是一個能夠讓用戶輕松架構(gòu)和使用的分布式計算平臺。如今很多知名的IT企業(yè)都在使用Hadoop，如京東、百度等公司在存儲、分析日志、數(shù)據(jù)挖掘和機器學(xué)習(xí)中都使用了Hadoop。在文獻[1-2]中通過實戰(zhàn)開發(fā)，詳細闡述了Hadoop的程序開發(fā)方式。在文獻[3]中通過實驗，證明Hadoop在大數(shù)據(jù)處理發(fā)面的優(yōu)勢。在文獻[4-5]中，介紹了Hadoop的分布式文件系統(tǒng)HDFS的搭建。本文使用Hadoop搭建分布式文件存儲系統(tǒng)，為本文設(shè)計的系統(tǒng)提供低廉、安全的云存儲。

1.2 全文檢索

全文檢索是一種將文件中所有文本與檢索項匹配的文字資料檢索方法。普通的文檔系統(tǒng)只能通過標(biāo)題這種結(jié)構(gòu)化的數(shù)據(jù)來進行搜索，而全文檢索不同，它是以文檔內(nèi)容為分析對象，通過分詞器以及分詞庫將文檔內(nèi)容中的各個詞匯匯總統(tǒng)計，這樣便能很好地標(biāo)識這個文檔的特征，從而更智能地匹配用戶的搜索要求[5]。通過全文檢索就可以更深入地為用戶推薦用戶所需內(nèi)容，因為文檔的命名無法覆蓋文檔表達的所有方面，如果用輸入的搜索關(guān)鍵詞比較少，那么就無法將那些沒有通過命名來體現(xiàn)文檔內(nèi)容的文檔查詢出來。所以，通過全文檢索直接分析文檔內(nèi)容更直接、更有利于搜索和推薦。

Lucene是一套用于全文檢索和搜尋的開源程式庫，由Apache軟件基金會支持和提供。Lucene提供了一個簡單強大的應(yīng)用程式接口，能夠?qū)崿F(xiàn)全文索引和搜尋。很多國外的企業(yè)已經(jīng)將Lucene投入使用，例如推特、FaceBook等。文獻[6]詳細介紹了Lucene的開發(fā)步驟如索引的更新、文檔搜索等。本系統(tǒng)中使用Lucene對文檔進行高效的全文檢索。

1.3 智能推薦

文檔推薦是基于用戶興趣點對用戶的文檔需求進行預(yù)測，然后將預(yù)測結(jié)果推送給用戶。文檔推薦和搜索在系統(tǒng)內(nèi)實現(xiàn)基本一致，不同的是文檔搜索只有在用戶主動發(fā)起請求的時候系統(tǒng)才會執(zhí)行搜索動作，這是用戶主動的行為；而文檔推薦是系統(tǒng)根據(jù)用戶的興趣主動去文檔庫去搜索，然后將結(jié)果顯示給用戶，這時用戶是被動的。在文檔智能推薦算法中，常用的有UserCF和ItemCF。UserCF是用戶間類比推薦的一種橫向推薦，它的作用是推薦那些和該用戶有共同興趣的用戶所感興趣的文檔，反應(yīng)群體內(nèi)的熱門程度；ItemCF是基于文檔特性的縱向推薦，它的作用是推薦那些該用戶之前喜歡的文檔，反應(yīng)用戶本人的興趣愛好[7]，這2種算法都可以通過Mahout來實現(xiàn)。Mahout是一個強大的數(shù)據(jù)挖掘工具，是一個分布式機器學(xué)習(xí)算法的集合，其最大的優(yōu)點就是可以基于Hadoop實現(xiàn)，把很多以前運行于單機上的算法，轉(zhuǎn)化為MapReduce模式，這樣大大提升了算法可處理的數(shù)據(jù)量和處理性能[8]。本系統(tǒng)將通過Mahout把UserCF和ItemCF這2種算法結(jié)合使用為用戶提供智能推薦。

2 系統(tǒng)設(shè)計與實現(xiàn)

2.1 系統(tǒng)功能設(shè)計

系統(tǒng)功能分為4個模塊：文檔存儲模塊、文檔搜索模塊、文檔推薦模塊、用戶登錄和權(quán)限模塊。這4個模塊組成系統(tǒng)的整個核心業(yè)務(wù)，系統(tǒng)功能結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)功能結(jié)構(gòu)圖Fig. 1 System function structure

具體模塊功能如下：

1）文檔存儲模塊。包括文檔上傳了文檔下載2個功能。主要實現(xiàn)了用戶的文檔上傳到云存儲服務(wù)器，以及從云存儲服務(wù)器下載文檔。

2）文檔搜索模塊。文檔搜索模塊是整個系統(tǒng)的核心，文檔推薦模塊也依托于文檔搜索模塊。包括索引更新和文檔檢索功能，由于文檔庫是實時變化的，所以要對整個文檔庫的所有文檔進行索引的更新，這樣才能在文檔搜索的時候得到最新的結(jié)果。

3）文檔推薦模塊。系統(tǒng)根據(jù)用戶的興趣有針對的對用戶進行智能推薦。它包括用戶興趣更新和推薦2個功能，其中用戶興趣更新是更新用戶的興趣，為推薦做基礎(chǔ)。

4）登錄和權(quán)限認證模塊。它是系統(tǒng)的基礎(chǔ)，包括授權(quán)和認證2個部分，其中授權(quán)是對用戶在系統(tǒng)中所能進行的操作進行授權(quán)，而認證是對用戶在系統(tǒng)內(nèi)的操作進行認證的過程。

2.2 系統(tǒng)架構(gòu)設(shè)計

系統(tǒng)在J2EE平臺開發(fā)，代碼基本采用Java語言編寫。服務(wù)器使用Tomcat作為Web容器，數(shù)據(jù)庫采用MySQL，分布式文件存儲使用Hadoop的HDFS。在代碼框架上使用Struts2作為MVC框架，Spring作為注入功能和事務(wù)控制，Hibernate作為數(shù)據(jù)庫存儲層的框架，安全控制使用Spring Security[9-12]。系統(tǒng)架構(gòu)圖如圖2所示。

圖2 系統(tǒng)架構(gòu)圖Fig. 2 System architecture

如圖2所示，本系統(tǒng)具有3層系統(tǒng)架構(gòu)，包括：云用戶層、系統(tǒng)服務(wù)層和云存儲層。在該架構(gòu)中，由用戶組成的云用戶層，直接使用應(yīng)用，進行文檔的上傳、檢索等資源共享服務(wù)。由可信服務(wù)器（trust servers，TS）作為系統(tǒng)服務(wù)層，支持用戶和云存儲的交互，一方面是可以對源文件進行創(chuàng)建索引，再把源文件和索引文件上傳到云存儲服務(wù)器上，還可以將用戶提供的關(guān)鍵詞提交云存儲層進行搜索，并將獲得結(jié)果返回用戶，另一方面是處理用戶興趣模型，便于系統(tǒng)進行內(nèi)容的按需推薦；由云服務(wù)器提供商（cloud servers provider，CSP）作為云存儲層，主要與系統(tǒng)服務(wù)層交互，對文檔資源進行存儲，并可以提供云的超強計算能力，如對上傳海量數(shù)據(jù)源文件進行存儲、搜索、文件提取等操作；

2.3 數(shù)據(jù)庫設(shè)計

系統(tǒng)的數(shù)據(jù)庫采取MySQL數(shù)據(jù)庫，系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)存儲在MySQL數(shù)據(jù)庫中，包括登錄權(quán)限認證數(shù)據(jù)、用戶的基本信息、文檔的基本信息、文檔的分享信息以及用戶的搜索記錄。系統(tǒng)功能涉及部分數(shù)據(jù)表設(shè)計如下。

1）用戶信息表。包括用戶ID、用戶名、角色ID以及用戶密碼。

2）角色表。包括角色ID、角色名。

3）文檔信息表。包括文檔ID、文檔實際名、文檔存儲名、文檔URL地址、文檔大小、文檔類型、文檔狀態(tài)等。

4）興趣信息表。包括興趣ID、興趣關(guān)鍵詞、關(guān)鍵詞熱度。

5）權(quán)限信息表。包括權(quán)限ID、權(quán)限名。

系統(tǒng)ER圖如圖3所示。

圖3 系統(tǒng)ER圖Fig. 3 The ER chart of system

2.4 文檔搜索和推薦核心算法設(shè)計

搜索和推薦，其本質(zhì)就是檢索文檔內(nèi)容是否匹配用戶的需求。本文所采用匹配算法設(shè)計思路為：每個文檔都是由很多詞組組成的，通過Lucene索引，可以將每個文檔的詞組統(tǒng)計出來，并且可以計算每個詞組占整個文檔詞組總量的比例，稱之為該詞組在此文檔內(nèi)的權(quán)重，將所有的詞組權(quán)重有序的排放成一個數(shù)列，稱此數(shù)列為該文檔的文檔空間向量，該向量可以表示一個文檔的內(nèi)容特征。同理用戶有很多感興趣的關(guān)鍵詞，而這些關(guān)鍵詞組的權(quán)重所組成的有序數(shù)列，也表示了用戶的興趣特征。其中詞組權(quán)重W的計算公式為式（1），即

式中：Wt,d表示關(guān)鍵詞t在文檔d中的權(quán)重；

tft,d表示關(guān)鍵詞t在文檔d中的頻率；

n表示文檔集Data中文檔總個數(shù)；

dft表示包含關(guān)鍵詞t的文檔個數(shù)。

在進行搜索和推薦的時候，系統(tǒng)會計算文檔空間向量和用戶興趣空間向量的相似度Scoreq,d，其計算公式為式（2），即

式中：Wi,q表示用戶興趣向量q中的關(guān)鍵詞i的權(quán)重；

Wi,d表示文檔向量d中的關(guān)鍵詞i的權(quán)重；

n是文檔集中關(guān)鍵詞的個數(shù)。

用戶在進行搜索和推薦的時候，會根據(jù)關(guān)鍵詞和用戶興趣分計算出其與每個文檔的相似度，然后將相似度最高的N個文檔作為結(jié)果返回給用戶。

2.5 算法實現(xiàn)

2.5.1 文檔上傳到HDFS

文件上傳至HDFS中，是通過Hadoop提供的一套API來操作，由于Hadoop封裝性較好，所以使用較為簡單。HDFS的核心類是FileSystem，通過該類實現(xiàn)文件在HDFS中的存儲、讀取、刪除等操作。上傳流程如圖4所示。

圖4 文檔上傳流程圖Fig. 4 Document upload flowchart

2.5.2 文檔索引建立

文檔索引的建立時，索引文件是存儲在可信服務(wù)器上的，文檔量逐漸變大，系統(tǒng)更新索引也會隨之變慢，所以系統(tǒng)會在午夜進行索引的更新。實現(xiàn)步驟有創(chuàng)建索引目錄對象、創(chuàng)建索引的寫入器、創(chuàng)建Document、為Document添加Field、獲取HDFS的FileSystem實例，遍歷HDFS中的文檔、設(shè)置所要索引的域、通過IndexWriter添加文檔到索引中、關(guān)閉索引目錄和索引寫入器。建立索引的過程如圖5所示。

圖5 文檔索引建立流程圖Fig. 5 Document index flowchart

2.5.3 文檔搜索

搜索流程如圖6所示。文檔搜索的時候，在用戶輸入關(guān)鍵詞后系統(tǒng)會通過Lucene加載已經(jīng)建立好的索引，索引在加載后通過關(guān)鍵詞來獲取滿足搜索要求的文檔。實現(xiàn)步驟為：創(chuàng)建目錄對象、創(chuàng)建索引讀取實例、創(chuàng)建搜索的搜索對象、搜索并返回最符合條件的前n條、根據(jù)TopDocs獲取ScoreDoc對象，然后遍歷所搜索到的項、根據(jù)Seacher和ScoreDoc對象獲取具體的Document對象、根據(jù)Document對象獲取需要的值。

圖6 文檔搜索流程圖Fig. 6 Document search flowchart

2.5.4 文檔推薦

用戶每次搜索后，系統(tǒng)都將存儲用戶本次搜索的關(guān)鍵詞，但關(guān)鍵字在系統(tǒng)中不存在的時候?qū)⒃谙到y(tǒng)中添加該關(guān)鍵詞，如果已經(jīng)有了就會把這個關(guān)鍵詞的hot指數(shù)加一，然后根據(jù)用戶使用最頻繁的幾個關(guān)鍵詞為用戶做推薦。推薦流程如圖7所示。

圖7 文檔推薦流程圖Fig. 7 Document recommendation flowchart

2.6 系統(tǒng)設(shè)計特點

1）采用HDFS擺脫了傳統(tǒng)目錄文件系統(tǒng)的深層次結(jié)構(gòu)，HDFS可采用扁平的文件系統(tǒng)結(jié)構(gòu)，而且HDFS容錯性高，支持自動備份，使得文件更安全。

2）系統(tǒng)采用Lucene為文檔庫建立索引，當(dāng)文檔量很大的時候勢必會帶來性能問題。但是由于系統(tǒng)采用分布式架構(gòu)，可以將建立索引和檢索索引的工作以MapReduce的方式進行處理，即將任務(wù)分割成許多的小任務(wù)進行并行計算，然后再將運算結(jié)果合并成最終的運算結(jié)果，從而大大縮短索引的時間。

3）系統(tǒng)使用Mahout推薦算法可以根據(jù)用戶在系統(tǒng)內(nèi)的操作記錄，抽象出來一個用戶的興趣趨向，從而為用戶進行有針對性、有價值的推薦，而且隨著用戶的數(shù)據(jù)的增多，推薦越準(zhǔn)確。

3 實驗分析

本文采用的開發(fā)平臺和工具等如2.2節(jié)所述。開發(fā)工具使用IDEA，版本控制工具為Git，項目編譯發(fā)布工具使用Maven。

3.1 文檔存儲

用戶上傳文檔的功能，在上次文檔界面，選擇所要上傳的文件然后點擊上傳。這部分主要是對數(shù)據(jù)進行驗證，首先查看數(shù)據(jù)可得Document表里面是否有新的文檔記錄，然后查看HDFS里的是否有該文件。效果圖如圖8所示。

圖8 文檔上傳Fig. 8 Document upload

3.2 文檔搜索

系統(tǒng)事先對整個文檔庫進行索引的更新，在系統(tǒng)內(nèi)的搜索輸入框內(nèi)輸入要搜索的關(guān)鍵詞，點擊搜索，系統(tǒng)根據(jù)關(guān)鍵詞查找文檔庫中匹配該關(guān)鍵詞的文檔。效果如圖9所示

圖9 文檔搜索Fig. 9 Document search

3.3 文檔推薦

系統(tǒng)是根據(jù)用戶的興趣進行測試，即系統(tǒng)收集用戶的搜索關(guān)鍵詞，然后根據(jù)關(guān)鍵詞出現(xiàn)的頻率來進行文檔的推薦，這樣的測試的時候只需要不斷的更新用戶的關(guān)鍵詞頻率即可，例如可以不斷地搜索某一個關(guān)鍵詞，使改用的這個關(guān)鍵詞的頻率升高，然后去查看系統(tǒng)為該用戶的推薦結(jié)果。效果圖如圖10所示。

圖10 文檔推薦Fig. 10 Document recommendation

4 結(jié)語

通過搭建基于Hadoop的分布式文件系統(tǒng)，配合Lucene的全文檢索以及基于Mahout數(shù)據(jù)挖掘的智能推薦，完成基于云存儲的網(wǎng)絡(luò)文檔共享系統(tǒng)的設(shè)計與開發(fā)。經(jīng)測試，系統(tǒng)提高了用戶的文檔管理效率，使用戶可以方便、高效且智能地獲取文檔。

[1]Tom White. Hadoop權(quán)威指南[M]. 北京：清華大學(xué)出版社，2011：42-117. Tom White. Hadoop Authority Guide[M]. Beijing：Tsinghua University Press，2011：42-117.

[2]陸嘉恒. Hadoop實戰(zhàn)[M]. 2版. 北京：機械工業(yè)出版社，2012：162-186. Chen Jiaheng. Hadoop Practice[M]. 2nd ed. Beijing：China Machine Press，2012：162-186.

[3]董西成. Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計與實現(xiàn)原理[M]. 北京：機械工業(yè)出版社，2013：76-120. Dong Xicheng. Hadoop Technologies：In-Depth Analysis of MapReduce Architecture Design and Implement Principle [M]. Beijing：China Machine Press，2013：76-120.

[4]吳岳忠，周訓(xùn)志. 面向Hadoop的云計算核心技術(shù)分析[J]. 湖南工業(yè)大學(xué)學(xué)報，2013，27(1)：77-80. Wu Yuezhong，Zhou Xunzhi. The Core Technology of Hadoop-Oriented Cloud Computing[J]. Journal of Hunan University of Technology，2013，27(1)：77-80.

[5]吳岳忠，劉 琴，李長云，等. 基于云存儲的網(wǎng)絡(luò)文檔共享研究[J]. 小型微型計算機系統(tǒng)，2015，36(1)：95-99. Wu Yuezhong，Liu Qin，Li Changyun，et al. Research on Cloud Storage Based Network Document Sharing[J]. Journal of Chinese Computer Systems，2015，36(1)：95-99.

[6]成 龍. Lucene搜索引擎開發(fā)進階實戰(zhàn)[M]. 北京：機械工業(yè)出版社，2015：45-132. Cheng Long. Lucene Search Engine Development and Advanced Practice[M]. Beijing：China Machine Press，2015：45-132.

[7]樊 哲，Dmitry Babenko. Mahout算法解析與案例實戰(zhàn)[M]. 北京：機械工業(yè)出版社，2014：56-100. Fan Zhe，Dmitry Babenko. Mahout Algorithm Analysis and Cases Practice[M]. Beijing：China Machine Press，2014：56-100.

[8]邁納，舒克. MapReduce設(shè)計模式[M]. 北京：人民郵電出版社，2014：82-125. Miner Donald，Shook Adam. MapReduce Design Patterns [M]. Beijing：Post & Telecom Press，2014：82-125.

[9]楊 波，劉 淵，冷文浩. 基于Struts+Hibernate+Spring架構(gòu)的船舶數(shù)字化平臺的設(shè)計與實現(xiàn)[J]. 計算機應(yīng)用與軟件，2008，25(2)：178-180. Yang Bo，Liu Yuan，Leng Wenhao. Ship Digitized Platform Based On Architecture of Struts & Hibernate & Spring[J]. Computer Applications and Software，2008，25(2)：178-180.

[10]Sierra K， Bates B. 深入淺出Java [M]. 2版. 南京：東南大學(xué)出版社，2005：50-130. Sierra K，Bates B. Explaining Java[M]. 2nd ed. Nanjing：Southeast University Press，2005：50-130.

[11]李 剛. 輕量級JavaEE企業(yè)應(yīng)用Struts2+Spring+Hibernate整合開發(fā)[M]. 北京：電子工業(yè)出版社，2008：210-400. Li Gang. Lightweight JavaEE Enterprise Application：Struts 2 & Spring & Hibernate Integration Development [M]. Beijing：Publishing House of Electronics Industry，2008：210-400.

[12]Eckel Bruce . Java編程思想[M]. 4版. 北京：機械工業(yè)出版社，2007：103-215. Eckel Bruce . Java Programming Thinking[M]. 4th ed. Beijing：China Machine Press，2007：103-215.

（責(zé)任編輯：申 劍）

Network Document Sharing System Based on Cloud Storage

Du Honggang，Wu Yuezhong
（School of Computer and Communication，Hunan University of Technology，Zhuzhou Hunan 412007，China）

In view of the difficult problem of massive document acquisition, the network document sharing system based on cloud storage is designed and developed. The system uses Hadoop，Lucene and Mahout to achieve the document storage, full-text search and recommendation. The test shows that the network file sharing system can be used to obtain the documents more quickly and efficiently.

cloud storage；document sharing；full-text retrieval；recommendation

TP338.8

A

1673-9833(2015)05-0072-05

10.3969/j.issn.1673-9833.2015.05.015

2015-08-15

國家自然科學(xué)青年科學(xué)基金資助項目（61502163），湖南省教育廳科研基金資助項目（14C0323），湖南工業(yè)大學(xué)科研基金資助項目（2014HZX16, KFK1402）

杜紅剛（1994-），男，安徽宿州人，湖南工業(yè)大學(xué)學(xué)生，主要研究方向為云計算，Web技術(shù)，E-mail：970255897@qq.com

吳岳忠（1981-），男，江蘇江陰人，湖南工業(yè)大學(xué)講師，碩士，主要研究方向為云計算，推薦系統(tǒng)和大數(shù)據(jù)，E-mail：5174979@qq.com