劉瀏+王東波+黃水清

摘 要：人工智能是近年來異?；馃岬脑掝}，其對世界的影響和改變已經隨處可見，這其中機器學習尤其是深度學習發(fā)揮著至關重要的作用。文章梳理了人工智能的發(fā)展脈絡，闡述了機器學習在人工智能中所處的地位，對機器學習中重要和常見的模型和算法進行了簡要介紹，其中包括近年最為重要的深度學習。人工智能的熱潮對于圖書情報來說是一個極佳的發(fā)展契機，文章也從多個角度分析了機器學習對圖書情報學科產生的影響，展望了兩者充分結合的發(fā)展前景和未來趨勢，并以古文信息處理為例進一步闡述了機器學習方法在圖書情報學研究中發(fā)揮的作用。

關鍵詞：人工智能；機器學習；深度學習；圖書館學；情報學；古文信息處理

中圖分類號：TP18；G250 文獻標識碼：A DOI：10.11968/tsyqb.1003-6938.2017118

Abstract Artificial Intelligence is one of the most popular topics lately and it has been changing the way of our life. Machine learning is playing the most important role in all these effects. This study introduced the development of AI along with machine learning， deep learning and most of their models and methods. It is truly a great chance for LIS to catch up with such a wave of AI. The promising future of LIS topics with machine learning methods is widely analyzed and the ancient Chinese information processing is discussed as an example at last.

Key words artificial intelligence； machine learning； deep learning； science of library； science of information； information processing of Ancient Chinese

1 引言

近年來，深度學習獲得了革命式的發(fā)展，在圖像視頻處理、語音識別、自然語言處理等領域的諸多研究問題中均取得了突破和成功[1]。這些發(fā)展對人類的生產生活產生了深遠的影響，小到不易察覺的語音助手（如蘋果的Siri、微軟的Cortana等），大到萬眾矚目的AlphaGo，人工智能這一專業(yè)性極強的研究課題成為人們茶余飯后的時髦話題，整個社會都在熱切展望這次人工智能的“第三次浪潮”。以機器學習為主的人工智能的迅猛發(fā)展對圖書情報領域的影響也是深刻的，尤其是大數據時代下，文獻、信息、數據呈爆發(fā)式增長，這使得傳統的以個案、抽樣為主的研究方法越來越難于獲得可靠的結論，而機器學習方法憑借其在處理海量數據方面的先天優(yōu)勢以及不斷提高的性能和效果，可以在圖書情報學的未來發(fā)展中發(fā)揮重要作用。

2 人工智能的發(fā)展歷程

簡單地說，人工智能（Artificial Intelligence，AI）的目標就是制造出智能體（Intelligent Entities或Intelligent Agents），智能體能夠感知周圍環(huán)境，并做出能夠使其目標的成功率最大的行動[2]。

2.1 誕生前的發(fā)展

人類對于制造出智能機器人的想法早已有之，但人工智能作為一個正式的學科卻十分年輕，最早的相關研究始于1943年，如McCulloch和Pitts[3]對于神經元網絡的邏輯計算能力的研究，被公認為現代人工智能領域最早的經典研究。這一時期人工智能研究的桂冠屬于阿蘭·圖靈，其發(fā)表的《計算機器與智能》[4]一文堪稱杰作，其中最著名的就是“圖靈測試”。圖靈測試為人工智能帶來的突破在于，研究者可以暫時不再深究人類的智能是什么，直接從行為主義的角度探索智能的機器，看哪些機器表現得像是具備智能。這在人工智能領域掀起一波浪潮，通過圖靈測試成為人工智能研究者的目標。其后也有大量研究提出對其的批判或改進，其中最著名的要數塞爾的“中文屋”假設[5]，但是圖靈測試的影響力至今仍未衰減。

2.2 早期發(fā)展的樂觀

一般認為，1956年在達特茅斯學院舉辦的人工智能研討會標志的人工智能的誕生，這是“人工智能（Artificial Intelligence）”一詞第一次在正式場合被使用。在該會議上Newell和Simon提出的一個推理程序——邏輯理論家（Logic Theorist，LT）得到了最多的關注，該程序已經具備了推理能力，并在其后證明了羅素和懷特海的《數學原理》第二章中的38個定理（共52個）[6-7]。達特茅斯會議的重要性在于宣告人工智能成為了獨立的學科。

人工智能前二十年的發(fā)展十分火熱，其中最為常見的就是推理問題，如Newell等在LT基礎上設計的通用問題解決程序[8]；Gelernter設計的幾何定理證明程序[9]，其他類似的還有如問題回答和計劃系統[10]，基于分解法則的一階邏輯定理證明算法[11]等，著名的跳棋程序[12]也是在這樣的背景下提出的。達特茅斯會議的發(fā)起者McCarthy在這一時期對人工智能的發(fā)展做出了突出的貢獻，首先他提出的Lisp編程語言和分時操作對計算機發(fā)展產生了深遠的影響。此外，他還設計了一個叫意見采納者的程序[13]，具備獲取知識的能力。與此同時，由Minsky帶領的一批學者致力于研究在“微世界”中的人工智能，其中最有影響力的要數“積木世界（blocks world）”，視覺問題[14]、學習問題[15]、自然語言理解[16]等一系列與該世界相關的問題得到關注。在同一時期，Rosenblatt對感知器相關的一系列研究[17，1]，也將神經網絡研究推向新的高度。endprint

2.3 中期發(fā)展的徘徊

早期人工智能的大量成功嘗試給學界帶來了一股樂觀的氣氛，然而“美好”的愿景沒有如期而至。對困難的預計不足，使得人們對人工智能的發(fā)展瓶頸缺乏準備，以至于在諸多等問題上遲遲難以突破，在耗盡了政府的耐心和研究資金后，人工智能于1970年代初期墮入寒冬（AI winter）之中[2]。到了1970年代后半期，人工智能專家將目光轉向了領域知識（domain knowledge）問題，如記憶的組織[19]、計劃的理解等[20]。這一始于化學中分子結構判定問題[21]的研究模式，在自然語言理解上也得到了成功的應用[22]。

在1980年代初，專家系統[23]在商業(yè)上的成功，使得人工智能獲得了新生。日本在同一時期建造“第五代計算機”的計劃，刺激了美英等國對人工智能新的投入，短時間內人工智能又一次呈現出繁榮的景象。在神經網絡方面，反向傳播算法重新得到嘗試，獲得了廣泛的關注[24]，隨之興起的聯結主義（connectionist）方法開始經典的符號主義和邏輯主義方法分庭抗禮[25]。然而，產業(yè)上過高的期望并沒有帶來相應的成果，人工智能迅速又陷入低潮。

2.4 機器學習的新熱潮

到了1990年代以后，隨著計算機性能的不斷提高，人工智能又迎來了一次深刻的轉變，有數學依據的統計模型、大規(guī)模的訓練語料、可重復的測試語料，這種在語音識別和機器翻譯等領域的頗受歡迎的研究模式，這種融合了統計學、數學、信息論等各種領域知識的機器學習方法，逐漸成為主流，這使得人工智能真正成為一門嚴謹的、可靠的科學[2]。隨著隱馬爾可夫模型、神經網絡、貝葉斯網絡等各種模型方法的不斷引入，機器學習方法的發(fā)展越發(fā)迅猛，尤其在模式識別、自然語言處理、數據挖掘等領域，更是成為中流砥柱。如今，以神經網絡模型為基礎的深度學習方法，正在引領新一輪的人工智能熱潮，無數以機器學習為基礎的應用和產品正在以顯著或悄然的方式改變著人類的生活，改變著全世界。

近年來話題度最高的人工智能應用非AlphaGo莫屬，這個“圍棋機器人”在接連戰(zhàn)勝了李世石、柯潔等世界圍棋冠軍后，使得人工智能的話題傳遍大街小巷。實際上，AlphaGo就是一個機器學習的應用，其采用了最新的深度學習模型，從數以萬計的圍棋訓練數據中“學習”了如何下圍棋。類似的機器學習應用還有很多，如蘋果、微軟、谷歌等公司開發(fā)的各類語音助手，得益于近年來興起的LSTM-RNN模型，谷歌的語音搜索、訊飛輸入法等語音輸入工具也是基于同樣的技術完成的。另一個應用就是人臉識別技術，這其中卷積神經網絡模型扮演了最重要的角色，使得機器能夠學習到人臉的特征，從而對不同的人臉進行判別。除此之外，自動翻譯工具如谷歌翻譯等，也得益于機器學習在機器翻譯中取得的長足進展。

機器學習正在而且將持續(xù)地改變人類對世界的認識，對于不論什么領域的研究者來說，了解、理解甚至跟隨這樣的發(fā)展趨勢，對于研究者的成長，對于學科的發(fā)展，都是有利的。圖書情報學這個與信息科學、計算機科學密切相關的學科，也理應積極迎接這樣的發(fā)展潮流。用最新的機器學習的技術拓展自身的研究視野和研究跨度，將為學科帶來值得期待的新發(fā)展。

3 機器學習概覽

機器學習（統計學習、統計機器學習）是人工智能的一個重要分支，這種方法主要是一個根據已有數據建立數學模型，并根據模型對新的數據進行預測的過程[26]。而所謂的學習，就是計算機從數據中產生模型的過程[27]。隨著機器學習的深入發(fā)展，訓練集、模型和測試集三者構成了一種較為固定的研究范式，相關研究或是構建特征豐富的大規(guī)模訓練集、測試集以提高已有模型效果或供以比較不同的模型，或者是調整或改進已有模型以期在原有訓練集和測試集上獲得更好的效果，而不同研究的效果一般通過正確率、召回率和調和平均值（F值）來比較。這種研究范式的優(yōu)勢在于，可以比較清晰直觀地比較出各種模型之間的優(yōu)劣，而這也使得研究者不斷致力于提高模型的性能，使其在特定測試集上獲得越來越好的效果。由于這種優(yōu)勢，機器學習不斷保持著迅猛發(fā)展的態(tài)勢，且隨著計算機性能的不斷提高，數據集不斷變大，機器學習的效果也越來越好。尤其是以神經網絡模型為基礎的深度學習，在近年來獲得了突破性的成功，使得機器學習成為人工智能中最炙手可熱的研究領域。

3.1 監(jiān)督學習和無監(jiān)督學習

機器學習根據不同的任務需求可以大致分為兩大類：監(jiān)督學習和無監(jiān)督學習。（1）在監(jiān)督學習中，會先對訓練集（輸入集）進行一定程度的標注得到相應的輸出集，所謂標注就是指人工構建一個機器學習的“標準答案”，此時計算機從輸入集和輸出集之間的關系中學習得到相應的模型，之后就可以根據模型來對新出現的類似問題進行預測。根據輸出集中數據的離散或連續(xù)的特點，監(jiān)督學習還可以細分為分類和回歸兩種；（2）對于無監(jiān)督學習來說，訓練集沒有經過任何標注，計算機要自動地從數據中挖掘出所需要的結果。與監(jiān)督學習中的分類相對應的就是無監(jiān)督學習中的聚類，兩者之間的區(qū)別在于分類任務在計算機學習之前已有預先定義好的類別，而聚類任務沒有預先定義的類別，需要根據數據的特點自行決定類別和類別數量，并進行相應的分類。

3.2 樸素貝葉斯分類器

樸素貝葉斯分類器（Naive Bayes classifier）是機器學習中最經典、最簡單的統計分類模型[28]。該模型以貝葉斯公式為基礎，根據某類別條件下每個特征的條件概率和每個類別的先驗概率，來求得某些特征條件下每個類別的條件概率，條件概率最大的類別就是模型所得的類別，以此來完成分類的任務。樸素貝葉斯的“樸素”之處在于，其假定不同特征之間相互獨立，這也使得該模型特別適用于文本分類這樣的問題[29]。

3.3 決策樹

決策樹模型是一種用樹形結構構造的分類模型。一個決策樹由結點和有向邊構成，分類時在決策樹上的每一個內部結點上進行判斷，判斷的結果得到一個子結點，直到到達一個葉子節(jié)點，完成分類的任務[30-31]。決策樹處理分類問題時，如果預測的結果都是離散的，此時也可以稱為分類樹，而當預測的結果是連續(xù)的，決策樹又可以化作回歸樹，而與之對應的分類與回歸樹模型[32]是應用最為廣泛的決策樹模型。endprint

3.4 最大熵模型

最大熵模型是自然語言處理中最常見的模型之一，常用來處理序列化標注的問題[33]。該模型以最大熵原理為基礎，認為滿足一定約束條件的前提下，熵最大的模型是最好的模型。最大熵原理最早由Jaynes于1957年提出[34-35]，其要求模型先滿足一定的約束條件，這些約束條件與特征密切相關。特征一般用特征函數的方式來表示，而特征函數的定義可以根據問題的需求自由地增加或者減少，這也是最大熵模型的一大優(yōu)勢。最大熵模型的學習過程，是根據訓練語料對模型進行極大似然估計。最常見的優(yōu)化算法有GIS算法[36]、改進的迭代尺度法[37]和擬牛頓法中的L-BFGS方法[38]等。最大熵模型在詞性標注[39]、命名實體識別[40]、信息抽取[41]等問題上均有著較好的表現。

3.5 隱馬爾可夫模型

隱馬爾可夫模型是一種最經典的統計模型[42-44]。在自然語言處理中，隱馬爾可夫模型一般用于標注問題，尤其在詞性標注[45]、命名實體識別[46]、信息抽取[47]等問題上。隱馬爾可夫模型是一個關于“雙層的隨機過程”的模型，其中一個隨機過程無法直接觀測得到（所謂的隱藏，Hidden），只能通過另一個可觀測到的隨機過程來間接獲得。隱馬爾可夫模型有兩個重要的假設[48]：齊次馬爾可夫假設和觀測獨立性假設。隱馬爾可夫模型一般用于解決三種問題，其中解碼問題最常被用于自然語言處理中的自動標注，該問題一般轉化為一種求解最優(yōu)序列的問題，一般使用維特比算法[49]來求解，可以極大地提高求解的效率。

3.6 條件隨機場

條件隨機場是一種條件概率模型，根據一組輸入隨機變量對相應的輸出隨機變量進行預測。條件隨機場模型常用在序列化標注問題中，此時一般采用線性鏈形式的條件隨機場[50]，將輸出序列表示一個馬爾可夫隨機場（概率無向圖），并將問題轉換成由輸入序列預測輸出序列的問題。用線性條件隨機場模型來描述序列化標注問題，與隱馬爾可夫模型存在相似之處，其不同在于，隱馬爾可夫模型中每個標記（狀態(tài)）只與其前一個標記（狀態(tài)）有關，而線性鏈條件隨機場中每個標記與其前后一個標記都有關，后者顯然比前者能夠表示更為豐富的關系。條件隨機場一般也使用維特比算法來求解。條件隨機場憑借其較強的學習能力，在詞性標注[51]、命名實體識別[52-53]、關系識別[54]、淺層分析[55]等眾多自然語言處理問題中均表現出色，是一個用途廣泛且性能優(yōu)化的機器學習模型。

3.7 支持向量機

支持向量機是一種二類分類模型[56]，是文本分類研究中，最常用的一種機器學習模型。其在文本向量空間中構造一個超平面，將不同類別的文本向量分割開來，以實現分類的效果。對于線性可分的文本空間來說，支持向量機通過間隔最優(yōu)化的方法求解得到唯一的超平面[57]；而當線性不可分時，一般有兩種策略：對于近似線性可分的文本空間，可以采用軟間隔最大化方法[58]；對于線性不可分的文本空間而言，可以引入核方法[59]。支持向量機的求解可以看作一種凸二次規(guī)劃的問題，一般采用序列最小優(yōu)化這種啟發(fā)式的算法來快速求解[60]。支持向量機是一種非常有效的分類方法，由于其面對線性可分和線性不可分問題時靈活變化的能力，使得其在文本分類研究中廣受青睞[61-64]，而Chang和Lin構建的開源工具包——LIBSVM[65]更是促進了該方法的傳播，使之成為機器學習中最常用的分類模型之一。

3.8 聚類方法

聚類是無監(jiān)督學習中最主要的一種研究方法[66-67]，在機器學習中常被用在模式識別、圖像分析、信息抽取等領域。其思想是將數據集中有相同特征的個體聚合成類。聚類并不是一種特定的模型或算法，而是一組具有共同目標和思路的算法的統稱，一般可以將聚類分為原型聚類、密度聚類和層次聚類三種[27]。常見的原型聚類方法有k均值、學習向量量化、高斯混合聚類[68]；密度聚類方法有DBSCAN[69]和OPTICS[70]等；層次聚類的方法有AGNES算法和DIANA算法[71]。

4 深度學習的革新

深度學習（deep learning）是近年來最成功和最受關注的機器學習方法[1]，其核心思路是使用多層的神經網絡來表征數據，這樣做的優(yōu)勢在于訓練數據無需進行人工標注，而是直接通過表征學習的方式自動獲取數據中的特征，因此深度學習可以靈活地用于監(jiān)督學習、半監(jiān)督學習和無監(jiān)督學習問題中[72-73]。深度學習并不是一個特定的模型或算法，而是一系列具有共同特點的機器學習方法的統稱，這種特點總得來說就是“深度”，這具體包括使用多層非線性處理單元表征數據，進行監(jiān)督或無監(jiān)督學習，多層的表征對應了不同的抽象層次，使用反向傳播算法進行訓練的優(yōu)化[74]。

深度學習的思想始終伴隨著人工智能的發(fā)展，在神經網絡模型提出伊始，就已有相應的機器學習的嘗試[75-76]。而到了20世紀80年代，當時正值人工智能第二次興起，反向傳播算法重新發(fā)揮活力，聯結主義高歌猛進，神經網絡模型又重新得到關注[77]。然而受制于當時計算機的性能，神經網絡的訓練時間過長，無法投入實際使用當中[78]，也并未獲得太多關注，而隨著人工智能冬天的來臨，深度學習也隨之陷入沉寂。到了20世紀90年代以后，人工智能又一次興起，神經網絡模型又一次被重新審視，而在早期的嘗試中，以訓練速度過慢為主的一系列問題仍然很難解決[79-80]，雖然仍有研究者在該方法上堅持探索[81]，但與同時期的SVM、HMM等方法相比，深度學習（神經網絡）方法不論在速度上還是在效果上都要遜色不少。

然而隨著計算機性能不斷提高，大規(guī)模數據越來越普遍，一場屬于深度學習（神經網絡）的“文藝復興”席卷而來。所謂的“深度學習革命”，源自Hinton等人于2006年提出的深度置信網絡（Deep Belief Nets，DBN）的高效訓練方法[82]，該方法表明深度學習在訓練時間效率上已經不遜色于其他機器學習方法。隨著研究的深入，深度學習逐漸嶄露頭角，尤其是在語音識別和圖像識別領域，深度學習方法迅速地實現了追趕、反超到統治的過程。（1）在語音識別方面，深度神經網絡在Hinton和Deng的合作下不斷取得突破[83-84]，并解決了深度學習中梯度消失困難的長短時記憶網絡（Long Short-Term Memory，LSTM）[85]，更是刮起了一陣旋風，使得LSTM-RNN方法在語音識別中占據了統治地位[86-87]，如蘋果的SIRI、谷歌的Now、微軟的Cortana、亞馬遜的Alexa等語音助手無一不是基于LSTM-RNN方法實現的[88]；（2）而在圖像識別方面，則是卷積深度神經網絡[89]（Convolutional deep neural networks，CNNs）在大放光彩，相關方法在短時間內（2011-2012）的數個圖像識別評測會議上拔得頭籌，并不斷獲得更好的效果[90-91]，將深度學習熱潮繼續(xù)向前推進，如今在OCR、人臉識別等應用中，CNN都是首選方法。近年家喻戶曉的AlphaGo[92]，更是將人工智能和深度學習推向了一個高潮。endprint

深度學習的另一項研究熱點在自然語言處理，其中最為重要的就是詞向量[93]（word embedding）概念的提出，以及word2vec對該概念的模型實現[94-95]。這種將文本中的詞語分布式地表示在向量空間中的方法，可以直接將表征結果作為輸入層用于RNN等深度神經網絡中[96]，從而避免了傳統方法過多地通過句法、語義等語言學知識來選擇特征的過程。目前在句法成分分析[97]、情感分析[98]、關系抽取[99]、機器翻譯[100]等領域，深度學習均發(fā)揮出不錯的效果，其中著名的谷歌機器翻譯使用了LSTM網絡[101]。而在自然語言處理的傳統領域如詞性標注、命名實體識別、語義角色分析等問題上，深度學習方法也有著不俗的表現[102]。

5 機器學習在圖書情報領域的應用前景

深度學習的熱潮還在持續(xù)，對于圖書情報學來說，抓住這樣的時機，緊跟時代的步伐對于學科的發(fā)展將大有裨益。將傳統的信息服務和信息處理手段與新興的深度學習技術有效結合，將為學科帶來許多值得期待的新思路、新理念。如文本信息的自動化、數字化服務，智能的專家知識問答系統，以文本、語音、圖像為對象的情報自動采集和加工技術，基于大數據的人工智能決策系統，以語義內容分析為基礎的科研成果評價等。深度學習正給世界帶來深刻變革，圖書情報學科有充分的理由在這場變革中迎來發(fā)展的機遇。以下試舉幾個實例，說明機器學習未來在圖書情報領域的可能應用。

5.1 智能問答系統在圖書館中的應用

在圖書館由“館藏為中心”向“讀者為中心”轉移的過程中，智能問答系統可以發(fā)揮更加重要和關鍵的作用。智能問答系統的前身是基于關鍵詞搜索的FAQ，所能回答的是簡單事實型問題。人工智能時代的問答系統在提問形式、回答問題的深度方面有了長足的進步。隨著機器學習技術的深入應用，智能問答系統在詞庫與知識更新速度、所使用的實體知識的類型等方面有了更大的提高。新的智能問答系統將對提高圖書館數字參考咨詢的智能化和深度語義知識化起到更加促進的作用。首先，基于自然語言處理中的淺層句法分析和深層句法分析技術，圖書館智能問答系統可利用序列化的深度學習模型對提問進行精準的分類和多層面的子句拆分；其次，通過充分利用深度學習模型在海量結構化、半結構化和非結構化數據中自動構建特征并進行知識挖掘的特征，結合圖書館的館藏和業(yè)務方面的數據，在一定量的人工干預下，可以構建深層備選答案的數據集，并對該數據集進行相關的分類；最后，未來圖書館智能問答系統的突出特征是支持并行計算，尤其是調用相應的自然語言處理模型面對海量答案的自動匹配過程中，并行計算不僅能確保答案查詢的準確性而且能確保答案查詢的全面性。深度學習技術支持下的圖書館智能問答系統，將成為與圖書館館員一樣的“百事通”，很大程度上代替圖書館館員面向讀者開展服務，且態(tài)度和藹，百問不厭。

5.2 機器學習在文本信息處理中的應用

機器學習特別是深度學習技術，應用于各類文本的深入加工和處理，并籍此得到各個角度、多個層面的知識，將成為圖書情報學未來研究的重要內容之一。首先，基于領域化的文本數據，構建領域化的詞匯、術語和實體資源，結合隱馬爾可夫模型、最大熵模型、條件隨機場、支持向量機和深度學習的各種模型，實現對文本內容的分詞、詞性標記、實體識別、實體關系挖掘，進行完成對文本知識的組織；其次，通過淺層句法關系、深層次句法關系、語義自動分析、篇章結構的計算，從已經進行了知識組織的文本中挖掘出詞匯層面、實體層面、句子層面、段落層面和篇章層面的多個層面上的知識，作為構建知識庫和知識本體的基礎；最后，結合可視化和虛擬現實的技術，從歷史的角度，對處理后的文本知識進行時間序列層面上的呈現，從情景的角度，結合相應的地理和歷史場景，對文本中的相關事件進行適度的還原，從而讓文本知識真正活起來。圖書情報機構原本是以單冊文本作為收藏單元的，如此處理后則能以細顆粒度的方式向讀者或用戶呈現文本內容，及其內容所蘊含的知識以及知識與知識間的關聯。同時，用戶需求也可以利用上述機器學習方法采集獲取。機器學習方法將助力圖書情報機構進入基于文本內容和用戶需求的自動化知識服務時代。

5.3 機器學習在學術評價中的應用

基于機器學習的相關技術，可以改善非結構化學術文獻全文數據處理技術，從學術文獻的全文數據中挖掘出更多的特征知識，并把所挖掘出來的知識融入到學術評價當中。譬如，以前費時費力的引用行為分析便可通過全文挖掘方式獲得基礎數據。以機器學習為技術基礎的評價數據采集與加工方式將日益受到學術評價領域研究者的關注。

未來隨著大數據和機器學習方法的快速發(fā)展，充分發(fā)揮機器學習在自然語言處理、圖像自動識別與分析以及深度語義關聯與挖掘上的強大功能，可實現對學術論文題錄和全文的內容理解、評價分析，從而面向海量學術文獻模擬人類專家在理解文獻內容的基礎上實現由機器充任的同行評議，擺脫目前高度依賴學術文獻題錄信息和引文數據的單一評價模式，達到學術論文的評價真正基于學術論文內容進行的目標，提升學術評價的科學性、規(guī)范性和智能性。

5.4 機器學習在信息服務方面的應用

機器學習對于用戶的信息檢索、信息利用行為可以進行深入的挖掘。在圖書情報機構廣泛的讀者或用戶使用行為數據基礎上，機器學習大有作為。

首先，機器學習方法可以挖掘并分析用戶的信息需求，以“推”方式向用戶提供主動的、個性化的信息服務。未來的圖書館在充分發(fā)揮機器學習功效的基礎上，可以成為用戶手邊的個人信息助理，隨時隨地提供精準的主動信息服務。

其次，在確保隱私的前提下，機器學習完全有能力將用戶在圖書情報機構的信息行為與個人的日常生活行為進行關聯，并提煉、分析用戶需求，使用戶日常生活行為與圖書館的主動信息服務融為一體，將前述個人信息助理升級為個人生活助理。如生病時推薦醫(yī)院、醫(yī)生、藥品，出行時選擇并預訂交通工具，工程項目開展前推薦相關資料甚至形成基礎性文檔，等等。endprint

5.5 機器學習對圖書情報學人才培養(yǎng)的影響

在機器學習迅猛發(fā)展的大趨勢下，一個全面、立體、貫穿智能元素的圖書情報學教育體系，應當將培養(yǎng)精通機器學習技術的高端圖書情報人才作為重要目標，設立與機器學習理論和技術相關的一系列課程，將此作為圖書情報學教育和人才培養(yǎng)方面一個重要的主題，同時也是圖書情報學學科建設與發(fā)展的重要保障。

隨著大數據時代的推進，圖書情報機構面對的數據信息、數據資源將越來越復雜，其種類、層次呈多樣化和立體化，內容愈加異構化、非結構化，挖掘、利用的難度將越來越大，而機器學習大有用武之地，圖書情報機構對機器學習技術需求的程度將越來越高。掌握先進的機器學習技術的專業(yè)人才，將成為當前環(huán)境下引領學科與行業(yè)發(fā)展的生力軍，對于機器學習人才培養(yǎng)的看法和重視程度，也將影響圖書情報學學科未來的發(fā)展方向和趨勢。

6 機器學習視角下的古文信息處理

古籍是圖書情報機構的重要館藏資源，綜合性的大中型圖書館一般都設有古籍部，古漢語文獻的加工與處理是圖書情報機構的一項重要工作內容。計算機自動化加工處理古漢語文本，即古文信息處理，是最能體現機器學習應用價值的研究主題之一，也是圖書情報機構古籍工作未來的發(fā)展方向。古文信息處理就是以古代漢語文本為對象的信息處理，是文本信息處理中的組成部分，黃水清[103]將其定義為“借助信息技術手段對古代漢語文本的音、形、義進行處理和加工，并可在此基礎上實現對古代漢語文本的深度挖掘與知識發(fā)現。”在提倡弘揚中華文化的新時代，以古漢語文本形式呈現的中國典籍在既有的歷史價值之上又被賦予了民族文化復興的現實重任，圖書情報機構應該在民族文化復興中承擔應盡的義務，古籍業(yè)務工作迫切需要信息處理、文本挖掘、人文計算等多種有別于傳統視角的新思路，而機器學習仍將在其中扮演重要的角色。

6.1 機器學習對古籍檢索智能化的影響

機器學習在處理大規(guī)模文本語料時，具有速度快、精度高的先天優(yōu)勢，因此該方法將為以古籍文本為對象的全文檢索、知識檢索及智能問答系統帶來巨大發(fā)展助力。

古籍文本檢索系統在檢索詞選取、詞匯標注、同義詞控制、異文控制等方面工作量巨大。以代表了古籍文本手工檢索工具最高水準的哈佛燕京學社《漢學引得叢刊》（以下簡稱《引得》）為例，其64種、81冊《引得》涵蓋了由周遍型字詞引得、綜合性關鍵詞引得、書名（篇名）引得、圖譜引得、人物姓名與字號引得等多種類型引得組成的引得體系，對典籍文本進行了全面、立體、充分地揭示。然而《引得》的編纂耗費了巨大的人力和物力，僅僅編纂周期就跨越了近20多年的時間。而且，由于人工方法在面對大規(guī)模文本工程時極易出錯，其成果內容中難免存在瑕疵。機器學習方法的引入可以有效地解決這種人工編纂帶來的固有困難，同時將引得形式的資源與機器學習中的全文檢索、知識挖掘、智能問答技術相結合構造出一種高效的古籍智能檢索系統，能夠以內容全面、形式豐富的方式承載中華歷史文化資源。

以機器學習為技術核心的古籍智能檢索系統，將高效、精確、智能地為專業(yè)人員及普通讀者提供差異化、個性化的檢索結果。其檢索方式也是多樣的，可以是滿足專業(yè)需求的關鍵詞檢索、實體檢索、知識檢索等，也可以是以歷史知識普及為目的智能問答系統、可視化檢索系統、VR/AR體驗系統等。

6.2 機器學習應用于典籍知識庫的構建及推廣服務

機器學習方法可以幫助構建超大規(guī)模、細顆粒度的典籍知識庫，推動中華文化知識的回溯與傳承。具體地說，可以通過機器學習中的序列化標注模型，準確地從海量古代典籍中挖掘出人名、地名、時間、機構、多義項詞和句子中的異文等語義知識點，進而構建成為典籍知識庫。進一步，還可以將知識庫中的資源用具體的數字和文字結合圖片、視頻、VR/AR等多維形式呈現給讀者，從歷史的角度闡述中華文化的“歷史淵源、發(fā)展脈絡、基本走向”。

隨著深度學習研究的推進，個性化推薦、智能語音問答、移動端自動推送等功能值得期待，這將使得典籍知識庫成為一個提供多維知識的智能資源庫。在機器學習的推動下，這些豐富的、有吸引力的、智能的典籍知識庫，將幫助圖書館在民族精神、傳統文化的“移動化、社交化、智能化”的網絡傳播、弘揚和傳續(xù)中起到關鍵性作用。

6.3 機器學習在辨別古籍真?zhèn)蔚妊芯恐械臐摿?/p>

機器學習中的文本分類模型，非常適用于解決古籍真?zhèn)伪鎰e、寫作年代判定、文體風格判斷等傳統古籍研究中經典難題。已有多項研究應用支持向量機等算法討論了紅樓夢前80回后40回的作者問題[104]，但更為經典的歷史文獻真?zhèn)巍⒛甏鷨栴}，具有更廣闊的應用空間。如《尚書》部分章節(jié)及某些新發(fā)現竹簡的真?zhèn)?，《左傳》成書時代，等等。機器學習在處理類似問題時，較之傳統方法有著巨大的優(yōu)勢。基于機器學習方法的文本分類器能夠更客觀、準確地把握文本中的文體風格特征，以此為基礎得出的古籍真?zhèn)巍r代等方面的推論將為歷史文獻的研究提供另辟蹊徑，往往會有意想不見的創(chuàng)新性結論。

7 結語

人工智能和機器學習的大發(fā)展還將持續(xù)，這其中帶來的重要的技術和方法對于圖書情報學界來說是一個十分難得的機遇。兩者之間有價值的結合點較多，每一個結合點都值得研究者深入探究和挖掘，而這樣的結合對于圖書情報學來說是有利的。如果能夠充分地、有效地借鑒和利用人工智能的新思路和新方法，圖書情報學可以獲得全方位的、值得期待的新發(fā)展。而在古文信息處理方面，機器學習方法有著巨大的價值和潛力，不論是面向專業(yè)領域的古籍檢索智能化，還是面向普及大眾的中華文化知識傳承，機器學習方法都能夠發(fā)揮重要作用。目前以深度學習為主的機器學習方法在古文信息處理中還較少見，但可以期待古文信息處理在機器學習的引領下，將有一個更加智能化的前景和未來。

參考文獻：

[1] Lecun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521（7553）：436-444.endprint

[2] Russell S J，Norvig P.Artificial Intelligence：A Modern Approach（3rd Edition）[M].New Jersey：Pearson Education，Inc.，2010.

[3] McCulloch W S，Pitts W.A logical calculus of the ideas immanent in nervous activity[J].The bulletin of mathematical biophysics，1943，5（4）：115-133.

[4] Turing A M.Computing machinery and intelligence[J].Mind，1950，59（236）：433-460.

[5] Searle J R.Minds，brains，and programs[J].Behavioral and brain sciences，1980，3（3）：417-424.

[6] Newell A，Simon H.The logic theory machine—A complex information processing system[J].IRE Transactions on information theory，1956，2（3）：61-79.

[7] Newell A，Shaw J C，Simon H A.Empirical explorations of the logic theory machine：a case study in heuristic[C].Papers presented at the February 26-28，1957，western joint computer conference：Techniques for reliability.ACM，1957：218-230.

[8] Newell A，Simon H A.GPS，a program that simulates human thought[R].RAND CORP SANTA MONICA CALIF，1961.

[9] Gelernter H.Realization of a geometry theorem proving machine[C].IFIP Congress，1959：273-281.

[10] Green C.Theorem proving by resolution as a basis for question-answering systems[J].Machine intelligence，1969（4）：183-205.

[11] Robinson J A.A machine-oriented logic based on the resolution principle[J].Journal of the ACM （JACM），1965，12（1）：23-41.

[12] Samuel A L.Some studies in machine learning using the game of checkers.II—recent progress[J].IBM Journal of research and development，1967，11（6）：601-617.

[13] McCarthy J.Programs with common sense[M].RLE and MIT Computation Center，1960.

[14] Huffman D.Impossible objects as nonsense sentences[J].Machine intelligence，1971（6）：295-324.

[15] Winston P H.Learning Structural Descriptions From Examples[M].Massachusetts Institute of Technology，1970.

[16] Winograd T.Understanding natural language[J].Cognitive psychology，1972，3（1）：1-191.

[17] Rosenblatt F.The perceptron：A probabilistic model for information storage and organization in the brain[J].Psychological review，1958，65（6）：386.

[18] Rosenblatt F.Principles of neurodynamics[M].Spartan Nooks，1962.

[19] Kolodner J L.Maintaining organization in a dynamic long-term memory[J].Cognitive science，1983，7（4）：243-280.

[20] Wilensky R.Planning and understanding：A computational approach to human reasoning[M].Addoson-Wesloy Pub.Co，1983.

[21] Buchanan B，Sutherland G，Feigenbaum E A.Heuristic DENDRAL：A program for generating explanatory hypotheses in organic chemistry[M].Stanford University，1968.endprint

[22] Wilensky R.Understanding Goal-Based Stories[M].DBLP，1978.

[23] McDermott J.R1：A rule-based configurer of computer systems[J].Artificial intelligence，1982，19（1）：39-88.

[24] Rumelhart D E，Hinton G E，McClelland J L.A general framework for parallel distributed processing[J].Parallel distributed processing：Explorations in the microstructure of cognition，1986（1）：45-76.

[25] Smolensky P.On the proper treatment of connectionism[J].Behavioral and brain sciences，1988，11（1）：1-23.

[26] 李航.統計學習方法[M].北京：清華大學出版社，2012.

[27] 周志華.機器學習[M].北京：清華大學出版社，2016.

[28] Ng A Y，Jordan M I.On discriminative vs.generative classifiers：A comparison of logistic regression and naive bayes[C].Advances in neural information processing systems，2002：841-848.

[29] McCallum，Andrew，Kamal Nigam.A comparison of event models for naive bayes text classification[C].Proc.AAAI-98 workshop on learning for text categorization，1998：41-48.

[30] Quinlan J R.Induction of decision trees[J].Machine learning，1986，1（1）：81-106.

[31] Rokach L，Maimon O.Data mining with decision trees：theory and applications[EB/OL].[2017-09-10].https：//eric.univlyon2.fr/～ricco/tanagra/fichiers/fr_Tanagra_DM_with_Decision_Trees.pdf.

[32] Breiman L，Friedman J，Stone C J，et al.Classification and regression trees[M].CRC press，1984.

[33] Berger A L，Pietra V J D，Pietra S A D.A maximum entropy approach to natural language processing[J].Computational linguistics，1996，22（1）：39-71.

[34] Jaynes E T.Information Theory and Statistical Mechanics[J].Physical Review，1957，106（4）：620-630.

[35] Jaynes E T.Information theory and statistical mechanics.II[J].Physical review，1957，108（2）：171.

[36] Darroch J N，Ratcliff D.Generalized iterative scaling for log-linear models[J].The annals of mathematical statistics，1972：1470-1480.

[37] Berger A.The improved iterative scaling algorithm：A gentle introduction[EB/OL].[2017-09-10].http：//luthuli.cs.uiuc.edu/～daf/courses/optimization/papers/berger-iis.pdf.

[38] Chen S F，Rosenfeld R.A Gaussian prior for smoothing maximum entropy models[M].School of Computer Science，Carnegie Mellon University，1999.

[39] Ratnaparkhi A.A maximum entropy model for part-of-speech tagging[C].Proceedings of the conference on empirical methods in natural language processing，1996（1）：133-142.

[40] Borthwick A，Grishman R.A maximum entropy approach to named entity recognition[D].New York University，Graduate School of Arts and Science，1999.endprint

[41] McCallum A，Freitag D，Pereira F C N.Maximum Entropy Markov Models for Information Extraction and Segmentation[C].Icml，2000：591-598.

[42] Baum L E，Petrie T.Statistical inference for probabilistic functions of finite state Markov chains[J].The annals of mathematical statistics，1966，37（6）：1554-1563.

[43] Baum L E，Petrie T，Soules G，et al.A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains[J].The annals of mathematical statistics，1970，41（1）：164-171.

[44] Baum L E.An Inequality and Associated Maximization Thechnique in Statistical Estimation for Probabilistic Functions of Markov Process[J].Inequalities，1972（3）：1-8.

[45] Cutting D，Kupiec J，Pedersen J，et al.A practical part-of-speech tagger[C].Proceedings of the third conference on Applied natural language processing.Association for Computational Linguistics，1992：133-140.

[46] Zhou G D，Su J.Named entity recognition using an HMM-based chunk tagger[C].proceedings of the 40th Annual Meeting on Association for Computational Linguistics.Association for Computational Linguistics，2002：473-480.

[47] Seymore K，McCallum A，Rosenfeld R.Learning hidden Markov model structure for information extraction[C].AAAI-99 workshop on machine learning for information extraction，1999：37-42.

[48] Rabiner L，Juang B.An introduction to hidden Markov models[J].ieee assp magazine，1986，3（1）：4-16.

[49] Forney G D.The viterbi algorithm[J].Proceedings of the IEEE，1973，61（3）：268-278.

[50] Lafferty J，McCallum A，Pereira F C N.Conditional random fields：Probabilistic models for segmenting and labeling sequence data[EB/OL].[2017-09-10].https：//repository.upenn.edu/cgi/viewcontent.cgi？article=1162&context=cis_papers.

[51] 洪銘材，張闊，唐杰，等.基于條件隨機場（CRFs）的中文詞性標注方法[J].計算機科學，2006，33（10）：148-151.

[52] McCallum A，Li W.Early results for named entity recognition with conditional random fields，feature induction and web-enhanced lexicons[C].Proceedings of the seventh conference on Natural language learning at HLT-NAACL 2003-Volume 4.Association for Computational Linguistics，2003：188-191.

[53] 周俊生，戴新宇，尹存燕，等.基于層疊條件隨機場模型的中文機構名自動識別[J].電子學報，2006，34（5）：804-809.

[54] Sutton C，McCallum A.An introduction to conditional random fields for relational learning[M].Introduction to statistical relational learning.MIT Press，2006.

[55] Sha F，Pereira F.Shallow parsing with conditional random fields[C].Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology-Volume 1.Association for Computational Linguistics，2003：134-141.endprint

[56] Cortes C，Vapnik V.Support-vector networks[J].Machine learning，1995，20（3）：273-297.

[57] Smola A J，Sch?lkopf B.A tutorial on support vector regression[J].Statistics and computing，2004，14（3）：199-222.

[58] Boser B E，Guyon I M，Vapnik V N.A training algorithm for optimal margin classifiers[C].Proceedings of the fifth annual workshop on Computational learning theory.ACM，1992：144-152.

[59] Sch?lkopf B，Smola A J.Learning with kernels：support vector machines，regularization，optimization，and beyond[M].MIT press，2002.

[60] Zeng Z Q，Yu H B，Xu H R，et al.Fast training Support Vector Machines using parallel sequential minimal optimization[C].Intelligent System and Knowledge Engineering，2008.ISKE 2008.3rd International Conference on.IEEE，2008：997-1001.

[61] Joachims T.Text categorization with support vector machines：Learning with many relevant features[J].Machine learning：ECML-98，1998：137-142.

[62] Joachims T.Transductive inference for text classification using support vector machines[EB/OL].[2017-09-10].http：//www1.cs.columbia.edu/～dplewis/candidacy/joachims99transductive.pdf.

[63] Tong S，Koller D.Support vector machine active learning with applications to text classification[J].Journal of machine learning research，2001，2（Nov）：45-66.

[64] Joachims T.Learning to classify text using support vector machines：Methods，theory and algorithms[M].Kluwer Academic Publishers，2002.

[65] Chang C C，Lin C J.LIBSVM：a library for support vector machines[J].ACM transactions on intelligent systems and technology （TIST），2011，2（3）：27.

[66] Jain A K，Dubes R C.Algorithms for clustering data[M].Prentice-Hall，Inc.，1988.

[67] Jain A K，Murty M N，Flynn P J.Data clustering：a review[J].ACM computing surveys （CSUR），1999，31（3）：264-323.

[68] Jain A K.Data clustering：50 years beyond K-means[J].Pattern recognition letters，2010，31（8）：651-666.

[69] Ester M，Kriegel H P，Sander J，et al.A density-based algorithm for discovering clusters in large spatial databases with noise[C].Kdd.1996：226-231.

[70] Ankerst M，Breunig M M，Kriegel H P，et al.OPTICS：ordering points to identify the clustering structure[C].ACM Sigmod record.ACM，1999：49-60.

[71] Kaufman L，Rousseeuw P J.Finding groups in data：an introduction to cluster analysis[M].John Wiley & Sons，2009.

[72] Bengio Y，Courville A，Vincent P.Representation learning：A review and new perspectives[J].IEEE transactions on pattern analysis and machine intelligence，2013，35（8）：1798-1828.endprint

[73] Schmidhuber J.Deep learning in neural networks：An overview[J].Neural networks，2015（61）：85-117.

[74] Deng L，Yu D.Deep learning：methods and applications[J].Foundations and Trends？ in Signal Processing，2014，7（3-4）：197-387.

[75] Ivakhnenko A G，Lapa V G.Cybernetic predicting devices[R].Purdue Univ Lafayette Ind School of Electrical Engineering，1966.

[76] Ivakhnenko A G.Polynomial theory of complex systems[J].IEEE transactions on Systems，Man，and Cybernetics，1971，1（4）：364-378.

[77] Fukushima K，Miyake S.Neocognitron：A self-organizing neural network model for a mechanism of visual pattern recognition[M].Competition and cooperation in neural nets.Springer，Berlin，Heidelberg，1982：267-285.

[78] LeCun Y，Boser B，Denker J S，et al.Backpropagation applied to handwritten zip code recognition[J].Neural computation，1989，1（4）：541-551.

[79] Hinton G E，Dayan P，Frey B J，et al.The"wake-sleep" algorithm for unsupervised neural networks[J].Science，1995，268（5214）：1158.

[80] Hochreiter S，Bengio Y，Frasconi P，et al.Gradient flow in recurrent nets：the difficulty of learning long-term dependencies[EB/OL].[2017-09-10].http：//www.bioinf.jku.at/publications/older/ch7.pdf.

[81] Waibel A，Hanazawa T，Hinton G，et al.Phoneme recognition using time-delay neural networks[M].Readings in speech recognition，1990：393-404.

[82] Hinton G E，Osindero S，Teh Y W.A fast learning algorithm for deep belief nets[J].Neural computation，2006，18（7）：1527-1554.

[83] Hinton G，Deng L，Yu D，et al.Deep neural networks for acoustic modeling in speech recognition：The shared views of four research groups[J].IEEE Signal Processing Magazine，2012，29（6）：82-97.

[84] Deng L，Hinton G，Kingsbury B.New types of deep neural network learning for speech recognition and related applications：An overview[C].Acoustics，Speech and Signal Processing （ICASSP），2013 IEEE International Conference on.IEEE，2013：8599-8603.

[85] Hochreiter S，Schmidhuber J.Long short-term memory[J].Neural computation，1997，9（8）：1735-1780.

[86] Graves A，Mohamed A，Hinton G.Speech recognition with deep recurrent neural networks[C].Acoustics，speech and signal processing （icassp），2013 ieee international conference on.IEEE，2013：6645-6649.

[87] Graves A，Jaitly N.Towards end-to-end speech recognition with recurrent neural networks[C].Proceedings of the 31st International Conference on Machine Learning （ICML-14），2014：1764-1772.

[88] Schmidhuber J.Our Impact on the World's 5 Most Valuable Public Companies （2017）[EB/OL].[2017-12-27].http：//people.idsia.ch/～juergen/impact-on-most-valuable-companies.html.endprint

[89] LeCun Y，Bottou L，Bengio Y，et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324.

[90] Ciregan D，Meier U，Schmidhuber J.Multi-column deep neural networks for image classification[C].Computer Vision and Pattern Recognition （CVPR），2012 IEEE Conference on.IEEE，2012：3642-3649.

[91] Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks[C].Advances in neural information processing systems，2012：1097-1105.

[92] Silver D，Huang A，Maddison C J，et al.Mastering the game of Go with deep neural networks and tree search[J].Nature，2016，529（7587）：484-489.

[93] Bengio Y，Ducharme R，Vincent P，et al.A neural probabilistic language model[J].Journal of machine learning research，2003，3（Feb）：1137-1155.

[94] Mikolov T，Chen K，Corrado G，et al.Efficient estimation of word representations in vector space[J].arXiv preprint arXiv，2013：1301.3781.

[95] Mikolov T，Sutskever I，Chen K，et al.Distributed representations of words and phrases and their compositionality[C].Advances in neural information processing systems，2013：3111-3119.

[96] Goldberg Y，Levy O.word2vec Explained：deriving Mikolov et al.'s negative-sampling word-embedding method[J].arXiv preprint arXiv，2014：1402.3722.

[97] Socher R，Bauer J，Manning C D.Parsing with compositional vector grammars[C].Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics （Volume 1：Long Papers），2013：455-465.

[98] Socher R，Perelygin A，Wu J，et al.Recursive deep models for semantic compositionality over a sentiment treebank[C].Proceedings of the 2013 conference on empirical methods in natural language processing，2013：1631-1642.

[99] Zeng D，Liu K，Lai S，et al.Relation Classification via Convolutional Deep Neural Network[C].COLING，2014：2335-2344.

[100] Sutskever I，Vinyals O，Le Q V.Sequence to sequence learning with neural networks[C]Advances in neural information processing systems，2014：3104-3112.

[101] Schuster M，Johnson M，Thorat N.Zero-shot translation with Googles multilingual neural machine translation system[J].Google Research Blog，2016.

[102] Collobert R，Weston J.A unified architecture for natural language processing：Deep neural networks with multitask learning[C].Proceedings of the 25th international conference on Machine learning.ACM，2008：160-167.

[103] 黃水清，王東波.古文信息處理研究的現狀及趨勢[J].圖書情報工作，2017，61（12）：43-49.

[104] 施建軍.基于支持向量機技術的《紅樓夢》作者研究[J].紅樓夢學刊，2011（5）：35-52.

作者簡介：劉瀏，男，南京大學信息管理學院博士生；王東波，男，南京農業(yè)大學信息科學技術學院副教授，碩士生導師；黃水清，男，南京農業(yè)大學信息科學技術學院教授，博士生導師。endprint