鄒佳倫 文漢云 王同喜

摘要：最近幾年大數(shù)據(jù)、人工智能的迅猛發(fā)展，對數(shù)據(jù)的采集、加工、挖掘也得到了長足的發(fā)展，信息的價值逐漸凸顯，智能推薦、語音識別等高價值的信息處理越來越多的改變生活。如何從互聯(lián)網(wǎng)上中文網(wǎng)頁內(nèi)容提取出有效的識別、提取出有價值的信息是當今信息研究的重要課程。中文分詞作為中文文本處理的重要組成部分，本文作者在對當前分詞的基本問題，以及主要分詞方法的優(yōu)缺點進行思考和分析的基礎(chǔ)上，重點分析了基于統(tǒng)計的分詞方法，分析了基于統(tǒng)計的分詞器的設(shè)計理念與算法思想。文中涉及中文分詞的難點分析，隱含馬爾科夫模型的處理，維特比路徑優(yōu)化算法。

關(guān)鍵詞：中文分詞；隱馬爾科夫模型；路徑優(yōu)化問題；維特比算法

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2019）04-0149-02

對于自然語言處理，詞是最小的有意義的組成部分。中文相對于英文在“詞”上有明顯的難度。拉丁文語系，詞與詞之間是有明顯的分隔符的存在，而這一點在中文是不存在的，中文詞之間沒有空格符，只能通過對于單個字符、句子、或語句段來劃分。但是中文文本的分析，必須轉(zhuǎn)換為一個個的最小語義單位“詞”才能進行。因此中文的分詞，不僅是中文自然語言處理中的重要環(huán)節(jié)，也是中文進行更高層次信息處理，如：語義，語句順序等的基礎(chǔ)。

1 中文分詞發(fā)展歷史和現(xiàn)狀

中文分詞早期方法，也是最簡單的方法就是查字典。這種方法最先由北京航空航天大學(xué)的梁南元教授提出。查字典的方法，就是建立一個字典，將句子從左向右掃描一次，將句子與詞典進行匹配，遇到字典里面包含的詞語就標識出來。遇到復(fù)合詞，找最長的匹配詞切割。這個方法簡單，可以在復(fù)雜度不高的前提下處理70%～80%的分詞問題。20世紀80年代，哈爾濱工業(yè)大學(xué)的王曉龍博士進一步將查字典的方法理論化，發(fā)展成為最少詞數(shù)的分詞理論。就是將一句話分成數(shù)量最少的詞串?；诓樽值涞姆椒ㄟ^于簡單，不適用于稍稍復(fù)雜的問題，有一個無法避免的問題，即切分遇到二義性詞就無能為力。

二十世紀九十年代之前，許多海內(nèi)外學(xué)者試圖用一些文法規(guī)則，來解決二義性問題，但最后都不是很成功。直到1990年前后，清華大學(xué)的郭靜博士用統(tǒng)計語言模型，成功地解決了分詞的二義性問題，成功將中文分詞的錯誤率降低了一個數(shù)量級。

基于詞典的中文分詞方法是該領(lǐng)域的主要研究方向，主要包括基于規(guī)則、統(tǒng)計、字標注三大類方法。早期主要使用基于規(guī)則的方法，即根據(jù)中文的特點建立一些處理規(guī)則，計算機按照這些處理規(guī)則處理文本使之歧義消除。二十一世紀以前，由于這種方法類似于語言學(xué)思維，基于規(guī)則的分詞方法非常流行，占據(jù)了中文分詞研究絕大部分。但后來發(fā)現(xiàn)基于規(guī)則的分詞方法效率低下，規(guī)則越來越龐大復(fù)雜，而且語言學(xué)家對詞語的定義并不完全相同，這種方法并不能如人所愿。于是基于統(tǒng)計的方法慢慢成為主流，其主要思想是使用某個數(shù)學(xué)模型作為工具，最常見的且比較成熟的有隱馬爾科夫模型、最大熵模型、條件隨機場模型等。自從基于統(tǒng)計的分詞方法提出來之后，切分速度和準確度都有了明顯提高，明顯優(yōu)于基于規(guī)則的分詞方法。2002年，第一屆SIGHAN研討會上，第一篇基于字標注分詞的文章發(fā)布，基于字標注分詞的模型的產(chǎn)品接二連三的出現(xiàn)，技術(shù)也越來越成熟，其中比較出名的有Low開發(fā)的系統(tǒng)，以及Nianwcn Xuc的系統(tǒng)，它們都有不錯的成果。

2 基于統(tǒng)計的中文分詞的基本原理

由于分詞滿足隱馬爾科夫數(shù)學(xué)模型，利用隱馬爾科夫模型計算出各種分詞后，句子出現(xiàn)的概率，再利用維特比算法求出最大值，最終找到最好的分詞方法。

3 基于統(tǒng)計的中文分詞的核心算法

3.1 基于隱含馬爾科夫模型的數(shù)學(xué)模型

隱含馬爾科夫模型是馬爾科夫鏈的一個擴展，任何時刻t的狀態(tài)St是不可見的，所以觀察者沒分通過觀察一個序列s1，s2…st來推測轉(zhuǎn)移概率等參數(shù)。但是隱含馬爾科夫模型每個時刻t都會輸出一個符號ot，ot是和st相關(guān)且只和st相關(guān)的獨立輸出假設(shè)。

第二步：針對每一步Ti，計算這一步中的每一個可能分詞的最佳路徑

Best（wi，Tn）=max（Best（wj，Tn-1）P（wi|wj））

其中Best（wi|Tn） 表示分詞wi在Tn時與之前所得到得分詞組成的聯(lián)合概率中最佳概，即當前階段所對應(yīng)字串最可能的分詞，對應(yīng)圖就是當前階段最可能的分詞所組成的最佳路徑。wj表示wi在最佳路徑上的前向詞，p（wi|wj）是轉(zhuǎn)移概率，到最后時刻Tm時我們得到最后結(jié)果，即完整最佳分詞的路徑，結(jié)合圖1，從T1進行到T6最后一步，就得到最后結(jié)果，最佳分詞路徑。

4 總結(jié)與展望

基于統(tǒng)計方法的中文分詞方法，經(jīng)過不斷的改進中文分詞的精度已經(jīng)達到95%以上，已大體解決了中文分詞的問題。但并不是說中文分詞已經(jīng)非常完美了。對于未登錄詞語的處理一直一個大問題，未登錄詞大致分為兩類：（1）新出現(xiàn)的通用名詞或?qū)I(yè)術(shù)語（2）專有名詞，如：人名、外國譯名、地名、機構(gòu)名等。第一種情況的未登錄詞理論上雖然可以預(yù)期，可通過人工添加詞表中，但是實際操作中并不容易做到。后一種情況難度更大，完全不能預(yù)測，無論詞庫字典如何龐大，都不能概括。松茂松等指出，未登錄詞對分詞精度的影響超過了歧義切分，可見未登錄詞在分詞系統(tǒng)中占有舉足輕重的地位。雖然孫茂松、吳立德、劉挺、鄒嘉彥等做了大量的工作，在一定程度上提高了未登錄詞的分詞效果，但效果仍然不很好。后期仍可以做大量的研究。

參考文獻：

[1] 孫茂松，鄒嘉彥.漢語自動化分詞研究評述[J].當代語言學(xué)，2001（1）：22-32.

[2] 魏曉宇.基于隱馬爾科夫模型的中文分詞研究[J].計算機教育，2007（1）：885-886.

[3] 董振東.漢語分詞研究漫談[J].語言文字應(yīng)用，1997（1）：107-112.

[4] 黃祥喜，書面漢語自動分詞的“生成一測試”方法[J].中文信息學(xué)報，1989（4）：42-49.

[5] 梁南元.書面漢語自動分詞系統(tǒng)—CDWS[J].中文信息學(xué)報，1987（2）：44-52.

[6] 劉開瑛.現(xiàn)代漢語自動分詞評測技術(shù)研究[J].語言文字應(yīng)用，1997（1）：101-106.

[7] 劉源，梁南元.漢語處理的基礎(chǔ)工程—現(xiàn)代漢語詞頻統(tǒng)計[J].中文信息學(xué)報，1986（1）：17-25.

[8] 于江生.隱Markov 模型及其在自然語言處理中的應(yīng)用[M].北京大學(xué)計算語言學(xué)研究所，1999.

[9] 陳桂林，王永成，等.一種改進的快速分詞算法[M].計算機研究與發(fā)展，2000 .

[10] 苗奪謙，衛(wèi)志華中文文本信息處理的原理與應(yīng)用[M].清華大學(xué)出版社，2000.

【通聯(lián)編輯：梁書】