提 要 60多年來中文信息處理研究取得了令人矚目的成就。但是，這一領(lǐng)域也面臨問題和挑戰(zhàn)。本文在對中文信息處理研究成就簡要歸納的基礎(chǔ)上，分析這一領(lǐng)域的技術(shù)現(xiàn)狀，直面存在的問題，并對未來發(fā)展的方向提出一些看法。希望本文指出的問題能夠引起中國國內(nèi)同行的關(guān)注，為未來的中文信息處理研究提供有益的參考。

關(guān)鍵詞 中文信息處理；自然語言處理；自然語言理解；計算語言學(xué)

Abstract In the past over 60 years， research on Chinese language processing has made great achievements. With the rapid development and popularization of the Internet and communication technology， Chinese language processing technology has attracted worldwide attention in recent years. This article summarizes the achievements of Chinese language processing and analyzes the present status of the technology in this field， particularly the problems that the field may face in term of development. The author argues that it is still difficult for artificial intelligence to “understand” rather than “process” naturally produced Chinese because of the following three reasons： （1） the current information processing technology is inadequate in processing grammatically complex Chinese sentences； （2） there are unsolved problems in machine learning technologies； and （3） our understanding of how human brain processes language is still very limited. This paper concludes that we need a better understanding of how the Chinese language is decoded in human brain and build a computational model that specifically targets at the Chinese language in order for artificial intelligence to understand naturally produced Chinese.

Key words Chinese language processing； natural language processing； natural language understanding； computational linguistics

一、引 言

自1956年人工智能（artificial intelligence，簡稱AI）概念被提出以來，自然語言理解（natural language understanding，簡稱NLU）就一直是這一領(lǐng)域研究的核心問題之一。盡管20世紀(jì)60年代提出的計算語言學(xué)（computational linguistics，簡稱CL）和80年代衍生的自然語言處理（natural language processing，簡稱NLP）概念分別從數(shù)學(xué)建模和語言工程角度各自詮釋了不同的外延，但NLU、CL和NLP這三個術(shù)語的實質(zhì)內(nèi)容和共同面對的科學(xué)問題并無本質(zhì)的差異，尤其從實際應(yīng)用的角度看，幾乎一樣。因此，在不引起混淆的情況下人們常以“人類語言技術(shù)”（human language technology，簡稱HLT）泛指這一語言學(xué)、計算機(jī)科學(xué)和人工智能等多學(xué)科交叉的研究領(lǐng)域（宗成慶 2013）。

中文信息處理（Chinese language processing，簡稱CLP）是指針對中國的語言文字開展相關(guān)研究的一個專屬領(lǐng)域，是自然語言處理的一個具體分支。廣義上講，“中文”是中國各民族使用的語言文字的總稱，在不引起誤解的情況下，“中文”與“漢語”指的是同一概念。隨著中國綜合國力的增強(qiáng)，以互聯(lián)網(wǎng)為紐帶的經(jīng)濟(jì)和信息全球化趨勢，尤其是中國“一帶一路”戰(zhàn)略的實施，向包括中文信息處理在內(nèi)的人類語言技術(shù)提出了前所未有的挑戰(zhàn)，巨大的技術(shù)市場吸引著全球科學(xué)家和企業(yè)家的目光（宗成慶等 2009）。

與其他語言的處理技術(shù)相比，中文信息處理處于怎樣的技術(shù)水平？近年來，中文信息處理從資源庫建設(shè)、理論建樹，到技術(shù)研發(fā)和人才隊伍培養(yǎng)，有哪些根本性的變化？在相關(guān)學(xué)科快速發(fā)展的新形勢下，中文信息處理研究又將何去何從？本文將在簡要歸納中文①信息處理研究所取得成就的基礎(chǔ)上，分析當(dāng)前的技術(shù)狀況，直面存在的問題，并對未來發(fā)展的方向提出看法。希望本文指出的問題能夠引起中國國內(nèi)同行的關(guān)注，為未來的中文信息處理研究提供有益的參考。

二、中文信息處理研究的進(jìn)展與現(xiàn)狀

從1949年新中國成立前后的語言文字改革算起，到20世紀(jì)70年代中期開始的漢字編碼和輸入法研究，再到今天網(wǎng)絡(luò)時代的全方位、大規(guī)模中文信息處理技術(shù)研究、開發(fā)和應(yīng)用，中文信息處理走過了60多年的曲折歷程。在半個多世紀(jì)的發(fā)展過程中幾代人付出了艱苦的努力，一系列國家標(biāo)準(zhǔn)、規(guī)范和理論模型及應(yīng)用系統(tǒng)應(yīng)運而生。概括起來，這些成果可以歸納為如下幾個方面（宗成慶、高慶獅 2008；宗成慶等 2009）：

（1）漢字簡化與規(guī)范化工作基本完成，漢語拼音方案被國際標(biāo)準(zhǔn)化組織（ISO）接納，漢語拼音正詞法規(guī)則已成為國家標(biāo)準(zhǔn)。

（2）漢字編碼、輸入/輸出、編輯、排版等相關(guān)技術(shù)已經(jīng)解決，亞偉中文速錄機(jī)和漢字激光照排、印刷系統(tǒng)已被大規(guī)模產(chǎn)業(yè)化應(yīng)用。

（3）面向信息處理的漢語分詞規(guī)范已經(jīng)制定，以“綜合型語言知識庫”和知網(wǎng)（HowNet）②為典型代表的一批漢語資源庫（包括語料庫、詞匯知識庫、語法信息詞典等）相繼建成。

（4）漢語詞語自動切分、命名實體識別、句法分析、詞義消歧、語義角色標(biāo)注和篇章分析等自然語言處理的基礎(chǔ)問題得到全面研究和推進(jìn)，一系列不斷改進(jìn)的模型和方法被相繼提出，一大批高質(zhì)量的研究論文發(fā)表在國際一流的學(xué)術(shù)會議和權(quán)威期刊上。

（5）機(jī)器翻譯、信息檢索、輿情監(jiān)測、語音識別和語音合成等應(yīng)用技術(shù)在眾多互聯(lián)網(wǎng)企業(yè)、國家特定領(lǐng)域和機(jī)構(gòu)中得到實際應(yīng)用，對推動國民經(jīng)濟(jì)發(fā)展、提高信息化服務(wù)水平和維護(hù)國家安全發(fā)揮了重要作用。

另外值得提及的是，由國家語言文字工作委員會發(fā)布的“中國語言生活綠皮書”③正在為國家語言文字工作方針政策提供參考，為語言文字研究者、語言文字產(chǎn)品研發(fā)者和社會其他人士提供語言服務(wù)，引領(lǐng)社會語言生活走向和諧（李宇明 2007）。

隨著計算機(jī)和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和普及，中文信息處理遇到了前所未有的大好時機(jī)。根據(jù)聯(lián)合國對世界主要語種、分布與應(yīng)用力調(diào)查的結(jié)果，世界十大語言依次是：英語、漢語、德語、法語、俄語、西班牙語、日語、阿拉伯語、韓語（朝鮮語）、葡萄牙語。而中國互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）發(fā)布的《第21次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》表明，中國互聯(lián)網(wǎng)上有87.8%的內(nèi)容是文本。2014年7月21日CNNIC發(fā)布的《第34次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》顯示，截止到2014年6月，中國網(wǎng)民規(guī)模達(dá)6.32億。這些數(shù)據(jù)清楚地告訴我們這樣一個不爭的事實：無論從政治、經(jīng)濟(jì)、文化、軍事和安全等政府關(guān)注的角度看，還是從商貿(mào)、旅游和信息服務(wù)等商業(yè)市場因素考慮，中文信息處理已經(jīng)成為國際互聯(lián)網(wǎng)和移動通信平臺上獲取和傳遞信息難以繞開的技術(shù)結(jié)點。不僅IBM、微軟、谷歌等世界巨頭公司投入了大量的人力和財力瞄準(zhǔn)中國市場開展相關(guān)技術(shù)研究，斯坦福大學(xué)、賓夕法尼亞大學(xué)、加州大學(xué)伯克利分校等國際一流大學(xué)也為中文信息處理研究做出了卓著貢獻(xiàn)，他們開發(fā)的漢語分詞系統(tǒng)、句法分析器和命名實體識別工具等，以及LDC漢語語料庫④（包括分詞、句法樹和篇章語料庫等）得到廣泛應(yīng)用。這意味著，中文信息處理不僅是中國學(xué)者關(guān)注的問題，而且已經(jīng)成為國際學(xué)術(shù)界和企業(yè)界共同研究的課題。

近年來中國的自然語言處理研究水平迅速提升，大陸學(xué)者在HLT相關(guān)領(lǐng)域的國際一流學(xué)術(shù)會議和期刊上發(fā)表的論文數(shù)量不斷增長。圖1是2015年第53屆國際計算語言學(xué)學(xué)會年會與第7屆自然語言處理國際聯(lián)合會議（ACL-IJCNLP）⑤投稿和被接受的論文數(shù)量按國家或地區(qū)分布的直方圖：

ACL-IJCNLP2015分為主會和專題研討會兩種。其中，主會是ACL大會的主體，它以論文質(zhì)量高、錄用率低、影響力大而著稱。每年該會錄用論文的數(shù)量通常被看作是一個國家或地區(qū)在本領(lǐng)域整體水平和實力的象征。ACL-IJCNLP2015主會共收到長文投稿692篇，錄用173篇；收到短文投稿648篇，錄用145篇。也就是說，長文和短文合計投稿量為1340篇，錄用318篇，錄用率約為23.7%。從圖1可以看出，在1340篇投稿中第一作者來自中國大陸的論文數(shù)量占到了22.7%，僅次于美國（24.5%）。值得注意的是，即使是來自美國的投稿，第一作者也有可能是中國學(xué)者，包括眾多留美的中國學(xué)生。據(jù)統(tǒng)計，在被錄用的318篇論文中第一作者為中國人的論文數(shù)量約占37.1%。換句話說，超過三分之一被錄用的論文出自中國人之手。

除了ACL會議以外，國際計算語言學(xué)大會（International Conference on Computational Linguistics， 簡稱COLING）⑥、國際人工智能聯(lián)合會議（International Joint Conference on Artificial Intelligence， 簡稱IJCAI）、ACM 信息檢索大會（Special Interest Group on Information Retrieval，簡稱SIGIR）和ACM信息與知識管理國際會議（International Conference on

Information and Knowledge Management，簡稱CIKM）等其他相關(guān)的一流學(xué)術(shù)會議都已登陸中國。

與此同時，中國的自然語言處理人才隊伍迅速成長，一批優(yōu)秀的學(xué)者在國際一流學(xué)術(shù)會議和權(quán)威學(xué)術(shù)機(jī)構(gòu)中擔(dān)任重要職務(wù)。2013年王海峰博士出任ACL主席，同年宗成慶當(dāng)選國際計算語言學(xué)委員會⑦委員，2014年和2015年吳華博士和宗成慶分別擔(dān)任第52屆和53屆ACL大會程序委員會共同主席，2016年趙世奇博士出任ACL秘書長。還有一大批優(yōu)秀的中國學(xué)者在各類一流國際學(xué)術(shù)會議上擔(dān)任組委會主席、領(lǐng)域主席、講座主席和出版主席等。

毋庸置疑，中國學(xué)者已經(jīng)成為國際HLT領(lǐng)域一支舉足輕重的生力軍。除了自身的努力以外，很重要的一個原因是國家綜合實力的增強(qiáng)。國家不斷增加的科研經(jīng)費投入使更多的學(xué)者有機(jī)會走出國門，并把更多優(yōu)秀的國外學(xué)者（包括學(xué)有所成的海外華人）請到中國來。當(dāng)然，互聯(lián)網(wǎng)技術(shù)起了非常重要的作用。借助于互聯(lián)網(wǎng)，任何人都可以隨時隨地地查閱學(xué)術(shù)資料，實時了解和跟蹤最新的國際研究動態(tài)，從而把握正確的研究方向。另外，以IBM、微軟公司、谷歌等為代表的國際大公司在中國大陸開設(shè)的研究機(jī)構(gòu)，也對相關(guān)領(lǐng)域的技術(shù)發(fā)展和人才培養(yǎng)起到了推波助瀾的作用。他們與中國科研機(jī)構(gòu)和高校的密切交流與合作，使更多的青年學(xué)生有機(jī)會在高水平的技術(shù)平臺上利用公司特有的計算資源和數(shù)據(jù)資源快速地學(xué)習(xí)和實踐先進(jìn)的技術(shù)。當(dāng)然，這些公司是人才培養(yǎng)和市場開拓的受益者。

三、現(xiàn)狀分析與問題思考

從中文信息處理發(fā)展現(xiàn)狀來看，近20年是該領(lǐng)域迅速崛起和中國學(xué)者在國際舞臺發(fā)揮作用的黃金時期。那么，這些豐碩的成果是否意味著中文信息處理的理論方法已經(jīng)具有根本性的建樹呢？

眾所周知，自然語言處理方法有理性主義方法和經(jīng)驗主義方法兩大流派。理性主義方法通常以喬姆斯基（Noam Chomsky）的語法理論為基礎(chǔ)，建立基于規(guī)則和知識庫的邏輯推理系統(tǒng)。而經(jīng)驗主義方法則以數(shù)理統(tǒng)計和信息論為基礎(chǔ)，實現(xiàn)基于大規(guī)模語料庫的統(tǒng)計機(jī)器學(xué)習(xí)方法。兩種方法的融合正在成為人們探索的第三條路徑。這些方法在目前的自然語言處理系統(tǒng)中都發(fā)揮了重要作用，但是，計算機(jī)要從中文信息“處理”走向真正的“理解”還有很長的路要走，在這條遙遠(yuǎn)的征途上至少需要跨越三條鴻溝：（1）建立符合中文（這里尤指漢語）語言特點的自然語言處理理論體系；（2）設(shè)計更加有效的機(jī)器學(xué)習(xí)算法和模型；（3）揭示和發(fā)現(xiàn)人類大腦理解語言的基本機(jī)理。

（一）現(xiàn)有中文信息處理方法的局限性

目前采用的中文信息處理方法和評價標(biāo)準(zhǔn)大都是從英語等西方語言的處理方法中借鑒過來的，無論是基于規(guī)則的方法，還是基于統(tǒng)計的方法，從來都沒有針對漢語本身的特點“量身定做”。例如，傳統(tǒng)的自然語言處理方法通常從詞法分析（漢語詞語自動切分）開始，到句法分析、語義分析，分階段逐步進(jìn)行，不同層次的任務(wù)往往是獨立完成的。句法分析（syntactic parsing）是其中的關(guān)鍵環(huán)節(jié)，其任務(wù)是將給定的句子自動解析成完整的句法分析樹。它的基本假設(shè)是每一個句子的句法結(jié)構(gòu)都能夠用一棵完整的句法分析樹表示，如圖2所示。

圖2 句子“我讀書。”的句法分析樹

但是，這一假設(shè)對于漢語而言往往不能成立，至少是非?？量痰?。漢語句子中通常不使用標(biāo)識結(jié)構(gòu)信息的專用詞匯（如英語復(fù)句中的which， that， where等引導(dǎo)詞），是一種語義驅(qū)動的松散結(jié)構(gòu)，句法和語義之間存在著千絲萬縷的關(guān)系，而且漢語中標(biāo)點的使用也不像英語那樣有嚴(yán)格的限制。例如：

（1）我喜歡在春天去觀賞桃花，在夏天去欣賞荷花，在秋天去觀賞紅葉，但更喜歡在冬天去欣賞雪景。

這是一個典型的流水句。根據(jù)我們對隨機(jī)抽取出的4431個長度超過20個詞的句子的統(tǒng)計，有1830個流水復(fù)句，占全部長句的41.3%（李幸、宗成慶 2006）。流水句結(jié)構(gòu)看起來比較松散，但語義上卻有緊密的聯(lián)系。如果非要用一棵完整的句法樹表示這種句子的結(jié)構(gòu)，不僅在實現(xiàn)上非常困難，而且對達(dá)到語言理解的目標(biāo)幾乎沒有太多幫助。過去幾十年里，人們提出了大量自動句法分析的算法，目前比較著名的句法分析工具有：Collins Parser、Bikel Parser、Charniak Parser、Berkeley Parser、Stanford Parser、MST Parser、MaltParser和MINIPAR Parser等。但這些系統(tǒng)在規(guī)范的漢語文本上最好的句法分析性能（短語準(zhǔn)確率）也只有86%左右，而日語和英語的句法分析性能已經(jīng)超過90%。即使C. Dyer 和M. Ballesteros等人近期實現(xiàn)的基于神經(jīng)網(wǎng)絡(luò)的句法分析方法的性能得到了進(jìn)一步提升（Ballesteros et al. 2015；Dyer et al. 2015），漢語句法分析器的性能仍然比英語的低5個百分點左右。

對于篇章結(jié)構(gòu)分析來說，目前廣泛采用的篇章理論包括修辭結(jié)構(gòu)理論、中心理論、脈絡(luò)理論、篇章表示理論和言語行為理論等（宗成慶 2013），而這些理論無一例外地來自西方語言學(xué)。漢語的篇章結(jié)構(gòu)與英語有明顯的區(qū)別，這是大家所共知的事實。根據(jù)我們對2016年國際計算自然語言學(xué)習(xí)會議（Conference on Computational Natural Language Learning，簡稱CoNLL）發(fā)布的漢英篇章論元關(guān)系分析評測任務(wù)的語料統(tǒng)計，漢語中非顯式的篇章單元之間的關(guān)系占到了78.3%，遠(yuǎn)遠(yuǎn)超過了英語篇章中54.5%的比例。漢語中篇章單元之間可使用的連接詞有385個之多，而英文中只有100個左右（Kang et al. 2016）。而且漢語中的標(biāo)點逗號可以隱含地表示某種篇章單元關(guān)系，例如表示前后兩個單元之間隱含的轉(zhuǎn)折、讓步、因果等關(guān)系，而英語的標(biāo)點不具備這樣的功能。所有這些差異都清楚地提醒我們，漢語需要建立自己的篇章分析理論。

值得慶幸的是，國內(nèi)已有專家在漢語篇章分析理論研究方面進(jìn)行卓有成效的探索，如宋柔（2012）提出的“廣義話題結(jié)構(gòu)理論”、王德亮（2004）研究的“篇章向心理論”等，但離建立相對成熟和完善的漢語篇章理論體系還有較遠(yuǎn)的距離。

另外，漢語中的指代消歧也是中文信息處理面臨的棘手問題。請看如下兩個例句：

（2）夫人穿著很得體，舉止優(yōu)雅，左臂上掛著一個暗黃色的皮包，右手領(lǐng)著一只白色的小狗，據(jù)說是京巴。

（3）夫人穿著很得體，舉止優(yōu)雅，左臂上掛著一個暗黃色的皮包，右手領(lǐng)著一只白色的小狗，據(jù)說是局長的太太。

在這兩個句子中除下劃線標(biāo)識的部分以外，其余部分完全一樣，但“據(jù)說”的所指完全不同，一個是指“小狗是京巴”，而另一個則是指“夫人是局長的太太”。這種表達(dá)方式在英文中是不可能出現(xiàn)的。

綜上所述，不同語言具有不同的特點，無論在詞法、句法、語義等不同的層面上，還是在詞匯、短語、句子和篇章等不同的語言單位上，有共性，也有差異，尤其語義與語言的文化背景密切相關(guān)。我們認(rèn)為，不存在與語言無關(guān)的自然語言處理方法和全世界語種通用的自然語言處理理論體系。最終要解決中文信息處理的問題，使其真正實用化，必需建立適合中文語言特點的理論體系。

（二）現(xiàn)有機(jī)器學(xué)習(xí)方法的缺陷

20世紀(jì)80年代末期、90年代初期以來，統(tǒng)計機(jī)器學(xué)習(xí)方法逐漸興起，并成為當(dāng)前自然語言處理領(lǐng)域的主流方法。其基本思路是，基于大規(guī)模人工標(biāo)注的語料樣本建立數(shù)學(xué)模型，通過調(diào)試模型的參數(shù)使其達(dá)到最優(yōu)（這一過程稱作模型的訓(xùn)練過程）。所建的數(shù)學(xué)模型就像一個小學(xué)生，標(biāo)注的語料則是老師為學(xué)生提供的樣例，而訓(xùn)練過程則類似于老師教小學(xué)生如何按照樣例學(xué)習(xí)句子分析方法或完成其他任務(wù)的過程。最終小學(xué)生的成績?nèi)绾稳Q于學(xué)生本身的能力、樣例規(guī)模的大小和學(xué)生學(xué)習(xí)的技巧，對應(yīng)地，統(tǒng)計模型的性能好壞取決于數(shù)學(xué)模型本身、訓(xùn)練樣本規(guī)模的大小和模型參數(shù)的調(diào)試情況。

序列標(biāo)注方法是自然語言處理中常用的一種典型的機(jī)器學(xué)習(xí)方法。以漢語自動分詞為例，序列標(biāo)注方法的基本思路是：每個“字”（包括字符、數(shù)字、標(biāo)點等文本中出現(xiàn)的任何符號）只有4種可能的身份出現(xiàn)在文本中，即詞首字（B）、詞尾字（E）、詞中間字（M）和單字詞（S）。對于給定的文本，如果能夠?qū)γ總€“字”打上一個標(biāo)簽（B、E、M或S中的任意一個），那么分詞任務(wù)就完成了。被標(biāo)記為B和E的“字”及其之間標(biāo)以M的“字”（如果有的話）構(gòu)成一個分詞單位，被標(biāo)記為S的“字”獨立成詞。例如，句子“我喜歡讀書?！钡男蛄袠?biāo)注結(jié)果為：我/S 喜/B 歡/E 讀/S 書/S 。最終的分詞結(jié)果就是：我/ 喜歡/ 讀/ 書/ 。

在為每個“字”打標(biāo)簽的過程中，依據(jù)當(dāng)前“字”的上下文計算對當(dāng)前“字”貼上某種標(biāo)簽的條件概率，選擇概率最大的候選標(biāo)簽。實際上這是一種通過上下文分類進(jìn)行標(biāo)簽選擇的方法，稱為區(qū)分式方法。確定上下文多大范圍內(nèi)、哪些因素可作為計算概率的條件的過程，則稱作特征選擇。

類似地，命名實體識別、語塊識別和篇章單元識別等，都可采用這種方法實現(xiàn)。

統(tǒng)計方法的優(yōu)點不言而喻，它避免了基于規(guī)則的方法中由于人工編寫規(guī)則的主觀性因素可能導(dǎo)致的語言現(xiàn)象覆蓋面小甚至錯誤的情況。有些自然語言處理任務(wù)（如機(jī)器翻譯）并不需要人工標(biāo)注語料，這就大大地減少了系統(tǒng)對人的依賴性，極大地提高了系統(tǒng)開發(fā)的效率。這也是統(tǒng)計方法備受青睞的重要原因之一。但是，目前的統(tǒng)計方法仍然存在若干問題和不足。歸納起來，這些缺陷包括：

1. 模型性能過于依賴訓(xùn)練樣本

根據(jù)上面的介紹，訓(xùn)練樣本的質(zhì)量和規(guī)模對模型最終的性能起著至關(guān)重要的作用。一般而言，如果樣本的規(guī)模太小，或者樣本的質(zhì)量太差，模型的性能肯定不好。人工標(biāo)注大規(guī)模訓(xùn)練樣本同樣是一件艱苦的工作，而且標(biāo)注樣本往往難以隨著語言使用情況的變化而自動調(diào)整。即使機(jī)器翻譯等任務(wù)不需要人工標(biāo)注的訓(xùn)練樣本，但仍然需要樣本的數(shù)量達(dá)到足夠的規(guī)模，這對于有些領(lǐng)域或語言對來說是無法做到的。例如，波斯語與漢語之間的自動翻譯系統(tǒng)就很難收集到大規(guī)模波斯語與漢語句子級雙語平行語料，即使在新聞等公共領(lǐng)域，收集幾十萬句對都是困難的，更不必說在某些特定領(lǐng)域。

2. 固化的模型參數(shù)導(dǎo)致模型無法處理“陌生”的語言現(xiàn)象

在統(tǒng)計方法中模型一旦被訓(xùn)練完成，參數(shù)是被固化的，對于超出特征預(yù)設(shè)范圍的語言現(xiàn)象完全無能為力。例如，在詞義消歧任務(wù)中我們通常根據(jù)歧義詞出現(xiàn)的上下文建立分類模型，由上下文決定詞語的語義。以“打”字的詞義消歧為例，“打”字做實詞用時有多個含義，“打毛衣”“打電話”和“打籃球”等不同表達(dá)中“打”字的含義各不相同，因此可以設(shè)定“打”字前后一定范圍內(nèi)的上下文詞作為分類特征構(gòu)建分類模型。假如設(shè)定上下文窗口范圍為±1（即在當(dāng)前詞前后一個詞的窗口范圍內(nèi)），大多數(shù)情況下“打”字的含義都可以區(qū)分出來。但是，對于超出窗口范圍的情況模型便無能為力了。例如，在句子“張三打了一壺紹興老酒。”中，“打”字與“老酒”之間間隔4個詞，這就很可能導(dǎo)致模型誤判“打”的詞義。

3. 缺乏領(lǐng)域自適應(yīng)能力

模型對訓(xùn)練語料所在領(lǐng)域的語言現(xiàn)象處理可能表現(xiàn)出較好的性能，但一旦超出領(lǐng)域范圍或測試集與訓(xùn)練樣本有較大差異，模型性能將大幅度下降。例如，在標(biāo)注的大規(guī)?！度嗣袢請蟆贩衷~語料上訓(xùn)練出來的漢語詞語自動切分模型的準(zhǔn)確率可達(dá)96%左右，甚至更高，但在微博等非規(guī)范文本基礎(chǔ)上訓(xùn)練出的分詞性能至少要低5個百分點左右。在LDC漢語樹庫上訓(xùn)練出來的句法分析系統(tǒng)準(zhǔn)確率可達(dá)86%左右，但在非規(guī)范網(wǎng)絡(luò)文本上的分析準(zhǔn)確率只有60%左右（宗成慶 2013）。統(tǒng)計模型對領(lǐng)域自適應(yīng)能力的缺乏嚴(yán)重制約了該方法的應(yīng)用。

4. 難以通過人機(jī)交互自動完成參數(shù)更新

人類在語言學(xué)習(xí)中可以通過人際之間和人與自然界之間的不斷交互主動學(xué)習(xí)新的知識（包括語言知識和生活常識等），從而不斷提高語言學(xué)習(xí)和理解的能力，但對于目前的統(tǒng)計自然語言處理系統(tǒng)而言卻無法做到這一點。如何使系統(tǒng)通過人機(jī)交互過程，自動根據(jù)語用信息判別和提取有用的知識，完成模型參數(shù)的自動更新，以達(dá)到模型性能不斷提高的效果，到目前為止還需探索。

5. 常識學(xué)習(xí)與歸納推理能力亟待提高

現(xiàn)有的統(tǒng)計學(xué)習(xí)方法在局部問題求解上可以達(dá)到較好的技術(shù)水平，但是在整體歸納和全局抽象方面卻顯得力不從心。例如，有如下一則新聞報道：

張小五從警20多年來，歷盡千辛萬苦，立下無數(shù)戰(zhàn)功，曾被譽(yù)為孤膽英雄。然而，誰也未曾想到，就是這樣一位曾讓毒販聞風(fēng)喪膽的鐵骨英雄竟然為了區(qū)區(qū)小利而精神崩潰，悔恨之下昨晚在家開槍自斃。

對這則新聞目前的詞語自動切分準(zhǔn)確率可達(dá)96%以上，命名實體（人名“張小五”）識別和句間關(guān)系分析（關(guān)鍵詞“然而”引起的轉(zhuǎn)折），甚至語義角色標(biāo)注等，都沒有太大問題，準(zhǔn)確率至少可達(dá)85%以上。但是，對于一個自動問答系統(tǒng)來說，要正確地回答“張小五是什么警察？死了沒有？”等，恐怕非常困難，因為它無法建立起“毒販”與“緝毒警察”之間的對應(yīng)關(guān)系，也不會知道“自斃”與“死亡”的必然聯(lián)系。當(dāng)前中文信息處理系統(tǒng)的常識學(xué)習(xí)和歸納推理能力亟待提高。

宏觀上講，統(tǒng)計是一種“賭博”方法，決策的依據(jù)是概率值大小，一定程度上有點“撞大運”的味道。其基本假設(shè)是：樣本中蘊(yùn)含著全部與特定自然語言處理任務(wù)相關(guān)的知識，而且處理任務(wù)（測試集）與訓(xùn)練樣本符合同樣的規(guī)律，只要有足夠多的訓(xùn)練樣本，模型就能夠?qū)W習(xí)到相應(yīng)的知識，并對待處理集進(jìn)行正確的分析。且不說如何擁有“足夠多”、多到多大規(guī)模的訓(xùn)練樣本，只就模型本身的學(xué)習(xí)能力、區(qū)分能力和自適應(yīng)能力等方面而言，還遠(yuǎn)無法與人腦的自然語言理解能力相比較。

（三）自然語言研究需要與腦神經(jīng)科學(xué)和認(rèn)知科學(xué)相結(jié)合

近年來，類人智能和類腦計算備受矚目，尤其AlphaGo圍棋系統(tǒng)戰(zhàn)勝人類選手以來，人工智能被再度推向媒體輿論和學(xué)術(shù)研究的風(fēng)口浪尖。但是，對于人腦是如何完成自然語言理解過程的，比如為什么一個三歲的兒童在學(xué)習(xí)一個新的詞項時，父母只需做簡單的解釋，給出一兩個例子，孩子就可以理解并使用所學(xué)的詞項，而且基本不會用錯，根本不需要大量的訓(xùn)練樣本，目前尚無法給出非常清楚、合理的解釋。

近年來基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法備受推崇，它在某種意義上的確模擬了人腦的認(rèn)知功能，但是，這種方法只是對神經(jīng)元結(jié)構(gòu)和信號傳遞方式給出的形式化數(shù)學(xué)描述，并非是基于人腦的工作機(jī)理建立起來的數(shù)學(xué)模型，同樣難以擺脫對大規(guī)模訓(xùn)練樣本的依賴。

目前人們只是在宏觀上大致了解腦區(qū)的劃分和在語言理解過程中所起的不同作用，但在介觀和微觀層面，語言理解的生物過程與神經(jīng)元信號傳遞的關(guān)系，以及信號與語義、概念和物理世界之間的對應(yīng)與聯(lián)系等，都是未知的。如何打通宏觀、介觀和微觀層面的聯(lián)系并給出清晰的解釋，將是未來需解決的問題。從微觀層面進(jìn)一步研究人腦的結(jié)構(gòu)，發(fā)現(xiàn)和揭示人腦理解語言的機(jī)理，借鑒或模擬人腦的工作機(jī)理并建立形式化的數(shù)學(xué)模型才是最終解決自然語言理解問題的根本出路。這需要與語言學(xué)家、腦神經(jīng)科學(xué)家和認(rèn)知科學(xué)家的共同努力和協(xié)作。

30多年來自然語言處理研究成績斐然，但中文信息處理的理論研究和技術(shù)創(chuàng)新卻有弱化之勢。近年來中文信息處理技術(shù)性能的提高在很大程度上源自數(shù)據(jù)規(guī)模的擴(kuò)大和計算機(jī)硬件性能的提高，在理論方法和數(shù)學(xué)模型上并沒有太多的建樹，真正面向漢語的計算理論和實現(xiàn)技術(shù)似乎并不多見。

在ACL-IJCNLP2015錄用的318篇論文中，115篇是關(guān)于深度學(xué)習(xí)方法的，約占36.2%。而深度學(xué)習(xí)方法的熱度仍在持續(xù)升高，2016年會議錄用的論文中與深度學(xué)習(xí)方法相關(guān)的論文比例再創(chuàng)新高。但是，如此大量的論文中，有多少還在關(guān)注漢語呢？據(jù)對ACL-IJCNLP2015投稿論文的統(tǒng)計，在形態(tài)分析專題領(lǐng)域的28篇投稿（包括長文和短文）中，關(guān)于中文詞語切分（中文信息處理的經(jīng)典問題）的論文僅有6篇，其中包括一篇關(guān)于藏語分詞的論文，而句法分析專題領(lǐng)域的全部108篇投稿中，只有22篇是研究漢語句法分析方法的。所有這些稿件都無一例外地采用了統(tǒng)計方法，它們的貢獻(xiàn)基本是在別人提出的模型的基礎(chǔ)上，做些特征選擇和參數(shù)調(diào)整等方面的改進(jìn)工作，在中文信息處理的理論創(chuàng)新方面鮮有建樹。

近幾年來隨著國內(nèi)指標(biāo)（SCI/SSCI論文數(shù)量、引用次數(shù)、高被引論文數(shù)等）導(dǎo)向的各種學(xué)術(shù)評估愈演愈烈，很多研究開始一味地跟蹤熱點、追逐新潮，只是為了早出成果、快發(fā)論文，而最終忘記了解決中文語言理解這一問題的根本目標(biāo)。這正是我們擔(dān)憂的關(guān)鍵所在。

四、結(jié)束語

過去60多年中，中文信息處理取得了令人振奮的成果，尤其在統(tǒng)計方法成為主流方法之前，老一代學(xué)者創(chuàng)建了一系列面向漢語特點的理論方法和實用技術(shù)，并為中文語言資源庫建設(shè)做出了卓越貢獻(xiàn)，人才培養(yǎng)和隊伍建設(shè)成就顯著。而當(dāng)統(tǒng)計方法一統(tǒng)天下之后，對語言學(xué)特性和認(rèn)知規(guī)律的研究在自然語言處理領(lǐng)域并沒有得到應(yīng)有的重視。其實，早在10多年前有關(guān)專家就已經(jīng)通過腦功能成像技術(shù)研究證明，漢英兩種語言的名詞和動詞在人腦中的表征并不完全一樣（Li et al. 2004）。如何針對漢語自身的特點和規(guī)律建立專用的模型和算法，恐怕才是最終解決漢語理解問題的正確出路。

總體而言，目前計算機(jī)處理自然語言的能力僅僅停留在“處理”層面，還遠(yuǎn)不能達(dá)到“理解”的水平，未來的任務(wù)艱巨而充滿挑戰(zhàn)。跟蹤國際前沿是每一位科研工作者應(yīng)有的素質(zhì)和理念，但是，在學(xué)習(xí)和跟蹤國際先進(jìn)技術(shù)的同時，無論如何都不應(yīng)該喪失以解決我們母語問題為目標(biāo)的創(chuàng)新意識。

注 釋

① 本文接下來討論的中文信息處理研究現(xiàn)狀和趨勢，主要指漢語信息處理的技術(shù)狀況。

② 參見http：//www.keenage.com/html/c_index.html。

③ 第一部“中國語言生活綠皮書”——《中國語言生活狀況報告（2005）》于2006年9月18日正式出版。此后每年發(fā)布一次，持續(xù)至今。

④ https：//www.ldc.upenn.edu/。

⑤ ACL是國際計算語言學(xué)學(xué)會（Association for Computational Linguistics）的縮寫。該學(xué)會成立于1962年，第一屆ACL年會于1963年8月在美國召開，目前是本領(lǐng)域最具影響力和權(quán)威性最高的頂級學(xué)術(shù)會議，被中國計算機(jī)學(xué)會（CCF）認(rèn)定為A類會議。第53屆ACL年會與亞洲自然語言處理聯(lián)合會（The Asian Federation of Natural Language Processing，簡稱AFNLP）第7屆自然語言處理國際聯(lián)合會議（The 7th International Joint Conference on Natural Language Processing，簡稱IJCNLP）于2015年7月26日至31日在北京舉辦，會議名稱通常簡寫為：ACL-IJCNLP2015。

⑥COLING創(chuàng)辦于1965年，每兩年召開一次，是本領(lǐng)域最具權(quán)威性和影響力的一流學(xué)術(shù)會議之一。

⑦International Committee on Computational Linguistics， 簡稱ICCL。網(wǎng)址：http：//nlp.shef.ac.uk/iccl/。

參考文獻(xiàn)

李 幸、宗成慶 2006 《引入標(biāo)點處理的層次化漢語長句句法分析方法》，《中文信息學(xué)報》第4期。

李宇明 2007 《關(guān)于〈中國語言生活綠皮書〉》，《語言文字應(yīng)用》第1期。

宋 柔 2012 《漢語篇章廣義話題結(jié)構(gòu)研究》，北京語言大學(xué)語言信息處理研究所研究報告。

王德亮 2004 《漢語零形回指解析——基于向心理論的研究》，《現(xiàn)代外語》第4期。

宗成慶 2013 《統(tǒng)計自然語言處理》，北京：清華大學(xué)出版社。

宗成慶、曹右琦、俞士汶 2009 《中文信息處理60年》，《語言文字應(yīng)用》第4期。

宗成慶、高慶獅 2008 《中國語言技術(shù)進(jìn)展》，《中國計算機(jī)學(xué)會通訊》第8期。

Ballesteros， Miguel， Chris Dyer， and Noah A. Smith. 2015. Improved Transition-Based Parsing by Modeling Characters instead of Words with LSTMs. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing （EMNLP）.

Dyer， Chris， Miguel Ballesteros， Wang Ling， Austin Matthews， and Noah A. Smith. 2015. Transition-Based Dependency Parsing with Stack Long Short-Term Memory. Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing （ACL-IJCNLP）.

Kang， Xiaomian， Haoran Li， Long Zhou， Jiajun Zhang， and Chengqing Zong. 2016. An End-to-End Chinese Discourse Parser with Adaptation to Explicit and Non-Explicit Relation Recognition. Proceedings of the SIGNLL Conference on Computational Natural Language Learning （CoNLL）.

Li， Ping， Zhen Jin， and Li Hai Tan. 2014. Neural Representations of Nouns and Verbs in Chinese： An fMRI Study. Neuroimage 21， 1533-1541.

責(zé)任編輯：戴 燃