翟厚呈，萬少東，王義鵬，王朝龍

摘 要：本文運(yùn)用計(jì)算機(jī)軟件方法，實(shí)現(xiàn)對(duì)莫言若干篇作品的自動(dòng)處理，分析他遣詞用句的文學(xué)特色，嘗試計(jì)算機(jī)軟件和數(shù)據(jù)庫技術(shù)在文學(xué)領(lǐng)域的應(yīng)用。

關(guān)鍵詞：莫言；詞頻分析；文本處理

0 引言

文本分詞處理是情報(bào)學(xué)、信息技術(shù)研究的重要方向和應(yīng)用領(lǐng)域，目前對(duì)于英文文本處理的技術(shù)比較成熟，而中文表達(dá)方式在結(jié)構(gòu)上與英文有著巨大的差異，中文文本中的詞語的用法變化多端，需要深入地研究。諾貝爾文學(xué)獎(jiǎng)得主莫言（1955-），原名管謨業(yè)，生于山東高密縣，中國當(dāng)代著名作家。香港公開大學(xué)榮譽(yù)文學(xué)博士，青島科技大學(xué)客座教授。他自1980年代中以一系列鄉(xiāng)土作品崛起，充滿著“懷鄉(xiāng)”以及“怨鄉(xiāng)”的復(fù)雜情感，被歸類為“尋根文學(xué)”作家。其作品深受魔幻現(xiàn)實(shí)主義影響，寫的是一出出發(fā)生在山東高密東北鄉(xiāng)的“傳奇”。莫言在他的小說中構(gòu)造獨(dú)特的主觀感覺世界，天馬行空般的敘述，陌生化的處理，塑造神秘超驗(yàn)的對(duì)象世界，帶有明顯的“先鋒”色彩[1]。我們通過計(jì)算機(jī)從定性的角度研究莫言的語言特色，從而提高人們欣賞莫言、欣賞文學(xué)、熱愛中華民族文化的水平。

開發(fā)計(jì)算機(jī)處理語言文本軟件，就是通過計(jì)算機(jī)技術(shù)進(jìn)行定量的分析，能更準(zhǔn)確地反映作家的寫作技巧和語言駕馭能力，總結(jié)知名作家的藝術(shù)發(fā)展之路。本文選取莫言的代表作品5篇以上，進(jìn)行分詞后保存到數(shù)據(jù)庫，進(jìn)行聚類分析，最后選取一定的高頻詞結(jié)合作品的情節(jié)分析它們的特色所在。

1 文本選取及處理

1.2 文本選取

本文選取莫言不同時(shí)期的五部具有代表性的作品《紅高粱》、《檀香刑》、《豐乳肥臀》、《生死疲勞》和《蛙》進(jìn)行分析。1981年莫言發(fā)表了人生的第一部作品《春夜雨霏霏》。至今莫言共發(fā)表了80多篇短篇小說、30部中篇小說、11部長篇小說，出版過5部散文集、一套散文全集、9部影視文學(xué)劇本，以及兩部話劇作品。

如圖1，莫言作品時(shí)期間隔明顯。莫言是我國新一輩極具活力的作家之一。早期的作品描寫童年記憶的鄉(xiāng)村世界，表現(xiàn)獨(dú)特的生命體驗(yàn)。中期受拉美魔幻現(xiàn)實(shí)主義的影響，構(gòu)造獨(dú)特的主觀感覺世界，塑造神秘的超驗(yàn)的對(duì)象世界，給人以“先鋒”色彩。而后進(jìn)入新的探索期，激情勃發(fā)，畫面五彩斑斕，語言充滿進(jìn)攻型，反叛語言[2]。本文進(jìn)行分析研究的五部作品是莫言不同時(shí)期的作品，一部是早期的，一部是中期的，其余三部是新時(shí)期的。

1.2 技術(shù)方法

運(yùn)用計(jì)算機(jī)語言VB和VC開發(fā)出一款中文語言文本處理軟件，定量的分析莫言作品中語言特色；使其具備對(duì)選中的文本進(jìn)行分詞處理及將處理好的詞匯導(dǎo)入數(shù)據(jù)庫表，并統(tǒng)計(jì)詞頻；然后利用SQL server 2005和Excel 2010中分類、排序和匯總等功能對(duì)數(shù)據(jù)進(jìn)行對(duì)比分析等處理。

1.3 文本處理

文本處理分為兩個(gè)部分。第一，將將不同格式的莫言小說的電子文檔轉(zhuǎn)為統(tǒng)一的.txt文件格式，運(yùn)用自編文本處理軟件將電子文檔進(jìn)行分詞處理，并導(dǎo)入SQL server 2005和Excel 2010中，使其滿足分類、排序和匯總等功能將數(shù)據(jù)處理為所需形式。第二，人工結(jié)合計(jì)算機(jī)分析的結(jié)果將每部作品中出現(xiàn)頻率高的字、詞提取出來，利用Excel 2010進(jìn)行對(duì)比分析。并與莫言所生活的環(huán)境和所處時(shí)期進(jìn)行對(duì)比，得出其語言的用語特色。

2 軟件設(shè)計(jì)

軟件設(shè)計(jì)可分為兩個(gè)部分工作。

第一，準(zhǔn)備工作。在處理數(shù)據(jù)前先對(duì)詞頻分析和如何詞頻分析進(jìn)行了研究?，F(xiàn)在較為成熟的詞頻分析為英文的詞頻分析，因?yàn)橛⑽拿總€(gè)單詞之間都有空格符間隔，易于進(jìn)行提取單詞處理。而現(xiàn)在較為成熟的中文分詞軟件是AnalyzerTest和中科院張華平博士的分詞軟件，而這兩款分詞軟件都有一些欠缺。AnalyzerTest的分詞效果稍差些，速度和準(zhǔn)確性有待提高；張華平博士的分詞處理軟件的可操作性不高，使用方法繁瑣。因此，本文力求克服上述軟件的缺點(diǎn)，就如何實(shí)現(xiàn)并提高中文分詞的效率和如何提高軟件的可操作性方面進(jìn)行了重點(diǎn)改進(jìn)。軟件設(shè)計(jì)側(cè)重于兩個(gè)方面：（一）基于字符串的分詞方法，這種方法主要是提高對(duì)長字符串的提取?，F(xiàn)行的中文分詞軟件對(duì)超過兩個(gè)字的長字符串的分詞效果差，這樣對(duì)文章分析的破壞性很大。本文著力提高對(duì)字符串的提取效果，對(duì)文本處理意義很大。（二）基于統(tǒng)計(jì)的分詞方法，特別關(guān)注對(duì)疊詞的提取。疊詞在文章分析過程中很容易改變?cè)狻?/p>

第二，編寫程序，文本分詞處理。本文的特點(diǎn)是以助詞、語氣詞、標(biāo)點(diǎn)符號(hào)等特殊字詞為標(biāo)志來實(shí)現(xiàn)分詞處理，應(yīng)用中預(yù)期效果很好。

文本處理的程序運(yùn)行流程如圖2所示。在實(shí)際應(yīng)用中如果僅僅利用上述的特殊字詞為標(biāo)志來處理文本的話，那么產(chǎn)生的結(jié)果會(huì)有較大的失真現(xiàn)象。例如若以助詞“的”為特征詞來做分詞處理，那么如果出現(xiàn)“有的放矢”這個(gè)詞，軟件就會(huì)將“的”剔除，變成“有”和“放矢”這兩個(gè)詞。使分詞的效率大大降低。從而使得出的詞頻分析失去準(zhǔn)確性。所以，針對(duì)上述問題本軟件設(shè)計(jì)了解決方法。一般地，中文的語句和字詞有一個(gè)特點(diǎn)，就是每句話都由固定詞性的字詞構(gòu)成，如“主語+謂語+賓語”就構(gòu)成一個(gè)簡單的語句。并且中文本每個(gè)字詞都有其固有的詞性，如“動(dòng)詞”、“名詞”、“介詞”、“助詞”等。本文利用了這層關(guān)系進(jìn)行分詞處理，分詞的失真率已經(jīng)大大地降低了，并且詞頻的統(tǒng)計(jì)準(zhǔn)確性更高。

3 莫言作品語言特色分析

莫言曾說：“語言變起來比較困難，語言是一個(gè)作家風(fēng)格的最主要的體現(xiàn)。以前我一個(gè)老師說過‘語言在某種意義上是一個(gè)人的精神分泌，他認(rèn)為一個(gè)人之所以講話時(shí)這種語調(diào)，這種風(fēng)格，他的詞匯量的組成跟他的生活是有關(guān)系的。我努力變化著語言，盡量簡潔平實(shí)一點(diǎn)，通俗易懂一點(diǎn)……”[4]莫言是文學(xué)大家，利用計(jì)算機(jī)對(duì)他的作品進(jìn)行分析，是為了更好的欣賞他的作品，分析他長期以來的遣詞造句的特色。如表1所示，表1是莫言文章中所使用的部分助詞與語氣詞的詞頻分析。這些詞在本文的軟件運(yùn)行時(shí)會(huì)當(dāng)成分詞標(biāo)志全部被處理，通過對(duì)這些助詞和語氣詞的分析，可以分析出莫言的一些用語習(xí)慣。比如其對(duì)“的”的使用，幾乎沒有什么變化，而其對(duì)“啊”、“是”的使用頻率卻隨著寫作時(shí)間的推移，他對(duì)這個(gè)字的使用頻率更高。得出的一個(gè)明顯的印象是莫言作品膠東地區(qū)口語化的描述較多，閱讀起來比較有自然而輕快的感覺；莫言的文學(xué)更加貼近生活。

通過分析，莫言作品還有很多遣詞造句的特色，比如莫言的文章中很喜歡使用疊詞，如：《紅高粱》中，馬騾驢?！翱┼钥┼愿吡唤兆?，口炎炎啦口炎炎啦吃高粱穗子”，《檀香刑》中，他學(xué)傷風(fēng)山羊一樣地咳嗽：“吭吭坑！吭吭坑吭吭坑吭”，這些疊詞形式的聲音詞往往使文學(xué)語句整齊勻稱，從而增強(qiáng)語言的節(jié)奏感，讀來朗朗上口，聲韻鏗鏘。通過對(duì)莫言作品的文本處理分析，一方面可以從高頻詞的使用揭示其語言技巧，另一方面，也可以通過低頻詞的出現(xiàn)反映了莫言作品中濃郁的鄉(xiāng)土氣息。例如通過統(tǒng)計(jì)分析發(fā)現(xiàn)莫言作品中常常出現(xiàn)一些方言語匯，雖然出現(xiàn)的頻次較低但很有特色，呈現(xiàn)出原生態(tài)的語言，對(duì)山東高密的方言運(yùn)用尤為突出。如“褡褳”一詞的描寫是北方鄉(xiāng)間農(nóng)民外出時(shí)隨身攜帶的一種布袋，它搭在肩膀上，前后各一個(gè)口袋，用來放隨身攜帶的物品，活靈活現(xiàn)地寫出了“父親”的農(nóng)民身份，突出了人物形象的窮困、滄桑之感。 再如“胡吣” 是上官呂氏罵司馬亭的話?！斑摹钡钠胀ㄔ捴馐?“嘔吐”，高密方言中引申為胡說八道之意。莫言以他獨(dú)特新銳的思維和視角，創(chuàng)造出新穎鮮活的個(gè)性語言，彰顯了語言藝術(shù)的無窮魅力 [5]。

總之，計(jì)算機(jī)不再是死板的機(jī)器，通過它分析文學(xué)作品，可以很靈活，也可以利用自己的“語言”對(duì)一句話，一段文字，甚至一篇文章進(jìn)行全面處理，它可以利用自己的“眼睛”洞察每個(gè)字詞細(xì)微的差別，展現(xiàn)文學(xué)藝術(shù)之美。

參考文獻(xiàn)：

[1]天涯論壇[EB]. http：//bbs.tianya.cn/post-develop-1101210-1.shtml

[2]唐毅.淺論莫言的創(chuàng)作特色[J].魅力中國，2009（13）.

[3]努努書坊_小說在線閱讀[EB] http：//book.kanunu.org/files/writer/8236.html

[4]高迭勤.莫言小說的敘述語言與視角[J] .寫作， 2001（11）.

[5]邱曉嵐，南瑛.論莫言小說語言的藝術(shù)特色[J].漯河職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2012（01）.

[6]360doc個(gè)人圖書館[EB] http：//www.360doc.com/content/11/1211/00/821761_171375026.shtml.2011-12-11

本文系“江蘇省高等學(xué)校大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃2013年立項(xiàng)項(xiàng)目（201351256028X）”的成果。