張文露 譚騫 章光東

摘 要：隨著國網(wǎng)公司信息系統(tǒng)的完善和業(yè)務數(shù)據(jù)的積累，公司各業(yè)務部門開展了數(shù)據(jù)探索和分析，以支撐逐年增加投資、擴大規(guī)模的配網(wǎng)工程項目建設工作。但是由于各省市公司的管理模式不同，導致配網(wǎng)工程項目相關(guān)數(shù)據(jù)一致性較差，可用于支撐分析的特征值較少。因此論文基于文本挖掘方法創(chuàng)建符合國網(wǎng)公司特性的工程詞庫，彌補過往歷史數(shù)據(jù)的缺失和不完整，使歷史文本數(shù)據(jù)能夠支撐后續(xù)數(shù)據(jù)分析工作。

關(guān)鍵詞：文本挖掘；配網(wǎng)工程；詞庫創(chuàng)建

中圖分類號：TP391 文獻標識碼：A 文章編號：1006-8937（2016）32-0072-02

1 研究背景

配網(wǎng)工程項目具有項目類型眾多、物資使用種類集中的特點，隨著國網(wǎng)信息化系統(tǒng)建設的逐漸完善，出現(xiàn)聯(lián)合數(shù)據(jù)分析的需求，然而由于各網(wǎng)省公司項目管理水平的差異，配網(wǎng)項目在各網(wǎng)省公司的管理模式不同。

部分省公司按照區(qū)縣對配網(wǎng)項目進行打包管理，部分省公司則按照單體項目進行管理。但是從整體來看，針對配網(wǎng)工程項目的管理是松散的，直接導致了配網(wǎng)工程項目的可用特征較少，無法配合其他數(shù)據(jù)，以工程項目為對象進行聯(lián)合數(shù)據(jù)分析。但是配網(wǎng)工程項目的命名包含一定規(guī)律，可以通過文本挖掘的方法從工程項目名稱中提取有效的項目屬性特征，以描述工程建設性質(zhì)和建設內(nèi)容。然而目前較為成熟的分詞函數(shù)都依賴于對應的專業(yè)詞庫，即基于一本專業(yè)“詞典”自動完成名詞的分解，所以提取配網(wǎng)工程項目特征標簽的首要任務就是構(gòu)建專業(yè)的配網(wǎng)電網(wǎng)詞庫，以支持后期分詞函數(shù)的應用，完成對配網(wǎng)工程項目名稱的分詞。

2 詞庫構(gòu)建原理

傳統(tǒng)的詞典創(chuàng)建方法通常認定出現(xiàn)頻數(shù)超過某個閾值的文本片段即為詞典的組成部分，然而并沒有考慮到該文本片段是否僅為一個詞還是由多個詞構(gòu)成的詞組，因此為了克服傳統(tǒng)方法的缺點，需要綜合分析自然語言的內(nèi)部凝聚程度和外部自由運用程度兩個方面去構(gòu)建配網(wǎng)專業(yè)詞庫。其中詞語的內(nèi)部凝聚程度指的是一個文本片段成詞的概率，凝聚程度越大說明該文本片段越可能成為一個詞即進入配網(wǎng)專業(yè)詞庫，如“維修工程”出現(xiàn)的概率為“維修工”出現(xiàn)概率的25倍，這說明“維修工程”更可能是一個具有實際意義的配網(wǎng)專業(yè)詞匯。

外部自由運用度指的是定義該詞語片段與左鄰、右鄰詞語之間的相關(guān)程度，計算該文本的左鄰字和右鄰字所能夠提供的信息熵，信息熵越大，說明該文本可提供的信息量越大，該文本的左右鄰字越豐富，即可以更加自由地運用于各個語言環(huán)境中，如“臺區(qū)”前后可以添加各類文本片段成詞，然而“變電臺區(qū)”、“新增臺區(qū)”、“臺區(qū)布點”等詞卻僅能夠以單獨形態(tài)成詞，即更有可能成為真正有區(qū)分度的有實際意義的配網(wǎng)專業(yè)詞匯。

用p（x）代表詞語的凝聚程度，P（AB）代表該文本片段在整個文本中出現(xiàn)的概率，P（A），P（B）代表子文本片段在整個文本中出現(xiàn)的概率，凝聚度公式如下：

如果僅從內(nèi)部凝聚程度考慮，有可能出現(xiàn)找到部分詞的情況，該詞內(nèi)部凝聚程度很高，但并不包含完整的文本片段，如變電、開閉等。同樣，如果僅從外部自由程度去考慮，很有可能提取到相當多的連接字，該連接字可以很大程度上自由地運用于文本環(huán)境中，如的、了等。因此模型首先需要對輸入文本進行預處理，將一列項目名稱整合成一段緊密相連的文本片段、去掉字母、數(shù)字和特殊符號，將預處理后的文本按從前至后和從后至前兩個方向進行單字切割，分別生成單字出現(xiàn)字頻表。

然后計算并逐步檢驗可能成詞的文本片段的內(nèi)部凝聚程度和外部自由運用程度兩個指標，結(jié)合實際業(yè)務需求，在程序中設定合適的內(nèi)部凝聚度閾值和左右信息熵閾值，按照業(yè)務規(guī)則最終篩選得到既準確又有現(xiàn)實意義的配網(wǎng)電網(wǎng)專業(yè)詞庫字典，比如針對項目名稱中各省地市公司的地理位置詞語，由于缺乏能夠揭示工程建設性質(zhì)和建設內(nèi)容的實際意義，所以即便可以滿足內(nèi)部凝聚程度和外部自由運用程度兩個指標的要求，也不能作為最終的詞語進入配網(wǎng)電網(wǎng)專業(yè)詞典。

運用R語言實現(xiàn)以上步驟，該階段的輸入數(shù)據(jù)是一列包含配網(wǎng)電網(wǎng)特征關(guān)鍵詞的項目名稱，輸出是一列可能成詞的文本即配網(wǎng)電網(wǎng)專業(yè)詞庫字典，該輸入輸出的數(shù)量并非一一對應的關(guān)系，如圖1所示。

3 分詞原理

運用R語言中的結(jié)巴（jiebaR）工具包，利用其支持的最大概率法（Maximum Probability），隱式馬爾科夫模型（Hidden Markov Model），索引模型（Query Segment），混合模型（Mix Segment）共四種分詞模式的功能，首先引入并應用已經(jīng)創(chuàng)建完成的配網(wǎng)專業(yè)詞典，替換掉結(jié)巴（jiebaR）工具包中的默認詞典，接下來讀取項目名稱數(shù)據(jù)集進行分詞。該階段的輸入數(shù)據(jù)是一列包含配網(wǎng)電網(wǎng)特征關(guān)鍵詞的文本，輸出是對應項目名稱的一系列標簽，如圖2所示。

基于已創(chuàng)建的配網(wǎng)專業(yè)詞典，可以將復雜的項目名稱拆分成為幾個關(guān)鍵詞的堆疊，并且根據(jù)需求，配置個性化選擇規(guī)則，例如選擇幾個關(guān)鍵詞中出現(xiàn)頻率最高的關(guān)鍵詞作為標簽形成初步標簽。由于分詞會輸出較多標簽，為了防止標簽冗雜，工程特征指示不清晰，本文通過聚類分析發(fā)現(xiàn)并聚合具有相似物資領(lǐng)用特征的項目群，隨后結(jié)合業(yè)務理解對這些項目群進行命名，即完成了標簽的合并和刪減。此過程使用K-Means聚類方法作為無監(jiān)督式的機器學習方法，在未知樣本類別的情況下，通過計算樣本彼此間的歐式距離或余弦距離來估計樣本所屬類別。

K-Means是一種自下而上的聚類算法，是典型的基于距離的聚類算法，采用距離作為相似性的評價指標，即認為兩個對象的距離越近，其相似度就越大。該算法認為簇是由距離相近的若干對象組成的，因此希望最終得到緊湊的簇。該算法接受參數(shù)k，首先將事先輸入的n個數(shù)據(jù)對象隨機分成k個簇，為使同一類中的對象相似程度較高，不同類中的對象相似程度較低。具體計算步驟如下：

①隨機選定k個中心作為起點；

②將每個數(shù)據(jù)點歸類到離它最近的中心點所代表的簇中；

④重復步驟②～③，直到滿足收斂要求，即該k個中心點不再變化。

結(jié)合業(yè)務理解給定k=44，即給定44個具有不同項目工程建設內(nèi)容和建設性質(zhì)的項目群，通過聚類分析的方法，輸入對應于各個項目名稱的不同物料小類的領(lǐng)料數(shù)據(jù)和下達預算金額，最終輸出得到44個項目群的序號標簽，隨后結(jié)合業(yè)務理解，根據(jù)項目工程實際特征，對這44個項目群分別進行命名即分別貼標簽，對貼好的標簽進行人工調(diào)整，保留其中能用自然語言表達的并且具有現(xiàn)實意義的標簽名稱，作為提取構(gòu)建的新的工程項目特征，完成配網(wǎng)工程項目特征屬性的提取和標記，使得即便不同省份對配網(wǎng)項目的管理水平不一致，也可以使用同一維度標尺進行衡量，便于后續(xù)與其他數(shù)據(jù)聯(lián)合開展關(guān)聯(lián)分析。

4 研究結(jié)論

首先通過計算自然語言的內(nèi)部凝聚程度和外部自由運用程度兩個指標可以幫助從冗雜的文本片段中篩選出符合閾值篩選條件的詞語，創(chuàng)建出符合國網(wǎng)公司自身業(yè)務特點的專業(yè)配網(wǎng)電網(wǎng)詞典，接下來結(jié)合文本挖掘工具即可較為簡單地根據(jù)個性化選擇規(guī)則對項目名稱實現(xiàn)匹配、分詞，提取配網(wǎng)工程項目的特征值，以描述項目特征、建設內(nèi)容、工程屬性等。另一方面，通過聚類方法可以減少提取特征值的數(shù)量，使具有相同工程建設性質(zhì)和建設內(nèi)容的項目合并成一個項目群，并基于業(yè)務理解為44個項目群分別命名，因此該分詞結(jié)果更為標準清晰，同時也簡化了分類維度，有利于支撐后續(xù)與其他數(shù)據(jù)之間的聯(lián)合分析。

參考文獻：

[1] 鄧建，李夕兵，古德生.結(jié)構(gòu)可靠性分析的多項式數(shù)值逼近法[J].計算力 學學報，2002（11）：26-30.

[2] 李慶陽，王能超，李大義.數(shù)值分析[M].武漢：華中工學院出版社，1982.

[3] 王淑云，方保镕，王如云.數(shù)值分析方法[M].南京：河海大學出版社，1996.

[4] I.Babuska，W.C.Rheinbold.Error estimates of adaptive finite element

computations[J].SLAM Journal of Numerical Analysis，1978（4）：

736-737.

[5] B.Moller，M.Beer，W.Graf，etal.Fuzzy finite element method and its

application[M].Trends in computational structural mechanics，2001：

529-538.

[6] 劉信恩，肖世富，莫軍.用于不確定性分析的高斯過程響應面模型的設 計點選擇方法[J].計算機輔助工程，2011，20（1）：101-105.