張 兵，湯 進(jìn)，2，羅 斌，2

(1.安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230601;2.安徽省工業(yè)圖像處理與分析重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230039)

0 引言

互聯(lián)網(wǎng)的發(fā)展速度已經(jīng)遠(yuǎn)遠(yuǎn)超出了人們預(yù)料的范圍，人們迎來了大數(shù)據(jù)時代［1］。在這些海量數(shù)據(jù)資源當(dāng)中蘊(yùn)含著大量的有用信息，而這些資源中更多的是雜亂無章的無用信息。這些大量的無用信息［2］，讓人們意識到想要迅速快捷地獲取自己所需信息變得更加困難［3-4］。網(wǎng)頁標(biāo)題是一篇網(wǎng)頁所要表達(dá)信息的最簡單明了的概述，對于網(wǎng)頁信息的處理以及應(yīng)用具有重要的意義。文獻(xiàn)［5］對國內(nèi)中文期刊進(jìn)行的抽樣統(tǒng)計(jì)表明，自然科學(xué)論文的標(biāo)題反映文章主題的概率高達(dá)99%;接著又對3600 篇新聞類文章進(jìn)行了統(tǒng)計(jì)，表明標(biāo)題可預(yù)示文章類別主題的概率達(dá)到了95%以上。這足以說明文章標(biāo)題的重要性，因此如何有效抽取網(wǎng)頁文檔中的標(biāo)題，是關(guān)系到如何有效快捷地獲取目標(biāo)信息的關(guān)鍵技術(shù)之一。

網(wǎng)頁標(biāo)題抽取方法有很多，常用的方法主要集中于基于機(jī)器學(xué)習(xí)和基于規(guī)則2 類，如Xue Y 等人［6］從HTML 節(jié)點(diǎn)的視覺信息、內(nèi)容信息和位置信息等方面的特征入手，構(gòu)建機(jī)器學(xué)習(xí)模型對網(wǎng)頁標(biāo)題進(jìn)行識別。朱青等人［7］在構(gòu)建機(jī)器學(xué)習(xí)模型的同時，引入了HTML 結(jié)構(gòu)以及網(wǎng)頁DOM 樹結(jié)構(gòu)等信息。李國華等［8］考慮到了網(wǎng)頁正文內(nèi)容與標(biāo)題之間的相關(guān)性，通過計(jì)算句子相互之間的相似度，從而確定了網(wǎng)頁的標(biāo)題。文獻(xiàn)［9］利用了4 個視覺表特征:“＜title＞”標(biāo)簽對、“＜H ＞”標(biāo)簽對、“＜Font ＞”標(biāo)簽以及網(wǎng)頁標(biāo)題在正文中的位置信息進(jìn)行標(biāo)題的抽取，取得了很好的效果。

綜合分析當(dāng)前對網(wǎng)頁標(biāo)題的各類研究，取得了較高的準(zhǔn)確率，但是在時間效率上卻有些不盡人意。Google 一類的搜索引擎采用的是利用錨點(diǎn)文本內(nèi)容和“＜title ＞”標(biāo)簽來確定網(wǎng)頁標(biāo)題，時間效率比較高，但是在準(zhǔn)確率方面卻很低。本文提出一種高效的提取網(wǎng)頁標(biāo)題的方法。一般來說，一篇網(wǎng)頁的標(biāo)題前或后大多會緊跟著發(fā)布時間，根據(jù)這一特點(diǎn)，首先對目錄型網(wǎng)頁進(jìn)行解析，將目錄型網(wǎng)頁的HTML 源碼中的超鏈接按照自頂向下遍歷的方法，結(jié)合標(biāo)題與發(fā)布時間相緊鄰的特點(diǎn)，設(shè)計(jì)時間正則表達(dá)式，獲取對應(yīng)目錄型網(wǎng)頁的URL 及錨文本。若獲得錨文本不是網(wǎng)頁真正的標(biāo)題，則獲得對應(yīng)的主題型網(wǎng)頁的HTML 源碼并構(gòu)建網(wǎng)頁DOM 樹，采用深度優(yōu)先遍歷DOM 樹的原則，利用目錄型網(wǎng)頁標(biāo)題抽取算法的結(jié)果，并結(jié)合網(wǎng)頁標(biāo)題的視覺特點(diǎn)，正確提取網(wǎng)頁正文標(biāo)題。實(shí)驗(yàn)結(jié)果證明，這種方法對于網(wǎng)頁標(biāo)題的抽取具有很高的效率。

1 Web 信息提取

通常情況，Web 網(wǎng)頁是由HTML 語言編寫而成［10］。通過對網(wǎng)頁HTML 源碼分析，將其分為主題型頁面和目錄型頁面2 種［11］。主題型頁面是指頁面中通過大量的文字對一個或多個事件進(jìn)行傳遞，比如常見的新聞網(wǎng)頁是典型的主題型網(wǎng)頁。目錄型網(wǎng)頁中超鏈接比較多且比較密集，大多數(shù)是指向其他網(wǎng)頁的鏈接，含有的文本是對所指向網(wǎng)頁的內(nèi)容概要如標(biāo)題等信息。2 種類型的頁面特點(diǎn)見表1。

表1 2 種頁面特點(diǎn)對比

目錄型網(wǎng)頁的信息抽取包括目錄標(biāo)題列表的抽取及對應(yīng)的超鏈接，標(biāo)題即為對應(yīng)超鏈接的錨文本，是所指向的主題型網(wǎng)頁的簡要介紹。主題型網(wǎng)頁的信息抽取包括很多方面，比如標(biāo)題、正文、發(fā)布時間、發(fā)布地點(diǎn)等信息的抽取。對于網(wǎng)絡(luò)中某一事件，其發(fā)布時間或發(fā)布地點(diǎn)等信息的獲取一般可以通過正則表達(dá)式直接獲得，本文不再贅述。

2 基于超鏈接和DOM 樹的網(wǎng)頁標(biāo)題抽取

目錄型網(wǎng)頁中的錨文本一般即為正文網(wǎng)頁的標(biāo)題，但也不是特別地準(zhǔn)確，有的標(biāo)題超過一定字?jǐn)?shù)網(wǎng)頁顯示不完全時會以“...”或“…”表示，為了更加準(zhǔn)確地提取正文標(biāo)題，在目錄型網(wǎng)頁抽取結(jié)果的前提下，需對正文HTML 建立DOM 標(biāo)簽樹，對DOM 標(biāo)簽樹進(jìn)行遍歷，選出有可能成為標(biāo)題的候選節(jié)點(diǎn)，根據(jù)網(wǎng)頁正文標(biāo)題的特征，進(jìn)一步確定網(wǎng)頁正文的標(biāo)題。

2.1 預(yù)處理

互聯(lián)網(wǎng)下載的網(wǎng)頁HTML 源碼，常常含有大量的噪音，如注釋、廣告等。這些噪音對于網(wǎng)頁信息的準(zhǔn)確抽取有很大的影響，所以在進(jìn)行網(wǎng)頁信息抽取之前要對下載的HTML 源碼進(jìn)行清洗，去除噪音［12］，具體去噪操作步驟如表2 所示。

表2 網(wǎng)頁去噪具體步驟

2.2 基于超鏈接的目錄型網(wǎng)頁標(biāo)題抽取

對于目錄型網(wǎng)頁，主要是要獲取主題型網(wǎng)頁的鏈接和對應(yīng)的錨文本。一般情況下，目錄型頁面中，含有大量的超鏈接，其中的新聞標(biāo)題列表是要抓取的內(nèi)容，相應(yīng)的新聞標(biāo)題前后都會包含新聞發(fā)布時間，而網(wǎng)頁中其它塊中是不具有這一特點(diǎn)的。根據(jù)這一特點(diǎn)，采用超鏈接遍歷方法對標(biāo)題進(jìn)行抽取。在對大量的網(wǎng)站進(jìn)行歸納總結(jié)后，得出一般情況下網(wǎng)頁發(fā)布時間正則表達(dá)式［13］，如表3 所示。

表3 年月日正則表達(dá)式

由于每個網(wǎng)站的編寫者不同，習(xí)慣也大不相同，新聞發(fā)布時間的格式更是有很大差別，年月日可能會加上一些日期分隔符進(jìn)行自由組合，如:2000/9/10、2000.9.10、2000-9-10、2000 年9 月10 日、9 月10 日等。本文利用正則表達(dá)式，將年月日與日期分隔符進(jìn)行自由組合，充分地包含了已發(fā)現(xiàn)的時間發(fā)布格式。在確定了網(wǎng)頁發(fā)布時間的格式后，還應(yīng)該確定發(fā)布標(biāo)題與發(fā)布時間的先后順序，這樣才能防止錯抽和漏抽。在對大量不同網(wǎng)站進(jìn)行歸納總結(jié)的基礎(chǔ)上，建立相關(guān)詞匯庫，發(fā)現(xiàn)只要上一個超鏈接的結(jié)束標(biāo)簽“/a＞”與下一個超鏈接的開始標(biāo)簽“＜a href”之間含有詞匯庫中的詞如:“下一頁”，“發(fā)布”，“公告”，“首頁”等，表明發(fā)布時間在標(biāo)題后面，反之發(fā)布時間在標(biāo)題前面。

對于目錄型網(wǎng)頁來說，標(biāo)題列表只可能存在于“＜body ＞”和“＜/body ＞”2 個標(biāo)簽對中，所以只需獲取預(yù)處理過后的這部分的HTML 源碼即可。

算法1 目錄型網(wǎng)頁標(biāo)題抽取

輸入:目錄型網(wǎng)頁URL 庫。

輸出:錨文本標(biāo)題和鏈入主題型網(wǎng)頁的超鏈接。

1)取得已清洗過的HTML 源碼。

2)計(jì)算HTML 源碼中超鏈接標(biāo)簽“＜a href”的個數(shù)，記為Count。

3)判斷Count 值是否大于0。

4)自上至下依次遍歷HTML，若標(biāo)簽“/a ＞”和“＜a herf”中間的錨文本為空，執(zhí)行3)。

5)若“/a ＞”和“＜a herf”中間沒有與預(yù)先設(shè)計(jì)好的日期正則匹配，執(zhí)行3)。

6)判斷日期與鏈接之間的先后關(guān)系。

7)提取錨文本和超鏈接。

算法1 的流程如圖1 所示。

圖1 目錄型網(wǎng)頁標(biāo)題抽取算法流程圖

上述算法得到的目錄型標(biāo)題列表并不能作為最終的正文標(biāo)題，在對大量目錄型網(wǎng)頁標(biāo)題列表進(jìn)行分析過后，將目錄型網(wǎng)頁中標(biāo)題列表中的標(biāo)題分為以下3 種情況:

1)與正文網(wǎng)頁標(biāo)題相同，標(biāo)記為標(biāo)簽Label_1;

2)與正文網(wǎng)頁標(biāo)題完全不同或者字?jǐn)?shù)少于4 個，標(biāo)記為標(biāo)簽Label_2;

3)是正文網(wǎng)頁的一部分，帶有省略號“…”或“…”，標(biāo)記為標(biāo)簽Label_3。

為了正確獲取這些實(shí)時標(biāo)題，針對Label_2 和Label_3 這2 種情況，需要通過解析其對應(yīng)的超鏈接HTML 源碼，獲取主題型網(wǎng)頁的網(wǎng)頁內(nèi)容，利用基于DOM 樹的主題型網(wǎng)頁標(biāo)題抽取算法進(jìn)行標(biāo)題的抽取。

2.3 基于DOM 樹的主題型網(wǎng)頁標(biāo)題抽取

一般來說，對于主題型網(wǎng)頁，映入眼簾的是網(wǎng)頁的正文標(biāo)題。如果把網(wǎng)頁進(jìn)行分塊處理的話，從視覺的角度來看，將頁面進(jìn)行分塊［14］，標(biāo)題與正文內(nèi)容的位置信息有3 種情況［11］，如圖2 所示。

圖2 標(biāo)題與正文內(nèi)容的位置信息示意圖

事實(shí)上，網(wǎng)頁正文標(biāo)題還具有很多其他固有的特征。為了進(jìn)一步發(fā)現(xiàn)網(wǎng)頁正文標(biāo)題的特征，通過對大量網(wǎng)頁的標(biāo)題進(jìn)行觀察，結(jié)合前輩們的研究成果［15］，總結(jié)出網(wǎng)頁標(biāo)題的3 方面特點(diǎn):

1)標(biāo)題所處位置一般位于網(wǎng)頁正文的最上端。

2)標(biāo)題的一般形式特征表現(xiàn)在網(wǎng)頁正文中最大的字，或者在顏色、字形以及標(biāo)題所處DOM 樹中節(jié)點(diǎn)的標(biāo)簽與其他網(wǎng)頁正文中其他內(nèi)容是不同的。

3)標(biāo)題的長度在分詞過后一般長度在3～30 之間，并且中間不包含逗號、句號等符號。

對主題型網(wǎng)頁HTML 源碼進(jìn)行分析，發(fā)現(xiàn)一般較為正規(guī)的主題網(wǎng)頁的標(biāo)題位于標(biāo)簽“＜title ＞”和“＜/title ＞”中［16］，但并不是完全準(zhǔn)確，有的網(wǎng)頁中的“＜title ＞”標(biāo)簽為空，相應(yīng)的也會含有一些其他文本內(nèi)容，有的網(wǎng)頁會在“＜title ＞”標(biāo)簽對中添加一些日期信息、網(wǎng)站logo 以及“_”，“/”，“-”等其他符號等［17］。這種不一致性會降低標(biāo)題抓取的準(zhǔn)確率，無法在實(shí)際使用中運(yùn)用。根據(jù)上述網(wǎng)頁正文標(biāo)題的特征，有人利用基于規(guī)則的方法［15］和基于機(jī)器學(xué)習(xí)的方法［7］來提取網(wǎng)頁正文標(biāo)題，都取得了比較好的效果。本文在上述方法的基礎(chǔ)上結(jié)合目錄型網(wǎng)頁提取的結(jié)果，對主題型網(wǎng)頁建立DOM 樹來提取網(wǎng)頁正文標(biāo)題。本文采用HtmlParser［18］工具建立網(wǎng)頁DOM樹。HtmlParser 是HTML 解析庫，能高速解析HTML網(wǎng)頁，且不會出錯，并針對Label_2 和Label_3 這2 種情況，分別進(jìn)行處理。實(shí)驗(yàn)證明這種方法能夠取得較高的準(zhǔn)確率，滿足實(shí)際的需求。具體算法流程如下:

算法2 主題型網(wǎng)頁標(biāo)題抽取

輸入:URL 鏈接:Weburl;錨文本:TitleText;錨文本的標(biāo)簽值。

輸出:網(wǎng)頁正文標(biāo)題候選隊(duì)列。

1)根據(jù)目錄型網(wǎng)頁獲取的URL 獲取主題型網(wǎng)頁HTML 源碼并預(yù)處理。

2)判斷是否為主題型網(wǎng)頁，不是則結(jié)束。

3)判斷URL 標(biāo)簽類型，若為Label_2 執(zhí)行5);若為Label_3 則執(zhí)行4)。

4)對HTML 中“＜body ＞”和“＜/body ＞”遞歸建立網(wǎng)頁DOM 樹，執(zhí)行6)。

5)對HTML 源碼建立DOM 樹，獲取“＜title ＞”與“＜/title ＞”標(biāo)簽對中內(nèi)容，賦值給TitleText。

6)按照深度優(yōu)先方式遍歷DOM 樹各節(jié)點(diǎn)，若節(jié)點(diǎn)含有文本片段，且其與TitleText 內(nèi)容的共現(xiàn)度大于80%，則將該文本內(nèi)容加入標(biāo)題候選隊(duì)列ListQue，并記錄其對應(yīng)的特征標(biāo)簽值及共現(xiàn)度值。

7)對ListQue 隊(duì)列按照共現(xiàn)度值的大小，進(jìn)行排序。

算法2 的程序流程見圖3。

圖3 主題型網(wǎng)頁標(biāo)題抽取算法流程圖

對于獲取的文本片段序列進(jìn)行預(yù)處理，去除一些不符合網(wǎng)頁正文標(biāo)題特征的文本片段。然后依次遍歷剩余的各個文本片段，判斷其是否滿足前述網(wǎng)頁標(biāo)題中部分特征，不滿足，則從隊(duì)列中刪除。若最后候選標(biāo)題個數(shù)大于1 個，則選擇標(biāo)題長度最小的那個作為最終的標(biāo)題。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)程序，在.NET Framwork3.5 平臺下，使用Visual Studio 2008 開發(fā)工具，采用C#編程語言實(shí)現(xiàn)，數(shù)據(jù)庫版本為SqlServer2008。

3.2 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)源主要來自人民網(wǎng)、網(wǎng)易新聞、騰訊新聞、中國新聞網(wǎng)、中華人民共和國中央人民政府網(wǎng)、安徽大學(xué)新聞網(wǎng)、合肥工業(yè)大學(xué)新聞網(wǎng)、中國科學(xué)技術(shù)大學(xué)新聞網(wǎng)以及安徽省內(nèi)各市縣級政府門戶網(wǎng)共82個網(wǎng)站。因?yàn)槊總€網(wǎng)站的結(jié)構(gòu)是相同的，所以每個網(wǎng)站只選取一個目錄型網(wǎng)頁，這些網(wǎng)頁主題涉及社會、軍事、財(cái)經(jīng)、IT、教育、體育、娛樂以及招標(biāo)公告、政務(wù)新聞、校園新聞公告等，共有所需標(biāo)題2175 條。數(shù)據(jù)覆蓋性較廣，保證了算法的適用性。

3.3 網(wǎng)頁標(biāo)題抽取實(shí)驗(yàn)

對數(shù)據(jù)庫中每個目錄型網(wǎng)頁依次下載其HTML源碼，并進(jìn)行去噪，按照算法1 進(jìn)行目錄型網(wǎng)頁錨文本與正文鏈接提取，若算法1 提取出來的標(biāo)題被標(biāo)記為Label_2 或者Label_3 的情況，利用主題型網(wǎng)頁抽取算法，即算法2，進(jìn)一步進(jìn)行標(biāo)題的抽取。最后將抽取到的標(biāo)題信息進(jìn)行整合。具體的實(shí)驗(yàn)結(jié)果如表4 所示。

表4 實(shí)驗(yàn)結(jié)果

3.4 實(shí)驗(yàn)結(jié)果分析

因?yàn)橛械木W(wǎng)頁關(guān)鍵內(nèi)容是隱藏起來的，所以通過HTML 源碼分析的方式是獲取不到的。在上述的2175 條標(biāo)題中，被隱藏的標(biāo)題數(shù)為150 條，漏檢的標(biāo)題數(shù)為14 條，總體的準(zhǔn)確率為92.46%。如果去掉信息被隱藏的網(wǎng)站，準(zhǔn)確率為99.36%。實(shí)驗(yàn)中出現(xiàn)多余提取的原因是有的網(wǎng)站在網(wǎng)頁的左側(cè)或右側(cè)有文章列表，這些列表前后也恰巧包含了時間信息，或者在網(wǎng)頁的導(dǎo)航欄下方有滾動標(biāo)題，也包含了時間信息。所以在通過HTML 進(jìn)行標(biāo)題提取的時候，這些標(biāo)題也會被抽取出來。

4 結(jié)束語

本文提出的基于超鏈接和網(wǎng)頁DOM 結(jié)構(gòu)樹的網(wǎng)頁標(biāo)題抽取方法能夠取得較高的準(zhǔn)確率，數(shù)據(jù)源來自各個不同的網(wǎng)站，表明算法具有很好的適用性，完全可以在日常使用中運(yùn)用。文中存在以下2 方面問題尚未解決:有的網(wǎng)頁內(nèi)容是隱藏的，在HTML 中未能顯示出來，這部分的網(wǎng)頁是獲取不到的，無法進(jìn)行標(biāo)題的抽取;而有的網(wǎng)頁的其他塊中也存在著標(biāo)題加發(fā)布時間的這種格式，會對標(biāo)題抽取的結(jié)果造成影響，比如會出現(xiàn)多余提取的現(xiàn)象。下一步將繼續(xù)研究當(dāng)網(wǎng)頁內(nèi)容被隱藏后，如何獲取網(wǎng)頁內(nèi)容;屏蔽除了正文塊中的其他塊的影響，以達(dá)到更好的標(biāo)題抽取效果。

［1］楊春磊，劉念唐，林雨，等.面向領(lǐng)域的Web 文本結(jié)構(gòu)化分析［J］.合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版)，2013，36(3):309-314.

［2］胡凌云，胡桂蘭，徐勇，等.基于Web 的新聞文本分類技術(shù)的研究［J］.安徽大學(xué)學(xué)報(bào)(自然科學(xué)版)，2010，34(6):66-70.

［3］張引，陳敏，廖小飛.大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望［J］.計(jì)算機(jī)研究與發(fā)展，2013，50(Suppl):216-233.

［4］陸余良，房珊瑤，劉金紅，等.Deep Web 站點(diǎn)分類研究進(jìn)展［J］.安徽大學(xué)學(xué)報(bào)(自然科學(xué)版)，2010，34(1):103-108.

［5］王強(qiáng)，關(guān)毅，王曉龍.基于標(biāo)題類別語義識別的文本分類算法研究［J］.電子與信息學(xué)報(bào)，2007，29(12):2885-2890.

［6］Xue Yewei，Hu Yunhua，Xin Guomao，et al.Web page title extraction and its application［J］.Information Processing and Management，2007，43(5):1332-1347.

［7］朱青，呂曉旭.基于機(jī)器學(xué)習(xí)的HTML 標(biāo)題抽?。跩］.微計(jì)算機(jī)信息，2010，26(3):15-16，11.

［8］李國華，昝紅英.基于相似度的網(wǎng)頁標(biāo)題抽取方法［J］.中文信息學(xué)報(bào)，2011，25(2):32-37.

［9］Fan Jian，Luo Ping，Joshi P.Title identification of Web article pages using HTML and visual features［C］// Proceedings of the International Society for Optical Engineering，2011.2011，7879.

［10］李軍，陳君，王玲芳，等.一種垂直頁面分割與信息提取方法的研究［J］.計(jì)算機(jī)應(yīng)用研究，2013，30(3):844-847，852.

［11］黃玲，陳龍.基于網(wǎng)頁分塊的正文信息提取方法［J］.計(jì)算機(jī)應(yīng)用，2008，28(S2):326-328.

［12］周建，湯進(jìn)，羅斌.基于DOM 結(jié)構(gòu)樹的網(wǎng)頁正文信息分段方法［J］.計(jì)算機(jī)與現(xiàn)代化，2013(10):229-232.

［13］胡軍偉，秦奕青，張偉.正則表達(dá)式在Web 信息抽取中的應(yīng)用［J］.北京信息科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2011，26(6):86-89.

［14］張乃洲，曹薇，李石君.一種基于節(jié)點(diǎn)密度分割和標(biāo)簽傳播的Web 頁面挖掘方法［J］.計(jì)算機(jī)學(xué)報(bào)，2015，38(2):349-364.

［15］劉建華，張智雄，謝靖，等.基于規(guī)則的網(wǎng)絡(luò)文本資源標(biāo)題快速自動識別方法［J］.現(xiàn)代圖書情報(bào)技術(shù)，2011(6):27-31.

［16］羅永蓮，趙昌垣.突發(fā)事件新聞標(biāo)題與正文提取方法［J］.計(jì)算機(jī)應(yīng)，2014，34(10):2865-2868，2873.

［17］王海潮.基于網(wǎng)頁結(jié)構(gòu)的信息抽取關(guān)鍵技術(shù)研究［D］.廣州:華南理工大學(xué)，2011.

［18］Jericho HTML Parser.Jericho HTML Parser［EB/OL］.http://jericho.htmlparser.net/docs/index.html，2015-03-10.