繆俊芳

（河源廣播電視臺(tái)，廣東河源 517000）

話題檢測是一項(xiàng)信息處理技術(shù)，它所關(guān)心話題是某個(gè)具體事件。其目標(biāo)在于對新話題進(jìn)行檢測，然后對后續(xù)報(bào)道進(jìn)行收集。隨著互聯(lián)網(wǎng)飛速發(fā)展，話題線索往往會(huì)散布在各類網(wǎng)絡(luò)平臺(tái)上，而不同網(wǎng)絡(luò)平臺(tái)線索特征不同，傳統(tǒng)新聞文本檢測方法不能完全適用于各網(wǎng)絡(luò)平臺(tái)，需用詞性檢測方法來適應(yīng)現(xiàn)代網(wǎng)絡(luò)發(fā)展。

1 詞性標(biāo)注與數(shù)據(jù)處理

1.1 詞性標(biāo)注

進(jìn)行實(shí)驗(yàn)需選取相對權(quán)威的標(biāo)注集，目前我國比較權(quán)威的詞性標(biāo)注集主要有北京大學(xué)、復(fù)旦大學(xué)以及中國科學(xué)院的文本詞性標(biāo)注集。根據(jù)收集的數(shù)據(jù)情況，本文選取的是復(fù)旦大學(xué)漢語文本詞性標(biāo)注集。然后，需用此標(biāo)注集標(biāo)注微博語料與新聞?wù)Z料?；诿麑?shí)體自身特征，本文將其標(biāo)記為特殊詞性。微博中常用特殊符號有“@”等，為了探究這些符號對話題檢測是否有影響，本文也將這一類符號作為特殊詞性特征。細(xì)分詞性有利于文本深層處理，但是詞性特征過細(xì)也會(huì)影響話題檢測，因而本文處理合并了以上詞性，合并后的詞性如表1所示。

1.2 處理數(shù)據(jù)過程

根據(jù)實(shí)驗(yàn)?zāi)康?，主要選取新聞和微博兩個(gè)數(shù)據(jù)集作為研究對象。新聞數(shù)據(jù)集來自于搜狗實(shí)驗(yàn)室，新聞篇數(shù)為953，其中108個(gè)話題經(jīng)過了人工標(biāo)記。微博數(shù)據(jù)集主要來自數(shù)據(jù)堂，微博篇數(shù)為4 257，其中16個(gè)話題被人工標(biāo)記。新聞?wù)Z料選用搜狐2008年版本中特別版相關(guān)數(shù)據(jù)進(jìn)行研究，從而構(gòu)建新聞數(shù)據(jù)集，數(shù)據(jù)集只包含文本內(nèi)容。微博語料對2013年8月6日到19日的微博數(shù)據(jù)進(jìn)行了收集，預(yù)處理過程中，對微博正文所有內(nèi)容進(jìn)行了保留，然后對各條微博進(jìn)行標(biāo)記。

表1 合并后的復(fù)旦大學(xué)漢語文本詞性標(biāo)注集

完成語料預(yù)處理后，實(shí)驗(yàn)根據(jù)以上兩種語料特點(diǎn)，構(gòu)建了2個(gè)詞性空間。進(jìn)行數(shù)據(jù)處理首先需利用FudanNLP對兩個(gè)數(shù)據(jù)集中每篇報(bào)道進(jìn)行分詞處理，去掉文本中的標(biāo)點(diǎn)、運(yùn)算符以及表情符，當(dāng)然，包含特殊符號的標(biāo)點(diǎn)和其他符號不能去掉，對兩個(gè)數(shù)據(jù)集的報(bào)道詞集進(jìn)行構(gòu)建。然后，需標(biāo)注報(bào)道詞集中的詞，標(biāo)注時(shí)需根據(jù)表1中合并詞性進(jìn)行。最后，按照詞性將2個(gè)語料集分成16個(gè)不同文檔集，用一種詞性來表示每個(gè)文檔中各篇報(bào)道。

2 實(shí)驗(yàn)過程以及實(shí)驗(yàn)結(jié)構(gòu)分析

2.1 詞性特征在2種數(shù)據(jù)集上分布情況

統(tǒng)計(jì)2組語料詞性結(jié)果表明名詞詞數(shù)比例在2組數(shù)據(jù)集中比例最大。對比每種詞性詞數(shù)比例可得出：數(shù)次、介詞、連詞、量詞、定位詞、助詞詞性在微博數(shù)據(jù)集上所占比例低于新聞，其他詞性詞數(shù)比例無明顯區(qū)別。單從數(shù)量分析，各個(gè)詞性在單一網(wǎng)絡(luò)數(shù)據(jù)集所占比重與話題劃分后的平均詞數(shù)比例基本一致，由此可見，詞性特征分布不隨檢測話題改變。

2.2 網(wǎng)絡(luò)話題檢測性能評價(jià)方法

本文對話題進(jìn)行檢測采用的是經(jīng)典聚類算法。為了保證實(shí)驗(yàn)數(shù)據(jù)相對準(zhǔn)確，設(shè)定了108個(gè)新聞文檔集類聚個(gè)數(shù)，16個(gè)微博文檔集類聚個(gè)數(shù)。報(bào)道集中文檔被劃分到正確話題的優(yōu)劣程度是其主要評價(jià)方法。本文采用表4方法對話題檢測性能進(jìn)行評價(jià)，其中A、B、C、D表示4種情況下文檔數(shù)量。

輸出類-話題類矩陣表

根據(jù)評價(jià)需求，確定召回率（recall）、準(zhǔn)確率（precision）以及宏平均F。它們之間關(guān)系為：Recall=A/（A+C），if（A+C）>0；否則無定義。Precision=A/（A+B），if（A+B）>0；否則無定義。F=2×Recall×Precision/（Recall+Precision）

2.3 單一詞性特征對網(wǎng)絡(luò)話題檢測影響

根據(jù)前面提到的評價(jià)方法可以計(jì)算出召回率，準(zhǔn)確率和F值，得出新聞與微博話題檢測會(huì)受詞性特征影響，如果只保留名詞，話題檢測效果最好。命名實(shí)體對話題檢測結(jié)果和對全部詞性進(jìn)行保留的檢測結(jié)果基本相同，但是其詞數(shù)在全部詞性所占比重僅在5%左右，因此，用命名實(shí)體檢測話題可以有效降低話題檢測特征維度。同時(shí)，動(dòng)詞對新聞話題檢測的影響比微博話題檢測影響大；量詞、數(shù)詞和時(shí)間短語對微博話題檢測的貢獻(xiàn)比新聞稍低；形容詞對微博話題檢測的貢獻(xiàn)比新聞要略高；特殊符號和網(wǎng)址可以對微博數(shù)據(jù)話題進(jìn)行區(qū)分，但是不能對區(qū)分新聞報(bào)道話題；命名實(shí)體和名詞對兩者的話題檢測貢獻(xiàn)度都較大。

根據(jù)以上分析，只選取某一種詞性作為文本詞性時(shí)，名詞對話題的區(qū)分能力最強(qiáng)，命名實(shí)體僅次于名詞。動(dòng)詞對新聞話題進(jìn)行區(qū)分的能力比對微博話題進(jìn)行區(qū)分的能力強(qiáng)，形容詞則對于微博話題的區(qū)分能力更強(qiáng)。其他詞性特征雖然也會(huì)對以上2種話題產(chǎn)生影響，但是卻遠(yuǎn)遠(yuǎn)比不上以上這4種詞性。

2.4 組合詞性特征對網(wǎng)絡(luò)話題檢測的影響

研究組合詞性對話題檢測的影響目的在于找到一組最佳詞性特征組合，在保證實(shí)驗(yàn)效果的基礎(chǔ)上，最大化降低文本特征緯度。研究組合詞性與話題檢測關(guān)系采用的方法是波士頓圖分析法，它可以顯示多種特征在不同標(biāo)準(zhǔn)下對話題的區(qū)分能力。為了找到最佳詞性組合，將選取的基準(zhǔn)詞性確立為單一詞性中研究效果最好的名詞和命名實(shí)體，將波士頓分析過程中區(qū)分能力較高的詞性與這兩種詞性進(jìn)行組合。利用哈爾濱工業(yè)大學(xué)停用詞表對將這些組合進(jìn)行停用詞處理，可得出相關(guān)檢測結(jié)果，即通常情況下，兩個(gè)詞性組合成的詞組對話題的區(qū)分能力比單一詞性強(qiáng)，但效果不明顯，但兩兩組合詞性區(qū)分話題能力又不如多組詞性組合。

通過以上研究可得出如下結(jié)論：選取詞性組合檢測話題，名詞或命名實(shí)體、時(shí)間短語、量詞、數(shù)詞以及形容詞的組合對新聞話題檢測具有較好效果，而名詞或命名實(shí)體、量詞、形容詞、數(shù)詞以及特殊符號與網(wǎng)址的組合對微博語料的檢測效果較好。

3 結(jié)束語

綜上所述，無論是單一詞性還是組合詞性都會(huì)在一定程度上對新聞和微博這兩類網(wǎng)絡(luò)話題的檢測結(jié)果造成影響，但是不同詞性以及不同詞性組合對其造成影響的程度又不同。

[1]崔瑞飛，于洪濤，楊赟，等.基于評論樹的微博社區(qū)熱門話題檢測方法[J].計(jì)算機(jī)應(yīng)用研究，2014（12）：3776-3779，3827.

[2]劉瑋，王麗宏，李銳.面向話題的微博網(wǎng)絡(luò)測量研究[J].通信學(xué)報(bào)，2013（11）：171-178.

[3]方然，苗奪謙，張志飛.一種基于情感的中文微博話題檢測方法[J].智能系統(tǒng)學(xué)報(bào)，2013（03）：208-213.