路冬媛,李秋丹

(中國科學(xué)院自動化研究所 復(fù)雜系統(tǒng)與智能科學(xué)重點實驗室,北京 100190)

1 引言

互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展使得網(wǎng)絡(luò)新聞數(shù)量呈指數(shù)級增長。用戶在享受海量信息的同時，也面臨著如何高效搜尋感興趣的新聞的困擾。因此，如何充分挖掘新聞的特性，為用戶提供更便捷的瀏覽體驗已逐漸成為新聞相關(guān)領(lǐng)域的研究熱點，有廣闊的應(yīng)用前景。目前，已有大量挖掘新聞內(nèi)容和時間信息等新聞傳統(tǒng)特性的研究[1-2]?；陉P(guān)鍵詞的檢索方式考慮新聞內(nèi)容與查詢詞的相關(guān)性，方便用戶瀏覽主題相關(guān)的新聞。新聞的時間特性也得到利用，例如網(wǎng)站上的時事新聞充分考慮新聞的時效性，便于用戶實時了解事態(tài)的最近進展。

近年來，隨著Web 2.0技術(shù)的迅猛發(fā)展，帶有用戶交互特性的網(wǎng)絡(luò)新聞網(wǎng)站日漸流行起來。以中新網(wǎng)、新浪網(wǎng)為代表的網(wǎng)站，允許用戶在閱讀新聞后投票表達(dá)自己的心情，網(wǎng)站通過對投票結(jié)果進行統(tǒng)計，進而了解該則新聞如何影響讀者的心情。這種新特性使得網(wǎng)絡(luò)新聞要素發(fā)生了很大的變化，不僅包含傳統(tǒng)的內(nèi)容要素和時間要素，還包含讀者心情要素，為用戶通過多種途徑選擇自己感興趣的新聞提供方便。例如，新浪網(wǎng)提供心情中心*http://news.sina.com.cn/society/moodrank/index.shtml，滿足用戶分心情瀏覽新聞的需求。然而，基于用戶投票的新聞心情分類需要耗費較長時間，使得研究自動的心情分析方法十分必要。文本情感分析方法是近年來興起的一個研究方向[3-9]。在新聞領(lǐng)域，文獻(xiàn)[10]分析新聞中的情感，利用機器學(xué)習(xí)的方法將新聞分為正面新聞和負(fù)面新聞；文獻(xiàn)[11]中作者認(rèn)為，雖然新聞本身是對事實的客觀陳述，但是讀者的情緒會受到新聞內(nèi)容的影響。因此，在對新聞的相關(guān)研究中考慮讀者心情是必要的。因此文獻(xiàn)[12]的作者提出一種基于有序?qū)p失最小化(Pairwise loss minimization)的讀者心情排序方法，將一則新聞引起讀者的多種心情進行排序。

然而，目前的新聞檢索多針對新聞的傳統(tǒng)特性，這些方法雖然可以方便用戶便捷地瀏覽主題相關(guān)的新聞，但卻忽略了用戶在檢索新聞時對心情因素的要求?；谏鲜龇治?，本文在已有工作的基礎(chǔ)上，研究同時考慮讀者心情、新聞內(nèi)容和時間信息的新聞推送方法，并基于該方法設(shè)計了一個考慮讀者心情因素的新聞推送系統(tǒng)，方便用戶瀏覽感興趣的新聞。該方法首先依據(jù)查詢詞過濾內(nèi)容不相關(guān)新聞；然后根據(jù)心情具有負(fù)相關(guān)性的特點，利用加入負(fù)關(guān)聯(lián)約束的半監(jiān)督排序算法，計算新聞與特定心情的相關(guān)性；接著度量查詢詞與新聞內(nèi)容的相關(guān)性；最后在綜合考慮心情相關(guān)性和內(nèi)容相關(guān)性的同時，融合新聞時效性的漂移特點，實現(xiàn)一種全新的新聞推送模式。本文通過實驗驗證了依據(jù)讀者心情的新聞排序算法的有效性，并結(jié)合實例展示了新聞推送系統(tǒng)在幫助用戶瀏覽感興趣的新聞時具有很好的效果。

本文結(jié)構(gòu)安排如下： 第2節(jié)概要介紹新聞推送方法的實現(xiàn)流程，第3節(jié)詳細(xì)介紹該方法的核心部分新聞排序方法的實現(xiàn)步驟，第4節(jié)給出心情排序算法的實驗結(jié)果分析及新聞推送系統(tǒng)的實現(xiàn)。

2 新聞推送方法流程

圖1展示了新聞推送方法的流程圖。由圖中可以看出，該方法主要由索引構(gòu)建模塊、新聞排序模塊和用戶交互模塊三部分組成。

圖1 新聞推送方法流程圖

本文利用Lucene*Apache軟件基金會Jakarta項目組的一子項目[13]為網(wǎng)絡(luò)新聞建立索引，當(dāng)用戶輸入查詢詞并選擇心情，該方法將利用索引結(jié)果從新聞源中抽取包含查詢詞的網(wǎng)絡(luò)新聞，作為新聞排序方法的輸入?？紤]讀者心情因素的新聞排序方法是新聞推送方法的核心部分。其中心情相關(guān)性度量根據(jù)用戶輸入的心情，計算每則新聞引起讀者該種心情的強弱；主題相關(guān)性度量則根據(jù)用戶輸入的關(guān)鍵詞，計算每則新聞與該關(guān)鍵詞的主題相關(guān)程度；綜合排序機制在將以上兩種度量值進行線性綜合的基礎(chǔ)上，考慮新聞重要性的時間漂移，即在考慮主題相關(guān)及心情相關(guān)的同時考慮時間對新聞的影響。最終的排序結(jié)果返回給用戶，從而為用戶推送綜合考慮讀者心情、新聞內(nèi)容和時間信息的新聞。

3 新聞排序方法

3.1 讀者心情相關(guān)性度量

心情相關(guān)性度量新聞引起讀者某類心情的強弱，本文利用已帶有讀者心情標(biāo)注的新聞作為訓(xùn)練集，采用一種改進的基于半監(jiān)督的機器學(xué)習(xí)方法，計算新聞的心情值。

3.1.1 特征抽取

借鑒Chen在文獻(xiàn)[11]中使用的特征抽取方法，抽取新聞內(nèi)容的三種特征：

基本特征： 利用計算技術(shù)研究所的開源中文分詞軟件ICTCLAS*http://ictclas.org/index.html將新聞內(nèi)容進行分詞，每則新聞被表示成若干詞語的集合。全部新聞的所有詞語構(gòu)成一個詞表，將每則新聞映射到詞表上構(gòu)成n維向量News={t1,t2, ...tn}，其中ti表示第i個詞語在該則新聞中出現(xiàn)的頻率，n表示詞表的長度。

相似性特征： 相似性特征包含前綴相似性和后綴相似性，本文以后綴相似性特征的計算方法為例進行說明，前綴相似性特征的計算方法類似。后綴相似性是指將兩個句子從句尾開始逐字比較，最長的共有字符串的長度作為后綴相似性值C(s1,s2)。后綴相似性特征的計算方法如下：

(1)

其中suffixi(s)表示句子s在心情ei上的后綴相似性特征；sk表示訓(xùn)練集中的第k句，Weight(sk,ei)表示sk在心情ei上的權(quán)值。(該權(quán)值是用戶標(biāo)注的結(jié)果，其計算方法將在實驗部分介紹)。

情感詞典特征： 在中文表達(dá)中詞語是具有實際含義的最小單位，某些詞語無需上下文便可以引起人們的某種情緒。鑒于詞語與心情之間存在某種映射關(guān)系，我們建立情感詞典，用三元組的形式儲存這種映射關(guān)系： <詞語，心情，映射權(quán)值>。映射權(quán)值利用逐點互信息[14](Pointwise Mutual Information: PMI)計算如下：

w(t,e)代表詞語t與心情e的映射權(quán)值；c(t,e)表示詞語t與心情e的共現(xiàn)頻率；P(t,e)=c(t,e)/N，N為詞語總數(shù)；P(e)=c(e)/N，c(e)為心情e出現(xiàn)的頻率；P(t)=c(t)/N，c(t)為詞語t出現(xiàn)的頻率。將每則新聞表示成詞語的集合后對每個詞語查詢情感詞典，各維心情上的映射權(quán)值分別求和得到與心情數(shù)相同維數(shù)的情感詞典特征。

3.1.2 排序算法

我們將心情與新聞的相關(guān)性度量問題描述為一個排序問題，即利用對新聞依據(jù)心情強弱進行排序，計算新聞心情相關(guān)性度量值。通過大量觀察發(fā)現(xiàn)，每則新聞引起讀者的各類心情之間并不相互獨立，某兩類心情之間會存在負(fù)關(guān)聯(lián)的關(guān)系。如圖2所示，橫軸表示隨機抽取的60則新聞，縱軸表示根據(jù)用戶心情投票統(tǒng)計的憤怒和搞笑兩類心情的權(quán)值?？梢钥闯?，憤怒權(quán)值較高處搞笑的權(quán)值較低，反之亦然。這暗示，如果某則新聞與憤怒的相關(guān)性高，則其與搞笑的相關(guān)性低。通過對大量新聞數(shù)據(jù)進行統(tǒng)計，本文定義三種存在負(fù)關(guān)聯(lián)關(guān)系的心情對：

? 憤怒←→搞笑

? 搞笑←→難過

? 感動←→無聊

圖2 60則新聞上憤怒和搞笑兩類心情的權(quán)值對比

基于Hoi等人提出的SSER(Semi-Supervised Ensemble Ranking)算法[15]，結(jié)合新聞心情要素特點，本文設(shè)計一種考慮負(fù)相關(guān)約束的排序算法，實現(xiàn)步驟如下：

步驟一： 利用訓(xùn)練集的人工標(biāo)注結(jié)果計算心情ei下的關(guān)聯(lián)矩陣Ai(Relevance Matrix)

步驟二： 求解優(yōu)化問題

(3)

εi≥0;εj≥0;γ≥0;

i=1,...,N;j=1,...,M;k=1,...,Di

步驟三： 計算讀者心情相關(guān)性

(4)

其中Emoi(nk)表示新聞nk在心情ei下的度量值，z(nk,nl) 表示有序?qū)?nk,nl>的分類結(jié)果。

3.2 主題相關(guān)性度量

新聞主題相關(guān)性根據(jù)用戶查詢詞與新聞內(nèi)容關(guān)聯(lián)性進行度量。本文采用Lucene排序的度量方法：

其中score(q,n)表示查詢詞q與新聞n的相關(guān)性度量值；q表示一次查詢，其中可以包含一個或多個查詢詞{ti}；co(q,n)計算新聞n中包含查詢詞的個數(shù)，即當(dāng)一次查詢包含多個查詢詞時，新聞n中包含的t越多co(q,n)值越高；tf(t)表示n中t出現(xiàn)的詞頻；idf(t)表示反轉(zhuǎn)文檔頻率；Boost(t.field)表示t出現(xiàn)的領(lǐng)域權(quán)重(本文包含題目和內(nèi)容兩個領(lǐng)域，題目域的權(quán)值高于內(nèi)容域的權(quán)值)；IN(t.field)是標(biāo)準(zhǔn)化因子。

3.3 綜合排序機制

融合讀者心情因素的新聞推送機制應(yīng)滿足如下要求： 1)根據(jù)用戶選擇的心情，與此心情越相關(guān)的新聞權(quán)值越高，即排序應(yīng)越靠前；2)根據(jù)用戶輸入的查詢詞，與此查詢詞內(nèi)容越相關(guān)的新聞權(quán)值越高；3)時效性是新聞的重要特性之一，由于人們往往更關(guān)注時間較近的新聞，因此與當(dāng)前時間越近的新聞權(quán)值應(yīng)越高，排序應(yīng)越靠前。根據(jù)新聞推送機制應(yīng)滿足的要求，本文設(shè)計一種融合讀者心情因素的新聞推送方法，在讀者心情相關(guān)性度量值和新聞主題相關(guān)性度量值上綜合時間信息，計算公式如下：

其中，RW(q,ei,nk)表示用戶輸入查詢詞q并選擇心情ei時，新聞nk的綜合相關(guān)性度量值。該方法利用參數(shù)α(0～1之間)調(diào)整讀者心情相關(guān)性和新聞主題相關(guān)性所占的權(quán)重；同時假設(shè)新聞的重要程度會隨著時間增長呈指數(shù)減弱，因此引入時間衰減函數(shù)，tk-t表示新聞nk的發(fā)生時間與當(dāng)前時間的差值；β決定新聞重要程度隨時間的衰減速率。

4 實驗及結(jié)果

4.1 數(shù)據(jù)描述

實驗的語料集來源于新浪新聞網(wǎng)站的社會新聞，我們收集2009年1月～5月的新聞作為訓(xùn)練集，6月的新聞作為測試集。對每則新聞下載新聞標(biāo)題，新聞內(nèi)容，新聞時間，和讀者進行心情投票的結(jié)果。讀者心情度量方法中，本文僅利用新聞標(biāo)題信息，因為通過大量地瀏覽新聞數(shù)據(jù)發(fā)現(xiàn)，新聞標(biāo)題是對新聞內(nèi)容的高度概括，其用詞客觀準(zhǔn)確，可以排除新聞內(nèi)容中大量噪聲對分類器的影響。鑒于新浪網(wǎng)所劃分的8類心情之間存在模糊性和重疊性，本文通過對相似心情進行合并將心情分為5類，合并方式及數(shù)據(jù)集的基本信息如表1、表2所示。

表1 心情合并方式

表2 數(shù)據(jù)集數(shù)據(jù)量統(tǒng)計

利用用戶的心情投票結(jié)果對每則新聞自動進行兩種標(biāo)注： 心情類別和各類心情下的權(quán)值。前者用于建立情感詞典，后者用于訓(xùn)練改進的排序支持向量機，具體方法如下：

? 心情類別： 首先按照表1的規(guī)則合并相應(yīng)心情類別的投票數(shù)，然后將投票數(shù)最多的一類心情作為該則新聞的心情類別。

? 各類心情下的權(quán)值： 同樣先按照表1的規(guī)則合并相應(yīng)心情類別的投票數(shù)，然后綜合考慮絕對票數(shù)和相對票數(shù)計算權(quán)值：

其中，Weight(nk,ei)表示新聞nk在心情ei上的權(quán)值；votei(nk)表示新聞nk在心情ei上獲得的投票數(shù)；ξ,φ為經(jīng)驗參數(shù)，共同決定絕對票數(shù)與相對票數(shù)的權(quán)重，當(dāng)ξ取值越大、φ取值越小時，相對票數(shù)所占的權(quán)重越大，反之亦然。本文為使得絕對票數(shù)與相對票數(shù)的權(quán)重相當(dāng)，選取ξ=100,φ=10?；谠摍?quán)值，可以為數(shù)據(jù)集中的新聞依據(jù)某種心情進行全排序，排序結(jié)果用于訓(xùn)練改進的排序支持向量機。

4.2 實驗結(jié)果分析

4.2.1 評測指標(biāo)

本文采用信息檢索領(lǐng)域中廣泛使用的評價指標(biāo)NDCG@k(Normalized Discounted Cumulative Gain)[16]對算法進行評測。NDCG為排名靠前的檢索結(jié)果賦予較大的權(quán)重，因此適合作為新聞檢索結(jié)果的評價指標(biāo)。

公式中IDCG@k為查詢相關(guān)的歸一化常數(shù)，以使理想排序結(jié)果的NDCG值為1，k為待評價的檢索結(jié)果數(shù)，reli表示第i個結(jié)果的相關(guān)性值。

4.2.2 參數(shù)選擇

本文的排序算法中，有四個重要參數(shù)需要設(shè)定，分別是心情排序優(yōu)化問題中的懲罰系數(shù)c，正則化系數(shù)γ，和綜合排序機制中的權(quán)值參數(shù)α，β。

懲罰系數(shù)c和正則化系數(shù)γ共同影響心情相關(guān)性算法的性能，為獲取最佳推送結(jié)果，我們在訓(xùn)練集上使用四折交叉驗證(four-fold cross-validation)的方法，從備選值c={2-8, 2-7,...,20,...,27,28}和γ={1, 1.5, 2,...,5}中選取最優(yōu)的系數(shù)值。通過實驗發(fā)現(xiàn)，懲罰系數(shù)c的變化對算法性能的影響較小(本文選取c=1)，正則化系數(shù)γ對算法性能的影響較大。圖3所示為使用心情相關(guān)性度量算法對新聞依五類心情分別排序的平均評價結(jié)果。由于正則化系數(shù)γ決定查詢信息，即半監(jiān)督項對優(yōu)化問題作用的權(quán)重。當(dāng)γ過大時，會忽略新聞自身的特征對心情排序的影響，而當(dāng)γ過小時，則會忽略查詢信息對排序結(jié)果的影響，我們發(fā)現(xiàn)在γ=2.5處，算法取得最優(yōu)效果。因此，本文其余實驗中選取γ=2.5。

圖3 正則化系數(shù)γ對算法性能的影響

綜合排序機制中的權(quán)值參數(shù)α，β決定三種因素(讀者心情，主題相關(guān)性，時間信息)對最終新聞推送結(jié)果的影響。當(dāng)α(取0～1之間的值)取值接近1時，讀者心情相比于主題相關(guān)性占有更大的權(quán)重，相反，當(dāng)α取值接近0時，主題相關(guān)性則更重要。本文中，我們令心情因素與主題因素在最終的推送結(jié)果中所占的權(quán)重相當(dāng)，因此選取α=0.5。β決定新聞的重要程度隨時間的衰減速率，β取值越大衰減越快，本文根據(jù)經(jīng)驗選取β=2.

4.2.3 依據(jù)讀者心情的新聞排序結(jié)果分析

依據(jù)讀者心情的新聞排序算法是本文研究的重點，本節(jié)通過與三種代表性的Baseline方法進行比較，驗證算法性能。

? Baseline1： Ranking SVM文獻(xiàn)[16]是有監(jiān)督機器學(xué)習(xí)中的一類經(jīng)典算法，它將排序問題轉(zhuǎn)化為有序?qū)Φ姆诸悊栴}。

? Baseline2： SER(Supervised Ensemble Ranking)方法[15]不考慮查詢信息對結(jié)果影響，即忽略半監(jiān)督項。

? Baseline3： SSER(Semi-Supervised Ensemble Ranking)方法文獻(xiàn)[15]即為Hoi等人提出的對RSVM方法的改進方法。

在對Baseline方法的參數(shù)設(shè)定中，RSVM方法通過四折交叉驗證選取最優(yōu)的懲罰系數(shù)c=2；SER方法與SSER方法的參數(shù)選取與本文相同。表3所示為各心情下四種排序算法的結(jié)果比較。從中可以看出，本文提出的加入負(fù)關(guān)聯(lián)心情約束的排序算法優(yōu)于其他三種Baseline方法。其中，心情“搞笑”下本文的算法獲得較明顯的改進效果，心情“憤怒”下，算法較RSVM方法和SER方法改進較大，而與SSER方法相比無明顯優(yōu)勢，甚至在某些k值點不及SSER算法。通過進一步分析數(shù)據(jù)特點，我們發(fā)現(xiàn)能夠引起讀者“憤怒”情緒的新聞往往含有明顯的特征，例如含有諸如“毆打”等詞語，因此即使使用最基本的RSVM方法，相比其他心情也能獲得較理想的排序結(jié)果。而在心情“搞笑”下，新聞中則無類似的明顯特征，因此使用加入負(fù)關(guān)聯(lián)心情約束的排序算法，結(jié)果較好?？梢?，本文的排序算法對無明顯心情特征的新聞排序效果較好。此外，從實驗結(jié)果中我們還發(fā)現(xiàn)，k值較小時，本文算法有較好效果。這說明，改進的排序算法能夠更準(zhǔn)確地發(fā)現(xiàn)引起讀者強烈情感的新聞?？紤]情感之間的負(fù)相關(guān)性不僅可以提高排序精度，還可以更準(zhǔn)確地獲取情感最強烈的新聞。

表3 不同心情排序算法的NDCG結(jié)果比較

4.2.4 新聞推送結(jié)果示例

我們基于Lucene框架，利用本文提出的考慮讀者心情的新聞推送方法，搭建新聞推送系統(tǒng)平臺。圖4展示了系統(tǒng)界面并給出一個推薦實例。在該實例中，用戶希望瀏覽一些令人感動的與大學(xué)生相關(guān)的新聞。在檢索框中輸入查詢詞 “大學(xué)生”并選擇心情“感動”，系統(tǒng)推薦的新聞以超鏈接文本的形式顯示在頁面上。從結(jié)果可以看出，系統(tǒng)推薦的新聞不僅在主題上和大學(xué)生相關(guān)，而且內(nèi)容的確令人感動。為分析考慮心情因素對新聞檢索結(jié)果的影響，我們進行如下實驗，僅考慮新聞的內(nèi)容與時間信息，即令綜合排序機制中的參數(shù)α=0，則前兩則新聞為“大學(xué)生返鄉(xiāng)當(dāng)農(nóng)民，當(dāng)年收益達(dá)4萬元”、“大學(xué)生遭開除后為實施報復(fù)專偷母?！?。顯然，該推送結(jié)果無法滿足用戶查詢令人“感動”的新聞的需求。由此可見，融合心情要素的排序結(jié)果可以幫助用戶更便捷地瀏覽自己感興趣的新聞。

結(jié)束語

Web2.0技術(shù)的發(fā)展使得網(wǎng)絡(luò)新聞要素發(fā)生了很大的改變，不僅包含新聞內(nèi)容和時間，還包含心情要素等用戶交互信息。這些新聞特性為用戶通過多種途徑搜索感興趣的新聞提供方便。為了更有效地幫助用戶便捷地瀏覽新聞，本文提出一種融合讀者心情要素的新聞推送方法，該方法集成讀者心情相關(guān)性、查詢詞與新聞內(nèi)容相關(guān)性和重要程度隨時間漂移性三種新聞特性，方便用戶依據(jù)心情瀏覽主題相關(guān)的最新新聞。鑒于目前的工作主要針對社會新聞，未來工作在進一步深入測試系統(tǒng)性能的同時，將針對其他類別的新聞開展研究工作。

圖4 新聞推送實例(輸入查詢詞“大學(xué)生”，選擇心情“感動”)

[1] 宋銳，林鴻飛，楊志豪. 面向中文新聞領(lǐng)域的移動摘要系統(tǒng)[J]. 中文信息學(xué)報，2008，22(1)： 87-92.

[2] 楊偉杰，戴汝為，崔霞. 一種基于信息檢索技術(shù)的網(wǎng)絡(luò)新聞影響力分析方法[J]. 軟件學(xué)報，2009，20(9)： 2397-2406.

[3] 周立柱，賀宇凱，王建勇. 情感分析研究綜述[J]. 計算機應(yīng)用，2008，28(11)： 2725-2728.

[4] 姚天昉，程希文，徐飛玉，漢思·烏思克爾特，王睿. 文本意見挖掘綜述[J]. 中文信息學(xué)報，2008，22(3)： 71-80.

[5] 徐琳宏，林鴻飛，趙晶. 情感語料庫的構(gòu)建和分析[J]. 中文信息學(xué)報，2008，22(1)，116-122.

[6] 王素格，李德玉，魏英杰，宋曉雷. 基于同義詞的詞匯情感傾向判別方法[J]. 中文信息學(xué)報，2009，23(5)： 68-74.

[7] 朱嫣嵐，閔錦，周雅倩，黃萱菁，吳立德. 基于HowNet的詞匯語義傾向計算[J]. 中文信息學(xué)報，2006，20(1)： 14-20.

[8] 唐慧豐，譚松波，程學(xué)旗. 基于監(jiān)督學(xué)習(xí)的中文情感分類技術(shù)比較研究[J]. 中文信息學(xué)報，2007，21(6)： 88-108.

[9] K. Eguchi, V. Lavrendko. Sentiment retrieval using generative models[C]//Proceedings of Empirical Methods in Natural Language Processing (EMNLP), Sydney: 2006, 345-354.

[10] 徐軍，丁宇新，王曉龍. 使用機器學(xué)習(xí)方法進行新聞的情感自動分類[J]. 中文信息學(xué)報，2007，21(6)： 95-100.

[11] Kevin Hsin-Yih Lin, Changhua Yang, Hsin-Hsi Chen, Emotion Classification of Online News Articles from the Reader’s Perspective [C]//Proceedings of the 2008 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology, Washigton: 2008： 220-226.

[12] K. HY.Lin, H.H. Chen. Ranking reader emotions using pairwise loss minimization and emotional distribution regression [C]//Proceedings of Empirical Methods in Natural Language Processing (EMNLP), Honolulu: 2008： 136-144.

[13] Jakarta Lucene online document [EB/OL]. [2008-06-05]http://lucene.apac-he.org /.

[14] K. W. Church, P. Hanks, Word association norms, mutual information and lexicography [C]//Proceedings of the 27thAnnual Conference of the ACL, New Brunswick: 1989： 76-83.

[15] Steven C. Hoi and Rong Jin. Semi-supervised ensemble ranking[C]//Proceedings of 23rdAAAI Conference on Artificial Intelligence, Chicago: July 2008： 634-639.

[16] T. Joachims. Optimizing search engines using clickthrough data[C]//Proceedings of 8thACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Edmonton: 2002： 133-142.