左家莉，王明文，吳水秀，萬劍怡

(江西師范大學(xué) 計(jì)算機(jī)信息工程學(xué)院，江西 南昌 330022)

結(jié)合句子級(jí)別檢索的信息檢索模型

左家莉，王明文，吳水秀，萬劍怡

(江西師范大學(xué) 計(jì)算機(jī)信息工程學(xué)院，江西 南昌 330022)

查詢?cè)~之間的距離較為接近的文檔，相關(guān)的可能性更大，將這種距離信息用于信息檢索模型的構(gòu)造可有效提高檢索的性能。然而直接估計(jì)查詢?cè)~在文檔中的距離需要大量的訓(xùn)練文本，且計(jì)算復(fù)雜度高。該文提出了一種結(jié)合句子級(jí)別檢索的信息檢索模型，將文檔分為若干個(gè)窗口，通過計(jì)算句子和查詢的相關(guān)度考察查詢?cè)~在給定窗口中的共現(xiàn)性，該方法可增大那些查詢?cè)~彼此靠近的文檔的相關(guān)度，從而使得檢索模型可返回更為相關(guān)的文檔。標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明所提出的模型可以取得較好的性能。

信息檢索模型；句子級(jí)別檢索，句子相關(guān)度

1 引言

隨著因特網(wǎng)的快速發(fā)展和全球化進(jìn)程的加快，互聯(lián)網(wǎng)信息資源呈爆炸式的增長。信息檢索也因此成為應(yīng)對(duì)海量信息挑戰(zhàn)的關(guān)鍵技術(shù)，為人們有效利用網(wǎng)絡(luò)信息起著至關(guān)重要的作用，在最近幾十年里得到了眾多關(guān)注和長足的發(fā)展。信息檢索模型作為信息檢索領(lǐng)域的核心問題，直接決定信息檢索的性能，也是研究者們關(guān)注的焦點(diǎn)。近年來，很多經(jīng)典的信息檢索模型，諸如布爾模型[1]、向量空間模型[2-5]、經(jīng)典概率模型[6-10]、統(tǒng)計(jì)語言模型[11-13]等，已有成熟的研究和應(yīng)用。盡管如此，若想要提高用戶滿意度，仍需改進(jìn)檢索模型，以獲得更好的檢索結(jié)果。

本質(zhì)而言，信息檢索的目標(biāo)在于盡可能將相關(guān)文檔返回給用戶，并使得相關(guān)度大的文檔排序靠前?，F(xiàn)有的模型大多基于索引項(xiàng)詞頻tf與逆文檔頻率idf[13-14]，并結(jié)合文檔長度等信息[14]，通過計(jì)算文檔和查詢之間的匹配程度，獲得計(jì)算文檔和查詢之間的相關(guān)度，并按照相關(guān)度大小對(duì)文檔進(jìn)行排序。在實(shí)際的應(yīng)用中，常常會(huì)出現(xiàn)類似這樣的狀況：一些文檔由于包含相同數(shù)量的查詢?cè)~，且文檔長度接近，檢索模型計(jì)算文檔的相關(guān)度大小相同，然而這些文檔真實(shí)的相似度往往差別很大。原因在于，為描述信息需求，用戶會(huì)使用多個(gè)查詢?cè)~構(gòu)造查詢，由于大多數(shù)詞往往含有多個(gè)語義，某個(gè)查詢?cè)~在文檔中的語義和其在查詢中的語義可能并不一致，而傳統(tǒng)的檢索模型會(huì)因?yàn)槲臋n包含了查詢?cè)~而將其判為相關(guān)，這使得一些不相關(guān)文檔被判為相關(guān)返回給用戶，降低了檢索的精度。若要直接分析詞的語義，將語義信息加入至檢索模型，會(huì)增加檢索模型的復(fù)雜度，且語義信息并不易于處理，反而有可能影響檢索的性能。

正如一些研究者所言：相關(guān)文檔是那些包含所有查詢項(xiàng)，且查詢項(xiàng)彼此緊密相連的文檔[14]。也即，查詢?cè)~出現(xiàn)更為緊密的文檔，換而言之，查詢?cè)~之間距離更為接近的文檔，其與查詢相關(guān)的可能性更大。實(shí)際上，基于語言學(xué)的角度，我們知道詞語會(huì)因?yàn)楸舜酥g的特殊相連而影響其各自的語義，若兩個(gè)或多個(gè)查詢?cè)~在某篇文檔中出現(xiàn)較為緊密，則這些查詢?cè)~在文檔中的語義也應(yīng)較為相關(guān)，并且，與其在查詢中的語義一致的可能性會(huì)加大，那么文檔與查詢相關(guān)的可能性也就更大。因而，查詢?cè)~在文檔中的位置信息有助于檢索模型獲得更為準(zhǔn)確的相關(guān)性判斷。

已有一些研究將查詢?cè)~之間的位置關(guān)系應(yīng)用到統(tǒng)計(jì)語言模型中，其主要的處理方法是在建模時(shí)估計(jì)查詢?cè)~之間的位置關(guān)系。上述檢索模型由于考慮了查詢?cè)~在文檔中的位置關(guān)系，檢索的性能得到了提升[15-16]。然而，其需要估計(jì)的參數(shù)太多，往往需要大量的訓(xùn)練文檔集，且計(jì)算復(fù)雜度高。

本文提出了一種結(jié)合句子級(jí)別檢索的信息檢索模型，該模型不直接估計(jì)查詢?cè)~之間的位置關(guān)系。而是采用另一種方式，將文檔分為若干個(gè)窗口，考察查詢?cè)~在給定窗口中的共現(xiàn)性，來加權(quán)文檔與查詢的相關(guān)度。本文將窗口的大小設(shè)定為句子，計(jì)算每個(gè)句子和查詢的相關(guān)度，并將其加入至檢索模型中，文檔中查詢?cè)~彼此靠近，則其句子和查詢非常相關(guān)，模型可使得該文檔的相關(guān)度更大。這種方式計(jì)算簡單且易于實(shí)現(xiàn)。

論文按以下幾個(gè)部分展開，第二部分介紹論文的主要思想；第三部分是句子的相關(guān)度計(jì)算方法；第四部分介紹本文提出的結(jié)合句子級(jí)別檢索的信息檢索模型；第五部分是實(shí)驗(yàn)和結(jié)果分析；第六部分進(jìn)行總結(jié)和展望。

2 相關(guān)研究

信息檢索模型的目的是根據(jù)用戶的查詢從文檔集合中檢索出相關(guān)文檔返回給用戶。檢索模型需計(jì)算查詢和文檔的相關(guān)度，盡可能返回相關(guān)文檔。為提高檢索性能，文獻(xiàn)[15]中提出了位置語言模型，將查詢?cè)~之間位置信息加入至語言模型中。其具體思路是估計(jì)文檔D中的位置i出現(xiàn)詞w的概率p(w|D,i)。最為簡單的p(w|D,i)估計(jì)方法是使用頻率方法：將詞w在位置i出現(xiàn)的次數(shù)記為c(w,i)除以位置i上所有詞w出現(xiàn)的總次數(shù)。

最為關(guān)鍵是獲得c(w,i)，若c(w,i)僅取0和1用于表示詞w在位置i出現(xiàn)與否，則過于簡單和粗糙，為獲得更好的檢索結(jié)果，文獻(xiàn)[15]修正了對(duì)c(w,i)的計(jì)算，具體的計(jì)算基于：(1)若詞w文檔D中位置j也出現(xiàn)，則詞w在位置i的出現(xiàn)次數(shù)要小于1； (2)文檔D中與位置i最為越近的位置j，其對(duì)位置i的“貢獻(xiàn)次數(shù)”應(yīng)該越大，權(quán)重函數(shù)k(i,j)被用來度量位置j對(duì)于位置i的貢獻(xiàn)，若位置j與位置i越接近，k(i,j)取值就越大。由于k(i,j)的計(jì)算是基于詞與詞的位置關(guān)系計(jì)算，未考慮詞與詞之間的語義關(guān)系?；诖?，文獻(xiàn)[16]提出了一種結(jié)合語義的位置語言模型，利用互信息來度量詞與詞的語義關(guān)系。上述模型由于考慮了詞之間的位置關(guān)系，取得了較好的結(jié)果，但是均需要大量的訓(xùn)練文檔，計(jì)算復(fù)雜度較高。

3 句子相關(guān)度模型

3.1 本文思想

給定某個(gè)查詢，相關(guān)文檔中查詢?cè)~應(yīng)靠近彼此，也即這些查詢?cè)~在相關(guān)文檔中應(yīng)集中出現(xiàn)，若將文檔分為若干個(gè)窗口，則查詢?cè)~應(yīng)在這些特定窗口中同時(shí)出現(xiàn)?；谏鲜鏊枷?，考察查詢?cè)~之間的位置關(guān)系，可轉(zhuǎn)化為考察查詢?cè)~在給定窗口中的共現(xiàn)性。若某篇文檔中存在多個(gè)查詢?cè)~在給定窗口中同時(shí)出現(xiàn)，則查詢?cè)~在該文檔中的位置彼此靠近，其為相關(guān)文檔的可能性就會(huì)增大。

由于句子可表達(dá)完整的意思，同一個(gè)句子中出現(xiàn)的詞存在著較強(qiáng)的語義關(guān)系。前期工作中，我們發(fā)現(xiàn)查詢?cè)~在句子中的共現(xiàn)性可有助于提高檢索的性能[17,18]，因而本文選取句子作為窗口，構(gòu)造結(jié)合句子級(jí)別檢索的檢索模型。首先構(gòu)建句子相關(guān)度模型計(jì)算句子與查詢之間的相關(guān)度，以度量查詢?cè)~在文檔中的共現(xiàn)度。進(jìn)一步結(jié)合傳統(tǒng)的文檔相關(guān)度模型，構(gòu)建基于句子的文檔相關(guān)度模型。

3.2 句子相關(guān)度模型

首先需要構(gòu)造句子相關(guān)度模型Score(Q,S)，以度量查詢?cè)~在句子中的共現(xiàn)度。句子中包含查詢?cè)~，則句子與查詢相關(guān)，句子中包含的查詢?cè)~的數(shù)量越多，該文檔與查詢的相關(guān)性就越大。我們通過式(1)來計(jì)算句子與查詢的相關(guān)度：

(1)

其中：

(2)

3.3 基于句子的文檔相關(guān)度模型

獲得句子相關(guān)度Score(Q,S)之后，就可構(gòu)造基于句子的文檔相關(guān)度模型Scoresen(Q,D)，本文構(gòu)造了以下三種模型。

3.3.1 模型1

(3)

模型1將文檔中每個(gè)句子的Score(Q,S)進(jìn)行累加獲得Scoresen(Q,D)，可加強(qiáng)那些包含多個(gè)查詢?cè)~的文檔的相關(guān)度。

3.3.2 模型2

Scoresen(Q,D)=

(4)

Scoresen(Q,D)=

(5)

模型1可能會(huì)使得某些長文檔獲得較高的相關(guān)度，為消除文檔長度的影響，本文構(gòu)造了模型2，分別將文檔的句子個(gè)數(shù)和相關(guān)句子的個(gè)數(shù)作為長度因子加入至模型中。

3.3.3 模型3

(6)

模型3取一篇文檔中的最大Score(Q,S)作為Scoresen(Q,D)，即我們希望在相關(guān)文檔中，查詢?cè)~盡可能集中出現(xiàn)在某些句子中。

上述模型中，模型2將文檔的句子個(gè)數(shù)作為長度因子，可以避免一些長文檔獲得較高的相關(guān)度；而將相關(guān)句子的個(gè)數(shù)作為長度因子，會(huì)使得查詢?cè)~集中出現(xiàn)的文檔的相關(guān)度更大。而模型3只在文檔中存在某個(gè)句子包含了多個(gè)查詢?cè)~的情況下，才會(huì)使得該文檔具有較大的Scoresen(Q,D)值。

4 結(jié)合句子級(jí)別檢索的信息檢索模型

考慮到傳統(tǒng)的文檔級(jí)別的檢索模型已取得了較好的性能，且僅使用Scoresen(Q,D)度量文檔的相關(guān)度不一定能確保相關(guān)文檔被檢出，因而本文構(gòu)造的基于句子級(jí)別檢索的信息檢索模型，是在傳統(tǒng)的檢索模型的基礎(chǔ)上，加入了句子相關(guān)度Scoresen(Q,D)。

本文的文檔相關(guān)度模型Score(Q,D)將包含兩部分：經(jīng)典的文檔級(jí)別的相關(guān)度Scoredoc(Q,D)和句子級(jí)別的文檔相關(guān)度Scoresen(Q,D)。

(7)

式(7)中λ1+λ2=1。公式表明，若在某篇文檔中，查詢?cè)~在句子中的共現(xiàn)度較大，則模型會(huì)給予這些文檔更大的相關(guān)度。實(shí)驗(yàn)部分我們將考察Scoresen(Q,D)和Scoredoc(Q,D)對(duì)檢索結(jié)果的影響。

5 實(shí)驗(yàn)

5.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

本文在標(biāo)準(zhǔn)數(shù)據(jù)集Med、Cran和Cisi上進(jìn)行實(shí)驗(yàn)。其中，Med為醫(yī)學(xué)數(shù)據(jù)集，包含1 033篇文檔、8 567個(gè)詞和30個(gè)查詢，Cran為航空數(shù)據(jù)集，包含1 398篇文檔、4 873個(gè)詞和223個(gè)查詢，Cisi為圖書館科學(xué)數(shù)據(jù)集，包含1 460篇文檔，5 254個(gè)索引項(xiàng)和76個(gè)查詢。我們對(duì)數(shù)據(jù)集進(jìn)行了預(yù)處理，提取每篇文檔中的