楊海鋒

〔摘要〕信息檢索評(píng)價(jià)得到了學(xué)者們的廣泛研究，而從用戶認(rèn)知的角度來對(duì)其進(jìn)行研究逐漸成為學(xué)者們追捧的熱點(diǎn)。本文從用戶認(rèn)知的角度出發(fā)，借助布魯克斯提出的對(duì)數(shù)透視法思想，對(duì)目前比較常用的評(píng)價(jià)指標(biāo)進(jìn)行了改進(jìn)，將物理世界（“世界1”）中的評(píng)價(jià)指標(biāo)通過“對(duì)數(shù)尺”轉(zhuǎn)換到了“世界2”和“世界3”的精神世界，從用戶所獲取的情報(bào)量對(duì)其檢索結(jié)果進(jìn)行了評(píng)價(jià)，克服了以文獻(xiàn)數(shù)量為計(jì)量單位評(píng)價(jià)的不足。同時(shí)，通過應(yīng)用分析對(duì)其改進(jìn)的評(píng)價(jià)指標(biāo)進(jìn)行了說明。最后提出了本研究的不足和需要改進(jìn)的地方。

〔關(guān)鍵詞〕對(duì)數(shù)透視法；信息檢索；評(píng)價(jià)指標(biāo)；用戶認(rèn)知

DOI：10.3969/j.issn.1008-0821.2017.01.012

〔中圖分類號(hào)〕G252.7〔文獻(xiàn)標(biāo)識(shí)碼〕A〔文章編號(hào)〕1008-0821（2017）01-0066-05

〔Abstract〕Information retrieval evaluation has been widely researched to scholars，the research from the perspective of cognitive has gradually become a hot pursuit of the scholars.Based on logarithmic law proposed by Brooks，this paper made some changes to commonly used evaluation index，from the perspective of user cognition，change evaluation measures in material“world 1”to spiritual“world 2”and“world 3”by logarithmic law，evaluated result by information amount instead of the number of documents.At the same time，the article did a application analysis to explain the changes and pointed out the deficiency and what should do at last.

〔Key words〕logarithmic law；information retrieval；evaluation measures；user cognition

信息檢索評(píng)價(jià)得到了學(xué)者們的廣泛研究，最常用的評(píng)價(jià)指標(biāo)包括召回率、準(zhǔn)確率、P@N（Precision at rank N）、AP（Average Precision）、MAP（Mean Average Precision）、NDCG（Normalized Discount Cumulative Gain）等[1-3]。上述評(píng)價(jià)標(biāo)準(zhǔn)大多（除NDCG外）是以所檢索出文獻(xiàn)（檔）的數(shù)量作為計(jì)量單位，并在此基礎(chǔ)上形成常用的評(píng)價(jià)指標(biāo)，同時(shí)，這些評(píng)價(jià)指標(biāo)僅僅針對(duì)二元相關(guān)性，要么相關(guān)，要么不相關(guān)。NDCG方法的出現(xiàn)彌補(bǔ)了二元相關(guān)評(píng)價(jià)方法的不足，它能夠系統(tǒng)地結(jié)合文檔排序和相關(guān)性得分，可以說是對(duì)文檔滿足用戶需求的情況進(jìn)行了考慮。用戶在信息檢索過程的認(rèn)知行為是檢索評(píng)價(jià)的重要依據(jù)，但由于認(rèn)知行為的隱蔽性和不確定性，傳統(tǒng)的評(píng)價(jià)指標(biāo)對(duì)其考慮較少。因此，可從用戶認(rèn)知角度出發(fā)，對(duì)傳統(tǒng)評(píng)價(jià)指標(biāo)進(jìn)行改進(jìn)，力求最大程度衡量用戶檢索過程的滿足感。布魯克斯情報(bào)學(xué)認(rèn)知觀范式，對(duì)情報(bào)學(xué)發(fā)展起到了重要的影響推動(dòng)作用，其思想不斷地被使用、推廣、延伸和完善。通過他提出的對(duì)數(shù)透視法，我們將嘗試通過“對(duì)數(shù)尺”將物理世界的“硬”評(píng)價(jià)轉(zhuǎn)化到精神世界的“軟”評(píng)價(jià)。本文基于此展開研究，在相關(guān)研究的基礎(chǔ)上，對(duì)對(duì)數(shù)透視法理論進(jìn)行了較為全面的梳理和分析后，對(duì)傳統(tǒng)的信息檢索評(píng)價(jià)指標(biāo)進(jìn)行了改進(jìn)，并通過相關(guān)的應(yīng)用對(duì)其進(jìn)行了說明。

1相關(guān)研究

1980年，英國(guó)著名情報(bào)學(xué)家布魯克斯發(fā)表了一組《情報(bào)學(xué)的基礎(chǔ)》論文，提出了當(dāng)前情報(bào)學(xué)研究的現(xiàn)狀和特點(diǎn)，并較宏觀地介紹了一些定量性的研究方法。比如，情報(bào)學(xué)的任務(wù)是探索和組織客觀知識(shí)世界（“世界3”），提出了對(duì)數(shù)透視法、情報(bào)學(xué)基本方程等。對(duì)于對(duì)數(shù)透視法，布魯克斯指出解決物理現(xiàn)象所采用的計(jì)算方法，應(yīng)用于精神現(xiàn)象以及情報(bào)過程的定量化時(shí)要采取修正的方法，這種修正方法就是利用對(duì)數(shù)透視法來加以變換，不能簡(jiǎn)單地用物理數(shù)據(jù)來度量認(rèn)知范圍的問題，應(yīng)當(dāng)進(jìn)行相應(yīng)的變換[4]。信息檢索結(jié)果評(píng)價(jià)中，傳統(tǒng)的查準(zhǔn)率和查全率衡量指標(biāo)是布魯克斯稱之為物理現(xiàn)象采用的計(jì)算方法，它忽略了不同用戶的信息需求和滿足程度，必須進(jìn)行相關(guān)的修正。因此，嘗試將對(duì)數(shù)透視法則應(yīng)用于信息檢索結(jié)果的評(píng)價(jià)中，將可能更加客觀地衡量不同用戶主體對(duì)檢索結(jié)果的滿意程度。

關(guān)于對(duì)數(shù)透視法的應(yīng)用，學(xué)者們對(duì)其進(jìn)行了一些研究，但只是提到相關(guān)的現(xiàn)象，沒有專門以此展開討論。馬費(fèi)成在檢索系統(tǒng)的效率評(píng)價(jià)問題中指出，人的情報(bào)吸收過程呈現(xiàn)情報(bào)遞減規(guī)律，傳統(tǒng)的檢全率錯(cuò)誤地認(rèn)為每篇文檔含有等量的情報(bào)，計(jì)數(shù)文獻(xiàn)是一種客觀活動(dòng)，而情報(bào)檢索過程是人的主觀活動(dòng)和情報(bào)過程，同時(shí)舉例說明了如何使用對(duì)數(shù)透視原理對(duì)檢全率進(jìn)行了改進(jìn)[5]。馬費(fèi)成提出的情報(bào)學(xué)的6個(gè)原理中，對(duì)數(shù)透視原理便是其中重要的一條原理[6]。婁銀銀等指出，根據(jù)情報(bào)學(xué)基本方程式和對(duì)數(shù)透視法，可構(gòu)建動(dòng)態(tài)認(rèn)知的智能網(wǎng)絡(luò)信息檢索系統(tǒng)，并在保證知識(shí)含金量不變的情況下，適當(dāng)降低召回率來提高準(zhǔn)確率[7]。肖楠等分析了網(wǎng)絡(luò)環(huán)境下的對(duì)數(shù)透視原理，在基于對(duì)數(shù)透視原理的網(wǎng)絡(luò)檢索效率中指出，用戶即使只選擇100條結(jié)果集中的10條，其檢全率是50%而不是10%[8]。鄧慧敏將對(duì)數(shù)透視原理應(yīng)用于網(wǎng)絡(luò)鏈接分析中，驗(yàn)證了對(duì)數(shù)透視原理在銀行網(wǎng)站鏈接中的適用性[9]。同時(shí)，從文獻(xiàn)查閱過程發(fā)現(xiàn)，關(guān)于對(duì)數(shù)透視法在信息檢索評(píng)價(jià)中的研究相對(duì)較少，且以理論研究為主。

在一些檢索結(jié)果評(píng)價(jià)指標(biāo)的研究中，布魯克斯的對(duì)數(shù)透視法思想其實(shí)也已經(jīng)融入其中。歸一化懲罰累積增益（NDCG）評(píng)價(jià)方法，是一種多級(jí)的相關(guān)排序方法，采用了對(duì)數(shù)懲罰函數(shù)對(duì)排名較低的文檔進(jìn)行了懲罰，其實(shí)和布魯克斯對(duì)數(shù)透視原理有非常相似之處[4]，即說明不同文檔所包含的情報(bào)量不同。對(duì)于AP評(píng)價(jià)指標(biāo)的爭(zhēng)議，比如主題上的AP值不符合正態(tài)分布、邊界0～1情況、對(duì)檢索困難的主題關(guān)注較少等，Robertson[10]對(duì)AP進(jìn)行了修正，涉及到公式轉(zhuǎn)換和平滑，在GMAP（Geometric MAP）的基礎(chǔ)上提出了logAP（即lAP），同時(shí)也關(guān)注到了ltAP（即logitAP=AP1-AP）[11]，并對(duì)兩者邊界問題進(jìn)行了定義。同時(shí)又從概率的角度解決了0～1邊界問題，這里使用到了Laplace平滑，即可得到平滑后的sAP、slAP以及（yet another AP）yaAP=logit（sAP）。最后，在假設(shè)AP概率符合正態(tài)分布的基礎(chǔ)，對(duì)上述變換評(píng)價(jià)指標(biāo)進(jìn)行了卡方檢驗(yàn)，yaAP取得了較好效果。Kelly[12]認(rèn)為信息檢索評(píng)價(jià)應(yīng)該從檢索背景（包括用戶差異性、信息需求等）、人機(jī)交互、檢索性能（通過常用評(píng)價(jià)指標(biāo)衡量）、易用性（效果、效率、滿意度等）4個(gè)方面進(jìn)行考慮，常用的量化評(píng)價(jià)僅在檢索性能展開。信息量和用戶滿意度也是評(píng)價(jià)的重要指標(biāo)，信息量評(píng)價(jià)關(guān)注相關(guān)性的相對(duì)評(píng)價(jià)而不是絕對(duì)衡量，假設(shè)讓用戶從信息量遞減的順序?qū)ξ臋n進(jìn)行排序，而滿意度是用戶檢索過程中的體驗(yàn)感受，影響下次檢索過程的執(zhí)行，常通過用戶的問卷或面談獲得。文獻(xiàn)[13]對(duì)信息量在信息搜尋和檢索環(huán)境中的概念進(jìn)行了再討論，認(rèn)為信息量是以用戶為中心的概念，能對(duì)信息檢索過程的有效性進(jìn)行評(píng)價(jià)，能構(gòu)建傳統(tǒng)評(píng)價(jià)到用戶扮演重要評(píng)價(jià)角色的橋梁，并且克服了傳統(tǒng)方法中認(rèn)為排序中文檔之間獨(dú)立性假設(shè)的不足。Tague-Sutcliffe認(rèn)為，信息檢索系統(tǒng)評(píng)價(jià)應(yīng)以檢索過程的信息量來進(jìn)行衡量，提出了信息量的估量方法以及數(shù)學(xué)公式的推導(dǎo)過程，反映了面向用戶、上下文相關(guān)、對(duì)數(shù)響應(yīng)的特性，用檢索到的詞條信息量來對(duì)檢索結(jié)果排序，并指出詞條信息量的評(píng)價(jià)方法，而且這些詞條信息量滿足對(duì)數(shù)特性[14-15]。

信息檢索過程可從系統(tǒng)（算法）觀和認(rèn)知觀進(jìn)行分析[16]，系統(tǒng)觀（“世界1”）主要體現(xiàn)在Cranfield和TREC評(píng)價(jià)模型中，它在實(shí)驗(yàn)室環(huán)境中通過控制實(shí)驗(yàn)變量和重復(fù)實(shí)驗(yàn)達(dá)到結(jié)果的可靠性，這個(gè)觀點(diǎn)關(guān)注系統(tǒng)，并對(duì)用戶、用戶需求、用戶行為做了抽樣假設(shè)，為了計(jì)算方便，僅僅考慮系統(tǒng)的局部特征而整體考慮不足[12]。信息檢索用戶的認(rèn)知角度，也就是布魯克斯所提出的“世界2”和“世界3”范疇，它在現(xiàn)實(shí)操作環(huán)境進(jìn)行信息檢索研究中，認(rèn)為信息檢索過程可描述為認(rèn)知任務(wù)的信息搜索過程，交互過程涉及因素多且具有內(nèi)在的復(fù)雜性，關(guān)注用戶信息搜索和檢索、用戶信息交互、人機(jī)交互過程中的認(rèn)知活動(dòng)，認(rèn)知角度試圖對(duì)基本的信息檢索現(xiàn)象和概念做一個(gè)全面的理解，比如信息需求的本質(zhì)、認(rèn)知不一致和檢索重疊、邏輯不確定性、“文檔”的概念、相關(guān)性衡量、實(shí)驗(yàn)環(huán)境設(shè)置等，這里面更多的依賴社會(huì)學(xué)和心理學(xué)的研究方法[17-18]，它是物質(zhì)世界（系統(tǒng)或算法觀）到精神世界（認(rèn)知觀）的轉(zhuǎn)換。同時(shí)，兩種觀點(diǎn)的融合在不斷增強(qiáng)，Borlund[19]指出合并兩種觀點(diǎn)的混合方法是必要的，并繼而提出交互式信息檢索評(píng)價(jià)的框架。Ingwersen等[20]暗示兩者研究中的融合，比如評(píng)價(jià)中共同使用標(biāo)準(zhǔn)的TREC數(shù)據(jù)集，對(duì)相關(guān)性假設(shè)進(jìn)行簡(jiǎn)化等。

總之，將物質(zhì)世界的信息檢索相關(guān)方法改造移植到精神世界范疇的研究中，雖然學(xué)者們所采用的方法和關(guān)注領(lǐng)域不盡相同，但都是對(duì)信息檢索過程中精神世界知識(shí)的探索，本文也不例外。

2傳統(tǒng)評(píng)價(jià)指標(biāo)修正

傳統(tǒng)的信息檢索評(píng)價(jià)指標(biāo)是“硬指標(biāo)”，是布魯克斯所劃分的“世界1”的外在表現(xiàn)，而從用戶認(rèn)知角度出發(fā)的檢索評(píng)價(jià)指標(biāo)可稱為“軟指標(biāo)”，是對(duì)布魯克斯所提到的“世界2”的探索，以及最終轉(zhuǎn)變到“世界3“，是對(duì)傳統(tǒng)評(píng)價(jià)“硬指標(biāo)”的修正。

3應(yīng)用分析

在對(duì)傳統(tǒng)評(píng)價(jià)指標(biāo)進(jìn)行改進(jìn)的基礎(chǔ)上，本節(jié)對(duì)其進(jìn)行了應(yīng)用分析。圖2顯示了與某查詢相關(guān)的文檔以及檢索結(jié)果排名前10的文檔，表1給出了前10個(gè)排序位置的召回率和準(zhǔn)確率，分為傳統(tǒng)方法和應(yīng)用對(duì)數(shù)透視法后（即公式（5）、（6））的改進(jìn)方法兩種情況。

從上面的圖表可以發(fā)現(xiàn)，對(duì)于文檔列表的每個(gè)位置，改進(jìn)后的召回率升高，但準(zhǔn)確率降低了，這和召回率升高而準(zhǔn)確率下降或不變的現(xiàn)象相符合。

通常也可以繪制召回率—準(zhǔn)確率圖。定義標(biāo)準(zhǔn)召回率等級(jí)是0.0～1.0，增量為0.1。插值方法為在任何標(biāo)準(zhǔn)召回率等級(jí)R處，定義準(zhǔn)確率P為[21]：

P（R）=max{P′；R′≥R∧（R′P′）∈S}

其中，S是觀察點(diǎn)（R，P）的集合。標(biāo)準(zhǔn)召回率等級(jí)上的準(zhǔn)確率如表2所示，其中，準(zhǔn)確率1表示傳統(tǒng)評(píng)價(jià)方法中的插值，而準(zhǔn)確率2描述了使用對(duì)數(shù)透視法后的插值結(jié)果。圖3為表2圖示后的召回率-準(zhǔn)確率折線圖。

從圖3可以看出，兩個(gè)折線圖的形狀相當(dāng)，都產(chǎn)生了一個(gè)單調(diào)遞減的函數(shù)，即準(zhǔn)確率的值隨著召回率的升高而下降或者不變。在TREC8中的Ad hoc任務(wù)中，在50個(gè)查詢上對(duì)每個(gè)標(biāo)準(zhǔn)召回率上的準(zhǔn)確率求算數(shù)平均值，某TREC系統(tǒng)的11點(diǎn)插值召回率-準(zhǔn)確率平均曲線逐漸趨于平滑[21]。同理，隨著查詢數(shù)的不斷增加，改進(jìn)后的正確率-召回率平均曲線也會(huì)逐漸趨于平滑。改進(jìn)后的P@N、AP和MAP也可在上述計(jì)算基礎(chǔ)上進(jìn)行，這里不再贅述。

從上述的分析得出，相對(duì)傳統(tǒng)的評(píng)價(jià)指標(biāo)，改進(jìn)后的評(píng)價(jià)指標(biāo)評(píng)價(jià)效果相當(dāng)，但評(píng)價(jià)結(jié)果的數(shù)量級(jí)不同，改進(jìn)后的曲線相當(dāng)于從準(zhǔn)確率1曲線的位置向下移動(dòng)到了準(zhǔn)確率2的位置。同時(shí)發(fā)現(xiàn)，同樣的召回率，準(zhǔn)確率2比準(zhǔn)確率1要低，這也說明檢索結(jié)果中相關(guān)文檔的信息含量不同，靠后的文檔可能會(huì)產(chǎn)生更多的噪聲。

4評(píng)價(jià)與總結(jié)

4.1結(jié)論

將對(duì)數(shù)透視法則應(yīng)用到信息檢索評(píng)價(jià)中，是基于用戶認(rèn)知角度對(duì)信息檢索評(píng)價(jià)的探索，從中得到了一些好的結(jié)論：

1）能從用戶認(rèn)知的角度出發(fā)來對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)，是對(duì)信息檢索結(jié)果評(píng)價(jià)方法的提升和改進(jìn)，并且提出了量化方法，符合當(dāng)前研究的方向。

2）對(duì)用戶來說，每篇文獻(xiàn)所包含的情報(bào)量是不同的，用戶吸收文獻(xiàn)的內(nèi)容呈現(xiàn)報(bào)酬遞減規(guī)律，即靠前的文獻(xiàn)能吸收更多的情報(bào)內(nèi)容，而對(duì)于后讀的文獻(xiàn)，由于其內(nèi)容必然與前面的文獻(xiàn)有重復(fù)之處，所以獲得的新內(nèi)容就不及靠前的文獻(xiàn)[5]。

3）通過對(duì)數(shù)透視法，將通常使用的物理評(píng)價(jià)方法轉(zhuǎn)化到了精神世界范疇的量度。

4）克服了評(píng)價(jià)中以文獻(xiàn)數(shù)量（假設(shè)每篇文獻(xiàn)包含情報(bào)量相同）為計(jì)量單位的不足，通過用戶所獲得的情報(bào)量來對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)。

4.2不足

由于對(duì)數(shù)透視法思想提出的年代較早，后續(xù)可借鑒的研究不多，因此本研究相對(duì)簡(jiǎn)單且存在一些不足的地方：

1）對(duì)傳統(tǒng)的評(píng)價(jià)方法中的準(zhǔn)確率和召回率，兩個(gè)公式中，分母代表的文獻(xiàn)數(shù)量所包含的情報(bào)量前者不高于后者（只要相關(guān)文檔包含情報(bào)，非相關(guān)文檔情報(bào)量為零），因此，對(duì)有準(zhǔn)確率來說，分母不適合對(duì)數(shù)法則，但分子通過對(duì)數(shù)法則后，一般情況下準(zhǔn)確率有所下降，召回率會(huì)有較高的提升，這比較符合準(zhǔn)確率和召回率互逆相關(guān)性（通常情況下）的解釋。這種情況類似于評(píng)價(jià)指標(biāo)（R-precision），該評(píng)價(jià)指標(biāo)中召回率和準(zhǔn)確率相同[22]。

2）對(duì)數(shù)透視法目前適用于二元的相關(guān)性評(píng)價(jià)指標(biāo)中，在按相關(guān)性排序的方法中也用到了對(duì)數(shù)計(jì)算，其過程可以看作對(duì)數(shù)透視法則思想變換[4，10，13]，兩者之間的關(guān)系還有待于進(jìn)一步研究。

3）對(duì)數(shù)透視法則中，情報(bào)區(qū)間是一片聯(lián)系的平面空間區(qū)域，但對(duì)于檢索結(jié)果無序排列的情況，顯然不能得到滿足，但不影響最終計(jì)算結(jié)果。如果檢索結(jié)果是按照相關(guān)度由高到底排序的話，那么用戶所獲得的情報(bào)量比無序結(jié)果要多的多，對(duì)其評(píng)價(jià)可使用兩次對(duì)數(shù)透視法則[5]。

4）應(yīng)用結(jié)果顯示，改進(jìn)前后的評(píng)價(jià)指標(biāo)評(píng)價(jià)效果類似，只是數(shù)量級(jí)發(fā)生了變化。因此，兩種評(píng)價(jià)指標(biāo)的適用范圍和環(huán)境還不很清楚。

總之，從用戶角度來對(duì)信息檢索結(jié)果進(jìn)行評(píng)價(jià)是研究的一個(gè)熱點(diǎn)，對(duì)數(shù)透視法只是提供了一種新的研究方法。由于對(duì)數(shù)透視法提出較為宏觀，筆者對(duì)其思想把握深度還不夠，因此，研究過程中，理論研究擴(kuò)展不強(qiáng)，分析方法和數(shù)據(jù)收集還較為簡(jiǎn)單，說服力還不夠，對(duì)于其適用性和可靠性還需一定的探索。

參考文獻(xiàn)

[1]Voorhees E M.Evaluation by Highly Relevant Documents[C]∥Proceedings of the 24th Annual International ACM SIGIR Conference，New Orleans，Louisiana，2001：74-82.

[2]Manning C D，Raghavan P，Schutez H，et al.Introduction to Information Retrieval[M].Cambridge University Press，2008.

[3]Jrvelin K，Keklinen J.Cumulated Gain-based Evaluation of IR Techniques[C]∥ACM Transactions on Information Systems，2002，20（4）：422-446.

[4]Brookes B C.The foundations of information science：Part Ⅲ.Quantitative aspects：objective maps and subjective landscapes[J].Journal of Information Science，1980：269-275.

[5]馬費(fèi)成.論布魯克斯情報(bào)學(xué)的定量方法[J].情報(bào)科學(xué)，1983，（4）：1-9.

[6]馬費(fèi)成.論情報(bào)學(xué)的基本原理及理論體系構(gòu)建[J].情報(bào)學(xué)報(bào)，2007，26（1）：3-13.

[7]婁銀銀，劉春茂.布氏情報(bào)學(xué)思想對(duì)網(wǎng)絡(luò)信息檢索結(jié)果的認(rèn)識(shí)優(yōu)化[J].情報(bào)雜志，2008，27（8）：61-63.

[8]肖楠，任全娥，胡鳳.網(wǎng)絡(luò)環(huán)境下的對(duì)數(shù)透視原理[J].圖書情報(bào)知識(shí)，2007，（3）：60-64.

[9]鄧慧敏.基于網(wǎng)絡(luò)鏈接分析的對(duì)數(shù)透視原理的適用性探討[J].中山大學(xué)研究生學(xué)刊：社會(huì)科學(xué)版，2013，34（3）：51-61.

[10]Robertson S.On smoothing average precision[M]∥Advances in Information Retrieval.Springer Berlin Heidelberg，2012：158-169.

[11]Cormack G V，Lynam T R.Statistical precision of information retrieval evaluation[C]∥Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval.ACM，2006：533-540.

[12]Kelly D.Methods for evaluating interactive information retrieval systems with users[J].Foundations and Trends in Information Retrieval，2009，3（1-2）：1-224.

[13]Freund L，Toms E G.Revisiting informativeness as a process measure for information interaction[J].Decision Analysis，2004，3（3）：70-90.

[14]Tague-Sutcliffe J.Measuring the informativeness of a retrieval process[C]∥Proceedings of the 15th annual International ACM SIGIR Conference on Research and development in information retrieval.ACM，1992：23-36.

[15]Tague-Sutcliffe J，Hayes R M.Measuring information：An information services perspective[J].Library Quarterly，1996，66（2）：222-222.

[16]Ingwersen P，Willett P.An introduction to algorithmic and cognitive approaches for information retrieval[J].Libri，1995，45（3-4）：160-177.

[17]Ingwersen P.Cognitive perspectives of information retrieval interaction：elements of a cognitive IR theory[J].Journal of documentation，1996，52（1）：3-50.

[18]Sutcliffe A，Ennis M.Towards a cognitive theory of information retrieval[J].Interacting with computers，1998，10（3）：321-351.

[19]Borlund P.The IIR evaluation model：a framework for evaluation of interactive information retrieval systems[EB/OL].http：∥www.informationr.net/ir/8-3/paper152.html，2016-04-20.

[20]Ingwersen P，Jrvelin K.The turn：Integration of information seeking and retrieval in context[M].Springer Science & Business Media，2006.

[21]（美）Croft W B，等.搜索引擎-信息檢索實(shí)踐[M].劉挺，等譯.北京：機(jī)械工業(yè)出版社，2010.

[22]Aslam J A，Yilmaz E，Pavlu V.A geometric interpretation of r-precision and its correlation with average precision[C]∥Proceedings of the 28th annual international ACM SIGIR conference on Research and development in information retrieval.ACM，2005：573-574.

（本文責(zé)任編輯：郭沫含）