張曉娟

（西南大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院，重慶 400715）

信息類、導(dǎo)航類與事務(wù)類查詢個(gè)性化潛力的對(duì)比析究*

張曉娟

（西南大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院，重慶 400715）

首先分別利用顯式與隱式評(píng)測(cè)指標(biāo)分析信息類、導(dǎo)航類與事務(wù)類查詢的個(gè)性化潛力，然后通過對(duì)基于人工評(píng)測(cè)的顯式指標(biāo)與基于用戶點(diǎn)擊行為的隱式指標(biāo)間的相關(guān)性分析，來(lái)驗(yàn)證各隱式指標(biāo)的有效性。在此基礎(chǔ)上，本文針對(duì)不同查詢意圖，分析各特征表征個(gè)性化潛力的有效性。最后，根據(jù)實(shí)驗(yàn)結(jié)果對(duì)搜索引擎性能優(yōu)化提供相關(guān)建議。

信息類查詢；導(dǎo)航類查詢；事務(wù)類查詢；個(gè)性化潛力

1 引言

自Broder按照用戶意圖（或用戶任務(wù)）將查詢劃分為信息類、導(dǎo)航類與事務(wù)類三大類別[1]，學(xué)界對(duì)如何選取分類特征實(shí)現(xiàn)三大查詢類別間的有效區(qū)分進(jìn)行大量研究[2-4]。對(duì)查詢進(jìn)行分類的最終目的是使搜索引擎根據(jù)不同類別查詢特征返回不同檢索結(jié)果；而如何對(duì)歸類后查詢的特征進(jìn)行分析，并根據(jù)其特征為搜索引擎性能優(yōu)化提供相關(guān)依據(jù)是重要研究方向。

由于網(wǎng)絡(luò)用戶對(duì)搜索引擎的返回結(jié)果呈現(xiàn)個(gè)性化需求趨勢(shì)，基于訪問大眾性的檢索排序方法已不能滿足用戶的信息需求[5]。為更大程度地提高用戶滿意度，搜索引擎嘗試根據(jù)用戶個(gè)人背景與興趣愛好提供個(gè)性化檢索服務(wù)。但當(dāng)前搜索引擎的個(gè)性化檢索建模是對(duì)所有檢索詞采用相同的檢索技術(shù)，未考慮某些查詢是否適合個(gè)性化檢索。Dou等研究發(fā)現(xiàn)，個(gè)性化檢索技術(shù)并非適合所有查詢，某些查詢采用個(gè)性化檢索技術(shù)反而會(huì)降低檢索結(jié)果的用戶滿意度[6]。如查詢“百度”，用戶更多關(guān)注百度網(wǎng)站主頁(yè)，此類查詢適合采用基于大眾訪問的排序方法；查詢“蘋果”，不同用戶對(duì)該查詢結(jié)果感興趣的內(nèi)容存在差異，包括“蘋果沙拉”“蘋果手機(jī)6s”“蘋果電腦”等不同方面，此類查詢適合采用個(gè)性化的排序方法。Dou等將用戶在查詢中表現(xiàn)的個(gè)性化差異稱為查詢的個(gè)性化潛力，該差異值表明用戶查詢從個(gè)性化中獲益的程度[6]，一般情況下，該差異值越大，查詢?cè)竭m合個(gè)性化檢索排序算法。

在信息檢索中，用戶任務(wù)類別是很重要的情景因素，直接影響用戶獲取信息的途徑以及想要獲取信息的類型。對(duì)不同任務(wù)類別查詢的個(gè)性潛力進(jìn)行比較分析，有助于搜索引擎判斷用戶在不同任務(wù)情景中的個(gè)性化潛力情況，并以此作為優(yōu)化搜索引擎性能的重要依據(jù)，為搜索算法的改進(jìn)和檢索性能測(cè)評(píng)提供方向。本文嘗試對(duì)信息類、導(dǎo)航類和事務(wù)類查詢的個(gè)性化潛力進(jìn)行對(duì)比分析，并探討三類個(gè)性化潛力特征的異同。

2 相關(guān)研究現(xiàn)狀

2.1 查詢意圖相關(guān)研究

Broder依據(jù)用戶查詢過程中可能包含的潛在意圖（或任務(wù)）將查詢分為信息類、導(dǎo)航類和事務(wù)類[1]。信息類查詢指用戶提交此類查詢時(shí)想獲得某主題的相關(guān)信息，其信息需求既可以是精確的又可以是模糊的，如查詢“如何網(wǎng)上購(gòu)物”；導(dǎo)航類查詢指用戶提交此類查詢時(shí)想查找特定網(wǎng)站，該網(wǎng)站可以是個(gè)人網(wǎng)站也可以是組織網(wǎng)站等，如查詢“武漢大學(xué)主頁(yè)”；事務(wù)類查詢指用戶提交此類查詢時(shí)想獲取資源或網(wǎng)絡(luò)服務(wù)。在Broder研究基礎(chǔ)上，此領(lǐng)域的主流研究是探討如何選取有效分類特征對(duì)三大意圖類別查詢進(jìn)行自動(dòng)分類[2-4]。

還有學(xué)者嘗試對(duì)信息類、導(dǎo)航類和事務(wù)類查詢進(jìn)行比較分析，以此提出各類查詢所適合的檢索模型。如Craswell等通過實(shí)證研究發(fā)現(xiàn)導(dǎo)航類查詢更適合基于鏈接排序的檢索模型[7]；Li等研究發(fā)現(xiàn)識(shí)別具有事務(wù)意圖的網(wǎng)頁(yè)，有利于改善事務(wù)類查詢的檢索結(jié)果[8]；Fujii研究發(fā)現(xiàn)信息類查詢適合基于內(nèi)容的檢索方法，而導(dǎo)航類查詢適合于基于錨文本的檢索方法[9]。

2.2 查詢個(gè)性化潛力的相關(guān)研究

Dou等提出“查詢個(gè)性化潛力”概念后，如何采用相關(guān)方法來(lái)對(duì)其進(jìn)行衡量成為熱點(diǎn)研究問題[6]。宋超采用Kappa一致性檢驗(yàn)衡量查詢?cè)~的個(gè)性化潛力，并對(duì)查詢?cè)~的個(gè)性化潛力分布進(jìn)行分析，結(jié)果表明，大多數(shù)查詢?cè)~的個(gè)性化潛力較大[5]；Chen等探討自動(dòng)分類方法與回歸方法哪種更適合查詢?cè)~的個(gè)性化潛力識(shí)別研究，結(jié)果表明自動(dòng)分類方法優(yōu)于回歸方法[10]；陳晨等利用Wikipedia挖掘查詢中的語(yǔ)言學(xué)特征，以此預(yù)測(cè)查詢的個(gè)性化潛力，降低查詢?nèi)罩緮?shù)據(jù)稀疏帶來(lái)的影響[11]；Teevan等提出基于人工評(píng)測(cè)的顯式指標(biāo)與基于用戶點(diǎn)擊的隱式指標(biāo)，并通過對(duì)二者的相關(guān)性分析，探討隱式指標(biāo)的有效性[12]；Liu等提出應(yīng)針對(duì)不同用戶任務(wù)構(gòu)建不同的個(gè)性化檢索模型[13]；Li等基于中英文查詢?nèi)罩緮?shù)據(jù)集，將用戶重復(fù)提交的查詢分為共同查詢（不同用戶提交同一查詢后點(diǎn)擊相同的URL）與個(gè)體查詢（不同用戶提交同一查詢后點(diǎn)擊不同的URL），再計(jì)算各類查詢的個(gè)性化潛力，結(jié)果表明個(gè)體查詢更能從個(gè)性化排序算法中獲益[14]。

大多數(shù)情況下，語(yǔ)義模糊（或歧義）查詢更能從個(gè)性化中獲益[15]，故查詢模糊性（或歧義性）識(shí)別是個(gè)性化潛力識(shí)別的另一相關(guān)研究。Song等在探討查詢模糊性時(shí)，將查詢分為模糊查詢、寬泛查詢以及清晰查詢?nèi)?，且在人工?biāo)注的250個(gè)查詢基礎(chǔ)上，通過采用不同計(jì)算方法來(lái)衡量查詢文檔間的相似度來(lái)獲取相關(guān)分類特征，采用監(jiān)督式學(xué)習(xí)方法實(shí)現(xiàn)查詢模糊類與非模糊類（包含寬泛查詢與清晰查詢）的區(qū)分[15-16]；Wang等提出基于點(diǎn)擊熵的相關(guān)特征，分別利用樸素貝葉斯、邏輯回歸支持向量機(jī)模型來(lái)訓(xùn)練分類模型識(shí)別模糊性查詢[17]；Sanderson等探討Wikipedia與WordNet中模糊性查詢?cè)~的特征，結(jié)果發(fā)現(xiàn)就非模糊性查詢?cè)~而言，Wikipedia中的模糊性查詢包含較多參照網(wǎng)頁(yè)，而WordNet中的模糊查詢包含更多的釋義[18]；Luo等提出從查詢表達(dá)式、用戶點(diǎn)擊行為和查詢會(huì)話中選取相關(guān)特征，利用SVM分類器訓(xùn)練分類模型來(lái)識(shí)別模糊性查詢[19]。綜合已有研究可知，目前沒有對(duì)信息類、導(dǎo)航類與事務(wù)類查詢的個(gè)性化潛力進(jìn)行對(duì)比分析的相關(guān)研究。

3 查詢個(gè)性化潛力指標(biāo)的操作方法

本文采用兩種方法衡量查詢個(gè)性化潛力[12]：顯式評(píng)測(cè)方法，讓用戶根據(jù)其信息需求來(lái)對(duì)檢索結(jié)果的相關(guān)性進(jìn)行人工評(píng)判；隱式評(píng)測(cè)方法，即從查詢?nèi)罩局凶詣?dòng)收集與用戶興趣相關(guān)的點(diǎn)擊信息，并將其視為用戶對(duì)查詢結(jié)果的相關(guān)性評(píng)測(cè)依據(jù)。

3.1 顯式評(píng)測(cè)方法

（1）基于人工評(píng)測(cè)的Potential@N指標(biāo)。Potential@N指標(biāo)的主要思想：首先讓一組人數(shù)為N的評(píng)測(cè)組對(duì)某查詢返回結(jié)果的相關(guān)性進(jìn)行評(píng)測(cè)，然后利用NDCG指標(biāo)衡量每位評(píng)測(cè)者的評(píng)測(cè)結(jié)果，最后計(jì)算個(gè)體評(píng)測(cè)者最佳排序的NDCG值與團(tuán)體評(píng)測(cè)者最佳排序的NDCG值的差值，該差值即Potential@N[12]。NDCG值計(jì)算方法參見公式（1）和公式（2）所示。在公式（1）中，i表示文檔在實(shí)際結(jié)果集中的排序，G（i）表示評(píng)測(cè)者對(duì)在結(jié)果集中排序?yàn)閕的文檔給予的相關(guān)性分?jǐn)?shù)，G（i）取值可為2（高度相關(guān)）、1（相關(guān)）與0（不相關(guān)）。1/log（i）表示懲罰因子，如排i=2時(shí)，其懲罰因子為1；排序?yàn)? 024時(shí)，其懲罰因子為1/10。公式（2）中，IDCG（Ideal DCG）表示理想的DCG，即檢索結(jié)果均按照相關(guān)性從高到低進(jìn)行排列，說明該系統(tǒng)取得最優(yōu)排序結(jié)果，并獲得最大DCG值。

（2）基于人工評(píng)測(cè)的Kappa一致性指標(biāo)。本文采用Fleiss等提出的Kappa指標(biāo)，用于衡量固定個(gè)數(shù)評(píng)測(cè)者間評(píng)測(cè)結(jié)果一致性[20]，計(jì)算方法參見公式（3）。其中，P（O）表示評(píng)測(cè)者間實(shí)際評(píng)測(cè)結(jié)果的一致性概率，而P（C）表示評(píng)測(cè)者間評(píng)測(cè)結(jié)果被期望的一致性概率。k的取值為[-1，1]，1表示二者判斷結(jié)果完全一致，0表示二者判斷結(jié)果是偶然性造成的，-1表示二者判斷結(jié)果完全不一致。Kappa值越大，說明用戶對(duì)搜索引擎返回結(jié)果的評(píng)價(jià)一致程度較高，即用戶在該查詢上的興趣差異較小，查詢的個(gè)性化潛力越??；反之，該值越小，查詢的個(gè)性化潛力越大。

3.2 隱式評(píng)測(cè)方法

用戶點(diǎn)擊行為在一定程度上能間接反應(yīng)用戶興趣差異[21]，學(xué)者也提出了基于用戶點(diǎn)擊信用的個(gè)性化潛力評(píng)測(cè)指標(biāo)，此類指標(biāo)被稱為隱式評(píng)測(cè)指標(biāo)。

（1）Dice指標(biāo)。主要表示兩個(gè)集合的重復(fù)情況，計(jì)算方法參見公式（4）。其中，URL1表示用戶1的URL點(diǎn)擊集合，URL2表示用戶2的URL點(diǎn)擊集合，URLinte表示兩用戶點(diǎn)擊集合的交集。該公式主要用于衡量?jī)蓚€(gè)用戶對(duì)同一查詢結(jié)果的點(diǎn)擊一致性。當(dāng)判斷多個(gè)用戶的點(diǎn)擊結(jié)果一致性時(shí)，需分別計(jì)算任意兩用戶間的Q值，再對(duì)其進(jìn)行平均，計(jì)算方法參見公式（5）。其中，值越大，表明用戶間興趣一致性越高，該查詢的個(gè)性化潛力越小。

（2）點(diǎn)擊熵。本文采用點(diǎn)擊熵來(lái)衡量查詢的個(gè)性化潛力，計(jì)算方法參見公式（6）。其中，P（q）表示用戶提交查詢q后所點(diǎn)擊的文檔集合，P（p｜q）表示用戶提交查詢p后點(diǎn)擊文檔q的概率。某查詢的整體點(diǎn)擊熵值越大，表明該查詢的個(gè)性化潛力越大；反之，該查詢的個(gè)性化潛力越小。

（3）基于用戶點(diǎn)擊的Potential@N指標(biāo)。用戶點(diǎn)擊行為是對(duì)查詢結(jié)果進(jìn)行相關(guān)性評(píng)判的過程，鑒于此，本文利用基于點(diǎn)擊行為的Potentail@N（N=10）指標(biāo)計(jì)算步驟為：①?gòu)牟樵內(nèi)罩局蝎@得某查詢1天內(nèi)（該查詢當(dāng)天至少被10個(gè)用戶提交）點(diǎn)擊量排序前20的網(wǎng)頁(yè)，若在查詢?nèi)罩局腥笔撑判蛭恢蒙系腢RL，則認(rèn)為該排序位置上的URL與信息需求無(wú)關(guān)；②若用戶點(diǎn)擊某文檔，認(rèn)為該文檔與用戶信息需求相關(guān)，相關(guān)性評(píng)分為“1”，反之，則認(rèn)為該文檔與用戶信息需求無(wú)關(guān)，相關(guān)性評(píng)分為“0”；③利用個(gè)人評(píng)測(cè)結(jié)果最優(yōu)NDCG值與團(tuán)體評(píng)測(cè)最優(yōu)NDCG值的差值獲得該查詢的Potential@10值。

4 實(shí)驗(yàn)數(shù)據(jù)

本文首先在查詢?nèi)罩緮?shù)據(jù)中選取樣本查詢，再利用樣本查詢獲得能對(duì)查詢個(gè)性化潛力進(jìn)行顯式與隱式評(píng)測(cè)的實(shí)驗(yàn)數(shù)據(jù)。

4.1 查詢?nèi)罩緮?shù)據(jù)集

數(shù)據(jù)集采用Sogou實(shí)驗(yàn)室于2008年6月發(fā)布的查詢?nèi)罩緮?shù)據(jù)[22-23]，其數(shù)據(jù)格式如圖1所示。從左到右代表的含義分別為用戶訪問時(shí)間、用戶ID、查詢、該URL在返回結(jié)果中的排名、用戶點(diǎn)擊的順序號(hào)，以及用戶點(diǎn)擊的URL。

圖1 Sogou查詢?nèi)罩緮?shù)據(jù)格式樣例

受人力及時(shí)間限制，本文無(wú)法對(duì)查詢?nèi)罩緮?shù)據(jù)進(jìn)行逐項(xiàng)分析，故首先利用泊松抽樣方法[24]從Sogou日志數(shù)據(jù)集中抽取3 000個(gè)查詢。這些查詢滿足兩個(gè)條件：（1）在查詢?nèi)罩局谐霈F(xiàn)頻次不少于2 000；（2）將每個(gè)查詢每天所點(diǎn)擊的URL集合求交集，交集中元素個(gè)數(shù)不少于15，將交集中的URL稱為“共有URL”。其次，要求3位標(biāo)注者對(duì)3 000個(gè)查詢應(yīng)屬類別（信息類、導(dǎo)航類與事務(wù)類）進(jìn)行人工標(biāo)注?？紤]到一個(gè)查詢可能屬于多種類別，因此，要求標(biāo)注者標(biāo)記出查詢?cè)诖蠖鄶?shù)情況下應(yīng)該屬于的類別。在標(biāo)注過程中，若某查詢的用戶意圖類別難以判斷，則由三位標(biāo)注者共同商討決定。經(jīng)過人工標(biāo)注，分別獲得305個(gè)導(dǎo)航類查詢，752個(gè)事務(wù)類查詢和1 943個(gè)信息類查詢。最后，通過隨機(jī)抽樣方法分別從每種查詢類別中隨機(jī)抽取100個(gè)樣本查詢用于實(shí)驗(yàn)分析。

4.2 人工評(píng)測(cè)與隱式評(píng)測(cè)數(shù)據(jù)集

由于用戶的學(xué)科知識(shí)背景可能造成其對(duì)檢索結(jié)果存在不同偏好，因此本文選取來(lái)自化學(xué)、生物、計(jì)算機(jī)、圖書情報(bào)、法學(xué)以及英語(yǔ)專業(yè)的30名學(xué)生作為評(píng)測(cè)者（每個(gè)專業(yè)各5名）分析不同意圖類別查詢所表現(xiàn)的個(gè)性化潛力差異，首先將300個(gè)樣本查詢分別提交至Sogou搜索引擎，記錄每次查詢返回的排名前20查詢結(jié)果的網(wǎng)頁(yè)標(biāo)題、結(jié)果片段以及URL信息。然后，讓評(píng)測(cè)者為每次查詢的前20個(gè)結(jié)果進(jìn)行相關(guān)性評(píng)測(cè)打分。其中，相關(guān)性分?jǐn)?shù)可為2（高度相關(guān)）、1（相關(guān)）和0（不相關(guān)）。為使得用戶的評(píng)測(cè)結(jié)果不受Sogou返回結(jié)果排序的影響，將每次查詢前20個(gè)查詢結(jié)果以隨機(jī)順序呈現(xiàn)給評(píng)測(cè)者。

本文在搜集隱式評(píng)測(cè)數(shù)據(jù)集時(shí)，為探討不同用戶對(duì)同一查詢結(jié)果的信息需求差異性，將300個(gè)樣本查詢分別從查詢?nèi)罩局蝎@取其點(diǎn)擊信息與用戶信息。顯式與隱式評(píng)測(cè)數(shù)據(jù)如表1所示。

表1 顯式評(píng)測(cè)與隱式評(píng)測(cè)方法中的查詢數(shù)、用戶數(shù)以及相關(guān)性評(píng)測(cè)指標(biāo)

5 實(shí)驗(yàn)結(jié)果分析

5.1 信息類、導(dǎo)航類與事務(wù)類的個(gè)性化潛力分析

首先，比較信息類、導(dǎo)航類與事務(wù)類查詢不同個(gè)性化潛力指標(biāo)的平均值（見表2）。在隱式評(píng)測(cè)指標(biāo)和顯式評(píng)測(cè)指標(biāo)中（除Kappa值外），信息類查詢的個(gè)性化潛力均大于導(dǎo)航類和事務(wù)類兩類查詢，即用戶提交信息類查詢時(shí)，更期望獲得個(gè)性化的檢索結(jié)果。主要因?yàn)橛脩籼峤粚?dǎo)航類或者事務(wù)類查詢時(shí)，用戶意圖比較單一。如用戶提交導(dǎo)航類查詢時(shí)，用戶一般想去訪問網(wǎng)站主頁(yè)；用戶提交事務(wù)查詢時(shí)，用戶一般想去從事某事務(wù)類查詢，如下載、注冊(cè)等；而用戶在提交信息類查詢時(shí)，想獲得某個(gè)主題所有相關(guān)信息，故不同用戶檢索需求不同，個(gè)體興趣差異較大。

為進(jìn)一步探討信息類、導(dǎo)航類與事務(wù)類查詢個(gè)性化潛力的差異性，本文采用兩個(gè)獨(dú)立樣本進(jìn)行t檢驗(yàn)分析（見表3）。信息類與導(dǎo)航類查詢的個(gè)性化潛力在顯式和隱式指標(biāo)中均存在顯著性差異；導(dǎo)航類查詢與事務(wù)類查詢無(wú)顯著性差異；事務(wù)類查詢與信息類查詢?cè)陲@式指標(biāo)中存在顯著性差異，在隱式指標(biāo)Potential@10中存在顯著性差異。

表2 信息類、導(dǎo)航類與事務(wù)類查詢?cè)诓煌笜?biāo)下的平均值

表3 信息類、導(dǎo)航類與事務(wù)類查詢的個(gè)性化潛力差異性

5.2 顯式評(píng)測(cè)與隱式評(píng)測(cè)子指標(biāo)的相關(guān)性分析

顯式評(píng)測(cè)指標(biāo)雖能真實(shí)反映用戶的個(gè)性化差異，但需花費(fèi)大量人力，應(yīng)用范圍具有一定局限性；隱式評(píng)測(cè)指標(biāo)雖能從更大范圍內(nèi)獲取用戶數(shù)據(jù)，但其合理性還需進(jìn)一步驗(yàn)證?；诖耍疚臄M通過對(duì)隱式評(píng)測(cè)指標(biāo)（基于用戶點(diǎn)擊的Dice距離值、點(diǎn)擊熵及其Potential@10）與顯式評(píng)測(cè)指標(biāo)（基于用戶評(píng)測(cè)的Potential@10及Kappa值）的相關(guān)性分析來(lái)驗(yàn)證隱式指標(biāo)的有效性（見表4）。三個(gè)隱式評(píng)測(cè)指標(biāo)均與兩個(gè)隱式評(píng)測(cè)指標(biāo)間存在相關(guān)性。其中，基于隱式評(píng)測(cè)的Potentail@10指標(biāo)與兩個(gè)顯式評(píng)測(cè)指標(biāo)的相關(guān)性強(qiáng)度顯著，用戶點(diǎn)擊熵與顯式評(píng)測(cè)指標(biāo)的相關(guān)性強(qiáng)度次之。隱式指標(biāo)與Kappa指標(biāo)呈現(xiàn)負(fù)相關(guān)的原因在于Kappa是衡量評(píng)測(cè)者之間對(duì)評(píng)測(cè)結(jié)果的相同性，而表5中的三種隱式指標(biāo)是用于衡量用戶針對(duì)相同查詢結(jié)果的差異性。

表4 顯式指標(biāo)與隱式指標(biāo)的相關(guān)性分析（皮爾遜相關(guān)系數(shù)）

5.3 信息類、導(dǎo)航類與事務(wù)查詢中各特征的個(gè)性化潛力分析

本文也嘗試探討能表征查詢個(gè)性化潛力的特征，且進(jìn)一步分析針對(duì)不同查詢意圖，各特征表征個(gè)性化潛力的有效性。個(gè)性化檢索的難點(diǎn)在于分辨用戶提交查詢的歧義性（模糊性），以此來(lái)確定查詢?cè)谀姆N程度上獲益于個(gè)性化檢索。對(duì)于歧義性小的查詢，大多數(shù)關(guān)注信息的興趣差異度小，查詢個(gè)性化潛力??；反之，用戶興趣差異大，查詢個(gè)性化潛力大。因此，學(xué)者嘗試?yán)靡恍┖饬坎樵兡：缘奶卣鱽?lái)判斷查詢個(gè)性化潛力。本文選取衡量查詢模糊性的常用特征[10]，通過這些特征與兩隱式指標(biāo)間的相關(guān)性獲得各指標(biāo)用于衡量查詢個(gè)性化潛力的有效性（見表5）。其獲取查詢清晰度特征，首先將查詢提交至Sogou搜索引擎，獲得每次查詢排名前20結(jié)果的標(biāo)題、摘要信息，利用公式（7）計(jì)算其Clarity（q）值。其中，P（t｜q）表示查詢?cè)~t出現(xiàn)在查詢返回結(jié)果集中的頻次，P（t）表示該詞出現(xiàn)在索引中的概率。Clarity（q）值越大，表明該查詢的模糊性越小。

從表5可見，不同查詢特征與隱式指標(biāo)間相關(guān)程度不同，除查詢中詞數(shù)外，其他特征與個(gè)性化潛力呈正相關(guān)關(guān)系。查詢中包含的詞數(shù)與查詢個(gè)性化潛力成反比關(guān)系，說明查詢中包含的詞越多，其個(gè)性化潛力越大。其主要原因在于，包含詞越多的查詢所描述的用戶信息越明確，不同的用戶提交該此類查詢，用戶間信息需求的差異性較小，此類查詢的個(gè)性化潛力較小。反之，不同用戶提交此類查詢時(shí)，信息需求差異較大，此類查詢的個(gè)性化潛力較大。

表5 信息類、導(dǎo)航類與事務(wù)類查詢中，各隱式指標(biāo)與查詢特征的相關(guān)關(guān)系（皮爾遜相關(guān)系數(shù)）

查詢點(diǎn)擊網(wǎng)頁(yè)的平均排序與個(gè)性化潛力呈正相關(guān)關(guān)系，即不同用戶提交同一查詢后，所點(diǎn)擊網(wǎng)頁(yè)的排序值越大，該查詢個(gè)性化潛力越大。其主要原因在于，在不考慮相關(guān)性的情況下，用戶傾向于點(diǎn)擊排序靠前的網(wǎng)頁(yè)[17]。排序靠前的網(wǎng)頁(yè)能滿足與查詢相關(guān)的一般信息需求，而當(dāng)用戶針對(duì)查詢有特定信息需求時(shí)，通常查看排序靠后的網(wǎng)頁(yè)，因此，查詢的個(gè)性化潛力越大，用戶越可能點(diǎn)擊排序靠后的網(wǎng)頁(yè)。另外，每個(gè)用戶平均點(diǎn)擊網(wǎng)頁(yè)數(shù)與查詢的個(gè)性化潛力呈正相關(guān)關(guān)系，即用戶點(diǎn)擊的網(wǎng)頁(yè)數(shù)越多，表明該查詢的個(gè)性化潛力越大。點(diǎn)擊熵與Potential@10也存在正相關(guān)關(guān)系。查詢明晰度與隱式指標(biāo)呈負(fù)相關(guān)關(guān)系，說明某查詢結(jié)果質(zhì)量越好，該查詢的個(gè)性化潛力越小。

整體而言，各查詢特征在信息類和事務(wù)類查詢中與兩隱式指標(biāo)的相關(guān)性相差不大。而在某些特征中，導(dǎo)航類與信息類和事務(wù)類間存在差異性。針對(duì)導(dǎo)航類查詢而言，事務(wù)類和信息類的查詢中詞數(shù)更能表明其個(gè)性化潛力；對(duì)于提交查詢的不同用戶數(shù)而言，該特征在事務(wù)類和信息類中與兩隱式評(píng)測(cè)指標(biāo)呈正相關(guān)關(guān)系，而在導(dǎo)航類查詢中呈現(xiàn)負(fù)相關(guān)關(guān)系或無(wú)相關(guān)關(guān)系，其主要原因可能是用戶提交導(dǎo)航類查詢的目標(biāo)較單一，用戶對(duì)檢索結(jié)果的偏好大體一致。因此，不同用戶數(shù)不能有效表征導(dǎo)航類查詢的個(gè)性化潛力。在導(dǎo)航類查詢中，點(diǎn)擊熵與Potential@10的相關(guān)性值高于在其他兩類查詢的相關(guān)性值，其主要原因可能在于，用戶提交導(dǎo)航類查詢的目標(biāo)較明確，點(diǎn)擊穩(wěn)定傾向于與查詢相關(guān)的網(wǎng)頁(yè)主頁(yè)。計(jì)算信息類查詢的點(diǎn)擊熵值時(shí)，由于用戶傾向點(diǎn)擊與查詢相關(guān)的不同文檔，若一半用戶點(diǎn)擊某一網(wǎng)頁(yè)，而其他用戶點(diǎn)擊另外一網(wǎng)頁(yè)時(shí)，其點(diǎn)擊熵值與所有用戶點(diǎn)擊同一網(wǎng)頁(yè)的點(diǎn)擊熵相等。在這兩個(gè)例子中，用戶的相關(guān)性網(wǎng)頁(yè)不同，即前一個(gè)例子中有兩個(gè)不同網(wǎng)頁(yè)與用戶信息需求相關(guān)，后一個(gè)例子中只有一個(gè)網(wǎng)頁(yè)與用戶信息需求相關(guān)，故針對(duì)信息類查詢，點(diǎn)擊熵值不能完全有效地表明查詢個(gè)性化潛力。

點(diǎn)擊網(wǎng)頁(yè)的平均排序在導(dǎo)航類中與兩隱式指標(biāo)（用戶點(diǎn)擊熵與Potential@10）的相關(guān)性低于在其他兩類查詢中的相關(guān)性。其主要原因在于，導(dǎo)航類網(wǎng)頁(yè)一般在查詢結(jié)果排序靠前，點(diǎn)擊靠后網(wǎng)頁(yè)有可能是用戶漫無(wú)目的的點(diǎn)擊行為，產(chǎn)生噪聲數(shù)據(jù)，不能有效地描述用戶信息需求。而對(duì)于信息類或者事務(wù)類查詢，用戶的信息需求更廣泛，除排序靠前的文檔外，排序靠后的文檔也可能滿足用戶信息需求，因此，即使點(diǎn)擊排序靠后的文檔，也可表明網(wǎng)頁(yè)與用戶信息需求相關(guān)。用戶平均點(diǎn)擊網(wǎng)頁(yè)數(shù)更能衡量事務(wù)類和信息類的用戶意圖，主要原因在于，用戶提交導(dǎo)航類查詢的目標(biāo)較明確，但不排除存在用戶點(diǎn)擊較多網(wǎng)頁(yè)的情況，而對(duì)于信息類或事務(wù)類查詢而言，其意圖是多方面的，點(diǎn)擊的網(wǎng)頁(yè)能滿足用戶意圖，因此點(diǎn)擊網(wǎng)頁(yè)數(shù)與用戶信息需求相關(guān)。

6 總結(jié)與展望

本文首先利用隱式指標(biāo)（基于用戶點(diǎn)擊的Dice值、Potential@10與用戶點(diǎn)擊熵）和顯式指標(biāo)（基于用戶評(píng)測(cè)的Potential@10與Kappa值）分析信息類、導(dǎo)航類和事務(wù)類查詢的個(gè)性化潛力，在此基礎(chǔ)上，分析不同意圖類別查詢中能表征其個(gè)性化潛力的有效特征。結(jié)果表明，信息類查詢相對(duì)其他兩類查詢的個(gè)性化潛力更大；詞數(shù)、用戶平均點(diǎn)擊網(wǎng)頁(yè)排序、用戶平均點(diǎn)擊網(wǎng)頁(yè)數(shù)以及查詢清晰度都能表征查詢的個(gè)性化潛力；各查詢特征在信息類和事務(wù)類查詢中與兩隱式指標(biāo)的相關(guān)性相差不大，而導(dǎo)航類與信息類、事務(wù)類間存在差異性。如查詢中詞個(gè)數(shù)更能表征事務(wù)類和信息類查詢的個(gè)性化潛力，點(diǎn)擊熵更能表征導(dǎo)航類查詢的個(gè)性化潛力，點(diǎn)擊網(wǎng)頁(yè)的平均排序特征更能表征信息類查詢的個(gè)性化潛力?；谏鲜鼋Y(jié)果，本文對(duì)搜索引擎?zhèn)€性化性能優(yōu)化提出建議。（1）導(dǎo)航類查詢更適合共性化的檢索排序。一般可通過用戶對(duì)該查詢返回結(jié)果網(wǎng)頁(yè)的點(diǎn)擊次數(shù)和停留時(shí)間來(lái)確定哪些網(wǎng)頁(yè)能適合用戶普遍的信息需求，并以此作為排序依據(jù)。（2）信息類查詢一般適合個(gè)性化檢索排序，可進(jìn)一步通過查詢的模糊性或歧義性來(lái)判斷該查詢適合個(gè)性化的可能性大小。（3）搜索引擎在對(duì)查詢個(gè)性化潛力進(jìn)行判斷時(shí)，對(duì)信息類和事務(wù)類查詢可從查詢長(zhǎng)度、用戶點(diǎn)擊網(wǎng)頁(yè)的平均排序來(lái)衡量其個(gè)性化潛力，對(duì)導(dǎo)航類查詢可多從點(diǎn)擊熵和用戶平均點(diǎn)擊網(wǎng)頁(yè)數(shù)來(lái)衡量其個(gè)性化潛力。

本文對(duì)信息類、導(dǎo)航類與事務(wù)類查詢的個(gè)性化潛力進(jìn)行對(duì)比分析，但仍存在不足，未來(lái)研究可嘗試采取更多有效的隱式指標(biāo)對(duì)查詢個(gè)性化潛力進(jìn)行分析；嘗試采用機(jī)器學(xué)習(xí)思想，利用文本查詢分類通過選取特征判斷某查詢是否具有個(gè)性化意圖，進(jìn)一步判斷不同特征的有效性。

[1]BRODER A.A taxonomy of web search[J].SIGIR Forum,2002,36(2):3-10.

[2]伍大勇,趙世奇,劉挺,等.融合多類特征的Web查詢意圖識(shí)別[J].模式識(shí)別與人工智能,2012,25(3):500-505.

[3]BRENES D J,GAYO-AVELLO D,PéREZ-GONZáLEZ K.Survey and evaluation of query intent detection methods[C]//Proceedings of the 2009 Workshop on Web Search Click Data.[S.1.]:[s.n.],2009.

[4]LIU Y,ZHANG M,RU L,et al.Automatic query type identification based on click through information[C]//Asia Conference on Information Retrieval Technology.[S.1.]:Springer Berlin,2006:593-600.

[5]宋超.基于Sogou日志的個(gè)性化信息檢索分析與建模[D].哈爾濱:哈爾濱工業(yè)大學(xué),2012.

[6]DOU Z,SONG R,WEN J R.A large-scale evaluation and analysis of personalized search strategies[C]//International Conference on World Wide Web.[S.1.]:[s.n.],2007:581-590.

[7]CRASWELL N,HAWKING D,ROBERTSON S.Effective site finding using link anchor information[C]//Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.[S.1.]:[s.n.],2001:250-257.

[8]LI Y,KRISHNAMURTHY R,VAITYANATHAN S,et al.Getting work done on the web:supporting transactional queries[C]//Proceedings of the 29th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.[S.1.]:[s.n.],2006:557-564.

[9]FUJII A.Modeling anchor text and classifying queries to enhance web document retrieval[C]//Proceedings of the 17th International Conference on World Wide Web.[S.1.]:[s.n.],2008:337-346.

[10]CHEN C,YANG M Y,LI S,et al.Predicting query potential for personalization,classification or regression classification or regression?[C]//SIGIR.[S.1.]:[s.n.],2010:725-726.

[11]陳晨,趙鐵軍,李生,等.基于語(yǔ)言學(xué)知識(shí)的查詢個(gè)性化潛力預(yù)測(cè)[J].中文信息學(xué)報(bào),2013,6(11):11-18.

[12]TEEVAN J,DUMAIS S T,LIEBLING D J.To personalize or not to personalize: modeling queries with variation in user intent[C]//Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.[S.1.]:[s.n.],2008:163-171.

[13]LIU C,BELKIN N,COLE M,et al.Personalization of information retrieval in different types of tasks[C]//SIGIR.[S.1.]:[s.n.],2011:26-33.

[14]LI D,YANG M,QI H,et al.Reexamination on potential for personalization in web search[C]//Proceeding of the 23rd International Conference on Computational Linguistics.[S.1.]:[s.n.],2010:701-709.

[15]SONG R,LUO Z,WEN J R,et al.Identifying ambiguous queries in web search[C]//International Conference on World Wide Web.[S.1.]:[s.n.],2007:1169-1170.

[16]SONG R,LUO Z,NIE J Y,et al.Identification of ambiguous queries in web search[J].Information Processing and Management An International Journal,2009,45(2):216-229.

[17]WANG Y,AGICHTEIN E.Query ambiguity revisited:click through measures for distinguishing informational and ambiguous queries[EB/OL].[2017-08-01].http://www.aclweb.org/anthology/N10-1055.pdf.

[18]SANDERSON M.Ambiguous queries:test collections need more sense[C]//Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development.[S.1.]:[s.n.],2008:499-506.

[19 ]LUO C,LIU Y,ZHANG M,et al.Query ambiguity identification based on user behavior information[J].Journal of Information Retrieval Technology,2014,8870:36-47.

[20]FLEISS J L.Measuring nominal scale agreement among many raters[J].Psychological Bulletin,1971,76(5):378-382.

[21]KELLY D,TEEVAN J.Implicit feedback for inferring user preference:a bibliography[J].ACM SIGIR Forum,2003,37(2):18-28.

[22]搜狗查詢?nèi)罩綶EB/OL].[2017-09-14].http://www.sogou.com/labs/dl/q.html

[23]LIU Y,XIE X,WANG C,et al.Time-Aware click model[J].ACM Transactions on Information Systems,2016,35(3):16.

[24]MCCREADIE R M C,MACDONALD C,OUNIS I.Crowdsourcing a news query classification dataset[C]//Proceedings of the SIGIR 2010 Workshop on Crowdsourcing for Search Evaluation.[S.1.]:[s.n.],2010:31-38.

Comparative Analysis of the Personalized Potential of Informational, Navigational and Transactional Queries

ZHANG XiaoJuan
(School of Computer and Information Science at Southwest University, Chongqing 400715, China)

The personalized potential of informational, navigational and transcational queries is firstly measured by explicit and implicit measures respectively. And then, the effective implicit measures are obtained by analyzing the correlation between implicit measures and explicit measures. On light of these, for each category of query intent, this paper also analyzes which query feature can effectively characterize their personalized potential. Finally, some suggestions about the performance optimization of search engines are provided according to the experimental results.

Informational Queries; Navigational Queries; Transcational Queries; Personalized Potential

G353.4

10.3772/j.issn.1673-2286.2017.09.006

* 本研究得到國(guó)家社會(huì)科學(xué)基金青年項(xiàng)目 “融合用戶個(gè)性化與實(shí)時(shí)性意圖的查詢推薦模型研究”（編號(hào)：15 CT Q019）資助。

張曉娟，女，1985年生，博士，副教授，研究方向：信息檢索，E-mail：zxj0614@swu.edu.cn。

2017-08-08）