王奕婷 蘭艷艷 龐 亮 郭嘉豐 程學(xué)旗

1(中國科學(xué)院網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室(中國科學(xué)院計(jì)算技術(shù)研究所) 北京 100190)2(中國科學(xué)院大學(xué) 北京 100049)3(清華大學(xué)智能產(chǎn)業(yè)研究院 北京 100084)4(中國科學(xué)院計(jì)算技術(shù)研究所數(shù)據(jù)智能系統(tǒng)研究中心 北京 100190)(wangyiting211@mails.ucas.ac.cn)

排序?qū)W習(xí)是信息檢索領(lǐng)域的關(guān)鍵技術(shù)，它運(yùn)用機(jī)器學(xué)習(xí)方法訓(xùn)練模型并根據(jù)查詢請求返回候選文檔的預(yù)測得分.真實(shí)場景中的網(wǎng)絡(luò)信息隨時間更新變化，若采用傳統(tǒng)的排序?qū)W習(xí)方法則需不斷對新產(chǎn)生的數(shù)據(jù)進(jìn)行人工標(biāo)注，這需要消耗人力且不利于模型的實(shí)時更新.相較文檔相關(guān)標(biāo)簽，用戶瀏覽留下的點(diǎn)擊數(shù)據(jù)規(guī)模大、易于獲取[1]且更能反映用戶偏好和興趣[2].將點(diǎn)擊數(shù)據(jù)作為標(biāo)簽?zāi)軌蛴行Ы档蜆?biāo)注成本[3].因此，面向點(diǎn)擊數(shù)據(jù)訓(xùn)練模型具有重要意義.

用戶點(diǎn)擊[4]包含偏差和噪聲[5-6]，如位置靠前的文檔更容易被用戶點(diǎn)擊，因此直接將是否點(diǎn)擊作為文檔相關(guān)的判據(jù)會導(dǎo)致次優(yōu)的模型訓(xùn)練效果[7].目前主要有2類方法利用點(diǎn)擊數(shù)據(jù)訓(xùn)練模型：一類為點(diǎn)擊模型，它通過研究用戶行為特點(diǎn)從用戶點(diǎn)擊推測文檔相關(guān)性，從而得到去除偏差后的數(shù)據(jù)用于訓(xùn)練.這類方法將偏差去除和排序任務(wù)作為2個分開的任務(wù).由于2步驟優(yōu)化的目標(biāo)不一致，往往不能達(dá)到很好的訓(xùn)練效果，且在長尾稀疏數(shù)據(jù)場景表現(xiàn)不佳.另一類為近年來提出的無偏排序?qū)W習(xí)方法，它的基本思路是利用逆傾向加權(quán)方法進(jìn)行反事實(shí)因果推斷，對不同文檔進(jìn)行點(diǎn)擊傾向估計(jì)并對損失加權(quán)，最終得到無偏模型.這類方法需要較為準(zhǔn)確的點(diǎn)擊傾向估計(jì)，結(jié)果隨機(jī)呈現(xiàn)是較常見的思路.它將候選文檔打亂排列次序并呈現(xiàn)給用戶，根據(jù)用戶的實(shí)際點(diǎn)擊情況估計(jì)點(diǎn)擊傾向，但呈現(xiàn)給用戶的文檔順序被打亂進(jìn)而會導(dǎo)致用戶體驗(yàn)不佳.

基于回歸的期望最大化方法是通過極大似然估計(jì)計(jì)算點(diǎn)擊概率和傾向概率，但該方法對初值敏感且每當(dāng)有數(shù)據(jù)更新時都需重新執(zhí)行算法，因此適用范圍有限.

對偶學(xué)習(xí)方法是目前較為主流的無偏排序方法，適用范圍較廣且在多個數(shù)據(jù)集上表現(xiàn)較優(yōu)[8].在已知用戶點(diǎn)擊的情況下，用戶是否觀察到文檔以及文檔是否與該項(xiàng)查詢相關(guān)未知.對偶學(xué)習(xí)將這2個概率估計(jì)問題看作對偶任務(wù)，利用逆傾向加權(quán)和逆相關(guān)加權(quán)聯(lián)合訓(xùn)練排序模型和傾向模型.但該方法僅當(dāng)排序模型和傾向模型的損失函數(shù)均為凸函數(shù)時收斂到最優(yōu).實(shí)際神經(jīng)網(wǎng)絡(luò)包含多個隱藏層導(dǎo)致?lián)p失函數(shù)非凸，模型可能收斂得到次優(yōu)解.

針對上述問題，本文提出一種新的無偏排序?qū)W習(xí)方法，利用現(xiàn)有小規(guī)模標(biāo)注數(shù)據(jù)對排序模型預(yù)訓(xùn)練，并利用其對對偶去偏過程進(jìn)行相關(guān)修正.由于對偶學(xué)習(xí)方法中越精準(zhǔn)的排序模型會促使傾向模型輸出的傾向得分越貼近真實(shí)用戶點(diǎn)擊傾向，而越準(zhǔn)確的傾向模型會促使訓(xùn)練的排序模型更接近無偏模型，故本文方法利用現(xiàn)有的小規(guī)模樣本訓(xùn)練排序模型能使得模型在聯(lián)合訓(xùn)練前有較好的初始值從而避免訓(xùn)練中錯誤的累積，進(jìn)而得到更優(yōu)的無偏模型.模擬不同程度的點(diǎn)擊偏差并在真實(shí)點(diǎn)擊數(shù)據(jù)場景下測試，結(jié)果表明本文方案能夠有效提升無偏排序方法表現(xiàn).

1 相關(guān)工作

利用用戶點(diǎn)擊反饋訓(xùn)練模型有點(diǎn)擊模型和無偏排序?qū)W習(xí)2類方法.

1.1 點(diǎn)擊模型

點(diǎn)擊模型從已知的用戶點(diǎn)擊中反向推斷文檔與查詢的相關(guān)性，再將其結(jié)果用于訓(xùn)練.基于用戶瀏覽行為特點(diǎn)，研究者提出了不同的點(diǎn)擊模型[9-13]，從帶偏的點(diǎn)擊數(shù)據(jù)中推測實(shí)際文檔相關(guān)性.如位置模型(position based model, PBM)假設(shè)用戶是否點(diǎn)擊由文檔吸引用戶程度以及是否被用戶檢驗(yàn)所決定.在此基礎(chǔ)上Craswell等人[10]作進(jìn)一步假設(shè)，認(rèn)為用戶自上而下瀏覽網(wǎng)頁、返回結(jié)果、并逐個判定是否點(diǎn)擊該文檔、直到需求被滿足，構(gòu)建了級聯(lián)模型(cascade model, CM).級聯(lián)模型在一次搜索過程中只出現(xiàn)一次點(diǎn)擊，某位置文檔被點(diǎn)擊的概率與之前的文檔是否被點(diǎn)擊有關(guān)，而位置模型中各文檔被點(diǎn)擊的概率相互獨(dú)立.用戶瀏覽模型[11](user browsing model, UBM)可看作上述模型的拓展，它既考慮了用戶對某一位置文檔是否點(diǎn)擊與該位置之前的文檔是否被點(diǎn)擊之間的關(guān)聯(lián)關(guān)系；又考慮了文檔排列的先后位置順序與用戶對該位置文檔進(jìn)行檢驗(yàn)的概率之間的關(guān)聯(lián)關(guān)系.

在上述不同假設(shè)條件下，可以通過用戶點(diǎn)擊來推測文檔的相關(guān)性，從而訓(xùn)練排序模型.然而，這類方法要求每一查詢-文檔對多次呈現(xiàn)給用戶，因此難以適用于稀疏數(shù)據(jù)場景.此外，由于點(diǎn)擊模型去偏和訓(xùn)練排序模型2步驟的優(yōu)化目標(biāo)不一致，最終模型能夠達(dá)到的效果有限.

1.2 無偏排序?qū)W習(xí)

對點(diǎn)擊數(shù)據(jù)去除偏差并得到文檔的真實(shí)相關(guān)性的任務(wù)存在難以適用于稀疏長尾數(shù)據(jù)的真實(shí)場景以及前后任務(wù)優(yōu)化目標(biāo)不一致等諸多難點(diǎn)，因此近年來研究人員提出無偏排序?qū)W習(xí)這一新的研究方向，將點(diǎn)擊數(shù)據(jù)作為標(biāo)簽訓(xùn)練無偏模型.Wang等人[14]和Joachims等人[15]提出采用逆傾向評分加權(quán)的方法來訓(xùn)練無偏排序?qū)W習(xí)模型，利用結(jié)果隨機(jī)呈現(xiàn)的方法來估計(jì)點(diǎn)擊傾向.然而上述方法需要將結(jié)果隨機(jī)展示給用戶，導(dǎo)致用戶體驗(yàn)下降.因此，2018年Wang等人[16]探討了結(jié)果隨機(jī)呈現(xiàn)帶來的不良影響并提出基于回歸的期望最大化方法用于個性化搜索場景.該方法可以提升用戶體驗(yàn)，并從一定程度上解決個性化搜索中的點(diǎn)擊數(shù)據(jù)稀疏的問題，但每當(dāng)有點(diǎn)擊數(shù)據(jù)更新時都需要重新進(jìn)行計(jì)算.

Ai等人[17]將排序?qū)W習(xí)模型和傾向模型的訓(xùn)練看作對偶任務(wù)，對2個模型同時訓(xùn)練.在此基礎(chǔ)上，Hu等人[18]將逆傾向得分加權(quán)方法擴(kuò)展為成對去偏方法，并結(jié)合LambdaMART實(shí)現(xiàn)位置偏差估計(jì)和排序模型的共同訓(xùn)練.這類方法用戶體驗(yàn)相對較好，然而當(dāng)相關(guān)性模型估計(jì)不準(zhǔn)確時會引入新的偏差.由于傾向估計(jì)表現(xiàn)依賴于排序模型效果，因此需要構(gòu)建較為準(zhǔn)確的相關(guān)估計(jì)模型以提升效果.

2 問題描述

2.1 無偏排序任務(wù)

無偏排序旨在利用用戶反饋數(shù)據(jù)訓(xùn)練模型，對給定查詢q和文檔d的特征信息給出對應(yīng)的文檔相關(guān)得分，按照從高到低將排序結(jié)果返回并呈現(xiàn)給用戶，系統(tǒng)記錄用戶點(diǎn)擊候選列表中的某一文檔并更新模型，其流程如圖1所示：

對于每一查詢-文檔對，無偏排序?qū)W習(xí)方法將點(diǎn)擊數(shù)據(jù)作為標(biāo)簽，通過設(shè)計(jì)有效的損失函數(shù)盡可能消除點(diǎn)擊數(shù)據(jù)偏差，使模型向相關(guān)標(biāo)簽訓(xùn)練的排序模型收斂.

為統(tǒng)一本文表達(dá)方式，列出本文使用符號參數(shù)及其含義如表1所示.令用戶輸入的查詢集合為Q，查詢q∈Q.系統(tǒng)針對查詢q返回呈現(xiàn)給用戶的文檔列表πq，文檔用d表示.>

Table 1 Symbols and Their Meanings表1 使用符號及其含義

2.2 對偶學(xué)習(xí)及問題

現(xiàn)有無偏排序?qū)W習(xí)算法中，對偶學(xué)習(xí)方法在多個數(shù)據(jù)集上表現(xiàn)較佳且適用范圍較廣，其流程如圖2所示:

Fig. 2 Core ideas of dual learning algorithm圖2 對偶學(xué)習(xí)核心思路

假設(shè)對每一文檔d，用戶點(diǎn)擊某一文檔當(dāng)且僅當(dāng)該文檔被觀察到且與查詢相關(guān)，如式(1)所示：

P(cd=1)=P(od=1)×P(rd=1).

(1)

對于查詢集合Q，傾向估計(jì)的目標(biāo)是找到傾向模型P，使得損失函數(shù)達(dá)到最?。?/p>

(2)

類似地，對文檔進(jìn)行正確排序的方法是找到排序模型R使得損失函數(shù)達(dá)到最?。?/p>

(3)

對偶學(xué)習(xí)方法將傾向估計(jì)和相關(guān)估計(jì)看作對偶問題，聯(lián)合訓(xùn)練傾向模型和相關(guān)模型并得到最終模型參數(shù).對于點(diǎn)擊傾向模型，對檢索記錄被觀察到的概率估計(jì)問題定義逆相關(guān)加權(quán)(inverse relevance weighting, IRW)損失函數(shù)lIRW(P,c)如式(4)所示：

(4)

其中Δ(P,cd|πq)代表文檔序列πq中文檔d的損失.可以證明逆相關(guān)加權(quán)后lIRW(P,c)是傾向模型的無偏估計(jì)，如式(5)所示.類似也可證明逆傾向加權(quán)后lIPW(P,c)是排序模型的無偏估計(jì).

(5)

訓(xùn)練過程中，傾向模型對每一位置的文檔輸出其估計(jì)的用戶點(diǎn)擊傾向；相關(guān)模型對每一文檔輸出其計(jì)算出的相關(guān)概率；對用戶點(diǎn)擊分別乘以逆傾向權(quán)重和逆相關(guān)權(quán)重來計(jì)算相關(guān)模型和傾向模型的損失值并更新參數(shù).經(jīng)過多輪迭代直到模型收斂并得到最終的模型參數(shù).

該方法的收斂條件是排序模型和傾向模型的目標(biāo)函數(shù)為凸函數(shù)，但實(shí)際神經(jīng)網(wǎng)絡(luò)含有多個隱藏層，導(dǎo)致其損失函數(shù)非凸不能保證結(jié)果最優(yōu).

3 基于相關(guān)修正的對偶去偏方法

3.1 模型架構(gòu)

針對上述模型收斂得到次優(yōu)解的問題，本文設(shè)計(jì)一種基于相關(guān)修正的無偏排序?qū)W習(xí)方法，利用現(xiàn)有小規(guī)模相關(guān)標(biāo)簽訓(xùn)練模型并利用其對對偶學(xué)習(xí)進(jìn)行調(diào)整和修正，從而得到更優(yōu)的無偏排序模型.方案流程如圖3所示：

Fig. 3 Unbiased learning to rank based on relevance correction圖3 基于相關(guān)修正的無偏排序?qū)W習(xí)方法

在小規(guī)模標(biāo)簽上預(yù)先排序模型可以對對偶去偏過程賦予更優(yōu)的初始參數(shù)，因此在訓(xùn)練過程中，尤其是訓(xùn)練初期，排序模型和傾向模型輸出的文檔相關(guān)得分和點(diǎn)擊傾向得分更加準(zhǔn)確.這防止了對偶訓(xùn)練過程中文檔相關(guān)得分和點(diǎn)擊傾向得分在相互輸出并計(jì)算損失時由于相關(guān)得分和傾向得分估計(jì)不準(zhǔn)確導(dǎo)致迭代過程中錯誤的累積，從而促使最終模型收斂得到更優(yōu)結(jié)果.

該方案包括以下步驟：階段1.先在少量標(biāo)注的相關(guān)標(biāo)簽上進(jìn)行排序模型預(yù)訓(xùn)練；階段2.利用排序模型輸出的相關(guān)得分訓(xùn)練點(diǎn)擊傾向模型；階段3.利用訓(xùn)練好的模型對對偶去偏過程賦予初值并聯(lián)合訓(xùn)練.

3.1.1 排序模型預(yù)訓(xùn)練

為統(tǒng)一輸入的候選文檔維度并減少計(jì)算量，在預(yù)訓(xùn)練數(shù)據(jù)輸入之前先進(jìn)行粗排.選用少量的訓(xùn)練數(shù)據(jù)訓(xùn)練模型并利用其返回排在前k位的文檔，作為預(yù)訓(xùn)練排序模型的訓(xùn)練數(shù)據(jù).

利用帶有相關(guān)標(biāo)簽的訓(xùn)練數(shù)據(jù)，找到能夠使得指定損失函數(shù)L(y,f(x))最小的函數(shù)f*：

(6)

其中,f(x)代表排序模型輸出得分，y代表對應(yīng)的相關(guān)標(biāo)簽.理論上任何可以輸出候選文檔分值的排序模型都可以作為該模型的實(shí)現(xiàn)方式.

對每一查詢q的候選文檔列表，按照式(7)計(jì)算損失：

(7)

其中，i表示候選列表πq中第i個文檔，yi為第i個文檔的相關(guān)標(biāo)簽值,wyi為對每一文檔分配的權(quán)重，其計(jì)算公式如式(8)所示：

(8)

文檔與查詢的相關(guān)程度越大，對應(yīng)的權(quán)重wyi越高，該文檔占損失的比重越大.在小規(guī)模相關(guān)標(biāo)簽上訓(xùn)練完成后，返回預(yù)訓(xùn)練得到的排序模型參數(shù)θ0.

3.1.2 對偶去偏

在執(zhí)行對偶學(xué)習(xí)去偏過程之前，利用訓(xùn)練好的排序模型對每一查詢-文檔對輸出文檔相關(guān)得分.利用點(diǎn)擊數(shù)據(jù)和相關(guān)得分，采用逆相關(guān)加權(quán)方法訓(xùn)練傾向模型P，返回其參數(shù)γ0.

將排序模型的參數(shù)θ0和傾向模型的參數(shù)γ0作為對偶去偏過程的初始值，并面向點(diǎn)擊數(shù)據(jù)聯(lián)合訓(xùn)練實(shí)現(xiàn)對偶模型的參數(shù)更新，得到收斂程度更好的最終模型.

能夠有效利用經(jīng)偏差校正后的損失函數(shù)均可用于本文提出的方案.為便于方法有效性驗(yàn)證和效果對比，選用與文獻(xiàn)[17]相同的基于softmax交叉熵的損失函數(shù)如式(9)(10)所示：

(9)

(10)

用戶點(diǎn)擊傾向概率和文檔相關(guān)概率是通過傾向模型和排序模型對每一查詢-文檔對輸出的分值gd(γ)和fd(θ)經(jīng)過softmax變換后得到.

(11)

(12)

因此，經(jīng)過逆傾向加權(quán)和逆相關(guān)加權(quán)后的損失函數(shù)如式(13)(14)所示.式中rk代表第k個位置的文檔是否相關(guān)，ok代表第k個位置的文檔是否被觀察到.

(13)

(14)

對數(shù)據(jù)集中的查詢集合Q，按照式(15)(16)計(jì)算傾向模型P和排序模型R的損失：

(15)

(16)

綜上，本文提出的基于相關(guān)修正的對偶去偏方法如算法1.

算法1.基于相關(guān)修正的對偶去偏方法.

輸入：查詢集合Q，對q∈Q有集合{q,πq,cq}；

輸出：排序模型R的參數(shù)θ，傾向模型P的參數(shù)γ.

① 利用預(yù)訓(xùn)練的排序模型f*，對排序模型R的參數(shù)θ進(jìn)行初始化賦值；

② 固定排序模型R的參數(shù)θ0，利用用戶點(diǎn)擊數(shù)據(jù)訓(xùn)練傾向模型P，得到參數(shù)γ0；

③ 隨機(jī)抽取部分查詢樣本，利用式(11)(12)對每一查詢計(jì)算展示列表中每個文檔被觀察到和被點(diǎn)擊的概率；

④ 按照式(15)(16)計(jì)算傾向模型和相關(guān)模型的損失；

⑤ 根據(jù)損失計(jì)算梯度并更新模型參數(shù)θ和γ；

⑥ 重復(fù)步驟③～⑤，直到收斂.

3.2 有效性驗(yàn)證

令fi代表文檔列表πq中第i個文檔的相關(guān)性得分，將排序模型的參數(shù)固定，當(dāng)滿足式(17)時，基于相關(guān)修正的對偶去偏模型收斂.

(17)

模型收斂時，最終得到

P(od=1|πq)=

(18)

此時，位置i處的逆傾向權(quán)重為

(19)

由上可知，通過賦予較好的參數(shù)初始值可以避免迭代過程中錯誤的累積，從而得到更優(yōu)的無偏排序?qū)W習(xí)模型.因此，本文提出的無偏排序?qū)W習(xí)方法能夠有效促進(jìn)系統(tǒng)的性能提升.

3.3 計(jì)算速度

在線計(jì)算速度方面，由于本文提出的基于相關(guān)修正的對偶去偏方法通過預(yù)訓(xùn)練的排序模型和傾向模型對對偶去偏過程賦予較好的初始值，并未改變部署的對偶去偏模型的參數(shù)量，因此在模型上線部署后，計(jì)算速度與原有對偶學(xué)習(xí)方法一致.

離線訓(xùn)練時間方面，由于本文使用小規(guī)模的人工標(biāo)注相關(guān)標(biāo)簽預(yù)訓(xùn)練排序模型，因此需在原有基礎(chǔ)上會增加排序模型預(yù)訓(xùn)練的時間.然而實(shí)際場景下，系統(tǒng)往往已有預(yù)先訓(xùn)練好的表現(xiàn)較優(yōu)的排序模型可直接用于參數(shù)賦值，且離線訓(xùn)練時間不影響用戶體驗(yàn)與模型上線效果，故該因素可以忽略.

因此本文提出方法不影響模型的上線計(jì)算速度，能夠應(yīng)用于在線學(xué)習(xí)場景.

4 實(shí)驗(yàn)分析

4.1 基準(zhǔn)數(shù)據(jù)集實(shí)驗(yàn)

實(shí)驗(yàn)選用公開數(shù)據(jù)集Yahoo! Learn to Rank Challenge[19]version 2.0 set1，該數(shù)據(jù)集總共包含29 921個查詢和其對應(yīng)的709 877個文檔，每一查詢文檔對有700維度的特征向量及其對應(yīng)的5分類水平(0～4)的相關(guān)標(biāo)簽.其數(shù)據(jù)特征如表2所示:

Table 2 Data Characteristics of Yahoo Dataset表2 Yahoo數(shù)據(jù)集數(shù)據(jù)特征

仿照文獻(xiàn)[15,17]的方法，采用以下方法生成用戶點(diǎn)擊數(shù)據(jù).首先，隨機(jī)選取1%的訓(xùn)練數(shù)據(jù)和相關(guān)性標(biāo)簽訓(xùn)練Ranking SVM模型[20]，得到對每一查詢q的初始的結(jié)果序列πq,將該模型稱作初始排序模型，設(shè)置參數(shù)c=200.然后模擬用戶瀏覽檢索結(jié)果的過程，引入?yún)?shù)控制偏差和噪聲，計(jì)算點(diǎn)擊概率并生成點(diǎn)擊數(shù)據(jù)，步驟如下：假設(shè)用戶在僅當(dāng)文檔被觀察到并且與查詢相關(guān)時點(diǎn)擊該文檔.按照式(20)通過文獻(xiàn)[9]基于眼動追蹤實(shí)驗(yàn)估計(jì)的展示偏差ρ計(jì)算觀察傾向概率.

(20)

其中，η∈[0,+∞]是控制展示偏差程度的超參數(shù)，本文設(shè)置η的默認(rèn)值為1.仿照文獻(xiàn)[21]按照式(21)的方法計(jì)算文檔相關(guān)概率.

(21)

其中，y為文檔的相關(guān)標(biāo)簽，ymax是數(shù)據(jù)集中相關(guān)標(biāo)簽的最大值，參數(shù)ε引入噪聲故而不相關(guān)文檔(yd=0)有一定概率被點(diǎn)擊.實(shí)驗(yàn)設(shè)置ε=0.1.本文選用數(shù)據(jù)集的標(biāo)簽是5分類，因此ymax=4.對于每一查詢，按照Ranking SVM模型輸出的得分對文檔進(jìn)行排序，設(shè)置截止文檔個數(shù)為10.

對偶學(xué)習(xí)方法的實(shí)現(xiàn)仿照論文設(shè)置學(xué)習(xí)率為0.05，批量大小(batch size)設(shè)置為256，網(wǎng)絡(luò)迭代13 000次后結(jié)束訓(xùn)練.本文方法中傾向模型的迭代次數(shù)設(shè)置為3 000，學(xué)習(xí)率為0.05，批量大小設(shè)為256，對偶去偏網(wǎng)絡(luò)迭代10 000次結(jié)束.不同比例的查詢數(shù)據(jù)實(shí)驗(yàn)設(shè)置參數(shù)值如表3所示:

Table 3 Parameter Settings of the Pre-trained Ranking Model表3 預(yù)訓(xùn)練排序模型參數(shù)設(shè)置

4.1.1 可行性驗(yàn)證

為驗(yàn)證本文提出方法的可行性，對上述Yahoo數(shù)據(jù)集進(jìn)行劃分和構(gòu)造.將訓(xùn)練集分成2部分：一部分通過隨機(jī)抽取少量數(shù)據(jù)作為排序模型預(yù)訓(xùn)練的集合；另一部分查詢-文檔對通過模擬用戶行為生成用戶點(diǎn)擊并用于無偏排序模型的訓(xùn)練，2集合的劃分比例為2∶8.實(shí)驗(yàn)選用的驗(yàn)證集和測試集與Yahoo原始數(shù)據(jù)集相同.

由于相關(guān)標(biāo)簽有5個等級，因此選用多分類等級評估指標(biāo)NDCG(normalized discounted cumulative gain)和ERR(expected reciprocal rank)展示其在第1，3，5，10位置上的結(jié)果，實(shí)驗(yàn)結(jié)果如表4所示.另外選用較常用的AUC(area under curve)和MAP(mean average precision)指標(biāo)進(jìn)行評估.表4中數(shù)據(jù)顯示本文提出方法在各項(xiàng)指標(biāo)上均優(yōu)于對比方法，說明該方法能夠有效提升現(xiàn)有方法的表現(xiàn).

Table 4 Experimental Results on the Yahoo Dataset表4 在Yahoo數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

4.1.2 偏差程度影響

表4結(jié)果表明點(diǎn)擊數(shù)據(jù)偏差一定時，本文提出方法優(yōu)于基準(zhǔn)方法.然而真實(shí)情況下用戶行為不斷變化.選用不同的η值模擬不同程度的點(diǎn)擊偏差，η值越大代表生成點(diǎn)擊數(shù)據(jù)的偏差越嚴(yán)重，比較對偶學(xué)習(xí)方法和本文方法訓(xùn)練結(jié)果如圖4所示.圖中展示的本文方法是隨機(jī)抽取20%查詢訓(xùn)練排序模型并進(jìn)行相關(guān)修正的結(jié)果，令η值分別為0.5，1.0，1.5，2.0并繪制NDCG和ERR在第1，3，5，10位置的結(jié)果.

Fig. 4 Results of different degrees of bias圖4 不同偏差程度結(jié)果

圖4中可以看到，在不同η值模擬的用戶點(diǎn)擊偏差場景下，本文提出方法效果均優(yōu)于對偶學(xué)習(xí)方法.因此在不同程度的用戶點(diǎn)擊偏差場景下，本文方案能夠有效去除偏差.

4.1.3 抗噪性能分析

為進(jìn)一步驗(yàn)證方法的魯棒性，在不同噪聲場景下對比分析本文方法的性能，如圖5所示.通過控制ε值的大小來模擬不同程度的噪聲，其中ε值越大代表噪聲程度越大.ε=0.3時表明用戶有59.8%的概率點(diǎn)擊不相關(guān)的文檔.圖5中結(jié)果說明在不同噪聲程度下本文方法均有優(yōu)越的表現(xiàn).

Fig. 5 Results of different degrees of noise圖5 不同噪聲程度結(jié)果

4.2 真實(shí)點(diǎn)擊實(shí)驗(yàn)

為驗(yàn)證真實(shí)用戶點(diǎn)擊數(shù)據(jù)場景下本文提出方法的有效性，選用Tiangong-ULTR[17,22]數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).該訓(xùn)練集包含3 449個查詢、333 813個文檔及其對應(yīng)的真實(shí)用戶點(diǎn)擊數(shù)據(jù)；測試集包含100個查詢和10 000個文檔.按照2∶8對測試集進(jìn)行劃分，其中20%含有相關(guān)標(biāo)簽的數(shù)據(jù)作為排序模型預(yù)訓(xùn)練的數(shù)據(jù)，另外的數(shù)據(jù)用于模型評估與比較.

與現(xiàn)有點(diǎn)擊模型方法級聯(lián)模型CM、用戶瀏覽模型UBM、位置模型PBM和對偶學(xué)習(xí)方法進(jìn)行比較，結(jié)果如圖6所示.可以看到，圖6中展示的各指標(biāo)表明本文方法均優(yōu)于基準(zhǔn)方法，證明了真實(shí)點(diǎn)擊數(shù)據(jù)場景下該方案具有優(yōu)異的性能表現(xiàn).

Fig. 6 Results of the real click experiment圖6 真實(shí)點(diǎn)擊實(shí)驗(yàn)結(jié)果

5 總結(jié)展望

針對對偶學(xué)習(xí)方法存在的問題，本文提出一種新的通用無偏排序?qū)W習(xí)方法.利用現(xiàn)有小規(guī)模標(biāo)注數(shù)據(jù)訓(xùn)練排序模型，對候選文檔進(jìn)行較精準(zhǔn)的相關(guān)性判定，并對對偶去偏過程進(jìn)行相關(guān)修正.通過預(yù)先訓(xùn)練的排序模型參數(shù)賦值操作避免損失函數(shù)非凸造成的次優(yōu)解.該方法將無偏排序問題轉(zhuǎn)化為在小規(guī)模標(biāo)注數(shù)據(jù)上的排序?qū)W習(xí)問題，使得以往的排序模型能夠應(yīng)用于大規(guī)模點(diǎn)擊數(shù)據(jù).在模擬和真實(shí)用戶點(diǎn)擊場景下測試結(jié)果表明：本文方法能夠有效提升現(xiàn)有方法表現(xiàn).

未來可以將本文提出方法應(yīng)用于大規(guī)模真實(shí)用戶點(diǎn)擊數(shù)據(jù)場景，并嘗試不同種類的排序?qū)W習(xí)方法作為預(yù)訓(xùn)練模型以進(jìn)一步提升無偏排序模型的性能表現(xiàn).

作者貢獻(xiàn)聲明：王奕婷為論文主要完成人，負(fù)責(zé)實(shí)驗(yàn)設(shè)計(jì)與實(shí)施、文章撰寫；蘭艷艷對文稿提出針對性修改意見，完善課題思路和實(shí)驗(yàn)設(shè)計(jì)，負(fù)責(zé)文章審校；龐亮提供專業(yè)知識等方面幫助，負(fù)責(zé)文章實(shí)驗(yàn)部分的技術(shù)性指導(dǎo)；郭嘉豐對文章的知識性內(nèi)容作批評性審閱并提出意見，提供工作支持；程學(xué)旗對所用方法缺陷提出改進(jìn)意見.