肖悅，馬為之，張敏*，楊俊，劉奕群，馬少平

（1.清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系，北京信息科學(xué)與技術(shù)國(guó)家研究中心，北京 100084；2.清華大學(xué) 智能產(chǎn)業(yè)研究院，北京 100084）

0 引言

隨著信息技術(shù)的飛速發(fā)展，在互聯(lián)網(wǎng)上存在大量的信息資源，這使得用戶篩選信息資源時(shí)需要花費(fèi)大量的時(shí)間和精力，造成嚴(yán)重的信息過(guò)載問(wèn)題。為了解決這一問(wèn)題，推薦系統(tǒng)利用交互歷史或者用戶和物品信息對(duì)用戶興趣進(jìn)行建模，并從海量候選信息中匹配用戶需要的內(nèi)容，有效地解決信息過(guò)載問(wèn)題，并成為互聯(lián)網(wǎng)中一項(xiàng)重要的服務(wù)。

隨著司法公開(kāi)的不斷推進(jìn)，可公開(kāi)獲得的司法信息的不斷增多。根據(jù)中國(guó)裁判文書(shū)統(tǒng)計(jì)，可公開(kāi)獲得的案例文書(shū)達(dá)到1.2億篇，并以每天超過(guò)5萬(wàn)篇的速度增加。同時(shí)用戶也有對(duì)司法信息強(qiáng)烈的需求，不但法律從業(yè)者需要司法信息的輔助，普通民眾也有日益增長(zhǎng)的需求。司法領(lǐng)域信息公開(kāi)成為一個(gè)重要的全新場(chǎng)景［1-8］，對(duì)當(dāng)前的司法也造成了一定的影響［9-12］，司法信息推薦能夠用來(lái)滿足用戶獲取信息的需求并解決信息過(guò)載問(wèn)題，因此司法案例推薦有重要的研究?jī)r(jià)值。

在推薦系統(tǒng)中，召回與精排是關(guān)鍵的兩個(gè)步驟，現(xiàn)有的大部分工作關(guān)注于精排，但是對(duì)召回方法的嘗試與研究有限。在實(shí)際系統(tǒng)中，往往存在海量的待推薦對(duì)象，如何從這些對(duì)象中找到用于精排的候選對(duì)象也同樣重要，召回決定著精排模型的能力上限。司法推薦場(chǎng)景下的召回與現(xiàn)有場(chǎng)景下的召回存在一系列的不同之處，主要體現(xiàn)在以下三個(gè)方面：

（1）場(chǎng)景特殊知識(shí)會(huì)影響召回準(zhǔn)確率。對(duì)于案例的案由等場(chǎng)景特有的知識(shí)，傳統(tǒng)召回方法并不能很好地利用這些司法要素，其召回率會(huì)受到一定的影響。

（2）用戶的使用習(xí)慣與信息流或商品推薦有著不同。法律工作者往往會(huì)聚焦在某一類(lèi)案件上，普通用戶關(guān)注點(diǎn)相對(duì)分散。

（3）被推薦對(duì)象間關(guān)聯(lián)性更難以被挖掘，尤其體現(xiàn)在案例上。商品間存在配套使用等固有聯(lián)系，信息流間存在流動(dòng)關(guān)系，但案例間相對(duì)獨(dú)立，其關(guān)聯(lián)性不顯著。

本文基于實(shí)際司法場(chǎng)景構(gòu)建了數(shù)據(jù)集，設(shè)計(jì)了基于司法要素的召回方法，并與基于內(nèi)容的方法以及經(jīng)典召回方法做了比較。為了綜合不同召回方法，從多個(gè)角度利用案例特征以及用戶歷史信息，本文提出了多路召回方法并對(duì)多路召回策略進(jìn)行了討論與探究。

本文的主要貢獻(xiàn)如下：

（1）系統(tǒng)地回顧并實(shí)現(xiàn)了基于協(xié)同過(guò)濾、基于案例文書(shū)內(nèi)容的召回方法，并提出基于司法要素的召回方法，以對(duì)司法場(chǎng)景下的領(lǐng)域知識(shí)加以利用。

（2）設(shè)計(jì)了多路召回方法的融合框架，能夠有效綜合各路結(jié)果，實(shí)現(xiàn)融合，并提出了參與融合單路的選擇策略。

（3）基于真實(shí)司法推薦場(chǎng)景數(shù)據(jù)集對(duì)各召回方法進(jìn)行了評(píng)價(jià)，取得了較好的實(shí)驗(yàn)結(jié)果，對(duì)實(shí)際系統(tǒng)有一定的指導(dǎo)意義。

本文內(nèi)容按照如下結(jié)構(gòu)組織：第1節(jié)介紹了當(dāng)前智能司法推薦的研究與其他場(chǎng)景的召回；第2節(jié)介紹了召回方法的設(shè)計(jì)與實(shí)現(xiàn)；第3節(jié)介紹了多路召回的框架；第4節(jié)展示了基于實(shí)際場(chǎng)景的實(shí)驗(yàn)結(jié)果以及相關(guān)分析；第5節(jié)對(duì)全文做出總結(jié)。

1 相關(guān)工作

1.1 智能司法推薦的研究

當(dāng)前推薦算法與推薦系統(tǒng)由于服務(wù)對(duì)象、應(yīng)用場(chǎng)景的不同，有著不同的應(yīng)用方向。有學(xué)者從普通民眾的角度出發(fā)，提出了律師推薦系統(tǒng)［1］為老百姓提供法律服務(wù)；一些學(xué)者從法律文書(shū)的撰寫(xiě)出發(fā)，提出了法條推薦系統(tǒng)［2］；同時(shí)，為了解決“同案不同判”的相關(guān)問(wèn)題，出現(xiàn)了類(lèi)似案件的推薦系統(tǒng)［3］。

智能司法推薦場(chǎng)景相對(duì)寬泛，推薦對(duì)象隨著需求的不同而不同。本文主要涉及案件判決文書(shū)，即案例的推薦。本文需要根據(jù)用戶的案例特點(diǎn)點(diǎn)擊歷史，推薦其可能關(guān)注的其他案例。一般而言，除文本內(nèi)容外，案例文書(shū)主要包含案由、案情、關(guān)鍵詞、法律、法條五種司法要素。其中，案由是對(duì)案件性質(zhì)的描述，如：民事案件中的合同糾紛、刑事案件中的罪名；案情是對(duì)案件具體經(jīng)過(guò)的描述，多為短語(yǔ)與短句；關(guān)鍵詞是一些用于概括案件經(jīng)過(guò)的詞語(yǔ)；法律為案例引用的法律名稱，如：《中華人民共和國(guó)合同法》；法條為引用的具體條目，如：《中華人民共和國(guó)民事訴訟法》第一百七十條。

現(xiàn)有的工作從不同的應(yīng)用需求出發(fā)，在司法場(chǎng)景下做出了不同嘗試，但大多都聚焦于精排，對(duì)召回的關(guān)注度不足，而召回在實(shí)際場(chǎng)景中決定著精排的上限，有著同樣的重要地位。

1.2 其他場(chǎng)景下的召回方法

當(dāng)前其他場(chǎng)景下的召回方法較多，相對(duì)傳統(tǒng)的方法有基于內(nèi)容、基于協(xié)同過(guò)濾、基于BM25等方法。隨后，因式分解機(jī)（FM）［13］的提出為召回算法帶來(lái)了方便，通過(guò)FM的應(yīng)用，特征組合變得更加高效，利用FM可更加便捷地對(duì)用戶與項(xiàng)目進(jìn)行表征?；谏窠?jīng)網(wǎng)絡(luò)與深度網(wǎng)絡(luò)的方法是當(dāng)前最主流的方法，其主要思想仍然在于借助網(wǎng)絡(luò)化的方法，對(duì)用戶以及項(xiàng)目進(jìn)行細(xì)粒度的表征，通過(guò)其特征進(jìn)行召回或推薦，此方法在業(yè)界得到了廣泛的應(yīng)用。FM與神經(jīng)網(wǎng)絡(luò)的出現(xiàn)也促進(jìn)了傳統(tǒng)方法的發(fā)展，使得基于內(nèi)容方法的特征提取變得非人工化并更加細(xì)致，也帶動(dòng)基于模型協(xié)同過(guò)濾方法［14］的發(fā)展。以下列舉了幾個(gè)基于神經(jīng)網(wǎng)絡(luò)的模型。

（1）“雙塔”召回。微軟基于文檔與查詢?cè)~之間的相似度，提出了DSSM模型［15］，從語(yǔ)義的角度進(jìn)行召回、推薦，后逐漸發(fā)展為“雙塔”模型。之后也有學(xué)者將該模型進(jìn)行了一定改進(jìn)，將其應(yīng)用在較大數(shù)據(jù)集上［16］。

（2）序列召回。RNN被應(yīng)用于會(huì)話推薦來(lái)捕獲用戶的序列行為信息。近年來(lái)，基于多興趣召回的 MIMD［17］與基于長(zhǎng)期興趣的 SDM［18］模型被提出，并部署在了相關(guān)的實(shí)體平臺(tái)上使用。

（3）圖召回。通過(guò)構(gòu)建用戶與案例的有向圖，對(duì)用戶與案例的關(guān)系做進(jìn)一步挖掘，對(duì)其特征進(jìn)一步提取并以此為依據(jù)進(jìn)行推薦與召回。特別隨著知識(shí)圖譜的發(fā)展，基于知識(shí)圖譜的推薦系統(tǒng)得到了較大的發(fā)展［19-20］。

以上召回方法廣泛應(yīng)用于商品或信息流等場(chǎng)景，商品與信息流場(chǎng)景下?lián)碛写罅坑脩襞c物品的交互數(shù)據(jù)，為召回算法的有效性提供了保障。而在司法場(chǎng)景下，可利用的數(shù)據(jù)尤其是用戶的交互數(shù)據(jù)較少，增大了召回的難度，故本文從多個(gè)角度出發(fā)，對(duì)有限的數(shù)據(jù)進(jìn)行多方面挖掘及綜合利用，從而提升召回效果。

2 召回方法設(shè)計(jì)與實(shí)現(xiàn)

2.1 基于司法要素的召回

案例文書(shū)具有特定的表達(dá)形式與規(guī)范，文書(shū)內(nèi)包含了多種法律要素，對(duì)案例進(jìn)行了詳細(xì)描述。例如，民事合同糾紛是案件案由，拖欠工資是案件的案情之一。案例與法律要素之間有著特殊的聯(lián)系，在此我們使用連接率C來(lái)刻畫(huà)這種聯(lián)系，其定義如式（1）所示，其中NumYS表示擁有司法要素YS（可取值為案由（AY）、案情（AQ）、關(guān)鍵詞（GJC）、法律（FL）、法條（FT））的案例數(shù)，Num表示案例總數(shù)。

如表1所示，案由是連接率最高的司法要素，案情和關(guān)鍵詞次之，而法律和法條的連接率較低。我們考慮使用連接率較高的司法要素進(jìn)行召回。

表1 司法要素連接率Table 1 Connection rates of judicial element

2.1.1 方法思路與具體實(shí)現(xiàn)

經(jīng)過(guò)對(duì)司法要素的統(tǒng)計(jì)，我們發(fā)現(xiàn)案例往往擁有不止一種司法要素，對(duì)于某一種司法要素，一個(gè)案例同樣可能擁有多個(gè)，例如一個(gè)案例可能引用了多部法律。同時(shí)，司法要素的頻率也比較重要。一個(gè)用戶可能瀏覽了同一案由案件多次，利用用戶歷史行為對(duì)用戶進(jìn)行表征時(shí)，頻率特征能夠反映用戶更細(xì)致的偏好。BM25算法有利于通過(guò)離散特征進(jìn)行相似度計(jì)算并能較為有效地考慮頻率信息，因此使用其來(lái)計(jì)算用戶點(diǎn)擊歷史案例列表與其他案例的相似度得分，隨后挑選出相似度較高的案例作為召回結(jié)果，某個(gè)用戶ui與某案例itemj在某一司法要素的相似度計(jì)算方式如式（2）所示，其中IDF為逆文本頻率指數(shù)，Y表示某種司法要素的集合，Yui表示用戶ui點(diǎn)擊歷史中該種司法要素的集合，Yitemj表示案例j中含有的司法要素集合，f（y，Y）表示某個(gè)要素y在Y中出現(xiàn)的次數(shù)，avgdl為某種要素總數(shù)與案例總數(shù)的比值，k1，b為常數(shù)。

2.1.2 優(yōu)化與改進(jìn)

通過(guò)觀察式（2）可以看出，在對(duì)某一種要素做召回時(shí)，若兩個(gè)案例的要素完全相同，那么這兩個(gè)案例與同一個(gè)用戶的相似度一致。例如，用戶對(duì)案由為搶劫罪的案件具有偏好，在召回結(jié)果中所有案由為搶劫罪的案例得分均相同，而此案由案例總數(shù)可能超過(guò)了召回列表長(zhǎng)度，只能為用戶推薦一部分案例，此時(shí)需要進(jìn)一步考慮相同司法要素案例與用戶的相似程度，對(duì)基于司法要素的召回進(jìn)行改進(jìn)，共有以下四種改進(jìn)方式：

改進(jìn)一：在要素相同的基礎(chǔ)上，優(yōu)先推薦點(diǎn)擊量較高的案例；

改進(jìn)二：在要素相同的基礎(chǔ)上，優(yōu)先推薦點(diǎn)擊較新的案例；

改進(jìn)三：在要素相同的基礎(chǔ)上，優(yōu)先推薦點(diǎn)擊較新、點(diǎn)擊量較高的案例且二者并重；

改進(jìn)四：按照歷史案例要素分布情況召回案例，使召回案例列表與歷史案例列表要素分布保持一致。

2.2 基于內(nèi)容的召回

案例文書(shū)的主體仍然是文字，文本特征也是案例文書(shū)的特征之一。案例文書(shū)的文字中具有豐富的深度語(yǔ)義信息，因此考慮借助BERT對(duì)文本中的深度信息進(jìn)行提取。

2.3 基于協(xié)同過(guò)濾的召回

在實(shí)際場(chǎng)景中，相似的用戶所關(guān)注的案例也可能更相似，相應(yīng)的，用戶在關(guān)注某一案例時(shí)也可能會(huì)關(guān)注與之相似的案例。因此，我們使用了基于用戶協(xié)同過(guò)濾（UserCF）的召回，基于案例協(xié)同過(guò)濾（ItemCF）的召回，分別通過(guò)相似用戶、相似案例進(jìn)行召回。

UserCF與ItemCF兩種方法都屬于協(xié)同過(guò)濾方法，其中，UserCF的步驟如下：

（1）根據(jù)用戶的點(diǎn)擊歷史建立大小為|U|×|U|的稀疏矩陣 W，W［i］［j］表示用戶 ui，uj點(diǎn)擊過(guò)的相同案例個(gè)數(shù)；

（2）對(duì)兩個(gè)用戶 ui，uj，利用 W［i］［j］與 ui，uj點(diǎn)擊過(guò)的不重復(fù)案例的總數(shù)之比作為用戶相似度，求出用戶的k個(gè)鄰居；

（3）根據(jù)相近用戶點(diǎn)擊過(guò)的物品itemj，計(jì)算用戶ui對(duì)物品itemj的得分，公式如式（3）所示，其中Sj為對(duì)itemj評(píng)過(guò)分的用戶集合；

（4）選取得分top n的案例作為最終的召回結(jié)果。

ItemCF與UserCF類(lèi)似，唯一不同之處在于建立的為案例間的稀疏矩陣，利用案例的鄰居進(jìn)行推薦。

2.4 基于熱度的召回

在實(shí)際場(chǎng)景中，越熱門(mén)的案件就越有可能得到用戶的關(guān)注，因此我們利用熱度這一信息進(jìn)行召回。步驟如下：

（1）統(tǒng)計(jì)每個(gè)案例被點(diǎn)擊的次數(shù)，以次數(shù)表示熱度；

（2）為每個(gè)用戶推薦熱度為top n的案例。

3 多路召回方法框架

在實(shí)際場(chǎng)景中，需要一定數(shù)量的召回案例，單路召回方法能力有限，只用一種方法有較大局限性。單路的召回方法各有優(yōu)劣，且考慮的角度不盡相同，因此可以考慮利用多種方法的結(jié)果做多路召回。但如何對(duì)多路結(jié)果進(jìn)行融合，仍有待實(shí)驗(yàn)驗(yàn)證。

單路召回將對(duì)每個(gè)用戶生成一個(gè)召回列表，列表包含了召回的案例以及案例的得分，且以得分降序排列。案例的得分用于刻畫(huà)用戶與案例間的相似度，得分越高相似度越高。不同召回方法得分的定義不同，基于司法要素的召回得分如式（2）所示；基于內(nèi)容的召回中，通過(guò)BERT方法可以得到用戶與案例之間的歐式距離d，得分為e-d；基于協(xié)同過(guò)濾方法得分如式（3）所示；基于熱度的召回以案例的被點(diǎn)擊次數(shù)為得分。我們以Bagging為基本思路，設(shè)計(jì)了以下幾種融合策略，以下三種策略展示了對(duì)某一個(gè)用戶各路召回結(jié)果的利用。

策略一：每路中從前到后依次取案例，直到取得N個(gè)不重復(fù)的案例或K路均取完；

策略二：先將每路的評(píng)分歸一化，某個(gè)用戶ui對(duì)案例itemj的得分如式（4）所示，其中，K表示路數(shù)，s［k］表示第k路中ui對(duì)itemj歸一化后的得分；

策略三：僅考慮單路召回中案例所在的位置，計(jì)算表達(dá)式與式（4）一致，此時(shí)s［k］的值為案例所在位置索引值的倒數(shù)。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 數(shù)據(jù)集

數(shù)據(jù)來(lái)源于元典智庫(kù)（現(xiàn)名為元典深思）線上平臺(tái)，收集了2020年10月—2021年4月的相關(guān)案例與用戶點(diǎn)擊行為，數(shù)據(jù)已除去爬蟲(chóng)用戶，所得數(shù)據(jù)均由非爬蟲(chóng)用戶產(chǎn)生。共收集到權(quán)威案例7 167個(gè)，用戶4 464個(gè)，平均交互次數(shù)為34.86次，稀疏度為0.995。采用留一法構(gòu)造數(shù)據(jù)集，我們將用戶的點(diǎn)擊均視為正例，并取用戶最后一次的交互作為測(cè)試集，用戶其他歷史交互作為訓(xùn)練集。

4.2 評(píng)價(jià)方法

每種召回方法都會(huì)對(duì)每一個(gè)用戶得到一個(gè)召回列表，列表按照與用戶歷史案例的相似程度降序排列，若召回列表前N個(gè)案例中含有測(cè)試集中對(duì)應(yīng)用戶的正例，則認(rèn)為該用戶在N的限制下命中，記作HN［u］=1，反之則記作HN［u］=0?？紤]所有用戶（用戶組成的集合為U），有式（5）定義。在召回階段，N的取值相對(duì)較大，主要是實(shí)現(xiàn)第一步的篩選，作為精排模型的輸入。本文在單路召回中，本文取N=200，多路召回中則取N=1 000。

4.3 單路召回結(jié)果

為了方便方法表示，我們使用簡(jiǎn)寫(xiě)表示某種方法，對(duì)應(yīng)關(guān)系如表2所示，其中，YS為變量，表示司法要素的類(lèi)型，可取AY等。由于單路召回方法可召回案例數(shù)有限，各個(gè)單路召回均只統(tǒng)計(jì)前200個(gè)結(jié)果的命中率。

表2 方法簡(jiǎn)稱對(duì)照表Table 2 Comparison between methods and their abbreviations

4.3.1 單路召回結(jié)果

各單路召回結(jié)果如表3所示。其中，基于司法要素的召回使用了用戶近20次的案例點(diǎn)擊歷史。其中，Essemble綜合考慮了案由、案情與關(guān)鍵詞三個(gè)司法要素，三者并重。

表3 單路召回結(jié)果Table 3 Results of single-channel recall

通過(guò)結(jié)果，可以看出：

（1）基于案由這一司法要素的召回取得了最好的效果，說(shuō)明了司法要素這一場(chǎng)景特殊知識(shí)的重要性，也說(shuō)明了該種召回方法在此場(chǎng)景下是有效的。

（2）在司法要素中，并非所有的要素都是有效的。例如，法條的連接率雖然遠(yuǎn)低于要素的連接率，但其召回率卻相對(duì)較高，這是因?yàn)樵谶B接率較低時(shí)，含有該項(xiàng)特征的案例可能恰好是同一類(lèi)案例，從而使得召回率提高，但這種較高的召回率是沒(méi)有意義的，由于含有該項(xiàng)特征的案例較少，難以反映整體情況。因此，應(yīng)當(dāng)綜合考慮連接率與召回率，此外，案由、案情、關(guān)鍵詞三種要素綜合后的結(jié)果不如案由召回，由此認(rèn)為以案由為特征的召回是有效的。之后的多路召回中使用案由召回，基于司法要素的改進(jìn)對(duì)象也為案由召回。

（3）基于文本召回的效果并不理想，可能的原因是案例的文本較為復(fù)雜，案例的文本內(nèi)容大部分依賴于事件本身，即文本內(nèi)容會(huì)大量敘述相關(guān)事實(shí)，而案例與案例間的事實(shí)差異較大，文案之間差異明顯，不利于相似程度的判斷。

（4）協(xié)同過(guò)濾方法取得了較好效果，說(shuō)明利用相似用戶與相似案例進(jìn)行推薦在此場(chǎng)景中仍是有效的。ItemCF召回與UserCF召回的結(jié)果較為接近，是因?yàn)閮烧呤菍?duì)同一歷史信息以相似方式的利用，因此其最終結(jié)果相對(duì)來(lái)說(shuō)也會(huì)較為接近，此問(wèn)題將在4.3.3做進(jìn)一步討論。

（5）基于熱度召回的方法召回率相對(duì)較低。在司法場(chǎng)景下，用戶關(guān)注的更可能是某一個(gè)案例相關(guān)的其他案例，而不是熱度較高的案例，熱度并不能反映案例之間的相關(guān)程度，也沒(méi)有對(duì)用戶做個(gè)性化的推薦，故其效果相對(duì)較差。

4.3.2 改進(jìn)后的司法要素召回

同案由案例在上述召回方法中具有相同的分?jǐn)?shù)，為了使同案由案例有一定區(qū)分度，按照2.1.2中的各方法改進(jìn)（分別利用了熱度、時(shí)間、熱度與時(shí)間、用戶歷史的案由分布）后的結(jié)果如表4所示。

表4 改進(jìn)后的案由召回Table 4 Improved recall methods based on cause of case

結(jié)果顯示，改進(jìn)一、二、三與之前的結(jié)果在測(cè)試長(zhǎng)度較長(zhǎng)時(shí)差距并不大，原因在于案例的總數(shù)目相對(duì)較少，當(dāng)召回測(cè)試案例數(shù)目較多時(shí)，差距就會(huì)縮小，因此應(yīng)當(dāng)考慮表格的前兩項(xiàng)數(shù)據(jù)?？梢钥闯觯?dāng)推薦以熱度優(yōu)先時(shí)相應(yīng)的結(jié)果更好，當(dāng)以時(shí)間優(yōu)先時(shí)，結(jié)果相對(duì)降低。在司法場(chǎng)景下，被點(diǎn)擊的越多的案例被再次點(diǎn)擊的概率會(huì)更高，但越新的案例并不一定會(huì)得到更多點(diǎn)擊。改進(jìn)四效果相對(duì)較差，原因在于案例的總數(shù)目并不多，改進(jìn)四的做法會(huì)導(dǎo)致被推薦的案例數(shù)減少，但當(dāng)案例總數(shù)較多時(shí)，改進(jìn)四或許能取得更好的結(jié)果。例如，當(dāng)案例總數(shù)足夠多時(shí)，其他改進(jìn)很可能推薦的都為同一種案由的案例，而改進(jìn)四則能兼顧案例案由的多樣性。

在本場(chǎng)景下，利用熱度對(duì)案由召回的改進(jìn)最為理想，因此之后實(shí)驗(yàn)中使用的案由召回，皆為基于改進(jìn)一的案由召回。

4.3.3 重合度分析

上述五種方法從不同的角度進(jìn)行了推薦，單單從召回率并不能看出幾種方法間的關(guān)系，也不能反映幾種方法的重要程度。為了進(jìn)一步分析幾種方法的關(guān)系并衡量幾種方法的重要程度，我們進(jìn)行了正確重合度分析，結(jié)果如表5所示，表項(xiàng)的具體計(jì)算方式如下：

表5 不同方法的正確結(jié)果重合度Table 5 Coincidence of correct results of different methods

（1）以li、cj分別表示表格第i行、第j列所示的方法，以t［i］［j］表示表格數(shù)值，初值為 0；

（2）若在li、cj兩種方法下，對(duì)用戶u，都有H200［u］=1，則t［i］［j］=1；

（3）考慮所有l(wèi)i、cj組合，通過(guò)式（6）得到最終表項(xiàng)的取值，分母的H200［u］是基于方法li得到的。

在此種表示方式下，可以通過(guò)觀察行來(lái)判斷方法li正確結(jié)果在其他方法正確結(jié)果中的占比，通過(guò)列來(lái)觀察其他方法正確結(jié)果在方法cj正確結(jié)果的占比，行所示數(shù)據(jù)越大，說(shuō)明其正確結(jié)果包含在其他方法正確結(jié)果中的比例越大，其有效性相對(duì)越低，列所示數(shù)據(jù)越大，說(shuō)明其包含越多其他方法的正確結(jié)果，其有效性相對(duì)越高。

通過(guò)結(jié)果可以看出，兩個(gè)協(xié)同過(guò)濾方法正確結(jié)果的重合度較高，但與其他方法的包含與被包含比例適中；案由召回包含了較多其他方法的正確結(jié)果且其被包含的比例相對(duì)較低；BERT與Popular兩種方法包含與被包含的比例相對(duì)適中。結(jié)果說(shuō)明案由召回在此場(chǎng)景下是有效的，BERT、協(xié)同過(guò)濾、Popular都具有一定的價(jià)值，而UserCF與ItemCF兩種方法之間重合度較高，二者之間應(yīng)當(dāng)可以只保留一種方法。

4.4 多路召回結(jié)果

4.4.1 不同多路融合策略的召回結(jié)果

不同策略的多路召回結(jié)果如表6所示。策略一選取了每路中靠前的案例，策略二將案例得分進(jìn)行了多路平權(quán)處理，以得分為依據(jù)進(jìn)行召回，策略三使用了索引值倒數(shù)作為得分。

表6 不同多路融合策略的結(jié)果Table 6 Results of different multi-channel strategies

三種策略中，效果較好的為策略一、二，策略一選擇了每路靠前的案例，形成最終的召回序列，能一定程度上綜合各路的結(jié)果，具有一定的有效性。策略二則以量化的方式融合了各路的結(jié)果，有利于綜合各路優(yōu)勢(shì)，故取得較好效果。

4.4.2 消融實(shí)驗(yàn)

通過(guò)重合度分析，我們發(fā)現(xiàn)五路中案由召回相對(duì)重要，認(rèn)為ItemCF與UserCF可以僅保留一種方法即可，而B(niǎo)ERT、Popular方法具有一定的價(jià)值，在此通過(guò)消融實(shí)驗(yàn)做出驗(yàn)證。方法一到五分別表示無(wú)案由召回、無(wú)BERT召回、無(wú)UserCF召回、無(wú)ItemCF召回、無(wú)Popular召回，四路與五路召回結(jié)果總數(shù)保持一致，此時(shí)每路被選擇的案例數(shù)量增加。結(jié)果如表7所示。

表7 消融實(shí)驗(yàn)結(jié)果Table 7 Results of ablation experiments

從結(jié)果可以看出，當(dāng)缺少的方法為ItemCF與UserCF其中之一時(shí)，召回率下降并不明顯，而缺少的為其他方法時(shí)，召回率有所下降，尤其是缺少案由召回時(shí)，達(dá)到了最低值?？梢哉J(rèn)為案由召回在五路中貢獻(xiàn)較大，而兩種協(xié)同過(guò)濾方法最終的貢獻(xiàn)程度較為接近。其中，在舍棄UserCF召回時(shí)，Hit@1000有所提高，這是因?yàn)樵谏釛塙serCF之后其他方法能提供的案例變多，使結(jié)果改善，但通過(guò)前兩列的值，仍可認(rèn)為五路召回是最為有效的。

4.5 其他分析

策略四采用的為各路平權(quán)相加的融合方式，但是否存在更好的網(wǎng)絡(luò)結(jié)構(gòu)或網(wǎng)絡(luò)權(quán)重還有待進(jìn)一步探究，故引入神經(jīng)網(wǎng)絡(luò)方法，解決如下兩個(gè)問(wèn)題：（1）探究適宜的網(wǎng)絡(luò)結(jié)構(gòu)；（2）提供網(wǎng)絡(luò)權(quán)重的一種訓(xùn)練方法。整個(gè)訓(xùn)練與測(cè)試的設(shè)計(jì)如下。

網(wǎng)絡(luò)的輸入與輸出：輸入為一個(gè)長(zhǎng)度為5的向量，分別表示五路中的得分，輸出為長(zhǎng)度為1的向量，表示五路召回的綜合得分。

訓(xùn)練：每次從用戶的點(diǎn)擊歷史中返回一個(gè)正例與從用戶沒(méi)有點(diǎn)擊的案例中采樣得到的九個(gè)負(fù)例，對(duì)案例進(jìn)行分?jǐn)?shù)預(yù)測(cè)，損失函數(shù)使用成對(duì)的損失函數(shù)。

測(cè)試：測(cè)試時(shí)針對(duì)用戶與其所有未點(diǎn)擊過(guò)的案例，通過(guò)網(wǎng)絡(luò)計(jì)算每一個(gè)案例的得分，將案例以得分進(jìn)行降序排序，得到最終的召回列表。

網(wǎng)絡(luò)結(jié)構(gòu)如下。

網(wǎng)絡(luò)一：?jiǎn)螌泳€性網(wǎng)絡(luò)，不含bias；

網(wǎng)絡(luò)二：雙層線性網(wǎng)絡(luò)，線性層不含bias，使用GeLU為激活函數(shù)；

網(wǎng)絡(luò)三：雙層線性網(wǎng)絡(luò)，線性層不含bias，無(wú)激活函數(shù)。

以2.3中策略三所示方法作為對(duì)比，結(jié)果基于十折交叉驗(yàn)證得到，結(jié)果如表8所示。

表8 不同網(wǎng)絡(luò)結(jié)構(gòu)的召回結(jié)果Table 8 Results of different network structures

針對(duì)問(wèn)題（1），通過(guò)結(jié)果可以看出，單層線性網(wǎng)絡(luò)與雙層網(wǎng)絡(luò)的效果相差不大，原因在于本問(wèn)題較為簡(jiǎn)單，無(wú)須復(fù)雜網(wǎng)絡(luò)即可達(dá)到較好效果，反而平權(quán)相加的方式擁有最好的效果。

針對(duì)問(wèn)題（2），由于數(shù)據(jù)集中正例數(shù)目過(guò)少，因此對(duì)于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的指導(dǎo)意義并不強(qiáng)，每次訓(xùn)練收斂時(shí)所得的權(quán)重相差過(guò)大，難以得到一個(gè)相對(duì)穩(wěn)定的權(quán)重，神經(jīng)網(wǎng)絡(luò)方法對(duì)權(quán)重的確定指導(dǎo)意義較小。

5 結(jié)論

智能司法信息處理是司法領(lǐng)域從信息化走向智能化的關(guān)鍵路徑，司法場(chǎng)景下的推薦系統(tǒng)有利于滿足用戶的司法信息需求和緩解信息過(guò)載等問(wèn)題，是一個(gè)重要的新興研究領(lǐng)域。針對(duì)案例推薦的召回方法研究，本文系統(tǒng)地回顧并實(shí)現(xiàn)了基于協(xié)同過(guò)濾、基于案例文書(shū)內(nèi)容的召回方法，并提出基于司法要素的召回方法。相比于其他方法，基于司法要素的召回對(duì)司法場(chǎng)景下的特殊知識(shí)進(jìn)行了挖掘與利用，利用案由進(jìn)行召回的方法取得了較好的效果，驗(yàn)證了基于司法要素召回的有效性。在多種融合策略中，將各路對(duì)某個(gè)案例的評(píng)分進(jìn)行平權(quán)相加可取得較好結(jié)果，且實(shí)現(xiàn)方法簡(jiǎn)單，算法復(fù)雜度低。在選取單路的召回策略時(shí)，可以進(jìn)行重合度分析，若存在某兩路結(jié)果重合度較大，則可考慮舍棄其中的一個(gè)方法從而獲得更高的效率。最后，本文嘗試了使用神經(jīng)網(wǎng)絡(luò)進(jìn)行多路召回結(jié)果融合，但其效果不如多路加權(quán)相加方式的效果，反而出現(xiàn)了嚴(yán)重的過(guò)擬合問(wèn)題。由于數(shù)據(jù)集正例數(shù)較少，神經(jīng)網(wǎng)絡(luò)收斂時(shí)權(quán)重差異較大，能為權(quán)重確定帶來(lái)的指導(dǎo)較少。