丁邱 嚴馨 劉艷超 徐廣義 鄧忠瑩

摘 要：現(xiàn)有問答社區(qū)專家發(fā)現(xiàn)方法通過學習用戶解答的問題序列單向信息建模用戶興趣，忽略了用戶興趣的波動性，對于解答過較少問題的用戶建模準確度將受到影響，此外，未考慮歷史回答與問題的語義相關(guān)性對評估用戶表現(xiàn)的作用。論文提出基于興趣和專業(yè)度建模的CQA專家發(fā)現(xiàn)方法，首先，使用BERT4Rec學習用戶近期解答的問題序列雙向信息得到近期動態(tài)興趣表示；其次，構(gòu)建用戶社交網(wǎng)絡(luò)，使用DeepWalk算法學習網(wǎng)絡(luò)結(jié)構(gòu)特征，得到用戶長期興趣表示；再次，構(gòu)建用戶專業(yè)度評估網(wǎng)絡(luò)，依據(jù)用戶回答與問題的語義相關(guān)性及反饋信息計算權(quán)重，對相應問題進行加權(quán)，引入注意力機制，重點關(guān)注用戶在與新問題相近問題上的表現(xiàn)，得到用戶專業(yè)度表示；最后，綜合用戶近期動態(tài)興趣、長期興趣和專業(yè)度表示與新問題進行匹配打分，為新問題找出有意愿接受邀請并能提供優(yōu)質(zhì)回答的用戶。實驗表明，該方法取得了較好表現(xiàn)，較基線方法在英語、3D打印和天涯問答數(shù)據(jù)集的MRR評價指標上分別提升了5.2%、2.7%、16.1%。

關(guān)鍵詞：問答社區(qū)；專家發(fā)現(xiàn)；動態(tài)興趣建模；社交網(wǎng)絡(luò)；專業(yè)度建模

中圖分類號：TP391

文獻標志碼：A

問答社區(qū)（question answering community， CQA）專家發(fā)現(xiàn)就是找出潛在的能夠提供高質(zhì)量答案的用戶，邀請他們回答問題?？s短提問者等待回復的時間，促進用戶參與度，更快獲取到用戶感興趣并有可能提供答案的問題^[1]。面向問答社區(qū)的專家發(fā)現(xiàn)方法，包括基于圖、基于內(nèi)容和基于深度學習的方法。

基于圖的方法是將用戶之間建立關(guān)系圖，把他們關(guān)聯(lián)起來。YANG等^[2]應用社交網(wǎng)絡(luò)構(gòu)建任務(wù)和用戶聲望圖，基于圖的算法衡量用戶的專業(yè)知識和任務(wù)聲望。SUN等^[3]提出應用專業(yè)知識增益假設(shè)來緩解數(shù)據(jù)稀疏性問題，并從用戶的歷史活動中構(gòu)建競爭圖，將競爭圖的層次結(jié)構(gòu)解釋為問題難度和用戶專業(yè)知識。該類方法本質(zhì)上是依據(jù)用戶是否在相似領(lǐng)域活躍過，并沒有系統(tǒng)地對用戶專業(yè)性和興趣進行建模。

基于內(nèi)容的方法是將其看作一個主題建模問題。通過用戶、問題等信息，找到能回答對應主題的專家。YANG等^[4]從用戶偏好主題和擁有的專業(yè)知識尋找對應專家。ZHAO^[5]提出主題級的專家學習框架，綜合鏈接分析與內(nèi)容分析尋找合適的專家。MUMTAZ等^[6]利用問題相似度找到相關(guān)用戶，再利用反饋信息對相關(guān)用戶進行排序。利用主題建模思想找出對應主題專家的方法，使用關(guān)鍵詞簡單表征文本特征，忽略了問題和答案文本的深層特征。

基于深度學習的方法是引入深度學習提升專家發(fā)現(xiàn)方法性能。HE等^[7]設(shè)計基于神經(jīng)網(wǎng)絡(luò)的協(xié)作過濾通用框架，將矩陣因式分解與前饋神經(jīng)網(wǎng)絡(luò)進行聯(lián)合學習，建模用戶和項目的潛在特征。SEDHAIN等^[8]提出基于自動編碼器范式的協(xié)同過濾模型，將傳統(tǒng)的線性內(nèi)積替換為自動編碼器中評級矩陣的非線性分解。LIAN等^[9]提出新的壓縮交互網(wǎng)絡(luò)自動學習高階特征交互，將其與深度神經(jīng)網(wǎng)絡(luò)結(jié)合應用于推薦任務(wù)。HE等^[10]利用卷積神經(jīng)網(wǎng)絡(luò)以分層方式從局部到全局學習嵌入維度之間的高階相關(guān)性，找出潛在的回答者。LI等^[11]通過異質(zhì)信息網(wǎng)絡(luò)學習問題、提出者和回答者表示，用卷積打分函數(shù)找出高分用戶作為專家。TANG等^[12]提出基于注意力的因子分解機變體，不僅模擬個體特征對之間的交互，而且強調(diào)關(guān)鍵特征的作用和成對的交互。尤麗等^[13]將答案質(zhì)量作為推薦因子之一，尋找專家用戶。YIN等^[14]考慮社區(qū)動態(tài)性，提出適應用戶興趣漂移進行推薦的方法。呂曉琦等^[15]根據(jù)用戶歷史解答序列學習用戶動態(tài)興趣，依據(jù)用戶興趣推薦專家。HE等^[16]提出動態(tài)用戶建模方法，考慮用戶興趣的動態(tài)性，利用反饋信息獲取用戶的專業(yè)度。

若想找出有極大意愿接受邀請且擁有相應專業(yè)知識的用戶，就要綜合考慮用戶興趣和專業(yè)度，但現(xiàn)有方法要么只考慮了一個方面，要么對興趣和專業(yè)度的建模還不夠充分，有待改進。從用戶解答過的問題能判斷用戶對哪些方向領(lǐng)域感興趣，在問答社區(qū)專家發(fā)現(xiàn)任務(wù)中，往往將用戶解答過的問題序列稱為用戶行為序列。目前，大多數(shù)方法利用循環(huán)神經(jīng)網(wǎng)絡(luò)學習用戶興趣表示，只實現(xiàn)了從左到右學習序列的單向特征，忽略了用戶行為序列更豐富全面的信息。有些用戶解答過較少的問題行為序列較為稀疏，導致僅從行為序列對用戶進行建模的方法性能受到極大影響，而用戶社交網(wǎng)絡(luò)蘊含豐富信息，將社交網(wǎng)絡(luò)融入用戶建模中，能夠聚合與用戶有相同興趣的其他用戶特征增強用戶興趣表征，克服數(shù)據(jù)稀疏造成的影響?，F(xiàn)有方法多利用回答收到的反饋信息來判斷用戶的專業(yè)度，有些冷門問題其受眾較少，回答收到的反饋信息較少甚至沒有，但不能因此就判定用戶不夠?qū)I(yè)。一個好的回答往往與問題有較高的語義相關(guān)性，因此，利用回答與問題的語義相關(guān)性能判斷用戶在對應問題上表現(xiàn)是否專業(yè)，克服反饋信息缺乏時對用戶評估造成的影響。關(guān)注用戶在與新問題相近那些問題上的表現(xiàn)，能夠評估用戶在新問題領(lǐng)域的專業(yè)度。本文提出基于興趣和專業(yè)度建模的CQA專家發(fā)現(xiàn)方法主要貢獻如下：

使用基于變換網(wǎng)絡(luò)的雙向編碼進行推薦的模型^[17]（sequential recommendation with bidirectional encoder representations from transformer，BERT4Rec）學習用戶近期解答的問題序列雙向信息，克服循環(huán)神經(jīng)網(wǎng)絡(luò)僅學習序列單向信息的局限性，得到更充分全面的用戶近期動態(tài)興趣，有利于找出有極大意愿接受邀請的用戶。

構(gòu)建用戶社交網(wǎng)絡(luò)，使用深度游走算法^[18]（online learning of social representations， Deepwalk）學習網(wǎng)絡(luò)結(jié)構(gòu)特征，考慮用戶在社區(qū)的社交關(guān)系，聚合與用戶興趣相似的鄰接用戶特征得到用戶長期興趣表示。融合網(wǎng)絡(luò)表示學習對用戶進行建模，有利于解決用戶行為數(shù)據(jù)稀疏問題，即對那些解答過較少問題的用戶，也能通過蘊含豐富信息的社交網(wǎng)絡(luò)對其進行建模。

構(gòu)建用戶專業(yè)度評估網(wǎng)絡(luò)，引入用戶回答與問題的語義相關(guān)性結(jié)合反饋信息判斷用戶在對應問題上表現(xiàn)是否專業(yè)，克服反饋信息缺乏造成的影響。引入注意力機制重點關(guān)注用戶在與新問題相近問題上的表現(xiàn)情況，得到更為準確的用戶專業(yè)度表示。

在英語、3D打印和天涯問答三個數(shù)據(jù)集上進行實驗，本文方法皆取得了較好表現(xiàn)，為新問題找出了有意愿接受邀請的潛在優(yōu)質(zhì)回答者。

1 模型構(gòu)建

1.1 問題分析

使用U={u₁，u₂，…，u_l}表示用戶集，用戶u解答過的歷史問答對序列表示為：

Q（u）={（qu₁，au₁，tu₁，yu₁），（qu₂，au₂，tu₂，yu₂），…，（qu_|Q（u）|，au_|Q（u）|，tu_|Q（u）|， yu_|Q（u）|）}。其中，（qu₁，au₁，tu₁，yu₁）表示用戶u在t₁時刻回答了問題q₁，所給答案為a₁，y₁為答案a₁收到的反饋信息。問答對序列是按用戶回答問題的時間排列的t_ij（i

專家發(fā)現(xiàn)任務(wù)就是給出一個新問題q_m，候選用戶集U以及每個候選用戶u解答過的歷史問答對序列Q（u）。計算每個用戶u∈U與q_m的匹配分數(shù)，最高分的用戶就是有意愿接受邀請，可以為新問題提供較優(yōu)答案的專家用戶。

1.2 模型框架

模型的總體框架如圖1所示。用戶近期動態(tài)興趣建模是通過用戶近期解答的問題序列，捕捉用戶動態(tài)興趣，判斷用戶是否有意愿接受邀請；用戶社交網(wǎng)絡(luò)建模是利用用戶間的交互，挖掘用戶長期不易發(fā)生變化的長期興趣，提升用戶建模準確度；用戶專業(yè)度建模是綜合用戶歷史表現(xiàn)情況，評估用戶專業(yè)度，判斷用戶是否有能力回答問題。綜合用戶近期動態(tài)興趣、長期興趣和專業(yè)度得到用戶最終表示，將用戶與新問題進行匹配打分。得分較高的用戶將是有意愿接受邀請，能夠為新問題提供較優(yōu)答案的專家用戶。

1.2.1 問題和答案編碼

使用預訓練的基于變換網(wǎng)絡(luò)的雙向編碼^[19]（bidirectional encoder representation from transformer，BERT）模型對問題和答案進行編碼，學習問題和答案的深層特征信息，得到問題和答案表示。問答社區(qū)中問題文本長度較短，一般就是0～100區(qū)間。答案文本長度相對要長一點，但大多數(shù)都是100～200區(qū)間，符合預訓練BERT模型能處理的最大長度限制。個別答案會超出512的長度限制，據(jù)統(tǒng)計超出限制的答案前200個字符已經(jīng)可以概括這個答案的主要思想，因此，若是遇到超出BERT長度限制的答案，就將其做截斷處理，保證輸入文本符合BERT的長度限制。

1.2.2 用戶近期動態(tài)興趣建模

用戶的近期解答的問題序列能夠表征其動態(tài)的近期興趣，這將是決定用戶目前是否愿意回答新問題的一個關(guān)鍵因素?，F(xiàn)有專家發(fā)現(xiàn)方法廣泛用于處理序列數(shù)據(jù)的循環(huán)神經(jīng)網(wǎng)絡(luò)，獲取動態(tài)興趣表示，但這種方法只能單向的學習序列特征，不能同時學習序列的雙向特征。用戶興趣是波動的，并不是單向發(fā)展的，需要利用其近期解答的問題序列充分捕捉到興趣來回波動的情況。受文獻[17]啟發(fā)中，使用BERT4Rec代替循環(huán)神經(jīng)網(wǎng)絡(luò)對用戶近期解答的問題序列進行處理，從而克服循環(huán)神經(jīng)網(wǎng)絡(luò)沒能有效利用序列雙向信息的缺點。BERT4Rec允許用戶歷史行為中的每一項融合來自左側(cè)和右側(cè)的信息，充分學習行為序列的雙向信息，獲取到更為深層全面的用戶動態(tài)興趣表示。將用戶u在新問題q_m提出之前回答的n個問題序列{q^rec₁，q^rec₂，…，q^rec_n}作為其近期行為，將編碼后的問題序列輸入BERT4Rec，獲取用戶近期動態(tài)興趣表示。圖2為使用BERT4Rec進行動態(tài)興趣建模的框架圖。

BERT4Rec本質(zhì)就是由多個雙向Transformer^[20]層堆疊起來的，為了使用輸入的序列信息，需要將位置向量與初始輸入求和作為Transformer的輸入。計算見公式（1）。

h0_i=q^rec_i+f_i（1）

式中，q^rec_i∈Rd是輸入序列的第i項，f_i∈Rd是位置索引d維的位置向量，BERT4Rec使用可學習的位置向量。將加入位置信息的輸入序列送入多層雙向Transformer層，迭代計算每一項在每一層的隱藏表示hl_i∈Rd，l指第l個Transformer層。

Trm包含多頭自注意力和位置前饋網(wǎng)絡(luò)兩個子層，使用這兩個子層對輸入序列的隱藏矩陣H∈R^n+1×d進行處理。在預測用戶未來對什么感興趣時，BERT4Rec在輸入序列的末尾附加了masked，根據(jù)該masked的最終隱藏表示來預測下一項，也就是輸入序列實際長度為n+1，d為隱藏維度。

多頭自注意力子層計算如下：

式中，Hl為隱藏矩陣；l表示第l個Transformer層；h為自注意力的頭數(shù)；WO∈R^d×d、WQ_i∈R^d×d/h、WK_i∈R^d×d/h和WV_i∈R^d×d/h為可學習參數(shù)。

位置前饋網(wǎng)絡(luò)子層計算如下：

其中， Φ（x）是標準高斯分布的累積分布函數(shù)；W^（1）∈R^d×4d、W^（2）∈R^4d×d、b^（1）∈R^4d、b^（2）∈Rd是可學習參數(shù)。BERT4Rec使用層規(guī)范化函數(shù)L_LN對同一層所有隱藏單元的輸入進行規(guī)范化，具體計算如下：

式中，H^l-1∈R^n+1×d是第l-1層輸出的隱藏矩陣，作為第l層Trm的輸入，經(jīng)過多頭自注意力和位置前饋網(wǎng)絡(luò)兩個子層后輸出Hl∈R^n+1×d。將最后一層Transformer層的最后一個隱藏表示hL_n+1∈Rd作為用戶的近期動態(tài)興趣gu=hL_n+1。

1.2.3 用戶社交網(wǎng)絡(luò)建模

問答社區(qū)中回答相同問題的用戶往往興趣相似，若是能夠?qū)⒂脩糸g的社交關(guān)系融入用戶建模中，將能有效改善行為數(shù)據(jù)稀疏問題對建模造成的影響，通過挖掘用戶間的關(guān)系得到更為精準的用戶畫像。構(gòu)建用戶社交網(wǎng)絡(luò)G=（U，E），用戶作為網(wǎng)絡(luò)節(jié)點，用戶間的關(guān)系作為邊，兩個用戶若是回答過相同問題，這兩個用戶節(jié)點之間就有邊。U是用戶節(jié)點集，E是邊集。

運用經(jīng)典網(wǎng)絡(luò)表示學習方法DeepWalk^[18]學習用戶社交網(wǎng)絡(luò)節(jié)點表示，即通過挖掘用戶間的關(guān)系，聚合與用戶興趣相似的鄰接用戶特征增強用戶節(jié)點表征，得到用戶穩(wěn)定的長期興趣表示。首先，使用隨機游走得到社交網(wǎng)絡(luò)對應節(jié)點序列集；然后，利用Skip-gram算法學習得到用戶節(jié)點表示，采用負采樣方法進行優(yōu)化，目標函數(shù)見公式（5）。

式中，第一項為正例，即確實互為鄰接的節(jié)點，u_i∈R^d1為節(jié)點i的中心向量，u_j∈R^d1為節(jié)點i的上下文向量；第二項為負例，k為負例的數(shù)目，j′是從預先定義的噪聲分布p（j′）采樣的負例節(jié)點。

最后，將經(jīng)過優(yōu)化增強后的用戶節(jié)點的中心向量作為用戶長期興趣表示zu∈R^d1。

1.2.4 用戶專業(yè)度建模

用戶所給回答收到的反饋信息是評估用戶表現(xiàn)的重要指標，但不同社區(qū)擁有的反饋信息會有所不同，甚至有些受眾較少的問題沒有反饋信息，過度依賴反饋信息會降低模型通用性。為了提升模型通用性和專業(yè)度評估準確度，構(gòu)建用戶專業(yè)度評估網(wǎng)絡(luò)，獲取用戶專業(yè)度表示。

受答案選擇方法^[21]啟發(fā)，一個優(yōu)質(zhì)回答往往與問題有較高的語義相關(guān)性，故使用回答與問題的語義相關(guān)性及回答收到的反饋信息計算用戶在相應問題上的表現(xiàn)權(quán)重，對用戶回答的對應問題進行加權(quán)，即給那些用戶表現(xiàn)較好的問題更高的權(quán)重。計算見公式（6）。

p_i=（C_cosine（q_i，a_i）+A_act（y_i））·q_i（6）

其中，C_cosine（）是余弦相似度函數(shù)；q_i和a_i分別是問題和答案表示；A_act（）是一個前饋網(wǎng)絡(luò)；y_i是反饋向量。對于沒有反饋信息的回答將其反饋權(quán)值設(shè)為0。使用的反饋信息見表1。

用戶在與新問題相近的那些問題上的表現(xiàn)，最能體現(xiàn)用戶在新問題領(lǐng)域?qū)I(yè)水平如何。因此，引入注意力機制，給予那些與新問題相近的問題更多關(guān)注。注意力權(quán)重計算見公式（7）。使用注意力給予用戶解答的與新問題相近的問題更高的權(quán)值后，對加權(quán)后的問題表示序列求和得到用戶專業(yè)度表示eu∈Rd，計算見公式（8）。

式中，W_e∈R^d×d是可訓練的參數(shù)；p_i∈Rd是問題表示經(jīng)語義相關(guān)性結(jié)合反饋權(quán)值對其加權(quán)后的表示；β_i為注意力權(quán)值。

1.2.5 用戶問題匹配

經(jīng)過用戶近期動態(tài)興趣、社交網(wǎng)絡(luò)建模和專業(yè)度建模，獲得用戶近期動態(tài)興趣表示gu∈Rd、長期興趣表示zu∈R^d1和專業(yè)度表示eu∈Rd。將三者級聯(lián)經(jīng)過線性變換得到用戶最終表示u，計算見公式（9）。將用戶與新問題進行匹配打分，計算見公式（10）。

其中，W_p∈R^{（2d+d1）×d}；b_p∈Rd是可訓練的變換參數(shù)。按得分對候選用戶進行排序，選擇排名最前用戶作為推薦人選。使用hinge損失函數(shù)對模型進行訓練。

式中，N為樣本數(shù)；λ是一個常數(shù)；S（q_m，u₊）、S（q_m，u_-）分別表示正例用戶和負例用戶的得分。正例用戶就是能夠給問題提供較優(yōu)答案的用戶，反之其他用戶則為負例用戶。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集

Stack Exchange包含許多特定領(lǐng)域的子數(shù)據(jù)集，如數(shù)學、英語和3D打印等。本文選用英語和3D打印這兩個子數(shù)據(jù)集進行實驗。數(shù)據(jù)集包含2011年到2021年的問題、答案和用戶，以及問題提出時間、回答時間、回答得分、最佳答案等信息。為了驗證方法的通用性，我們搜集了天涯問答社區(qū)的數(shù)據(jù)進行實驗。天涯問答數(shù)據(jù)集中的問題和答案，有些是沒有點贊量這類反饋信息的，將這部分數(shù)據(jù)也用于模型測試，進一步驗證模型通用性。選取候選用戶時，在新問題提出的近期沒有活躍的用戶則不將其作為候選用戶，保證邀請的用戶還在活躍。表2為這三個數(shù)據(jù)集預處理后用于實驗的概況。

2.2 參數(shù)設(shè)置

實驗基于Pytorch深度學習框架實現(xiàn)，使用Adam優(yōu)化器，學習率為0.001。批次大小設(shè)置為32，設(shè)置了8個epoch。使用開源BERT-base預訓練模型對問題和答案編碼，編碼所得的問題和答案表示維度為d=768。用戶近期動態(tài)興趣建模部分將BERT4Rec隱藏表示和位置嵌入維度設(shè)為768，使用2層Transformer層，多頭注意力的數(shù)量設(shè)為2頭，序列最大長度為31，即n=30取在新問題提出之前用戶最近回答的30個問題作為其近期行為。社交網(wǎng)絡(luò)學習的節(jié)點維度設(shè)為d₁=256。hinge損失函數(shù)中的λ設(shè)置為0.2。將最佳答案的提供者作為正例用戶，其余用戶作為負例用戶。

2.3 基線

將EDQAU與近幾年的專家發(fā)現(xiàn)方法在英語、3D打印和天涯問答數(shù)據(jù)集上進行對比實驗：

ConvNCF^[10]：該方法基于矩陣分解的多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）學習用戶和項目嵌入之間的交互，CNN以多層結(jié)構(gòu)從局部到全局學習嵌入維度之間的高階相關(guān)性。

Expert2Vec^[6]：該方法基于嵌入方法計算問題相似度，利用相似度為給定問題找到相關(guān)用戶，最后利用社區(qū)反饋對相關(guān)用戶進行排序。

NeRank^[11]：使用異質(zhì)網(wǎng)絡(luò)嵌入算法學習問題、提問者和回答者三者的嵌入表示，再將三者作為卷積打分函數(shù)的輸入，根據(jù)打分結(jié)果得到推薦列表。

DUM^[16]：考慮社區(qū)動態(tài)性，將用戶興趣分解為長期興趣和動態(tài)近期興趣。利用反饋信息獲取用戶專業(yè)度表示，根據(jù)用戶興趣和用戶專業(yè)度對用戶進行排序。

2.4 評價指標

采用平均倒數(shù)排名（mean reciprocal rank，MRR）、Hit@5和Prec@1作為評價指標對模型性能進行評估。

MRR是標準回答者排名倒數(shù)的均值。假設(shè)用于測試的問題集為Q，那么MRR的計算為公式（12）。

式中，|Q|表示用于測試的問題數(shù)量；μ_i，best表示第i個問題的標準回答者的排序位置。

Hit@k主要是看標準回答者是否出現(xiàn)在推薦列表的前k位。計算見公式（13）。

式中，I（μ_i，best≤k）表示第i個問題的標準回答者是否在推薦列表的前k位，在則為1，不在為0。

Prec@1則是看標準回答者是否出現(xiàn)在推薦列表的第1位。計算見公式（14）。

2.5 實驗結(jié)果分析

從表3不同方法的對比實驗結(jié)果可見，較考慮了用戶動態(tài)興趣的基線方法DUM，EDQAU方法在英語、3D打印和天涯問答數(shù)據(jù)集的MRR評價指標上分別提升了5.2%、2.7%、16.1%，性能和通用性都有所提升。

本文EDQAU方法使用BERT模型對問題和答案進行編碼，所得問題和答案的嵌入表示捕捉了文本上下文信息以及更深層次的語義特征。ConvNCF和Expert2Vec僅是簡單的使用問題ID或是關(guān)鍵字作為嵌入表示，忽略了文本的豐富語義信息和上下文間的關(guān)系。NeRank和DUM雖然使用了網(wǎng)絡(luò)嵌入算法學習文本的嵌入表示，但其方法還是存在局限，沒能充分捕獲到問題、答案這類短文本的深層語義信息，影響了模型的整體性能。EDQAU與ConvNCF、Expert2Vec和NeRank這幾個沒有考慮用戶動態(tài)興趣的方法相比，性能得到較大的提升，因為依據(jù)用戶近期行為建模用戶動態(tài)興趣，一定程度上保證了用戶有意愿接受邀請。DUM使用長短期記憶網(wǎng)絡(luò)（long short-term memory， LSTM）對用戶動態(tài)興趣建模，僅學習了序列的單向信息，信息捕捉不夠充分，使用BERT4Rec對用戶動態(tài)興趣建?？朔薒STM這一缺陷。此外，我們構(gòu)建用戶社交網(wǎng)絡(luò)，通過網(wǎng)絡(luò)結(jié)構(gòu)利用興趣相似的鄰接用戶特征增強目標用戶表示，對于行為數(shù)據(jù)稀疏的用戶也能挖掘到其穩(wěn)定的長期興趣，依據(jù)用戶歷史表現(xiàn)構(gòu)建專業(yè)度評估網(wǎng)絡(luò)，評估用戶專業(yè)度，保證找到的用戶有能力回答問題，使模型性能有所改善。

DUM和Expert2Vec在天涯問答數(shù)據(jù)集上表現(xiàn)較在英語和3D打印上表現(xiàn)波動要大于其他方法。因為天涯問答數(shù)據(jù)集擁有的反饋信息與另外兩個數(shù)據(jù)集存在差異，甚至是有的用戶、問題沒有反饋信息，這就導致過度依賴反饋信息的方法在該數(shù)據(jù)集上表現(xiàn)受到極大影響。本文方法在三個數(shù)據(jù)集上性能波動較小，較基線方法通用性有所提升。

2.6 消融實驗

為了驗證用戶近期動態(tài)興趣建模、社交網(wǎng)絡(luò)建模和專業(yè)度建模的重要性，進行了消融實驗。表4為消融實驗結(jié)果，其中EDQAU-D表示在本文方法基礎(chǔ)上去除用戶近期動態(tài)興趣建模； EDQAU-S表示去除社交網(wǎng)絡(luò)建模；EDQAU-E表示在本文方法基礎(chǔ)上去除用戶專業(yè)度建模，上述方法均通過英語數(shù)據(jù)集進行實驗。

無論去除哪一個建模部分都對模型最終表現(xiàn)產(chǎn)生了影響，在MRR評價指標上分別降低了8.6%、11.2%和11.5%。用戶有時對生活常識類感興趣，有時對旅游類感興趣。用戶最近對哪個方面感興趣是很重要的，它決定了用戶有多大的意愿會接受社區(qū)的邀請，為推送給他的新問題提供答案。EDQAU-D模型去除用戶近期動態(tài)興趣建模，導致模型未能察覺到用戶興趣發(fā)生了偏移。這些興趣發(fā)生偏移的用戶極有可能會拒絕社區(qū)邀請，從而對模型的性能造成一定影響。EDQAU-S模型去除社交網(wǎng)絡(luò)建模，導致模型忽略了用戶社區(qū)交互，而社交網(wǎng)絡(luò)富含豐富信息，有利于解決行為數(shù)據(jù)稀疏對用戶建模造成的影響，通過網(wǎng)絡(luò)結(jié)構(gòu)充分挖掘用戶長期興趣表示，提升用戶建模準確度。EDQAU-E模型去除用戶專業(yè)度建模，只考慮用戶對新問題是否感興趣，但有意愿接受邀請的用戶不一定可以提供優(yōu)質(zhì)的回答，這使得找到的用戶有意愿接受邀請，但在新問題領(lǐng)域不一定擁有相應的專業(yè)知識，因此，降低了模型性能。

3 總結(jié)

針對現(xiàn)有方法往往局限于某個視角對用戶進行建模，導致用戶建模不夠充分、準確的問題，提出基于興趣和專業(yè)度建模的CQA專家發(fā)現(xiàn)方法。使用BERT4Rec克服傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)只能學習序列單向信息的缺陷，對用戶近期行為進行建模得到近期動態(tài)興趣表示；構(gòu)建用戶社交網(wǎng)絡(luò)，使用DeepWalk算法學習網(wǎng)絡(luò)結(jié)構(gòu)特征，融合目標用戶鄰接用戶特征得到用戶長期興趣表示；構(gòu)建用戶專業(yè)度評估網(wǎng)絡(luò)，根據(jù)用戶在歷史問答對序列中的表現(xiàn)得到用戶專業(yè)度表示。從多個視角對用戶進行建模，得到更為精準的用戶畫像。在三個數(shù)據(jù)集進行實驗表明，本文方法在專家發(fā)現(xiàn)任務(wù)中取得較好的效果。

在下一步研究工作中，考慮對問題和答案編碼進行改良，嘗試不同的編碼方法，獲取問題和答案文本更深層、精準的語義信息。問題往往要比答案短，直接使用相同的編碼方式對問題和答案進行編碼，求得兩者的相似度可能還不夠準確。改良編碼問題將能進一步提升模型專業(yè)度評估的準確度，使模型性能得到進一步提升。

參考文獻：

[1]WANG X， HUANG C， YAO L， et al. A survey on expert recommendation in community question answering[J]. Journal of Computer Science and Technology， 2018， 33（4）： 625-653.

[2] YANG J， ADAMIC L A， ACKERMAN M S. Competing to share expertise： the taskcn knowledge sharing community[C]//ICWSM 2008. Washington： ICWSM， 2008： 1-8.

[3] SUN J， MOOSAVI S， RAMNATH R， et al. QDEE： question difficulty and expertise estimation in community question answering sites[C]//Twelfth International AAAI Conference on Web and Social Media. California： ICWSM， 2018： 375-382.

[4] YANG L， QIU M， GOTTIPATI S， et al. Cqarank： jointly model topics and expertise in community question answering[C]//Proceedings of the 22nd ACM international conference on Information & Knowledge Management. San Francisco California： ACM， 2013： 99-108.

[5] ZHAO T， BIAN N， LI C， et al. Topic-level expert modeling in community question answering[C]//Proceedings of the 2013 SIAM International Conference on Data Mining. Austin Texas： Society for Industrial and Applied Mathematics， 2013： 776-784.

[6] MUMTAZ S， RODRIGUEZ C， BENATALLAH B. Expert2vec： experts representation in community question answering for question routing[C]//Advanced Information Systems Engineering： 31st International Conference， CAiSE 2019. Rome Italy： Springer Znternational Publishing， 2019： 213-229.

[7] HE X， LIAO L， ZHANG H， et al. Neural collaborative filtering[C]//Proceedings of the 26th international conference on world wide web. Perth： ACM， 2017： 173-182.

[8] SEDHAIN S， MENON A K， SANNER S， et al. Autorec： autoencoders meet collaborative filtering[C]//Proceedings of the 24th international conference on World Wide Web. Florence：ACM， 2015： 111-112.

[9] LIAN J， ZHOU X， ZHANG F， et al. Xdeepfm： combining explicit and implicit feature interactions for recommender systems[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. London： ACM， 2018： 1754-1763.

[10]HE X， DU X， WANG X， et al. Outer product-based neural collaborative filtering[C]//Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence Main track. Stockholm： IJCAI， 2018： 2227-2233.

[11]LI Z， JIANG J Y， SUN Y， et al. Personalized question routing via heterogeneous network embedding[C]//Proceedings of the AAAI Conference on Artificial Intelligence. Honolulu： AAAI， 2019， 33（1）： 192-199.

[12]TANG W， LU T， LI D， et al. Hierarchical attentional factorization machines for expert recommendation in community question answering[J]. IEEE Access， 2020， 8： 35331-35343.

[13]尤麗. 融合答案質(zhì)量評估的問答社區(qū)專家用戶推薦方法研究[D]. 上海： 上海財經(jīng)大學， 2020.

[14]YIN H， ZHOU X， CUI B， et al. Adapting to user interest drift for poi recommendation[J]. IEEE Transactions on Knowledge and Data Engineering， 2016， 28（10）： 2566-2581.

[15]呂曉琦， 紀科， 陳貞翔， 等. 結(jié)合注意力與循環(huán)神經(jīng)網(wǎng)絡(luò)的專家推薦算法[J]. 計算機科學與探索， 2022， 16（9）： 2068-2077.

[16]HE T， GUO C， CHU Y， et al. Dynamic user modeling for expert recommendation in community question answering[J]. Journal of Intelligent & Fuzzy Systems， 2020， 39（5）： 7281-7292.

[17]SUN F， LIU J， WU J， et al. BERT4Rec： sequential recommendation with bidirectional encoder representations from transformer[C]//Proceedings of the 28th ACM international conference on information and knowledge management. Beijing： ACM， 2019： 1441-1450.

[18]PEROZZI B， Al-RFOU R， SKIENA S. Deepwalk： online learning of social representations[C]//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. New York： ACM， 2014： 701-710.

[19]DEVLIN J， CHANG M W， LEE K， et al. Bert： pre-training of deep bidirectional transformers for language understanding[C]//Proceedings of naacL-HLT. Minneapolis： NAACL， 2019： 4171-4186.

[20]VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[J]. Advances in neural information processing systems， 2017， 30：5998-6008.

[21]FENG M， XIANG B， GLASS M R， et al. Applying deep learning to answer selection： a study and an open task[C]//2015 IEEE workshop on automatic speech recognition and understanding （ASRU）. Scottsdale： IEEE， 2015： 813-820.

（責任編輯：于慧梅）

CQA Expert Discovery Method Based on Interest and Expertise Modeling

DING Qiu^1，2， YAN Xin^*1，2， LIU Yanchao3， XU Guangyi4， DENG Zhongying1

（1.Faculty of Information Engineering and Automation， Kunming University of Science and Technology， Kunming 650500， China;

2.Yunnan Key Laboratory of Artificial Intelligence， Kunming University of Science and Technology， Kunming 650500， China;

3.The Information Technology Center， HuBei Engineering University， Xiaogan 432000， China; 4.Yunnan Nantian Electronic Information Industry Co.， Ltd.， Kunming 650040， China）

Abstract： The existing question answering community expert discovery methods model user interest by learning the one-way information of the question sequence answered by users， ignoring the volatility of user interest， which will affect the accuracy of modeling for users who have answered fewer questions. In addition， the role of semantic relevance of historical answers and questions in evaluating user performance is not considered. Therefore， in this research a CQA expert discovery method based on interest and expertise modeling is proposed. First， BERT4Rec is used to learn the two-way information of the recent question sequence answered by users to obtain the recent dynamic interest representation. Secondly， this research builds a user social network， and gets the long-term interest expression of users using DeepWalk algorithm to learn the network structure characteristics. Then， the user professionalism evaluation network is constructed， and weighting corresponding questions is calculated according to the semantic correlation between user answers and questions and feedback information. The attention mechanism is also introduced to focus on the users performance on issues similar to the new questions， and the user professionalism is expressed. Finally， the users recent dynamic interest， long-term interest and professional expression are combined to match with new questions for scoring， so as to identify users who are willing to accept the invitation and can provide high-quality answers to new questions. The experiment shows that this method has achieved good performance： compared with the baseline method， the MRR evaluation indexes of English， 3dprinting and Tianya Q&A datasets are improved by 5.2%， 2.7% and 16.1% respectively.

Key words：CQA; expert discovery; dynamic interest modeling; social networking; professional modeling