賀成誠 汪海濤 姜 瑛 陳 星

(昆明理工大學(xué)信息工程與自動化學(xué)院 云南 昆明 650500)

0 引 言

學(xué)習(xí)排序作為計算機領(lǐng)域內(nèi)相對較新的研究領(lǐng)域，在我國發(fā)展迅速。在包括信息檢索、數(shù)據(jù)挖掘、自然語言處理及語音識別[1]等在內(nèi)的多個領(lǐng)域內(nèi)均發(fā)揮著重要作用。在學(xué)習(xí)排序的相關(guān)問題中，一個實例是一組對象而標(biāo)簽是應(yīng)用于對象的排序列表。特別是學(xué)習(xí)排序旨在從訓(xùn)練實例和排名標(biāo)簽構(gòu)建排名功能。通常每個標(biāo)簽都假定為客觀且可靠的，可用于其他常規(guī)監(jiān)督設(shè)置，例如分類。因此標(biāo)簽排序的問題可以被認(rèn)為是傳統(tǒng)分類的一般化，將完整的標(biāo)簽排序作為預(yù)測而不僅僅是一個類別的標(biāo)簽。

現(xiàn)有的標(biāo)簽排序方法主要是將原始學(xué)習(xí)問題轉(zhuǎn)化為一個或多個二元分類問題的歸約技術(shù)。例如，約束分類，即將原始問題轉(zhuǎn)化為高維擴展空間中的單一二元分類問題，并利用該空間學(xué)習(xí)的分類器構(gòu)件標(biāo)簽排序模型[2]。此外，也存在通過將原始問題拆解成多個小問題，利用每對標(biāo)簽學(xué)習(xí)一個二元模型并最終合并所有預(yù)測結(jié)果的方法來解決傳統(tǒng)的二元分類問題[3]。這種縮減技術(shù)在本文的實驗研究中具有較好表現(xiàn)。值得注意的是，它使標(biāo)簽排序問題適用于(二元)分類方法和現(xiàn)有算法在這一領(lǐng)域的大量庫，將標(biāo)簽排序問題簡化為二元分類的簡單問題能更好地解決實驗問題。但是，將多個二元模型預(yù)測結(jié)果還原到原有問題的還原技術(shù)也存在一些問題。首先，“排序值”映射的理論假設(shè)可能不適合作為適當(dāng)?shù)膶W(xué)習(xí)偏見，并且可能不容易轉(zhuǎn)化為分類問題的相應(yīng)假設(shè)。其次，二元問題最小化分類錯誤或相關(guān)損失函數(shù)通常并不清楚。在排序上等價于根據(jù)期望損失函數(shù)最大化標(biāo)簽排序模型的(預(yù)期)性能[4]。本文針對以上兩個問題，采用所有排序類別的參數(shù)化(條件)概率分布進(jìn)行標(biāo)簽排序的方法進(jìn)行代替，從而將學(xué)習(xí)問題轉(zhuǎn)化為最大似然估計的問題(或者作為貝葉斯推理的問題)進(jìn)行研究。

1.3.1 血壓水平 采用血壓計測量治療前后兩組妊娠期高血壓疾病患者的收縮壓(SBP)和舒張壓(DBP)。

Cheng W等[5]提出使用Mallows模型并開發(fā)了一種基于實例的(最近鄰居)學(xué)習(xí)算法來以局部方式估計該模型。Cheng W等[6]提出了將Plackett-Luce(P-L)模型用于標(biāo)簽排序的方法，該模型更傾向于從可能不完整的標(biāo)簽排名中進(jìn)行學(xué)習(xí)。

該項研究結(jié)合了兩個經(jīng)典的模型，即Plackett-Luce(P-L)模型和廣義線性模型[7]，構(gòu)建了一種新的學(xué)習(xí)排序框架。在這個排名模型中，需要學(xué)習(xí)排名函數(shù)和真實值排名標(biāo)簽。并且在算法中，使用最大化似然估計方法，以迭代的方式推斷出最優(yōu)的排序預(yù)測，以及要學(xué)習(xí)的排序功能的參數(shù)。整體流程如圖1所示。

圖1 整體流程圖

1 標(biāo)簽排序模型

本部分對廣義線性模型和P-L模型的定義及特點進(jìn)行了介紹，并為后續(xù)新模型的提出作出說明。

1.1 廣義線性模型

廣義線性模型是典型的線性模型的推廣。它通常用于分析事物之間的統(tǒng)計關(guān)系，并側(cè)重于考察變量之間的數(shù)量變化規(guī)律。而在實際應(yīng)用中，廣義線性模型可以用來解決多類別的分類問題。比如在分類和回歸問題中，我們通過廣義線性模型來預(yù)測兩個相關(guān)變量之間的數(shù)量關(guān)系等。

2015年6～8月，正值藥品稽查“農(nóng)忙時節(jié)”，因丈夫被公派出國留學(xué)，黃梅不得不一邊工作，一邊獨自帶著1歲的女兒擔(dān)起家庭重任。在此期間，她參與了“幸福傷風(fēng)咳嗽”假藥案、“小兒健胃寶”假藥案、“公牛牌超速效鼻炎靈”假藥案、“板藍(lán)根沖劑”假藥案等系列假藥案的查處。案件數(shù)量多、案情復(fù)雜，加班成為常態(tài)，她常常不得不把年幼的女兒托付給自己年邁的母親。

廣義線性模型三個前提假設(shè)分別如下：

(1) (y|x;θ)是一個以θ為參數(shù)的指數(shù)分布。

(2) 給定x的情況下的目標(biāo)函數(shù)為h(x)=E[T(y)|x]?？紤]到大多數(shù)情況下T(y)=y，即目標(biāo)函數(shù)可以表示為h(x)=E[y|x]。

(3) 假設(shè)自然參數(shù)η和x為線性關(guān)系，即假設(shè)：η=θTx。

2)比較兩種函數(shù)的運算結(jié)果，發(fā)現(xiàn)conv()輸出長度為 6 的序列[3，5，11，17，8，16]，filter()輸出長度為 4 的序列[3，5，11，17]，但兩個序列的前 4 個元素相同。

(1)

式(1)為在y=i時的概率分布。由前提條件式(2)可知在這個廣義線性模型中，目標(biāo)函數(shù)為：

hθ(x)=E[T(y)|x;θ]

(2)

通過在式(2)的基礎(chǔ)上構(gòu)造分類模型并利用相關(guān)數(shù)據(jù)來求解目標(biāo)函數(shù)hθ(x)，并結(jié)合參數(shù)擬合與梯度下降的方法求解原模型。

1.2 P-L模型

P-L模型是一種典型的基于分?jǐn)?shù)的模型，它通常用于列表學(xué)習(xí)排序中。其中P-L模型中的假設(shè)條件是式(3)中的評分向量，而不是等級和固定參數(shù)。P-L模型由分?jǐn)?shù)向量v=(v1,v2,…,vM)來參數(shù)化，其中vi(>0)與索引i相關(guān)聯(lián)，計算給定一個分?jǐn)?shù)向量的排名π的概率。

(3)

式中:(T(y))i表示T(y)的第i個元素。

(4)

顯然，與vb相比，va越大，選擇a的概率就越高。同樣，式(3)中的參數(shù)vi與參數(shù)vj，j不等于i且相比越大，標(biāo)簽yi出現(xiàn)在最高等級上的概率越高。P-L模型可以用一個花瓶模型來直觀解釋：如果vi對應(yīng)于充滿標(biāo)記球的花瓶中的第i個標(biāo)簽的相對頻率，則p(π|v)是通過隨機從花瓶中依次抽出球，并將第k個試驗中的標(biāo)簽繪制在位置k上(除非之前已經(jīng)選擇了標(biāo)簽，在這種情況下，試驗被取消)，從而產(chǎn)生排名π。

（2）樹立人本理念。在新的經(jīng)濟環(huán)境中，不能忽視經(jīng)濟一體化以及全球化的趨勢和特點，不能故步自封、因循守舊，應(yīng)該結(jié)合房錢的網(wǎng)絡(luò)信息技術(shù)、科學(xué)財務(wù)管理工具及方法等，推行科學(xué)、高校、人性化的財務(wù)管理理念，重視對財務(wù)工作人員的綜合素質(zhì)培養(yǎng)。

The purpose/aim/objective of this study/paper/research was/is to…

對于P-L模型，可以用式(3)驗證不完全排名yπx(1)?xyπx(2)?…?xyπx(k)(yπx(i)?xyπx(j)表示相較于yπx(j)實例x更偏向于yπx(i))。即在完全相同的形式表達(dá)下，因子的數(shù)量k(觀察到的標(biāo)記的數(shù)量)是影響其概率分布的唯一要素。如下式給出：

(5)

2 基于實例的標(biāo)簽排序

2.1 標(biāo)簽分類

考慮到實際生活中存在較多種類的標(biāo)簽，因此本文首先利用廣義線性模型對多類別標(biāo)簽的分類問題進(jìn)行分析。

(6)

該模型是布拉德利特里模型的一種推廣，是用于替代成對比較的模型，它指定了“a優(yōu)于b”的概率(a?b表示a先于b)的概率，公式如下：

為了表示方便，我們用符號1{·}表示判斷，{}中的表達(dá)式為真時輸出1，為假時輸出0。于是有(T(y))i=1{y}(i)，它表示只有當(dāng)y=i時(T(y))i才不會為零。另外，由于φi表示第i個類別的概率，則有E[(T(y))i]=p(y=i)=φi。

由于此分布屬于指數(shù)分布族，故設(shè)該分布的標(biāo)準(zhǔn)參數(shù)為η，ηi表示第i維的標(biāo)準(zhǔn)參數(shù)，定義為：

到2016年，全市一級河道Ⅴ類以上水體達(dá)到60%，二級河道Ⅴ類以上水體達(dá)到50%，顯著提升水生態(tài)環(huán)境質(zhì)量。2014年清水河道行動計劃實施七大類1311項工程。截至6月27日,完工433項,完工率33.8%,開工在建388項。

(7)

根據(jù)式(7)，可得到：

(8)

設(shè)θ≥0是擴展參數(shù)，且(y|x;θ)屬于指數(shù)分布族，根據(jù)廣義線性模型的第三個前提假設(shè)條件η=θTx，由式(8)可得：

定理 2.1[8] 令→是[0,1]上的正則蘊涵算子。若→滿足:對任意的a,[0,1], a+a→b≤1+b,則

(9)

最后利用梯度下降法來求出使似然函數(shù)最大的θ值。

(10)

之后使用最大似然的方法來學(xué)習(xí)θ，似然函數(shù)為:

(11)

根據(jù)目標(biāo)函數(shù)式(2)求解目標(biāo)函數(shù)，構(gòu)造出分類模型：

(12)

令式(12)等于0，求出θ的最優(yōu)解。最后利用此最優(yōu)θ求出此標(biāo)簽的最佳分類。

2.2 各類標(biāo)簽排序

(13)

v的最大似然估計由最大化該概率的參數(shù)給出，或者等效為對數(shù)似然函數(shù)。MM算法[8]作為一種迭代算法，通過每次迭代中最大化一個函數(shù)直至將原始函數(shù)進(jìn)行求解的方式可以很好地用于求解：

(14)

假設(shè)φ上的概率分布p(·|x)至少近似地在查詢x。進(jìn)一步假設(shè)排名πi是通過P-L模型式(5)彼此獨立產(chǎn)生的，則觀察排名π={π1,π2,…,πK)}在給定參數(shù)v=(v1,v2,…,vM)的情況下變?yōu)?

給定最大化估計v*，可以從φ上的分布p(·|v*)推導(dǎo)與x關(guān)聯(lián)的排名的預(yù)測。由下式確定具有最高后驗概率的排序：

(15)

式中：τ是一個Kendall的常用度量，定義為：

vπ*(i)≥vπ*(j)

(16)

對于所有的1≤i

(17)

強生公司從全部召回的3500萬瓶泰諾速效膠囊中，發(fā)現(xiàn)8瓶含有氰化物。這8瓶膠囊均來自于芝加哥地區(qū)。警方推斷兇手是在藥店買了膠囊后，把膠囊拆開混入毒物后重新裝好，再偷偷放回貨架的。

(18)

式中：C(π,σ)表示π和σ中一致對的數(shù)量；D(π,σ)表示π和σ中不一致對的數(shù)量。

本文用于在各類標(biāo)簽中預(yù)測最優(yōu)的標(biāo)簽排序算法步驟如算法1所示。與簡單地根據(jù)排名產(chǎn)生預(yù)測的其他方法(包括大多數(shù)簡化技術(shù))相比，本文的排序模型的概率方法允許通過不同類型的統(tǒng)計信息來補充預(yù)測，例如預(yù)測的可靠性等，并且能解決多分類標(biāo)簽的排序問題。此外，分布p(·|v*)支持包括可靠的排序集覆蓋真實的高概率問題在內(nèi)的多種類型的廣義預(yù)測。

算法1各類最優(yōu)預(yù)測標(biāo)簽排序算法步驟

輸入：θ

廣州中海達(dá)衛(wèi)星導(dǎo)航技術(shù)股份有限公司……………………………………… （2、4、6、10、12、16、18、22）

輸出：v*，π*

步驟：

1. 根據(jù)廣義線性模型求出的標(biāo)簽最佳分類θ獲得每個類的標(biāo)簽排序集π。

2. 為每個π選擇標(biāo)簽集中的最大元素v*。

標(biāo)準(zhǔn)化實驗教學(xué)課程大綱應(yīng)包括課程信息、課程目的、教學(xué)要求、教學(xué)內(nèi)容(含課外教學(xué))、考核說明及課程教學(xué)評價、課程持續(xù)改進(jìn)、教學(xué)參考書等。目前，很多高校采用優(yōu)、良、中、及格和不及格5個等級評價實驗教學(xué)成績，缺乏相應(yīng)的教學(xué)評價量化標(biāo)準(zhǔn)。因此，教學(xué)大綱的標(biāo)準(zhǔn)化不因開課學(xué)校和開課教師而發(fā)生變化，將有效地規(guī)范課程教學(xué)，這樣更有利于知識的精準(zhǔn)傳授。標(biāo)準(zhǔn)化實驗教學(xué)大綱的構(gòu)建可以借鑒針對專業(yè)核心課程大綱的標(biāo)準(zhǔn)化建設(shè)[7]，其中實驗課程的教學(xué)要求和課程評價是標(biāo)準(zhǔn)化實驗教學(xué)大綱中十分重要的內(nèi)容。筆者以湖北大學(xué)制藥工程專業(yè)藥物化學(xué)實驗教學(xué)大綱中的考核說明及課程教學(xué)評價為例說明。

3. 使用最大似然估計更新π以得到最優(yōu)預(yù)測排序π*。

3 實 驗

3.1 數(shù)據(jù)準(zhǔn)備

本文采用UCI存儲庫和Statlog集合的分類數(shù)據(jù)集及回歸數(shù)據(jù)集，并以兩種不同的方式將它們轉(zhuǎn)換為標(biāo)簽排名數(shù)據(jù)：(1) 本文首先利用廣義線性模型對分類數(shù)據(jù)進(jìn)行訓(xùn)練，之后將所得每個示例數(shù)據(jù)集中存在的所有標(biāo)簽相對于預(yù)測類別概率進(jìn)行排序，其中在關(guān)系情況，具有較低索引的標(biāo)簽排在第一；(2) 對于回歸數(shù)據(jù)，本文首先將預(yù)測變量組中數(shù)據(jù)屬性予以刪除，并將每個屬性均視為一個標(biāo)簽，之后本文將屬性進(jìn)行標(biāo)準(zhǔn)化，并按大小順序進(jìn)行排序以獲得排名。表1給出了數(shù)據(jù)集及其屬性的總結(jié)。

表1 數(shù)據(jù)集及其屬性

3.2 實驗設(shè)計

我們將使用基于實例的廣義線性模型和P-L模型結(jié)合的方法(model1)和廣義線性模型方法(model2)、基于實例的Mallows(model3)模型方法進(jìn)行標(biāo)簽排序的實例評估。

為了保證實驗公平，本文在歸一化屬性之后使用歐幾里德距離[9]作為實例空間上的P-L模型和Mallows模型的距離度量。通過訓(xùn)練集上的交叉驗證選擇鄰域大小K∈{5,10,15,20}。

本項目隨機選擇多發(fā)、單發(fā)內(nèi)膜下、肌層及漿膜下子宮肌瘤病例150例，同時取對應(yīng)的子宮肌層組織作為對照，所有標(biāo)本均采用4%甲醛固定，石蠟包埋、HE染色。采用免疫組化法（SP），切片厚 4 μm，切白片 3張，高溫修復(fù)或酶消化，4℃冰箱過夜，以PBS緩沖液代替第一抗體作為陰性對照，已知的陽性組織作為陽性對照。免疫組化試劑ER、PR、WT-1及SP試劑盒購自邁新公司，操作按試劑盒說明書要求進(jìn)行。

本文利用Kendall的tau系數(shù)的10次交叉驗證，并重復(fù)5次實驗后得出實驗結(jié)果。同時，為了模擬不完整的觀察結(jié)果，本文對數(shù)據(jù)進(jìn)行了如下修改：對于排名中的每個標(biāo)簽，有偏見的硬幣被翻轉(zhuǎn)以決定是否保留或刪除;其中，刪除的概率由參數(shù)p∈[0,1]指定。因此，平均丟失的標(biāo)簽數(shù)為p×100%。

看到過“鯤龍”AG-600本尊的人，往往都會產(chǎn)生一種“詭異”的感覺。那是因為相對于一般飛機的流線型機身來說，它的飛機船身采用了大長寬比的設(shè)計，讓人感覺很不協(xié)調(diào)。實際上，不論是哪一種能夠在水面起飛的飛機，都會面臨在水面滑行過程中出現(xiàn)的不可控制的“海豚運動”、彈跳、搖擺等情況?！蚌H龍”AG-600采用大長寬比設(shè)計的目的，就是為了最大限度地減少降落時水面載荷對船身的沖擊，以及提高在水面滑行時飛機的縱向穩(wěn)定性。

3.3 實驗結(jié)果及分析

實驗結(jié)果總結(jié)如表2、表3所示。本文按照Demsar.J.于2006年推薦的兩步程序[10]進(jìn)行結(jié)果分析。首先對結(jié)果進(jìn)行對零假設(shè)的Friedman檢驗[11]，即判斷所有學(xué)習(xí)者都有相同的表現(xiàn)。當(dāng)該假設(shè)被拒絕時采用Nemenyi測試[11]以成對的方式比較學(xué)習(xí)者。這兩項測試均基于平均等級(對于每個問題，方法按性能降序排列，并且由此獲得的等級針對問題進(jìn)行平均)，如表2、表3中的最后一行所示。從表2中可以看出Model1和Model3在完全標(biāo)簽的情況下優(yōu)于Model2，而Friedman測試在30%缺失標(biāo)簽的情況下，如表3所示Model1與Model2沒有顯著差異,但Model1明顯優(yōu)于Model3,就總體Model1相比Model2和Model3提高了約5%。

表2 根據(jù)Kendall的tau(括號中的等級)完整標(biāo)簽中排序方法的表現(xiàn)

表3 根據(jù)Kendall的tau(括號中的等級)缺失30%標(biāo)簽中排序方法的表現(xiàn)

通過對表2和表3的數(shù)據(jù)進(jìn)行分析，本文得到了以下結(jié)論：

首先根據(jù)實驗結(jié)果發(fā)現(xiàn)，在丟失標(biāo)簽信息的情況下，我們提出的新方法比Mallows模型方法準(zhǔn)確性提升了約5%。這與我們的預(yù)測非常吻合，即在同類標(biāo)簽的排序中P-L模型更適合從不完整的排名數(shù)據(jù)中學(xué)習(xí)。

城市在其發(fā)展過程中逐漸形成居住區(qū)、商業(yè)區(qū)、工業(yè)區(qū)等不同功能區(qū)[1]。識別城市不同功能區(qū)并研究其空間分布特征對研究城市的未來發(fā)展、城市的合理布局和城市建設(shè)的綜合部署有著重要的意義[2，3]。傳統(tǒng)的城市功能區(qū)識別主要是基于專家評判、調(diào)查統(tǒng)計等以經(jīng)驗為主的方法，主觀性較強。也有一些學(xué)者通過遙感技術(shù)輔助實現(xiàn)城市功能區(qū)劃，但數(shù)據(jù)獲取和處理的成本較高，時效性差[4]。隨著信息化時代的到來，可供城市規(guī)劃相關(guān)研究所應(yīng)用的數(shù)據(jù)不斷涌現(xiàn)，包括傳統(tǒng)數(shù)據(jù)、開放數(shù)據(jù)等各類大數(shù)據(jù)資源。在這些數(shù)據(jù)不斷豐富的背景下，基于城市生活數(shù)據(jù)的功能區(qū)分析也變得更加快速、有效[5]。

其次，將廣義線性模型和P-L模型結(jié)合的方法在完整標(biāo)簽和丟失標(biāo)簽信息的情況下都比單一的廣義線性模型表現(xiàn)更好，其中在標(biāo)簽完整的情況下，準(zhǔn)確性提升了約5%。

最后，實驗結(jié)果也證明廣義線性模型和P-L模型具有一定的互補性。就像傳統(tǒng)分類的情況一樣，基于實例的方法對于需要復(fù)雜決策邊界的問題是有利的，因為線性方法的強偏差妨礙了它們實現(xiàn)良好的分離。另一方面，如果線性假設(shè)是(至少近似)有效的，那么可以用更少的數(shù)據(jù)來學(xué)習(xí)更好的模型。相應(yīng)地，基于實例的學(xué)習(xí)者對于訓(xùn)練數(shù)據(jù)量更加敏感。一些有利于這一假設(shè)的證據(jù)的確是通過學(xué)習(xí)曲線提供的，該曲線將性能描繪為遺漏標(biāo)簽信息的一部分的函數(shù)。雖然線性方法的學(xué)習(xí)曲線通常相當(dāng)平坦，呈現(xiàn)出一種飽和效應(yīng)，但對于基于實例的方法而言，它們更陡峭。這表明，即使線性方法由于缺乏靈活性而不再能夠利用和適應(yīng)額外數(shù)據(jù)，附加標(biāo)簽信息仍然對這些方法有益。玻璃和外殼數(shù)據(jù)的典型例子如圖2所示。

圖2 排名表現(xiàn)

4 結(jié) 語

本文提出了一種將廣義線性模型和P-L模型結(jié)合作為底層數(shù)據(jù)生成過程的新模型方法，并利用實驗對比了其與傳統(tǒng)的廣義線性模型方法及基于實例的Mallows模型的優(yōu)劣，實驗結(jié)果顯示本文構(gòu)建的新模型方法在學(xué)習(xí)排序問題研究方面具有一定的優(yōu)越性。尤其是在不完全的訓(xùn)練數(shù)據(jù)情況下，新的模型方法在計算與性能上均有更好的表現(xiàn)。此外，本實驗也證明了廣義線性模型在處理不同類別標(biāo)簽分類上對P-L模型也提供了一定的補充。

同時，本文的概率模型1采用最大似然估計的方法作為標(biāo)準(zhǔn)擬合模型的補充，減少了模型估計中存在的偏差，一定程度上提高了模型的準(zhǔn)確度，更符合模型的前提假設(shè)。此外，通過最大似然估計的估計方法也允許實驗者通過添加不同類型的統(tǒng)計信息來補充實驗預(yù)測，使實驗更加精準(zhǔn)可靠。

雖然本文提出的新模型在一定程度上為研究學(xué)習(xí)排序提供了新的研究思路與方法，但仍存在一些問題需要解決。例如本文提出的解決多分類標(biāo)簽排序的方法建立在第一部分廣義線性模型對標(biāo)簽進(jìn)行了正確分類的基礎(chǔ)上，如果廣義線性模型確定的分類結(jié)果存在偏差，則整個模型方法的可靠性與精準(zhǔn)性均會受到一定程度的影響。針對該問題，擬將本文提出的模型方法進(jìn)行更深層次地合并，通過類似局部線性回歸等方法，放寬原模型中較為嚴(yán)格的假設(shè)，從而保證實驗的準(zhǔn)確與可靠。