楊興明 吳克偉 孫永宣 謝 昭

（合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院 合肥 230009）

可遷移測(cè)度準(zhǔn)則下的協(xié)變量偏移修正多源集成方法

楊興明 吳克偉 孫永宣 謝 昭*

（合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院 合肥 230009）

遷移學(xué)習(xí)通過(guò)充分利用源域共享知識(shí)，實(shí)現(xiàn)對(duì)目標(biāo)域的小樣本問(wèn)題求解，然而，對(duì)訓(xùn)練和測(cè)試樣本分布差異測(cè)度仍然是該領(lǐng)域的主要挑戰(zhàn)。該文針對(duì)多源遷移學(xué)習(xí)算法中，由于源域選擇和源域輔助樣本選擇不當(dāng)引起的“負(fù)遷移”問(wèn)題進(jìn)行研究，提出一種可遷移測(cè)度準(zhǔn)則下的協(xié)變量偏移修正多源集成方法。首先，根據(jù)源域和目標(biāo)域之間的協(xié)變量偏移原則，利用聯(lián)合概率的密度估計(jì)，定義輔助樣本的可遷移測(cè)度，驗(yàn)證目標(biāo)域和源域在數(shù)據(jù)空間中標(biāo)記分布的一致性。其次，在多源域選擇階段，引入非遷移判別過(guò)程，提高了源域知識(shí)的遷移準(zhǔn)確性。最后，在Caltech 256數(shù)據(jù)集中，驗(yàn)證了Gist特征知識(shí)表示和遷移的有效性，分析了多種條件下的輔助樣本選擇和源域選擇的有效性。實(shí)驗(yàn)結(jié)果表明所提算法可有效降低“負(fù)遷移”現(xiàn)象的發(fā)生，獲得更好的遷移學(xué)習(xí)性能。

集成學(xué)習(xí)；遷移學(xué)習(xí)；協(xié)變量偏移；圖像分類(lèi)

1 引言

傳統(tǒng)機(jī)器學(xué)習(xí)方法在訓(xùn)練樣本有限的情況下，難以有效描述特定類(lèi)別的數(shù)據(jù)空間分布。遷移學(xué)習(xí)通過(guò)利用與目標(biāo)任務(wù)相關(guān)的大量輔助樣本，彌補(bǔ)訓(xùn)練樣本不足，實(shí)現(xiàn)了不同領(lǐng)域和任務(wù)之間的知識(shí)共享、樣本傳播和再利用［1，2］。在遷移學(xué)習(xí)中將目標(biāo)任務(wù)所在的領(lǐng)域稱作目標(biāo)域，把與當(dāng)前任務(wù)不同但存在相關(guān)性的領(lǐng)域稱作源域，遷移學(xué)習(xí)利用源域數(shù)據(jù)作為目標(biāo)域任務(wù)的輔助樣本，實(shí)現(xiàn)知識(shí)由源域到目標(biāo)域的遷移［3］。遷移學(xué)習(xí)的難點(diǎn)在于遷移知識(shí)選擇不當(dāng)而引起的目標(biāo)域任務(wù)性能降低的“負(fù)遷移”效應(yīng)，即關(guān)注于共享知識(shí)選擇的度量。當(dāng)前研究根據(jù)共享知識(shí)策略的不同，大致可以分為實(shí)例層遷移、特征層遷移和模型層遷移。

實(shí)例層將待分類(lèi)樣本作為研究對(duì)象，描述其可能具有的共享知識(shí)。實(shí)例層遷移通過(guò)分析不同類(lèi)別樣本之間的關(guān)聯(lián)特性，利用源域輔助樣本擴(kuò)充目標(biāo)域?qū)嵗臉?biāo)記，實(shí)現(xiàn)異類(lèi)小樣本分類(lèi)。實(shí)例層的度量關(guān)注于輔助樣本的可遷移程度［4］與差異程度［5］、源域和目標(biāo)域的相容性［6］與相關(guān)性（如類(lèi)間相關(guān)性［7］，視角相關(guān)性［8］，幀間相關(guān)性［9］）。實(shí)例層遷移還涉及多模態(tài)數(shù)據(jù)的應(yīng)用場(chǎng)合，例如，跨域的標(biāo)簽傳播［10］以及人臉識(shí)別［11］等問(wèn)題。

特征層遷移通過(guò)構(gòu)建有效的特征變換，提取樣本中的抽象表示作為遷移知識(shí)載體。特征層的度量體現(xiàn)在目標(biāo)域樣本和源域樣本的分布差異性，并期望通過(guò)特征映射實(shí)現(xiàn)分布差異的最小化。特征層的研究關(guān)注于利用稀疏學(xué)習(xí)［12，13］、層次分組［14］方法實(shí)現(xiàn)源域與目標(biāo)域之間特征提取，并嘗試獲得特征空間的若干屬性（如稀疏性［15］、可分解性［15］、幾何流形［3］）。此外，通過(guò)加入正則約束［16］，防止遷移特征的學(xué)習(xí)過(guò)程中的過(guò)擬合現(xiàn)象的發(fā)生，提高遷移學(xué)習(xí)方法的執(zhí)行效率。

模型層將不同分類(lèi)方法中的控制參數(shù)作為共享知識(shí)對(duì)象，通過(guò)對(duì)數(shù)據(jù)分布建模，實(shí)現(xiàn)兩域分布差異的度量。模型層研究關(guān)注于源域和目標(biāo)域分類(lèi)建模的可靠性（如基分類(lèi)器［17］，有序分類(lèi)器［18］，L2核分類(lèi)器［19］，條件與邊緣概率［20］）。模型層方法通過(guò)引入數(shù)據(jù)分布先驗(yàn)作為多級(jí)評(píng)價(jià)過(guò)程，確保遷移過(guò)程在不同級(jí)別下誤差的有限積累［21，22］，從而達(dá)到提高遷移精度的目的。

上述不同方法都將目標(biāo)域和源域間的數(shù)據(jù)分布估計(jì)視為可靠的遷移先驗(yàn)信息［23］。但是，多源TrAdaboost［24，25］作為實(shí)例層的代表性方法，卻沒(méi)有對(duì)數(shù)據(jù)分布進(jìn)行充分估計(jì)。此外，多源TrAdaboost方法在源域類(lèi)別選擇過(guò)程中，每輪學(xué)習(xí)對(duì)每個(gè)源域類(lèi)別都進(jìn)行一次目標(biāo)域的“試遷移”，該過(guò)程沒(méi)有考慮源域類(lèi)別引入，是否會(huì)直接引起“負(fù)遷移”效應(yīng)。

因此，本文重點(diǎn)關(guān)注實(shí)例多源TrAdaboost遷移學(xué)習(xí)對(duì)該問(wèn)題分析的不足，通過(guò)考慮目標(biāo)域和源域樣本分布間的差異性，利用協(xié)變量偏移測(cè)量樣本可遷移能力，調(diào)整樣本權(quán)重更新策略，以反映數(shù)據(jù)分布估計(jì)對(duì)樣本選擇的影響。并根據(jù)源域類(lèi)別的可遷移能力，引入源域非遷移選擇過(guò)程，重新設(shè)計(jì)基于協(xié)變量偏移修正的遷移損失估計(jì)方法，提高遷移學(xué)習(xí)方法的執(zhí)行效率。實(shí)驗(yàn)結(jié)果表明，本文算法能有效降低“負(fù)遷移”的發(fā)生，在有限樣本下的圖像分類(lèi)任務(wù)中，獲得更好的分類(lèi)性能。

2 多源Adaboost集成遷移學(xué)習(xí)

Adaboost集成遷移（即 TrAdaboost）［25］采用Adaboost集成學(xué)習(xí)框架［6］。TrAdaboost算法放寬了原始Adaboost算法受限于訓(xùn)練與測(cè)試數(shù)據(jù)同分布的約束限制。TrAdaboost算法的遷移能力大小主要取決于該源域與目標(biāo)域的關(guān)聯(lián)程度，因此，僅依賴單個(gè)源域進(jìn)行遷移的TrAdaboost算法，本質(zhì)上易造成“負(fù)遷移”現(xiàn)象。為降低“負(fù)遷移”風(fēng)險(xiǎn)，通?？蓪卧从蜻w移過(guò)程擴(kuò)展至多源域，從多個(gè)源域向目標(biāo)域進(jìn)行知識(shí)的遷移，即多源遷移學(xué)習(xí)，如多源TrAdaboost［4］。

在遷移學(xué)習(xí)分類(lèi)任務(wù)中，假設(shè)樣本數(shù)據(jù)空間為X，樣本標(biāo)記空間為 Y∈｛- 1 ，+1｝（這里舉例二值情況）。定義目標(biāo)域T，該域包含少量有標(biāo)記的訓(xùn)練樣本集合 DT和用于模型測(cè)試的無(wú)標(biāo)記樣本集合DTEST，數(shù)據(jù)均服從概率分布 PT。定義 K個(gè)源域S1，S2，…， SK，各源域包含標(biāo)記數(shù)據(jù) DS1，DS2，…， DSK，均服從概率分布 PSk。多源TrAdaboost通過(guò)合理利用源域輔助學(xué)習(xí)，獲得目標(biāo)域上的分類(lèi)模型 fT/S: X → Y，并盡可能地減小其經(jīng)驗(yàn)誤差。

其中?·?為指示函數(shù)，當(dāng)內(nèi)部條件為真時(shí)，返回值為1，否則返回值為0。

多源TrAdaboost在每一輪學(xué)習(xí)中，根據(jù)最小損失選出該輪（第t輪）的優(yōu)勝源域和優(yōu)勝分類(lèi)器（St，ht）= argminht，SkL（ htT，k）。根據(jù)式（1），多源TrAdaboost算法雖然在一定程度上進(jìn)行了知識(shí)的遷移，但是，該方法沒(méi)有顯式估計(jì)目標(biāo)域和源域樣本分布之間存在的差異性，對(duì)源域中知識(shí)遷移能力的解釋能力有限。因此，難以從本質(zhì)上解決源域關(guān)聯(lián)性不足引起的“負(fù)遷移”現(xiàn)象。

3 可遷移測(cè)度準(zhǔn)則下協(xié)變量偏移修正

針對(duì)多源TrAdaboost方法在目標(biāo)域與源域樣本分布一致性估計(jì)不足的問(wèn)題，本文提出一種可遷移測(cè)度準(zhǔn)則下的協(xié)變量偏移修正多源集成遷移方法。一方面，根據(jù)源域和目標(biāo)域之間的協(xié)變量偏移原則，利用聯(lián)合概率的密度估計(jì)，設(shè)計(jì)樣本密度比值描述樣本的可遷移度；另一方面，在多源域選擇階段，利用源域經(jīng)驗(yàn)誤差進(jìn)行源域初步選擇，避免由于分布差異引起的“負(fù)遷移”效應(yīng)，提高遷移過(guò)程的可靠性。

考慮協(xié)變量偏移下的可遷移測(cè)度后，對(duì)式（1）中的原始損失函數(shù)進(jìn)行修正，則有其中，為一次迭代過(guò)程中源域 Sk和目標(biāo)產(chǎn)生的遷移分類(lèi)器， δ=｛δT/S（x，y ）｝為樣本密度比值，｝為源域遷移選擇系數(shù)， ET［·］和ES［·］分別表示目標(biāo)域和源域中的分類(lèi)器預(yù)測(cè)損失期望。

3.1 協(xié)變量偏移下的樣本可遷移測(cè)度

一般情況下，在遷移學(xué)習(xí)中，雖然源域與目標(biāo)域樣本分布形式不同，但對(duì)于給定的樣本觀測(cè)數(shù)據(jù)，該樣本屬于某個(gè)已知類(lèi)別的條件概率相同，即標(biāo)記y的正例和負(fù)例分布在目標(biāo)域和源域樣本x中是一致的這種現(xiàn)象被稱為樣本分布的協(xié)變量偏移（covariate shift）［26］，而這種樣本分布可較好解釋多源TrAdaboost在目標(biāo)域與源域樣本分布一致性估計(jì)假設(shè)。

在協(xié)變量偏移條件下，討論目標(biāo)域和源域在數(shù)據(jù)空間中標(biāo)記分布的一致性，分析聯(lián)合概率，實(shí)現(xiàn)源域中每個(gè)實(shí)例的可遷移程度的有效估計(jì)。定義目標(biāo)域和源域樣本分布的密度比值為 δT/S（x，y）= PT（x，y ）/ PS（x，y），則根據(jù)貝葉斯定理對(duì)該密度比值進(jìn)行求解有

一般認(rèn)為目標(biāo)域和源域先驗(yàn)分布概率相同，即p（T ）= p（S），因此δ取值僅取決于條件概率 p（T由于給定樣本（x， y）屬于目標(biāo)域或源域的條件概率，無(wú)法先驗(yàn)獲取，因此，實(shí)際通常采用預(yù)測(cè)標(biāo)簽與真實(shí)標(biāo)簽的指數(shù)函數(shù)進(jìn)行近似：

其中， HS（x）表示利用源域訓(xùn)練樣本所得分類(lèi)器，HT（x）表示利用目標(biāo)域訓(xùn)練樣本所得分類(lèi)器，可根據(jù)傳統(tǒng)機(jī)器學(xué)習(xí)方法直接學(xué)習(xí)獲得。

3.2 源域非遷移選擇

由式（1）進(jìn)行的源域類(lèi)別選擇是一種確定性估計(jì)，但是，真實(shí)數(shù)據(jù)的損失估計(jì)存在不確定性，源域類(lèi)別選擇通常采用隨機(jī)采樣的過(guò)程，保證源域的多樣性。本文通過(guò)估計(jì)源域的可遷移能力，調(diào)整隨機(jī)采樣的權(quán)重，實(shí)現(xiàn)源域非遷移選擇，降低不良源域類(lèi)別對(duì)目標(biāo)域任務(wù)的“負(fù)遷移”效應(yīng)。在第t次迭代中，源域 Sk對(duì)目標(biāo)域T的可遷移能力定義為

由于引入了源域非遷移選擇，本文算法在多源TrAdaboost的框架中，通過(guò)重新估計(jì)隨機(jī)采樣的權(quán)重，抑制源域的“負(fù)遷移”現(xiàn)象。在每輪學(xué)習(xí)開(kāi)始階

3.3 協(xié)變量偏移下的樣本權(quán)重更新

對(duì)于每個(gè)樣本來(lái)說(shuō)，樣本分布密度比值僅依賴于源域和目標(biāo)域。在最小化損失函數(shù)求解過(guò)程中，密度比值的估計(jì)對(duì)模型的影響主要體現(xiàn)在樣本的權(quán)重更新過(guò)程中。

本文方法利用式（3）實(shí)現(xiàn)協(xié)變量修正下的損失估計(jì)，通過(guò)對(duì)其最小化獲得最優(yōu)分類(lèi)器 ht，并進(jìn)一步估計(jì)目標(biāo)域和優(yōu)勝源域在該分類(lèi)器上的誤差該誤差是樣本權(quán)重更新的重要依據(jù)。對(duì)于目標(biāo)域中的樣本來(lái)說(shuō)，采用增大權(quán)重的方式強(qiáng)調(diào)該樣本對(duì)分類(lèi)判決面決策過(guò)程的影響。在源域樣本的權(quán)重更新策略中，采用降低權(quán)重方式將其濾除。為進(jìn)一步分析目標(biāo)域樣本權(quán)重的穩(wěn)定性，迭代過(guò)程中的目標(biāo)域樣本權(quán)重可表示為

一般情況下，假設(shè)遷移學(xué)習(xí)的先驗(yàn)分布為等概率分布，各樣本的初始權(quán)重相同，故忽略后不影響采樣過(guò)程，更新過(guò)程等價(jià)為

式（9）給出了更為直接的計(jì)算形式，可以提高遷移學(xué)習(xí)的計(jì)算效率。

通過(guò)上述權(quán)重計(jì)算過(guò)程，可解釋目標(biāo)域樣本分布 PT（x， y）和源域樣本分布PSK（x，y）存在協(xié)變量偏移現(xiàn)象。在迭代運(yùn)算過(guò)程中，目標(biāo)域和源域的樣本權(quán)重隨之更新，用于調(diào)整對(duì)各源域的遷移誤差估計(jì)。本文方法根據(jù)式（3）選出每輪優(yōu)勝基分類(lèi)器，最終將每輪的優(yōu)勝基分類(lèi)器組合獲得的遷移學(xué)習(xí)分類(lèi)器

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)圖像集

為證明本文算法的有效性，分別采用加州理工學(xué)院的 Caltech256數(shù)據(jù)集［22］和麻省理工學(xué)院的SUN09數(shù)據(jù)集［27］進(jìn)行實(shí)驗(yàn)。在本文實(shí)驗(yàn)中，通過(guò)對(duì)Caltech 256數(shù)據(jù)集進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，選擇圖像數(shù)不少于100幅的136個(gè)類(lèi)別作為候選源域類(lèi)別，剩余的120個(gè)類(lèi)別作為候選目標(biāo)域類(lèi)別。對(duì)于SUN09數(shù)據(jù)集，選取144個(gè)類(lèi)別中圖像數(shù)目最少的前15個(gè)類(lèi)別作為候選目標(biāo)域類(lèi)別，剩余的129個(gè)類(lèi)別作為候選源域類(lèi)別。本文采用Gist特征用于目標(biāo)類(lèi)別識(shí)別［28］，Gist作為一種描述目標(biāo)布局屬性的主旨特征，具備描述Caltech256及SUN09數(shù)據(jù)集目標(biāo)類(lèi)的能力。

4.2 算法性能分析

目標(biāo)域和源域的構(gòu)造是遷移學(xué)習(xí)的基本步驟［4］：從候選目標(biāo)域類(lèi)別中任意選取某個(gè)類(lèi)別作為目標(biāo)域，從該類(lèi)別中隨機(jī)選取 n幅圖像作為目標(biāo)域正例樣本，隨機(jī)加入 n幅背景干擾圖像作為目標(biāo)域負(fù)例樣本；從剩下的圖像中隨機(jī)選取 n幅正例和 n幅負(fù)例作為測(cè)試圖像。接著，從候選源域類(lèi)別中任意選取K個(gè)類(lèi)別構(gòu)建K個(gè)源域，從每個(gè)源類(lèi)別中隨機(jī)選取 n幅圖像作為源域正例樣本，在每個(gè)源域中隨機(jī)加入幅背景干擾圖像作為源域負(fù)例樣本。

實(shí)驗(yàn)1 源域和目標(biāo)域之間的密度比值估計(jì)

實(shí)驗(yàn)2 多源域遷移選擇

進(jìn)一步考察算法的源域選擇情況和基分類(lèi)器的誤差，每輪迭代過(guò)程中隨機(jī)選擇5個(gè)源域。圖2分別以Caltech256數(shù)據(jù)集的目標(biāo)域類(lèi)別hourglass和SUN09數(shù)據(jù)集的目標(biāo)域類(lèi)別 cup為例。其中，Caltech256數(shù)據(jù)集實(shí)驗(yàn)中隨機(jī)選擇的 5個(gè)源類(lèi)為llama， ketch， T-shirt， hammock， light-house；SUN09數(shù)據(jù)集實(shí)驗(yàn)中隨機(jī)選擇的5個(gè)源類(lèi)為table，gate， jar， pillow， pot。用柱狀圖給出前10輪源域選擇結(jié)果，每輪選擇1個(gè)優(yōu)勝分類(lèi)器，圖中文字表示在該輪迭代中算法所選擇的遷移源域類(lèi)別。圖2中部分源域選取的結(jié)果可能與人類(lèi)認(rèn)知并不相符，這種現(xiàn)象可以解釋為：（1）源域類(lèi)別隨機(jī)且數(shù)量有限，選擇范圍內(nèi)缺少更好的類(lèi)別，每輪的分類(lèi)器誤差可能會(huì)增加；（2）算法除了選擇源域，也對(duì)源域內(nèi)樣本進(jìn)行了選擇，可能其中的部分樣本起到了正向遷移的作用。

圖1 目標(biāo)/源域數(shù)據(jù)分布密度比值δ

圖2 前10輪迭代過(guò)程中的源域選擇情況

實(shí)驗(yàn)3 對(duì)比試驗(yàn)

為進(jìn)一步說(shuō)明算法的有效性，分別在Caltech256和SUN09數(shù)據(jù)集上實(shí)驗(yàn)，與目前公認(rèn)經(jīng)典有效的多類(lèi) Adaboost［25］、多源 TrAdaboost［4］算法進(jìn)行對(duì)比。實(shí)驗(yàn)中各參數(shù)取值如下：目標(biāo)域正例樣本數(shù)，源域個(gè)數(shù)源域正例樣本數(shù)基學(xué)習(xí)器均采用線性支持向量機(jī)（linear SVM）， Adaboost弱分類(lèi)器迭代次數(shù)均為30次。為增強(qiáng)實(shí)驗(yàn)客觀性，所有實(shí)驗(yàn)結(jié)果均在15個(gè)隨機(jī)目標(biāo)域類(lèi)別上進(jìn)行測(cè)試，且由于實(shí)驗(yàn)中源域類(lèi)別和樣本選取的隨機(jī)性，實(shí)驗(yàn)的定量評(píng)價(jià)結(jié)果為每個(gè)目標(biāo)域類(lèi)別上的5次重復(fù)實(shí)驗(yàn)的平均分類(lèi)準(zhǔn)確率。兩個(gè)數(shù)據(jù)集下實(shí)驗(yàn)的參數(shù)設(shè)置相同。

圖3 Caltech256數(shù)據(jù)集在4種條件下各算法的實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果考慮有限樣本的規(guī)模對(duì)遷移學(xué)習(xí)算法的影響，分別在 4種條件下進(jìn)行實(shí)驗(yàn)，測(cè)試圖像中的比例和的比例保持一致，且固定在Caltech256和SUN09數(shù)據(jù)集下實(shí)驗(yàn)結(jié)果如圖3和圖4所示，其中45°斜線紋理柱為多類(lèi) Adaboost［25］， 135°斜線紋理柱 為 多 源Adaboost［4］，空心柱為本文方法實(shí)驗(yàn)結(jié)果，橫坐標(biāo)是源域個(gè)數(shù)K（4種情況），縱坐標(biāo)為對(duì)應(yīng)分類(lèi)正確率，柱狀圖上方細(xì)線表示正確率變化的范圍（即正確率方差）。

圖4 SUN09數(shù)據(jù)集在4種條件下各算法的實(shí)驗(yàn)結(jié)果

根據(jù)圖3和圖4，實(shí)驗(yàn)分析源域個(gè)數(shù)對(duì)遷移學(xué)習(xí)影響情況可以發(fā)現(xiàn)，并非源域個(gè)數(shù)越多，遷移效果就一定越好，這是因?yàn)椤斑w移效應(yīng)”主要和目標(biāo)域、源域間的關(guān)聯(lián)程度密切相關(guān)，過(guò)多的不相關(guān)源域可能反而會(huì)對(duì)遷移造成負(fù)向干擾。

4種條件分別給出了不同正負(fù)例分布的遷移學(xué)習(xí)情況，進(jìn)一步分析負(fù)例樣本數(shù)對(duì)遷移學(xué)習(xí)的影響。通過(guò)對(duì)比圖3和圖4中的數(shù)據(jù)可以發(fā)現(xiàn)，以條件（1）下的實(shí)驗(yàn)結(jié)果為基準(zhǔn)，在條件（2）和條件（4）中，增加目標(biāo)域的負(fù)例樣本后，分類(lèi)準(zhǔn)確率可大幅上升且浮動(dòng)較小，這表明目標(biāo)域的負(fù)例樣本對(duì)分類(lèi)器的性能起到提升作用。然而，條件（3）中僅有源域的負(fù)例樣本增加時(shí)，分類(lèi)準(zhǔn)確率反而下降，這說(shuō)明過(guò)量的源域負(fù)例樣本會(huì)給遷移過(guò)程帶來(lái)干擾?？傮w而言，本文算法分類(lèi)結(jié)果相對(duì)多源TrAdaboost方法具有明顯優(yōu)勢(shì)。當(dāng)目標(biāo)域訓(xùn)練樣本數(shù)為5和10時(shí)，多數(shù)情況本文方法完全勝出，少量條件下經(jīng)典多源TrAdaboost方法能給出較好的結(jié)果，本文方法也能接近可行解。

從Caltech256和SUN09數(shù)據(jù)集實(shí)驗(yàn)均可以看出，新方法在極端情況（即目標(biāo)域僅有1個(gè)正例訓(xùn)練樣本）時(shí)的遷移效果不佳，這是因?yàn)樵诟倪M(jìn)算法中增加了非遷移分類(lèi)器作為判定條件。非遷移判斷條件發(fā)生在以下的情況：由于在僅有1個(gè)正例訓(xùn)練樣本時(shí)，所訓(xùn)練出的非遷移分類(lèi)器隨機(jī)性很大，只要對(duì)極少量的目標(biāo)域樣本分類(lèi)正確，則視其誤差為 0；在之后的源域類(lèi)別的遷移能力計(jì)算中，會(huì)因?yàn)檫w移分類(lèi)器的誤差大于0而出現(xiàn)大量負(fù)值，導(dǎo)致算法認(rèn)定出現(xiàn)了“負(fù)遷移”而未能合理的進(jìn)行源域的有效選取，在一定程度上限制了遷移過(guò)程的發(fā)生。

5 結(jié)束語(yǔ)

本文著重研究如何使用遷移學(xué)習(xí)理論解決小樣本問(wèn)題，通過(guò)分析遷移學(xué)習(xí)的“負(fù)遷移”現(xiàn)象產(chǎn)生的原因，解釋了訓(xùn)練、測(cè)試樣本不同分布的估計(jì)與評(píng)價(jià)方法，針對(duì)現(xiàn)有多源遷移算法，從兩個(gè)方面分別解決源域選擇和輔助樣本選擇的不足，通過(guò)考慮目標(biāo)域、源域樣本分布之間的差異性，對(duì)現(xiàn)有多源遷移損失函數(shù)引入了協(xié)變量偏移修正，抑制了單源域情況下的“負(fù)遷移”樣本影響；通過(guò)在每輪迭代中計(jì)算源域的可遷移度，并增加非遷移判斷，一定程度上抑制了多源域條件下的“負(fù)遷移”現(xiàn)象。實(shí)驗(yàn)結(jié)果證明了本文算法的有效性。由于本文實(shí)驗(yàn)采用單類(lèi)別屬性標(biāo)記，未來(lái)工作將在此基礎(chǔ)上向目標(biāo)類(lèi)的語(yǔ)義關(guān)系方向進(jìn)行研究，分析語(yǔ)義指導(dǎo)下的源域選擇方法。此外，本文算法在目標(biāo)域僅有1個(gè)正例樣本時(shí)效果不穩(wěn)定，這種條件下的分類(lèi)識(shí) 別（稱為“one-shot learning”）已成為一個(gè)特定的研究課題，有待進(jìn)一步改進(jìn)的有效算法處理單樣本跨域的遷移學(xué)習(xí)問(wèn)題。

［1］ Tommasi T， OrabonaF， and Caputo B. Learning categories from few examples with multi model knowledge transfer［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014， 36（5）: 928-941.

［2］ Yao Y and Doretto G. Boosting for transfer learning with multiple sources［C］. Proceedings of Computer Vision and Pattern Recognition， San Francisco， 2010: 1855-1862.

［3］ Long M S， Wang J M， Ding G G， et al.. Adaptation regularization a general framework for transfer learning［J］. IEEE Transactions on Knowledge and Data Engineering，2014， 26（5）: 1076-1089.

［4］ Lin D， An X， and Zhang J. Double-bootstrapping source data selection for instance-based transfer learning［J］. Pattern Recognition Letters， 2013， 34（11）: 1279-1285.

［5］ Kuzborskij I， Orabona F， and Caputo B. From N to N+1: multiclass transfer incremental learning［C］. Proceedings of Computer Vision and Pattern Recognition， Portland， 2013: 3358-3365.

［6］ Zhu Y， Chen Y Q， Lu Z Q， et al.. Heterogeneous transfer learning for image classification［C］. Proceedings of AAAI Conference on Artificial Intelligence， San Francisco， 2011: 1304-1309.

［7］ 張倩， 李明， 王雪松， 等. 一種面向多源領(lǐng)域的實(shí)例遷移學(xué)習(xí)［J］. 自動(dòng)化學(xué)報(bào)， 2014， 40（6）: 1176-1183. Zhang Qian， Li Ming， Wang Xue-song， et al.. Instance-based transfer learning for multi-source domains［J］. Acta Automatica Sinica， 2014， 40（6）: 1176-1183.

［8］ Pang J， Huang Q， Yan S， et al.. Transferring boosted detectors towards viewpoint and scene adaptiveness［J］. IEEE Transactions on Image Processing， 2011， 20（5）: 1388-1400.

［9］ Li G， Qin L， Huang Q， et al.. Treat samples differently: object tracking with semi-supervised online CovBoost［C］. Proceedings of International Conference on Computer Vision，Barcelona， 2011: 627-634.

［10］ Qi G J， Aggarwal C， Rui Y， et al.. Towards cross-category knowledge propagation for learning visual concepts［C］. Proceedings of Computer Vision and Pattern Recognition，Colorado Springs， 2011: 897-904.

［11］ Chu W S， Torre F D， and CohnJ F. Selective transfer machine for personalized facial action unit detection［C］. Proceedings of Computer Vision and Pattern Recognition，Portland， 2013: 3515-3522.

［12］ Yang S Z， Hou C P， Zhang C S， et al.. Robust non-negative matrix factorization via joint sparse and graph regularization for transfer learning［J］. Neural Computing and Applications，2013， 23（2）: 541-559.

［13］ 方耀寧， 郭云飛， 丁雪濤， 等. 一種基于標(biāo)簽遷移學(xué)習(xí)的改進(jìn)正則化奇異值分解推薦算法［J］. 電子與信息學(xué)報(bào)， 2013，35（12）: 3046-3050. Fang Yao-ning， Guo Yun-fei， Ding Xue-tao， et al.. An improved regularized singular value decomposition recommender algorithm based on tag transfer learning［J］. Journal of Electronics & Information Technology， 2013，35（12）: 3046-3050.

［14］ Gopalan R. Learning cross-domain information transfer for location recognition and clustering［C］. Proceedings of Computer Vision and Pattern Recognition， Portland， 2013: 731-738.

［15］ Luo Y， Liu T L， Tao D C， et al.. Decomposition-based transfer distance metric learning for image classification［J］. IEEE Transactions on Image Processing， 2014， 23（9）: 3789-3801.

［16］ Long M S， Wang J M， Ding G G， et al.. Transfer learning with graph co-regularization［J］. IEEE Transactions onKnowledge and Data Engineering， 2014， 26（7）: 1805-1818.

［17］ 洪佳明， 印鑒， 黃云， 等. TrSVM: 一種基于領(lǐng)域相似性的遷移學(xué)習(xí)算法［J］. 計(jì)算機(jī)研究與發(fā)展， 2011， 48（10）: 1823-1830. Hong Jia-ming， Yin Jian， Huang Yun， et al.. TrSVM: a transfer learning algorithm using domain similarity［J］. Journal of Computer Research and Development， 2011，48（10）: 1823-1830.

［18］ Seah C W， Tsang I W， and Ong Y S. Transfer ordinal label learning［J］. IEEE Transactions on Neural Networkand Learning System， 2013， 24（11）: 1863-1876.

［19］ 許敏， 王士同， 史熒中. 一種新的面向遷移學(xué)習(xí)的 L2核分類(lèi)器［J］. 電子與信息學(xué)報(bào)， 2013， 35（9）: 2059-2065. Xu Min， Wang Shi-tong， and Shi Ying-zhong. A novel transfer-learning-oriented L2 kernel classifier［J］. Journal of Electronics & Information Technology， 2013， 35（9）: 2059-2065.

［20］ Long M S， Wang J M， Ding G G， et al.. Transfer feature learning with joint distribution adaptation［C］. Proceedings of International Conference on Computer Vision， Sydney，2013: 2200-2207.

［21］ Patricia N and Caputo B. Learning to learn， from transfer learning to domain adaptation: a unifying perspective［C］. Proceedings of Computer Vision and Pattern Recognition，Columbus， 2014: 1442-1449.

［22］ Zhang B， Wang Y， Wang Y， et al.. Stable learning in coding space for multi-class decoding and its extension for multi-class hypothesis transfer learning［C］. Proceedings of Computer Vision and Pattern Recognition， Columbus， 2014: 1075-1081.

［23］ Gretton A， Smola A， Huang J， et al.. Covariate Shift by Kernel Mean Matching［M］. Cambridge: MIT Press， 2009: 131-160.

［24］ Huang P P， Wang G， and Qin S Y. Boosting for transfer learning from multiple data sources［J］. Pattern Recognition Letters， 2012， 33（5）: 568-579.

［25］ Nie Q F， Jin L Z， and Fei S M. Probability estimation for multi-class classification using AdaBoost［J］. Pattern Recognition， 2014， 47（12）: 3931-3940.

［26］ Sugiyama M， Krauledat M， and Müller K R. Covariate shift adaptation by importance weighted cross validation［J］. The Journal of Machine Learning Research， 2007， 8（1）: 985-1005.

［27］ Choi M J， Lim J J， Torralba A， et al.. Exploiting hierarchical context on a large database of object categories［C］. IEEE Conference on Computer Vision & Pattern Recognition， San Frencisco， CA， 2010: 129-136.

［28］ Han Y and Liu G. Biologically inspired task oriented gist model for scene classification［J］. Computer Vision and Image Understanding， 2013， 117（1）: 76-95.

楊興明： 男，1976年生，副教授，研究方向?yàn)橛?jì)算機(jī)控制、模式識(shí)別、物聯(lián)網(wǎng)應(yīng)用.

吳克偉： 男，1984年生，講師，研究方向?yàn)橛?jì)算機(jī)視覺(jué)、圖像處理、模式識(shí)別.

孫永宣： 男，1978年生，講師，研究方向?yàn)橛?jì)算機(jī)視覺(jué)、圖像處理.

謝 昭： 男，1980年生，副研究員，研究方向?yàn)橛?jì)算機(jī)視覺(jué)、圖像處理、模式識(shí)別.

Modified Covariate-shift Multi-source Ensemble Method in Transferability Metric

Yang Xing-ming Wu Ke-wei Sun Yong-xuan Xie Zhao
（School of Computer and Information， Hefei University of Technology， Hefei 230009， China）

Transfer learning usually focuses on dealing with small training set in target domain by sharing knowledge generated from source ones， in which one main challenge is divergence metric of distributed samples between training and test data. In order to deal with “negative transfer” problem caused by improper auxiliary sample selections in source domains， this paper presents a modified covariate-shift multi-source ensemble method with transferability criterion. Firstly， transferability metric of auxiliary samples is defined by joint density estimation in accordance with co-variant transfer principles from source to target， so that the coherency of data distributions is verified. After that， whether transfer learning occurs or not should be determined after evaluating transferability metric in different sources to boost accuracy. Finally， experiments on Caltech256 using GIST demonstrate effectiveness and efficiency in the proposed approach and discussions of performance under diverse selections from auxiliary samples and source domains are presented as well. Experimental results show that the proposed method can sufficiently hold back “negative transfer” for better learnability in transfer style.

Ensemble learning； Transfer learning； Covariate shift； Image classification

s: The National Natural Science Foundation of China （60905005， 61273237）

TP391

A

1009-5896（2015）12-2913-08

10.11999/JEIT150323

2015-03-17；改回日期：2015-08-13；網(wǎng)絡(luò)出版：2015-10-13

*通信作者：謝昭 xiezhao@hfut.edu.cn

國(guó)家自然科學(xué)基金（60905005， 61273237）