冀 中,王思迪,于云龍

(1. 天津大學(xué) 電氣自動化與信息工程學(xué)院, 天津 300072; 2. 浙江大學(xué) 信息與電子工程學(xué)院, 浙江 杭州 310027)

近年來,深度學(xué)習(xí)技術(shù)在人工智能領(lǐng)域取得了令人矚目的成績,例如圖像分類[1-2]、目標(biāo)檢測[3-4]和行人重識別[5-6]等。這些方法大多都依賴于大量的標(biāo)注數(shù)據(jù)。然而,人類可以通過少量的樣本學(xué)習(xí)到新知識,這種“舉一反三”的能力極大地啟發(fā)了研究人員,少樣本學(xué)習(xí)[7-8]就是其中一類有代表性的技術(shù),其目的是從有限數(shù)量的標(biāo)注數(shù)據(jù)中快速學(xué)習(xí)類別知識。

本文針對圖像少樣本分類技術(shù)展開研究,現(xiàn)有方法通常通過有限樣本學(xué)習(xí)一個可遷移模型,利用少量視覺樣本識別新的類別[9-10]。然而,現(xiàn)有方法更多地關(guān)注樣本視覺表征較為單一的類別,當(dāng)樣本視覺表征多樣化時,較難準(zhǔn)確分類。

具體地,在少樣本學(xué)習(xí)中由于可用于訓(xùn)練的標(biāo)注樣本數(shù)量極為有限,因此這些樣本較難完全反映類別的多樣性視覺表征。這本質(zhì)是由于一些類別具有多元屬性。例如“蘋果”同時具有“紅色”和“黃色”屬性。屬性多元化會造成視覺表征復(fù)雜度的提高,從而損害屬性無關(guān)視覺特征的提取,本文將這種問題稱為“多元屬性問題”。如圖1所示,當(dāng)有限標(biāo)注的樣本都是紅色蘋果時,該類別特征將會突顯其“紅色”視覺表征,而當(dāng)測試樣本是黃色蘋果時,此時由于香蕉常帶有“黃色”表皮屬性,因此少見的“黃色”蘋果易被錯分為香蕉。

圖1 多元屬性樣本分布Fig.1 Distribution of diverse attribute samples

如何從有限樣本中提取到屬性無關(guān)的類別特征是解決上述問題的關(guān)鍵所在。在少樣本學(xué)習(xí)中,視覺特征往往受到對應(yīng)屬性的影響,容易偏向?qū)W習(xí)表層屬性而忽略類別本質(zhì)。相比之下,樣本的類別和屬性信息易于獲取,并能指導(dǎo)視覺特征的提取。因此,一些少樣本學(xué)習(xí)方法[11-12]借鑒多模態(tài)學(xué)習(xí)的思想,通過利用輔助模態(tài)如類別屬性、文本描述等來幫助分類,在一定程度上可緩解多元屬性問題的影響。例如,自適應(yīng)跨模態(tài)(adaptive modality mixture mechanism, AM3)方法[11]自適應(yīng)地將語義和視覺信息組合起來,通過語義中的類別信息指導(dǎo)視覺特征提取。屬性引導(dǎo)注意力模塊(attributes-guided attention module, AGAM)[12]使用類別語義信息引導(dǎo)特征提取,與視覺信息結(jié)合進行注意力對齊。然而,這些方法均側(cè)重于使用單一的類別語義信息促進視覺特征的提取,忽視了類別中存在屬性的多樣性以及不同屬性間的差異對正確識別樣本類別作用的不同[11-12]。

針對這一問題,本文提出一種多模態(tài)交叉解耦(multimodal cross-decoupling, MCD)的少樣本圖像分類方法,通過學(xué)習(xí)樣本的視覺特征、類別語義特征和屬性語義特征,解耦出樣本的多元屬性,來減少屬性多樣化帶來的分類差異,緩解多元屬性問題對分類的影響。

現(xiàn)有的少樣本學(xué)習(xí)方法大致可以分為三個類別:基于優(yōu)化的方法、基于生成的方法和基于度量的方法。

基于優(yōu)化的少樣本學(xué)習(xí)方法通過學(xué)習(xí)一個元學(xué)習(xí)器和調(diào)整優(yōu)化算法的參數(shù)來適應(yīng)少樣本分類任務(wù)。這些方法通常在基類樣本上進行訓(xùn)練,得到一個學(xué)習(xí)模型,然后在新類樣本的少樣本任務(wù)中進行微調(diào)。與模型無關(guān)的元學(xué)習(xí)(model-agnostic meta-learning, MAML)方法[2]通過在元訓(xùn)練階段讓模型學(xué)習(xí)一個較好的初始化參數(shù),并在新類少樣本任務(wù)上經(jīng)過幾步梯度更新優(yōu)化模型參數(shù)。具有潛在嵌入優(yōu)化(latent embedding optimization, LEO)的元學(xué)習(xí)方法[13]改進了MAML方法,通過編碼器將特征表達映射到低維隱空間,并使用解碼器將隱向量轉(zhuǎn)化為高維模型參數(shù),通過優(yōu)化隱向量來進行參數(shù)更新。

基于生成的少樣本學(xué)習(xí)方法,其思路是通過對樣本進行變換以達到數(shù)據(jù)增強的目的,或是使用生成對抗網(wǎng)絡(luò)來擴大樣本空間,從而彌補類別樣本數(shù)量少的不足。Chen等[14]提出的圖像變形元網(wǎng)絡(luò)(image deformation meta-networks, IDeMe-Net)使用網(wǎng)絡(luò)學(xué)習(xí)生成不同的變換圖形來擴充數(shù)據(jù),并提取特征信息。Li等[15]提出的對抗性特征幻覺網(wǎng)絡(luò)(adversarial feature hallucination networks, AFHN)利用生成對抗網(wǎng)絡(luò)(generative adversarial networks, GAN)生成多樣性樣本,并引入分類和反崩潰正則項。

基于度量的少樣本學(xué)習(xí)方法通過將支持集和查詢集的特征映射到一個新的度量空間,并學(xué)習(xí)可遷移的距離度量來進行分類。原型網(wǎng)絡(luò)(prototypical networks, PN)[7]將同類別樣本特征均值作為類原型,并使用歐氏距離計算查詢樣本與類原型之間的距離來分類。關(guān)系網(wǎng)絡(luò)(relation network, RN)[8]通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)動態(tài)的度量模型,并利用該模型計算查詢樣本與支持樣本之間的相似度。Li等[16]提出的深度最近鄰網(wǎng)絡(luò)(deep nearest neighbor neural network, DN4)方法通過使用局部描述子來比較查詢圖像與支持集之間的相似度。

多模態(tài)學(xué)習(xí)研究不同模態(tài)數(shù)據(jù)的機器學(xué)習(xí)問題,通過挖掘模態(tài)間的互補性或獨立性來表征多模態(tài)數(shù)據(jù)。多模態(tài)表示學(xué)習(xí)應(yīng)用于編碼不同模態(tài)數(shù)據(jù)中的語義信息,并學(xué)習(xí)各模態(tài)的特征與映射關(guān)系,其在跨模態(tài)檢索[17-18]、圖文匹配[19-20]、零樣本學(xué)習(xí)[21-22]等任務(wù)中都有著較為重要的作用。

多模態(tài)少樣本學(xué)習(xí)方法通過引入語義信息,聯(lián)合訓(xùn)練文本和視覺特征,提升少樣本分類任務(wù)性能。例如,AM3方法[11]利用語義表征提供先驗知識來補充視覺信息,通過凸組合將視覺和語義表征結(jié)合起來進行分類。模態(tài)交替?zhèn)鞑ゾW(wǎng)絡(luò)(modal-alternating propagation network, MAP-Net)[23]利用圖傳播指導(dǎo)語義圖更新,通過計算視覺特征相似性彌補缺失的語義特征。屬性指導(dǎo)特征學(xué)習(xí)(attribute-guided feature learning, AGFL)方法[24]通過屬性相關(guān)表示建立聯(lián)系,增強相同屬性在不同類別的表達。

本文所提方法是一種基于度量學(xué)習(xí)的多模態(tài)少樣本學(xué)習(xí)方法。與以往方法不同,本文方法針對少樣本多元屬性問題,能夠識別帶有相似屬性的同類樣本,同時還能夠具備識別出有不同屬性的該類樣本的能力。

1 方法實現(xiàn)

1.1 問題定義

假設(shè)存在一個給定數(shù)據(jù)集D={Dtrain,Dtest},其中訓(xùn)練集Dtrain和測試集Dtest在樣本空間中不相交。訓(xùn)練集樣本Dtrain包含了大量的類別,其標(biāo)簽空間為Cbase={c1,c2,…,cn},n表示總類別數(shù)量。標(biāo)準(zhǔn)的少樣本分類任務(wù)(每一個任務(wù)包含N個類別、每個類別包含K個樣本)被稱作N-wayK-shot任務(wù),一般K是比較小的整數(shù),如1或5。

在少樣本分類任務(wù)中K值較小導(dǎo)致訓(xùn)練樣本不足,元學(xué)習(xí)方法通過使用大量訓(xùn)練集數(shù)據(jù)Dtrain合理解決這一問題。常見的基于度量學(xué)習(xí)的少樣本分類方法基于episode的形式實現(xiàn)元學(xué)習(xí)的訓(xùn)練與測試,并通過episode隨機采樣形成上述的N-wayK-shot任務(wù)。通常情況下,每一個episode包含一個支持集XS和一個查詢集XQ。在支持集XS中所有樣本x都是標(biāo)注數(shù)據(jù),通過特征提取器f得到樣本特征f(x),同時可以利用原型網(wǎng)絡(luò)[7]計算類別原型P作為支持集類別的樣本特征。而在查詢集XQ中每個樣本都是無標(biāo)注數(shù)據(jù)。

1.2 整體框架

針對多元屬性問題提出的多模態(tài)交叉解耦的少樣本分類方法整體框架如圖2所示。模型方法由多模態(tài)交叉解耦和特征重建兩個部分組成。在元訓(xùn)練階段,多模態(tài)交叉解耦模塊將樣本的視覺特征、多種語義特征進行解耦,以得到解耦后的類別特征和屬性特征。為保證解耦出來的特征能夠準(zhǔn)確地表示原樣本,利用特征重建模塊將解耦后的特征重新進行融合,并與原本的全局視覺特征進行約束。在元測試階段,因為查詢集沒有語義信息,所以使用自解耦來代替交叉解耦,并與支持集樣本解耦后的類別特征進行分類損失判別。

圖2 所提多模態(tài)交叉解耦的少樣本分類方法框架Fig.2 Proposed framework of multimodal cross-decoupling few-shot classification

1.3 多模態(tài)交叉解耦

為了緩解多元屬性問題,提出利用信息交叉解耦的思想,從多模態(tài)信息中學(xué)習(xí)有效的類別信息,弱化屬性特征對分類效果的影響。

圖3 交叉解耦示意圖Fig.3 Illustration of cross-decoupling

(1)

(2)

(3)

(4)

(5)

(6)

通過上述過程,模型將重點關(guān)注視覺特征中與語義特征相關(guān)性較高的部分,通過交叉注意力機制提取視覺特征中與類別相關(guān)的特征和與屬性相關(guān)的特征,并分別與原類別語義特征和原屬性語義特征進行融合,從而進一步強化語義信息對視覺特征的指導(dǎo)作用,實現(xiàn)了視覺特征中類別與屬性的解耦。

與支持集樣本不同的是,查詢集樣本xq不具備語義信息,因此采用自解耦的方法對查詢集的視覺特征進行訓(xùn)練得到解耦后的類別特征。具體地,在利用交叉注意力機制時對于計算查詢集樣本的Q′、K′和V′分別表示為:

(7)

(8)

(9)

(10)

(11)

1.4 特征重建

在此階段,為保證支持集解耦后的類別特征與屬性特征仍可準(zhǔn)確表示原樣本,采用特征重建的方式,通過將解耦后的特征進行融合得到重建后的特征,與原樣本的全局特征進行約束。

(12)

式中,β=h(ZSA)同樣是一個可學(xué)習(xí)的參數(shù)。

同時,原樣本的全局特征由f(xi)池化得到:

(13)

(14)

因此模型學(xué)習(xí)特征信息時將繼續(xù)朝著貼近樣本本質(zhì)的方向進行優(yōu)化。

冬天，感冒幾乎是寶寶們最常得的疾病了。感冒的癥狀一般有流涕、咳嗽、發(fā)燒、喉嚨疼等，爸爸媽媽對癥做好家庭護理很重要。另外，如果病情較重，需要就醫(yī)用藥，爸爸媽媽也需要知道一些用藥誤區(qū)，以減輕對寶寶的傷害。

1.5 少樣本訓(xùn)練

對于一個N-wayK-shot的少樣本分類任務(wù),當(dāng)K值不為1時,每個類別的支持集樣本均采用原型網(wǎng)絡(luò)[7]的方法,計算每個類別樣本視覺特征、解耦后的類別特征和屬性特征的向量均值作為對應(yīng)的特征原型。以樣本解耦的類別特征為例,對于類別c,其解耦類別特征原型為:

(15)

式中,XSc表示支持集樣本中屬于類別c的數(shù)據(jù),|XSc|代表屬于類別c的樣本數(shù)量。

(16)

這里,p(y=c|xq)表示查詢集樣本xq屬于類別c的概率值,c′表示任一類別,d(·)為歐氏距離的相似度度量。

利用交叉熵損失作為其分類損失函數(shù)進行訓(xùn)練:

Lcls=-lgp(y=c|xq)

(17)

合并所有損失函數(shù)得到最終的目標(biāo)函數(shù):

Lobj=arg minLcls+γLrec

(18)

式中,γ為超參數(shù),用來平衡最終的損失函數(shù)。

2 實驗

2.1 實驗設(shè)置

2.1.1 數(shù)據(jù)集

本文所提方法在MIT-States[25]和C-GQA[26]兩個數(shù)據(jù)集上進行實驗。MIT-States數(shù)據(jù)集[25]由53 155張現(xiàn)實世界圖像組成,其中每個圖像都包含它的形容詞屬性和名詞類別,例如“黃色的蘋果”。對該數(shù)據(jù)集按名詞進行劃分后,一共有243個名詞類別,其中160個名詞用作訓(xùn)練、40個名詞用于驗證、43個名詞用來測試。此外,一共有115種形容詞屬性。同時,由屬性和類別組成的詞共1 761對,分別用在訓(xùn)練集、驗證集和測試集的對數(shù)分別為1 179、271和311。

C-GQA[26]數(shù)據(jù)集源于Stanford GQA數(shù)據(jù)集[27],具備更清晰的標(biāo)簽和更大的標(biāo)簽空間,挑戰(zhàn)性更大。該數(shù)據(jù)集共有27 062張圖像,按名詞劃分后得到訓(xùn)練集、驗證集和測試集的圖像數(shù)量分別為20 786、3 511和2 765。相應(yīng)地,其名詞類別數(shù)量分別為120、30、31。C-GQA的訓(xùn)練集包含153種形容詞屬性。這里,由屬性和類別組成的詞共931對。數(shù)據(jù)集MIT-States和C-GQA的具體信息見表1。

表1 數(shù)據(jù)集劃分

2.1.2 實驗細節(jié)

在實驗中,數(shù)據(jù)集MIT-States和C-GQA的圖像均調(diào)整為224×224的尺寸,其類別和屬性的語義向量通過word2vec[28]得到,維度為600。并且,在兩個數(shù)據(jù)集上訓(xùn)練并測試了5-way 1-shot和5-way 5-shot任務(wù)的準(zhǔn)確率。首先,使用Adam優(yōu)化器進行預(yù)訓(xùn)練,在訓(xùn)練集樣本上訓(xùn)練60個批次。這里初始學(xué)習(xí)率設(shè)置為0.001。之后,采用元訓(xùn)練的方式進行微調(diào)。在微調(diào)時,利用隨機梯度下降(stochastic gradient descent, SGD)優(yōu)化器[29]訓(xùn)練30個批次,每個批次隨機采樣1 000個episode;初始學(xué)習(xí)率設(shè)置為0.000 1,并且每隔10個批次學(xué)習(xí)率減小至原來的1/10;此時動量參數(shù)設(shè)置為0.9,權(quán)重衰減率為0.001。在訓(xùn)練和測試時,視覺特征的提取均采用ResNet18[30]作為主干網(wǎng)絡(luò),特征提取器的輸出維度為512;語義特征的提取則采用多層感知機(multilayer perceptron,MLP),其輸出維度也為512。對于超參數(shù)γ,在5-way 1-shot的任務(wù)中取0.4,在5-way 5-shot任務(wù)中取0.3。所有對比方法都使用相同的視覺和語義特征,并且調(diào)整參數(shù)達到其最優(yōu)性能。

2.2 實驗結(jié)果

與常見少樣本分類工作的測試設(shè)置不同,將測試集分成兩個部分:與支持集屬性相同的查詢集樣本和與支持集屬性不同的查詢集樣本。首先,在測試集中隨機采樣2 000個episode,每個episode中的每個類別包含2個無標(biāo)注的查詢樣本用來測試,即與支持集屬性相同的測試樣本(same support attribute, SSA)和與支持集屬性不同的測試樣本(different support attribute, DSA)各一個。然后,對2 000個episode上的SSA和DSA分別求平均準(zhǔn)確率。最后,求所提方法對多元屬性樣本準(zhǔn)確率,即求兩種準(zhǔn)確率的調(diào)和平均數(shù)(harmonic mean, HM)作為最終評價指標(biāo):

(19)

本文選取了7種對比方法,包括3種不使用語義信息的方法(ProtoNet[7]、RelationNet[8]和MatchingNet[31])以及4種使用語義信息的方法(AM3[11]、AGAM[12]、MAP-Net[23]和SGAP[32])。表2和表3為本文方法在2個數(shù)據(jù)集上的實驗結(jié)果?？梢悦黠@地看出,本文方法性能均較為顯著地優(yōu)于所有對比算法。另外,在SSA上的分類性能整體較DSA上的分類性能高,這表明多元屬性問題確實會影響模型的分類性能。

表2 在MIT-States數(shù)據(jù)集上的測試結(jié)果

表3 在C-GQA數(shù)據(jù)集上的測試結(jié)果

具體地,在MIT-States數(shù)據(jù)集上,與結(jié)果第二高的比較方法AM3或MAP-Net相比,對于5-way 1-shot少樣本分類任務(wù),本文方法在SSA的結(jié)果上提升了1.75%,在DSA上的測試結(jié)果提高了5.64%,并且調(diào)和平均數(shù)HM也有了4.31%的提升效果;在5-way 5-shot任務(wù)中,本文方法在SSA上比方法MAP-Net提高了1.34%,在DSA上比方法AM3提高了3.10%,在HM上也有3.12%的提升效果。在C-GQA數(shù)據(jù)集上,針對5-way 1-shot的分類結(jié)果,本文方法比結(jié)果第二高的方法AM3均有明顯的提高,在SSA上提高1.99%,在DSA上有3.44%的提升,并且在HM上也有2.80%的提升效果;而在5-way 5-shot任務(wù)中,本文方法仍比結(jié)果第二高的方法MAP-Net有較高的提升,其中在SSA上提升了2.01%,在DSA上提高了4.02%,在HM上也有3.20%的明顯提升。

通過實驗結(jié)果還可以發(fā)現(xiàn),本文方法在DSA上較對比方法的提升效果明顯比在SSA上顯著,這說明對比方法難以很好地對具有未見屬性的同類樣本進行準(zhǔn)確識別,本文方法在一定程度上有效地緩解了這一問題。同時,與5-way 5-shot提升結(jié)果相比,5-way 1-shot的分類任務(wù)中,DSA的提升效果在兩個數(shù)據(jù)集上都更為明顯。主要的原因在于當(dāng)支持集樣本極少時,模型更難學(xué)習(xí)樣本的類別表示信息,并且當(dāng)屬性差異較大時,更容易因?qū)傩圆煌煜举|(zhì)的類別表征,加劇識別類別錯誤的情況。本文方法能夠有效地解耦出無關(guān)的屬性信息,保留樣本本質(zhì)的類別特征,提高樣本極少情況下的分類性能。

2.3 消融實驗

如前所述,本文方法通過交叉解耦和特征重建兩個關(guān)鍵模塊提升多元屬性少樣本分類性能。接下來,為了探究每個模塊對實驗結(jié)果的影響,在MIT-States和C-GQA數(shù)據(jù)集上進行消融實驗研究,結(jié)果如表4和表5所示。采用原型網(wǎng)絡(luò)作為基準(zhǔn)即第一行結(jié)果,第二行為僅增加支持集類別語義特征(support category features, SCF),第三行的結(jié)果為在此基礎(chǔ)上增加支持集屬性語義特征(support attribute features, SAF)形成交叉解耦模塊,第四行為繼續(xù)增加特征重建模塊形成本文最終方法。從表中結(jié)果可以發(fā)現(xiàn)交叉解耦與特征重建兩個模塊分別對少樣本的分類性能起到促進作用。

表4 在MIT-States數(shù)據(jù)集上的消融實驗結(jié)果

具體地,當(dāng)僅引入類別語義信息時,與基準(zhǔn)原型網(wǎng)絡(luò)方法相比,測試結(jié)果幾乎都有顯著的提升,這表明增加類別語義特征能夠彌補模型學(xué)習(xí)視覺特征的不足,對模型學(xué)習(xí)準(zhǔn)確分類起到了積極的指導(dǎo)作用。

當(dāng)加入屬性語義信息使用交叉融合模塊時,可以發(fā)現(xiàn)交叉融合的方法在SSA、DSA和HM上的分類性能大部分都比僅加入類別語義特征SCF時有較明顯的提升,其提升效果能達到0.84%～3.28%。特別地,當(dāng)測試樣本的屬性特征與支持集樣本相同時,SSA的結(jié)果反映出交叉解耦模型可以更好學(xué)習(xí)出解耦后的類別特征和屬性特征,分離出正確的類別特征用以分類,有效地提高少樣本任務(wù)分類的準(zhǔn)確率,其性能能夠達到0.84%～3.28%的提升。同時,即使在測試樣本的屬性特征與支持集樣本不同時,模型也能學(xué)習(xí)出未見屬性特征并解耦出類別特征。在此基礎(chǔ)上當(dāng)繼續(xù)引入特征重建模塊時,SSA、DSA和HM的性能均存在進一步的提升。通過結(jié)果可以發(fā)現(xiàn),在解耦過程中,可能會出現(xiàn)解耦出來的特征偏離原樣本真實特征的情況。因此,特征重建模塊將解耦后的類別特征和屬性特征重新融合,并利用原樣本視覺特征進行約束,使模型學(xué)習(xí)特征信息時沿著樣本類別內(nèi)在特征的方向進行優(yōu)化。

2.4 進一步分析

2.4.1 參數(shù)實驗

在此部分,研究超參數(shù)γ對模型性能的影響。不同γ值在MIT-States數(shù)據(jù)集和C-GQA數(shù)據(jù)集的結(jié)果如圖4所示,其中圖4(a)和圖4(c)表示MIT-States數(shù)據(jù)集的結(jié)果,圖4(b)和圖4(d)表示C-GQA數(shù)據(jù)集的結(jié)果。藍色和黃色折線分別代表5-way 1-shot和5-way 5-shot少樣本分類任務(wù),采用調(diào)和平均數(shù)HM作為判別指標(biāo)。

表5 在C-GQA數(shù)據(jù)集上的消融實驗結(jié)果

(a) MIT-States數(shù)據(jù)集在5-way 1-shot的結(jié)果(a) Results of 5-way 1-shot on the MIT-States dataset

(b) C-GQA數(shù)據(jù)集在5-way 1-shot的結(jié)果(b) Results of 5-way 1-shot on the C-GQA dataset

(c) MIT-States數(shù)據(jù)集在5-way 5-shot的結(jié)果(c) Results of 5-way 5-shot on the MIT-States dataset

(d) C-GQA數(shù)據(jù)集在5-way 5-shot的結(jié)果(d) Results of 5-way 5-shot on the C-GQA dataset

通過實驗發(fā)現(xiàn),兩種數(shù)據(jù)集上的超參數(shù)γ均是先升后降。在5-way 1-shot分類任務(wù)中,當(dāng)γ=0.4時,網(wǎng)絡(luò)性能達到最優(yōu),HM的結(jié)果最佳;而在5-way 5-shot少樣本任務(wù)中,當(dāng)γ=0.3時,模型能達到最佳性能,此時HM的值為最高。這表明特征重建模塊能夠在一定程度上有效地提升分類性能,但是當(dāng)參數(shù)γ的值過大時,分類性能反而會下降,其原因可能在于重建約束較強時會影響屬性解耦的效果,加重了屬性對類別特征的影響。

2.4.2 可視化實驗

為了驗證本文方法的效果,采用t-SNE[33]方法在MIT-States數(shù)據(jù)集的嵌入空間進行可視化實驗,結(jié)果如圖5所示。隨機可視化一個測試任務(wù),這個任務(wù)包含5個類別共60個樣本,每個類別的樣本數(shù)為12。不同顏色的圓點代表不同的類別。這里,選用原型網(wǎng)絡(luò)(ProtoNet)作為基準(zhǔn)方法進行比較,結(jié)果如圖5(a)所示;為了驗證本文方法的可行性,圖5(b)為僅引入類別語義信息的方法結(jié)果,圖5(c)為本文方法結(jié)果。

從t-SNE的可視化結(jié)果可以看出,增加類別語義信息,能夠有效地提高類別辨識的能力,使測試樣本按照預(yù)測類別整齊規(guī)則分布。本文方法進一步增強了同類別樣本的分布密度,使類內(nèi)樣本分布更加緊湊,同時提高類別間的距離,可降低多元屬性問題帶來的識別誤差。

(a) ProtoNet

(b) ProtoNet+SCF

(c) MCD

3 結(jié)論

本文針對少樣本學(xué)習(xí)中的多元屬性問題,提出一種多模態(tài)交叉解耦的方法,可有效解耦出樣本類別特征和類別屬性語義特征,并能利用特征重建保留樣本內(nèi)在的類別特征信息,極大地緩解了多元屬性問題對少樣本分類造成的識別錯誤。所提方法也提出一種特征重建方法,將解耦后的類別特征和屬性特征重新融合,通過原樣本的視覺特征進行約束,使模型學(xué)習(xí)特征信息時沿著貼近樣本本質(zhì)類別的方向進行優(yōu)化。在兩個類內(nèi)屬性差異較大的標(biāo)準(zhǔn)數(shù)據(jù)集上的大量實驗驗證了所提方法的有效性和先進性,結(jié)果顯示本文方法能夠有效提升少樣本分類任務(wù)的準(zhǔn)確性,即使在屬性未知的待測樣本中也具有良好的分類性能。