張 玉，尚志華，郭曉楠，黃福玉，劉毅志

（1.鄭州師范學(xué)院信息科學(xué)與技術(shù)學(xué)院，鄭州 450044；2.中國科學(xué)技術(shù)大學(xué)信息科學(xué)技術(shù)學(xué)院，合肥 230026；3.北京中科研究院，北京 100049；4.湖南科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湘潭 411201）

深度學(xué)習(xí)被廣泛應(yīng)用于各種圖像識(shí)別任務(wù)中并取得了顯著的效果提升［1-6］，但是基礎(chǔ)的深度學(xué)習(xí)框架通常需要大規(guī)模標(biāo)注的數(shù)據(jù)集作為監(jiān)督，例如ImageNet 數(shù)據(jù)集［7］等，才能得到能夠準(zhǔn)確分類的模型。然而，在一些領(lǐng)域獲取海量數(shù)據(jù)集的代價(jià)很高，尤其是一些安全領(lǐng)域，由于一些類別的圖像出現(xiàn)頻次低，采集標(biāo)注難度大，因此這些類別往往可供學(xué)習(xí)樣本數(shù)量極少，這種情況下，基礎(chǔ)的深度學(xué)習(xí)方式并不適用。同時(shí)，一個(gè)已經(jīng)在特定類別訓(xùn)練良好的深度學(xué)習(xí)模型在應(yīng)用到新類別時(shí)，通常需要大量的新類別樣本，這與人類的學(xué)習(xí)方式有極大的不同。人類在積累了足夠多的知識(shí)后，能夠僅從少量的圖片中學(xué)習(xí)到新類別的概念，并能準(zhǔn)確地識(shí)別該類別的其他圖片。為了縮小深度學(xué)習(xí)模型與人之間的這種差距，許多研究人員致力于研究如何用深度學(xué)習(xí)網(wǎng)絡(luò)模擬上述的人類學(xué)習(xí)行為，即小樣本圖像分類問題。

小樣本圖像分類問題的目的是讓模型能夠僅通過少量的樣本學(xué)習(xí)新的類別，從而能夠?qū)π骂悇e的樣本進(jìn)行分類。一些先前的工作在小樣本分類中取得了很大的成功［8-15］，Snell 等［10］學(xué)習(xí)一個(gè)嵌入，從而能夠使用最近鄰或線性分類器對(duì)來自新類別的圖像進(jìn)行識(shí)別。Sung 等［11］則直接使用基于度量的模型對(duì)新類別的查詢圖像進(jìn)行分類，無需更新網(wǎng)絡(luò)參數(shù)。Qiao等［15］利用預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)提取樣本的特征，并利用這些特征生成新的類別分類器。但是，當(dāng)計(jì)算某個(gè)類別的參數(shù)時(shí)，上述工作均只使用該類別中的樣本，而忽略其他類別中的樣本。

為了在小樣本分類任務(wù)中更充分地利用不同類別樣本中的信息，本文的重點(diǎn)是在前向傳播中利用類間信息。其網(wǎng)絡(luò)框架如圖1 所示。在所示五分類任務(wù)中，從每個(gè)類別中選取1 張樣例圖像輸入網(wǎng)絡(luò)，經(jīng)過特征提取器和融合模塊獲得融合后的各類別特征，并通過分類器參數(shù)預(yù)測(cè)器生成分類器。之后提取查詢圖像特征并通過生成的分類器獲得預(yù)測(cè)結(jié)果。本文網(wǎng)絡(luò)中，來自不同類別的樣本的信息通過一個(gè)可學(xué)習(xí)的映射融合在一起，通過這種方式，可以利用類間信息，學(xué)習(xí)到更準(zhǔn)確的新類別概念。但是如何對(duì)不同的輸入樣本改變?nèi)诤嫌成?，以及如何合理地改變?nèi)诤嫌成?，都是本文需要關(guān)注的問題。因此，本文設(shè)計(jì)了3 個(gè)不同的融合模塊來進(jìn)行融合映射，從而探討上述問題：（1）類無關(guān)模塊。使用常量映射來融合輸入樣本的特性。通過類無關(guān)模塊，在訓(xùn)練過程中直接學(xué)習(xí)融合映射，不因測(cè)試樣本而改變。（2）半相關(guān)模塊。學(xué)習(xí)生成動(dòng)態(tài)映射。當(dāng)學(xué)習(xí)一個(gè)新的類別時(shí)，半相關(guān)模塊分別為屬于該類別和其他類別的輸入樣本計(jì)算兩種權(quán)值，然后將它們通過權(quán)值融合在一起。（3）完全相關(guān)模塊。計(jì)算不同類別樣本特征的內(nèi)積，然后利用這些內(nèi)積生成融合映射。

圖1 本文網(wǎng)絡(luò)框架圖Fig.1 Framework of our network

1 相關(guān)工作

近年來，許多研究者對(duì)小樣本學(xué)習(xí)產(chǎn)生了興趣。其中，小樣本分類問題的目標(biāo)是讓機(jī)器學(xué)習(xí)模型在學(xué)習(xí)了一些類別的大量數(shù)據(jù)后，對(duì)于新的類別只需要少量的樣本就能快速學(xué)習(xí)，達(dá)到在這些類別上的精確分類。對(duì)于一個(gè)具體的小樣本任務(wù)，設(shè)其新的類別數(shù)為C，每個(gè)類別的樣本個(gè)數(shù)為K，則稱其為C-wayK-shot 任務(wù)。許多小樣本學(xué)習(xí)方法［8，10-12，15］可被歸納為3 類：基于元學(xué)習(xí)的方法、基于優(yōu)化器的方法和基于度量學(xué)習(xí)的方法。以上方法都能夠從類似的任務(wù)中提取一些可轉(zhuǎn)移的知識(shí)用于進(jìn)行新任務(wù)?；谠獙W(xué)習(xí)的方法。元學(xué)習(xí)方法［16］旨在訓(xùn)練1 種元學(xué)習(xí)模型，這種模型可以從1個(gè)新任務(wù)的幾個(gè)訓(xùn)練例子中快速學(xué)習(xí)出1 個(gè)新的模型。具體來說，MAML 方法［12］學(xué)習(xí)了1 個(gè)良好的初始條件，用于對(duì)小樣本問題進(jìn)行微調(diào)而不會(huì)嚴(yán)重過擬合。神經(jīng)網(wǎng)絡(luò)的初始權(quán)值可以在幾個(gè)梯度下降步驟中進(jìn)行微調(diào)，以適用于新的分類任務(wù)。本文網(wǎng)絡(luò)是一種元學(xué)習(xí)網(wǎng)絡(luò)，用于學(xué)習(xí)可遷移的融合樣本信息和生成分類器的方法。元學(xué)習(xí)方法的快速泛化能力源自其訓(xùn)練機(jī)制，在訓(xùn)練過程中產(chǎn)生的梯度被用來作為快速權(quán)重的生成。模型包含1 個(gè)元學(xué)習(xí)器和1 個(gè)基準(zhǔn)學(xué)習(xí)器，元學(xué)習(xí)器用于學(xué)習(xí)元學(xué)習(xí)任務(wù)之間的泛化信息，并使用存儲(chǔ)機(jī)制保存這種信息，基準(zhǔn)學(xué)習(xí)器則用于快速適應(yīng)新的任務(wù)，并和元任務(wù)交互產(chǎn)生預(yù)測(cè)輸出。

基于優(yōu)化器的方法?；趦?yōu)化器的方法認(rèn)為普通的梯度下降方法難以在小樣本任務(wù)的場(chǎng)景下擬合，因此通過調(diào)整優(yōu)化方法來完成小樣本分類的任務(wù)。文獻(xiàn)［17］提出了在樣本較少的情況下，原有的分類任務(wù)中基于梯度的優(yōu)化器算法失效的原因。Finn 等［12］提出了1 種新的優(yōu)化方法，能夠?qū)W習(xí)模型的初始化參數(shù)，使得一步或幾步迭代后在新任務(wù)上的精度最大化。本文方法可以學(xué)習(xí)任意標(biāo)準(zhǔn)模型的參數(shù)，并讓該模型能快速適配。Antoniou 等［18］提出對(duì)MAML 進(jìn)行優(yōu)化，進(jìn)一步提高了系統(tǒng)的泛化性能，加快了網(wǎng)絡(luò)的收斂速度，減少了計(jì)算開銷。Nichol 等［19］提出的基于優(yōu)化的元學(xué)習(xí)模型Reptile，也是通過學(xué)習(xí)網(wǎng)絡(luò)參數(shù)的初始化，與MAML 不同的是，Reptile 在參數(shù)優(yōu)化時(shí)不要求使用微分。

基于度量學(xué)習(xí)的方法。度量學(xué)習(xí)方法的目的是學(xué)習(xí)圖像的特征表示，并以前饋的方式對(duì)查詢和樣本圖像進(jìn)行分類。原型網(wǎng)絡(luò)［10］學(xué)習(xí)了1 種嵌入，這樣模型就可以通過計(jì)算到樣本圖像的距離來分類查詢圖像。關(guān)系網(wǎng)絡(luò)［11］則學(xué)習(xí)1 個(gè)深度距離度量來比較樣本圖像和查詢圖像。這里的深度距離度量比起歐幾里得距離和余弦距離更加復(fù)雜，由卷積神經(jīng)網(wǎng)絡(luò)計(jì)算得到。TADAM［8］學(xué)習(xí)了1 個(gè)任務(wù)相關(guān)的度量空間，該度量空間針對(duì)不同的任務(wù)度量不同尺度的距離。TADAM 用向量表示任務(wù)，并將其輸入到后續(xù)網(wǎng)絡(luò)中，計(jì)算相應(yīng)的度量尺度。Cai 等［20］提出了一種生成式匹配網(wǎng)絡(luò)，認(rèn)為新樣本的生成服從某一條件概率分布，使用該分布生成新樣本來進(jìn)行數(shù)據(jù)增強(qiáng)。該方法將樣本映射到語義嵌入空間，在嵌入空間中利用條件似然函數(shù)對(duì)樣本的語義特征向量進(jìn)行匹配，減小了特征空間和語義空間的鴻溝。同時(shí)，Cai 等［20］還提出了一種利用內(nèi)部存儲(chǔ)來進(jìn)行記憶編碼的元學(xué)習(xí)方法，它將提取到的圖像特征用記憶寫入控制器壓縮進(jìn)記憶間隙，然后利用上下文學(xué)習(xí)器，即雙向的Long short-term memory（LSTM）對(duì)記憶間隙進(jìn)行編碼，不僅提高了圖像特征的表示能力，而且能夠探索類別之間的關(guān)系，其輸出為未標(biāo)注樣本的嵌入向量，記憶讀入控制器通過讀入支持集的嵌入向量，將兩者點(diǎn)乘作為距離相似度度量，相比于余弦距離，計(jì)算復(fù)雜度更加簡(jiǎn)單。Zhou 等［21］提出了基于嵌入回歸的視覺類比網(wǎng)絡(luò)，學(xué)習(xí)低維的嵌入空間，再從嵌入空間中學(xué)習(xí)到分類參數(shù)的線性映射函數(shù)，對(duì)新類分類時(shí)，將新類樣本與學(xué)習(xí)到基類的嵌入特征進(jìn)行相似度度量。

除了以上常見的3 類方法之外，還有一些方法被應(yīng)用于小樣本圖像分類任務(wù)中，基于遷移學(xué)習(xí)的小樣本圖像分類有3 種實(shí)現(xiàn)方式：基于特征［22-23］、基 于 相 關(guān) 性［23-26］和 基 于 共 享 參 數(shù)［27-28］的 方 式 等。在一些工作中，對(duì)偶學(xué)習(xí)［21］、貝葉斯學(xué)習(xí)［29］和圖神經(jīng)網(wǎng)絡(luò)［30-32］等也被用于處理小樣本圖像分類問題。與本文最相關(guān)的方法是Qiao 等［15］中的激活中預(yù)測(cè)參數(shù)。該方法的目的是學(xué)習(xí)1 個(gè)參數(shù)預(yù)測(cè)器，以便在給定特定類別的樣本圖像時(shí)，模型能夠生成用于查詢圖像的分類器參數(shù)。一般來說，小樣本學(xué)習(xí)是一種多分類的任務(wù)。但是文獻(xiàn)［15］中的參數(shù)預(yù)測(cè)器僅從A 類別的樣本中學(xué)習(xí)生成A 類別的分類器參數(shù)，在前向傳播中忽略了類間信息。相比之下，本文網(wǎng)絡(luò)根據(jù)來自不同類別的所有樣本圖像預(yù)測(cè)分類器的參數(shù)，與文獻(xiàn)［15］相比只需要很小的額外計(jì)算量。

2 類別信息融合網(wǎng)絡(luò)模型

本文算法步驟主要分為兩部分：（1）融合特征矩陣的計(jì)算，本文設(shè)計(jì)了多種可選方法，在第2.1 節(jié)融合映射模塊中分別進(jìn)行了詳細(xì)描述；（2）基于融合特征矩陣進(jìn)行分類器參數(shù)預(yù)測(cè)并對(duì)查詢圖像進(jìn)行分類，在第2.2 節(jié)類別融合網(wǎng)絡(luò)中進(jìn)行了表述。

2.1 融合映射模塊

2.1.1 類別無關(guān)模塊

期望類別無關(guān)能夠?qū)W習(xí)到一種通用的、不變的融合映射來進(jìn)行小樣本的學(xué)習(xí)。同時(shí)，在小樣本學(xué)習(xí)中，由于采樣的隨機(jī)性和訓(xùn)練集/測(cè)試集的標(biāo)記空間的差異性，參數(shù)模型往往不能很好地從訓(xùn)練樣本中學(xué)習(xí)。因此，設(shè)計(jì)了一個(gè)具有少量額外參數(shù)的類 別 無 關(guān) 模 塊（Class-irrelevant module，CIM）。CIM 通過在RC×C中的矩陣WCIM直接學(xué)習(xí)融合映射。如圖2 所示，CIM 通過1 個(gè)全連接層將A映射為L(zhǎng)，即

圖2 類別無關(guān)模塊結(jié)構(gòu)圖Fig.2 Illustration of the class-irrelevant module architecture

CIM 中參數(shù)較少，但有2 個(gè)優(yōu)點(diǎn)：（1）不對(duì)實(shí)驗(yàn)儀器產(chǎn)生更多的運(yùn)算要求；（2）可以避免過擬合。此外，CIM 中也沒有添加更多人為約束。因此，CIM 的性能可以直觀地說明利用類間信息的有效性。

2.1.2 半相關(guān)模塊

由于CIM 沒有考慮融合映射和輸入示例之間的關(guān)系，因此設(shè)計(jì)一個(gè)半相關(guān)模塊（Semi-relevant module，SRM）將這種關(guān)系進(jìn)行融合。SRM 就是為了學(xué)習(xí)這種關(guān)系并動(dòng)態(tài)生成融合映射而設(shè)計(jì)的。用WSRM∈RC×C表示由SRM 生成的融合映射矩陣，在WSRM中，每個(gè)元素是1 個(gè)融合權(quán)值，它與兩個(gè)類別相關(guān)，分別是輸入示例所屬的源類別和輸出特征所屬的目標(biāo)類別。如果是來自目標(biāo)類別的樣本，它們與目標(biāo)類別的邏輯關(guān)系相同。如果不是來自目標(biāo)類別的樣本，它們與目標(biāo)類別的邏輯關(guān)系相同，在融合中權(quán)重相近。因此，在SRM 中增加了1 個(gè)約束，即只考慮融合權(quán)值與目標(biāo)類別之間的相關(guān)性來控制參數(shù)的數(shù)量。如果用完全連接的層來實(shí)現(xiàn)SRM，那么約束至少可以減少一半?yún)?shù)。因此，給定樣本矩陣A，SRM 生成兩個(gè)權(quán)重向量α、β∈RC×1，并可計(jì)算WAFM和L，即

式 中：αi、βi分 別 代 表α和β中 的 第i個(gè) 元 素；αrepeat∈RC×n，其每一列為α；Aarg∈R1×n為A中每行的平均值；（·）表示hadamard 乘積。由于SRM 只考慮融合映射與目標(biāo)類別之間的關(guān)系，本文稱之為“半相關(guān)”，結(jié)構(gòu)圖如圖3 所示。圖中α的“×”運(yùn)算表示沿某一維重復(fù)α以匹配A的大小并計(jì)算它們的hadamard 積β積下方的“×”運(yùn)算則表示矩陣乘法。

圖3 半相關(guān)模塊結(jié)構(gòu)圖Fig.3 Illustration of the semi-relevant module architecture

2.1.3 全相關(guān)模塊

SRM 生成帶有強(qiáng)約束的融合映射，全相關(guān)模塊（Fully-relevant module，F(xiàn)RM）則根據(jù)沒有約束的輸入學(xué)習(xí)融合映射。但是，由于圖像特征的維數(shù)較高，如果FRM 直接從層間完全連接圖像特征生成融合映射，則FRM 參數(shù)過多，容易導(dǎo)致過擬合。因此，首先計(jì)算樣本的內(nèi)積。內(nèi)積包含了樣本之間的關(guān)系，用這種方法可以顯著減少參數(shù)數(shù)量，F(xiàn)RM結(jié)構(gòu)圖如圖4 所示。FRM 中計(jì)算L的方法為

式中w( ·)為FRM 生成的融合映射的函數(shù)，即圖4中的2 個(gè)全連接層。本文對(duì)全連接層的輸入和輸出進(jìn)行了重新設(shè)計(jì)，以便進(jìn)行后續(xù)計(jì)算。

圖4 全相關(guān)模塊結(jié)構(gòu)圖Fig.4 Illustration of the fully-relevant module architecture

2.2 類別融合網(wǎng)絡(luò)

2.2.1 參數(shù)預(yù)測(cè)

由于最終目標(biāo)是分類，因此類別融合網(wǎng)絡(luò)（Category-fusion network，CFN）期望生成1 個(gè)融合特征的分類器。Qiao 等［15］中的研究表明，圖像特征與分類器參數(shù)具有較高的相關(guān)性。同時(shí)，CFN學(xué)習(xí)的融合特征包含了大量的圖像特征信息。因此，CFN 以與Qiao 等［15］類似的方式生成分類器。CFN 通過Ψ將L映射到WL的線性映射學(xué)習(xí)預(yù)測(cè)分類器的參數(shù)，其中L是最終分類的參數(shù)，即

式中：WL，y為類y的分類器中的參數(shù)；a( ·)為利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的特征提取器。

2.2.2 目標(biāo)函數(shù)

為了訓(xùn)練CFN，通過最小化分類損失在訓(xùn)練集上訓(xùn)練本文的模型，有

式中φ(A)y為φ(A)中的第y列。在實(shí)驗(yàn)中，分別使用CIM、SRM 和FRM 作為融合映射模塊，而φ代表其中之一。

2.2.3 測(cè)試過程

在測(cè)試過程中，CFN 首先使用預(yù)先訓(xùn)練的特征提取器a( ·)提取樣本集合和查詢集合中圖像的特征向量。然后，CFN 用融合映射φ對(duì)實(shí)例進(jìn)行融合。使用融合特性，Ψ生成1 個(gè)分類器，該分類器可以對(duì)整個(gè)查詢集合進(jìn)行分類。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

在MiniImageNet 數(shù)據(jù)集上評(píng)估了本文方法，該數(shù)據(jù)集是較大規(guī)模的ILSVRC-15 數(shù)據(jù)集中的一部分。該數(shù)據(jù)集由來自100 個(gè)類別的60 000 張彩色圖像組成，其中每個(gè)類別中有600 個(gè)樣本圖像。遵循Qiao 等［15］提出的劃分方式，選取80 個(gè)類別用于訓(xùn)練，20 個(gè)類別用于測(cè)試。在實(shí)驗(yàn)中預(yù)處理圖像像素的方式為：首先，將圖像的大小調(diào)整為92×92，然后隨機(jī)裁剪它們，以80/92 的比例進(jìn)行訓(xùn)練，并以相同的比例進(jìn)行測(cè)試。

3.2 具體步驟

訓(xùn)練過程中，本文通過使用兩種不同的基礎(chǔ)網(wǎng)絡(luò)骨架得到兩種特征提取器，分別是簡(jiǎn)單卷積模塊組成的網(wǎng)絡(luò)［9］和寬殘差網(wǎng)絡(luò)（WRN-28-10）［33］。按照Qiao 等［15］中的方法將這些網(wǎng)絡(luò)進(jìn)行了調(diào)整以適應(yīng)MiniImageNet 數(shù)據(jù)集。比起CIFAR 數(shù)據(jù)集上的網(wǎng)絡(luò)，本文網(wǎng)絡(luò)中將2 倍下采樣改為3 倍下采樣，并在最后添加1 個(gè)全局平均池化層。

本文提出了5 種分類的CFN 網(wǎng)絡(luò)。對(duì)于CIM，使用無激活層的單級(jí)全連接層，輸入和輸出維度均為5，如圖2 所示。SRM 則是由2 個(gè)完全連接的層和2 個(gè)層之間的ReLu 層組成的順序網(wǎng)絡(luò)。第1 層的輸入和輸出尺寸與圖像特征相同，第2 層的輸出為α和β。FRM 通過2 個(gè)全連接層實(shí)現(xiàn)，其中輸入和輸出的大小都是5×5=25。在第1 個(gè)全連接層之后還有1 個(gè)ReLu 層。使用1 個(gè)n×n的全連接層來實(shí)現(xiàn)參數(shù)預(yù)測(cè)器Ψ。

在訓(xùn)練過程中，首先在訓(xùn)練集上對(duì)網(wǎng)絡(luò)進(jìn)行常規(guī)的多分類訓(xùn)練。無論在小樣本學(xué)習(xí)還是常規(guī)的分類網(wǎng)絡(luò)學(xué)習(xí)中，特征提取器的目的都是為了得到具有鑒別性的圖像特征。雖然這部分不是關(guān)于小樣本學(xué)習(xí)的主要研究，但在實(shí)驗(yàn)中證實(shí)了其對(duì)結(jié)果的顯著影響。預(yù)訓(xùn)練之后，將融合映射φ和參數(shù)預(yù)測(cè)器Ψ一起訓(xùn)練。按照現(xiàn)有的小樣本學(xué)習(xí)工作的常規(guī)設(shè)置，進(jìn)行了5-way 1-shot 和5-shot 分類。在每個(gè)訓(xùn)練/測(cè)試集中，查詢集都由來自每個(gè)類別的15 張圖像組成。即在1 次5-way 1-shot 實(shí)驗(yàn)中，使用1×5=5 個(gè)樣本來生成分類器，并在15×5=75 張圖像上進(jìn)行分類測(cè)試。

3.3 方法對(duì)比

在每一個(gè)小樣本學(xué)習(xí)步驟中，將在5 個(gè)類別上驗(yàn)證模型的分類準(zhǔn)確性。與Sung 等［11］中一致，最終的準(zhǔn)確率平均在600 個(gè)隨機(jī)生成的測(cè)試集上進(jìn)行測(cè)試。表1 對(duì)比了本文方法和以往方法的準(zhǔn)確性。其中方法欄中上半部分方法使用3.2 節(jié)中提到的簡(jiǎn)單卷積網(wǎng)絡(luò)骨架，下半部分采用的是殘差網(wǎng)絡(luò)作為網(wǎng)絡(luò)骨架。與其他使用簡(jiǎn)單卷積網(wǎng)絡(luò)的方法相比，CIM、SRM 和FRM 都有較大的提升，F(xiàn)RM 在1 樣本和5 樣本場(chǎng)景上都獲得了最高的精度。這一結(jié)果表明，融合實(shí)例信息對(duì)小樣本學(xué)習(xí)是有效的。在以簡(jiǎn)單網(wǎng)絡(luò)為骨架的本文網(wǎng)絡(luò)中，F(xiàn)RM 的性能優(yōu)于CIM，說明根據(jù)輸入實(shí)例改變?nèi)诤嫌成涫强尚械?。但是，在以WRN 為骨架時(shí)，每個(gè)模塊對(duì)精度的提升要小于簡(jiǎn)單卷積網(wǎng)絡(luò)作為骨架的情況。本文認(rèn)為這應(yīng)該是由于過擬合的原因，因?yàn)閃RN-28-10 的參數(shù)數(shù)量是簡(jiǎn)單骨架網(wǎng)絡(luò)的幾百倍。由于過擬合嚴(yán)重，SRM 和FRM的性能受到限制。然而，CIM 仍然達(dá)到了最好的性能，證明了CIM 的魯棒性。CIM 具有更少的參數(shù)，它可以學(xué)習(xí)較通用的類別無關(guān)的融合映射。因此，在過擬合條件下，該算法具有較好的魯棒性和性能。綜上所述，雖然3 個(gè)模塊有不同的優(yōu)點(diǎn)，但本文提出的融合樣本方法的有效性是毋庸置疑的。

表1 MiniImageNet 數(shù)據(jù)集上小樣本的學(xué)習(xí)精度Table1 Few-shot 5-way accuracies on MiniImageNet %

3.4 分析與討論

3.4.1 CIM 學(xué)習(xí)情況分析

CIM 的設(shè)計(jì)思路是在不考慮樣本差異的情況下學(xué)習(xí)融合映射。為了分析CIM 學(xué)到的內(nèi)容，將CIM 的融合映射矩陣的絕對(duì)值顯示在表2 中。為了便于觀察，每個(gè)部分的值均進(jìn)行了除以最大值的歸一化。觀察可以發(fā)現(xiàn)對(duì)角線上的值支配著矩陣，這意味著對(duì)于每個(gè)目標(biāo)類別，屬于這個(gè)類的樣本對(duì)它的影響最大。雖然非對(duì)角元素的值較小，但它們的總和也比較可觀，這也說明了類間信息對(duì)最終分類是有幫助的。此外還可觀察到，沿對(duì)角線，最大值為1.0，最小值為0.52，這表明CIM 并沒有平等地融合每個(gè)類的樣本。推測(cè)這是因?yàn)槊總€(gè)融合的圖像特征都包含了所有類別的信息，CIM 學(xué)到了一個(gè)適合的策略來利用樣本信息，而不是平均地融合。

表2 CIM 融合映射矩陣絕對(duì)值Table 2 Absolute values of CIM fusion mapping matrix

3.4.2 SRM 學(xué)習(xí)情況分析

與CIM 不同，SRM 采用動(dòng)態(tài)融合映射，而α和β是理解SRM 融合映射特性的關(guān)鍵。圖5 顯示了它們?cè)?00 個(gè)訓(xùn)練步中的分布。結(jié)果表明，α的分布區(qū)間較小，而β的分布區(qū)間較大。這說明該方法可以調(diào)整非目標(biāo)類別實(shí)例對(duì)融合映射的影響，最終根據(jù)實(shí)例改變?nèi)诤嫌成?。此外，α和β分布相?duì)密集，這意味著不同輸入的融合映射具有相似性。

圖5 SRM 中α 和β 的分布Fig.5 Distribution of α and β in SRM

3.4.3 分類器中參數(shù)的相關(guān)性

通過觀察對(duì)應(yīng)分類器中參數(shù)的相關(guān)性來分析這3 個(gè)模塊。由于最終目標(biāo)是進(jìn)行分類，所以分類器的參數(shù)直接影響結(jié)果。在每1 訓(xùn)練/測(cè)試步中，每個(gè)類別都有1 組分類器參數(shù)。本文計(jì)算了每一集不同參數(shù)的平均相關(guān)性，并在圖6 中顯示了600步的相關(guān)性的核密度估計(jì)。顯然這3 個(gè)模塊都降低了分類器參數(shù)的相關(guān)性，這意味著分類器更加關(guān)注類別之間的差異，而忽略了多余的相似信息。這個(gè)結(jié)果是合理的，因?yàn)闆]有類間的信息，分類器不能學(xué)習(xí)類別之間的差異是什么，只衡量查詢圖像與樣本圖像的相似程度。毫無疑問，學(xué)習(xí)這些額外的知識(shí)可以幫助分類器做出正確的預(yù)測(cè)。同時(shí)，從圖6 中可見，模塊之間也存在差異。圖中“Base”表示沒有融合映射的類別融合網(wǎng)絡(luò)，F(xiàn)RM 的相關(guān)性最低，說明FRM 學(xué)習(xí)融合的方法比其他2 種方法更能提高分類器的識(shí)別性能。

圖6 分類器參數(shù)相關(guān)性的核密度估計(jì)Fig.6 Kernel density estimation of correlation of classifier parameters

4 結(jié) 論

本文提出了一種新的類別信息融合網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以通過融合樣本信息來充分利用樣本中的類間信息。本文的網(wǎng)絡(luò)能夠?qū)W習(xí)前向傳播中類別之間的差異，并生成一個(gè)更有分辨力的分類器。此外，設(shè)計(jì)了3 個(gè)模塊，以不同的方式融合不同類別的信息，并討論了它們各自的優(yōu)缺點(diǎn)。3種模塊間相互獨(dú)立，可以根據(jù)不同任務(wù)上的選擇單一模塊使用，同時(shí)3種模塊也可以在模型中并行計(jì)算，分別計(jì)算相應(yīng)的融合特征及其分類器，最終對(duì)多個(gè)分類器進(jìn)行模型融合得到最終結(jié)果。本文網(wǎng)絡(luò)在MiniImageNet 數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能，在每個(gè)新類別1 個(gè)樣本和5個(gè)樣本場(chǎng)景下分別得到了60.03%和74.15%的分類精確度，超越了基準(zhǔn)網(wǎng)絡(luò)的分類性能。實(shí)驗(yàn)結(jié)果證明了該方法對(duì)類間信息的有效利用。