杜彥東，馮林*，陶鵬，龔勛，王俊

1.四川師范大學(xué)計算機科學(xué)學(xué)院，成都 610101；2.西南交通大學(xué)計算機與人工智能學(xué)院，成都 610031；3.四川師范大學(xué)商學(xué)院，成都 610101

0 引言

得益于強力的計算設(shè)備、豐富的數(shù)據(jù)及先進的模型與算法，深度學(xué)習(xí)在圖像識別（He 等，2016；陳碩 等，2021）、目標(biāo)跟蹤（Bertinetto 等，2016；王蒙蒙等，2022）、自然語言處理（Ren 和Lu，2022）等領(lǐng)域取得了極大成功，同時也推動了人工智能的飛速發(fā)展。

深度學(xué)習(xí)模型要想獲得最優(yōu)效果，需要在大規(guī)模標(biāo)注數(shù)據(jù)中進行訓(xùn)練。然而，在軍事、醫(yī)療、金融等一些特定領(lǐng)域，由于涉及數(shù)據(jù)隱私和安全性等問題，數(shù)據(jù)獲取困難且標(biāo)注代價高昂。與機器相反，人類擁有從有限樣本中快速學(xué)習(xí)的能力。受人類學(xué)習(xí)方式的啟發(fā)，人們提出了少樣本學(xué)習(xí)（few-shot learning，F(xiàn)SL）的概念，目的是使機器也能像人類一樣，僅靠少量標(biāo)注的樣本通過一兩次的示范，就可以學(xué)會一類問題的解決。

元學(xué)習(xí)是少樣本學(xué)習(xí)的重要應(yīng)用場景，目標(biāo)是使機器學(xué)會學(xué)習(xí)。元學(xué)習(xí)通過多任務(wù)的學(xué)習(xí)范式積累多任務(wù)的“共性知識”，利用這些“共性知識”指導(dǎo)模型在新任務(wù)中快速學(xué)習(xí)（趙凱琳 等，2021）。同樣，遷移學(xué)習(xí)也是解決少樣本學(xué)習(xí)問題的另一種經(jīng)典方法，基于遷移學(xué)習(xí)的方法旨在利用大量標(biāo)注數(shù)據(jù)集進行預(yù)訓(xùn)練學(xué)習(xí)知識，并將這些知識遷移到監(jiān)督信息有限的目標(biāo)任務(wù)中以完成對少量標(biāo)注樣本的學(xué)習(xí)（張玲玲 等，2021）。

現(xiàn)有的少樣本學(xué)習(xí)方法只考慮到訓(xùn)練階段的源任務(wù)和測試階段的目標(biāo)任務(wù)服從相同或相似分布的情況，當(dāng)源域任務(wù)與目標(biāo)域任務(wù)數(shù)據(jù)分布相差較大時，傳統(tǒng)的少樣本圖像分類模型在目標(biāo)任務(wù)中表現(xiàn)較差。圖1 為少樣本跨域示例，在圖1（a）—（d）中，用于訓(xùn)練的基類來自源域自然數(shù)據(jù)集mini-ImageNet，而測試的新類數(shù)據(jù)來自目標(biāo)域醫(yī)療數(shù)據(jù)集Chest-X。為解決上述問題，少樣本跨域?qū)W習(xí)引起了研究者的關(guān)注（Guo 等，2020）。少樣本跨域?qū)W習(xí)旨在利用源域中大量標(biāo)注樣本訓(xùn)練模型，使模型能夠快速、準(zhǔn)確地泛化到與源域數(shù)據(jù)分布差異較大的目標(biāo)域任務(wù)中。

圖1 少樣本跨域示例Fig.1 Cross-domain example with few-shot（（a）training sample；（b）domain adaptation；（c）few-shot learning；（d）cross-domain few-shot learning）

對于少樣本跨域?qū)W習(xí)的研究，起源于域適應(yīng)學(xué)習(xí)，目的是將源域數(shù)據(jù)中的知識遷移到具有不同數(shù)據(jù)分布的目標(biāo)域中。為解決域適應(yīng)問題，研究者探索出基于域差異的方法（Long 等，2017；Sun 等，2016；Kang等，2019；Kumar等，2018），旨在對齊源域和目標(biāo)域之間的邊緣分布?；趯沟姆椒ǎ═zeng等，2017；Ganin等，2016）主要思想是依靠生成器、鑒別器相互作用促進域相關(guān)特征的學(xué)習(xí)。基于重構(gòu)的方法（Zhu 等，2017；Hoffman 等，2018）通常使用encoder-decoder 模型或生成對抗網(wǎng)絡(luò)來重新構(gòu)建目標(biāo)域中的數(shù)據(jù)。但上述關(guān)于域適應(yīng)的方法均只適用于目標(biāo)域與源域類別有交集的情況（如圖1（a）—（c））。而現(xiàn)實應(yīng)用場景中，廣泛存在源域和目標(biāo)域的類別交集為空，且目標(biāo)域中可用樣本數(shù)量少的跨域?qū)W習(xí)問題，如罕見的皮膚病病理圖像、失事飛機殘骸圖像、衛(wèi)星遙感圖像，而利用其他帶標(biāo)注數(shù)據(jù)充足的域信息（如自然數(shù)據(jù)集ImageNet）來解決這些域上的子任務(wù)是一種很有效的解決方法。因此，如何提升少樣本跨域圖像分類性能具有重大的理論研究意義和應(yīng)用價值。

已有的少樣本跨域相關(guān)研究表明，當(dāng)目標(biāo)域任務(wù)與源域任務(wù)的數(shù)據(jù)分布相差較小時，元學(xué)習(xí)方法表現(xiàn)更好。反之，遷移學(xué)習(xí)方法表現(xiàn)更好（Chen 等，2019）。因此，融合遷移學(xué)習(xí)和元學(xué)習(xí)的思想，本文提出一種簡潔的元遷移學(xué)習(xí)模型（compressed meta transfer learning，CMTL），以解決少樣本學(xué)習(xí)中源域與目標(biāo)域之間分布差異大的跨域分類問題。

本文主要貢獻如下：1）在模型預(yù)訓(xùn)練和微調(diào)階段，使用Wang 等人（2020）提出的自壓縮損失函數(shù)（self-compression softmax loss，SSL），通過最小化自壓縮損失函數(shù)，調(diào)整基類數(shù)據(jù)原型之間的分布位置，促使基類樣本在嵌入空間中更為集中，為新類樣本預(yù)留部分嵌入空間，有效提升了模型的特征提取能力。2）提出一種數(shù)據(jù)增強策略，利用現(xiàn)有目標(biāo)任務(wù)中有限的支持集樣本構(gòu)建新的輔助任務(wù)，微調(diào)模型參數(shù)，以獲取適應(yīng)當(dāng)前測試任務(wù)的網(wǎng)絡(luò)參數(shù)，解決當(dāng)源任務(wù)與目標(biāo)任務(wù)數(shù)據(jù)分布差異較大時，“元知識”的普適性不佳、泛化能力弱的問題。3）融合遷移學(xué)習(xí)和元學(xué)習(xí)策略提升跨域分類精度。以mini-ImageNet 作為源域數(shù)據(jù)集訓(xùn)練，并在4 個少樣本跨域?qū)W習(xí)標(biāo)準(zhǔn)評估數(shù)據(jù)集 EuroSAT（European Satellite）、ISIC（International Skin Imaging Collaboration）、CropDiseas（Crop Diseases）和Chest-X（Chest X-Ray）上驗證了CMTL方法的有效性。

1 相關(guān)研究

1.1 少樣本學(xué)習(xí)

少樣本學(xué)習(xí)方法主要分為基于梯度優(yōu)化的方法、基于度量學(xué)習(xí)的方法和基于遷移學(xué)習(xí)的方法3類。

1.1.1 基于梯度優(yōu)化的方法

基于梯度優(yōu)化的方法通常包括內(nèi)外兩個循環(huán)階段，內(nèi)循環(huán)階段基模型學(xué)習(xí)器快速適應(yīng)于只有少量樣本的新任務(wù)，外循環(huán)階段元模型學(xué)習(xí)器學(xué)習(xí)跨任務(wù)的知識以得到好的泛化性能。Finn等人（2017）提出的模型無關(guān)元學(xué)習(xí)方法，通過在多個任務(wù)中學(xué)習(xí)，以找到最適合模型的一組初始化參數(shù)，使模型在新的任務(wù)上能夠快速泛化。Nichol 等人（2018）提出Reptile方法，使用一階梯度優(yōu)化，從而簡化模型無關(guān)元學(xué)習(xí)方法的微分計算。Ravi 和Larochelle（2017）提出基于長短期記憶網(wǎng)絡(luò)的元學(xué)習(xí)器模型，通過學(xué)習(xí)模型參數(shù)的更新規(guī)則來調(diào)整不同訓(xùn)練任務(wù)之間的差異，促使模型擁有更好的性能。

1.1.2 基于度量的方法

基于度量的方法通常分為基于歐氏空間度量和非歐氏空間度量兩種。其中，基于歐氏空間經(jīng)典的度量方法有如下幾種：由Vinyals 等人（2016）提出的匹配網(wǎng)絡(luò)引入注意力機制和記憶機制，將樣本映射到高維空間，使用余弦相似度衡量相似性。Snell 等人（2017）提出的原型網(wǎng)絡(luò)通過計算待分類樣本與類原型之間的歐氏距離完成分類。Sung 等人（2018）提出的關(guān)系網(wǎng)絡(luò)也是基于歐氏空間的自適應(yīng)的關(guān)系度量模塊，將支持集和查詢集的特征向量拼接輸入可計算關(guān)系得分完成分類。余游等人（2019）在關(guān)系網(wǎng)絡(luò)的基礎(chǔ)上，利用半監(jiān)督學(xué)習(xí)方法生成偽標(biāo)簽的策略參與訓(xùn)練。Garcia 和Bruna（2018）提出的圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）應(yīng)用于少樣本學(xué)習(xí)問題，首次關(guān)注非歐氏空間在度量模型中的運用，利用向量拼接嵌入的方式完成圖像數(shù)據(jù)到圖結(jié)構(gòu)數(shù)據(jù)的轉(zhuǎn)換，繼而在圖神經(jīng)網(wǎng)絡(luò)模塊中進行距離度量和關(guān)系推導(dǎo)。

1.1.3 基于遷移學(xué)習(xí)的方法

基于遷移學(xué)習(xí)的方法首先利用大量標(biāo)注數(shù)據(jù)的基類預(yù)訓(xùn)練一個優(yōu)質(zhì)的特征嵌入網(wǎng)絡(luò)，然后遷移到新類任務(wù)中，微調(diào)預(yù)訓(xùn)練階段的分類器，使模型適用于當(dāng)前任務(wù)。Chen 等人（2019）提出了baseline 及其變體baseline++，多組對照實驗發(fā)現(xiàn)，在相同的實驗參數(shù)設(shè)定上，baseline 和baseline++方法明顯優(yōu)于基于元學(xué)習(xí)的少樣本學(xué)習(xí)方法。Wang 等人（2020）證明了遷移學(xué)習(xí)中使用自壓縮損失函數(shù)訓(xùn)練模型能夠獲得性能較好的特征嵌入網(wǎng)絡(luò)。Rajasegaran 等人（2021）提出自監(jiān)督學(xué)習(xí)結(jié)合知識蒸餾最小化原始增強對距離，通過教師學(xué)生網(wǎng)絡(luò)約束模型，提升基于遷移學(xué)習(xí)方法的少樣本分類性能。

1.2 少樣本跨域?qū)W習(xí)

少樣本跨域?qū)W習(xí)包括基于元學(xué)習(xí)的方法和基于遷移學(xué)習(xí)的方法。

1.2.1 基于元學(xué)習(xí)的方法

為解決少樣本跨域問題，Yeh 等人（2020）提出在測試任務(wù)中構(gòu)建偽查詢集的方法對元學(xué)習(xí)模型進行微調(diào)，提升少樣本跨域分類能力。Wang 和Deng（2021）直接以參與訓(xùn)練的任務(wù)為研究對象，利用隨機卷積方法構(gòu)造更具“挑戰(zhàn)性”的任務(wù)，從而在源域上模擬分布相對復(fù)雜的目標(biāo)域任務(wù)。Tseng 等人（2020）引入特征變化層對卷積網(wǎng)絡(luò)獲取的特征進行仿射變換，以提高模型對不同域的適配性。Sun 等人（2021）提出基于層相關(guān)性傳播的解釋方法，能夠知悉樣本中對分類結(jié)果有貢獻的區(qū)域，適當(dāng)增大這些區(qū)域的權(quán)重系數(shù)，以提取更好的樣本特征。

1.2.2 基于遷移學(xué)習(xí)的方法

Phoo 和Hariharan（2021）提出利用源域數(shù)據(jù)訓(xùn)練獲取的教師學(xué)生網(wǎng)絡(luò)對部分目標(biāo)域無標(biāo)簽數(shù)據(jù)集構(gòu)造偽標(biāo)簽、結(jié)合源域數(shù)據(jù)共同訓(xùn)練教師學(xué)生網(wǎng)絡(luò)，以提升跨域分類精度。Fu 等人（2021）通過mix-up算法構(gòu)造輔助數(shù)據(jù)集，并使用編碼器學(xué)習(xí)與域無關(guān)的特征，以指導(dǎo)網(wǎng)絡(luò)能快速泛化到域跨度較大的目標(biāo)任務(wù)。Li 等人（2021）提出將源域、目標(biāo)域各自特定領(lǐng)域的特征映射到相同的共享空間，從而實現(xiàn)與領(lǐng)域無關(guān)的通用特征表示。

綜上所述，以上方法只是單獨地從元學(xué)習(xí)、遷移學(xué)習(xí)層面分析并解決少樣本跨域圖像分類問題，卻沒有考慮到在跨域任務(wù)上元學(xué)習(xí)與遷移學(xué)習(xí)方法各自的優(yōu)勢?，F(xiàn)有方法缺乏有效融合元學(xué)習(xí)、遷移學(xué)習(xí)策略提升跨域分類精度的模型與方法。所以本文提出了CMTL 模型，以完成對少樣本跨域任務(wù)的推理分類。

2 少樣本跨域?qū)W習(xí)定義

目前，少樣本跨域?qū)W習(xí)多是基于元學(xué)習(xí)架構(gòu)。架構(gòu)通常將任務(wù)作為訓(xùn)練和測試的基本單元。元學(xué)習(xí)通過學(xué)習(xí)大量源域訓(xùn)練任務(wù)，使模型獲得“元知識”，具有快速適應(yīng)少樣本目標(biāo)任務(wù)的能力，完成對目標(biāo)任務(wù)的分類。其學(xué)習(xí)過程如下：

2）測試階段。在目標(biāo)域測試任務(wù)集中隨機抽取一個元測試任務(wù)Te∈Tte，利用測試任務(wù)的支持集St，生成樣本級分類函數(shù)(λ)=F*(θ*；St)，然后使用測試任務(wù)查詢集Qt完成對(λ)分類效果的評估。

3 CMTL模型

3.1 基本思路和總體分析

首先，將源域數(shù)據(jù)集分別以批次、任務(wù)作為訓(xùn)練數(shù)據(jù)的基本單元進行劃分。然后，在預(yù)訓(xùn)練階段，將源域數(shù)據(jù)輸入特征嵌入網(wǎng)絡(luò)，先后以元學(xué)習(xí)和傳統(tǒng)的深度學(xué)習(xí)方式在源域任務(wù)上預(yù)訓(xùn)練模型；在微調(diào)階段，對目標(biāo)域中的同一測試任務(wù)，分別利用元學(xué)習(xí)方法、遷移學(xué)習(xí)方法獲取其對應(yīng)模型的預(yù)測分數(shù)。最后，將兩者模型的預(yù)測分數(shù)融合。利用遷移學(xué)習(xí)和元學(xué)習(xí)方法各自在跨域任務(wù)上的優(yōu)勢，完成少樣本跨域任務(wù)的推理分類。

基于上述思路，CMTL 的總體結(jié)構(gòu)如圖2 所示。主要包括特征提取模塊、BL-SSL（baseline-selfcompression softmax loss）模塊、度量模塊和分類策略融合模塊。

圖2 CMTL模型Fig.2 CMTL model

3.1.1 特征提取模塊

在少樣本跨域?qū)W習(xí)中常采用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）中的殘差網(wǎng)絡(luò)ResNet10（residual network10）和ResNet18（residual network18）作為特征提取網(wǎng)絡(luò)。對于圖像樣本xi，經(jīng)特征提取網(wǎng)絡(luò)后獲得樣本特征fθ(xi)∈RC×H×W，其中，C、H和W分別代表圖像通道數(shù)、樣本特征高度和寬度。本文使用的ResNet10 如圖3 所示，由初始的1 個64 通道的7 × 7 卷積層、批歸一化層、3 × 3 最大池化層和之后4個卷積塊組成。其中，第1個卷積塊包含2 個3 × 3 卷積層、2 個批歸一化層和2 個ReLU（rectified linear unit）激活層，后續(xù)3 個卷積塊中每個卷積塊中包含2 個3 × 3 卷積層，2 個批歸一化層，2 個ReLU 激活層，2 個下采樣層。每個卷積塊之間的差別在于卷積層的通道數(shù)不同，依次為64、128、256、520。

圖3 ResNet10網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 ResNet10 network backbone

3.1.2 BL-SSL模塊

由于傳統(tǒng)監(jiān)督學(xué)習(xí)沒有考慮到少樣本學(xué)習(xí)中訓(xùn)練測試階段樣本類別不一致的問題，未能為新類樣本留下足夠的特征嵌入空間。本文使用SSL 損失函數(shù)代替?zhèn)鹘y(tǒng)的SL（softmax loss）損失函數(shù)，能夠保證在基類可分的情況下，盡可能拉近基類之間的距離，為新類樣本預(yù)留更多的嵌入空間。受此啟發(fā)，為提升遷移學(xué)習(xí)方法跨域分類性能，本文將SSL 損失函數(shù)應(yīng)用于遷移學(xué)習(xí)的訓(xùn)練測試過程。

在訓(xùn)練階段，SSL 損失函數(shù)在保證基類可分、拉近類原型之間距離的雙重優(yōu)化目標(biāo)下，模型盡可能壓縮來自源域的基類數(shù)據(jù)所占據(jù)的嵌入空間，便于測試階段對來自目標(biāo)域的新類數(shù)據(jù)的特征提取。

BL-SSL 模塊中，通過計算樣本經(jīng)特征嵌入網(wǎng)絡(luò)獲取的高維特征向量與基類類原型向量在嵌入空間中的余弦相似性，調(diào)整基類類原型在嵌入空間中的分布位置。

調(diào)整基類類原型的過程如圖4 所示，根據(jù)向量加法的平行四邊形法則，完成類原型向量wc與wi的相加操作，以遍歷調(diào)整非c類樣本的類原型在嵌入空間中的分布位置。調(diào)整過后的非c類樣本原型向量可表示為

圖4 類原型調(diào)整過程Fig.4 Adjust the class prototype

利用調(diào)整后的類原型向量與樣本特征向量計算當(dāng)前樣本屬于i類的概率，記為p=i|xj)，具體為

式中，γ為特征嵌入網(wǎng)絡(luò)參數(shù)，C為基類的樣本類別總數(shù)為當(dāng)前樣本xj的預(yù)測值為調(diào)整過后的類原型向量。

通過計算當(dāng)前樣本屬于c類的概率，SSL 損失函數(shù)可表示為

式中，C為基類的樣本類別總數(shù)，γ為特征嵌入網(wǎng)絡(luò)參數(shù)，Nc為第c類中的樣本數(shù)量為當(dāng)前樣本xj的預(yù)測值。

通過不斷壓縮基類類原型之間的距離，促使嵌入空間中基類數(shù)據(jù)的特征分布更為集中。通過最小化式（3）損失函數(shù)，采用隨機梯度下降（stochastic gradient descent，SGD）的方法反向傳播更新參數(shù)。

3.1.3 度量模塊

度量學(xué)習(xí)中，根據(jù)度量方式的不同，主要以歐氏空間、馬氏距離、余弦相似度和非歐氏空間的圖神經(jīng)網(wǎng)絡(luò)作為度量策略。為簡化實驗，本文從以原型網(wǎng)絡(luò)為代表的歐氏空間度量和圖神經(jīng)網(wǎng)絡(luò)為代表的非歐氏空間度量的兩種網(wǎng)絡(luò)模型出發(fā)，僅探索兩種度量方式對少樣本跨域模型的影響。

基于歐氏空間度量的原型網(wǎng)絡(luò)假設(shè)每個類別在向量空間都有一個類原型，通過計算待分類樣本與每個類的類原型之間的歐氏空間，根據(jù)距離衡量待分類樣本與各類的類原型之間的相似性，完成對待分類樣本的正確分類。

由于基于歐氏空間的少樣本度量學(xué)習(xí)方法不能有效捕捉到樣本特征和樣本標(biāo)簽之間的聯(lián)系，嚴重限制了少樣本跨域?qū)W習(xí)模型的表達能力。針對這一問題，Garcia 和Bruna（2018）提出利用圖神經(jīng)網(wǎng)絡(luò)來構(gòu)建少樣本分類模型，結(jié)構(gòu)如圖5 所示。GNN 由兩階段構(gòu)成，第1 階段是圖像數(shù)據(jù)場到圖結(jié)構(gòu)數(shù)據(jù)場的轉(zhuǎn)換，為利用圖神經(jīng)網(wǎng)絡(luò)創(chuàng)造前提；第2 階段是將圖結(jié)構(gòu)數(shù)據(jù)輸入到以基于空間的圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）為基礎(chǔ)架構(gòu)的信息傳遞網(wǎng)絡(luò)訓(xùn)練，以指導(dǎo)生成最優(yōu)模型完成對未知類別圖像進行推理判斷，進而達到分類的目的。

圖5 圖神經(jīng)網(wǎng)絡(luò)Fig.5 Graph neural network

3.1.4 分類策略融合模塊

元學(xué)習(xí)通常將任務(wù)作為訓(xùn)練和測試的基本單元。為適應(yīng)元學(xué)習(xí)的學(xué)習(xí)過程，使模型適用于當(dāng)前任務(wù)，本文對測試任務(wù)中的支持集進行顏色變換、隨機裁剪等一系列數(shù)據(jù)增強操作，如圖6所示。

圖6 數(shù)據(jù)增強Fig.6 Data augmentation（（a）original image；（b）gamma transform；（c）random cutting；（d）color change）

經(jīng)過數(shù)據(jù)增強后獲取的輔助任務(wù)記為Taux，具體為

輔助任務(wù)生成的流程如算法1所示。

算法1：輔助任務(wù)Taux的生成。

利用生成的輔助任務(wù)Taux進行微調(diào)，使得微調(diào)后的度量模塊參數(shù)更加適應(yīng)于當(dāng)前任務(wù)。

式中，θm代表訓(xùn)練階段度量模塊的網(wǎng)絡(luò)參數(shù)，α為訓(xùn)練期間的學(xué)習(xí)率，Lm(Taux；θm)代表度量模塊在輔助任務(wù)上的交叉熵損失函數(shù)。

在測試階段，將目標(biāo)域任務(wù)中有限的支持集通過上述算法構(gòu)建輔助任務(wù)，以元訓(xùn)練方式繼續(xù)微調(diào)度量網(wǎng)絡(luò)Metric。其中，本文選用基于非歐氏空間度量的圖神經(jīng)網(wǎng)絡(luò)和基于歐氏空間的原型網(wǎng)絡(luò)分別作為Metric 網(wǎng)絡(luò)，最后使用微調(diào)過的度量網(wǎng)絡(luò)Metric 對查詢級推理獲取其對應(yīng)預(yù)測分數(shù)。具體為

在遷移學(xué)習(xí)中，為簡化運算，對任務(wù)中的樣本不做任何數(shù)據(jù)增強操作。由于預(yù)訓(xùn)練階段，使用自壓縮損失函數(shù)，源域基類樣本占據(jù)的空間得以壓縮，此時目標(biāo)域新類樣本特征嵌入空間相對充裕。所以，固定BL-SSL 模塊中預(yù)訓(xùn)練階段的特征提取網(wǎng)絡(luò)fθ，僅利用同一目標(biāo)域任務(wù)中的支持集微調(diào)線性分類器SSL，以獲取適應(yīng)當(dāng)前測試任務(wù)的分類器參數(shù)θssl，最后通過分類器SSL 對查詢級分類并獲取其對應(yīng)預(yù)測分數(shù)，具體為

在測試階段，將目標(biāo)域的同一任務(wù)中樣本分別喂入BL-SSL 模塊和度量模塊，得到其對應(yīng)預(yù)測分數(shù)Sb和Sm，將兩者預(yù)測分數(shù)分別通過softmax 函數(shù)進行歸一化，確保在預(yù)測中兩者的模型能被賦予相同的權(quán)重，最后將同一目標(biāo)域測試任務(wù)經(jīng)兩種模塊推理預(yù)測分數(shù)融合作為最終預(yù)測分數(shù)。

3.2 算法流程

根據(jù)上述討論，在預(yù)訓(xùn)練階段將源域數(shù)據(jù)輸入特征嵌入網(wǎng)絡(luò)，先后以元學(xué)習(xí)和遷移學(xué)習(xí)方法預(yù)訓(xùn)練模型。在微調(diào)階段，基于預(yù)訓(xùn)練模型，聯(lián)合遷移學(xué)習(xí)和元學(xué)習(xí)方法共同對目標(biāo)域測試任務(wù)進行分類預(yù)測。微調(diào)階段流程如算法2所示。

算法2：CMTL學(xué)習(xí)算法。

4 實 驗

4.1 數(shù)據(jù)集和實驗細節(jié)

本文在5 個經(jīng)典的少樣本跨域圖像分類數(shù)據(jù)集上進行跨域分類測試，驗證CMTL模型的有效性。

1）mini-ImageNet。是用于訓(xùn)練的源域數(shù)據(jù)集，是ImageNet 數(shù)據(jù)集（Russakovsky 等，2015）中抽離的子數(shù)據(jù)集，涵蓋動物、植物等生活中常見的100 個類別，每個類包含600 幅圖像，為了滿足少樣本跨域?qū)W習(xí)任務(wù)的需要，通常將100個類劃分為64個訓(xùn)練類、16 個驗證類和20 個測試類，圖像規(guī)格為224 × 224像素。

2）EuroSAT（Helber等，2019）。是用于測試的目標(biāo)域數(shù)據(jù)集，為衛(wèi)星遙感圖像，涵蓋高速公路、農(nóng)田等10 個類，共20 000 幅圖像，圖像規(guī)格為224 × 224像素。

3）CropDiseas（Mohanty 等，2016）。是用于測試的目標(biāo)域數(shù)據(jù)集，為農(nóng)作物病害數(shù)據(jù)集，包含38 個類，共54 300幅圖像，圖像規(guī)格為224 × 224像素。

4）ISIC（Codella 等，2019）。是用于測試的目標(biāo)域數(shù)據(jù)集，為皮膚病黑色素瘤相關(guān)數(shù)據(jù)集，包含9 個類，共23 000幅圖像，圖像規(guī)格為224 × 224像素。

5）Chest-X（Wang 等，2017）。是用于測試的目標(biāo)域數(shù)據(jù)集，為胸部X光圖像，包含14個類，共112 120幅圖像，圖像規(guī)格為224 × 224像素。

在實驗中，元學(xué)習(xí)方法的訓(xùn)練過程采用Adam優(yōu)化器，學(xué)習(xí)率α=0.001；在遷移學(xué)習(xí)BL-SSL 模塊的訓(xùn)練、微調(diào)過程采用SGD 優(yōu)化器，學(xué)習(xí)率β=0.01。本文采用少樣本跨域標(biāo)準(zhǔn)評估5-way 1-shot 及5-way 5-shot，同時從每一類采樣15 幅圖像樣本作為查詢集。在訓(xùn)練階段，元學(xué)習(xí)以任務(wù)為基本單元參與訓(xùn)練，從源域數(shù)據(jù)集中隨機采樣100 個任務(wù)作為一個epoch，共訓(xùn)練400 次。遷移學(xué)習(xí)以監(jiān)督學(xué)習(xí)的方式參與訓(xùn)練，從源域數(shù)據(jù)集中每一次隨機抽取64幅圖像作為一個epoch，共訓(xùn)練400次。在測試階段，隨機從目標(biāo)域數(shù)據(jù)中抽取2 000個任務(wù)參與測試，其中，在BL-SSL 模塊的微調(diào)階段，使用任務(wù)中的支持集微調(diào)分類器，微調(diào)次數(shù)為100，每次微調(diào)圖像樣本批次大小為4，而在元微調(diào)階段利用任務(wù)中的支持集生成輔助任務(wù)，微調(diào)模型的過程中，超參數(shù)λ1為0.5，λ2為0.8。訓(xùn)練次數(shù)為20，生成新的樣本數(shù)量為25。最終，取全部測試任務(wù)的平均Top-1 準(zhǔn)確率作為最終準(zhǔn)確率。

本文采用的硬件環(huán)境為 NVIDIA RTX 3090 GPU 平臺；操作系統(tǒng)為ubuntu 20.0.3、Pytorch框架。

4.2 實驗結(jié)果與分析

為測試CMTL 方法的性能，選擇mini-ImageNet作為源域，分別以EuroSAT、CropDiseas、ISIC 和Chest-X 作為目標(biāo)域完成跨域分類測試。其中，選擇原型網(wǎng)絡(luò)作為度量模塊記為CMTL（PRO），選擇圖神經(jīng)網(wǎng)絡(luò)作為度量模塊記為CMTL（GNN）。實驗結(jié)果如表1所示。

表1 與不同跨域分類算法對比實驗結(jié)果Table 1 Compare with the different cross-domain classification algorithms

4.2.1 定量評估

從表1 可以看出，CMTL 方法在5-way 1-shot 和5-way 5-shot 跨域圖像分類任務(wù)設(shè)定上都有較好的表現(xiàn)，并且與現(xiàn)階段經(jīng)典的少樣本跨域圖像分類模型比較，本文提出的CMTL 方法更具有優(yōu)勢。其中，基于5-way 1-shot 的任務(wù)設(shè)定，與最新的少樣本跨域圖像分類GNN+ATA 方法相比較，本文提出的CMTL方法在EuroSAT、ISIC、CropDiseas 和Chest-X 數(shù)據(jù)集上分別提升了7.52%、1.26%、7.45%和0.12%。相較于最新的遷移學(xué)習(xí)STARTUP 方法，除了在Chest-X 數(shù)據(jù)集上表現(xiàn)稍落后前者，CMTL 方法分別在EuroSAT、ISIC 和CropDiseas 數(shù)據(jù)集上提升了5.97%、2.13%和1.62%。而基于5-way 5-shot 的任務(wù)設(shè)定，與少樣本跨域GNN+ATA 方法相比，本文方法在EuroSAT、ISIC、CropDiseas 和Chest-X 數(shù)據(jù)集上分別提升了4%、4.8%、2.78%和1.08%。與最新的遷移學(xué)習(xí)STARTUP 方法比較，除了在Chest-X 數(shù)據(jù)集上表現(xiàn)稍落后前者，CMTL 方法在EuroSAT、ISIC和CropDiseas 數(shù)據(jù)集上分別提升了5.93%、3.23%和1.68%。實驗結(jié)果表明提出的CMTL 方法的有效性。

4.2.2 定性評估

從表1的跨域分類結(jié)果可以看出，提出的CMTL方法能很好地解決少樣本跨域圖像分類問題，其中BL-SSL 模塊中的特征嵌入網(wǎng)絡(luò)能充分提取更為豐富的特征信息。對于元學(xué)習(xí)，提出數(shù)據(jù)增強的策略生成輔助任務(wù)，能夠進一步微調(diào)模型，以捕獲到適合當(dāng)前任務(wù)的合適參數(shù)。將二者對于相同任務(wù)的預(yù)測分數(shù)融合，可以使模型結(jié)合遷移學(xué)習(xí)和元學(xué)習(xí)方法各自的優(yōu)點，促使少樣本跨域圖像分類更加準(zhǔn)確。另外，除了在Chest-X上的跨域分類表現(xiàn)欠佳，CMTL（GNN）模型總體的跨域分類性能高于CMTL（PRO）模型。這是由于在跨域圖像分類任務(wù)中，非歐氏空間的度量方式有效利用了樣本特征與樣本標(biāo)簽之間的聯(lián)系，而歐氏空間度量的方法僅關(guān)注查詢集樣本與支持集樣本的相似性，未考慮標(biāo)簽間的聯(lián)系。由此可以看出，基于非歐氏空間的度量方式更適用于少樣本跨域圖像分類任務(wù)。

4.3 消融實驗

為了研究CMTL 方法中多種因素對于少樣本跨域分類準(zhǔn)確率的影響，消融實驗采用控制變量法的研究方法。

4.3.1 SSL使用階段對跨域分類準(zhǔn)確率的影響

為了研究BL-SSL 模塊中SSL 使用階段對于實驗分類準(zhǔn)確率的影響，分別在5-way 1-shot 和5-way 5-shot任務(wù)上，以4個標(biāo)準(zhǔn)數(shù)據(jù)集上平均跨域分類準(zhǔn)確率作為評估標(biāo)準(zhǔn)，進行消融實驗，結(jié)果如圖7所示，其中SL代表使用softmax loss，SSL代表使用自壓縮損失函數(shù)。SL+SSL 代表預(yù)訓(xùn)練階段使用softmax loss，微調(diào)階段使用自壓縮損失函數(shù)，在5-way 1-shot 和5-way 5-shot 任務(wù)設(shè)定下，在EuroSAT、ISIC、CropDiseas 和Chest-X 數(shù)據(jù)集上的平均跨域分類準(zhǔn)確率為42.5%和56.3%。實驗結(jié)果表明，在預(yù)訓(xùn)練階段和微調(diào)階段均使用SSL能達到最好跨域分類準(zhǔn)確率。

圖7 SSL使用階段平均跨域分類準(zhǔn)確率Fig.7 Average accuracy at different stages of the SSL

另外，從EuroSAT 中隨機選擇5 個類別的數(shù)據(jù)特征進行T-SNE（T-distributed stochastic neighbor embedding）可視化，結(jié)果如圖8所示。T-SNE 可視化表明，使用SSL 后更有利于新類樣本的特征提取，提取的新類樣本特征在保證類間可分的前提下，拉近了類間的距離，同樣證明了基于遷移學(xué)習(xí)的少樣本模型中引入SSL 損失函數(shù)能有效提升模型的跨域圖像分類能力。

圖8 EuroSAT數(shù)據(jù)集的T-SNE可視化Fig.8 T-SNE plot of EuroSAT（（a）SL；（b）SSL）

4.3.2 單個模塊對跨域分類準(zhǔn)確率的影響

為了證明本文使用分類模塊融合的有效性，分別使用圖神經(jīng)網(wǎng)絡(luò)微調(diào)模塊（GNN-FT）、BL-SSL 模塊以及將兩者分類預(yù)測結(jié)果的融合完成跨域圖像分類實驗，結(jié)果如表2 所示?？梢钥闯觯繕?biāo)域與源域跨度較小，目標(biāo)域數(shù)據(jù)集為EuroSAT 和CropDiseas時，GNN-FT 模塊的跨域分類準(zhǔn)確率優(yōu)于BL-SSL 模塊，反之BL-SSL 模塊的跨域分類準(zhǔn)確率優(yōu)于GNNFT模塊。兩個模塊分類融合的方法在4個標(biāo)準(zhǔn)數(shù)據(jù)集的平均分類準(zhǔn)確率在5-way 1-shot 任務(wù)中，相較BL-SSL 和GNN-FT 模塊分別高出4.2%和1.8%；在5-way 5-shot 任務(wù)中，跨域分類準(zhǔn)確率最高，相較BLSSL 和GNN-FT 模塊分別高出4.3%和2.1%。實驗結(jié)果表明，融合兩者分類預(yù)測結(jié)果是提升少樣本跨域圖像分類準(zhǔn)確率的有效方法。

表2 消融實驗：單個模型對于分類準(zhǔn)確率的影響Table 2 Ablation experiment：a single model on experimental classification

4.3.3 輔助任務(wù)對跨域分類的影響

為了測試微調(diào)過程中產(chǎn)生新的輔助任務(wù)是否必要，并進一步探索不同數(shù)據(jù)增強策略對于跨域分類實驗的影響，本文對目標(biāo)域測試任務(wù)利用隨機裁剪、顏色變換和伽馬變換操作，兩兩隨機組合形成輔助任務(wù)。實驗中，將圖神經(jīng)網(wǎng)絡(luò)和BL-SSL 模塊兩者分類結(jié)果的融合視為最終的預(yù)測分類結(jié)果。其中，None表示不使用輔助任務(wù)參與微調(diào)，僅利用BL-SSL模塊和圖神經(jīng)網(wǎng)絡(luò)推理；CC+RC 表示輔助任務(wù)經(jīng)顏色變換和隨機裁剪策略生成；CC+GT表示輔助任務(wù)經(jīng)顏色變換和伽馬變換策略生成；RC+GT表示輔助任務(wù)經(jīng)隨機裁剪和伽馬變換策略生成；本文算法1表示輔助任務(wù)由本文算法1 中提出的方法生成。實驗結(jié)果如表3 所示，實驗結(jié)果表明，相較于本文算法1 提出的輔助任務(wù)生成方法，隨機裁剪、顏色變換和伽馬變換任意兩種數(shù)據(jù)增強策略組合形成的輔助任務(wù)對最終的跨域分類準(zhǔn)確率并無顯著提升，實驗結(jié)果進一步凸顯了本文方法對于跨域圖像分類的有效性。

表3 消融實驗：輔助任務(wù)對于分類準(zhǔn)確率的影響Table 3 Ablation experiment：auxiliary tasks on experimental classification

5 結(jié)論

元學(xué)習(xí)、遷移學(xué)習(xí)是解決少樣本跨域問題的兩項前沿理論和方法，為提升模型在有限標(biāo)注樣本困境下的跨域圖像分類能力，本文提出了CMTL 方法，并通過大量實驗證實了本文方法的有效性。

本文的主要工作分為3 個方面：1）基于元學(xué)習(xí)，通過構(gòu)建輔助任務(wù)，用于微調(diào)模型參數(shù)；2）基于遷移學(xué)習(xí)，提出的BL-SSL 模塊更利于目標(biāo)任務(wù)的特征提??；3）融合遷移學(xué)習(xí)和元學(xué)習(xí)預(yù)測分數(shù)的方法能有效處理跨域圖像分類任務(wù)。

本文提出的CMTL 方法雖然能極大緩解少樣本跨域圖像分類精度差等困境，但對構(gòu)建輔助任務(wù)階段的探索還不夠全面，融合兩者模塊預(yù)測分數(shù)的研究也不夠深入。未來工作將會繼續(xù)圍繞如何生成更為合適的輔助任務(wù)、如何有效融合兩者模塊預(yù)測分數(shù)這兩大重點展開研究，促使少樣本跨域圖像分類模型具有更好的泛化能力。