潘雪玲　李國和　鄭藝峰

摘 要：深度學(xué)習(xí)以數(shù)據(jù)為驅(qū)動(dòng)，被廣泛應(yīng)用于各個(gè)領(lǐng)域，但由于數(shù)據(jù)隱私、標(biāo)記昂貴等導(dǎo)致樣本少、數(shù)據(jù)不完備性等問題，同時(shí)小樣本難于準(zhǔn)確地表示數(shù)據(jù)分布，使得分類模型誤差較大，且泛化能力差。為此，小樣本學(xué)習(xí)被提出，旨在利用較少目標(biāo)數(shù)據(jù)訓(xùn)練模型快速學(xué)習(xí)的能力。系統(tǒng)梳理了近幾年來小樣本學(xué)習(xí)領(lǐng)域的相關(guān)工作，主要整理和總結(jié)了基于數(shù)據(jù)增強(qiáng)、基于元學(xué)習(xí)和基于轉(zhuǎn)導(dǎo)圖小樣本學(xué)習(xí)方法的研究進(jìn)展。首先，從基于監(jiān)督增強(qiáng)和基于無監(jiān)督增強(qiáng)闡述數(shù)據(jù)增強(qiáng)的主要特點(diǎn)。其次，從基于度量學(xué)習(xí)和基于參數(shù)優(yōu)化兩方面對(duì)基于元學(xué)習(xí)的方法進(jìn)行分析。接著，詳細(xì)總結(jié)轉(zhuǎn)導(dǎo)圖小樣本學(xué)習(xí)方法，介紹常用的小樣本數(shù)據(jù)集，并通過實(shí)驗(yàn)闡述分析具有代表性的小樣本學(xué)習(xí)模型。最后總結(jié)現(xiàn)有方法的局限性，并對(duì)小樣本學(xué)習(xí)的未來研究方向進(jìn)行展望。

關(guān)鍵詞：小樣本學(xué)習(xí)； 數(shù)據(jù)增強(qiáng)； 元學(xué)習(xí)； 度量學(xué)習(xí)； 轉(zhuǎn)導(dǎo)圖小樣本學(xué)習(xí)

中圖分類號(hào)：TP181 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2023）10-001-2881-08

doi：10.19734/j.issn.1001-3695.2023.02.0074

Survey on few-shot learning for deep network

Pan Xueling1a，1b， Li Guohe1a，1b， Zheng Yifeng2，3

（1.a.Beijing Key Lab of Petroleum Data Mining， b.College of Information Science & Engineering， China University of Petroleum， Beijing 102249， China; 2.School of Computer Science， Minnan Normal University， Zhangzhou Fujian 363000， China; 3.Key Laboratory of Data Science & Intelligence Application， Fujian Province University， Zhangzhou Fujian 363000， China）

Abstract：Deep learning is widely used in various fields， which is data-driven. Data privacy and expensive data labeling or other questions cause samples absent and data incompleteness. Moreover， small samples cannot accurately represent data distribution， reducing classification performance and generalization ability. Therefore， few-shot learning is defined to achieve fast learning by utilizing a small target samples. This paper systematically summarized the current approaches of few-shot learning， introducing models from the three categories： data augmentation-based， meta-learning based， and transduction graph-based. First， it illustrated the data augmentation-based approaches according to supervised and unsupervised augmentations. Then， it analyzed the meta-learning based approaches from metric learning and parameter optimization. Next， it elaborated transduction graph-based approaches. Eventually， it introduced the commonly few-shot datasets， and analyzed representative few-shot learning models through experiments. In addition， this paper summarized the challenges and the future technological development of few-shot learning.

Key words：few-shot learning; data augmentation; meta-learning; metric learning; transductive graph few-shot learning

0 引言

大數(shù)據(jù)時(shí)代，深度學(xué)習(xí)［1］以大量的標(biāo)簽數(shù)據(jù)為驅(qū)動(dòng)，已廣泛應(yīng)用于計(jì)算機(jī)視覺［2，3］、自然語言處理［4，5］、動(dòng)物學(xué)［6］和人口統(tǒng)計(jì)學(xué)［7］等領(lǐng)域。然而，標(biāo)注數(shù)據(jù)的收集與獲取需要消耗大量的人力與時(shí)間，并且在某些領(lǐng)域（例如醫(yī)學(xué)、軍事和金融等）中，由于隱私安全等問題無法獲得充足的樣本?，F(xiàn)實(shí)世界中人類僅依靠少量樣本就可快速學(xué)習(xí)，受此啟發(fā)，研究人員提出小樣本學(xué)習(xí)（few-shot learning）。小樣本學(xué)習(xí)方式更貼近于人類思維，可有效解決上述問題。

小樣本學(xué)習(xí)分為非深度學(xué)習(xí)和深度學(xué)習(xí)兩個(gè)研究階段。在非深度學(xué)習(xí)階段，主要以構(gòu)造先驗(yàn)概率的生成模型為主［8］，該策略通過引入中間潛在變量，將輸入樣本和其類別建立聯(lián)系，以構(gòu)造先驗(yàn)概率，其發(fā)展相對(duì)緩慢。Miller等人［9］于2000年最先提出利用每個(gè)類的單個(gè)樣本來訓(xùn)練分類器，并指出大量數(shù)據(jù)的分類器性能正在趨于穩(wěn)定。單樣本學(xué)習(xí)（one-shot lear-ning）問題將有助于縮小人機(jī)性能差距［10］。隨著深度學(xué)習(xí)技術(shù)的發(fā)展， Koch等人［11］于2015年首次將深度學(xué)習(xí)融入到小樣本學(xué)習(xí)問題中，提出孿生網(wǎng)絡(luò)（siamese neural network） 用以衡量兩個(gè)樣本間的相似度，使得模型精度有了很大的提高。小樣本學(xué)習(xí)進(jìn)入深度學(xué)習(xí)階段，其研究重點(diǎn)主要以構(gòu)造后驗(yàn)概率的判別模型為主 ［8］（基本流程如圖1所示），即通過深度神經(jīng)網(wǎng)絡(luò)f（·|θ）（例如：CNN）對(duì)輸入樣本進(jìn)行特征提取，再通過預(yù)測層C（·|φ）（例如：softmax）對(duì)提取的特征進(jìn)行標(biāo)簽預(yù)測，其中，θ和φ均為可學(xué)習(xí)的深度網(wǎng)絡(luò)參數(shù)。特征表示和端到端優(yōu)化等深度學(xué)習(xí)技術(shù)使小樣本學(xué)習(xí)得到快速發(fā)展。Wang等人［12］根據(jù)研究人員如何利用先驗(yàn)知識(shí)來解決小樣本學(xué)習(xí)經(jīng)驗(yàn)風(fēng)險(xiǎn)不可靠這一核心問題，將小樣本學(xué)習(xí)方法分為基于數(shù)據(jù)、基于模型、基于算法三個(gè)研究方向。趙凱琳等人[13]根據(jù)所采用方法的不同，將小樣本學(xué)習(xí)分為基于模型微調(diào)、基于數(shù)據(jù)增強(qiáng)和基于遷移學(xué)習(xí)［13］。此外，安勝彪等人［14］從基于有監(jiān)督、基于半監(jiān)督、基于無監(jiān)督的角度進(jìn)行歸納總結(jié)小樣本方法，其中，將基于有監(jiān)督細(xì)分為元學(xué)習(xí)、度量學(xué)習(xí)和數(shù)據(jù)增強(qiáng)進(jìn)行歸納總結(jié)；將基于半監(jiān)督細(xì)分為低密度可分假設(shè)和自監(jiān)督學(xué)習(xí)方法進(jìn)行歸納總結(jié)；將基于無監(jiān)督細(xì)分為基于無標(biāo)簽數(shù)據(jù)和基于聚類方法進(jìn)行歸納總結(jié)。本文主要從解決小樣本學(xué)習(xí)樣本量少、模型訓(xùn)練容易過擬合問題出發(fā)，將小樣本研究方法分為基于數(shù)據(jù)增強(qiáng)、基于元學(xué)習(xí)和基于轉(zhuǎn)導(dǎo)圖小樣本學(xué)習(xí)三個(gè)方面?；跀?shù)據(jù)增強(qiáng)的小樣本學(xué)習(xí)方法的本質(zhì)是通過數(shù)據(jù)合成或特征增強(qiáng)方式解決樣本量少的問題，本文根據(jù)是否需要額外的輔助信息（比如語義屬性［15］或詞向量［16］等）將基于數(shù)據(jù)增強(qiáng)的小樣本學(xué)習(xí)方法進(jìn)一步細(xì)分為監(jiān)督數(shù)據(jù)增強(qiáng)和無監(jiān)督數(shù)據(jù)增強(qiáng)。研究人員從跨任務(wù)學(xué)習(xí)的角度提出基于元學(xué)習(xí)的小樣本學(xué)習(xí)方法來解決模型過擬合問題，本文將其細(xì)分為基于度量學(xué)習(xí)和基于參數(shù)優(yōu)化?；谵D(zhuǎn)導(dǎo)圖小樣本學(xué)習(xí)方法是一種相對(duì)較新的轉(zhuǎn)導(dǎo)推理小樣本學(xué)習(xí)方法，但也取得了先進(jìn)的效果。

本文首先從基于數(shù)據(jù)增強(qiáng)、基于元學(xué)習(xí)和基于轉(zhuǎn)導(dǎo)圖小樣本學(xué)習(xí)三個(gè)角度介紹小樣本學(xué)習(xí)的研究進(jìn)展，總結(jié)了小樣本圖像分類和識(shí)別任務(wù)中的常用數(shù)據(jù)集以及已有模型在這些數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，最后在結(jié)束語中將針對(duì)小樣本學(xué)習(xí)的主要挑戰(zhàn)展望其未來的發(fā)展趨勢(shì)。

1 基于數(shù)據(jù)增強(qiáng)的小樣本學(xué)習(xí)

小樣本學(xué)習(xí)面臨的根本問題是樣本量少、樣本多樣性低，易導(dǎo)致模型過擬合。相比傳統(tǒng)變換規(guī)則（例如平移、旋轉(zhuǎn)、縮放和添加噪聲 ［17，18］），基于數(shù)據(jù)增強(qiáng)的方法旨在通過數(shù)據(jù)合成或特征增強(qiáng)的方式提高訓(xùn)練樣本的數(shù)量和特征多樣性［19］。隨著深度學(xué)習(xí)的發(fā)展，研究人員提出了許多相對(duì)復(fù)雜的增強(qiáng)模型、算法和網(wǎng)絡(luò)來進(jìn)行數(shù)據(jù)擴(kuò)充或特征增強(qiáng)。根據(jù)是否需要額外的輔助信息，可將其分為監(jiān)督增強(qiáng)和無監(jiān)督增強(qiáng)。

1.1 監(jiān)督增強(qiáng)方法

監(jiān)督增強(qiáng)方法核心思想是利用語義屬性或詞向量等輔助信息對(duì)原有數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充或特征增強(qiáng)，防止模型過擬合。

Chen等人［20，21］提出自編碼網(wǎng)絡(luò)（dual TriNet）以實(shí)現(xiàn)語義空間的數(shù)據(jù)增強(qiáng)，與傳統(tǒng)圖像級(jí)別或特征空間中的數(shù)據(jù)擴(kuò)充不同，其核心是將特征映射到語義空間，在語義空間中通過語義高斯或者語義近鄰的方式進(jìn)行語義特征增強(qiáng)。dual TriNet模型（如圖2所示）由 encoder TriNet和decoder TriNet兩部分組成。首先，encoder TriNet將ResNet-8提取的多級(jí)深度特征{fl（Isupporti）}映射到語義空間（該語義空間和標(biāo)簽語義空間對(duì)齊）。然后在此空間中，或者如式（1）所示，將語義高斯引入語義特征，構(gòu)造以語義特征gEnc（{fl（Isupporti）}）為均值，以σ為方差的高斯分布，并從中隨機(jī)采樣作為擴(kuò)充后的語義特征VGki；或者如式（2）所示，從已訓(xùn)練好的詞向量空間中選取與語義特征向量gEnc（{fl（Isupporti）}）最接近的向量作為擴(kuò)充后的語義特征VNki。最后，將擴(kuò)充后的語義特征通過decoder TriNet逐級(jí)還原為特征圖（即gDec（VGki）或gDec（VNki）），并通過KNN、SVM或者邏輯回歸等分類器完成分類任務(wù)。

與dual TriNet不同，Yu等人［22］提出生成屬性的遷移學(xué)習(xí)模型（author topic，AT），其核心是通過為每個(gè)屬性建立一個(gè)生成式的屬性模型來學(xué)習(xí)圖像特征的概率分布，并將不同類別的公共屬性視做屬性先驗(yàn)來學(xué)習(xí)目標(biāo)任務(wù)。該模型所采用的特征包圖像表示法有利于加強(qiáng)空間約束，提高屬性定位的精確度，但會(huì)丟失一些有價(jià)值的空間信息。

Lu等人［23］則考慮為每個(gè)屬性建立一個(gè)模型，提出一種新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（attribute-based synthetic network，ABS-Net）自動(dòng)為缺少圖像標(biāo)注的類合成偽特征表示，以解決類間數(shù)據(jù)不平衡或者類內(nèi)數(shù)據(jù)缺乏等問題。其核心思想是利用輔助數(shù)據(jù)集進(jìn)行屬性學(xué)習(xí)，建立屬性特征存儲(chǔ)庫。當(dāng)給定一個(gè)類的屬性特征描述時(shí)，采用概率抽樣策略從特征存儲(chǔ)庫中抽取一些屬性特征用于向量合成，通過此方式合成偽特征，實(shí)現(xiàn)特征層的數(shù)據(jù)增強(qiáng)。偽特征合成與圖像合成方法相比，前者無須將遷移知識(shí)映射到真實(shí)的圖像領(lǐng)域，有效規(guī)避了域適應(yīng)問題。

Frederik等人［24］提出利用多模態(tài)信息合成圖像來訓(xùn)練細(xì)粒度小樣本學(xué)習(xí)模型，其在訓(xùn)練時(shí)是多模態(tài)的，而在測試時(shí)則采用單模態(tài)（即圖像）。此外，還提出文本條件生成對(duì)抗網(wǎng)絡(luò)（text conditional generative adversarial network，tcGAN），在細(xì)粒度文本描述的條件下產(chǎn)生附加圖像，促進(jìn)小樣本學(xué)習(xí)。2022年，潘理虎等人［25］提出多特征融合關(guān)系抽取方法實(shí)現(xiàn)語義增強(qiáng)，該方法通過構(gòu)建一個(gè)融合位置、詞性和句法依存等信息的分段卷積神經(jīng)網(wǎng)絡(luò)來最大化表示語義特征，并將其融入詞嵌入以提高模型上下文共性學(xué)習(xí)。此后，呂天根等人［26］提出將視覺特征與文本特征融合再進(jìn)行局部特征選擇的方法，利用文本數(shù)據(jù)增加特征多樣性，提高了模型精度。

近年來，通過語義增強(qiáng)特征的方法成為新的研究熱點(diǎn)之一，Schwartz等人［27］重點(diǎn)研究額外語義信息的作用，并進(jìn)一步證明通過結(jié)合多種更豐富的語義信息（類別標(biāo)簽、屬性和自然語言描述）可有效提升模型精度。

1.2 無監(jiān)督增強(qiáng)方法

無監(jiān)督增強(qiáng)方法進(jìn)行數(shù)據(jù)擴(kuò)充或特征增強(qiáng)無須額外的輔助信息，主要通過提出新的網(wǎng)絡(luò)模型學(xué)習(xí)類內(nèi)變形信息或添加隨機(jī)噪聲進(jìn)行圖像合成。

Hariharan等人［28］提出新的小樣本學(xué)習(xí)基準(zhǔn)算法，主要包括表征學(xué)習(xí)和小樣本學(xué)習(xí)兩個(gè)階段，通過正則化項(xiàng)來約束兩個(gè)學(xué)習(xí)階段分類器間的差異。表征學(xué)習(xí)階段旨在提高特征提取網(wǎng)絡(luò)的表征能力，小樣本學(xué)習(xí)階段主要側(cè)重于將類內(nèi)不同樣本間的變形信息泛化到其他類別，然后利用多層感知機(jī)合成新樣本，然后利用擴(kuò)充后的數(shù)據(jù)集訓(xùn)練分類模型。

2018年，Schwartz等人［29］利用類內(nèi)變形擴(kuò)充數(shù)據(jù)，提出改進(jìn)的自動(dòng)編碼器（delta-encoder），其核心思想是在編碼階段學(xué)習(xí)同類別中幾個(gè)樣本間的可遷移的類內(nèi)變形，然后在解碼階段，結(jié)合學(xué)得的類內(nèi)變形信息和源樣本生成所屬源樣本類別的新數(shù)據(jù)，該模型很好地解決了小樣本學(xué)習(xí)訓(xùn)練樣本少的問題。

Wang等人［30］提出一種基于生成對(duì)抗網(wǎng)絡(luò)的圖像合成模型（如圖3所示）。該模型主要貢獻(xiàn)有兩點(diǎn)：a）樣本空間的擴(kuò)充;b）小樣本分類模型的優(yōu)化。樣本空間的擴(kuò)充即結(jié)合隨機(jī)噪聲和訓(xùn)練樣本通過生成器合成圖像；小樣本分類模型的優(yōu)化即結(jié)合原型網(wǎng)絡(luò)與匹配網(wǎng)絡(luò)的優(yōu)勢(shì)提出PMN（prototype matching network）分類器，因?yàn)槠ヅ渚W(wǎng)絡(luò)利用雙向長短時(shí)記憶網(wǎng)絡(luò)和注意力機(jī)制使得樣本嵌入聚焦于對(duì)分類貢獻(xiàn)度大的特征，但是對(duì)于樣本量少的類別，有用的特征容易被遺忘，容易被常見類別的樣本特征淹沒，這對(duì)樣本量少的類別是一種極大的偏見，而原型網(wǎng)絡(luò)為每個(gè)類別學(xué)習(xí)一個(gè)類原型，可有效緩解這一問題?；谶@一動(dòng)機(jī)，PMN提出先借助原型網(wǎng)絡(luò)的思想計(jì)算類原型，再利用雙向長短時(shí)記憶網(wǎng)絡(luò)和注意力機(jī)制學(xué)習(xí)樣本的上下文嵌入，這一改進(jìn)有效提高了模型精度。

與上述方法不同，Hang等人［31］通過建模樣本的潛在分布進(jìn)行數(shù)據(jù)增強(qiáng)，提出保存協(xié)方差的生成對(duì)抗網(wǎng)絡(luò)（covariance preserving adversarial augmentation network，CP-AAN），在給定相關(guān)類別樣本的情況下，對(duì)每個(gè)新類樣本的潛在分布進(jìn)行建模。此外，在生成過程中保存協(xié)方差信息作為相關(guān)類別樣本的變形信息來進(jìn)行數(shù)據(jù)合成。

2 基于元學(xué)習(xí)的小樣本學(xué)習(xí)

元學(xué)習(xí)即學(xué)會(huì)學(xué)習(xí)，其與小樣本學(xué)習(xí)模擬人類學(xué)習(xí)方式的初衷相契合，旨在從跨任務(wù)學(xué)習(xí)的角度訓(xùn)練一個(gè)可以用于快速學(xué)習(xí)的模型。在元學(xué)習(xí)中，每一個(gè)episode即一個(gè)N-way K-shot分類任務(wù)（其中，N表示每個(gè)任務(wù)的類別數(shù)，K表示每個(gè)類別的樣本數(shù)），每個(gè)任務(wù)包括一個(gè)支撐集S（support set，包含N·K個(gè)樣本數(shù)）和一個(gè)查詢集Q（query set，包含M個(gè)樣本）。其過程主要包括元訓(xùn)練（meta-training）和元測試（meta-test）階段［32］（如圖4所示）。

a）元訓(xùn)練（meta-training）階段先通過大量不同的源任務(wù)訓(xùn)練元學(xué)習(xí)器（meta-learner）f（·，·）學(xué)習(xí)先驗(yàn)知識(shí)（如模型的初始參數(shù)、優(yōu)化器和神經(jīng)網(wǎng)絡(luò)的超參數(shù)等［33］），再利用已學(xué)得的先驗(yàn)知識(shí)結(jié)合少量目標(biāo)任務(wù)達(dá)到快速訓(xùn)練基學(xué)習(xí)器（base-learner）m（·，·）的目的，如式（3）所示。需要注意的是在利用損失函數(shù)（如式（4））做反向傳播優(yōu)化元學(xué)習(xí)器（meta-learner）的參數(shù)θ時(shí)，必須貫穿整個(gè)小樣本訓(xùn)練過程（包括元學(xué)習(xí)器和基學(xué)習(xí)器兩個(gè)訓(xùn)練過程），而非僅僅優(yōu)化元學(xué)習(xí)器的參數(shù)。

其中：f（·，·）為元學(xué)習(xí)器;m（·，·）為基學(xué)習(xí)器;L（·，·）為交叉熵?fù)p失函數(shù);θ和φ分別為元學(xué)習(xí)器和基學(xué)習(xí)器可學(xué)習(xí)的參數(shù);S為支撐集;Q為查詢集。

b）元測試（meta-test）階段，元學(xué)習(xí)器通常固定不變（即不再優(yōu)化其參數(shù)），僅為新的查詢集任務(wù)生成一個(gè)適合的新的基分類器。

本章將從基于度量和基于參數(shù)優(yōu)化兩個(gè)方向?qū)谠獙W(xué)習(xí)的小樣本方法進(jìn)行歸納分析。

2.1 基于度量學(xué)習(xí)方法

基于度量學(xué)習(xí)方法的基本思想是先通過神經(jīng)網(wǎng)絡(luò)提取圖像特征向量，再采用線性度量方式（比如余弦距離或歐氏距離）或非線性度量方式（神經(jīng)網(wǎng)絡(luò)）評(píng)估支撐集與測試樣本之間的相似程度?，F(xiàn)階段，研究人員也開始考慮引入跨模態(tài)信息訓(xùn)練網(wǎng)絡(luò)以提高模型精度［34，35］。

Vinyals等人［36］于2016年提出匹配網(wǎng)絡(luò)（matching networks）（如圖5所示），利用注意力機(jī)制和外部記憶結(jié)構(gòu)幫助模型快速學(xué)習(xí)。該網(wǎng)絡(luò)主要有兩個(gè)核心模塊：一是引入雙向長短期記憶網(wǎng)絡(luò)（LSTM）學(xué)習(xí)支撐集樣本間的上下文嵌入，通過LSTM各單元間的連接構(gòu)建支撐集樣本間的聯(lián)系;二是引入注意力機(jī)制構(gòu)建支撐集和測試集樣本間的聯(lián)系?；玖鞒虨椋篴）利用gθ和fθ兩個(gè)嵌入函數(shù)分別對(duì)支撐集樣本和查詢集樣本xi進(jìn)行特征提??；b）計(jì)算查詢集樣本和支撐集各類別之間的余弦距離cosine（·，·），并輸入注意力機(jī)制a（，xi）（如式（5）所示）；c）通過對(duì)預(yù)測值yi的加權(quán)求和評(píng)估支撐集和測試集樣本間的匹配程度（如式（6）所示）。該網(wǎng)絡(luò)是小樣本學(xué)習(xí)方法中比較典型的基于線性度量的學(xué)習(xí)策略。

其中：fθ和gθ表示嵌入函數(shù);表示支撐集樣本;xi表示查詢集樣本;cosine（·，·）表示余弦距離;a（，xi）表示注意力機(jī)制，yi表示預(yù)測值。

此后，Snell等人［37］提出原型網(wǎng)絡(luò)（prototypical network，Proto Net），與孿生網(wǎng)絡(luò)相同，其亦通過學(xué)習(xí)度量空間完成小樣本分類。該網(wǎng)絡(luò)主要貢獻(xiàn)是為每個(gè)類別的樣本學(xué)習(xí)一個(gè)類原型，從幾何空間度量查詢集中各樣本點(diǎn)與每個(gè)類原型之間的相似度，進(jìn)而得到各樣本點(diǎn)屬于各類的概率值。類原型的定義為

2019年，Chen等人［35］在原型網(wǎng)絡(luò)的基礎(chǔ)上，提出基于跨模態(tài)信息增強(qiáng)的度量學(xué)習(xí)方法（adaptive modality mixture mecha-nism，AM3），核心思想是利用跨模態(tài)信息（比如文本語料庫）彌補(bǔ)圖像分類任務(wù)樣本信息的不足，解決由于訓(xùn)練樣本少導(dǎo)致的類原型的求解存在偏差的問題，當(dāng)圖片信息較少時(shí)，AM3提出通過語義信息微調(diào)類原型（圖6）。具體流程為：a）AM3利用特征提取網(wǎng)絡(luò)f（·）（ResNet-12）提取圖片特征向量Pc；b）支撐集的類標(biāo)簽語義信息通過詞嵌入模型w（提前在一個(gè)大規(guī)模文本語料庫中經(jīng)無監(jiān)督訓(xùn)練得到）［38］提取對(duì)應(yīng)的語義特征向量ec，并通過維度變換網(wǎng)絡(luò)g（僅包含一個(gè)隱藏層）將其轉(zhuǎn)換為可以用于融合的詞向量Wc=gθg（ec），融合方式如式（8）；c）通過自適應(yīng)混合網(wǎng)絡(luò)h（僅包含一個(gè)隱藏層）控制語義特征求解類原型的參與度λc（如式（9）），將融合后的混合特征Pc作為類原型；d）采用原型網(wǎng)絡(luò)的方式對(duì)查詢集樣本qt進(jìn)行類別預(yù)測（如式（10））。AM3網(wǎng)絡(luò)首次在特征提取階段引入語義特征信息以補(bǔ)充圖片信息的不足，并采用自適應(yīng)混合網(wǎng)絡(luò)調(diào)整語義特征與圖像特征的融合比例，結(jié)構(gòu)設(shè)計(jì)精簡，使模型精度有了較大提升。2020年，Li等人［39］提出K-tuplet Net，將原型網(wǎng)絡(luò)的NCA損失函數(shù)改為K-tuplet 度量損失，從優(yōu)化損失函數(shù)的角度改進(jìn)原型網(wǎng)絡(luò)。AM3網(wǎng)絡(luò)將語義和圖像視為獨(dú)立的數(shù)據(jù)源學(xué)習(xí)類別原型表示，與之不同，2023年，Yang等人［40］提出語義指導(dǎo)注意力機(jī)制，利用語義先驗(yàn)知識(shí)以自上而下的方式指導(dǎo)視覺類原型表示，即將語義知識(shí)映射到類別特定注意力向量網(wǎng)絡(luò)，利用該網(wǎng)絡(luò)進(jìn)行語義特征選擇以增強(qiáng)視覺原型。

其中：Pc為語義調(diào)節(jié)后的類原型；Pc為初始類原型，由式（7）計(jì)算得到；Wc為維度變換后的詞向量；λc為文本和圖像的混合系數(shù)；h為自適應(yīng)混合網(wǎng)絡(luò)；f（·）為嵌入函數(shù)；d（·，·）為歐氏距離；qt為查詢集樣本。

此外，Sung等人［41］提出關(guān)系網(wǎng)絡(luò)（relation network），其包含嵌入模塊f（或g）和關(guān)系模塊h兩部分（圖7）。與孿生網(wǎng)絡(luò)、匹配網(wǎng)絡(luò)和原型網(wǎng)絡(luò)不同，關(guān)系網(wǎng)絡(luò)是一種非線性度量方式的小樣本學(xué)習(xí)方法，即通過神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)xi和xj兩個(gè)樣本間的匹配程度r（xi，xj），如式（11）所示。

其中：h（·）表示可學(xué)習(xí)的CNN;θf=θg;θh表示其參數(shù);C（·，·）表示將特征向量級(jí)聯(lián)。

2022年，孫流風(fēng)等人［42］提出雙重度量的孿生神經(jīng)網(wǎng)絡(luò)，充分考慮了圖像級(jí)特征度量和局部描述符度量的關(guān)系，解決了圖像級(jí)特征度量對(duì)位置、復(fù)雜背景及類內(nèi)差異比較敏感的問題，提高了模型分類準(zhǔn)確率。韋世紅等人［43］于2023年提出出多級(jí)度量網(wǎng)絡(luò)的小樣本學(xué)習(xí)，該方法利用第二、第三層卷積得到的特征圖計(jì)算兩個(gè)圖像—類關(guān)系得分，通過全連接層的特征圖與查詢集樣本計(jì)算圖像—圖像從屬概率，最后將圖像—類的關(guān)系得分和圖像—圖像的從屬概率進(jìn)行加權(quán)融合作為最終的預(yù)測結(jié)果，該方法通過利用不同卷積層的圖像語義信息提高模型分類效果。綜上，可看出基于度量的小樣本學(xué)習(xí)從最初的孿生網(wǎng)絡(luò)至今已有較大發(fā)展，單純利用線性度量的方式（傳統(tǒng)距離函數(shù)）已很難對(duì)模型精度再有較大提升，非線性度量方式的提出以及跨模態(tài)信息的引入拓展新的研究思路。

2.2 基于參數(shù)優(yōu)化方法

深度學(xué)習(xí)得益于大量模型參數(shù)，然而小樣本學(xué)習(xí)極易導(dǎo)致模型過擬合，采用元學(xué)習(xí)方法優(yōu)化模型參數(shù)有效改善模型的泛化能力?；趨?shù)優(yōu)化方法一般先通過支撐集訓(xùn)練元學(xué)習(xí)器學(xué)得不同任務(wù)的共同特征（即先驗(yàn)知識(shí)），再將所得元知識(shí)運(yùn)用于查詢集精調(diào)基學(xué)習(xí)器（如圖8所示）?；谏鲜鏊枷?，2017年，F(xiàn)inn等人［44］提出未知模型的元學(xué)習(xí)方法（model agnostic meta learning，MAML），旨在通過跨任務(wù)訓(xùn)練策略為基學(xué)習(xí)器學(xué)得最優(yōu)初始化參數(shù)，在面對(duì)新任務(wù)時(shí)僅需少量樣本通過幾步訓(xùn)練即可取得較好的分類效果，總體流程如下：

假設(shè)分類模型為fθ（·），θ為模型參數(shù)，P（T）為任務(wù)分布，首先隨機(jī)初始化模型參數(shù)θ。再從P（T）中隨機(jī)抽取一批任務(wù)Ti，即Ti～P（T）。假設(shè)隨機(jī)抽取五個(gè)任務(wù)T={T1，T2，T3，T4，T5}，那么對(duì)于每個(gè)任務(wù)Ti，可隨機(jī)抽取K個(gè)數(shù)據(jù)點(diǎn)訓(xùn)練模型，隨后計(jì)算損失LTi（fθ），并通過梯度下降法最小化損失，在此過程中利用式（12）為每個(gè)任務(wù)學(xué)得一個(gè)最優(yōu)參數(shù)，即θ^={θ^1，θ^2，θ^3，θ^4，θ^5}。在對(duì)下一批任務(wù)進(jìn)行抽樣之前，先執(zhí)行元優(yōu)化來更新隨機(jī)初始化的模型參數(shù)θ（如式（13））。從而使得隨機(jī)初始化的參數(shù)θ移動(dòng)到一個(gè)最優(yōu)的位置，在訓(xùn)練下一批任務(wù)時(shí)，僅需少量樣本通過幾步訓(xùn)練即可獲得較好的模型效果。

MAML將學(xué)習(xí)率設(shè)置為一個(gè)較小的標(biāo)量數(shù)值，隨著時(shí)間的推移而衰減，并沿著梯度的方向更新。與之不同，Meta-SGD（meta stochastic gradient de-scent）通過學(xué)習(xí)的方式獲得最優(yōu)學(xué)習(xí)率和梯度更新方向［45］。Meta-SGD也需要通過梯度下降最小化損失來為每個(gè)任務(wù)尋找最優(yōu)參數(shù)（如公式θ^i=θ－αΔθLTi（fθ）），但其α不是標(biāo)量而是向量，α被隨機(jī)初始化為和θ同樣形狀的值，并隨著θ一起被學(xué)習(xí)和更新。αΔθLTi（fθ）表示更新方向，長度表示學(xué)習(xí)率。此外，Meta-SGD模型沿著αΔθLTi（fθ）的方向而非梯度方向更新參數(shù)。θ和α的更新如式（13）和（14）所示。

在Meta-SGD基礎(chǔ)之上，Zhou等人［46］提出深度元學(xué)習(xí)（deep meta learning，DEML），將深度學(xué)習(xí)的表征能力集成到元學(xué)習(xí)中以提高元學(xué)習(xí)的表征能力。其核心是在概念空間而非復(fù)雜的樣本空間學(xué)會(huì)學(xué)習(xí)。為了實(shí)現(xiàn)在概念空間中學(xué)習(xí)，DEML為元學(xué)習(xí)器配備一個(gè)概念生成器（例如深度殘差網(wǎng)絡(luò)），旨在為每個(gè)樣本學(xué)習(xí)一個(gè)特征表示，捕捉樣本的高級(jí)概念，同時(shí)使用一個(gè)概念鑒別器來增強(qiáng)概念生成器，并以端到端方式聯(lián)合訓(xùn)練概念生成器、元學(xué)習(xí)器和概念識(shí)別器三個(gè)模塊。借助概念空間，深度元學(xué)習(xí)模型實(shí)現(xiàn)了對(duì)本身較少的訓(xùn)練數(shù)據(jù)的最大化利用。文獻(xiàn)［47］提出條件類感知元學(xué)習(xí)（conditional class-aware meta data learning，CAML），其核心是利用度量空間中結(jié)構(gòu)化的類信息輔助調(diào)制基學(xué)習(xí)器當(dāng)前任務(wù)的表示。具體地，設(shè)計(jì)一個(gè)參數(shù)條件變換模塊來實(shí)現(xiàn)表示調(diào)制，并將該模塊與基礎(chǔ)學(xué)習(xí)器相結(jié)合作為CAML的元學(xué)習(xí)器。CAML采用和MAML相同的漸進(jìn)學(xué)習(xí)策略進(jìn)行元學(xué)習(xí)，相比MAML， 模型精度有了很大程度的提升。

2019年，Jannal等人［48］為了防止元學(xué)習(xí)器在訓(xùn)練數(shù)據(jù)極少時(shí)過度學(xué)習(xí)學(xué)得有偏知識(shí)，提出一種任務(wù)不可知的元學(xué)習(xí)（task agnostic meta learning，TAML）算法，該算法提出基于熵減最大化和基于不等式最小化兩種方法解決模型泛化能力差的問題?；陟販p最大化的方法旨在通過最大化元學(xué)習(xí)器預(yù)測的標(biāo)簽的熵防止其在某些任務(wù)上表現(xiàn)過度，但該方法局限于具有離散輸出的分類任務(wù)。為解決這一問題，在經(jīng)濟(jì)學(xué)中不平等度量的啟發(fā)下，提出基于不等式最小化的方法， 該方法旨在通過最小化初始模型在不同任務(wù)上損失不平等的問題，幫助元學(xué)習(xí)器學(xué)得一個(gè)無偏倚的初始化模型參數(shù)，以防止模型在某些特定任務(wù)上表現(xiàn)過度。基于不等式最小化的方法可以采用任何形式的損失函數(shù)，不局限于離散輸出，可用于解決連續(xù)性輸出的任務(wù)，適應(yīng)于更普遍場景。2022年，Huang等人［49］結(jié)合MAML參數(shù)更新思想提出模型不可知的聯(lián)邦小樣本學(xué)習(xí)，但公共數(shù)據(jù)與私有數(shù)據(jù)存在標(biāo)簽不一致和鄰域偏差的問題，該方法通過共享公共數(shù)據(jù)集上的模型預(yù)測結(jié)果實(shí)現(xiàn)公私通信，并通過對(duì)抗性學(xué)習(xí)解決領(lǐng)域偏差問題。結(jié)合聯(lián)邦學(xué)習(xí)策略的小樣本學(xué)習(xí)不共享私有數(shù)據(jù)，有效保護(hù)了數(shù)據(jù)隱私和安全，具有極其重要的研究意義，但目前該方面的研究相對(duì)較少。

基于參數(shù)優(yōu)化的學(xué)習(xí)策略主要以元學(xué)習(xí)的思想解決小樣本學(xué)習(xí)模型訓(xùn)練問題，目前主要以MAML算法為代表進(jìn)行擴(kuò)展研究，核心思想是如何設(shè)計(jì)元學(xué)習(xí)器在源任務(wù)間尋找可推廣的先驗(yàn)知識(shí)，在新的目標(biāo)任務(wù)中僅需少量樣本通過幾步訓(xùn)練即可快速訓(xùn)練基學(xué)習(xí)器。3 轉(zhuǎn)導(dǎo)圖小樣本學(xué)習(xí)方法

傳統(tǒng)歸納學(xué)習(xí)旨在從大量訓(xùn)練樣本中歸納學(xué)得通用模型用于預(yù)測未知數(shù)據(jù)。然而，小樣本學(xué)習(xí)本身樣本少，其樣本量不足以歸納出具有良好泛化能力的全局模型。為此，研究人員提出轉(zhuǎn)導(dǎo)學(xué)習(xí)方法，試圖通過局部有標(biāo)簽的訓(xùn)練樣本預(yù)測無標(biāo)簽的數(shù)據(jù)。在訓(xùn)練樣本不足時(shí)，可利用無標(biāo)簽數(shù)據(jù)補(bǔ)充標(biāo)簽數(shù)據(jù)信息的不足。轉(zhuǎn)導(dǎo)圖小樣本學(xué)習(xí)將支撐集和查詢集的樣本視為圖節(jié)點(diǎn)，并利用支持集和查詢集節(jié)點(diǎn)間的近鄰關(guān)系進(jìn)行聯(lián)合預(yù)測，可通過無標(biāo)簽數(shù)據(jù)補(bǔ)充標(biāo)簽信息的不足（如圖9所示）［50，51］。而歸納圖小樣本方法只根據(jù)支持集之間的關(guān)系學(xué)習(xí)通用模型來對(duì)每個(gè)查詢集樣本進(jìn)行單獨(dú)分類。

2019年，Liu等人［52］提出轉(zhuǎn)導(dǎo)傳播網(wǎng)絡(luò)（transductive pro-pagation network，TPN），模型主要包含特征嵌入、圖構(gòu)造、標(biāo)簽傳播和損失計(jì)算四個(gè)模塊（如圖10所示）。其中，圖構(gòu)造是一個(gè)關(guān)鍵步驟，其利用流形結(jié)構(gòu)為每個(gè)樣本以端到端的方式聯(lián)合學(xué)習(xí)一個(gè)自適應(yīng)的高斯核σ參數(shù)。具體流程為：a）利用深度神經(jīng)網(wǎng)絡(luò)CONV-4提取樣本的特征向量；b）利用支撐集和查詢集的并集構(gòu)造圖結(jié)構(gòu)，并通過高斯核函數(shù)度量樣本間的相似度作為近鄰圖的邊權(quán)值wij，如式（15）所示；c）通過標(biāo)簽傳播算法將標(biāo)簽從支撐集傳播到查詢集，如式（16）所示，該模型利用轉(zhuǎn)導(dǎo)推理的元學(xué)習(xí)框架一次性對(duì)整個(gè)測試集進(jìn)行分類，有效緩解了低數(shù)據(jù)量問題，但每當(dāng)有新的測試樣本加入時(shí)必須重新運(yùn)行模型，時(shí)間成本相對(duì)較高。此后，汪航等人［53］于2022年提出基于多尺度的標(biāo)簽傳播網(wǎng)絡(luò)，其核心思想是利用關(guān)系度量模塊度量不同尺度特征下的樣本相似度，并通過聚合不同尺度的相似性得分進(jìn)行標(biāo)簽傳播獲得分類結(jié)果。

其中：fθ（·）為嵌入函數(shù);σ為高斯核參數(shù)，通過構(gòu)造的圖網(wǎng)絡(luò)學(xué)習(xí);d（·，·）為歐氏距離。

其中：S=D－1/2WD－1/2表示歸一化的拉普拉斯矩陣， D=diag（dii=∑N×K+Mj=1wij）表示對(duì)角矩陣， W=［wij］（N×K+M）×（N×K+M）；α∈（0，1）為預(yù)先設(shè)定的權(quán)重系數(shù)；F為最終的預(yù)測標(biāo)簽；Y為初始標(biāo)簽集。

與TPN不同，Ma等人［54］提出了轉(zhuǎn)導(dǎo)關(guān)系傳播圖神經(jīng)網(wǎng)絡(luò)（transductive relation propagation network，TRPN），其采用圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）構(gòu)圖，旨在學(xué)習(xí)支撐—查詢樣本對(duì)間的關(guān)系信息，將樣本對(duì)間的關(guān)系視為圖節(jié)點(diǎn)（命名為關(guān)系節(jié)點(diǎn)），并利用已知的支撐集樣本間的關(guān)系（包括類內(nèi)共性和類間唯一性）來估計(jì)不同支撐—查詢對(duì)之間的鄰接關(guān)系，并為支撐—查詢樣本對(duì)生成判別關(guān)系。此外，進(jìn)一步將支撐—查詢對(duì)的偽關(guān)系引入輔助關(guān)系傳播，并設(shè)計(jì)了一種快速有效的轉(zhuǎn)導(dǎo)學(xué)習(xí)策略來充分利用不同查詢樣本間的關(guān)系信息。 Zhang等人［55］于2022年提出基于圖的轉(zhuǎn)換特征傳播和最優(yōu)類分配小樣本學(xué)習(xí)模型，為了解決嵌入網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)優(yōu)化方式（前者多類預(yù)訓(xùn)練，后者情景元訓(xùn)練）不同導(dǎo)致的特征分布不匹配的問題，提出將圖像特征向量轉(zhuǎn)換為近似高斯分布，并且利用支撐集和查詢集間的樣本關(guān)系計(jì)算最優(yōu)類分配矩陣來估計(jì)類中心以解決類分配不準(zhǔn)確的問題。

為充分利用不同任務(wù)的共享先驗(yàn)知識(shí)輔助識(shí)別未見過的類別，Liu等人［56］提出一種基于類原型分類的門控傳播網(wǎng)絡(luò)（gated propagation network，GPN），核心是學(xué)習(xí)如何在圖上的節(jié)點(diǎn)（即類原型）之間傳遞信息，以實(shí)現(xiàn)知識(shí)共享。具體為：給定圖結(jié)構(gòu)，每個(gè)類將該類原型作為消息發(fā)送給其近鄰，并會(huì)通過一個(gè)門模塊過濾來自不同發(fā)送者的信息，接收到多條消息的類需要結(jié)合不同的權(quán)重（通過多頭點(diǎn)積注意力機(jī)制學(xué)習(xí)得到）并進(jìn)行聚合操作，再用于更新相應(yīng)的類原型。由于注意力機(jī)制和門模塊都是跨任務(wù)共享的，且具有很好的泛化能力，可將其推廣到整個(gè)圖和未見過的任務(wù)。

上述方法綜合考慮樣本的圖像級(jí)關(guān)系，學(xué)習(xí)將類標(biāo)簽從支持集傳播到查詢集。2021年，Chen等人［57］提出一種顯式類級(jí)知識(shí)傳播網(wǎng)絡(luò)（explicit class knowledge propagation network，ECKPN），核心思想是通過學(xué)習(xí)跨模態(tài)知識(shí)表示，將類級(jí)上下文知識(shí)可視化為圖節(jié)點(diǎn)輔助圖像數(shù)據(jù)完成查詢樣本的推理預(yù)測。該網(wǎng)絡(luò)主要包括比較、擠壓和校準(zhǔn)三個(gè)模塊。具體為：a）可通過比較模塊探索樣本對(duì)間的關(guān)系，以學(xué)習(xí)樣本級(jí)圖中豐富的樣本表示；b）通過對(duì)樣本級(jí)圖中具有類似特征的樣本進(jìn)行聚類擠壓，以生成類級(jí)圖；c）采用校準(zhǔn)模塊對(duì)類間關(guān)系進(jìn)行顯式刻畫，以獲得更具判別性的類級(jí)知識(shí)表示；d）將類級(jí)圖與樣本級(jí)圖相結(jié)合，指導(dǎo)查詢樣本完成預(yù)測。

上述模型主要集中于賦予圖節(jié)點(diǎn)不同的表示以傳播不同的信息輔助預(yù)測無標(biāo)簽數(shù)據(jù)。小樣本學(xué)習(xí)本身樣本少，轉(zhuǎn)導(dǎo)圖小樣本無須學(xué)習(xí)通用模型，一定程度上緩解了樣本不足的壓力，但是研究人員發(fā)現(xiàn)現(xiàn)實(shí)生活中文本信息相比圖片樣本比較容易獲得，于是將文本信息引入圖結(jié)構(gòu)輔助訓(xùn)練取得不錯(cuò)的效果，可以思考如何利用跨模態(tài)信息提高轉(zhuǎn)導(dǎo)圖小樣本的模型精度。

4 實(shí)驗(yàn)分析

在小樣本圖像識(shí)別與分類任務(wù)中，廣泛使用的標(biāo)準(zhǔn)數(shù)據(jù)集是Omniglot［58］、miniImageNet［59］和tieredImageNet［60］。除此之外還有CUB［61］、CIFAR-100、Stanford Dogs和Stanford Cars數(shù)據(jù)集。接下來主要介紹Omniglot［58］、miniImageNet［59］和tiered-ImageNet［60］三個(gè)常用數(shù)據(jù)集、相關(guān)信息詳見表1。

miniImageNet是ImageNet［62］數(shù)據(jù)集的子集，包含100個(gè)類別，共有60 000個(gè)圖像。其中，每個(gè)類別有600個(gè)圖像，每個(gè)圖像的像素大小均被調(diào)整為84×84，訓(xùn)練集、驗(yàn)證集和測試集的類別數(shù)分別為64、16和20。

tieredImageNet是ImageNet［62］數(shù)據(jù)集更具有挑戰(zhàn)性的子集，共有608個(gè)類別，大約是miniImageNet數(shù)據(jù)集類別種類的6倍。每個(gè)圖像的像素大小均被調(diào)整為84×84，訓(xùn)練集、驗(yàn)證集和測試集的類別數(shù)分別為351、97和160。

Omniglot由50個(gè)不同字母中的1 623個(gè)手寫字符組成，每個(gè)字符都是由20個(gè)不同的人通過亞馬遜的Mechanical Turk［63］在線手工繪制，共有32 460個(gè)手寫字符圖像。每個(gè)圖像的像素大小均被調(diào)整為28×28，并且每個(gè)圖像均通過90°旋轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)，其中訓(xùn)練集有1 200個(gè)字符，測試集有 423個(gè)字符。

為了更好地分析小樣本學(xué)習(xí)模型的有效性，本文選取較為經(jīng)典的小樣本學(xué)習(xí)模型在miniImageNet和tieredImageNet數(shù)據(jù)集上進(jìn)行對(duì)比總結(jié)，結(jié)果如表2所示。所有對(duì)比算法均選取5-way 5-shot（即隨機(jī)選取五個(gè)類別，每個(gè)類別隨機(jī)選取五個(gè)樣本組成一個(gè)支撐集）和5-way 1-shot（即隨機(jī)選取五個(gè)類別，每個(gè)類別隨機(jī)選取一個(gè)樣本組成一個(gè)支撐集）的實(shí)驗(yàn)表現(xiàn)進(jìn)行對(duì)比分析。所有小樣本學(xué)習(xí)模型中，比較常用的嵌入函數(shù)有CONV-4、VGG、RestNet和WRN-28-10［64，65］。

分析表2實(shí)驗(yàn)數(shù)據(jù)可以發(fā)現(xiàn)：

a）對(duì)于采用不同嵌入函數(shù)的同一模型（比如表中TPN、TRPN、ECKPN、EPNET和DPGN模型），采用RestNet和WRN-28-10的模型精度優(yōu)于采用CONV-4的模型。這說明嵌入函數(shù)的選擇會(huì)影響最終的模型精度，為了保證實(shí)驗(yàn)對(duì)比的公平性和可信性，研究人員在進(jìn)行對(duì)比實(shí)驗(yàn)時(shí)應(yīng)盡量保證所對(duì)比的模型均采用相同嵌入函數(shù)。

b）對(duì)于小樣本模型，由于tieredImageNet數(shù)據(jù)集比mini-ImageNet數(shù)據(jù)集類別更多，數(shù)據(jù)量更大（表1），無論是5-way 5-shot還是5-way 1-shot，tieredImageNet數(shù)據(jù)集上的模型精度都比miniImageNet數(shù)據(jù)集上的高（對(duì)比表2中模型精度可以得出），這說明數(shù)據(jù)集的選擇對(duì)于模型訓(xùn)練也有很大的影響。

c）對(duì)于miniImageNet和tieredImageNet數(shù)據(jù)集，從表2可看到，5-shot的模型精度比1-shot的模型精度高，這說明支撐集數(shù)據(jù)量的設(shè)置對(duì)于模型訓(xùn)練也有一定的影響，通常適當(dāng)增加數(shù)據(jù)量可以幫助模型學(xué)得更多的特征從而提高模型分類效果。

d）基于度量學(xué)習(xí)的小樣本學(xué)習(xí)方法中，從表2可看到，Relation Net相比Matching Nets和Proto-Nets模型精度有一定的提升（特別是在1-shot情況下），說明采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)樣本間的匹配程度相比線性度量方式有一定優(yōu)勢(shì)，特別是對(duì)于樣本量更少的小樣本分類問題。

e）基于參數(shù)優(yōu)化的小樣本學(xué)習(xí)方法中，從表2可以看到，MAML的改進(jìn)算法（Meta-SGD、TAML和CAML）相比MAML均取得相對(duì)不錯(cuò)效果，這說明通過研究優(yōu)化模型訓(xùn)練過程中存在的問題，針對(duì)影響模型精度的不確定因素進(jìn)行改進(jìn)，有助提高模型穩(wěn)定性。

f）基于轉(zhuǎn)導(dǎo)圖的小樣本學(xué)習(xí)憑借圖結(jié)構(gòu)的直觀表現(xiàn)力等優(yōu)勢(shì)得到快速發(fā)展，相比另外兩個(gè)研究方向，無論1-shot還是5-shot在兩個(gè)數(shù)據(jù)集上的表現(xiàn)均最優(yōu)，提高幅度最高均在30%左右（1-shot或5-shot情況下各自最優(yōu)模型效果與最次模型效果的差距），說明基于轉(zhuǎn)導(dǎo)圖的方法是解決小樣本學(xué)習(xí)問題比較有效的研究方向之一。

g）dual TriNet、AM3和ECKPN方法均引入跨模態(tài)信息輔助訓(xùn)練，使模型精度有了較大程度的提升，其中ECKPN模型在表中所有模型中表現(xiàn)最優(yōu)。這說明引入跨模態(tài)信息輔助訓(xùn)練模型有助于提高小樣本學(xué)習(xí)模型精度，也是未來不錯(cuò)的研究方向之一。

5 結(jié)束語

隨著深度學(xué)習(xí)的發(fā)展，小樣本學(xué)習(xí)方法研究得到廣泛研究，但仍面臨一些挑戰(zhàn)（核心思想見表3）。

基于數(shù)據(jù)增強(qiáng)的小樣本學(xué)習(xí)方法旨在通過增強(qiáng)模型、算法或網(wǎng)絡(luò)來對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充或特征增強(qiáng)，本文根據(jù)是否需要額外的輔助信息將其分為監(jiān)督增強(qiáng)和無監(jiān)督增強(qiáng)兩個(gè)角度來介紹，該方向是公認(rèn)的解決小樣本學(xué)習(xí)問題的比較簡單和直接的方法，但在數(shù)據(jù)擴(kuò)充或特征增強(qiáng)的過程中難免會(huì)產(chǎn)生噪聲數(shù)據(jù)從而對(duì)模型訓(xùn)練產(chǎn)生負(fù)面影響。基于元學(xué)習(xí)的小樣本學(xué)習(xí)方法很好地解決由于訓(xùn)練樣本少而導(dǎo)致的模型過擬合問題。本文從基于度量學(xué)習(xí)和基于參數(shù)優(yōu)化兩個(gè)角度介紹該部分，基于度量學(xué)習(xí)的小樣本方法旨在通過線性或非線性度量方式度量樣本間的相似程度，但對(duì)于小樣本學(xué)習(xí)訓(xùn)練樣本較少的情況僅簡單通過距離評(píng)估樣本匹配程度會(huì)影響模型精度?；趨?shù)優(yōu)化的小樣本學(xué)習(xí)旨在通過元學(xué)習(xí)器學(xué)習(xí)跨任務(wù)通用的模型參數(shù)，使得基學(xué)習(xí)器在面對(duì)新任務(wù)時(shí)僅需少量樣本通過幾步訓(xùn)練即可獲得最優(yōu)模型。但其難點(diǎn)在于學(xué)習(xí)器的設(shè)計(jì)，應(yīng)提高對(duì)先驗(yàn)知識(shí)的利用，避免選擇性遺忘已學(xué)得的和任務(wù)相關(guān)的知識(shí)。基于轉(zhuǎn)導(dǎo)圖小樣本的學(xué)習(xí)方法旨在通過圖節(jié)點(diǎn)傳遞信息輔助預(yù)測，該方法無須構(gòu)建分類模型，但每次引入新數(shù)據(jù)點(diǎn)時(shí)，必須重新運(yùn)行所有圖結(jié)構(gòu)，導(dǎo)致時(shí)間復(fù)雜度較高。

通過梳理當(dāng)前小樣本學(xué)習(xí)的研究進(jìn)展，展望未來小樣本學(xué)習(xí)的幾個(gè)發(fā)展方向：

a）基于數(shù)據(jù)增強(qiáng)的小樣本學(xué)習(xí)是比較簡單且直接的解決訓(xùn)練樣本少的方法。監(jiān)督增強(qiáng)一般采用額外的詞向量或語義信息進(jìn)行數(shù)據(jù)增強(qiáng)，而無監(jiān)督增強(qiáng)更多是通過學(xué)習(xí)類內(nèi)變形信息進(jìn)行數(shù)據(jù)增強(qiáng)，利用輔助信息進(jìn)行數(shù)據(jù)增強(qiáng)使得生成的數(shù)據(jù)更易遷移到其他數(shù)據(jù)集。相比于圖像合成，特征增強(qiáng)生成的數(shù)據(jù)維度大大降低比生成圖像更容易，特征增強(qiáng)可以生成大量數(shù)據(jù)以增加數(shù)據(jù)多樣性，并且增強(qiáng)的特征具有可判別性和穩(wěn)定性。因此，未來方向可以更多考慮基于監(jiān)督的特征增強(qiáng)。并且現(xiàn)實(shí)世界中存在大量無標(biāo)注數(shù)據(jù)和跨模態(tài)信息（比如文本信息），其蘊(yùn)涵大量可遷移的知識(shí)，較圖片數(shù)據(jù)更易獲得，因此，利用無標(biāo)注數(shù)據(jù)或跨模態(tài)信息輔助特征增強(qiáng)是比較有潛力的研究方向之一。此外，目前已有研究將數(shù)據(jù)增強(qiáng)作為數(shù)據(jù)預(yù)處理然后結(jié)合小樣本度量學(xué)習(xí)模型進(jìn)行訓(xùn)練［30］，盡管取得很好的效果，但還不成熟，未來可以嘗試結(jié)合數(shù)據(jù)增強(qiáng)和小樣本分類模型優(yōu)化兩個(gè)方面來提高模型精度。

b）對(duì)于元學(xué)習(xí)而言，基于度量學(xué)習(xí)的小樣本學(xué)習(xí)發(fā)展相對(duì)較早，經(jīng)典的度量學(xué)習(xí)方法比如原型網(wǎng)絡(luò)、匹配網(wǎng)絡(luò)等多采用固定度量方式，但該方面的研究已相當(dāng)成熟，未來應(yīng)設(shè)計(jì)性能更好的非線性度量方式讓模型自己學(xué)會(huì)度量。而基于參數(shù)優(yōu)化的小樣本學(xué)習(xí)未來應(yīng)更好地設(shè)計(jì)元學(xué)習(xí)器，使其學(xué)習(xí)到更多或更有效的元知識(shí)來輔助訓(xùn)練基學(xué)習(xí)器以提高模型訓(xùn)練速度。

c）基于轉(zhuǎn)導(dǎo)圖的小樣本學(xué)習(xí)方法近幾年研究比較火熱。圖作為計(jì)算機(jī)的一種數(shù)據(jù)結(jié)構(gòu)，具有較強(qiáng)的可解釋性，比較直觀，未來可以考慮如何設(shè)計(jì)圖的網(wǎng)絡(luò)結(jié)構(gòu)、如何進(jìn)行標(biāo)簽傳播或節(jié)點(diǎn)間的信息傳遞。

深度學(xué)習(xí)的發(fā)展對(duì)小樣本學(xué)習(xí)有一定的推動(dòng)作用，然而深度學(xué)習(xí)更像是一個(gè)黑盒具有不可解釋性，未來應(yīng)考慮如何利用外部先驗(yàn)知識(shí)和內(nèi)部數(shù)據(jù)知識(shí)增強(qiáng)小樣本學(xué)習(xí)模型的可解釋性。此外，跨模態(tài)信息不僅用于數(shù)據(jù)增強(qiáng)，目前其在小樣本學(xué)習(xí)的各個(gè)研究領(lǐng)域均有應(yīng)用，并且取得了不錯(cuò)的效果，未來也可考慮如何利用跨模態(tài)信息輔助訓(xùn)練小樣本模型。

參考文獻(xiàn)：

[1]LeCun Y， Bengio Y， Hinton G. Deep learning［J］.Nature，2015，521（7553）：436-444.

［2]Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks［C］//Proc of International Confe-rence on Neural Information Processing Systems.2012：1106-1114.

［3]He Kaiming， Zhang Xiangyu， Ren Shaoqing， et al. Deep residual learning for image recognition［C］//Proc of IEEE International Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：770-778.

［4]Mikolov T， Tarafiát M， Burge L， et al. Recurrent neural network based language model［C］//Proc of Conference of International Speech Communication Association.2010.

［5]Sutskever I， Vinyals O， Le Q V. Sequence to sequence learning with neural networks［C］//Proc of International Conference on Neural Information Processing Systems.2014：3104-3112.

［6]Norouzzadeh m S， Nguyen A， Kosmala M， et al. Automatically identifying， counting， and describing wild animals in camera-trap images with deep learning［J］.Proc of the National Academy of Sciences，2018，115（25）：5716-5725.

［7]Gebru T， Krause J， Wang Yichun， et al. Using deep learning and google street view to estimate the demographic makeup of neighborhoods across the united states［J］.Proc of the National Academy of Sciences，2017，114（50）：13108-13113.

［8]Lu Jiang， Gong Pinghua， Ye Jieping， et al. Learning from very few samples：a survey［EB/OL］.（2020）.［2021-10-12］.https：//arxiv.org/abs/2009.02653.

［9]Miller E G， Matsakis N E， Viola P A. Learning from one example through shared densities on transforms［C］//Proc of IEEE International Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2000：464-471.

［10]Li Feifei， Robert F， Pietro P. A Bayesian approach to unsupervised one-shot learning of object categories［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2003：1134-1141.

［11]Koch G， Zemel R， Salakhutdinov R. Siamese neural networks for one-shot image recognition［C］//Proc of International Conference on Machine Learning.2015.

［12]Wang Yaqing， Yaoquanming. Few-shot learning： a survey［EB/OL］.（2019）.［2021-10-12］.http：//arxiv.org/abs/1904.05046v1.

［13]趙凱琳，靳小龍，王元卓.小樣本學(xué)習(xí)研究綜述［J］.軟件學(xué)報(bào)，2021，32（2）：349-369.（Zhao Kailin， Jin Xiaolong， Wang Yuanzhuo. Survey on few-shot learning［J］.Journal of Software，2021，32（2）：349-369.）

［14]安勝彪，郭昱岐，白宇，等.小樣本圖像分類研究綜述［J］.計(jì)算機(jī)科學(xué)與探索，2023，17（3）：511-532. （An Shengbiao， Guo Yuqi， Bai Yu， et al. Survey of few-shot image classification research［J］.Journal of Frontiers of Computer Science and Technology，2023，17（3）：511-532.）

［15]Lampert C H， Nickisch H， Harmeling S. Attribute-based classification for zero-shot visual object categorization［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2013，36（3）：453-465.

［16]Mikolov T， Sutskever I， Chen K， et al. Distributed representations of words and phrases and their compositionality［C］//Proc of International Conference on Neural Information Processing Systems.2013：3111-3119.

［17]Chatfield K， Simonyan K， Vedaldi A， et al. Return of the devil in the details： delving deep into convolutional nets［C］//Proc of International Conference on British Machine Vision Conference.2014.

［18]Zeiler M D， Fergus R. Visualizing and understanding convolutional networks［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2014：818-833.

［19]Shen Xiaoyong， Hertzmann A， Jia Jiaya， et al. Automatic portrait segmentation for image stylization［J］.Computer Graphics Forum，2016，35（2）：93-102.

［20]Chen Zitian， Fu Yanwei， Zhang Yinda， et al. Semantic feature augmentation in few-shot learning［C］//Proc of European Conference on Computer Vision，2018.

［21]Chen Zitian， Fu Yanwei， Zhang Yinda， et al. Multi-level semantic feature augmentation for one-shot learning［J］.IEEE Trans on Image Processing，2019，28（9）：4594-4605.

［22]Yu Xiaodong， Aloimonos Y. Attribute-based transfer learning for object categorization with zero/one training example［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2010：127-140.

［23]Lu Jiang， Li Jin， Yan Ziang， et al. Attribute-based synthetic network （ABS-Net）：learning more from pseudo feature representations［J］.Pattern Recognition，2018，80：129-142.

［24]Frederik P， Patrick J， Tassilo K， et al. Cross-modal hallucination for few-shot fine-grained recognition［EB/OL］.（2018）.［2021-10-12］.http：//arxiv.org/pdf/1806.05147.pdf.

［25]潘理虎，劉云，謝斌紅，等.基于語義增強(qiáng)的多特征融合小樣本關(guān)系抽?。跩］.計(jì)算機(jī)應(yīng)用研究，2022，39（6）：1663-1667.（Pan Lihu， Liu Yun， Xie Binhong， et al. Multi-feature fusion and few-shot relation extraction based on semantic enhancement［J］.Application Research of Computers，2022，39（6）：1663-1667.）

［26]呂天根，洪日昌，何軍，等.多模態(tài)引導(dǎo)的局部特征選擇小樣本學(xué)習(xí)方法［J］.軟件學(xué)報(bào)，2023，34（5）：2068-2082.（Lyu Tiangen， Hong Richang， He Jun， et al. Multimodal-guided local feature selection for few-shot learning［J］.Journal of Software，2023，34（5）：2068-2082.）

［27]Schwartz E， Karlinsky L， Feris R， et al. Baby steps towards few-shot learning with multiple semantics［J］.Pattern Recognition Letters，2022，160：142-147.

［28]Hariharan B， Girshick R. Low-shot visual recognition by shrinking and hallucinating features［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：3018-3027.

［29]Schwartz E， Karlinsky L， Shtok J， et al. Delta-encoder： an effective sample synthesis method for few-shot object recognition［C］//Proc of International Conference on Neural Information Processing Systems.2018：2845-2855.

［30]Wang Yuxiong， Girshick R， Hebert M， et al. Low-shot learning from imaginary data［C］//Proc of IEEE International Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：7278-7286.

［31]Hang Gao， Zheng Shou， Zareian A， et al. Low shot learning via covariance-preserving adversarial augmentation networks［C］//Proc of International Conference on Neural Information Processing Systems.2018：975-985.

［32]Tsendsuren M， Yu Hong. Meta networks［C］//Proc of International Conference on Machine Learning.2017：2554-2563.

［33]Vilalta R， Drissi Y. A perspective view and survey of meta-learning［J］.Artificial Intelligence Review，2002，18（2）：77-95.

［34]Oreshkin B， López P R， Lacoste A. TADAM： task dependent adaptive metric for improved few-shot learning［C］//Proc of International Conference on Neural Information Processing Systems.2018：721-731.

［35]Chen Xing， Rostamzadeh N， Oreshkin B， et al. Adaptive cross-modal few-shot learning［C］//Proc of International Conference on Neural Information Processing Systems.2019：4848-4858.

［36]Vinyals O， Blundell C， Lillicrap T， et al. Matching networks for one shot learning［C］//Proc of International Conference on Neural Information Processing Systems.2016：3630-3638.

［37]Snell J， Swersky K， Zemel R. Prototypical networks for few-shot learning［C］//Proc of International Conference on Neural Information Processing Systems.2017：4077-4087.

［38]Pennington J， Socher R， Manning C D. GloVe：global vectors for word representation［C］//Proc of International Conference on Empirical Methods in Natural Language Processing.2014：1532-1543.

［39]Li Xiaomeng， Yu Lequan， Fu Chiwing， et al. Revisiting metric learning for few-shot image classification［EB/OL］.（2019-07-06）.https：//arxiv.org/abs/1907.03123.

［40]Yang Fengyuan， Wang Ruiping， Chen Xilin. SEGA： semantic guided attention on visual prototype for few-shot learning［C］//Proc of IEEE/CVF Winter Conference on Applications of Computer Vision.2022：1586-1596.

［41]Sung F， Yang Yongxin， Zhang Li， et al. Learning to compare： relation network for few shot learning［C］//Proc of IEEE International Confe-rence on Computer Vision & Pattern Recognition.2018：1199-1208.

［42]孫統(tǒng)風(fēng)，王康，郝徐.面向小樣本學(xué)習(xí)的雙重度量孿生神經(jīng)網(wǎng)絡(luò)［J］.計(jì)算機(jī)應(yīng)用研究，2023，40（9）：2851-2855.（Sun Tongfeng，Wang Kang， Hao Xu. Dual-metric siamese neural network for few-shot learning［J］.Application Research of Computers，2023，40（9）：2851-2855.）

［43]韋世紅，劉紅梅，唐宏，等.多級(jí)度量網(wǎng)絡(luò)的小樣本學(xué)習(xí)［J］.計(jì)算機(jī)工程與應(yīng)用，2023，59（2）：94-101.（Wei Shihong， Liu Hongmei， Tang Hong， et al. Multilevel metric networks for few-shot learning［J］.Computer Engineering and Applications，2023，59（2）：94-101.）

［44]Finn C， Abbeel P， Levine S. Model-agnostic meta-learning for fast adaptation of deep networks［C］//Proc of International Conference on Machine Learning.2017：1126-1135.

［45]Li Zhenguo， Zhou Fengwei， Chen Fei， et al. Meta-SGD：learning to learn quickly for few shot learning［EB/OL］.（2017）.［2021-10-12］.http：//arxiv.org/abs/1707.09835.

［46]Zhou Fengwei， Wu Bin， Li Zhenguo. Deep meta-learning： learning to learn in the concept space［EB/OL］.（2018）.［2021-10-12］.http：//arxiv.org/pdf/1802.03596.

［47]Jiang Xiang， Havaei M， Varno F， et al. Learning to learn with conditional class dependencies［C］//Proc of International Conference on Learning Representations.2019.

［48]Jamal M A， Qi Guojun. Task agnostic meta-learning for few-shot learning［C］//Proc of IEEE International Conference on Computer Vision & Pattern Recognition.Piscataway，NJ：IEEE Press，2019：11719-11727.

［49]Huang Wenke， Ye Mang， Du Bo， et al. Few-shot model agnostic federated learning［C］//Proc of the 30th ACM International Confe-rence on Multimedia.New York：ACM Press，2022：7309-7316.

［50]Rodríguez P， Laradji I， Prouin A， et al. Embedding propagation： smoother manifold for few-shot classification［C］//Proc of European Conference on Computer Vision.2020：121-138.

［51]Qiao Limeng， Shi Yemin， Li Jia， et al. Transductive episodic-wise adaptive metric for few-shot learning［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：3602-3611.

［52]Liu Yanbin， Lee J， Park M， et al. Learning to propagate labels： transductive propagation network for few-shot learning［C］//Proc of International Conference on Learning Representations.2019.

［53]汪航，田晟兆，唐青，等.基于多尺度標(biāo)簽傳播的小樣本圖像分類［J］.計(jì)算機(jī)研究與發(fā)展，2022，59（7）：1486-1495.（Wang Hang， Tian Shengzhao， Tang Qing， et al. Few-shot image classification based on multi-scale label propagation［J］.Journal of Computer Research and Development，2022，59（7）：1486-1495.）

［54]Ma Yuqing， Bai Shihao， An Shan， et al. Transductive relation-pro-pagation network for few-shot learning［C］//Proc of International Joint Conference on Artificial Intelligence.2020：804-810.

［55]Zhang Ruiheng， Yang Shuo， Zhang Qi， et al. Graph-based few-shot learning with transformed feature propagation and optimal class allocation［J］.Neurocomputing，2022，470：247-256.

［56]Liu Lu， Zhou Tianyi， Long Guodong， et al. Learning to propagate for graph meta-learning［C］//Proc of International Conference on Neural Information Processing Systems.2019：1037-1048.

［57]Chen Chaofan， Yang Xiaoshan， Xu Changsheng， et al. ECKPN： explicit class knowledge propagation network for transductive few-shot learning［C］//Proc of IEEE International Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：6596-6605.

［58]Fort S. Gaussian prototypical networks for few-shot learning on Omniglot［EB/OL］.（2017）.［2021-10-12］.http：//arxiv.org/pdf/1708.02735.

［59]Malalur P， Jaakkola T. Alignment based matching networks for one-shot classification and open-set recognition［EB/OL］.（2019）.［2021-10-12］.http：//arxiv.org/pdf/1903.06538.

［60]Ren Mengye， Triantafillou E， Ravi S， et al. Meta-learning for semi-supervised few-shot classification［EB/OL］.（2018）.［2021-10-12］.http：//arxiv.org/abs/1803.00676.

［61]Yin Cui， Feng Zhou， Lin Yuanqing， et al. Fine-grained categorization and dataset bootstrapping using deep metric learning with humans in the loop［C］//Proc of IEEE Conference on Computer Vision & Pattern Recognition. Piscataway，NJ：IEEE Press，2016：1153-1162.

［62]Deng Jia， Dong Wei， Socher R， et al. ImageNet： a large-scale hierarchical image database［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2009：248-255.

［63]Michael B， Tracy K， Samuel D. Amazons mechanical turk［J］.Perspectives on Psychological Science，2011，6（1）：3-5.

［64]Rusu A A， Rao D， Sygnowski J， et al. Meta-learning with latent embedding optimization［C］//Proc of International Conference on Lear-ning Representations.2018.

［65]Sun Q， Liu Yaoyao， Chua T S， et al. Meta-transfer learning for few-shot learning［C］//Proc of IEEE International Conference on Compu-ter Vision & Pattern Recognition.Piscataway，NJ：IEEE Press，2019：403-412.

［66]Yang Ling， Li Liangliang， Zhang Zilun， et al. DPGN： distribution propagation graph network for few-shot learning［C］//Proc of IEEE Conference on Computer Vision & Pattern Recognition.Piscataway，NJ：IEEE Press，2020：13387-13396.

收稿日期：2023-02-25；修回日期：2023-04-10

基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目（62376114）；克拉瑪依科技發(fā)展計(jì)劃項(xiàng)目（2020CGZH0009）；福建省自然科學(xué)基金資助項(xiàng)目（2021J011004，2021J011002）；教育部產(chǎn)學(xué)研創(chuàng)新計(jì)劃資助項(xiàng)目（2021LDA09003）

作者簡介：潘雪玲（1992-），女，山東聊城人，博士研究生，CCF會(huì)員，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、小樣本學(xué)習(xí)；李國和（1965-），男，福建平和人，教授，博導(dǎo)，博士，主要研究方向?yàn)槿斯ぶ悄?、機(jī)器學(xué)習(xí)、知識(shí)發(fā)現(xiàn)等；鄭藝峰（1980-），男（通信作者），福建漳州人，講師，碩導(dǎo)，博士，主要研究方向?yàn)閿?shù)據(jù)挖掘、特征工程、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等（zyf@mnnu.edu.cn）.