郭軍成, 萬 剛, 胡欣杰, 嚴(yán)發(fā)寶, 王 帥,*

(1. 航天工程大學(xué)航天信息學(xué)院, 北京 101416;2. 山東大學(xué)空間科學(xué)研究院空間電磁探測技術(shù)實(shí)驗(yàn)室, 山東 威海 264200;3. 中國人民解放軍66444部隊(duì), 北京 100042)

0 引 言

太陽射電爆發(fā)事件是射電天文最早研究的現(xiàn)象之一,射電爆發(fā)時(shí)的輻射頻率最高可達(dá)到上百兆赫茲,同時(shí)其輻射強(qiáng)度也可達(dá)到平靜太陽活動(dòng)時(shí)的上萬倍。由于太陽射電爆發(fā)時(shí)的輻射強(qiáng)度、輻射頻率和譜形等均與輻射源區(qū)的磁場、等離子體和能量離子的性質(zhì)有關(guān),使得對太陽射電爆發(fā)的有關(guān)觀測成為認(rèn)識空間天氣事件和太陽活動(dòng),特別是日冕物質(zhì)拋射和耀斑等太陽射電爆發(fā)過程的一種獨(dú)特和有效的診斷工具。太陽射電爆發(fā)時(shí),射電輻射的急劇增強(qiáng)會(huì)對電離層狀態(tài),以及通訊和導(dǎo)航等活動(dòng)產(chǎn)生顯著影響。此外在軍事方面,太陽射電爆發(fā)還可影響全球定位系統(tǒng)(global positioning system, GPS)的定位精度,減弱雷達(dá)監(jiān)視系統(tǒng)的分辨和目標(biāo)識別能力等。

太陽射電信號通常通過射電動(dòng)態(tài)頻譜儀和日像儀觀測。射電頻譜儀可以記錄在一定頻率范圍內(nèi)射電信號強(qiáng)度隨頻率和時(shí)間的變化,通常稱之為動(dòng)態(tài)頻譜。中國太陽射電寬帶動(dòng)態(tài)頻譜儀(solar broadband radio spectrometer, SBRS)在第23個(gè)太陽活動(dòng)周期間投入工作,通過將分量分光計(jì)安裝在北京、昆明和南京的不同天線上,SBRS可以全天候?qū)μ栠M(jìn)行觀測,也由此產(chǎn)生大量的射電頻譜數(shù)據(jù),而其中包含的太陽射電爆發(fā)數(shù)據(jù)卻少之又少,這對天文工作者開展后續(xù)研究造成了一定困難。隨著機(jī)器學(xué)習(xí)和人工智能技術(shù)在計(jì)算機(jī)視覺和天文學(xué)領(lǐng)域上的廣泛應(yīng)用,利用神經(jīng)網(wǎng)絡(luò)進(jìn)行射電頻譜圖像的自動(dòng)處理和分類識別已經(jīng)逐漸成為主流,并取得了一系列成果。2015年,Gu等首先使用PCA對太陽射電頻譜圖進(jìn)行降維,然后使用 SVM 對太陽射電進(jìn)行分類,這是首個(gè)關(guān)于太陽射電頻譜圖自動(dòng)分類的研究。2016年,Chen等人提出了用于太陽射電爆發(fā)分類的多模態(tài)深度學(xué)習(xí)方法,在學(xué)習(xí)的聯(lián)合表示的基礎(chǔ)上,對太陽射電爆發(fā)進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明,所提出的多模式學(xué)習(xí)網(wǎng)絡(luò)能夠有效地學(xué)習(xí)太陽射電譜的表示,提高分類精度。2018年，陳思思提出了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的太陽射電頻譜圖分類算法,該網(wǎng)絡(luò)采用了1×5和1×3卷積核代替了傳統(tǒng)的卷積核,避免了通道之間的干擾,最終爆發(fā)頻譜圖像取得了84.6%的TPR值。2019年,崔澤瀟采用將太陽射電爆發(fā)作為平靜太陽射電活動(dòng)噪聲的思想,將射電爆發(fā)的識別問題轉(zhuǎn)換為異常值檢測的問題。2020年,張巧曼首先利用CNN對槎山觀測站采集到的頻譜圖像進(jìn)行了分類識別,然后對太陽射電爆發(fā)事件進(jìn)行了定位檢測和處理分析。

針對太陽射電頻譜圖像的少樣本分類識別問題,本文分析了數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)等少樣本學(xué)習(xí)方法的局限性,提出了基于元學(xué)習(xí)和遷移學(xué)習(xí)的頻譜圖像分類算法。該方法利用MiniImageNet和Omniglot少樣本數(shù)據(jù)集作為源域數(shù)據(jù),將太陽射電頻譜數(shù)據(jù)集作為目標(biāo)域數(shù)據(jù);首先通過讓模型在源域數(shù)據(jù)集上進(jìn)行多任務(wù)的元知識學(xué)習(xí),然后將其學(xué)到的元知識遷移到目標(biāo)域的分類任務(wù)中,最終實(shí)現(xiàn)少樣本射電頻譜圖像的分類識別任務(wù)。實(shí)驗(yàn)結(jié)果證明,本文所提出的方法具有可行性。

1 元學(xué)習(xí)概述

依賴于大數(shù)據(jù)的支撐,近年來深度學(xué)習(xí)在人機(jī)交互、自動(dòng)駕駛、智能推薦和模式識別等領(lǐng)域都取得了不俗的成績。然而,由于深度神經(jīng)網(wǎng)絡(luò)包含的參數(shù)很多,需要海量的標(biāo)簽數(shù)據(jù)才能進(jìn)行有效訓(xùn)練,而在許多場景下,獲取大量的有標(biāo)簽數(shù)據(jù)是十分困難甚至是不現(xiàn)實(shí)的。與機(jī)器不同的是,人類并不需要大量的數(shù)據(jù)訓(xùn)練就可以實(shí)現(xiàn)快速地學(xué)習(xí)。比如,幼年時(shí)期的人類就可以實(shí)現(xiàn),僅僅通過一兩張某個(gè)動(dòng)物的照片便可以分辨出該類動(dòng)物。為了使得機(jī)器學(xué)習(xí)更加接近人類思維,真正邁向智能化,少樣本學(xué)習(xí)的概念應(yīng)運(yùn)而生。自2003年Li等人首次提出少樣本學(xué)習(xí)問題并利用貝葉斯框架對視覺對象進(jìn)行學(xué)習(xí)以來,少樣本學(xué)習(xí)技術(shù)日漸成熟，并發(fā)展形成了以基于數(shù)據(jù)增強(qiáng)的方法、基于遷移學(xué)習(xí)的方法和基于元學(xué)習(xí)的方法為代表的3類神經(jīng)網(wǎng)絡(luò)方法。

數(shù)據(jù)增強(qiáng)是解決深度學(xué)習(xí)模型訓(xùn)練過程中樣本不足問題的最簡單方法?；跓o監(jiān)督方式的數(shù)據(jù)增強(qiáng)是在已有的數(shù)據(jù)集基礎(chǔ)上采用縮放、旋轉(zhuǎn)、位移等仿射變換進(jìn)行數(shù)據(jù)的擴(kuò)增。這種基于幾何變換和圖像操作的方式可以在一定程度上解決數(shù)據(jù)量不足、模型過擬合的問題,但是其所增加的新樣本并未改變目標(biāo)特征,缺乏多樣性。生成模型是有監(jiān)督數(shù)據(jù)增強(qiáng)任務(wù)中最為關(guān)鍵的技術(shù)。生成模型不僅可以擬合高維數(shù)據(jù)分布,而且泛化能力更強(qiáng),生成圖像的質(zhì)量更高,但其訓(xùn)練過程不穩(wěn)定,容易出現(xiàn)梯度消失和彌散問題。總的來說,數(shù)據(jù)增強(qiáng)方法雖然簡單直接的增加了新的訓(xùn)練樣本,但是對于零樣本學(xué)習(xí)來說,并沒有從根本上解決少樣本學(xué)習(xí)的問題。

遷移學(xué)習(xí)旨在利用源任務(wù)中模型參數(shù)的先驗(yàn)分布知識來學(xué)習(xí)目標(biāo)任務(wù)的后驗(yàn)知識,從而實(shí)現(xiàn)將已經(jīng)學(xué)會(huì)的知識遷移到一個(gè)新的領(lǐng)域中。遷移學(xué)習(xí)的主要策略是通過在目標(biāo)域上繼續(xù)訓(xùn)練來微調(diào)源域預(yù)訓(xùn)練網(wǎng)絡(luò)的權(quán)重,但要求目標(biāo)領(lǐng)域和源域之間必須具有一定的關(guān)聯(lián)性,才能使得在源域數(shù)據(jù)中學(xué)到的知識和特征表示可以更好地幫助目標(biāo)域?qū)崿F(xiàn)模型的訓(xùn)練。此外,使用淺層的源域神經(jīng)網(wǎng)絡(luò)模型進(jìn)行復(fù)雜信息的篩選和特征表示對于領(lǐng)域間的知識遷移具有局限性。

元學(xué)習(xí)又稱學(xué)會(huì)學(xué)習(xí),是利用以往的知識經(jīng)驗(yàn)來指導(dǎo)新任務(wù)的學(xué)習(xí),使網(wǎng)絡(luò)具備學(xué)會(huì)學(xué)習(xí)的能力,也是解決少樣本學(xué)習(xí)問題常用的方法之一。元學(xué)習(xí)的本質(zhì)是增加學(xué)習(xí)器在多任務(wù)中的泛化能力。元學(xué)習(xí)對于任務(wù)和數(shù)據(jù)都需要采樣,因此學(xué)習(xí)到的元知識可以在少樣本的任務(wù)中迅速建立起映射。元學(xué)習(xí)中的“元”體現(xiàn)在網(wǎng)絡(luò)對于每個(gè)任務(wù)的學(xué)習(xí),通過不斷的適應(yīng)每個(gè)具體任務(wù),使網(wǎng)絡(luò)具備了一種抽象的學(xué)習(xí)能力。簡而言之,元學(xué)習(xí)主要是通過對多個(gè)歷史任務(wù)的學(xué)習(xí),得到一個(gè)較好的模型超參數(shù)、架構(gòu)、或者算法本身等元知識,使之能夠快速適用于新的任務(wù)。

按照模型所學(xué)習(xí)到的元知識,元學(xué)習(xí)目前的研究大致可以分為3個(gè)較為主流的方向:基于度量的元學(xué)習(xí)、基于優(yōu)化的元學(xué)習(xí)和基于模型的元學(xué)習(xí)。目前,基于度量的元學(xué)習(xí)分類算法有原型網(wǎng)絡(luò)、匹配網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)等。這類方法的目標(biāo)是獲取一個(gè)可以度量相似性的特征空間,隨后把這一特征空間用于新的任務(wù),即在元學(xué)習(xí)的框架下構(gòu)造一個(gè)可以端到端訓(xùn)練的分類器,實(shí)現(xiàn)對樣本間距離分布的建模。但是當(dāng)訓(xùn)練任務(wù)和測試任務(wù)相似性比較低的時(shí)候,模型效果受限。

基于模型的元學(xué)習(xí)方法是先學(xué)習(xí)任務(wù)的表示,再用任務(wù)的表示生成分類模型的部分參數(shù)。在訓(xùn)練時(shí),對于每一個(gè)任務(wù),神經(jīng)網(wǎng)絡(luò)按照順序依次處理數(shù)據(jù)集,在每一個(gè)時(shí)間步中都會(huì)有一個(gè)輸入改變模型的內(nèi)部狀態(tài),使得模型的內(nèi)部狀態(tài)可以捕捉相關(guān)的特定于任務(wù)的信息,并將這些信息用于生成另一個(gè)分類模型的部分參數(shù)?；谶@個(gè)思想,逐步發(fā)展形成了以MANNs(meta-learning with memory-augmented neural networks)、CNPs(conditional neural processes)和SNAIL(simple neural attentive meta-learner)為代表的少樣本學(xué)習(xí)方法。

基于優(yōu)化的元學(xué)習(xí)方法是通過對模型參數(shù)優(yōu)化來快速的學(xué)習(xí)新任務(wù)。不同于經(jīng)典的機(jī)器學(xué)習(xí)算法采用梯度下降來優(yōu)化模型參數(shù),基于優(yōu)化的元學(xué)習(xí)器既可以通過學(xué)習(xí)來優(yōu)化部分模型參數(shù),也可以對整個(gè)模型的優(yōu)化過程進(jìn)行學(xué)習(xí)。元學(xué)習(xí)通過在多任務(wù)下執(zhí)行參數(shù)優(yōu)化,使得模型可以在更廣泛的任務(wù)上學(xué)會(huì)快速學(xué)習(xí)新任務(wù)。但是,這種方法的計(jì)算量一般很大,需要更多計(jì)算資源,并且模型容易在訓(xùn)練任務(wù)上過擬合。這類方法包括MAML(model-agnostic meta-learning)、Meta-learner LSTM(long short-term memory)和LEO(Meta-learning with latent embedding optimization)等經(jīng)典算法。

如圖1所示,與一般的機(jī)器學(xué)習(xí)算法不同,元學(xué)習(xí)模型的基本訓(xùn)練單位為任務(wù)。為了區(qū)別概念,元學(xué)習(xí)中將訓(xùn)練過程定義為元訓(xùn)練階段,測試過程定義為元測試階段,相應(yīng)過程中的任務(wù)稱之為訓(xùn)練任務(wù)和測試任務(wù)。區(qū)別于一般神經(jīng)網(wǎng)絡(luò)端到端的訓(xùn)練方式,將每個(gè)任務(wù)中用于訓(xùn)練模型的數(shù)據(jù)集稱為支撐集,用于測試的數(shù)據(jù)集稱為查詢集。 其中,元測試階段所借助的數(shù)據(jù)稱之為源域數(shù)據(jù),元測試階段所要學(xué)習(xí)的少樣本數(shù)據(jù)稱之為目標(biāo)域數(shù)據(jù)。

需要注意的是,一般情況下源域和目標(biāo)域是沒有交集的。元學(xué)習(xí)所解決的是目標(biāo)域中樣本量少的問題,由于無法直接在目標(biāo)域的小樣本上進(jìn)行訓(xùn)練,所以借助了源域的數(shù)據(jù)進(jìn)行元知識的學(xué)習(xí)。在元測試階段,為了對元學(xué)習(xí)模型進(jìn)行泛化,每次訓(xùn)練都會(huì)從目標(biāo)域中隨機(jī)抽取個(gè)類別,每個(gè)類別個(gè)樣本作為支撐集,稱這種樣本抽取方式為N-way K-shot。與此同時(shí),為了保持元測試和元測試階段的一致性,元測試階段中源域每個(gè)任務(wù)的支撐集也保持相同的和。

2 基于優(yōu)化的元學(xué)習(xí)方法

如圖2所示,神經(jīng)網(wǎng)絡(luò)框架包括參數(shù)更新過程都可以視為學(xué)習(xí)算法,其中網(wǎng)絡(luò)架構(gòu)、初始化參數(shù)和更新規(guī)則都是可以人為設(shè)計(jì)的超參數(shù),因此不同的超參數(shù)往往意味著不同的學(xué)習(xí)算法?；趦?yōu)化的元學(xué)習(xí)方法可以通過讓機(jī)器在源域數(shù)據(jù)上自主學(xué)習(xí)到部分超參數(shù),再將學(xué)到的元知識遷移到目標(biāo)域數(shù)據(jù)中,實(shí)現(xiàn)目標(biāo)任務(wù)的元學(xué)習(xí)過程。

圖2 神經(jīng)網(wǎng)絡(luò)的梯度下降過程Fig.2 Gradient descent of neural network

2.1 MAML

2.1.1 基本思想

Finn等人提出了MAML模型,使得可以在少量樣本上,用少量的迭代步驟就可以獲得較好的泛化性能。同時(shí),模型容易微調(diào)也無需關(guān)心模型的形式,無需為元學(xué)習(xí)增加新的參數(shù),可以直接用梯度下降算法來訓(xùn)練學(xué)習(xí)器。MAML本質(zhì)上是學(xué)習(xí)任意標(biāo)準(zhǔn)模型的初始化參數(shù),并讓該模型能快速適配。采用一些更加適合遷移的具有泛化性的中間表達(dá),使得MAML可以適應(yīng)很多任務(wù)(分類、回歸、增強(qiáng)學(xué)習(xí)),并通過微調(diào)來獲得好的效果。

2.1.2 訓(xùn)練細(xì)節(jié)

MAML通過多任務(wù)的學(xué)習(xí),利用梯度下降算法讓模型自主學(xué)習(xí)到一個(gè)最好初始化參數(shù),并定義了一個(gè)損失函數(shù)()來評估所學(xué)到的初始化參數(shù)的好壞:

(1)

(2)

在不同的任務(wù)上進(jìn)行訓(xùn)練時(shí),按照梯度下降算法進(jìn)行更新:

(3)

(4)

213 算法流程

用于少樣本頻譜圖像分類任務(wù)的MAML算法的元測試過程如算法1所示。

214 與遷移學(xué)習(xí)的異同

2.2 Meta-learner LSTM

221 基本思想

在學(xué)習(xí)算法的梯度下降過程中,可以通過讓機(jī)器自主的學(xué)習(xí)一些關(guān)鍵部分,使得學(xué)習(xí)算法可以在經(jīng)過多個(gè)任務(wù)的訓(xùn)練之后,能夠快速的適應(yīng)few-shot的新任務(wù)。比如,通過學(xué)習(xí)初始化參數(shù)(initialization parameters),MAML和Retpile算法可以找到最適合測試任務(wù)的模型初始值,這個(gè)初始參數(shù)可以使得模型在新的任務(wù)上只需要少量數(shù)據(jù)便可以在支撐集上完成參數(shù)更新,并在查詢集上取得最優(yōu)的實(shí)驗(yàn)結(jié)果。而實(shí)際上,我們還可以對學(xué)習(xí)算法的梯度下降過程直接進(jìn)行學(xué)習(xí),使得模型在訓(xùn)練任務(wù)上完成訓(xùn)練之后,可以學(xué)到適應(yīng)于測試任務(wù)的參數(shù)更新方式。這個(gè)更新模型可以僅通過在測試任務(wù)上的少量數(shù)據(jù)就能使算法完成對任務(wù)模型參數(shù)的快速準(zhǔn)確更新,從而使模型在查詢集上取得不俗表現(xiàn)。

Meta-learner LSTM學(xué)習(xí)基于梯度下降的參數(shù)更新算法,采用LSTM表示元學(xué)習(xí)器,用其狀態(tài)表達(dá)目標(biāo)分類器的參數(shù)更新。該優(yōu)化算法最終學(xué)會(huì)如何在新的分類任務(wù)上,對分類器網(wǎng)絡(luò)進(jìn)行初始化和參數(shù)更新。同時(shí),模型考慮到了一個(gè)任務(wù)的短時(shí)知識和跨多個(gè)任務(wù)的長時(shí)知識信息,并使用記憶機(jī)制保存這種信息。

2.2.2 記憶單元和梯度下降

如圖3所示,作為記憶模型的LSTM一般由多個(gè)cell所構(gòu)成,每個(gè)cell部分都有3個(gè)輸入、-1和-1。

圖3 LSTM的內(nèi)部運(yùn)算結(jié)構(gòu)Fig.3 Internal operation structure of LSTM

在時(shí)刻,LSTM中的每個(gè)cell中都發(fā)生以下的輸入運(yùn)算:

(5)

定義輸入門:

(6)

遺忘門:

(7)

輸出門:

(8)

其中,是各個(gè)門的輸入權(quán)重,tanh和表示門控開關(guān)。每個(gè)cell同時(shí)也都輸出3個(gè)值、和。其中,是LSTM的輸出,是LSTM的各個(gè)cell之間的記憶存儲(chǔ)部分,是一個(gè)中間變量。在時(shí)刻,每個(gè)cell的輸出運(yùn)算表達(dá)為

=⊙-1+⊙

(9)

=⊙tanh()

(10)

=()

(11)

式中:⊙表示點(diǎn)積運(yùn)算。在梯度下降算法中,每個(gè)時(shí)刻的參數(shù)按照下面的規(guī)則進(jìn)行更新:

(12)

式中：表示更新步長；表示模型的損失函數(shù)。

(13)

更進(jìn)一步的,如果將遺忘門換成1,輸入門換成,那式(13)就和式(12)完全一致了。因此,可以將梯度下降算法視為LSTM的簡化版,并且在梯度下降算法中也存在輸入門和遺忘門,只不過和與一般LSTM中的值不一樣,是人為指定的1和學(xué)習(xí)率,是不需要通過訓(xùn)練去學(xué)習(xí)到的。

223 學(xué)習(xí)過程

通過對LSTM和梯度下降算法的參數(shù)更新過程進(jìn)行分析比較,元學(xué)習(xí)方法Meta-learner LSTM希望通過訓(xùn)練讓機(jī)器自動(dòng)地學(xué)習(xí)到動(dòng)態(tài)的輸入門和遺忘門,而不是固定不變的值(即學(xué)到一種新的優(yōu)化方法或者說是更新規(guī)則),以實(shí)現(xiàn)模型參數(shù)在少樣本學(xué)習(xí)任務(wù)上的快速優(yōu)化更新來達(dá)到好的效果。如圖4所示,具體來說,Meta-learner LSTM的訓(xùn)練過程要經(jīng)過以下幾個(gè)步驟:

(1) 首先,要給學(xué)習(xí)算法給定初始值,以及LSTM的輸入門和遺忘門的初始值, 在學(xué)習(xí)過程中稱LSTM為元學(xué)習(xí)者,稱整個(gè)學(xué)習(xí)算法為學(xué)習(xí)者;

(2) 用源域的個(gè)訓(xùn)練任務(wù)對元學(xué)習(xí)者進(jìn)行依次訓(xùn)練,對每個(gè)任務(wù)取出其支撐集和查詢集;

圖4 Meta-learner LSTM的訓(xùn)練過程示意圖Fig.4 Training process of Meta-learner LSTM

2.2.4 訓(xùn)練細(xì)節(jié)

輸入門在更新過程中,相當(dāng)于梯度下降算法中的學(xué)習(xí)率,但是不同于梯度下降算法中恒定不變,在LSTM的學(xué)習(xí)過程中是動(dòng)態(tài)的調(diào)整,使參數(shù)快速達(dá)到最優(yōu)。遺忘門的作用相當(dāng)于一個(gè)regularization,它會(huì)把前一個(gè)時(shí)刻算出來的參數(shù)進(jìn)行縮放,而這個(gè)縮小的比例也是LSTM在學(xué)習(xí)過程中不斷變化的,而不是在梯度下降算法中的固定值1。這樣做是為了防止更新參數(shù)時(shí)陷于局部最優(yōu)解中,從而無法做到有效優(yōu)化。

圖5 Meta-learner LSTM的梯度獨(dú)立性假設(shè)Fig.5 Gradient independence hypothesis of Meta-learner LSTM

一般的LSTM中含有多個(gè)cell,但在實(shí)際的訓(xùn)練過程中,為了簡化問題,此時(shí)的LSTM只有一個(gè)cell,而且所有的學(xué)習(xí)算法的參數(shù)都共用一個(gè)LSTM的參數(shù)來處理,這樣做有以下幾個(gè)好處:

(1) 合理的設(shè)置模型的尺寸和參數(shù)數(shù)量,使訓(xùn)練更加快速有效；

(2) 此時(shí)的LSTM和其他人為設(shè)計(jì)的參數(shù)更新算法(RMSProp、Adam)一樣,都是對所有的參數(shù)采用相同的更新規(guī)則；

(3) 在MAML和Reptile方法中,要求訓(xùn)練模型和測試模型的結(jié)構(gòu)保持一致。但在Meta-learner LSTM方法中,由于所有的參數(shù)都用同一個(gè)LSTM來更新, 所以訓(xùn)練和測試的模型結(jié)構(gòu)可以不一樣。

3 少樣本頻譜圖像分類實(shí)驗(yàn)

3.1 數(shù)據(jù)集介紹

3.1.1 MiniImageNet數(shù)據(jù)集

ImageNet是一個(gè)非常有名的大型視覺數(shù)據(jù)集,它的建立旨在促進(jìn)視覺識別研究。ImageNet為超過1 400萬張圖像進(jìn)行了注釋,而且給至少100萬張圖像提供了邊框。ImageNet包含2萬多個(gè)類別,比如:“氣球”“輪胎”和“狗”等類別,并且每個(gè)類別均有不少于500張圖像。由于訓(xùn)練ImageNet數(shù)據(jù)集需要消耗大量的計(jì)算資源。因此，在2016年,google DeepMind團(tuán)隊(duì)的Oriol等人在ImageNet的基礎(chǔ)上提取出了MiniImageNet數(shù)據(jù)集,并將其用于少樣本學(xué)習(xí)研究,自此MiniImageNet數(shù)據(jù)集成為了元學(xué)習(xí)領(lǐng)域應(yīng)用最為廣泛的數(shù)據(jù)集之一。MiniImageNet數(shù)據(jù)集包括100類60 000張彩色圖片,其中每類有600個(gè)樣本,每張圖片的規(guī)格不定,并按照4∶1的比例劃分訓(xùn)練集和測試集。

3.1.2 Omniglot數(shù)據(jù)集

Omniglot數(shù)據(jù)集也是元學(xué)習(xí)領(lǐng)域的基準(zhǔn)數(shù)據(jù)集之一,由50多種國際語言和虛構(gòu)字符集組成的,每種語言都包括15到40多種字母,每個(gè)字母都是由20個(gè)不同的人通過亞馬遜的 Mechanical Turk在線繪制的?？偟膩碚f,Omniglot數(shù)據(jù)集包括1 623種不同類型的字符,每種類型有20張大小為64×64的灰度圖片,并按照3:2的比例劃分訓(xùn)練集和測試集(見圖6)。

圖6 部分Omniglot數(shù)據(jù)集樣本Fig.6 Some Omniglot dataset samples

3.1.3 太陽射電頻譜數(shù)據(jù)集

太陽射電頻譜數(shù)據(jù)集中的頻譜圖像來源于SBRS,SBRS所采集的數(shù)據(jù)最終可以轉(zhuǎn)換為以采樣時(shí)間為橫軸,以采樣頻率為縱軸的灰度圖像,圖像的像素值代表太陽射電的輻射強(qiáng)度。2015年,Chen等人建立了太陽射電頻譜數(shù)據(jù)集,數(shù)據(jù)集中共有4 408張大小為240×2 520的射電頻譜圖像。這些圖像按照爆發(fā)形態(tài)被分別3類,其中Non-burst代表圖像中不存在太陽射電爆發(fā)現(xiàn)象,Burst代表圖像中存在太陽射電爆發(fā)現(xiàn)象,Calibration類型代表圖像受到觀測設(shè)備等因素的影響需要進(jìn)一步進(jìn)行校準(zhǔn),圖7展示了太陽射電頻譜數(shù)據(jù)集中的3種類型圖像。

圖7 太陽射電頻譜數(shù)據(jù)集中的3種類型圖像Fig.7 Three types images in solar radio spectrum dataset

如表1所示,原始的太陽射電頻譜數(shù)據(jù)集存在明顯的樣本數(shù)量不均衡問題,尤其是Calibration類型的圖像只有494張,這對于傳統(tǒng)深度學(xué)習(xí)網(wǎng)絡(luò)來說,很容易造成模型過擬合。為了與元學(xué)習(xí)任務(wù)相匹配,本文對數(shù)據(jù)集進(jìn)行了預(yù)處理,處理后的射電頻譜數(shù)據(jù)分布如表2所示。

表1 原始頻譜數(shù)據(jù)集樣本分布

3.2 實(shí)驗(yàn)方案設(shè)計(jì)

本文將頻譜圖像的分類問題轉(zhuǎn)換成少樣本有監(jiān)督學(xué)習(xí)任務(wù),通過元學(xué)習(xí)方法來提高爆發(fā)頻譜圖像的檢測精度。在實(shí)驗(yàn)中,采用MiniImageNet數(shù)據(jù)集和Omniglot數(shù)據(jù)集作為源域進(jìn)行元知識的學(xué)習(xí),然后將射電頻譜數(shù)據(jù)集作為測試任務(wù)的目標(biāo)域進(jìn)行知識的遷移,最后通過對比分析驗(yàn)證元學(xué)習(xí)方法在射電頻譜數(shù)據(jù)集上的有效性。

為了保持源域和目標(biāo)域的樣本形狀一致以及為了加速網(wǎng)絡(luò)訓(xùn)練速度,在輸入神經(jīng)網(wǎng)絡(luò)之前,將所有樣本的大小都縮放到了60×60。其中,MiniImageNet是三通道彩色圖像,Omniglot是單通道灰度圖像,為了使得各自學(xué)到的元知識更好的遷移到射電頻譜數(shù)據(jù)集上,在進(jìn)行實(shí)驗(yàn)時(shí)針對不同的源域數(shù)據(jù)對頻譜圖像的通道數(shù)進(jìn)行了相應(yīng)的調(diào)整。實(shí)驗(yàn)中所用的分類模型是采用4個(gè)3×3卷積層、池化層和全連接層構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)。在元測試階段,每個(gè)任務(wù)的支撐集都從源域的數(shù)據(jù)集中隨機(jī)選取3類樣本,每類樣本取1、5或20張圖像組成;查詢集是每類樣本取5張圖像進(jìn)行模型精度檢驗(yàn)和參數(shù)更新。在元測試階段,支撐集會(huì)在射電頻譜數(shù)據(jù)集中每次取3類樣本,每類樣本取和源域數(shù)據(jù)一致的圖像數(shù)量進(jìn)行領(lǐng)域遷移和參數(shù)更新;查詢集是每類取5張圖像進(jìn)行最后實(shí)驗(yàn)結(jié)果評估,即實(shí)驗(yàn)中設(shè)置=3,分別取1、5或20,=5。各實(shí)驗(yàn)數(shù)據(jù)集的具體參數(shù)如表2所示。

表2 各實(shí)驗(yàn)數(shù)據(jù)集的樣本參數(shù)

實(shí)驗(yàn)中,分別將MiniImageNet數(shù)據(jù)集和Omniglot數(shù)據(jù)集作為元學(xué)習(xí)的源域,將射電頻譜數(shù)據(jù)集作為目標(biāo)域,進(jìn)行了多組對照試驗(yàn)。基于MiniImageNet數(shù)據(jù)集,開展了分別取1、5和20時(shí),5個(gè)元學(xué)習(xí)模型的分類對比實(shí)驗(yàn),并設(shè)置迭代次數(shù)epoch為1 000;基于Omniglot數(shù)據(jù)集,開展了分別取1和5時(shí),兩個(gè)元學(xué)習(xí)模型的分類對比實(shí)驗(yàn),并設(shè)置迭代次數(shù)為500;所有實(shí)驗(yàn)的查詢集數(shù)量都為5;實(shí)驗(yàn)的硬件環(huán)境如表3所示,每個(gè)對比實(shí)驗(yàn)的具體參數(shù)如表4所示。

表3 實(shí)驗(yàn)所用的硬件環(huán)境配置

表4 各對比實(shí)驗(yàn)的具體參數(shù)

3.3 實(shí)驗(yàn)結(jié)果分析

表5和表6分別是MiniImageNet數(shù)據(jù)集和Omniglot數(shù)據(jù)集作為源域時(shí),少樣本頻譜圖像的分類精度,從中可以發(fā)現(xiàn):

(1) 在MiniImageNet數(shù)據(jù)集上,基于優(yōu)化的元學(xué)習(xí)方法(MAML、Meta-learner LSTM)在新領(lǐng)域樣本的適應(yīng)度和學(xué)習(xí)能力要明顯強(qiáng)于其他兩個(gè)基于度量的學(xué)習(xí)方法(Prototypical Nets、Matching Nets);隨著支撐集數(shù)量K的增加,每種模型的分類精度都在顯著提升;當(dāng)K 的數(shù)量達(dá)到20時(shí),Meta-learner LSTM的分類精度反超MAML,達(dá)到了最優(yōu)值91.60%;從表4的各模型參數(shù)中可以發(fā)現(xiàn),此時(shí)的MAML由于硬件內(nèi)存條件限制導(dǎo)致學(xué)習(xí)率和批大小參數(shù)未達(dá)到最優(yōu),從而使得=20時(shí)的精度較之=5時(shí)沒有提升,反而有一些下降。

表5 基于MiniImageNet數(shù)據(jù)集的少樣本頻譜圖像分類精度

表6 基于Omniglot數(shù)據(jù)集的少樣本頻譜圖像分類精度

(2) 在Omniglot數(shù)據(jù)集上,原型網(wǎng)絡(luò)的精度要普遍高于匹配網(wǎng)絡(luò),并且隨著支撐集數(shù)量的增加,精度明顯提高;受限于Omniglot數(shù)據(jù)集的各類樣本數(shù)量,Prototypical Nets模型在=5時(shí)取得了最優(yōu)的分類精度98.77%。

(3) 相較于MiniImageNet數(shù)據(jù)集,Omniglot數(shù)據(jù)集均為灰度圖像且樣本特征比較簡單,也與射電頻譜圖像較為相像。這使得在源域?qū)W到的元知識可以更加合理的遷移到目標(biāo)域中,從而可以取得更高的分類精度。

圖8和圖9分別描述了各個(gè)實(shí)驗(yàn)的訓(xùn)練過程和在MiniImageNet數(shù)據(jù)集上的訓(xùn)練時(shí)間對比,通過分析比較可以看出:

(1) 相比于度量的元學(xué)習(xí)方法,基于優(yōu)化的方法訓(xùn)練過程更穩(wěn)定,精度震蕩更小,但同時(shí)Prototypical Nets和Matching Nets的收斂速度卻更快。

(2) 因?yàn)镺mniglot數(shù)據(jù)集更加簡單,學(xué)習(xí)過程也更為訊速,只需要MniImageNet數(shù)據(jù)集一半的訓(xùn)練時(shí)間就可以達(dá)到收斂狀態(tài)。

(3) MAML是通過對初始參數(shù)的學(xué)習(xí)來快速適應(yīng)新任務(wù)的,因此其訓(xùn)練過程相較于其他基于優(yōu)化元學(xué)習(xí)方法更為復(fù)雜,所耗費(fèi)的時(shí)間代價(jià)也最大;同時(shí),隨著支撐集數(shù)量K的增加,時(shí)間開銷呈現(xiàn)翻倍式的增長。

圖8 各對比試驗(yàn)訓(xùn)練過程中的精度變化Fig.8 Accuracy changes during the training process of each comparative experiment

圖9 各模型在MiniImageNet數(shù)據(jù)集上的訓(xùn)練時(shí)間Fig.9 Training time of each model on MiniImageNet dataset

4 結(jié) 論

本文針對少樣本射電匹配圖像的分類任務(wù),提出了一種基于元學(xué)習(xí)和遷移學(xué)習(xí)相結(jié)合的分類方法。通過將MiniImageNet數(shù)據(jù)集和Omniglot數(shù)據(jù)集作為源域數(shù)據(jù),射電頻譜圖像作為目標(biāo)域數(shù)據(jù),采用基于優(yōu)化的元學(xué)習(xí)方法將學(xué)習(xí)到的源域知識遷移到目標(biāo)域中,實(shí)現(xiàn)對少樣本射電頻譜圖像的分類。通過設(shè)計(jì)多個(gè)對比實(shí)驗(yàn),證明了本文所提出方法的有效性和先進(jìn)性。