魏秀參 徐書林 安 鵬 楊 健

1(南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210094)2(綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國家重點(diǎn)實(shí)驗(yàn)室(西安電子科技大學(xué)) 西安 710071)3(高維信息智能感知與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室(南京理工大學(xué)) 南京 210094)4(社會安全圖像與視頻理解江蘇省重點(diǎn)實(shí)驗(yàn)室(南京理工大學(xué)) 南京 210094)5(計(jì)算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室(南京大學(xué)) 南京 210023)6(中國海洋石油集團(tuán)有限公司信息技術(shù)中心 北京 100010)

多示例學(xué)習(xí)(multi-instance learning, MIL)是一種弱監(jiān)督學(xué)習(xí)，其在藥物活性檢測任務(wù)[1]中被自然提出，隨后被廣泛應(yīng)用于許多現(xiàn)實(shí)任務(wù)，例如圖像分類或檢索、人臉檢測、文本分類和計(jì)算機(jī)輔助醫(yī)療診斷等.傳統(tǒng)的單示例學(xué)習(xí)中一個(gè)示例會有一個(gè)或多個(gè)標(biāo)簽與之對應(yīng).與單示例學(xué)習(xí)不同：MIL中的訓(xùn)練單元——多示例包(bag)——由多個(gè)示例構(gòu)成，多示例包有對應(yīng)的標(biāo)簽，但包中的示例沒有與之對應(yīng)的標(biāo)簽.多示例學(xué)習(xí)系統(tǒng)的目標(biāo)是對已知標(biāo)簽的多示例包進(jìn)行學(xué)習(xí)后需要能夠?qū)ξ粗亩嗍纠M(jìn)行類別預(yù)測.

另一方面，現(xiàn)實(shí)生活中的許多系統(tǒng)需要不斷地從新類新樣本中學(xué)習(xí)新的知識，并且能夠很好地保存以前學(xué)習(xí)的舊類別和舊知識，即增量學(xué)習(xí)(incremental learning)所解決的問題.在過去的幾年里已經(jīng)開發(fā)了很多有效的多示例方法[2-12]解決多示例學(xué)習(xí)中示例缺失帶來的困難，也有很多方法被提出解決增量學(xué)習(xí)[13-29]的災(zāi)難性遺忘問題，然而很少有人提出有效方法來處理多示例學(xué)習(xí)下的類別增量問題.據(jù)我們所知，只有Mera等人[30]提出了一種以集成學(xué)習(xí)框架為基礎(chǔ)的方法Learn++.MIL解決此難題.Learn++.MIL使用了在傳統(tǒng)單示例學(xué)習(xí)中所提出的集成學(xué)習(xí)的策略去解決增量學(xué)習(xí)的遺忘問題，并簡單地使用早期的MIL-Boost[31]作為集成學(xué)習(xí)中的基分類器使之能夠處理多示例數(shù)據(jù).所以此方法并不能很好地解決復(fù)雜的面向增量分類的多示例學(xué)習(xí)問題.同時(shí)，傳統(tǒng)增量學(xué)習(xí)方法由于同樣僅針對單示例數(shù)據(jù)設(shè)計(jì)，無法處理多示例學(xué)習(xí)中一對多的樣本與示例的對應(yīng)，故而難以解決多示例學(xué)習(xí)中的訓(xùn)練樣本歧義而難以良好工作.

本文面向增量分類的多示例學(xué)習(xí)提出了一種基于注意力機(jī)制及原型分類器映射的多示例增量學(xué)習(xí)方法(multi-instance class-incremental learning, MICIL).我們的方法主要包含2個(gè)模塊，基于注意力機(jī)制的多示例匯合表示模塊和基于類別原型映射的多示例增量分類器生成模塊.前者將復(fù)雜的多示例包表示匯合成統(tǒng)一的特征向量，并且基于注意力機(jī)制給予包中關(guān)鍵示例(key instance)更高的匯合權(quán)重，這么做的動機(jī)是因?yàn)榘械年P(guān)鍵示例更能體現(xiàn)包的類別信息.在得到包的統(tǒng)一匯合向量表示之后，我們計(jì)算所有同類別多示例包表示的質(zhì)心而得到對應(yīng)的類別原型并存儲起來.對于后者，類別原型通過一個(gè)類別原型映射得到對應(yīng)的類別分類器，基于所有類別原型生成分類器進(jìn)行監(jiān)督學(xué)習(xí)可以學(xué)得增量階段新類別的知識，基于上一增量階段生成的舊類別分類器的預(yù)測結(jié)果對當(dāng)前階段生成的舊類別分類器的預(yù)測結(jié)果的知識蒸餾便可一定程度保留舊類別的知識.尤其是，使用類別原型我們可以用極小的存儲代價(jià)保留舊知識，并且由于每類只有一個(gè)類別原型使我們能很好地解決新舊數(shù)據(jù)的不平衡難題，由此得到無偏魯棒的類別分類器.通過上述框架，我們能夠很好地在類別增量環(huán)境下進(jìn)行多示例學(xué)習(xí)數(shù)據(jù)挖掘.

在實(shí)驗(yàn)中，我們在3類多示例多類別問題的數(shù)據(jù)集Text[32]，COREL[33]和NYU-v1[34]上進(jìn)行增量學(xué)習(xí)任務(wù)的實(shí)驗(yàn)驗(yàn)證.實(shí)驗(yàn)結(jié)果表明MICIL方法與其他方法相比取得了最優(yōu)的增量學(xué)習(xí)識別精度，包括最新針對多示例學(xué)習(xí)的增量學(xué)習(xí)方法[30]和目前最新的面向增量分類的多示例學(xué)習(xí)[29].

本文工作的主要貢獻(xiàn)包括3個(gè)方面:

1) 提出一種基于注意力機(jī)制及原型分類器映射的多示例增量學(xué)習(xí)方法MICIL，通過構(gòu)建和存儲多示例類別原型應(yīng)對多示例類別增量學(xué)習(xí)任務(wù).

2) 基于注意力機(jī)制的多示例匯合操作構(gòu)建了包含了多示例包顯著類別相關(guān)信息的統(tǒng)一特征表示；原型分類映射器能夠生成平衡無偏的分類器，并在知識蒸餾的作用下很好地保留舊類別相關(guān)信息.

3) 在3個(gè)不同任務(wù)的多示例數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果表明我們提出的MICIL方法能夠很好地解決多示例學(xué)習(xí)環(huán)境下的類別增量問題.

1 相關(guān)工作

MIL是機(jī)器學(xué)習(xí)中的一種弱監(jiān)督學(xué)習(xí)任務(wù)，其中一個(gè)標(biāo)記的包(bag)與多個(gè)未標(biāo)記的示例相關(guān)聯(lián).隨著MIL在文獻(xiàn)[1]中的開創(chuàng)性提議，許多MIL算法已經(jīng)被開發(fā)出來以幫助人們解決一系列實(shí)際應(yīng)用.近年來，得益于深度學(xué)習(xí)的發(fā)展，在傳統(tǒng)機(jī)器學(xué)習(xí)方法[2-4]的基礎(chǔ)上，許多基于神經(jīng)網(wǎng)絡(luò)的MIL方法[5-8]被提出并取得了不錯(cuò)的效果.

首個(gè)MIL研究[1]中給出了標(biāo)準(zhǔn)假設(shè)(standard assumption).在標(biāo)準(zhǔn)假設(shè)中，通常每個(gè)示例都有一個(gè)未知的類標(biāo)簽，將其標(biāo)識為正或負(fù)，當(dāng)且僅當(dāng)一個(gè)包至少含有一個(gè)正示例時(shí)這個(gè)包才被認(rèn)為是正的.隨著MIL研究的發(fā)展，這個(gè)假設(shè)并不適用于所有MIL問題.在某些情況下，需要一個(gè)廣義的假設(shè)：集體假設(shè)(collective assumption)被經(jīng)常使用，在這個(gè)假設(shè)中包的類標(biāo)簽是與該包中所有示例相關(guān)的一個(gè)屬性.總的來說，在集體假設(shè)中有2種方法可以獲取包的類別標(biāo)簽.一種是示例級方法[2,10]，該方法有一個(gè)示例級傳遞函數(shù)來獲取每個(gè)示例的分?jǐn)?shù)，然后通過一個(gè)MIL匯合(例如最大匯合和均值匯合)來獲得包的類標(biāo)簽.另一種是包級別方法[5,11]，它將多示例數(shù)據(jù)轉(zhuǎn)換為包級別的表示，然后在包級別表示上訓(xùn)練包級別分類器來預(yù)測包的類標(biāo)簽.在大多數(shù)情況下，包級別方法更顯靈活且更具競爭力.

本文我們研究面向增量分類的多示例學(xué)習(xí)，除了多示例學(xué)習(xí)還主要涉及到了增量學(xué)習(xí)的問題.增量學(xué)習(xí)意味著我們需要從隨時(shí)間出現(xiàn)的一系列數(shù)據(jù)中學(xué)習(xí)，已有的參考文獻(xiàn)中增量學(xué)習(xí)主要分為了3類：任務(wù)增量學(xué)習(xí)(task-incremental learning)、領(lǐng)域增量學(xué)習(xí)(domain-incremental learning)和類增量學(xué)習(xí)(class-incremental learning, CIL).本文中我們主要關(guān)注類增量學(xué)習(xí)：隨著時(shí)間的推移會出現(xiàn)新類別的數(shù)據(jù)且舊類別的數(shù)據(jù)不可見，我們需要學(xué)習(xí)一個(gè)統(tǒng)一的分類器去識別所有新舊類的組合.這是一個(gè)非?，F(xiàn)實(shí)的問題，在這個(gè)過程中主要面臨舊數(shù)據(jù)遺忘的挑戰(zhàn).

現(xiàn)有的解決CIL中遺忘挑戰(zhàn)的方法有2類主流，分別是基于數(shù)據(jù)的方法和基于參數(shù)的方法.基于數(shù)據(jù)的方法會在新數(shù)據(jù)中放入一部分舊數(shù)據(jù)，有的方法[13-15]試圖從舊數(shù)據(jù)中選擇一組代表性的樣本存儲備用，有的方法[16-18]使用合成的樣本來表示舊數(shù)據(jù)的分布.這時(shí)新舊任務(wù)之間的不平衡問題成為關(guān)鍵挑戰(zhàn).具體而言，文獻(xiàn)[13-14,19]通過減少對新數(shù)據(jù)的偏見來緩解這個(gè)問題.基于參數(shù)的方法中主要有基于正則化和基于結(jié)構(gòu)2種策略.前者基于顯式或隱式的正則化策略使用不同的指標(biāo)來識別和懲罰原始網(wǎng)絡(luò)重要參數(shù)的變化，例如彈性權(quán)重鞏固(elastic weight consolidatio)[21]、突觸智能(synaptic intelligence)[22]、記憶感知突觸(memory aware synapses)[23]和知識蒸餾(knowledge distillation)[24-25]等方法.后者[26-28]主要保持與舊類相關(guān)的網(wǎng)絡(luò)參數(shù)固定，并以不同形式分配新參數(shù)去學(xué)習(xí)新類的知識.

本文提出的基于注意力機(jī)制及原型分類器映射的多示例增量學(xué)習(xí)方法，動態(tài)地對類別增量多示例數(shù)據(jù)進(jìn)行學(xué)習(xí)和識別.不僅解決了多示例數(shù)據(jù)的統(tǒng)一表示和分類問題，還使其能夠在類別增量的環(huán)境下很好的運(yùn)行.該方法可以用極低的存儲代價(jià)很好地保留舊多示例類別信息，并對不平衡的增量新舊數(shù)據(jù)保持無偏和魯棒的效果.

2 本文方法

本節(jié)我們主要介紹針對類別增量數(shù)據(jù)挖掘任務(wù)的基于注意力機(jī)制及原型分類器映射的多示例增量學(xué)習(xí)方法MICIL.

MICIL方法流程如圖1所示.首先，針對多示例包(MIL bag)，通過基于注意力的多示例匯合操作將每個(gè)包表示為包層級特征表示，其中，注意力機(jī)制主要設(shè)計(jì)用于關(guān)注并增強(qiáng)包中的關(guān)鍵示例(key instance)，進(jìn)而突出包中的類別相關(guān)信息.之后，在每類的包層級特征表示基礎(chǔ)上將得到每類對應(yīng)的類別原型特征，該原型可包含類別級信息，并具有一定的判別能力與魯棒性.同時(shí)，由于類別原型每類僅有一個(gè)，可有效緩解增量學(xué)習(xí)中較為顯著的類別不平衡問題.基于類別原型，我們提出構(gòu)建以多層感知機(jī)為實(shí)現(xiàn)形式的類別分類器映射函數(shù)，將類別原型映射為類別分類器.與此同時(shí)，對于增量學(xué)習(xí)中的已知類別，我們將其類別原型進(jìn)行存儲，在推理時(shí)使用參數(shù)共享的類別分類器映射函數(shù)由存儲的類別原型獲取對應(yīng)的已知類別分類器.損失函數(shù)方面，對于增量學(xué)習(xí)新任務(wù)中的多示例包，一方面將其作用于已知類類別分類器得到已知類類別預(yù)測；另一方面作用于增量新任務(wù)的類別分類器得到對應(yīng)類別預(yù)測，對于該2種不同類別預(yù)測，將通過對應(yīng)的損失函數(shù)作為模型驅(qū)動進(jìn)行參數(shù)訓(xùn)練及優(yōu)化(詳見第2.4節(jié)內(nèi)容).

Fig. 1 Framework of our proposed MICIL method圖1 基于注意力機(jī)制及原型分類器映射的多示例增量學(xué)習(xí)方法(MICIL)示意圖

2.1 問題定義及符號表示

2.2 基于注意力機(jī)制的多示例包表示

根據(jù)2.1節(jié)描述，多示例包具有較為復(fù)雜的集合結(jié)構(gòu)，對于數(shù)據(jù)挖掘任務(wù)的后續(xù)處理構(gòu)成了一定挑戰(zhàn).如何構(gòu)建既能體現(xiàn)多示例包信息又形式統(tǒng)一簡單的包級別特征表示，是MICIL需要解決的首要問題.

此外，多示例包的另一特點(diǎn)為包中示例的無序性與數(shù)量不定性，即多示例包中示例的順序與數(shù)量對于包的類別標(biāo)記無任何影響.因此，我們提出基于注意力機(jī)制設(shè)計(jì)適應(yīng)多示例包形式的包級別匯合操作(MIL bag pooling)，用以將多示例包表示為單一的特征向量.

(1)

(2)

其中，αj為權(quán)重參數(shù)，其形式化為

(3)

其中，v和M為MICIL法注意力機(jī)制中的參數(shù)，可通過最終模型的損失函數(shù)進(jìn)行整體優(yōu)化.

可以發(fā)現(xiàn)，上述式(2)的注意力匯合操作可賦予包中示例不同重要程度的權(quán)重，因此包中反映類別信息的關(guān)鍵示例(key instance)可獲得較大權(quán)重，無關(guān)示例則對應(yīng)較小權(quán)重，如此便可更好地在Xi的包級別特征表示ui上體現(xiàn)類別相關(guān)信息.

2.3 基于類別原型映射的多示例增量分類器生成

(4)

其中，Ωc={k|yk=c}.類別原型表示具備較強(qiáng)泛化能力與魯棒性[35]，同時(shí)不同類別均只有一個(gè)類別原型，因此使用類別原型進(jìn)行后續(xù)操作可避免不同類別樣本不平衡帶來的影響與挑戰(zhàn).

(5)

MICIL推理時(shí)，即使用wc對多示例包Xi的包級別特征ui進(jìn)行類別預(yù)測：

(6)

2.4 損失函數(shù)及模型訓(xùn)練

針對2.1節(jié)的多示例學(xué)習(xí)類別增量設(shè)定，模型首先根據(jù)已知類別樣本集合Do，由式(4)得到類別原型特征表示并進(jìn)行存儲，同時(shí)基于式(5)獲得Do中類別的類別分類器，根據(jù)式(6)的操作可進(jìn)行模型訓(xùn)練獲得初始階段Do對應(yīng)的類別分類器映射函數(shù).

之后，待第t階段訓(xùn)練新任務(wù)及對應(yīng)訓(xùn)練集合Dt到來時(shí)，對Dt中的多示例包做式(4)同樣操作得到Dt中對應(yīng)的類別原型特征表示.隨后，對于存儲的已知類類別原型和Dt中對應(yīng)的類別原型，一同作用類別分類器映射函數(shù)fmapping(·;θmapping)，由式(5)分別可得已知類(old class)類別分類器{wo}及第t階段新任務(wù)(new task)中對應(yīng)類別的分類器{wn}.

(7)

其中，l為當(dāng)前階段的已知類別數(shù).另一方面，對于第t階段新任務(wù)中的類別預(yù)測損失則較為直觀.在第t階段，Dt中的樣本同時(shí)含有X及其真實(shí)標(biāo)簽y，故其損失函數(shù)可表示為常用的交叉熵?fù)p失：

(8)

總體而言，模型訓(xùn)練的損失函數(shù)為式(7)和式(8)的結(jié)合，即:

L=Lnew+λLold,

(9)

其中,λ為兩項(xiàng)的調(diào)節(jié)因子超參數(shù).

3 實(shí)驗(yàn)與結(jié)果分析

本節(jié)我們首先介紹實(shí)驗(yàn)數(shù)據(jù)集和實(shí)驗(yàn)設(shè)定，之后介紹主要的對比方法及匯報(bào)實(shí)驗(yàn)結(jié)果，最后對MICIL方法進(jìn)行消融實(shí)驗(yàn)并進(jìn)行討論分析.

3.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

我們分別在3類多示例多類別問題上進(jìn)行增量學(xué)習(xí)任務(wù)的實(shí)驗(yàn)驗(yàn)證：

1) 文本分類.文本分類是多示例學(xué)習(xí)的重要應(yīng)用領(lǐng)域，相關(guān)數(shù)據(jù)中Text[32]是較為常用的標(biāo)準(zhǔn)數(shù)據(jù)集.Text數(shù)據(jù)集共有12個(gè)文本類別，每個(gè)樣本對應(yīng)一篇學(xué)術(shù)論文，論文摘要和參考文獻(xiàn)中的摘要對應(yīng)了多示例包中的若干示例.TF-IDF[36]特征用來抽取摘要內(nèi)容的向量表示，此后，主成分分析(principal component analysis, PCA)[37]被用于該向量表示進(jìn)行去噪操作，最終示例的向量表示長度為300維.

2) 物體圖像識別.圖像識別亦是多示例學(xué)習(xí)的重要應(yīng)用任務(wù).本文我們在物體圖像識別(object-centric image recognition)和場景圖像分類(scene-centric image classification)這2類經(jīng)典的圖像識別任務(wù)進(jìn)行實(shí)驗(yàn)驗(yàn)證.在物體圖像識別任務(wù)中，我們選用多示例學(xué)習(xí)中常用的COREL數(shù)據(jù)集[33]進(jìn)行實(shí)驗(yàn).COREL共有10個(gè)圖像類別，每類含有100張384×256分辨率的圖像，其示例表示形式我們遵循文獻(xiàn)[36]中的設(shè)定，即將圖像劃分為6個(gè)大小相同的圖像塊，之后通過預(yù)訓(xùn)練的Alex-Net[38]抽取4096維特征，再經(jīng)過主成分分析降維到200維.

3) 場景圖像分類.該任務(wù)中我們選用NYU-v1[34]進(jìn)行實(shí)驗(yàn)驗(yàn)證.該數(shù)據(jù)集共含有2 284張640×480分辨率的圖像，對應(yīng)7個(gè)場景類別.與COREL不同的是，NYU-v1還提供了超分辨率圖像塊作為像素語義標(biāo)簽.我們根據(jù)語義標(biāo)簽產(chǎn)生相應(yīng)的圖像區(qū)域并將其作為示例進(jìn)行特征抽取[36]，與COREL類似，最終的示例特征為200維的經(jīng)PCA后的特征向量.

對于MICIL方法中的實(shí)現(xiàn)細(xì)節(jié)，式(1)中的特征嵌入函數(shù)我們將其實(shí)現(xiàn)為2層多層感知機(jī)，中間層使用ReLU作為激活函數(shù).式(5)中的類別原型映射函數(shù)我們將其實(shí)現(xiàn)為3層多層感知機(jī)，中間層使用ELU作為激活函數(shù).式(9)中的超參數(shù)設(shè)置為1.另對于增量學(xué)習(xí)設(shè)定而言，我們共設(shè)置4個(gè)階段，3個(gè)數(shù)據(jù)集的各階段類別劃分如表1所示:

Table 1 Categories Splitting in the Incremental Learning Setting表1 增量學(xué)習(xí)設(shè)定下的類別劃分

3.2 對比方法

本文主要選取代表性方法作為對比方法進(jìn)行實(shí)驗(yàn)驗(yàn)證與結(jié)果對比，簡述如下：

1) FineTune[39].直接基于MICIL方法中存儲的類別原型映射生成分類器，并在當(dāng)前輪次數(shù)據(jù)上進(jìn)行模型微調(diào)(fine-tuning)，但可以預(yù)計(jì)該方法會引起模型“災(zāi)難性遺忘”.

2) LwF[25].通過知識蒸餾進(jìn)行類別增量學(xué)習(xí).但LwF原方法不支持多示例形式數(shù)據(jù)，故實(shí)驗(yàn)時(shí)將多示例包通過簡單的平均匯合操作變換為單一向量后，使用LwF方法進(jìn)行模型學(xué)習(xí)與性能評估.

3) Coil[29].通過建模類別語義關(guān)系學(xué)習(xí)相關(guān)增量任務(wù)間關(guān)系，從而支持已知類和新增類別的共同識別.需指出的是，Coil方法同樣不支持多示例形式數(shù)據(jù)，類似LwF中的處理手段，依然使用平均匯合操作變換為單一向量后進(jìn)行實(shí)驗(yàn)評估.

4) Learn++.MIL[30].在集成學(xué)習(xí)框架下，通過動態(tài)選擇適合當(dāng)前輪次數(shù)據(jù)的多示例分類器并以此進(jìn)行更新來支持增量類別識別，該方法可直接處理多示例形式數(shù)據(jù).

3.3 主要結(jié)果

3個(gè)多示例、多類別增量任務(wù)的對比實(shí)驗(yàn)結(jié)果分別如表2、表3和表4所示:

Table 2 Comparison Results on Text Dataset表2 Text數(shù)據(jù)集上的結(jié)果對比

Table 3 Comparison Results on COREL Dataset表3 COREL數(shù)據(jù)集上的結(jié)果對比

Table 4 Comparison Results on NYU-v1 Dataset表4 NYU-v1數(shù)據(jù)集上的結(jié)果對比

其中，為了避免類別不平衡帶來的評估不準(zhǔn)確問題，我們選用macro-averageF1 score作為評測指標(biāo).我們對最好的結(jié)果進(jìn)行了加粗展示，從這3個(gè)表中可以看到我們的方法都取得了最好的結(jié)果.我們提出的MICIL方法比先前最好的方法在連續(xù)的增量階段中：在Text數(shù)據(jù)集上分別提升2.61%,4.68%和4.52%；在COREL數(shù)據(jù)集上分別提升2.62%,1.76%和3.29%；在NYU-v1數(shù)據(jù)集上分別提升2.91%和3.20%.

總體來看，我們方法幾乎在3個(gè)數(shù)據(jù)集上都隨著增量數(shù)據(jù)的增長能夠比對比方法展示更大的優(yōu)勢.這說明了我們的方法在多示例學(xué)習(xí)中可以更好地緩解舊數(shù)據(jù)遺忘的挑戰(zhàn).

3.4 消融實(shí)驗(yàn)及分析

如表5所示，為了驗(yàn)證提出的MICIL方法中2個(gè)核心模塊的有效性，我們在Text數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn).其中行2是我們的方法去掉注意力機(jī)制直接使用平均匯合操作的結(jié)果.對比行1和行2的結(jié)果，可以看到我們基于式(7)的知識蒸餾能夠有效地緩解舊數(shù)據(jù)遺忘的問題，在3個(gè)增量階段分別有16.67%,23.4%和30.95%的精度提升.對比行2和行3可以看出，我們提出的MICIL方法中注意力機(jī)制在3個(gè)增量階段分別帶來了4.36%,6.61%和6.05%的穩(wěn)定提升，這驗(yàn)證了挖掘包中體現(xiàn)類別相關(guān)信息的關(guān)鍵示例十分有益于MIL任務(wù).

Table 5 Ablation Studies on Text Dataset表5 基于Text數(shù)據(jù)集的消融實(shí)驗(yàn)結(jié)果

3.5 注意力機(jī)制的分析

如2.2節(jié)所述，為應(yīng)對多示例包的復(fù)雜集合結(jié)構(gòu)，我們采用基于注意力機(jī)制的包表示方法來刻畫多示例樣本.本節(jié)我們針對COREL數(shù)據(jù)集對其完成注意力機(jī)制后的示例權(quán)重進(jìn)行分布情況分析.

COREL數(shù)據(jù)集因每個(gè)樣本對應(yīng)6個(gè)示例(即圖像塊)，在注意力機(jī)制完成前，其示例權(quán)重αj=1/6；而完成注意力機(jī)制后，我們將所有示例權(quán)重組織為圖2的柱狀圖形式.

Fig. 2 Histogram of the attention weights in MICIL圖2 MICIL方法中的示例注意力權(quán)重分布.

可以看出，在經(jīng)過注意力機(jī)制的操作后，多示例包中的示例權(quán)重有了明顯的改變.大部分示例權(quán)重集中在0～0.15左右，該部分示例對應(yīng)多示例包中的類別無關(guān)示例.而可有效刻畫類別的關(guān)鍵示例則占比較小，但其權(quán)重值較大，多集中在0.75左右，這與多示例包中關(guān)鍵示例的自然觀察較為一致.

4 結(jié) 論

本文提出了一種基于注意力機(jī)制及原型分類器映射的多示例增量學(xué)習(xí)方法以應(yīng)對面向增量分類的多示例學(xué)習(xí)任務(wù).首先，多示例包匯合操作利用注意力機(jī)制關(guān)注并增強(qiáng)多示例包中的關(guān)鍵示例并將其匯合形成包層級特征表示.之后，包層級特征表示被用于生成對應(yīng)的包類別原型特征表示并且包類別原型特征將以極小的代價(jià)存儲下來用于緩解遺忘.然后，類別原型映射函數(shù)將所有新舊類別原型特征映射為對應(yīng)的類別分類器，以對所有新舊類進(jìn)行預(yù)測；同時(shí)使用知識蒸餾，將上一階段類別原型映射函數(shù)對舊類別生成的分類器的預(yù)測結(jié)果作為“教師”，指導(dǎo)當(dāng)前階段更新后的類別原型映射函數(shù)對舊類別生成的分類器的預(yù)測結(jié)果，使得類別原型映射函數(shù)能夠很好地保留舊類別的知識.通過注意力機(jī)制對多示例包類別信息的表示、交叉熵?fù)p失對增量類別的學(xué)習(xí)以及知識蒸餾對舊類的指導(dǎo)，我們的方法能夠很好地處理面向增量分類的多示例學(xué)習(xí)問題，并在3個(gè)不同任務(wù)的多示例數(shù)據(jù)集上驗(yàn)證了我們MICIL方法的有效性.

未來，考慮多示例包與類別原型關(guān)系的類別原型特征表示的構(gòu)造方法值得進(jìn)一步研究.