方維維，陳愛(ài)方，孟 娜，程虎威，王清立

(北京交通大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，北京 100044)

隨著物聯(lián)網(wǎng)及4G/5G技術(shù)的發(fā)展，位于網(wǎng)絡(luò)邊緣的設(shè)備數(shù)量呈爆炸式增長(zhǎng)趨勢(shì)。同時(shí)，網(wǎng)絡(luò)邊緣產(chǎn)生的數(shù)據(jù)量也在急劇增加。傳統(tǒng)云計(jì)算模式需要通過(guò)網(wǎng)絡(luò)將大量數(shù)據(jù)發(fā)送到云計(jì)算中心進(jìn)行處理，從而導(dǎo)致網(wǎng)絡(luò)傳輸帶寬的負(fù)載量增加，進(jìn)而造成推理時(shí)延增加，因此無(wú)法完成自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)等需要獲取實(shí)時(shí)檢測(cè)結(jié)果的計(jì)算任務(wù)。由于傳統(tǒng)云計(jì)算方式存在以上問(wèn)題，數(shù)據(jù)在網(wǎng)絡(luò)邊緣設(shè)備上進(jìn)行處理的邊緣計(jì)算新模式具有低延遲、低帶寬和高安全性等特點(diǎn)[1–2]，更適用于滿足目標(biāo)檢測(cè)應(yīng)用需求。

最早提出的目標(biāo)檢測(cè)模型如Viola–Jones（VJ）檢測(cè)器[3]等均是基于手工特征實(shí)現(xiàn)。隨著手工設(shè)計(jì)特征的模型性能趨于飽和，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)RCNN[4]、Fast R-CNN[5]和Faster R-CNN[6]開(kāi)始出現(xiàn)，其中Faster R-CNN以端到端的方式完成推理。為了加速模型推理，YOLO[7]系列算法被提出。為了獲得精度和速度的平衡，SSD[8]算法被提出。為取消錨框的使用，近年來(lái)研究人員提出了基于關(guān)鍵點(diǎn)檢測(cè)的算法CornerNet和CenterNet等[9]。傳統(tǒng)的目標(biāo)檢測(cè)之類(lèi)的深度學(xué)習(xí)方法通常建立在模型訓(xùn)練前所有數(shù)據(jù)均已完全獲得的前提條件下，然而在實(shí)際邊緣計(jì)算應(yīng)用中，新的數(shù)據(jù)樣本和新的數(shù)據(jù)類(lèi)別往往是逐漸產(chǎn)生、積累和獲得的。所以，傳統(tǒng)方法都會(huì)面臨一個(gè)挑戰(zhàn)—災(zāi)難性遺忘，即當(dāng)接收到新數(shù)據(jù)時(shí)，模型會(huì)趨向于擬合新數(shù)據(jù)而欠擬合舊數(shù)據(jù)。

為了解決上述挑戰(zhàn)，越來(lái)越多的研究開(kāi)始關(guān)注增量學(xué)習(xí)（incremental learning， IL）[10]這一主題。 增量學(xué)習(xí)方法能夠不斷地從新樣本中學(xué)習(xí)到新知識(shí)，同時(shí)也會(huì)保存大部分之前已學(xué)習(xí)的舊知識(shí)。目前的增量學(xué)習(xí)方法主要包括基于參數(shù)回放、基于動(dòng)態(tài)網(wǎng)絡(luò)和基于正則化3大類(lèi)?；趨?shù)回放的方法主要思想是從舊類(lèi)數(shù)據(jù)集中挑選出重要數(shù)據(jù)進(jìn)行保存，利用保存的部分舊類(lèi)數(shù)據(jù)和所有新類(lèi)數(shù)據(jù)完成模型的訓(xùn)練，例如：iCaRL[10]中先使用特征均值衡量舊類(lèi)數(shù)據(jù)的重要性，再保存靠近特征均值的舊類(lèi)數(shù)據(jù)；Wang[11]、Kemker[12]等在寬度或深度維度上擴(kuò)大模型或者訓(xùn)練多個(gè)模型，來(lái)增加模型的表示能力，以避免模型在新數(shù)據(jù)上的過(guò)擬合；為這些新的數(shù)據(jù)和類(lèi)別獨(dú)立地訓(xùn)練新的模型固然可行，但模型的部署將會(huì)給資源受限的邊緣設(shè)備帶來(lái)非常大的計(jì)算資源開(kāi)銷(xiāo)和管理維護(hù)成本?；趧?dòng)態(tài)網(wǎng)絡(luò)的方法為每個(gè)類(lèi)的執(zhí)行固定不同的前饋通路，例如，PackNet[13]算法中利用權(quán)重剪枝技術(shù)為每個(gè)類(lèi)挑選出最優(yōu)的前饋通路，但是需要進(jìn)行多次剪枝和重訓(xùn)練，導(dǎo)致計(jì)算成本增加。基于正則化的方法主要對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值更新施加約束，例如：LwF[14]、LwM[15]中使用知識(shí)蒸餾技術(shù)延緩舊類(lèi)知識(shí)的遺忘；Chen等[16]將增量學(xué)習(xí)方法用于目標(biāo)檢測(cè)領(lǐng)域。此類(lèi)基于正則化的方法采用的知識(shí)蒸餾技術(shù)中，學(xué)生模型只學(xué)習(xí)了教師模型最后的logits知識(shí)，而教師模型的中間層特征圖的知識(shí)大部分無(wú)法學(xué)習(xí)到，這使得大模型無(wú)法部署或部署在邊緣設(shè)備上無(wú)法獲得好的性能。

因此，針對(duì)上述問(wèn)題及輸入數(shù)據(jù)樣本成批更新替換且邊緣設(shè)備硬件資源受限的應(yīng)用場(chǎng)景，本文提出了一種高效的基于多中間層知識(shí)蒸餾的增量學(xué)習(xí)方法ILMIL。首先，ILMIL將在舊數(shù)據(jù)上訓(xùn)練好的模型權(quán)重遷移到教師網(wǎng)絡(luò)，并將壓縮后的模型作為學(xué)生網(wǎng)絡(luò)。其次，教師網(wǎng)絡(luò)通過(guò)設(shè)計(jì)的存儲(chǔ)多個(gè)網(wǎng)絡(luò)中間層知識(shí)的MFRRK蒸餾指標(biāo)來(lái)訓(xùn)練學(xué)生網(wǎng)絡(luò)，最終得到一個(gè)存儲(chǔ)友好的高性能學(xué)生模型。該方法可在有效降低模型計(jì)算和存儲(chǔ)開(kāi)銷(xiāo)的前提下，緩解已有知識(shí)的災(zāi)難性遺忘現(xiàn)象，并維持可接受的推理精度。

1 ILMIL方法

1.1 總體流程

本文使用的目標(biāo)檢測(cè)模型是基于VGG16[17]的Faster R-CNN，原因如下：1）實(shí)現(xiàn)了端到端的檢測(cè)流程，在兩階段目標(biāo)檢測(cè)模型中具有較高的檢測(cè)速度；2）相比于YOLO和SSD等常用模型，具有較高的檢測(cè)精度；3）其區(qū)域建議網(wǎng)絡(luò)（region proposal network，RPN）設(shè)計(jì)包含有目標(biāo)定位信息，有助于緩解增量學(xué)習(xí)過(guò)程中舊類(lèi)知識(shí)的遺忘。

圖1展示了本文提出的ILMIL方法的總體結(jié)構(gòu)。本文采用“教師–學(xué)生（T–S）”知識(shí)蒸餾架構(gòu)[18]，數(shù)據(jù)集劃分為舊類(lèi)Do和新類(lèi)Dn，其中，舊類(lèi)數(shù)據(jù)集的標(biāo)簽中僅含有舊類(lèi)目標(biāo)Co，新類(lèi)數(shù)據(jù)集的標(biāo)簽中僅含有新類(lèi)目標(biāo)Cn，且Co∩Cn=?。使用Do訓(xùn)練得到教師模型，將其復(fù)制一份得到初始的學(xué)生模型。在增量學(xué)習(xí)過(guò)程中，使用Dn訓(xùn)練學(xué)生模型，同時(shí)，教師模型的指導(dǎo)降低其對(duì)舊知識(shí)的遺忘速度，最終使得學(xué)生模型可以識(shí)別所有的目標(biāo)C=Co∪Cn。如圖1所示，一般情況下該增量學(xué)習(xí)過(guò)程可通過(guò)步驟①、②和⑤完成。如考慮到邊緣設(shè)備的資源，對(duì)目標(biāo)檢測(cè)模型的執(zhí)行速度和模型大小有進(jìn)一步的要求，則可選擇在獲得教師模型后進(jìn)行適度的剪枝壓縮，即通過(guò)步驟①、③、④和⑤完成。

圖1 ILMIL方法概述Fig.1 Overview of the ILMIL approach

1.2 知識(shí)蒸餾指標(biāo)和方法設(shè)計(jì)

1.2.1 知識(shí)蒸餾指標(biāo)

本文提出一種新的知識(shí)蒸餾指標(biāo)MFRRK（multilayer feature map, RPN and RCN knowledge），其融合了多個(gè)中間層的特征圖信息、RPN，以及分類(lèi)和回歸網(wǎng)絡(luò)（classification and regression network，RCN）。在現(xiàn)有的文獻(xiàn)[17]研究中，將Faster R-CNN特征提取模塊VGG16的卷積層部分劃分為Stage1、Stage2、Stage3、Stage4和Stage5。在增量學(xué)習(xí)中，教師模型中間層的特征圖包含了大量的舊類(lèi)信息，通過(guò)最小化學(xué)生模型和教師模型特征圖之間的差異，可幫助學(xué)生模型有效地保留舊類(lèi)知識(shí)，因此，將特征提取模塊的特征圖信息作為蒸餾知識(shí)所考慮的指標(biāo)之一。對(duì)于不同深度的特征圖，提取出的信息側(cè)重點(diǎn)不同，其中：越靠近圖片輸入層的特征圖越關(guān)注具體的圖像細(xì)節(jié)特征，比如紋理特征；越遠(yuǎn)離輸入層的特征圖越關(guān)注圖像的語(yǔ)義信息，即抽象信息。所以，與傳統(tǒng)相關(guān)知識(shí)蒸餾技術(shù)[14,16]不同的是，本文在選取該部分指標(biāo)時(shí)，除選取Stage5模塊的輸出特征圖外，還選取了Stage4模塊的輸出特征圖。通過(guò)向教師模型學(xué)習(xí)不同層次的特征圖知識(shí)，使學(xué)生模型可以學(xué)習(xí)到舊類(lèi)目標(biāo)的細(xì)節(jié)信息和語(yǔ)義信息，從而緩解學(xué)生模型對(duì)舊類(lèi)知識(shí)的遺忘現(xiàn)象。與現(xiàn)有的利用知識(shí)蒸餾完成增量學(xué)習(xí)方法[13,19]相同的是，本文采用的知識(shí)蒸餾方法也使用了RPN和RCN的輸出信息，其中：RPN包含了目標(biāo)建議；RCN針對(duì)每一個(gè)目標(biāo)建議，再給出類(lèi)別評(píng)分和空間位置調(diào)整向量。

1.2.2 知識(shí)蒸餾方法

式中，T4、T5和S4、S5分別為教師網(wǎng)絡(luò)T和學(xué)生網(wǎng)絡(luò)S的Stage4和Stage5的輸出特征圖。

式（2）和（3）中：令*號(hào)代表soft和hard，分類(lèi)損失L*–cls均為交叉熵?fù)p失，如式（5）所示；回歸損失L*–reg均為平滑L1損失，如式（6）所示。

2.整合。課程整合是超越不同知識(shí)體系，以關(guān)注共同要素的方式安排學(xué)習(xí)的課程開(kāi)發(fā)活動(dòng)，目的是減少知識(shí)的分割和學(xué)科間的隔離，把受教育者所需要的不同知識(shí)體系統(tǒng)一聯(lián)合起來(lái)，傳授對(duì)人類(lèi)和環(huán)境的連貫一致的看法。課程整合的方法有開(kāi)發(fā)關(guān)聯(lián)課程和跨學(xué)科課程兩種。教學(xué)中，筆者主要采用了開(kāi)發(fā)跨學(xué)科課程。如周杰倫的《青花瓷》就可以與相關(guān)美術(shù)、語(yǔ)文內(nèi)容整合，通過(guò)美術(shù)作品感受青花瓷的曼妙和美麗，通過(guò)語(yǔ)文朗讀以及理解感受歌詞的魅力和意境。

式中，p和q分別為兩個(gè)離散概率分布，t和v分別為兩組不同的目標(biāo)框位置標(biāo)注，m和n分別為類(lèi)別和目標(biāo)框的總數(shù)，smoothL1()表達(dá)式為：

1.3 基于知識(shí)蒸餾的模型訓(xùn)練流程

如圖1所示，為了在原有的舊類(lèi)知識(shí)基礎(chǔ)上融入新的知識(shí)，同時(shí)避免災(zāi)難性遺忘，基于第1.2節(jié)中定義的指標(biāo)和方法進(jìn)行增量模型訓(xùn)練，流程如下：

1）訓(xùn)練教師模型T。與舊類(lèi)數(shù)據(jù)集相對(duì)應(yīng)，教師模型的輸出層神經(jīng)元個(gè)數(shù)為|Co|+1，其中，|Co|為舊類(lèi)目標(biāo)的個(gè)數(shù)，“1”為背景類(lèi)。將訓(xùn)練完畢后的以上模型作為教師模型T和初始的學(xué)生模型。

2）構(gòu)建學(xué)生模型S。將拷貝得到的學(xué)生模型輸出層神經(jīng)元個(gè)數(shù)修改為C+1，其中，C為總目標(biāo)數(shù)量，“1”表示背景類(lèi)。隨機(jī)初始化輸出層中新添加神經(jīng)元的權(quán)重。修改后的學(xué)生模型S將參與蒸餾訓(xùn)練。

3）增量訓(xùn)練?；?）中的T和2）中的S構(gòu)成T–S知識(shí)蒸餾架構(gòu)，進(jìn)行第1.2.2節(jié)中提出的蒸餾方法完成增量模型訓(xùn)練。

1.4 結(jié)合剪枝壓縮的模型增量訓(xùn)練流程

通過(guò)第1.3節(jié)所述增量訓(xùn)練流程所得到的學(xué)生模型的總體計(jì)算和存儲(chǔ)開(kāi)銷(xiāo)與原教師模型幾乎相同，避免了獨(dú)立訓(xùn)練和使用多個(gè)檢測(cè)不同種類(lèi)目標(biāo)的模型所帶來(lái)的較高資源開(kāi)銷(xiāo)。但是，邊緣側(cè)設(shè)備往往資源較為受限。為有效降低推理過(guò)程中的計(jì)算和存儲(chǔ)開(kāi)銷(xiāo)，可在知識(shí)蒸餾前對(duì)教師模型執(zhí)行基于剪枝技術(shù)的壓縮操作，即圖1中的步驟③。

本文在模型壓縮階段使用的是基于L1范數(shù)的通道剪枝算法[20]，主要原因如下：1）通道剪枝屬于結(jié)構(gòu)化剪枝，其實(shí)現(xiàn)不依賴于任何稀疏卷積計(jì)算庫(kù)和專門(mén)設(shè)計(jì)的硬件；2）實(shí)現(xiàn)較為簡(jiǎn)單，表征通道重要性的L1范數(shù)值可以直接通過(guò)計(jì)算獲得，無(wú)需額外操作；3）該剪枝算法可以在壓縮的同時(shí)，有效地維持原模型的推理精度[20]。

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境

使用Python 3.6.9開(kāi)發(fā)語(yǔ)言在PyTorch 1.1.0深度學(xué)習(xí)框架上進(jìn)行模型構(gòu)建和實(shí)驗(yàn)，選擇PASCAL VOC 2007作為數(shù)據(jù)集，該數(shù)據(jù)集共包含了20個(gè)類(lèi)別的圖像數(shù)據(jù)。訓(xùn)練過(guò)程中，使用了隨機(jī)梯度下降法（SGD）作為反向傳播算法，SGD的動(dòng)量為0.9，初始學(xué)習(xí)率為0.000 1。在對(duì)未壓縮模型的增量訓(xùn)練中，共迭代20輪次，其中，每迭代10輪次，學(xué)習(xí)率下降為當(dāng)前的0.1倍；在對(duì)壓縮后模型的增量訓(xùn)練中，共迭代30輪次，其中，每迭代5輪次，學(xué)習(xí)率下降為當(dāng)前的0.5倍。本文采用mAP（mean average precision）[21]衡量模型準(zhǔn)確度，采用FLOPS（floating point operations per second）衡量模型的計(jì)算量。

2.2 對(duì)未壓縮模型的增量訓(xùn)練

為了驗(yàn)證本文方法在新類(lèi)出現(xiàn)時(shí)的有效性，設(shè)置了不同的實(shí)驗(yàn)，其中涉及到的實(shí)驗(yàn)組別及訓(xùn)練方法含義如表1所示。

表1 實(shí)驗(yàn)組別Tab.1 Experiment groups

1）單次增加一個(gè)類(lèi)

為了驗(yàn)證本文提出的方法在單次增加一個(gè)新類(lèi)別時(shí)的有效性，一次性使用前19個(gè)類(lèi)訓(xùn)練教師網(wǎng)絡(luò)，再加入第20個(gè)類(lèi)進(jìn)行訓(xùn)練。圖2展示了未壓縮模型單次增加一個(gè)類(lèi)的mAP的對(duì)比實(shí)驗(yàn)結(jié)果。如圖2所示：對(duì)學(xué)生模型微調(diào)后，舊類(lèi)的mAP從70.8降到18.4。與其他指標(biāo)和方法對(duì)比，本文提出的增量學(xué)習(xí)方法在舊類(lèi)別目標(biāo)和總目標(biāo)上均維持了最高的mAP，降低了災(zāi)難性遺忘問(wèn)題對(duì)舊類(lèi)別的影響，同時(shí)獲得了較高的新類(lèi)別mAP。

圖2 單次增加一個(gè)類(lèi)的實(shí)驗(yàn)結(jié)果Fig.2 Experimental results of adding a class

2）單次增加多個(gè)類(lèi)

圖3展示了未壓縮模型單次增加多個(gè)類(lèi)的mAP的對(duì)比實(shí)驗(yàn)結(jié)果。如圖3所示，未進(jìn)行知識(shí)蒸餾的訓(xùn)練中舊類(lèi)的mAP從72.1降為7.2。本文提出的增量學(xué)習(xí)方法得到的實(shí)驗(yàn)結(jié)果在總目標(biāo)的mAP結(jié)果上達(dá)到了最優(yōu)，同時(shí)在舊類(lèi)和新類(lèi)上的檢測(cè)mAP也優(yōu)于絕大多數(shù)方法，驗(yàn)證本文提出的方法在單次增加多個(gè)新類(lèi)別時(shí)的有效性。

圖3 單次增加多個(gè)類(lèi)的實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of adding multiple classes

3）逐步增加多個(gè)類(lèi)

使用前一次訓(xùn)練（如+D(16)）得到模型作為當(dāng)前訓(xùn)練的教師模型（如+D(17)）。表2展示了未壓縮模型逐步增加多個(gè)類(lèi)的mAP的對(duì)比實(shí)驗(yàn)結(jié)果。

表2 逐步增加多個(gè)類(lèi)的實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of gradually adding multiple classes

如表2所示，直接訓(xùn)練會(huì)造成災(zāi)難性遺忘問(wèn)題，舊類(lèi)別目標(biāo)的mAP從17.1快速降到8.8，總目標(biāo)從17.9快速降到10.0。與其他方法相比，本文提出的增量學(xué)習(xí)方法在逐步增加多個(gè)類(lèi)時(shí)，維持了相對(duì)較高的舊類(lèi)、新類(lèi)和總目標(biāo)mAP，舊類(lèi)的mAP在59.5～70.7之間，新類(lèi)的mAP在27.4～42.3之間，而總目標(biāo)mAP在58.6以上，這說(shuō)明提出的ILMIL方法使學(xué)生模型額外學(xué)習(xí)到了教師模型的中間層Stage4、Stage5的特征知識(shí)，以及本文設(shè)計(jì)的目標(biāo)函數(shù)所包含的硬損失、軟損失和提示損失起到了關(guān)鍵作用。

4）超參數(shù)γ的影響

圖4展示了超參數(shù)γ的不同取值對(duì)mAP的影響。γ作為超參數(shù)對(duì)式（1）中的提示損失和其他損失進(jìn)行平衡，從而影響學(xué)生模型在各個(gè)類(lèi)別上的檢測(cè)mAP。以單次增加一個(gè)類(lèi)為例進(jìn)行實(shí)驗(yàn)。如圖4所示：將γ設(shè)為1時(shí)，蒸餾訓(xùn)練既使學(xué)生模型沒(méi)有忘記舊類(lèi)的知識(shí)，也學(xué)習(xí)到了新類(lèi)的信息；模型對(duì)舊類(lèi)和總類(lèi)的檢測(cè)mAP最高，對(duì)新類(lèi)的檢測(cè)mAP居中。因此本文實(shí)驗(yàn)中均將該參數(shù)值設(shè)定為1。

圖4 參數(shù)γ的影響Fig.4 Influence of parameter γ

2.3 對(duì)壓縮后模型的增量訓(xùn)練

1）構(gòu)建學(xué)生模型

構(gòu)建了4個(gè)不同壓縮率的模型，圖5以單次增加一個(gè)類(lèi)為例，展示了1個(gè)原始模型和4個(gè)壓縮模型的參數(shù)量和計(jì)算量。兩個(gè)實(shí)驗(yàn)場(chǎng)景使用的原始模型和壓縮模型的參數(shù)量和計(jì)算量與圖5中的數(shù)據(jù)一致。其中，GFLOPS（giga floating point operations per second）表示109FLOPS。

如圖5所示：原始模型的參數(shù)量為130.48 MB，計(jì)算量為728.32 GFLOPS。學(xué)生模型1的壓縮比例為18.2%，其參數(shù)量為106.8 MB，計(jì)算量為616.3 GFLOPS；學(xué)生模型2的壓縮比例為29.9%；學(xué)生模型3的壓縮比例為35.6%，參數(shù)量和計(jì)算量逐步降低；學(xué)生模型4具有最大的壓縮比例46.8%，其參數(shù)量為69.4 MB，計(jì)算量為406.8 GFLOPS。

圖5 模型參數(shù)量和計(jì)算量Fig.5 Amount of model parameters and computation

2）單次增加一個(gè)類(lèi)

圖6展示了非壓縮模型與4個(gè)學(xué)生模型對(duì)應(yīng)的壓縮率取值，以及在增加一個(gè)類(lèi)后對(duì)應(yīng)的mAP的實(shí)驗(yàn)結(jié)果。如圖6所示：非壓縮模型在舊類(lèi)、新類(lèi)和總類(lèi)上的檢測(cè)mAP均最高。隨著壓縮比例不斷升高，壓縮模型在各類(lèi)上的檢測(cè)精度均在緩慢降低，其中，以總類(lèi)mAP為例，非壓縮模型為68.7，最低壓縮比例為18.2%的模型1為65.7，最高壓縮比例為46.8%的模型4為59.4。總體來(lái)看，利用第1.4節(jié)介紹的增量訓(xùn)練流程既可有效降低目標(biāo)檢測(cè)模型的復(fù)雜度，也可有效緩解對(duì)舊類(lèi)別知識(shí)的災(zāi)難性遺忘現(xiàn)象，在一定mAP損失內(nèi)，采用的模型壓縮方法極大地降低了模型的大小。

圖6 壓縮后增加一個(gè)類(lèi)的實(shí)驗(yàn)結(jié)果Fig.6 Experimental results of adding a class after compression

3）單次增加多個(gè)類(lèi)

圖7展示了非壓縮模型與4個(gè)學(xué)生模型對(duì)應(yīng)的壓縮率取值，以及在增加多個(gè)類(lèi)后對(duì)應(yīng)的mAP的實(shí)驗(yàn)結(jié)果。如圖7所示：隨著模型壓縮比例的增大，在各類(lèi)上的檢測(cè)mAP總體呈下降趨勢(shì)。從各模型對(duì)總類(lèi)的檢測(cè)mAP來(lái)看，非壓縮模型為61.5，最低壓縮比例為18.2%的模型1為61.3，最高壓縮比例為46.8%的模型4為59.8?？傮w來(lái)看，在目標(biāo)檢測(cè)模型復(fù)雜度降低的同時(shí)，壓縮后的模型的mAP損失降低在可接收范圍內(nèi)，只有0.2～1.7，且在增量過(guò)程中有效緩解了災(zāi)難性遺忘現(xiàn)象，說(shuō)明本文所提出的增量學(xué)習(xí)方法在壓縮率較大，模型參數(shù)量減少的情況下，依然能有效地學(xué)習(xí)到教師模型的中間層信息，保證了模型的性能。

圖7 壓縮后增加多個(gè)類(lèi)的實(shí)驗(yàn)結(jié)果Fig.7 Experimental results of adding multiple classes after compression

3 結(jié) 論

在具備目標(biāo)檢測(cè)能力的物聯(lián)網(wǎng)設(shè)備不斷增加，從而導(dǎo)致網(wǎng)絡(luò)邊緣數(shù)據(jù)爆炸式增長(zhǎng)的場(chǎng)景下，針對(duì)目標(biāo)檢測(cè)實(shí)際應(yīng)用中深度學(xué)習(xí)所需的訓(xùn)練數(shù)據(jù)及其類(lèi)別難以一次性完全獲得的實(shí)際問(wèn)題，考慮到網(wǎng)絡(luò)邊緣設(shè)備的資源限制，本文提出了一種基于知識(shí)蒸餾的目標(biāo)檢測(cè)模型增量深度學(xué)習(xí)方法。首先，提出了包含多個(gè)網(wǎng)絡(luò)中間層知識(shí)的蒸餾指標(biāo)；然后，在此基礎(chǔ)上提出了相應(yīng)的增量模型訓(xùn)練方法，該方法可進(jìn)一步與模型剪枝壓縮技術(shù)相結(jié)合來(lái)適應(yīng)邊緣設(shè)備的資源能力；最后，基于PASCAL VOC 2007目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行了在多種不同增量組合方式和模型訓(xùn)練方式下的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文所提出的增量學(xué)習(xí)方法能夠有效地避免和緩解災(zāi)難性遺忘現(xiàn)象的發(fā)生，維持較高的目標(biāo)檢測(cè)性能。通過(guò)與剪枝技術(shù)相結(jié)合，可進(jìn)一步減少模型參數(shù)大小和計(jì)算總量，便于在邊緣設(shè)備上部署和使用。對(duì)于未來(lái)的研究工作：一個(gè)方向是，準(zhǔn)備通過(guò)在更多的DNN模型和目標(biāo)檢測(cè)數(shù)據(jù)集中的評(píng)估來(lái)完善ILMIL的方法設(shè)計(jì)；另一個(gè)方向是，采用ILMIL方法解決其他相關(guān)類(lèi)型的任務(wù)，例如，在圖像分類(lèi)[22]中結(jié)合內(nèi)存高效的增量學(xué)習(xí)方法[23]和推理高效的早期退出[24]方法來(lái)解決遺忘問(wèn)題，以及結(jié)合少樣本學(xué)習(xí)來(lái)完成圖像分割[25]中的增量學(xué)習(xí)任務(wù)等等。