李文博,王 琦,高 尚

(江蘇科技大學(xué)計(jì)算機(jī)學(xué)院,江蘇 鎮(zhèn)江 212100)

1 引 言

紅外輻射是一種頻率介于可見光與微波之間的電磁波,具有與可見光相同的本質(zhì)。在自然界中,溫度高于絕對(duì)零度(-273 ℃)的一切物體總是在不斷地發(fā)射著紅外輻射。按圖1所示流程,通過使用紅外熱像儀等專業(yè)設(shè)備收集、探測這些輻射能,并將其轉(zhuǎn)換為相應(yīng)的電信號(hào),經(jīng)過放大、模數(shù)轉(zhuǎn)換等處理后就可以形成與景物溫度分布相對(duì)應(yīng)的紅外熱圖像。它能夠再現(xiàn)景物各部分溫度與輻射發(fā)射率的差異,因而可以顯示出物體的特征。在一些特殊天氣或特殊場景,例如可視距離短、能見度差、存在被物體遮蔽的情況,基于可見光圖像的目標(biāo)檢測效果并不十分理想。而紅外成像技術(shù)憑借穿透能力強(qiáng),工作距離遠(yuǎn),受天氣影響較小,抗外界干擾能力強(qiáng)、且測量精度高、能持續(xù)工作等優(yōu)點(diǎn),使得基于紅外成像技術(shù)得到的圖像進(jìn)行的目標(biāo)檢測方法得到了眾多領(lǐng)域的廣泛應(yīng)用,如輔助醫(yī)學(xué)診斷[1]、缺陷檢測[2]、海上船艦搜尋[3]等。作為目標(biāo)檢測領(lǐng)域的一個(gè)分支,基于紅外圖像的小目標(biāo)檢測巨大的應(yīng)用價(jià)值隨之顯露,眾多研究人員也相繼將關(guān)注點(diǎn)與研究方向集中于該領(lǐng)域。

圖1 紅外成像原理圖

目前對(duì)于紅外小目標(biāo)的檢測主要可分為以下兩類算法:基于傳統(tǒng)方法的紅外小目標(biāo)檢測算法與基于深度學(xué)習(xí)的紅外小目標(biāo)檢測算法。由于受外界因素影響,在眾多應(yīng)用場景下,待檢測的小紅外目標(biāo)占整幅紅外圖像的面積非常小,一般不超過100個(gè)像素。同時(shí),紅外小目標(biāo)缺少相對(duì)明顯的顏色、形狀、紋理等信息,且邊界模糊,這使得對(duì)其的檢測更具挑戰(zhàn)。更困難的是,建筑物、流動(dòng)的云等干擾物的存在使得紅外小目標(biāo)容易被干擾和淹沒[4]。再者,由于高于絕對(duì)零度的物體都可以產(chǎn)生紅外輻射,檢測算法的虛警率會(huì)大幅度提升。此外,現(xiàn)有的檢測方法在實(shí)時(shí)性、高效率等性能上還不能全方位地完全滿足部分領(lǐng)域的特殊應(yīng)用需求。因此,為應(yīng)對(duì)上述挑戰(zhàn),我們可以:

1)分析紅外小目標(biāo)的成像特性,確定合適的檢測算法并為其選擇恰當(dāng)?shù)母倪M(jìn)方式。

2)針對(duì)紅外小目標(biāo)易受環(huán)境干擾等問題,除改進(jìn)檢測方法外,可以適當(dāng)對(duì)紅外圖像本身進(jìn)行處理。

3)兼顧算法的實(shí)時(shí)性、魯棒性等,根據(jù)應(yīng)用場景的特殊需求,尋求性能之間的平衡。

2 傳統(tǒng)紅外小目標(biāo)檢測算法

由于任務(wù)及數(shù)據(jù)間存在差別,傳統(tǒng)的方法會(huì)更多依賴于人工,需要人為對(duì)數(shù)據(jù)進(jìn)行觀察、計(jì)算與實(shí)驗(yàn),手動(dòng)調(diào)整參數(shù)。根據(jù)檢測方式的不同,傳統(tǒng)的紅外小目標(biāo)檢測算法可分為單幀型(Single-frame based)與多幀型(Multi-frame based)。

2.1 單幀型目標(biāo)檢測算法

單幀型檢測算法的思路主要有以下三種:增加背景與相關(guān)目標(biāo)間的對(duì)比度,從而實(shí)現(xiàn)直接檢測;抑制背景,提高相關(guān)目標(biāo)可辨識(shí)度;將被檢測目標(biāo)與背景分離,從而實(shí)現(xiàn)檢測。主要應(yīng)用的方法有小波變換法、注意力模型法、形態(tài)學(xué)濾波法等。

在應(yīng)用該類算法對(duì)紅外小目標(biāo)進(jìn)行檢測時(shí),多是通過各種方式方法,盡可能地使得小目標(biāo)與背景區(qū)別開來。如袁帥等人[5]基于第二種檢測思路,通過計(jì)算目標(biāo)區(qū)域與內(nèi)外雙層鄰域的差異以提高明弱小目標(biāo)的局部對(duì)比度,抑制復(fù)雜背景噪聲;而吳文怡等人[6]為得到更多的小目標(biāo)特征,將Contourlet變換應(yīng)用于紅外小目標(biāo)檢測領(lǐng)域,多方向分解圖像;此外,潘勝達(dá)等人[7]提出基于雙層局部對(duì)比度機(jī)制DLCM,可以實(shí)現(xiàn)不同尺度的紅外小目標(biāo)檢測。

上述算法的優(yōu)點(diǎn)在于計(jì)算相對(duì)簡單、復(fù)雜度較低、實(shí)時(shí)性較好等,但其更適用于簡單場景下的檢測,而對(duì)于復(fù)雜多變的現(xiàn)實(shí)場景則略顯拙劣。

2.2 多幀型目標(biāo)檢測算法

多幀型檢測算法是指利用時(shí)域、空域信息檢測目標(biāo),并預(yù)測目標(biāo)在序列圖中的運(yùn)動(dòng)軌跡。按照目標(biāo)特性處理順序的不同,該類算法主要分為兩類,跟蹤前檢測(Detect Before Track,DBT)算法與檢測前跟蹤(Track Before Detect,TBD)算法。

DBT算法通常先利用單幀檢測算法得到每幀中若干可能的目標(biāo),再根據(jù)目標(biāo)運(yùn)動(dòng)軌跡的連續(xù)性,排除序列圖中的不可能目標(biāo),進(jìn)而得到真實(shí)目標(biāo)的運(yùn)動(dòng)軌跡,也可以理解為是在單幀型算法的基礎(chǔ)上加入后處理方法,其流程如圖2所示。以婁康等人[8]的研究為例,即基于卡爾曼濾波方法,預(yù)測下一幀的目標(biāo)位置,再與實(shí)際位置進(jìn)行校驗(yàn),最終提取到目標(biāo)軌跡。該類算法容易實(shí)現(xiàn),且可以跟蹤目標(biāo)運(yùn)動(dòng)軌跡,應(yīng)用性強(qiáng),但其性能受應(yīng)用的單幀型算法的性能影響較大,若單幀型算法性能不佳,則DBT算法的最終性能也很難符合預(yù)期。

圖2 DBT 算法流程圖

TBD算法中多指利用灰度波動(dòng)信息,直接對(duì)多幀序列圖中的目標(biāo)進(jìn)行提取,具體流程如圖3所示。該類算法的研究思路主要有四種:一維處理法、三維搜索法、幀間差分法與空時(shí)結(jié)合法。以一維處理法為例,它是指單獨(dú)關(guān)注某個(gè)像素點(diǎn)在連續(xù)多幀間的灰度信息,利用目標(biāo)像素點(diǎn)與其他像素點(diǎn)在時(shí)域中的波動(dòng)信息差異,對(duì)目標(biāo)像素點(diǎn)與其他像素點(diǎn)進(jìn)行區(qū)分。如Bae等人[9]提出逐個(gè)對(duì)像素點(diǎn)的灰度值在時(shí)域上采用時(shí)域內(nèi)積,以確定小目標(biāo)位置;劉德連等人[10]提出停滯點(diǎn)連線的概念,將其作為基準(zhǔn)來計(jì)算每一個(gè)像素點(diǎn)的灰度與基準(zhǔn)之間的差值來確定目標(biāo)位置。該類算法性能相對(duì)較好,且在某些情況下,可以同時(shí)確定目標(biāo)位置與運(yùn)動(dòng)軌跡,但其需要綜合考慮前后多幀圖才可完成對(duì)當(dāng)前幀的檢測,使得實(shí)時(shí)性相對(duì)較差。同時(shí),由于需要以目標(biāo)的眾多信息作為先驗(yàn)知識(shí),某些場景下的檢測性能會(huì)有一定概率因缺少相關(guān)信息而導(dǎo)致檢測失敗。

圖3 TBD 算法流程圖

3 基于深度學(xué)習(xí)的紅外小目標(biāo)檢測算法

隨著計(jì)算機(jī)性能的不斷提升,自2012年AlexNet出現(xiàn)后,基于深度學(xué)習(xí)方法的目標(biāo)檢測算法逐漸走入人們的視野,并在安防[11]、自動(dòng)駕駛[12]、智能醫(yī)療[13]、智慧家居[14]等眾多熱門行業(yè)受到關(guān)注。與依賴人工設(shè)定的基于傳統(tǒng)方法的目標(biāo)檢測不同,基于深度學(xué)習(xí)的目標(biāo)檢測算法是通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)并根據(jù)其學(xué)習(xí)到的目標(biāo)特征信息,判斷某物顏色、紋理等特征是否與目標(biāo)特征吻合,進(jìn)而實(shí)現(xiàn)對(duì)目標(biāo)的檢測。值得注意的是,對(duì)于復(fù)雜場景下的小目標(biāo)檢測,如同時(shí)出現(xiàn)建筑物、干擾物體、天空等的情況,基于深度學(xué)習(xí)的目標(biāo)檢測算法的性能通常優(yōu)于傳統(tǒng)目標(biāo)檢測算法。但并非所有的深度學(xué)習(xí)類目標(biāo)檢測算法都適用于某一任務(wù),需依照部署場景選擇恰當(dāng)?shù)乃惴āＴ趯?duì)算法進(jìn)行甄別時(shí),評(píng)估指標(biāo)是評(píng)定其性能是否符合要求的重要參照,而對(duì)于不同類型算法的性能判別,又需根據(jù)各自的特點(diǎn)采取不同的評(píng)估指標(biāo)。此外,數(shù)據(jù)集選取的是否得當(dāng)亦會(huì)影響算法的檢測效果,是須慎重考慮的部分,具體內(nèi)容參照下文。

3.1 評(píng)估指標(biāo)

作為了解算法性能的基準(zhǔn),評(píng)估指標(biāo)為全面分析目標(biāo)檢測算法的優(yōu)劣提供了參照物。目前對(duì)基于深度學(xué)習(xí)的目標(biāo)檢測算法的性能評(píng)估指標(biāo)有交并比(Intersection over Union,IoU)、準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)、平均精確率(Average Precision,AP)、平均精確率均值(mean Average Precision,mAP)、檢測速度(Frames Per Second,FPS)、浮點(diǎn)運(yùn)算數(shù)(Floating point operations,FLOPs)等。令TP、FP、FN、TN分別表示表1所示含義,即TP代表將正樣本預(yù)測為正樣本的數(shù)目,FN代表將正樣本預(yù)測為負(fù)樣本的數(shù)目,FP與TN同理可得,則上述評(píng)估指標(biāo)的具體含義及計(jì)算方式可以參照表2。在使用評(píng)估指標(biāo)選擇網(wǎng)絡(luò)模型時(shí),若對(duì)精確度的需求較高,則主要考慮mAP與Recal兩個(gè)指標(biāo)的數(shù)值;若對(duì)算法的實(shí)時(shí)性有較高要求,且有嵌入式部署需求的可能性,則主要考慮FPS與FLOPs兩個(gè)指標(biāo)。

表1 混淆矩陣

表2 常用評(píng)估指標(biāo)介紹

3.2 紅外小目標(biāo)數(shù)據(jù)集

數(shù)據(jù)集的優(yōu)劣是影響深度學(xué)習(xí)模型優(yōu)劣的重要因素之一,數(shù)據(jù)集中圖像的特征越清晰,習(xí)得的特征越多越準(zhǔn)確,檢測結(jié)果通常會(huì)越優(yōu)秀。不同于可見光的圖像數(shù)據(jù)可以通過拍攝多張圖片取平均的方式直接獲取,紅外圖像降噪數(shù)據(jù)集的制作難度較大?，F(xiàn)在可公開獲取的紅外小目標(biāo)數(shù)據(jù)集數(shù)量相比之下較少,主要有如下幾種:

1.SIRST數(shù)據(jù)集[15]

SIRST單幀紅外小目標(biāo)數(shù)據(jù)集由數(shù)百個(gè)序列中抽出的代表性圖片組成,其中的圖像目標(biāo)以5種不同的形式進(jìn)行標(biāo)注,可適用于不同的檢測模型與任務(wù),如實(shí)例分割、圖像分類等。該數(shù)據(jù)集共包含480個(gè)小目標(biāo),分布在427張紅外圖像中,且約55 %的目標(biāo)面積占比在0.02 %之內(nèi),35 %的目標(biāo)亮度是全圖最亮。

2.NUDT-SIRST數(shù)據(jù)集[16]

NUDT-SIRST數(shù)據(jù)集是受其他數(shù)據(jù)稀缺領(lǐng)域的解決方案的啟發(fā),開發(fā)的大型紅外小目標(biāo)數(shù)據(jù)集。其中主要包含5個(gè)場景:城市、田野、亮點(diǎn)、海洋和云。每幅圖像都是由真實(shí)背景合成的,有各種不同的目標(biāo),如點(diǎn)狀、擴(kuò)展?fàn)畹取?/p>

3.紅外飛機(jī)小目標(biāo)數(shù)據(jù)集[17]

紅外飛機(jī)小目標(biāo)數(shù)據(jù)集共包括22個(gè)已標(biāo)注的data文件夾,圖像內(nèi)容主要以地面背景、天空背景、多架飛機(jī)、飛機(jī)遠(yuǎn)離、飛機(jī)靠近等情景為主。

4.地/空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測跟蹤數(shù)據(jù)集[18]

地/空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測跟蹤數(shù)據(jù)集是以低空飛行的弱小飛機(jī)目標(biāo)檢測跟蹤為應(yīng)用導(dǎo)向,以單架或集群固定翼無人機(jī)目標(biāo)為檢測目標(biāo)的數(shù)據(jù)集。其獲取場景包括天空、地面等,總計(jì)16177幀圖像、共囊括16944個(gè)目標(biāo)。

3.3 紅外小目標(biāo)檢測算法

3.3.1 檢測算法介紹

基于深度學(xué)習(xí)方法的紅外小目標(biāo)檢測算法主要分為兩種:基于one-stage的方法與基于two-stage方法,其代表算法如圖4所示。

圖4 主流目標(biāo)檢測算法圖

One-stage目標(biāo)檢測算法是基于回歸的范式,不生成候選框而直接對(duì)物體進(jìn)行分類和候選框預(yù)測,簡化了網(wǎng)絡(luò)結(jié)構(gòu),準(zhǔn)確度雖較two-stage的目標(biāo)檢測框架低但實(shí)時(shí)性較好,代表算法有YOLO[19]系列、SSD[20]系列、Anchor-Free[21]系列等。以R-CNN[22]、MaskR-CNN[23]、Faster-RCNN[24]等為代表的two-stage目標(biāo)檢測算法則是將檢測過程劃分為兩步,先通過區(qū)域選擇方法生成候選框,再與卷積神經(jīng)網(wǎng)絡(luò)CNN結(jié)合,對(duì)候選框的位置進(jìn)行分類與回歸,準(zhǔn)確率高但實(shí)時(shí)性較差。兩種算法的具體流程,如圖5所示。

圖5 One-stage 算法與 two-stage 算法流程圖

以上兩種方法各有其優(yōu)缺點(diǎn),如表3所示。以YOLO算法與R-CNN算法的對(duì)比為例,YOLO算法將全圖分為S×S的網(wǎng)格,每一個(gè)小網(wǎng)格只負(fù)責(zé)對(duì)其中的目標(biāo)進(jìn)行檢測,所有網(wǎng)格中的目標(biāo)的邊界框、置信度等會(huì)一次性得到預(yù)測,因而實(shí)時(shí)性好,但準(zhǔn)確率相對(duì)有較大的提升空間,其結(jié)構(gòu)如圖6所示。而R-CNN算法與YOLO算法的檢測流程不同,如圖7所示,它首先對(duì)圖像生成1～2 k個(gè)候選區(qū)域,再對(duì)每個(gè)候選區(qū)域進(jìn)行特征提取并將其送入每一類的SVM分類器,判別其類別,最后使用回歸算法修正候選框的位置。與YOLO算法相比,R-CNN的準(zhǔn)確率更高,但是由于其流程較復(fù)雜、生成的眾多候選框引入了大量的計(jì)算,故實(shí)時(shí)性較差。因而,根據(jù)實(shí)際問題選擇合適的算法,并對(duì)其進(jìn)行恰當(dāng)?shù)母倪M(jìn)則尤為重要。

圖6 YOLO 算法結(jié)構(gòu)圖

圖7 R-CNN 算法流程圖

雖然相比于其他傳統(tǒng)方法,基于深度學(xué)習(xí)方法的紅外小目標(biāo)檢測算法在檢測性能方面占據(jù)優(yōu)勢,但是,使用該類的算法對(duì)紅外小目標(biāo)進(jìn)行檢測時(shí),仍有需重點(diǎn)關(guān)注的問題難點(diǎn),如下所述:

1)由于深度學(xué)習(xí)較依賴于利用大量的樣本數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練的過程,因而樣本數(shù)據(jù)的數(shù)量與質(zhì)量會(huì)對(duì)檢測結(jié)果造成較大的影響。然而,現(xiàn)有的高質(zhì)量紅外小目標(biāo)數(shù)據(jù)集較少,訓(xùn)練樣本稀缺,使得在小樣本條件下,對(duì)紅外小目標(biāo)進(jìn)行檢測難度更大?？梢钥紤]利用現(xiàn)有樣本對(duì)其進(jìn)行擴(kuò)增,使得其數(shù)量與質(zhì)量滿足基本訓(xùn)練需求。同時(shí),也要將算法的泛化性、魯棒性納入考量中。

2)CNN通常使用堆疊網(wǎng)絡(luò)的方式增大感受野以提取到更有效的語義特征。然而,對(duì)于紅外小目標(biāo),特征提取困難較大,極易受到環(huán)境因素干擾,且隨著網(wǎng)絡(luò)層數(shù)的增加,語義特征可能會(huì)消失,導(dǎo)致檢測效果差。

3)由于小目標(biāo)在紅外圖中所占面積小,若直接利用現(xiàn)有主流深度學(xué)習(xí)模型,設(shè)定的錨框尺寸不貼近目標(biāo)尺寸,則錨框偏移一個(gè)像素點(diǎn)也會(huì)對(duì)檢測效果影響非常大。

4)隨著近些年各行業(yè)領(lǐng)域?qū)z測模型的應(yīng)用要求的逐步提高,為使得其可以移植于嵌入式這類對(duì)實(shí)時(shí)性要求較高的平臺(tái),解決計(jì)算開銷大、資源受限等問題,需要對(duì)原有模型結(jié)構(gòu)進(jìn)行精簡,從而得到一個(gè)輕量化且準(zhǔn)確率相當(dāng)?shù)木W(wǎng)絡(luò),即要求其具有更快的檢測速度,更小的內(nèi)存占用,以便部署在硬件環(huán)境受限的條件下。因而,需要考慮是否有必要使用模型壓縮方法以輕量化網(wǎng)絡(luò)模型。

3.3.2 算法改進(jìn)介紹

以one-stage方法為例,葛玉鵬等人[25]針對(duì)紅外小目標(biāo)檢測,改進(jìn)YOLOv3模型的特征融合結(jié)構(gòu)FPN,提出如圖8所示的自適應(yīng)特征融合方法。改進(jìn)后的網(wǎng)絡(luò)可以提高重要信息權(quán)重,抑制次要信息,其mAP(mean Average Precision)可達(dá)到89.3 %。同時(shí),結(jié)合了通道注意力和位置信息注意力的坐標(biāo)注意力結(jié)構(gòu),進(jìn)一步提升了模型的準(zhǔn)確率。同樣是對(duì)于YOLOv3的改進(jìn),李慕鍇等人[26]借鑒SENet中依照權(quán)重重標(biāo)定特征的思路,引入SEblock,將準(zhǔn)確率提升到83.97 %。與上述改進(jìn)思路不同,徐延想等人[27]為緩解紅外小目標(biāo)特征不明顯,且提取困難等問題帶來的不良影響,基于ReneDet網(wǎng)絡(luò)設(shè)計(jì)了IoU預(yù)測模塊,使得網(wǎng)絡(luò)更好的感知小目標(biāo)位置,并且針對(duì)小目標(biāo)容易發(fā)生漏檢的問題,提出了目標(biāo)搬移算法以間接增加小目標(biāo)數(shù)量。而同樣是考慮到紅外圖像數(shù)據(jù)少的問題,王悅行[28]等人另辟蹊徑,利用如圖9所示的特征遷移學(xué)習(xí),將大量仿真圖像和少量真實(shí)圖像作為訓(xùn)練樣本,解決跨域適應(yīng)性問題,將海天場景下的檢測mAP提高到94.21 %。對(duì)于輕量化領(lǐng)域的研究,李北明等人[29]利用GhostNet模塊做模型剪枝,改進(jìn)YOLOv5s,使得模型參數(shù)量僅為1.9 M,在海思平臺(tái)取得90.2 %的mAP前提下,檢測速度可以達(dá)到25幀/s,兼顧了實(shí)時(shí)性、計(jì)算復(fù)雜度的問題,可以很好的移植到硬件條件受限的環(huán)境中。

圖8 自適應(yīng)特征融合模塊圖

圖9 特征遷移學(xué)習(xí)流程圖

對(duì)于two-stage目標(biāo)檢測算法,楊子軒等人[30]針對(duì)紅外小目標(biāo)紋理信息少的問題,在由R-CNN改進(jìn)的模型CascadeR-CNN的基礎(chǔ)上,引入注意力機(jī)制并將其分為全局通道注意力、局部通道注意力和空間注意力機(jī)制。同時(shí),設(shè)置小錨框以匹配小目標(biāo)尺寸問題,從而獲得更準(zhǔn)確的檢測結(jié)果。而針對(duì)紅外圖像本身存在的問題,蔣志新等人[31]選擇在進(jìn)行圖像預(yù)處理時(shí),將直方圖均衡化與圖10所示的Retinex相結(jié)合以進(jìn)行圖像增強(qiáng),同時(shí),改進(jìn)FasterR-CNN網(wǎng)絡(luò)的損失函數(shù),較原始網(wǎng)絡(luò),mAP提成了6.11 %。與之類似,李斌等人[32]基于差異統(tǒng)計(jì)方法,在top-hat上加入感興趣塊與周圍區(qū)域的差異信息,提出適用于小目標(biāo)的增強(qiáng)方法,有效地增強(qiáng)圖像對(duì)比度,抑制背景信息。

綜上所述,研究者們可以根據(jù)紅外小目標(biāo)檢測存在的問題難點(diǎn),針對(duì)性地提出解決方案。如針對(duì)樣本稀少的問題,可以自行構(gòu)建優(yōu)質(zhì)紅外數(shù)據(jù)集;為獲得更好的檢測結(jié)果,一個(gè)非常有效的方式是在對(duì)紅外圖像進(jìn)行預(yù)處理時(shí),對(duì)圖像進(jìn)行數(shù)據(jù)增強(qiáng),如Mixup[33]、Mosaic[34]等;也可通過重新制定注意力模塊、特征融合模塊等方式,彌補(bǔ)紅外小目標(biāo)缺少形狀、紋理等特征對(duì)檢測造成的影響,如YimianDai等人[15]為了強(qiáng)調(diào)紅外小目標(biāo)的特征信息,對(duì)網(wǎng)絡(luò)的下采樣策略進(jìn)行調(diào)整,同時(shí),提出自底向上的注意力調(diào)制模塊BLAM與ACM模型,以此來將底層的細(xì)節(jié)特征編碼入高層特征中并供其使用;錨框問題可以通過k-means算法重新生成,或?qū)W習(xí)Jinming Du等人[35],針對(duì)紅外小目標(biāo)設(shè)計(jì)新的small Anchor;實(shí)時(shí)性問題可以通過使用知識(shí)蒸餾、參數(shù)量化與模型剪枝等模型壓縮方法提高,其主要方法的原理與優(yōu)缺點(diǎn)如表4所示。以上方法都可以高效且極具針對(duì)性的解決上述提及的問題難點(diǎn)。

表4 常用模型壓縮方法對(duì)比

值得一提的是,對(duì)于樣本稀少問題,除上述提到的方法,使用生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)[36]來生成數(shù)據(jù)也是可行性非常強(qiáng)的一種方式。該網(wǎng)絡(luò)由兩個(gè)部分構(gòu)成:生成器Generator與判別器Discrimination。生成器負(fù)責(zé)通過機(jī)器生成“真實(shí)”數(shù)據(jù)以通過判別器的檢測,而判別器則負(fù)責(zé)判斷數(shù)據(jù)是否是真實(shí)數(shù)據(jù),以過濾掉生成器偽造的“真實(shí)”數(shù)據(jù)。通過上述的過程,使得生成器與判別器實(shí)現(xiàn)相互間的對(duì)抗博弈,從而讓生成器生成的數(shù)據(jù)越來越“真實(shí)”,判別器的鑒定水平也隨之提高,其網(wǎng)絡(luò)流程如圖11所示。由于GAN中生成器的更新信息來自判別器,而不是來自數(shù)據(jù)樣本,因而,只用到了反向傳播,過程較為簡單。同時(shí),GAN網(wǎng)絡(luò)生成的樣本更加清晰、真實(shí),若形成規(guī)模化的數(shù)據(jù)庫,極有可能會(huì)提升目標(biāo)檢測算法的檢測效果。

圖11 生成對(duì)抗網(wǎng)絡(luò) GAN 的檢測流程圖

雖然基于深度學(xué)習(xí)方法的紅外小目標(biāo)檢測算法研究已經(jīng)取得了巨大的進(jìn)展,上文3.3.1章節(jié)中提到的四個(gè)問題難點(diǎn)仍舊是在現(xiàn)階段乃至今后一段時(shí)期內(nèi)阻礙該領(lǐng)域研究的重點(diǎn)所在,也是未來提高紅外小目標(biāo)檢測性能的必由之路。

4 總結(jié)與展望

在技術(shù)發(fā)展日新月異的時(shí)代,基于深度學(xué)習(xí)的紅外小目標(biāo)檢測算法具有較為重大的理論意義和實(shí)際應(yīng)用價(jià)值,具有開闊的市場前景。目前,該領(lǐng)域的研究已經(jīng)取得的一些成果可以滿足大多數(shù)場景的需求,如災(zāi)難救援[37]、海洋監(jiān)測[38]、紅外預(yù)警[39]等。本文在對(duì)現(xiàn)有的紅外小目標(biāo)檢測算法進(jìn)行介紹的基礎(chǔ)之上,詳細(xì)闡述了基于深度學(xué)習(xí)的紅外小目標(biāo)檢測算法的相關(guān)內(nèi)容,如性能評(píng)估指標(biāo)、可用數(shù)據(jù)集、類別劃分等,并對(duì)其算法原理、優(yōu)勢及不足進(jìn)行解釋說明,同時(shí),以介紹代表性示例的方式進(jìn)一步解析算法的精妙之處。綜上所述,傳統(tǒng)的檢測方法雖然可以實(shí)現(xiàn)基本功能需求,但在精確度與實(shí)時(shí)性等性能方面皆有較大的實(shí)際限制;而基于深度學(xué)習(xí)的方法由于避免了人工調(diào)參步驟,轉(zhuǎn)而使用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí),相比于傳統(tǒng)方法,精確度與實(shí)時(shí)性具有一定的優(yōu)越性,且可以更好的應(yīng)對(duì)復(fù)雜場景下的檢測任務(wù)。

然而,目前紅外小目標(biāo)的檢測研究面臨著可用紅外樣本少、小目標(biāo)自身可用特征少、算法魯棒性、實(shí)時(shí)性及泛化性還不能適用于特定場景等問題,在一定程度上限制著該領(lǐng)域的發(fā)展,并使得對(duì)其的研究仍然具有極大的挑戰(zhàn)性。因而,未來對(duì)于紅外小目標(biāo)檢測算法研究的發(fā)展趨勢應(yīng)是:

1)科技及工業(yè)的發(fā)展會(huì)為獲取圖像的設(shè)備、方式以及圖像處理方法等注入新的動(dòng)力,使得研究者可以更加輕松地制作高質(zhì)量紅外小目標(biāo)數(shù)據(jù)集,獲取到攜帶有更多可用特征的紅外小目標(biāo),進(jìn)而,提升算法精度。

2)高實(shí)時(shí)性、低復(fù)雜度的檢測算法成為研究熱點(diǎn)。AI技術(shù)的飛速發(fā)展使得模型的嵌入式部署、移動(dòng)端部署成為可能,這要求在對(duì)算法進(jìn)行設(shè)計(jì)時(shí),要更多的考慮輕量化方面的改進(jìn)。

3)各模塊、算法等跨領(lǐng)域融合成為未來研究的趨勢,如傳統(tǒng)算法與深度學(xué)習(xí)算法的結(jié)合、圖像處理領(lǐng)域算法與深度學(xué)習(xí)算法的結(jié)合等。

4)受限于二維平面圖像可學(xué)習(xí)信息的局限性,基于3D的深度學(xué)習(xí)模型會(huì)極大地增加信息量,更全面地對(duì)目標(biāo)進(jìn)行學(xué)習(xí),從而更準(zhǔn)確地確定目標(biāo)類別,得到更準(zhǔn)確地檢測結(jié)果。