劉 芬,程勇策,鄭 堯,趙 濤

(1.中煤科工集團重慶研究院有限公司,重慶 400039；2.中國電子科技集團公司第三研究所,北京 100015；3.陸航研究所,北京 101121)

1 引 言

隨著紅外成像技術(shù)的逐漸成熟,基于紅外目標的檢測或跟蹤方法已被廣泛應用于諸多領(lǐng)域中。其中,紅外小目標的檢測尤其重要[1-6]。在過去幾十年中,學者們提出了許多不同的檢測算法,但這些方法僅僅依賴的是圖像底層特征。當背景變得復雜時,使用傳統(tǒng)方法得到的結(jié)果可能并不理想,如圖1所示。從圖中可得知,當紅外圖像模糊不清,存在大量噪聲時,有些方法不能檢測出小目標。傳統(tǒng)方法存在以下不足:1.依賴的結(jié)構(gòu)化特征缺乏魯棒性,導致在復雜場景下不能區(qū)分背景和小目標；2.雖然已有一些方法采用了局部對比,但這些對比是在低層的視覺特征上進行的,缺乏高層特征的認知和理解。

圖1 不同方法的檢測結(jié)果

近年來,深度學習技術(shù)已被應用到許多計算機視覺中,包括圖像分類,目標跟蹤和目標檢測[7-8]。其中,深度卷積神經(jīng)網(wǎng)絡能夠提取高層特征,大大提高了目標檢測的性能。通過一定樣本的訓練,CNN能夠?qū)W習到豐富的語義特征,相比于傳統(tǒng)底層特征,這些特征更能準確代表物體的本質(zhì)。因此將CNN應用到紅外小目標檢測是可行的。但由于紅外小目標不是十分明顯,并且只有灰度信息,與自然圖像的目標存在巨大差異,所以一些基于CNN的自然圖像目標檢測方法并不適用于紅外小目標的檢測,這要求我們尋求新的方法。

2 算法概述

CNN包括卷積層、池化層、全連接層、輸出層四種網(wǎng)絡結(jié)構(gòu),通過多層卷積和池化逐步擴大圖像的局部特征,從而實現(xiàn)從底層到高層的認知過程。但是CNN由于池化層的存在,會損失目標本身的信息,所以CNN無法應用于小尺寸目標的識別問題。另外CNN網(wǎng)絡體現(xiàn)的是機器認知過程,最終體現(xiàn)的特征也是目標高層紋理解析,并沒有結(jié)合泛化良好的結(jié)構(gòu)化特征,因此CNN網(wǎng)絡不具備弱紋理目標的識別能力。

針對上述問題,需要研究基于結(jié)構(gòu)化特征融合的SCNN算法,具體需要解決的關(guān)鍵問題包括:

(1)針對目標尺度的變化,如何設計不同的卷積核,使得整個框架對弱小目標的尺度變化具有魯棒性；

(2)直接使用傳統(tǒng)的池化操作會直接損失弱小目標的信息,如何在不使用池化操作的同時還可以擴大感受野而又不損失特征圖分辨率；

(3)泛化良好的結(jié)構(gòu)化特征如何引入傳統(tǒng)的CNN網(wǎng)絡,如何與CNN自身獲取的高層語義特征相融合而又不互相沖突。

將SCNN算法應用于紅外弱小目標空間檢測時,泛化良好的紅外弱小目標結(jié)構(gòu)化特征包括:

(1)局部對比度特征

復雜背景下的紅外弱小目標周圍9×9區(qū)域的局部對比度如圖2所示。

圖2 紅外弱小目標在局部對比度示意

定義中心區(qū)域3×3鄰域的平均灰度為:

(1)

則目標周圍9×9鄰域內(nèi),目標局部對比度滿足:gc>gi(i=1,2,……,8),即在一定局部區(qū)域內(nèi)目標平均灰度高于其鄰域灰度。

(2)灰度空間分布的高斯特性

在實際工程應用中因目標或成像探測設備的姿態(tài)、位置的變化,紅外成像圖像中的點目標也很難有一個固定的形狀。當成像距離足夠遠的時候,對于探測系統(tǒng)來說,它的灰度分布特性符合光學點擴散函數(shù)(PSF),即目標灰度分布符合高斯分布。

(2)

在SCNN算法中引入上述結(jié)構(gòu)化特征后,通過去除池化層、改變卷積擴展性、加入分層融合機制等算法,使其改進后的SCNN更加適合紅外弱小目標的空間檢測。

3 算法實現(xiàn)

本文提出一種雙通道CNN的結(jié)構(gòu)模型來進行弱小目標檢測,通過將紅外弱小目標的局部對比度等結(jié)構(gòu)化空間特征在低層卷積階段引入CNN網(wǎng)絡,去除池化層,從而構(gòu)建SCNN弱紋理小尺寸目標識別算法。

3.1 算法框架流程

模型的輸入是一幅紅外圖像,輸出是其對應的檢測結(jié)果圖像,其中每個像素的大小表示該像素屬于小目標的概率,值越大,越可能屬于小目標?？蚣芰鞒虉D如圖3所示。每個通道的前部分所使用的卷積核大小是不同的,這樣每個通道能夠適應不同大小的小目標,從而使得整個框架能夠?qū)π∧繕说某叨茸兓哂恤敯粜?。由于弱小目標的尺度很?若使用池化操作,會損失關(guān)于小目標的信息,這樣會導致后續(xù)的檢測不準確。因此在中間部分,每個通道使用了不同的膨脹率進行擴張卷積,擴張卷積的作用是擴大感受野而又不會損失特征圖的分別率,從而能夠有效地保留小目標的信息。通過進行不同膨脹率的擴張卷積操作,學習到了不同的語義特征,為了在不同層次上突出小目標,提出一種多層次局部對比(multi-level local contrast,MLLC)的模型,如圖4中MLLC部分所示。之所以計算局部對比,是因為小目標與周邊背景差異大,若所得局部對比越大,越可能是小目標。在得到不同層次的局部對比之后,需要把他們進行融合起來,本文提出一種分層次融合(hierarchical merge,HM)的方法,如圖4中HM部分所示。分層次融合即是把兩個通道中相同層次的局部對比進行兩兩融合。然后把兩兩融合后的多層次結(jié)果再次融合,從而得到最終的融合特征?？蚣艿暮蟛糠质紫日狭朔謱哟稳诤系慕Y(jié)果以及兩個通道的淺層特征,這樣做是為了保留更多的語義信息,然后經(jīng)過多個卷積操作生成最后的檢測圖像。

圖4 MLLC和HM結(jié)構(gòu)

圖3中,卷積層參數(shù)表示為:conv-(卷積核大小)-(特征圖數(shù)量)-(膨脹率);“C”表示特征圖合并。

圖3 方法流程圖

圖3中,實際上每個通道計算4個層次的局部對比,即膨脹率取1,2,3,4,為了演示方便,這里只取膨脹率為1,2作為示例,“+”表示特征圖相加。

3.2 計算操作

其中本算法框架所涉及的計算操作如下:

(1)卷積操作可表示為:

Fl=W*Fl-1+b

(3)

其中,Fl表示第l層的特征圖;Fl-1表示第(l-1)的特征圖;W表示卷積核;b表示偏置項;* 表示卷積操作。在卷積操作之后,一般采用非線性激活函數(shù),而使用的比較多的是修正線性單元(Rectified Linear Unit,ReLU)。

ReLU(x)=max(0,x)

(4)

(2)擴張卷積可表示為:

(5)

其中,y(u,v)表示通過擴張卷積后x(u,v)位置的對應輸出;M,N分別表示卷積核的高和寬;r表示膨脹率。當r=1時,擴張卷積變回傳統(tǒng)的卷積操作。圖5展示了使用不同膨脹率時對應的卷積感受野。

圖5 膨脹率為1,2,3的3×3擴張卷積(灰色塊為有效的卷積位置)

(3)局部對比[9](local contrast)表示為:

Fc=F-AvgPool(F)

(6)

其中,AvgPool(·)表示計算特征圖3×3范圍的均值。

(4)分層次融合表示為:

(7)

(5)兩通道合并表示為:

M=σ(W*Concat(H,C1,2,C2,2)+b)

(8)

(6)損失函數(shù)使用交叉熵損失,表示為:

(9)

其中,X={xi,i=1,…,|X|} 為圖像訓練集;Z={zi,i=1,…,|Z|} 為對應的真值圖像;Pr(zi=1|X;θ)由計算框架的輸出預測結(jié)果的sigmoid激活函數(shù)而得;θ表示整個框架所有權(quán)重參數(shù)的集合。

3.3 網(wǎng)絡訓練

對300幅圖像(真實圖像以及合成圖像)進行數(shù)據(jù)增廣,共2400張圖像進行訓練,訓練直到損失函數(shù)收斂,共迭代了150次。圖6展示了部分原始圖像及對應的人工標注圖像示例。

圖6 紅外圖像及其人工標注

4 實驗結(jié)果及分析

圖7展示了不同方法在測試集上的部分代表場景下的檢測結(jié)果。第1列是原圖像,最后一列是本文方法的檢測結(jié)果,第2～5列是對比方法的檢測結(jié)果。

圖7 不同方法的檢測結(jié)果示例

表1給出了不同方法在部分圖像上的檢測率,可以看到,本文給出的算法性能最優(yōu),且具有良好的場景適應能力。

表1 不同方法的檢測率

本文采用局部SNR增益(SNR gain,SNRG)來評估不同方法的檢測性能。局部SNR增益定義為:

(10)

(11)

其中,μt和μb分別是在檢測結(jié)果圖像中目標區(qū)域和其周圍局部鄰域的平均像素值。

表2展示了不同方法在測試圖像上的SNRG結(jié)果,從表中可以看出本項工作取得的效果基本上優(yōu)于其他所對比的方法,說明本項工作的檢測性能得到較大的提升。

表2 不同方法的LCG對比

表2中“-”表示不存在,即小目標以及其局部領(lǐng)域像素值均為0,導致計算檢測圖像的LC時出現(xiàn)分子和分母為0的情況。

5 結(jié) 論

提出了一種基于結(jié)構(gòu)化特征卷積神經(jīng)網(wǎng)絡(SCNN)的紅外弱小目標檢測算法。通過將紅外弱小目標灰度高斯分布,局部對比度強烈這兩個結(jié)構(gòu)化特征作為先驗知識引入CNN網(wǎng)絡中,并對網(wǎng)絡進行訓練和測試,實現(xiàn)了對紅外弱小目標的高可靠檢測。實驗結(jié)果表明:與4種代表性紅外小目標檢測方法相比,本文提出的方法能達到了更優(yōu)的效果,能夠滿足穩(wěn)定、準確的要求。

復雜背景下的紅外弱小目標所面臨的應用場景非常復雜多變,面臨的干擾類型包括:多樣性地物、云層邊緣、云層的亮斑、傳感器壞元及閃元等。所以依靠起始訓練的數(shù)據(jù)集很難實現(xiàn)所有場景的覆蓋,因此如何進一步研究分布式遷移學習機理和較好地應用深度學習方法進行紅外弱小目標檢測是未來研究工作的重點。