王 磊，郭宏林，潘明然，楊永夫，關(guān)鈞鍵

(1 沈陽理工大學(xué)機械工程學(xué)院，遼寧 沈陽 110159；2 遼沈工業(yè)集團研發(fā)中心，遼寧 沈陽 110045)

0 引言

紅外小目標(biāo)檢測是紅外圖像處理中一個重要的研究方向,主要應(yīng)用于遠(yuǎn)程預(yù)警系統(tǒng)、導(dǎo)彈跟蹤系統(tǒng)、海上船舶監(jiān)視系統(tǒng)等重要軍事領(lǐng)域[1]。在復(fù)雜環(huán)境下,由于其缺乏一定形狀、紋理等特征,小目標(biāo)常常淹沒在背景中,導(dǎo)致檢測難度增加。近年來隨著研究的不斷深入和應(yīng)用領(lǐng)域的愈加廣泛,對于紅外相機安裝在飛行器等移動載體[2-3],其檢測算法在嵌入式系統(tǒng)中移植和實現(xiàn)是研究熱點之一[4]。

目前,對于紅外小目標(biāo)檢測有多種不同類型算法,其中經(jīng)典濾波算法[5]和基于人類視覺系統(tǒng)(human visual system, HVS)算法都有良好的處理效果和廣泛的應(yīng)用。在經(jīng)典濾波算法中,He等[6]提出的最大均值濾波在以某點為中心的某一鄰域內(nèi)計算灰度平均值,并將平均值與鄰域內(nèi)像素比較,選擇最大值作為中心像素的新值。此方法一定程度上減少了邊緣信息對真實目標(biāo)的影響。形態(tài)學(xué)濾波算法通過Serra擴展后被廣泛應(yīng)用于圖像處理方面[7],過程主要根據(jù)先驗的目標(biāo)信息選取合適的結(jié)構(gòu)元素體,通過其對圖像進(jìn)行開閉運算獲得處理后圖像,經(jīng)典的頂帽變換就是形態(tài)學(xué)的組合使用?；贖VS,Han等[8]提出相對的局部對比度方法(RLCM),通過比值和差值聯(lián)合的方式進(jìn)一步增強小目標(biāo)區(qū)域以及抑制背景雜波。Han等[9]提出的加權(quán)增強局部對比度算法通過在比值和差值聯(lián)合的基礎(chǔ)上增加權(quán)重計算。Zhang等[10]提出的局部強度和梯度(LIG)算法在局部對比的基礎(chǔ)上結(jié)合梯度計算,對背景的邊緣處理有明顯效果。基于HVS的算法一般在目標(biāo)檢測的前期處理階段加入濾波器對原始圖像進(jìn)行去噪和初步背景抑制。高斯濾波、中值濾波、均值濾波等濾波器模型簡單,對于復(fù)雜背景的圖像處理效果有限。雙邊濾波[11]、導(dǎo)向濾波等計算復(fù)雜,消耗時間多,不利于圖像的前期處理。曲率濾波[12]利用圖像的離散性優(yōu)化曲率,簡化計算,但部分復(fù)雜背景下的處理能力不足。

綜上,提出一種改進(jìn)加權(quán)增強局部對比算法(WSLCM)的紅外小目標(biāo)檢測算法,通過自適應(yīng)曲率濾波將處理前后的紅外圖像作差得到初始目標(biāo)顯著圖。將WSLCM局部窗口的最大灰度值作為參數(shù),引入目標(biāo)增強因子和背景抑制因子對初始目標(biāo)顯著圖進(jìn)行背景抑制和目標(biāo)增強,進(jìn)而通過閾值分割得到理想目標(biāo)。將算法進(jìn)行輕量化和并行加速布置在ZYNQ7020開發(fā)板上,構(gòu)建軟硬協(xié)同平臺,通過IP核定制,將算法進(jìn)行移植,實現(xiàn)對紅外小目標(biāo)的實時檢測。

1 改進(jìn)的WSLCM

傳統(tǒng)的WSLCM由高斯濾波、增強局部對比(SLCM)以及加權(quán)函數(shù)組成。其中預(yù)處理階段采用3×3高斯卷積核,但其對復(fù)雜背景紅外小目標(biāo)圖像處理效果并不明顯,為后續(xù)紅外小目標(biāo)的檢測增加了難度。改進(jìn)主要針對兩個部分,一是在預(yù)處理階段提出自適應(yīng)曲率濾波算法取代高斯濾波;二是在背景抑制模塊SLCM中更新背景估計參數(shù)和引入估計因子提高算法的小目標(biāo)檢測能力。

1.1 選取局部窗口最大值

SLCM采用局部窗口方式對原始圖像中的背景部分進(jìn)行估計,由9個窗口組成,如圖1所示。其中A0為中心部分,用來估計小目標(biāo),面積應(yīng)該等于或稍大于小目標(biāo)的面積。A1～A8為目標(biāo)周圍的背景估計,大小與A0一致。

圖1 局部窗口分布Fig.1 Local window distribution

對背景進(jìn)行估計時計算每個窗口中n個最大像素的平均值如式(1)所示：

(1)

(2)

式中：I為原始圖像;G為高斯卷積核;x,y為像素位置。由于單一高斯濾波對紅外小目標(biāo)的預(yù)處理效果有限,目標(biāo)與周圍背景灰度差等級相差較小,易將目標(biāo)平滑成背景。為改善這種情況,在采用自適應(yīng)曲率濾波算法的同時將局部窗口灰度值的最大值作為背景估計值：

(3)

BE(x,y)=max{M1,M2,…,M8}

(4)

通過背景窗口最大值計算BE,提高了背景的灰度值,減小了目標(biāo)與背景的對比度。通過比值與差值聯(lián)合對比實現(xiàn)進(jìn)一步的背景抑制,為準(zhǔn)確的目標(biāo)檢測提供了基礎(chǔ)。

1.2 目標(biāo)增強因子和背景抑制因子

SLCM中局部對比采用了比值與差值聯(lián)合對比的方式,比值算法可以增強真實目標(biāo),差值算法可以抑制復(fù)雜背景。目前比值與差值僅能以一種計算后固定值的方式進(jìn)行圖像處理,仍然存在虛警和背景抑制不完全的情況。

在Y(x,y)的基礎(chǔ)上引入目標(biāo)增強因子λ(0～1)和背景抑制因子γ(0～1),兩種因子在比值與差值聯(lián)合對比算法中對目標(biāo)部分和背景部分分別賦予不同的權(quán)重,使目標(biāo)得到明顯增強以及背景被進(jìn)一步抑制：

(5)

式中：Y(x,y)為輸出圖像;I(x,y)為目標(biāo)圖像;BE(x,y)為式(4)中背景估計圖像。

所提算法在WSLCM基礎(chǔ)上通過將背景估計的窗口平均值調(diào)整為最大值以及在比值與差值融合算法中引入λ和γ因子,實現(xiàn)了紅外小目標(biāo)圖像較為有效的背景抑制和小目標(biāo)的局部增強,在降低紅外小目標(biāo)虛警率同時提高檢測精度。

檢測時,考慮耗時問題,改進(jìn)的WSLCM在單尺度下對顯著圖的背景進(jìn)行抑制,通過自適應(yīng)閾值分割得到單幀處理圖像：

Th=kqmax+(1-k)qmean

(6)

式中：qmax和qmean分別為當(dāng)前圖像像素的最大值和平均值;k為介于0和1之間的參數(shù)。

2 連續(xù)幀檢測算法

在連續(xù)幀檢測中,由于紅外小目標(biāo)所占像素較小并且移動距離相對整幅圖像來說較短,相鄰幀間的真實目標(biāo)距離有限,提出建立一定范圍的檢測專注區(qū),對專注區(qū)內(nèi)的疑似目標(biāo)進(jìn)行判別,可有效節(jié)省檢測時間,提升檢測效率?？紤]到在經(jīng)過處理后的專注區(qū)內(nèi)可能仍然存在偽目標(biāo),易造成誤檢測的發(fā)生,采用目標(biāo)平均值對比的方法。從第一幀開始計算每一幀中目標(biāo)的灰度平均值,在當(dāng)前幀存在偽目標(biāo)的情況下,將當(dāng)前幀檢測到的多個目標(biāo)平均值分別與上一幀目標(biāo)平均值作差,以差值最小為判定條件,所提算法流程如圖2所示。

圖2 連續(xù)幀檢測算法Fig.2 Flow chart of continuous frame detection algorithm

由圖2可見,在連續(xù)幀檢測中,算法對第一幀紅外圖像進(jìn)行小目標(biāo)檢測,確定其當(dāng)前位置P0(x,y)。第二幀圖像以P1(x,y)為中心建立一個范圍為a×a的專注區(qū),在其內(nèi)進(jìn)行目標(biāo)檢測。以此類推,第i幀圖像在以Pi-1(x,y)為中心的專注區(qū)內(nèi)進(jìn)行目標(biāo)檢測。

其中在進(jìn)行某一幀檢測時,通過所提算法對其進(jìn)行處理。首先對輸入的原始圖像進(jìn)行自適應(yīng)曲率濾波處理,一方面原始圖像經(jīng)過曲率濾波迭代和差分后得到目標(biāo)圖像A;與此同時,將其降采樣后進(jìn)行曲率濾波和差分,經(jīng)過上采樣獲得與原始圖像尺寸相同的目標(biāo)圖像B,兩者相加得到輸出的目標(biāo)顯著圖。改進(jìn)的WSLCM對輸出圖像進(jìn)行背景抑制和目標(biāo)增強,然后通過自適應(yīng)閾值分割得到輸出圖像,具體流程如圖3所示。

圖3 所提檢測算法流程圖Fig.3 Flow chart of the proposed detection algorithm

在實際工程應(yīng)用中,所提算法可以通過式(5)中目標(biāo)增強因子和背景抑制因子的參數(shù)調(diào)節(jié)完成多場景下的紅外小目標(biāo)檢測工作。如檢測復(fù)雜地面背景下的小目標(biāo)時,目標(biāo)增強因子取值應(yīng)大于背景抑制因子,通常情況下目標(biāo)增強因子取0.8～1.2,背景抑制因子取0.6～0.8;針對地面簡單背景下的小目標(biāo)檢測,目標(biāo)增強因子取值只需略大于背景抑制因子,目標(biāo)增強因子取0.9～1,背景抑制因子取0.8～0.95;針對天空云層背景下的小目標(biāo)檢測,目標(biāo)增強因子取值與背景抑制因子需保持一致,即兩者都取1。所以針對不同的紅外圖像背景可以通過因子調(diào)節(jié),實現(xiàn)對不同場景下小目標(biāo)檢測的適應(yīng)能力。

3 實驗與結(jié)果分析

為驗證算法有效性,實驗分為兩組,第一組使用所提算法對特定紅外背景下融合的小目標(biāo)進(jìn)行檢測,目的為通過融合不同點目標(biāo)模擬復(fù)雜背景下遠(yuǎn)距離無人飛行器目標(biāo)以及遠(yuǎn)距離的地面車輛或行人目標(biāo),記為場景1。第二組將所提算法與經(jīng)典的5種算法對3種不同背景下紅外無人機小目標(biāo)檢測的結(jié)果進(jìn)行對比,記為場景2。

3.1 特定背景下的小目標(biāo)檢測

實驗的特定紅外背景相源圖像共307張,通過仿真軟件建立的目標(biāo)融合系統(tǒng)實現(xiàn)圖像的生成,主要是將8×8小目標(biāo)融合在640×512的相源圖像中,3×3小目標(biāo)同樣融合在相同數(shù)量的100×100相源圖像中。分辨率減小后的相源圖像相較于原始圖像整體細(xì)節(jié)會有損失,灰度起伏程度加大,檢測難度也會增加。為了觀察目標(biāo)在不同背景區(qū)域的檢測情況,分別在每張紅外圖像的天空部分,艦艇部分以及兩者相接部分融合真實小目標(biāo),利用所提算法對不同區(qū)域的小目標(biāo)進(jìn)行檢測,檢測后的圖像以及三維顯著圖如圖4所示。

圖4 紅外小目標(biāo)處理效果圖Fig.4 Infrared small target processing effect

由圖4(a)可知在背景圖像和目標(biāo)分辨率均較小的條件下,目標(biāo)1和目標(biāo)2能夠被準(zhǔn)確識別,但位于艦身中的目標(biāo)3被作為背景完全抑制,同時將艦上燈光誤檢為目標(biāo)3。由圖(b)可知所提算法對于大小為640×512的不同場景下紅外小目標(biāo)檢測有明顯效果,天空區(qū)域的小目標(biāo)在云層的干擾下能夠正確識別。特別是當(dāng)目標(biāo)處于艦艇區(qū)域的復(fù)雜背景下時,能將艦身、燈光等背景進(jìn)行完全的抑制,得到小目標(biāo)的位置。綜上,所提算法對原始圖像的所有目標(biāo)和分辨率減小后的目標(biāo)1、目標(biāo)2都能正確檢測,但在分辨率減小后背景復(fù)雜的目標(biāo)3則未能正確檢測。

3.2 算法對比

選取3種不同的復(fù)雜背景圖像作為檢測對象,分別為地面叢林、天空云層以及地面山丘,地面背景的復(fù)雜多變以及天空云層的強干擾極容易造成小目標(biāo)的淹沒和誤檢測。為驗證所提算法的優(yōu)勢,將所提算法與經(jīng)典常規(guī)濾波算法、同領(lǐng)域代表算法以及不同領(lǐng)域優(yōu)質(zhì)算法進(jìn)行全面對比,其中最大均值濾波(Max mean)和頂帽變換(Tophat)是經(jīng)典常規(guī)濾波算法,應(yīng)用范圍極廣;增強局部對比和加權(quán)增強局部對比算法與所提算法都基于HVS,對復(fù)雜背景的紅外圖像處理有明顯效果;局部強度和梯度(Lig)算法是從局部灰度強度和目標(biāo)梯度向心兩方面考慮的檢測算法。選取處理效果較強的兩種算法和所提算法進(jìn)行結(jié)果展示,如圖5所示。

圖5 背景抑制對比圖Fig.5 Background suppression contrast diagram

由圖可知,第一張地面叢林圖像被分為背景起伏相對平緩的區(qū)域1和起伏較多的區(qū)域2,頂帽變換對區(qū)域1的背景抑制效果較好,只保留了真實目標(biāo)。對區(qū)域2的處理則出現(xiàn)大量偽目標(biāo)。同樣頂帽變換對地面山丘的背景抑制也不完全,導(dǎo)致偽目標(biāo)的存在,易造成誤識別發(fā)生。對于天空云層的小目標(biāo)檢測頂帽變換實現(xiàn)了良好的背景抑制。而所提算法則能夠?qū)?種不同復(fù)雜背景部分完全抑制并完整保留真實目標(biāo)。圖6為以上兩種算法的像素灰度顯著特性。

由對比可知,針對地面叢林,兩目標(biāo)分別處在背景對比較大的山體部分以及背景更為復(fù)雜的叢林部分。經(jīng)過頂帽變換處理的顯著圖中存在多個極值,產(chǎn)生了背景抑制不完全的情況,并未有效去除叢林地面中的高亮部分。所提算法則完好保留兩目標(biāo)并將背景全部抑制。針對天空云層的處理,所有算法都能夠?qū)Ρ尘坝休^好的抑制,所提算法最大程度保留小目標(biāo)的原有尺寸且未失真。針對地面山丘,頂帽變換也產(chǎn)生了背景抑制不完全的情況,而所提算法仍能夠?qū)崿F(xiàn)對背景的完全抑制。由此可見,在不同環(huán)境下所提算法均能有效檢測。

此外,對不同算法處理后的3種圖像集分別進(jìn)行信雜比(signal clutter ratio, SCR)、信雜比增益(signal clutter ratio gain, SCRG)以及背景抑制因子(background suppress factor, BSF)的計算,分別記為SCR,SCRG和BSF,其具體定義如式(7)～式(9)所示：

(7)

(8)

(9)

其中：mt表示目標(biāo)的平均像素大小;mb表示目標(biāo)周圍像素平均值大小;σb表示目標(biāo)周圍像素值標(biāo)準(zhǔn)差;SCR,out表示輸出圖像的信雜比;SCR,in表示輸入圖像的信雜比;σin和σout表示輸入圖像和輸出圖像的標(biāo)準(zhǔn)差。3種指標(biāo)越大表征處理后結(jié)果越佳,具體數(shù)據(jù)見表1。

表1 不同背景下不同算法的3種指標(biāo)值Table 1 Three index values of each background with different algorithms

由表1可見,在大多數(shù)情況下,所提算法處理后圖像的BSF,SCR和SCRG值均比前述5種算法的對應(yīng)值大。針對背景最復(fù)雜的地面叢林, SCRG和BSF指標(biāo)相比于其他算法中數(shù)值最高算法分別提升了10.7%和11.8%。另外所提算法主要針對640×512的特定紅外背景小目標(biāo)進(jìn)行改進(jìn),SCRG和BSF指標(biāo)相比于傳統(tǒng)WSLCM,分別提升了41.6%和29.8%。表明所提算法不僅能更好增強目標(biāo),亦能提升背景抑制能力。

3.3 算法移植和嵌入式實現(xiàn)

目前,算法實現(xiàn)和驗證多依靠PC架構(gòu)下的CPU進(jìn)行處理,但此種方法需要借助強大的操作系統(tǒng),并且存在高功耗、便攜性差等問題。嵌入式平臺在近些年的發(fā)展中憑借低功耗、體積小、計算效率高以及可重復(fù)設(shè)計等優(yōu)勢成為許多項目的實現(xiàn)手段,所以提出將所提算法移植至嵌入式ZYNQ7020開發(fā)板進(jìn)行實現(xiàn)。

設(shè)計采用軟硬件協(xié)同方式進(jìn)行算法驗證,在開發(fā)板的PL端主要定制和封裝了改進(jìn)算法IP核和VIVADO HLS高級綜合完成的自適應(yīng)閾值分割I(lǐng)P核,見圖7(a)、(b)。另外構(gòu)建了為存儲器或AXI4-Stream類目標(biāo)外設(shè)提供高帶寬數(shù)據(jù)存取的VDMA,可將VDMA輸出的AXI4-Stream數(shù)據(jù)流轉(zhuǎn)換成視頻協(xié)議數(shù)據(jù)流的AXI4-Stream to Video Out(vid_out)以及用于控制視頻輸出時序參數(shù)的Video Timing Controller(VTC)等架構(gòu),最終通過布局布線完成Block design設(shè)計。PS端主要搭建VDMA,GPIO初始化,中斷初始化以及數(shù)據(jù)流地址分配和讀取等框架,總體實現(xiàn)流程見圖7(c)。

圖7 自定義IP核及嵌入式平臺實現(xiàn)流程圖Fig.7 Custom IP core and embedded platform implementation flow chart

由圖7可知,PS和PL通過AXI4協(xié)議進(jìn)行數(shù)據(jù)交互。PC端生成的目標(biāo)融合相源數(shù)據(jù)放置于嵌入式平臺的SD卡中,通過ARM處理器將圖像數(shù)據(jù)流導(dǎo)入DDR緩存;VDMA設(shè)置3幀緩存通過讀操作不斷傳輸圖像數(shù)據(jù),上述定制的IP核實現(xiàn)對背景的抑制和目標(biāo)分割,處理后結(jié)果由vid_out轉(zhuǎn)換成視頻格式后通過DVI Transmitter IP核在顯示器進(jìn)行HDMI顯示。

經(jīng)統(tǒng)計,所提算法在嵌入式端的檢測效率相比于PC端提升了17.6%。但檢測率有所下降,在虛警率為0.3%的情況下檢測率為93.2%,PC端為96.7%。LUT資源占用8%,BRAM資源占用3%,為后期算法進(jìn)一步改進(jìn)提供了空間。

4 結(jié)論

提出了一種改進(jìn)WSLCM的紅外小目標(biāo)檢測算法,通過自適應(yīng)曲率濾波對原始圖像進(jìn)行預(yù)處理,在對背景去噪的同時保留了小目標(biāo);選取局部窗口灰度值的最大值作為背景估計,引入目標(biāo)增強因子和背景抑制因子,提高了檢測性能,憑借自適應(yīng)閾值分割檢測目標(biāo)位置。所提算法在連續(xù)幀中提出建立專注區(qū)和目標(biāo)平均值對比提高了檢測效率和檢測精度。建立紅外小目標(biāo)圖像集在嵌入式端對算法進(jìn)行驗證,檢測效率相比于PC端提升了17.6%,保證了算法移植后實時性。將結(jié)果對比不同代表性算法,驗證了所提算法的有效性。