王 磊，孟志敏，劉 帥，郝永平，徐九龍

(沈陽(yáng)理工大學(xué)兵器科學(xué)與技術(shù)研究中心，沈陽(yáng) 110159)

0 引言

紅外圖像可根據(jù)目標(biāo)和背景熱輻射差異來(lái)區(qū)分目標(biāo)和背景。可見(jiàn)光CCD/CMOS成像器件在空間分辨率較高，能夠提供物體清晰的結(jié)構(gòu)細(xì)節(jié)[1]。紅外和可見(jiàn)光圖像融合在軍事和民用領(lǐng)域發(fā)揮著重要作用，如目標(biāo)探測(cè)、監(jiān)視和情報(bào)收集[2]。

基于多傳感器圖像融合的戰(zhàn)場(chǎng)目標(biāo)識(shí)別是現(xiàn)代化戰(zhàn)爭(zhēng)的重要發(fā)展方向[3-4]。近年來(lái)，代表性的圖像融合方法有：多尺度變換、小波變換、非下采樣輪廓波變換(NSCT)、引導(dǎo)濾波等。Yang等采用NSCT與GoogLeNet神經(jīng)網(wǎng)絡(luò)模型結(jié)合的異源傳感器圖像融合算法，有效提高圖像融合質(zhì)量，但是其算法復(fù)雜，實(shí)時(shí)性較差[5]。Li等提出了彩色圖像雙樹(shù)四元數(shù)小波變換的融合方法，可保留更多源圖像的細(xì)節(jié)信息[6]。Cadambi等研發(fā)了FPGA+DSP架構(gòu)的紅外與可見(jiàn)光融合系統(tǒng)[7]，其主要缺點(diǎn)是對(duì)大規(guī)模的數(shù)據(jù)吞吐處理難度較大且實(shí)時(shí)性差。上述算法計(jì)算復(fù)雜，針對(duì)低成本嵌入式實(shí)時(shí)平臺(tái)的應(yīng)用受到一定限制。

文中針對(duì)坦克等戰(zhàn)場(chǎng)目標(biāo)，提出了基于小波變換的紅外與可見(jiàn)光圖像融合的目標(biāo)識(shí)別算法，克服識(shí)別過(guò)程中傳輸效率低，計(jì)算性能不足以及實(shí)時(shí)性差等問(wèn)題。搭建ARM+FPGA架構(gòu)的嵌入式平臺(tái)，通過(guò)軟硬件協(xié)同設(shè)計(jì)進(jìn)行資源優(yōu)化與合理配置，根據(jù)各模塊的不同特性，給出了實(shí)時(shí)圖像配準(zhǔn)和融合處理系統(tǒng)在嵌入式平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)方案，仿真和實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的有效性。

1 紅外與可見(jiàn)光坦克圖像融合方法

1.1 基于形狀上下文特征的圖像配準(zhǔn)

對(duì)于紅外與可見(jiàn)光圖像，通過(guò)邊緣檢測(cè)算子獲取輪廓邊緣，對(duì)輪廓邊緣采樣得到離散模型。采用形狀上下文特征(shape context, SC)配準(zhǔn)方法，建立異源圖像共有特征，尋找最大相似度下的空間幾何變換模型，實(shí)現(xiàn)圖像匹配準(zhǔn)，其流程見(jiàn)圖1。

圖1 SC配準(zhǔn)算法流程圖

為解決異源圖像中同一目標(biāo)尺度不同問(wèn)題，計(jì)算兩點(diǎn)集對(duì)應(yīng)距離矩陣與平均距離之比映射到坐標(biāo)系中對(duì)應(yīng)的歐氏距離，其距離和方向計(jì)算公式為：

(1)

(2)

采用卡方檢驗(yàn)統(tǒng)計(jì)輸入與模板圖像的相似度，即

(3)

式中:k表示對(duì)數(shù)坐標(biāo)系中第k個(gè)網(wǎng)格;g與h表示相似點(diǎn)對(duì)。

設(shè)定梯度值計(jì)算切向角為θ1和θ2，切向角非相似函數(shù)變換后，得：

(4)

兩個(gè)相似度度量矩陣進(jìn)行加權(quán)求和，輸出總相似度度量矩陣為：

C=(1-λ)Cs+λCt,λ∈[0,1]

(5)

利用匈牙利算法實(shí)現(xiàn)兩圖像采樣集點(diǎn)最優(yōu)匹配。通過(guò)匈牙利算法不斷迭代求出最終開(kāi)銷值最小的點(diǎn)對(duì)匹配方案。得到匹配度較高采樣點(diǎn)擬合出新的邊緣輪廓后，采用薄板樣條插值函數(shù)對(duì)輪廓進(jìn)行插值變形。其薄板樣條插值函數(shù)為：

(6)

插值函數(shù)由線性項(xiàng)和非線性項(xiàng)組成。線性項(xiàng)是平面與所有匹配度高的點(diǎn)最佳匹配，非線性項(xiàng)與控制點(diǎn)的彎曲率有關(guān)。

為驗(yàn)證配準(zhǔn)效果，針對(duì)同一組640像素×480像素包含坦克目標(biāo)的紅外與可見(jiàn)光異源圖像測(cè)試樣本，采用文中所述配準(zhǔn)算法以及Hu不變矩、SURF算法進(jìn)行比對(duì)，配準(zhǔn)結(jié)果如圖2所示。

圖2 不同配準(zhǔn)算法特征點(diǎn)匹配

由圖2可見(jiàn)，Hu不變矩特征匹配點(diǎn)對(duì)的誤差較大，SURF算法特征點(diǎn)匹配由于圖像中目標(biāo)與環(huán)境的結(jié)構(gòu)相似，較多的誤匹配點(diǎn)限制了配準(zhǔn)效果。相應(yīng)匹配性能結(jié)果對(duì)比如表1所示。

表1 特征點(diǎn)匹配結(jié)果

以可見(jiàn)光圖像為參照模板，采用所述配準(zhǔn)方法結(jié)果如圖3。

圖3 紅外原圖像與空間變換后圖像對(duì)比

1.2 小波變換的坦克圖像融合

基于小波變換的方法是較為典型的多尺度分解融合方法，通過(guò)尺度函數(shù)和小波函數(shù)進(jìn)行分解，提取各自圖像高頻與低頻分量，其作用分別對(duì)信號(hào)高通濾波保留細(xì)節(jié)，低通濾波去除噪聲，平滑處理；按照融合規(guī)則進(jìn)行信息重構(gòu)，得到融合圖像，其流程見(jiàn)圖4。

圖4 基于小波變換的圖像融合流程

設(shè)大小為M×N的離散圖像，其二維離散小波變換為：

(7)

(8)

逆變換為：

(9)

為了提高圖像融合效果，小波基的選擇至關(guān)重要。同時(shí)考慮到小波變換時(shí)包含奇異點(diǎn)造成大幅值系數(shù)情況，選取高的消失矩，小的支集。DB系列小波為最優(yōu)選擇。由表2可知，選用DB-4基函數(shù)，融合后圖像的平均梯度略低，但其熵、均值和標(biāo)準(zhǔn)差均優(yōu)于其他基函數(shù)，綜合評(píng)價(jià)較好。

表2 不同小波基函數(shù)融合圖像性能指標(biāo)

針對(duì)融合前圖像中存在的高斯噪聲，小波變換后噪聲在小波域?qū)?yīng)的高頻系數(shù)進(jìn)行最大程度抑制，對(duì)有效信號(hào)影響較小。將經(jīng)過(guò)閾值處理后的小波系數(shù)重構(gòu)，可以得到去噪后的信號(hào)。由于圖像經(jīng)過(guò)預(yù)處理，噪聲較小，且最大程度保留原始高頻信號(hào)，采用極值閾值估計(jì)。

(10)

式中，N為小波系數(shù)個(gè)數(shù)。

為保證融合圖像平滑，保留較多原始信號(hào)，選取軟閾值函數(shù)去噪。

(11)

將待融合高頻子圖像分為若干5像素×5像素局部區(qū)域，并計(jì)算每一個(gè)區(qū)域的能量E。其計(jì)算公式為：

(12)

式中，E(x,y)表示以(x,y)為中心，窗口5像素×5像素內(nèi)區(qū)域的能量;f(x,y)是對(duì)應(yīng)的高頻系數(shù)。

高頻部分系數(shù)融合規(guī)則為：

(13)

式中:fHA和fHB為待融合圖像的高頻系數(shù);fH(x,y)是融合后的高頻子圖像系數(shù)。

低頻融合規(guī)則為：

fL(x,y)=w1fLA(x,y)+(1-w1)FLB(x,y)

(14)

式中:fLA(x,y)，fLB(x,y)為低頻系數(shù)；fL(x,y)為融合后低頻系數(shù)；w1為加權(quán)系數(shù)，取w1=0.5。

分別采用加權(quán)平均融合、Harr小波變換融合、文中方法進(jìn)行圖像融合，結(jié)果見(jiàn)圖5。

圖5 不同融合算法結(jié)果對(duì)比

圖5中:圖(a)比圖(b)保留更多源圖像的特征，但存在錯(cuò)位重影現(xiàn)象且圖像模糊；圖(b)要比圖(a)的背景與目標(biāo)對(duì)比度明顯；圖(c)中坦克的邊緣輪廓明顯，人身體部分無(wú)錯(cuò)位，融合效果更好。

通過(guò)融合圖像均值、標(biāo)準(zhǔn)差、平均梯度、熵等客觀評(píng)價(jià)指標(biāo)來(lái)反映融合效果。對(duì)比不同融合方法結(jié)果其指標(biāo)如表3所示，文中采用融合算法實(shí)現(xiàn)圖像融合的效果達(dá)到預(yù)期效果。

表3 不同算法融合效果評(píng)價(jià)指標(biāo)

2 HOG+SVM的坦克目標(biāo)識(shí)別算法

對(duì)于融合后圖像，坦克目標(biāo)的幾何形狀特征穩(wěn)定可靠，因此采用HOG+SVM的目標(biāo)識(shí)別方法，有較好的光學(xué)變形和幾何變形不變性。

2.1 目坦克標(biāo)HOG特征提取

為有效降低圖像對(duì)光照變化的敏感性，采用式(15)標(biāo)準(zhǔn)化方式進(jìn)行歸一化處理，效果對(duì)比如圖6所示。

圖6 原圖像與歸一化圖像

I(x,y)=Iγ(x,y)

(15)

式中:I(x,y)為圖像任意像素點(diǎn)灰度值;γ為Gamma校正值，對(duì)于圖像歸一化，選取γ=1/2。

然后通過(guò)差分計(jì)算來(lái)求解梯度,其表達(dá)式為：

Gx(x,y)=f(x+1,y)-f(x-1,y)

Gy(x,y)=f(x,y+1)-f(x,y-1)

(16)

式中:(x,y)表示灰度圖的像素位置;f(x+1,y),f(x-1,y),f(x,y+1),f(x,y-1)分別是(x,y)鄰域的像素值;Gx(x,y)與Gy(x,y)為(x,y)處水平和垂直方向的梯度分量。因此每個(gè)像素點(diǎn)的梯度值和梯度方向?yàn)椋?/p>

(17)

將梯度圖像劃分為6像素×6像素像素的方格單元(cell)，每個(gè)塊(block)由2像素×2像素方格單元構(gòu)成。梯度方向數(shù)為9。

由于塊特征向量對(duì)于光照的變化比較敏感，對(duì)塊特征進(jìn)行歸一化，可以使其對(duì)光照和陰影變化具有抗干擾性。設(shè)塊的特征向量為H，歸一化方法為：

H=H/(‖H‖1+ε)

(18)

式中，ε是一個(gè)無(wú)窮小量，避免分母為0，且不影響歸一化結(jié)果。以方格單元邊長(zhǎng)為跨度，進(jìn)行遍歷圖像特征提取，生成不同塊的HOG特征，將塊特征向量組合起來(lái)，生成檢測(cè)窗口的HOG特征。

2.2 坦克目標(biāo)分類決策方法

針對(duì)坦克目標(biāo)，由于受到樣本數(shù)量的限制，選擇支持向量機(jī)(support vector machine，SVM)[8]作為小樣本坦克目標(biāo)數(shù)據(jù)的分類器，其實(shí)現(xiàn)流程如下：

步驟1:建立超平面方程。設(shè)樣本集合為(xi,yi)，xi是每一個(gè)樣本中提取的特征向量，yi是每個(gè)樣本的類別號(hào)，對(duì)于二分類情況，yi∈{+1,-1}。則分類超平面方程為：

wTx+b=0

(19)

步驟2:求解最優(yōu)分類函數(shù)。針對(duì)非線性分類，可以將樣本數(shù)據(jù)x映射到高維的特征空間E。定義內(nèi)積函數(shù)C(xi,xj)實(shí)現(xiàn)非線性樣本分類問(wèn)題線性化，求解最優(yōu)分類函數(shù)為：

(20)

步驟3:核函數(shù)選擇。為了加速算法實(shí)現(xiàn)，利用核方法定義核函數(shù)，避免計(jì)算非線性變換得到具體形式。高斯徑向基核函數(shù)的非線性支持向量機(jī)在訓(xùn)練時(shí)可以自動(dòng)確定核參數(shù)[9]，高斯徑向基核函數(shù)如下所示：

C(xi,xj)=exp(-‖x-xi‖2/2σ2),σ>0

(21)

檢測(cè)窗口在遍歷整個(gè)圖像時(shí)，目標(biāo)周圍HOG特征相似，因此識(shí)別目標(biāo)周圍會(huì)出現(xiàn)在不同位置的重疊矩形框選窗口如圖7所示。

圖7 識(shí)別目標(biāo)的重疊框

步驟4:選框融合。采用非極大值抑制方法進(jìn)行候選框融合[10]。將N個(gè)候選窗口的得分Grai按順序排列，得到集合H={Gra1,Gra2,…,GraN-1,GraN}，計(jì)算集合H中每一個(gè)框選窗口得分與集合M中的Gra1的重疊度IoU。

IoU=S(Grai)∩S(Gra1)

(22)

式中，S為框選窗口的面積。

設(shè)定重疊閾值Th=0.4，IoU高于閾值，認(rèn)為該框選窗口與基準(zhǔn)窗口有較多的區(qū)域交集。迭代此過(guò)程，直至集合H為空。針對(duì)移動(dòng)樣本和靜止樣本，識(shí)別結(jié)果如圖8所示。有效剔除了圖像重復(fù)特征信息，減少了識(shí)別誤差。

圖8 非極大值抑制窗口融合標(biāo)

3 嵌入式系統(tǒng)搭建

結(jié)合所提紅外與可見(jiàn)光圖像融合的目標(biāo)識(shí)別算法在戰(zhàn)場(chǎng)環(huán)境下的應(yīng)用，搭建ARM+FPGA架構(gòu)的嵌入式系統(tǒng)，通過(guò)軟硬件協(xié)同設(shè)計(jì)進(jìn)行資源優(yōu)化與合理配置，選用XC7Z020作為嵌入式主芯片，ARM+FPGA架構(gòu)中一部分是以ARM處理器為核心的PS端，另一部分是以FPGA可編程邏輯為核心的PL端，PS與PL之間的互聯(lián)是通過(guò)ARM的AXI接口來(lái)實(shí)現(xiàn)。其中ARM硬核的主頻率為767 MHz，F(xiàn)PGA主頻率為250 MHz，配備了HDMI、USB等輸入輸出接口用于紅外與可見(jiàn)光目標(biāo)特征的采集與處理結(jié)果顯示。搭建所需目標(biāo)識(shí)別系統(tǒng)，選用的平臺(tái)及開(kāi)發(fā)的樣機(jī)見(jiàn)圖9。

圖9 開(kāi)發(fā)的識(shí)別系統(tǒng)與FPGA/ARM樣機(jī)

根據(jù)平臺(tái)的ARM與FPGA端數(shù)據(jù)處理特性差異，對(duì)不同模塊進(jìn)行合理部署劃分，系統(tǒng)總體布局如圖10所示。

圖10 嵌入式系統(tǒng)部署框架圖

圖10中針對(duì)紅外與可見(jiàn)光測(cè)試樣本進(jìn)行預(yù)處理、特征提取等算法處理。為進(jìn)一步方便地面的測(cè)試與驗(yàn)證，憑借Vivado開(kāi)發(fā)環(huán)境進(jìn)行設(shè)計(jì)，包括可見(jiàn)光與紅外攝像頭數(shù)據(jù)通過(guò)算法IP核處理，由VDMA傳輸?shù)絇S端識(shí)別分類后，通過(guò)HDMI接口顯示等。軟件實(shí)現(xiàn)架構(gòu)如圖11所示。

圖11 軟件實(shí)現(xiàn)架構(gòu)圖

系統(tǒng)通過(guò)FPGA提取到的圖像特征數(shù)據(jù)，融合處理后在傳送到ARM端進(jìn)行分類、識(shí)別。為便于算法在PS端執(zhí)行，在Ubuntu系統(tǒng)中配置Qt編譯環(huán)境，同時(shí)鏈接OpenCV庫(kù)，通過(guò)交叉編譯的方式生成工程的可執(zhí)行文件，同時(shí)移植Linux系統(tǒng)。

3.1 圖像融合與識(shí)別算法優(yōu)化加速設(shè)計(jì)

針對(duì)圖像預(yù)處理中濾波和邊緣輪廓提取計(jì)算量大、耗時(shí)長(zhǎng)的問(wèn)題，采用圖像行緩存、窗口緩存等方法對(duì)圖像進(jìn)行處理，實(shí)現(xiàn)加速遍歷圖像像素卷積運(yùn)算。對(duì)于算法中循環(huán)迭代加速優(yōu)化，通過(guò)Vivado HLS的優(yōu)化指令，實(shí)現(xiàn)算法并行優(yōu)化加速。表4為優(yōu)化后算法執(zhí)行時(shí)間。

表4 優(yōu)化后算法執(zhí)行時(shí)間

對(duì)圖像融合算法移植到Zynq7020平臺(tái)實(shí)現(xiàn)。算法IP核工作頻率為150 MHz，將數(shù)據(jù)輸入口設(shè)置為RAM-2P-BRAM類型擴(kuò)大帶寬，數(shù)據(jù)分塊管理，并將算法中循環(huán)迭代展開(kāi)。表5為經(jīng)過(guò)Vivado HLS指令優(yōu)化后綜合分析的IP執(zhí)行時(shí)間。

表5 圖像融合算法優(yōu)化執(zhí)行時(shí)間

系統(tǒng)定制了融合算法的IP核，數(shù)據(jù)傳輸是通過(guò)stream形式，定義AXI總線接口協(xié)議，采用上述硬件優(yōu)化后，融合后結(jié)果見(jiàn)圖12。

圖12 融合算法硬件優(yōu)化實(shí)驗(yàn)

由圖12可見(jiàn)，目標(biāo)局部重影較少，融合圖像保留了異源圖像的主要特征信息。

HOG特征提取過(guò)程，主要在梯度計(jì)算與特征向量加權(quán)統(tǒng)計(jì)。由式(17)可知反正切運(yùn)算含有除法運(yùn)算。針對(duì)特征提取過(guò)程進(jìn)行優(yōu)化，在FPGA中除法運(yùn)算通過(guò)移位和比較操作實(shí)現(xiàn)[11]，并封裝加速IP核，表6為HOG特征提取硬件加速的資源占用情況。

表6 HOG特征提取算法優(yōu)化占用資源

3.2 嵌入式系統(tǒng)模塊化部署及實(shí)驗(yàn)驗(yàn)證

選取紅外與可見(jiàn)光圖像各200張作為測(cè)試樣本。對(duì)比不同平臺(tái)融合識(shí)別效果，結(jié)果如圖13所示。為驗(yàn)證算法有效性，分別選用復(fù)雜背景下的靜止和運(yùn)動(dòng)目標(biāo)進(jìn)行融合和識(shí)別，圖13(a)、圖13(b)為PC端的識(shí)別結(jié)果。如圖13(a)可見(jiàn)，識(shí)別過(guò)程中HOG特征提取在FPGA上優(yōu)化加速，梯度中除法運(yùn)算轉(zhuǎn)換為硬件邏輯移位比較的方式，導(dǎo)致框選中心偏移。針對(duì)運(yùn)動(dòng)目標(biāo)，PC平臺(tái)目標(biāo)識(shí)別幀率為10 Hz左右。算法僅通過(guò)PS端(ARM)執(zhí)行，實(shí)時(shí)性不好，有目標(biāo)丟失情況，幀率為7 Hz左右，且芯片發(fā)熱嚴(yán)重。所提方法通過(guò)在PL和PS端(FPGA+ARM)有效分配，在識(shí)別實(shí)時(shí)性方面有顯著提高，幀率約為20 Hz，畫面連續(xù)，識(shí)別率與靜止情況差別較小。

圖13 PC和嵌入式平臺(tái)識(shí)別結(jié)果

3.3 嵌入式系統(tǒng)性能分析

由實(shí)驗(yàn)結(jié)果，主要從準(zhǔn)確率P、召回率R、綜合評(píng)價(jià)指標(biāo)F1三個(gè)方面對(duì)圖像融合識(shí)別系統(tǒng)進(jìn)行客觀評(píng)價(jià)分析，3種不同平臺(tái)下識(shí)別效果以及平均耗時(shí)如表7所示。

表7 系統(tǒng)評(píng)價(jià)指標(biāo)對(duì)比

由表7可知，針對(duì)文中采用的ARM+FPGA異構(gòu)軟硬協(xié)同設(shè)計(jì)的方法在準(zhǔn)確率、召回率以及綜合評(píng)價(jià)指標(biāo)相較于前兩種實(shí)驗(yàn)方法都有一定降低，平均耗時(shí)有顯著的減少。平均耗時(shí)51 ms，視頻識(shí)別結(jié)果的幀率約為20 Hz，滿足系統(tǒng)實(shí)時(shí)性要求。

4 結(jié)論

針對(duì)坦克目標(biāo)的紅外與可見(jiàn)光圖像融合的識(shí)別開(kāi)展采用基于小波變換的融合算法研究通過(guò)提取融合圖像HOG特征并生成SVM分類器模型實(shí)現(xiàn)坦克目標(biāo)識(shí)別。構(gòu)建了嵌入式的紅外與可見(jiàn)光圖像融合系統(tǒng)，定制了ARM+FPGA樣機(jī)。開(kāi)展了相關(guān)實(shí)驗(yàn)驗(yàn)證。配準(zhǔn)平均精度為51%，效果優(yōu)于Hu不變矩和SURF算法配準(zhǔn)。在ARM+FPGA嵌入式系統(tǒng)中，對(duì)圖像處理算法進(jìn)行優(yōu)化加速，定制融合處理IP核，其識(shí)別準(zhǔn)確率為78.22%，系統(tǒng)平均耗時(shí)為51 ms，幀率約為20 Hz，相較其它實(shí)現(xiàn)平臺(tái)耗時(shí)大幅縮短，滿足目標(biāo)檢測(cè)識(shí)別的實(shí)時(shí)性要求。