樊 凌
(1.江蘇科技大學(xué) 蘇州理工學(xué)院,江蘇 蘇州215104;2.蘇州市職業(yè)大學(xué) 計算機工程學(xué)院,江蘇 蘇州215104)
隨著計算機視覺圖像處理技術(shù)的發(fā)展,采用計算機視覺特征分析和圖像處理方法實現(xiàn)對軍事目標(biāo)的跟蹤和識別,對提高目標(biāo)的跟蹤搜索和打擊能力,具有重要的應(yīng)用價值和意義。艦船作為海戰(zhàn)的重要平臺,對艦船目標(biāo)的視覺分析和圖像處理,通過對艦船目標(biāo)視覺搜索跟蹤和特征提取,在計算機視覺中成像,實現(xiàn)艦船目標(biāo)打擊,成為國防科技領(lǐng)域和計算機圖像處理領(lǐng)域研究的熱點。艦船在海面上航行,受到外界環(huán)境噪聲干擾和水面的抖動影響較大,在圖像特征分析中常常會丟失部分有用信息,不能滿足高精度、高清晰度圖像識別要求,因此,需要研究一種有效的基于計算機視覺搜索的艦船跟蹤方法,通過計算視覺處理技術(shù),結(jié)合電子穩(wěn)像和圖像處理技術(shù),使圖像清晰穩(wěn)定的同時,提高視覺跟蹤搜索能力,相關(guān)的算法研究受到人們重視[1]。
傳統(tǒng)方法中,對艦船目標(biāo)的視覺特征提取和目標(biāo)跟蹤搜索方法主要有時頻特征提取算法、基于塊匹配的目標(biāo)輪廓檢測算法、基于白平衡的艦船亮點檢測算法和基于高分辨率灰度中值濾波的艦船圖像邊緣檢測算法實現(xiàn)對艦船目標(biāo)的視覺搜索和跟蹤[2]。其中,文獻[3]提出一種基于塊匹配的電子穩(wěn)像實現(xiàn)艦船目標(biāo)的敏感特征檢測和視覺搜索,提高目標(biāo)的識別率,但是該算法需要對艦船目標(biāo)進行空間亮度均衡化處理,在海上濃霧環(huán)境下目標(biāo)識別性能不好;文獻[4]提出一種基于點分布模型(Point Distribution Model,PDM)的塊匹配方法實現(xiàn)對艦船的視覺搜索和跟蹤,模板形狀的構(gòu)建以及約束規(guī)則形成過程中容易產(chǎn)生視覺偏移,導(dǎo)致艦船目標(biāo)的視覺特征漏檢,搜索性能不好;文獻[5]提出一種基于LWT 小波分解艦船視覺邊緣輪廓特征提取算法實現(xiàn)對艦船視覺搜索跟蹤,對采集的艦船圖像進行亮度補償和紋理分區(qū),使得對艦船圖像的重構(gòu)效果較好,但該算法的問題是計算量大,巨大的開銷導(dǎo)致目標(biāo)識別的實時性不好??梢?,傳統(tǒng)方法采用艦船目標(biāo)輪廓亮點檢測方法實現(xiàn)對目標(biāo)的視覺搜索,在圖像模糊和背景干擾較強時,檢測效果不好[6-10]。
針對上述問題,本文提出一種基于相鄰幀補償和尺度不變特征變換的艦船視覺搜索跟蹤算法。首先構(gòu)建了艦船目標(biāo)圖像的視覺特征采集模型,采用電子穩(wěn)像技術(shù)對艦船視覺信息進行直方圖均衡處理,以此為基礎(chǔ),采用尺度不變特征變換 (Scale Invariant Feature Transform,SIFT)對艦船目標(biāo)進行角點特征提取。根據(jù)提取的角點特征進行干擾濾波算法設(shè)計,提高了對艦船目標(biāo)的視覺搜索和跟蹤識別能力,仿真實驗進行了性能驗證,展示了本文算法在提高艦船目標(biāo)跟蹤識別的準(zhǔn)確度,提高艦船視覺特征提取的穩(wěn)像能力方面的優(yōu)越性和有效性。
艦船視覺圖像采集過程是艦船目標(biāo)圖像的三維成像過程,在艦船高速運動和水面的不穩(wěn)定場景下進行圖像采集時,攝像機安裝在震動的環(huán)境中,艦船視覺圖像特征采集不穩(wěn)定,在圖像采集和三維建模過程中,采用視角變化和仿射變換方法,提高艦船目標(biāo)視覺特征采集的穩(wěn)定性能,采用電子穩(wěn)像方法對圖像采集結(jié)果進行穩(wěn)定性處理,采用分塊處理方法艦船圖像進行三維建模,艦船視覺特征圖像初始分塊的大小15 ×15,每幀圖像尺寸大小m ×n 決定了圖像的像素點數(shù),為了獲得視覺清晰的艦船目標(biāo)圖像,建立圖像全局運動估計模型,對艦船目標(biāo)的視覺特征圖像進行旋轉(zhuǎn)和縮放參數(shù)估計,這一過程描述如圖1 所示。
圖1 艦船目標(biāo)的視覺特征圖像參數(shù)估計模型Fig.1 Visual features of ship target image model parameter estimation
結(jié)合圖1,根據(jù)已知的運動參數(shù),對艦船目標(biāo)的視覺特征進行塊匹配,形成3 ×3 結(jié)果的網(wǎng)格模型,對艦船目標(biāo)圖像進行單幀視覺分析:設(shè)艦船目標(biāo)圖像的寬為W、高為H,假設(shè)單位時間內(nèi)圖像運動幅度為(W/2)× (H/2),將海面背景圖像B 和當(dāng)前艦船目標(biāo)視覺特征圖像I 劃分個子塊,得到單幀角點的分塊信息素為:
假設(shè)在艦船表面網(wǎng)格面中有2 ×2 個像素點,艦船圖像邊緣檢測分量沿梯度方向的邊緣特征點C([a,b],R)有上下邊界,F(xiàn) 和C([a,b],R)是艦船目標(biāo)視覺圖像的中值濾波分類均值和方差,表達式為:
其中:
為提高對艦船目標(biāo)的圖像重建能力,需要選擇合適的角點匹配方法求得各個建模點的分布參數(shù),由此實現(xiàn)對艦船目標(biāo)的三維圖像視覺建模。
在艦船目標(biāo)的三維圖像采集中,由于艦船在海面上航行,受到外界環(huán)境噪聲干擾和水面的抖動影響較大,需要進行電子穩(wěn)像處理,滿足高精度、高清晰度圖像識別要求,得到艦船目標(biāo)圖像電子穩(wěn)像算法的主要步驟和功能框圖如圖2 所示。
圖2 艦船目標(biāo)圖像電子穩(wěn)像算法的主要步驟和功能框圖Fig.2 Ships target image electronic stability as the main steps and the function block diagram of the algorithm
由上可見,運動的艦船圖像電子穩(wěn)像流程中,采用灰度化直方圖均衡的方法,提高艦船目標(biāo)圖像視覺特征采集的清晰度和穩(wěn)定性。電子穩(wěn)像算法實現(xiàn)描述如下:
初始化艦船目標(biāo)圖像建模點求出圖像的像素點P(i,j)的值,在艦船目標(biāo)通行區(qū)域,如果P(i,j)的值為1,子塊屬于運動區(qū)域,對艦船目標(biāo)視覺特征進行曲線分割,在運動過程中產(chǎn)生成像抖動,艦船目標(biāo)運動的三維視點切換運動方程表達為:
式中:x,y,z 為艦船視覺圖像的質(zhì)心位置;ψV為艦船目標(biāo)區(qū)域的切換偏角。求得的全部幀圖像在(x,y)處的灰度值為:
式中:YG為高斯尺度;BG為艦船圖像的差分尺度;IG為單位矩陣。采用電子穩(wěn)像技術(shù)對艦船視覺信息進行直方圖均衡處理,得到當(dāng)前時刻下的艦船的運動狀態(tài)的公式為:
式中:φ 為方位角;k 為迭代次數(shù)。求解艦船目標(biāo)圖像的運動參數(shù)方程式為:
式中:Δx 和Δy 分別為艦船視覺特征穩(wěn)像過程中的水平位移和豎直位移;k 為調(diào)頻約束因子θ 為艦船圖像在水面運動中偏航角。通過上述運動參數(shù)估計,實現(xiàn)對艦船視覺特征采集的電子穩(wěn)像處理。
傳統(tǒng)方法采用艦船目標(biāo)輪廓亮點檢測方法實現(xiàn)對目標(biāo)的視覺搜索,在圖像模糊和背景干擾較強時,檢測效果不好。為了克服傳統(tǒng)方法的弊端,本文提出一種基于相鄰幀補償和尺度不變特征變換的艦船視覺搜索跟蹤算法。采用尺度不變特征變換SIFT 技術(shù)對艦船目標(biāo)進行角點特征提取,SIFT 角點特征提取是在多尺度空間中進行差分組合,算法描述為:首先建立像點信息高斯差分尺度空間,通過不同尺度下的直方圖均衡差分核求得的艦船目標(biāo)視覺特征的時間尺度空間D(x,y,σ),為:
式中:I(x,y)為艦船視覺特征在(x,y)處的灰度值;L(x,y,σ)為信息熵空間;G(x,y,σ)為艦船邊緣特征的高斯函數(shù),函數(shù)式為:
采用SIFT 技術(shù),對艦船的邊緣輪廓線進行角點特征提取,利用Hessian 矩陣計算圖像邊緣信號能量,矩陣形式為:
式中:Ix為圖像的水平縮放量;Iy為垂直縮放量;IxIy為圖像相關(guān)度。最后選定方差、對比度α 與β 的比值是γ,即α/β=γ,艦船視覺特征SIFT 角點檢測的關(guān)系式為:
如果:
則定義邊緣輪廓點為艦船視覺圖像的角點。通過上述處理,判斷極值點處對應(yīng)的像素是否為角點,由此實現(xiàn)角點特征提取。
綜上分析,根據(jù)提取的角點特征進行干擾濾波算法設(shè)計,提高了對艦船目標(biāo)的視覺搜索和跟蹤識別能力,對艦船目標(biāo)圖像的干擾背景采用相鄰幀補償技術(shù)實現(xiàn)干擾濾波,基本濾波方法選擇Kalman 濾波器,濾波器的系統(tǒng)函數(shù)為:
其中:
θ(k),Δx(k)和Δy(k)分別為艦船圖像正常掃描、抖動和偏航運動參數(shù)。求解S(0)得到艦船視覺跟蹤在初始狀態(tài)下運動方程,由于艦船運動的不確定性,導(dǎo)致視覺跟蹤搜索中每幀圖像產(chǎn)生視覺偏移。對此,采用相鄰幀補償法對每幀圖像的視覺偏移進行補償濾波,相鄰幀補償過程描述為:
求得各個相鄰幀的艦船目標(biāo)運動參數(shù),由此實現(xiàn)艦船目標(biāo)的視覺搜索跟蹤(見圖3)。
圖3 相鄰幀補償艦船視覺搜索跟蹤示意圖Fig.3 Adjacent frames compensating ship visual search tracking diagram
為了測試本文算法在實現(xiàn)艦船視覺特征提取和計算機視覺下艦船目標(biāo)跟蹤識別的性能,進行仿真實驗。仿真實驗的硬件環(huán)境為:Windows XP,32 位雙處理器,內(nèi)存2.60 GHz,2 GB 緩存,仿真軟件為Matlab 7。艦船目標(biāo)的視覺特征采集采用功率分辨率帶寬(RBW)為10 Hz 至1 MHz 的多功能視覺成像儀,視覺特征采集的總體振幅精度: ±1.5 dB,艦船視覺圖像的存儲和通信通道功率選擇OBW、ACP、CCDF、SEM 全雙工通道,艦船抖動的穩(wěn)像靈敏度:-130 Bm。艦船視覺特征分析和視覺搜索跟蹤軟件運行所需有關(guān) OpenGL 的 DLL 庫為opengl32. dll,glu32. dll,glut32. dll,glaux. dll。根據(jù)上述仿真環(huán)境和參數(shù)設(shè)定,進行艦船視覺搜索跟蹤仿真實驗?;诒疚臉?gòu)建的艦船目標(biāo)圖像的視覺特征采集模型,得到采集的原始艦船運動下的視覺特征如圖4 所示。
圖4 艦船視覺跟蹤圖像采集Fig.4 Ships visual tracking image acquisition
根據(jù)圖4,對水面艦船拍攝的視頻第330 幀圖像進行視覺搜索跟蹤處理,對艦船視覺圖像進行電子穩(wěn)像預(yù)處理,進行直方圖均衡,以此為基礎(chǔ),進行SIFT角點特征提取,水面艦船視覺跟蹤的電子穩(wěn)像處理和SIFT 角點特征提取提取結(jié)果如圖5 和圖6 所示。
圖5 水面艦船視覺跟蹤的電子穩(wěn)像處理Fig.5 Eelectronic image processing of surface ships,visual tracking
圖6 水面艦船視覺跟蹤SIFT 角點特征提取Fig. 6 Surface ships,visual tracking Angle SIFT points feature extraction
從圖分析可見,采用本文算法具有較好的角點特征效果,角點分布全面,特征反映準(zhǔn)確,為實現(xiàn)視覺搜索提供前提。以此為基礎(chǔ)實現(xiàn),根據(jù)提取的角點特征進行干擾濾波,提高了對艦船目標(biāo)的視覺搜索和跟蹤識別能力,對艦船目標(biāo)圖像的干擾背景采用相鄰幀補償技術(shù)實現(xiàn)干擾濾波,實現(xiàn)艦船視覺搜索跟蹤,為了定量分析跟蹤性能,采用艦船目標(biāo)準(zhǔn)確識別率為測試指標(biāo),得到不同方法下對艦船視覺搜索跟蹤的準(zhǔn)確識別率對比結(jié)果如圖7 所示,由圖可見,采用本文算法有效提高了視覺搜索跟蹤和目標(biāo)識別性能,顯示了本文算法的優(yōu)越性。
圖7 艦船視覺跟蹤目標(biāo)識別性能對比Fig.7 Ship visual tracking target recognition performance
艦船在海面上航行,受到外界環(huán)境噪聲干擾和水面的抖動影響較大,在圖像特征分析中常常會丟失部分有用信息,不能滿足高精度、高清晰度圖像識別要求,因此,需要研究一種有效的基于計算機視覺搜索的艦船跟蹤方法,通過計算視覺處理技術(shù),結(jié)合電子穩(wěn)像和圖像處理技術(shù),使圖像清晰穩(wěn)定的同時,提高視覺跟蹤搜索能力。本文提出一種基于相鄰幀補償和尺度不變特征變換的艦船視覺搜索跟蹤算法。進行電子穩(wěn)像處理,采用尺度不變特征變換對艦船目標(biāo)進行角點特征提取。根據(jù)提取的角點特征進行干擾濾波算法設(shè)計,提高了對艦船目標(biāo)的視覺搜索和跟蹤識別能力,研究結(jié)果表明,采用本文算法具有較好的艦船視覺搜索跟蹤和目標(biāo)識別性能,應(yīng)用價值較高。
[1]郭哲,張艷寧,林增剛.多信息融合的多姿態(tài)三維人臉面部五官標(biāo)志點定位方法[J].計算機學(xué)報,2012,35(1):163 -170.GUO Zhe,ZHANG Yan-ning,LIN Zeng-gang. More information fusion of attitude of 3 d face facial features marking point locating method[J]. Journal of Computers,2012,35(1):163 -170.
[2]楊棽,齊越,沈旭昆,等.一種快速的三維掃描數(shù)據(jù)自動配準(zhǔn)方法[J].軟件學(xué)報,2010,21(6):1438 -1450.YANG Chen,JI Yue,SHEN Xu-kun,et al. A fast 3 d scanning data automatic registration method[J].Journal of Software,2010,21(6):1438 -1450.
[3]李計添,何永強,陳財森,等.一種基于灰度投影算法的車載電子穩(wěn)像方法[J].紅外技術(shù),2010,32(6):328-332.LI Ji-tian,HE Yong-qiang,CHEN Cai-sen,et al.A kind of vehicle electronic stability like method based on gray projection algorithm[J]. Infrared Technology,2010,32(6):328 -332.
[4]郝帥,程詠梅,馬旭,等.無人直升機視覺著艦中合作目標(biāo)角點檢測算法[J].西北工業(yè)大學(xué)學(xué)報,2013,31(4):653 -659.HAO Shuai,CHENG Yong-mei,MA Xu,et al. Unmanned helicopter visual collaboration in the ship target corner detection algorithm [J]. Journal of Northwestern Polytechnical University,2013,31(4):653 -659.
[5]盂勃,韓廣良.基于改進的尺度不變特征變換特征點匹配的電子穩(wěn)像算法[J]. 計算機應(yīng)用,2012,32(10):2817 -2820.YU Bo,HAN Guang-liang. Based on the improved scale invariant feature transform feature point matching algorithm to stabilize the image electronic[J]. Journal of Computer Applications,2012,32(10):2817 -2820.
[6]杜輝.基于小波變換的彩色圖像中快速人臉檢測算法[J].科技通報,2012,12(28):89 -90.DU Hui.Color image based on wavelet transform in the fast face detection algorithm[J]. Science and Technology,2012,12(28):89 -90.
[7]王俊,朱利.基于圖像匹配-點云融合的建筑物立面三維重建[J].計算機學(xué)報,2012,35(10):2072 -2079.WANG Jun,ZHU Li. Julie-point cloud based on image matching fusion of building facade 3 d reconstruction[J].Journal of Computers,2012,35(10):2072 -2079.
[8]吳建,馬躍.種改進的SIFT 算法[J].計算機科學(xué),2013,40(7):270 -272.WU Jian,MA Yue. The kind of the improved SIFT algorithm[J].Journal of Computer Science,2013,40(7):270 -272.
[9]羅翌陳,楊輝華,李靈巧,等.SIFT 算法在CUDA 加速下的實時人物識別與定位[J]. 計算機科學(xué),2012,39(11A):391 -394.LUO Yi-chen,YANG Hui-hua,LI Ling-qiao,et al. SIFT algorithm under the CUDA accelerated the real-time character of identification and positioning[J]. Journal of Computer Science,2012,33(11A):391 -394.
[10]李志丹,和紅杰,尹忠科,等.基于塊結(jié)構(gòu)稀疏度的自適應(yīng)圖像修復(fù)算法[J].電子學(xué)報,2013,41(3):549 -554.LI Zhi-dan,HE Hong-jie,YIN Zhong-ke,et al. Based on sparse block structure adaptive image restoration algorithm[J].Journal of Electronics,2013,9(3):549 -554.