李 志,鄭江濱
(西北工業(yè)大學(xué) 計算機(jī)學(xué)院,陜西 西安 710129)
現(xiàn)代高技術(shù)戰(zhàn)爭中,在目標(biāo)距離成像系統(tǒng)盡可能遠(yuǎn)的地方對目標(biāo)進(jìn)行捕獲跟蹤,是紅外精確制導(dǎo)系統(tǒng)中的重要部分。遠(yuǎn)距離目標(biāo)在視場中常以小目標(biāo)的形態(tài)出現(xiàn),由于能量衰減和傳感器噪聲的影響,小目標(biāo)容易被背景雜波淹沒。因此,設(shè)計一種魯棒的紅外小目標(biāo)跟蹤算法,是一項既有實際應(yīng)用意義又有挑戰(zhàn)性的課題。
紅外目標(biāo)跟蹤主要分為基于濾波理論的目標(biāo)跟蹤方法和基于Mean Shift的目標(biāo)跟蹤方法[1]?;跒V波理論的目標(biāo)跟蹤方法將目標(biāo)跟蹤問題轉(zhuǎn)化為狀態(tài)估計問題,使用卡爾曼濾波器或粒子濾波器及相關(guān)改進(jìn)來跟蹤目標(biāo)[2-3]?;贛ean Shift的目標(biāo)跟蹤方法,使用概率密度函數(shù)對目標(biāo)進(jìn)行建模,往往使用巴氏距離衡量模型之間相似度,通過梯度下降法快速定位目標(biāo)[4]。紅外小目標(biāo)跟蹤方法中,由于形狀、紋理等信息不穩(wěn)定,多使用灰度直方圖[2],面積和灰度均值等統(tǒng)計特征[3]對小目標(biāo)建模,然而這些傳統(tǒng)模型對噪聲敏感,在某些情況下導(dǎo)致跟蹤失敗。
針對上述情況,文中提出一種稀疏表示目標(biāo)建模和貝葉斯推理相結(jié)合的紅外小目標(biāo)跟蹤方法。該方法將表征目標(biāo)的模板向量和表征遮擋及噪聲的正負(fù)瑣碎向量級聯(lián)起來,形成對噪聲不敏感的稀疏表示模型;在貝葉斯推理框架下使用圖像子塊系數(shù)向量的目標(biāo)模板重構(gòu)誤差作為觀測模型,選擇最小重構(gòu)誤差處為小目標(biāo)的最終位置,充分利用幀間相關(guān)性實現(xiàn)小目標(biāo)的魯棒跟蹤。
文中算法主要分為2部分:首先是稀疏表示目標(biāo)建模初始化階段,在紅外圖像序列F1,F(xiàn)2,…,F(xiàn)n的前幀中手動標(biāo)識出目標(biāo)模板向量,結(jié)合表示噪聲和遮擋的正負(fù)瑣碎向量構(gòu)建目標(biāo)的超完備字典,歸一化之后形成對噪聲和遮擋不敏感的小目標(biāo)稀疏表示模型;二是跟蹤階段,在貝葉斯推理框架[5]下,使用二階自回歸模型描述小目標(biāo)的運動,預(yù)測小目標(biāo)下一時刻的位置,對于采樣得到的每一個圖像子塊,使用L1方法[6-9]計算其在初始化階段所得超完備字典下的系數(shù)向量,使用圖像子塊系數(shù)向量的目標(biāo)模板重構(gòu)誤差作為觀測模型,尋找最小重構(gòu)誤差處為被跟蹤目標(biāo)位置。
魯棒的目標(biāo)表示模型對于目標(biāo)跟蹤非常重要。稀疏表示具有抵抗噪聲和干擾的能力。文獻(xiàn)[10]就利用稀疏表示的這些優(yōu)點,構(gòu)建人臉模板向量字典,實現(xiàn)了魯棒的人臉識別。文獻(xiàn)[11]使用高斯亮度模型構(gòu)造的超完備字典表示小目標(biāo),實現(xiàn)單幀紅外小目標(biāo)的檢測。稀疏表示用于目標(biāo)跟蹤主要分為兩步:首先構(gòu)建表征目標(biāo)的超完備字典,然后通過計算目標(biāo)模板重構(gòu)誤差來衡量模型之間的相似程度。
圖像稀疏表示理論中一個重要問題就是稀疏字典的構(gòu)建,稀疏字典的構(gòu)建方法一般分為兩類,第一類就是將標(biāo)準(zhǔn)正交基級聯(lián),常用的標(biāo)準(zhǔn)正交基包括傅里葉基、小波基和Gabor基等[12];第二類是從訓(xùn)練樣本中采用某種學(xué)習(xí)方法得到適用于特定任務(wù)的字典,文獻(xiàn)[13]利用K-SVD算法來生成具有通用性的字典,完成圖像去噪任務(wù),文獻(xiàn)[14]直接利用整體目標(biāo)模板向量級聯(lián)瑣碎向量構(gòu)建字典,實現(xiàn)可見光下運動目標(biāo)的魯棒跟蹤。文獻(xiàn)[5,6,15,16]利用局部稀疏表示模板構(gòu)建字典,實現(xiàn)可見光下運動目標(biāo)的魯棒跟蹤。文獻(xiàn)[12]的研究表明,使用學(xué)習(xí)方法構(gòu)建的字典的性能優(yōu)于傅里葉、小波等標(biāo)準(zhǔn)正交基級聯(lián)構(gòu)造的字典。
本文將目標(biāo)模板向量和表征噪聲及遮擋的正負(fù)瑣碎向量級聯(lián)形成表示小目標(biāo)的超完備字典。主要過程如下:
給定包含個目標(biāo)模板的集合T=[t1,t2,…,tn],其 中ti∈Rd(i=1,2,…,n)由r行c列的目標(biāo)模板圖像子塊Ii∈Rr×c按列拉直形成,則有d=r×c。將目標(biāo)圖像子塊按列拉直形成的列向量為y,則可以用目標(biāo)模板集合T的線性展開近似表示,
其中a=(a1,a2,…,an)T∈Rn為目標(biāo)系數(shù)向量。
考慮到噪聲和干擾可能會出現(xiàn)的情況,目標(biāo)線性表示式(1)可以寫為
其中ε∈Rn為誤差向量。ε中的非0元素表示相應(yīng)位置出現(xiàn)噪聲或干擾。在目標(biāo)模板集合T的基礎(chǔ)上級聯(lián)瑣碎向量集合V=[v1,v2,…,vd]∈Rd×d,將目標(biāo)和干擾統(tǒng)一到線性表示框架下[5],
其中瑣碎向量vi∈Rd中除去第i個元素為1,其他元素均為0,V形成一個單位矩陣,e稱為誤差系數(shù)向量。
根據(jù)式(3),除去目標(biāo)向量會在T和V級聯(lián)基下形成稀疏表示以外,與目標(biāo)模式完全相反的向量也會形成稀疏表示,僅僅是系數(shù)變?yōu)橄喾磾?shù)而已,為了去除目標(biāo)相反模式的影響,限制系數(shù)向量全為正。式(3)可寫為,
其中e+,e-∈Rd為表征噪聲和遮擋的正負(fù)瑣碎向量,B=[T,V,-V]∈Rd×(n+2d),矩陣B為目標(biāo)模板向量和瑣碎向量組成的超完備字典,c為向量y在超完備字典B下的系數(shù)向量。
使用上述方法構(gòu)造的超完備字典可以有效的表示小目標(biāo),目標(biāo)和背景在所構(gòu)建的超完備字典下的系數(shù)向量表現(xiàn)出完全不同的特性。目標(biāo)在超完備字典下的系數(shù)向量具有稀疏性,即系數(shù)向量中大部分元素均有較小的值,只有少部分元素具有較大的值;背景系數(shù)向量則不具有稀疏性,即所有元素均具有較小的值。目標(biāo)和背景稀疏表示示意圖如圖1所示,可以看出目標(biāo)系數(shù)向量中大部分元素接近0,只有少數(shù)元素的值較大;而背景系數(shù)向量中的大部分元素具有非0的較小值。
圖1 目標(biāo)和背景稀疏表示示意圖Fig.1 Diagram of target and background’s sparse representation
目標(biāo)圖像子塊和背景圖像子塊在2.1節(jié)所構(gòu)造超完備字典下的系數(shù)向量有很大不同,利用目標(biāo)和背景圖像子塊系數(shù)向量的差異,可衡量衡量模型之間的相似程度。本文使用目標(biāo)模板下的重構(gòu)誤差作為與目標(biāo)相似性的衡量手段,可去除瑣碎向量所對應(yīng)噪聲的影響,目標(biāo)模板下重構(gòu)誤差定義為
其中y為圖像子塊向量,T為超完備字典B中的目標(biāo)模板部分,a為系數(shù)向量c中與目標(biāo)模板T對應(yīng)的目標(biāo)系數(shù)向量。
計算圖像子塊的目標(biāo)模板重構(gòu)誤差,首先需要求解方程(4)的稀疏表示如下:
其中‖c‖0為系數(shù)向量c的L-0范數(shù),定義為c中非零元素的個數(shù),這是一個NP難的問題,需要窮舉所有可能才能得到最優(yōu)解,文獻(xiàn)[10],[14]將式(5)轉(zhuǎn)化為L-1范數(shù)優(yōu)化問題,同時考慮重構(gòu)誤差
其中‖·‖1和‖·‖2分別為向量的L-1和L-2范數(shù),‖y-Bc‖22表示重構(gòu)誤差,λ是平衡稀疏度和重構(gòu)誤差的稀疏因子。使用文獻(xiàn)[12-13]的工具包進(jìn)行方程(7)的稀疏求解。得到系數(shù)向量之后,就可以根據(jù)公式(5)計算圖像子塊的目標(biāo)模板重構(gòu)誤差。
使用目標(biāo)模板重構(gòu)誤差能夠有效的衡量圖像子塊和目標(biāo)之間的相似程度,重構(gòu)誤差描述相似度示意圖如圖2所示,相似度與重構(gòu)誤差成反比,放大示意圖為方便顯示,亮度越高表明當(dāng)前位置圖像子塊為目標(biāo)的可能性越大??梢?,目標(biāo)模板重構(gòu)誤差是一種有效的相似度衡量手段。
圖2 重構(gòu)誤差描述相似度示意圖Fig.2 Diagram of similarity based on reconstruction error
目標(biāo)跟蹤問題在貝葉斯推理框架可轉(zhuǎn)化為狀態(tài)估計問題,估計目標(biāo)在每一幀中的運動狀態(tài)。給定1到t時刻的觀測集合y1:t={y1,y2,…,yt},目標(biāo)狀 態(tài)可以通過最大后驗 概率計 算
得到
其中xit是t時刻第i個狀態(tài)采樣,后驗概率p(xt|y1:t)可以通過貝葉斯理論遞推得到
其中p(xt|xt-1)和p(yt|xt)分別描述運動模型和觀測模型。使用粒子濾波方法[17]可以有效計算概率分布。
使用二階自回歸模型描述目標(biāo)的運動方式,則有
其中Pt=(r,c)表示t時刻目標(biāo)的中心坐標(biāo),U為零均值高斯隨機(jī)過程。
令xt=(vr,vc)表示t時刻目標(biāo)的中心運動速率即xt=Pt-Pt-1,則有
其中∑為對角矩陣,對角元素為中每個元素的方差。
p(yt|xt)是觀測yt在狀態(tài)xt下的似然概率,使用式(5)中的目標(biāo)模板重構(gòu)誤差定義似然概率
其中TEt為t時刻yt目標(biāo)模板下的重構(gòu)誤差。
下面給出紅外圖像序列中跟蹤小目標(biāo)的具體過程:
1)給定圖像序列F1,F(xiàn)2,…,F(xiàn)n利用前幀中手動標(biāo)識出的目標(biāo)模板向量,構(gòu)造目標(biāo)模板集合,級聯(lián)正負(fù)瑣碎向量,形成可以表示小目標(biāo)的超完備字典;
2)根據(jù)p(xt|xt-1)=N(xt;xt-1,∑)描述的小目標(biāo)運動模型,在第t幀進(jìn)行采樣得到圖像子塊,并且計算每個采樣的先驗概率;
3)對于2)中每一個采樣形成相應(yīng)的圖像子塊,采用公式(7)計算其在超完備字典下的系數(shù)向量,采用公式(12)計算似然概率,結(jié)合先驗概率計算出后驗概率,后驗概率最大處為被跟蹤目標(biāo)位置,使用最小方框圖標(biāo)識出目標(biāo);
4)對t+1幀進(jìn)行2)和3)操作,直至處理完成最后一幀圖像。
采用云天背景下連續(xù)采集的450幀紅外序列實驗,單幀圖像分辨率為320×240。實驗中選取初始化幀數(shù)為M=10,圖像子塊大小為16×16,稀疏度平衡因子λ=0.1,粒子數(shù)為N=100。
文中方法和傳統(tǒng)的以直方圖表示目標(biāo)的粒子濾波跟蹤[18]方法進(jìn)行對比。傳統(tǒng)方法采用灰度直方圖描述目標(biāo),從260幀左右開始丟失目標(biāo),跟蹤結(jié)果一直在(185,102)周圍小幅擺動,這是因為目標(biāo)被噪聲部分遮擋,直方圖模型無法對遮擋和噪聲建模,從而導(dǎo)致跟蹤失??;本文方法采用稀疏表示對目標(biāo)建模,具有對噪聲和遮擋建模的能力,出現(xiàn)噪聲和遮擋之后,仍能夠正確跟蹤目標(biāo)。跟蹤結(jié)果示意圖如圖3所示,傳統(tǒng)方法跟蹤結(jié)果使用方框1框出目標(biāo),文中方法使用方框2框出目標(biāo)。跟蹤至260幀時,傳統(tǒng)方法和文中方法均能框出目標(biāo);300幀時,傳統(tǒng)方法跟蹤結(jié)果仍為260幀跟蹤結(jié)果,已丟失目標(biāo),本文方法可以正確框出目標(biāo)。
圖3 跟蹤結(jié)果示意圖:方框1為經(jīng)典粒子濾波跟蹤結(jié)果,方框2為本文方法的跟蹤結(jié)果Fig.3 Diagram of tracking results:rectangle 1 for traditional result,rectangle 2 for this paper’s result
比較跟蹤方法的精度,以手動標(biāo)識目標(biāo)為標(biāo)準(zhǔn)結(jié)果,定義第跟蹤誤差為跟蹤結(jié)果和標(biāo)準(zhǔn)結(jié)果的歐氏距離,同時定義幀累積跟蹤誤差
其中(tix,tiy),(six,siy)2分別表示跟蹤結(jié)果和標(biāo)準(zhǔn)結(jié)果。
跟蹤軌跡誤差圖如圖4所示,可以看出,文中方法的跟蹤誤差始大部分幀中小于傳統(tǒng)方法誤差,累積跟蹤誤差曲線也說明本文方法跟蹤效果優(yōu)于傳統(tǒng)方法。
圖4 跟蹤誤差曲線Fig.4 Tracking error curve
針對傳統(tǒng)模型對噪聲敏感而導(dǎo)致小目標(biāo)跟蹤失敗的情況,本文提出一種稀疏表示目標(biāo)建模和貝葉斯推理相結(jié)合的紅外小目標(biāo)跟蹤方法。構(gòu)建目標(biāo)的稀疏表示模型,對目標(biāo)亮度變化和噪聲出現(xiàn)具有良好的適應(yīng)能力,在貝葉斯推理框架下使用目標(biāo)模板重構(gòu)誤差作為觀測模型,充分利用幀間相關(guān)性。實驗證明算法能夠?qū)崿F(xiàn)小目標(biāo)的魯棒跟蹤。由于稀疏表示計算量較大,如何提高算法效率是進(jìn)一步的研究內(nèi)容。
[1]許彬,鄭鏈,王永學(xué),等.紅外序列圖像小目標(biāo)檢測與跟蹤技術(shù)綜述[J].紅外與激光工程,2004,33(5):482-487.XU Bin,ZHNEG Lian,WANG Yong-xue,et al.Survey of dim target detection and tracking ininfrared image sequences[J].Infrared and Laser Engineering,2004,33(5):482-487.
[2]崔麗潔,鄭江濱,李秀秀.基于SVD背景抑制和粒子濾波的弱小目標(biāo)檢測[J].計算機(jī)應(yīng)用研究,2011,28(4):1553-1555,1572.CUI Li-jie,ZHENG Jiang-bin,LI Xiu-xiu.Detecting small targets based on SVD for background suppression and particle filter[J].Application Research of Computers,2011,28(4):1553-1555,1572.
[3]汪魯才,易錫年,陳小天.基于自適應(yīng)跟蹤窗的紅外小目標(biāo)跟蹤方法[J].計算機(jī)應(yīng)用研究,2012,29(8):3185-3188.WANG Lu-cai,YI Xi-nian,CHEN Xiao-tian.Algorithm for dim target tracking in infrared image based on adaptive tracking window[J].Application Research of Computers,2012,29(8):3185-3188.
[4]程建,楊杰.一種基于均值移位的紅外目標(biāo)跟蹤新方法[J].紅外與毫米波學(xué)報,2005,24(3):231-235.CHENG Jian,YANG Jie.Novel infrared object tracking method based on mean shift[J].J.Infrared Millim.Waves,2005,24(3):231-235.
[5]WANG Qing,CHEN Feng,XU Wen-li,et al.Online discriminative object tracking with local sparse representation[C]//IEEE Workshop onApplications of Computer Vision(WACV),2012:425-432.
[6]JIA Xu,LU Hu-chuan,YANG Ming-suan.Visual tracking via adaptive structural local sparse appearance model[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2012:1822-1829.
[7]Kim S J,Koh K,Lustig M,et al.Simple Matlab Solver for l1-regularizedLeast Squares Problems. [EB/OL].http://www.stanford.edu/~boyd/l1_ls.
[8]Kim S J,Koh K,Lustig M,et al.A method for large-scale L1-regularized least squares[J].IEEE Journal on Selected Topics in Signal Processing,2007,1(4):606-617.
[9]李亞峰,王純.紅外攝像技術(shù)及輸變電紅外圖譜數(shù)據(jù)庫系統(tǒng)的建立[J].陜西電力,2012(1):60-63,85.LI Ya-feng,WANG Chun.Infrared photography technology and infrared mapping database system establishment for power transmission& transformation[J].Shaanxi Electric Power,2012(1):60-63,85.
[10]Wright J,Yang A Y,Ganesh A,et al. Robust face recognition via sparse representation [J].IEEE Trans.On Pattern Analysis and Machine Intelligence,2009,31(2):210-227.
[11]趙佳佳,唐崢遠(yuǎn),楊杰,等.基于圖像稀疏表示的紅外小目標(biāo)檢測算法[J].紅外與毫米波學(xué)報,2011,30(2):156-161,166.ZHAO Jia-jia,TANG Zheng-yuan,YANG Jie,et al.Infrared small target detection based on image sparse representation[J].Infrared Millim.Waves,2011,30(2):156-161,166.
[12]Wright J,Yi Ma,Mairal J,et al.Sparse representation for computer vision and pattern recognition [J].Proc.IEEE,2010,98(6):1031-1044.
[13]Elad M,Aharon M.Image denoising via sparse and redundant representation over learned dictionary[J].IEEE Trans.On Image Processing,2006,15(12):3736-3745.
[14]MEI Xue,LING Hai-bin.Robust visual tracking using l1 minimization [C]//IEEE 12th International Conference on Computer Vision,2009:1436-1443.
[15]ZHONG Wei,LU Hu-chuan,YANG Lin-suan.Robust object tracking via sparsity-based collaborative model[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2012:1838-1845.
[16]LIU Bai-yang,HUANG Jun-zhou,YANG Lin,et al.Robust tracking using local sparse appearance model andK-Selection[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2011:1313-1320.
[17]Isard M,Blake A.CONDENSATION—Conditional Density Propagation for Visual Tracking[J].International Journal of Computer Vision,1998,29(1),5-28.
[18]Rollason M,Salmond D.A particle filter for track-beforedetect of a target with unknown amplitude[C]//Proc of IEEE Conference on Target Tracking :Algorithms and Applications,2001:16-17.