郭張婷,辛云宏
(陜西師范大學(xué)物理學(xué)與信息技術(shù)學(xué)院,西安710062)
基于形態(tài)學(xué)的紅外小目標(biāo)檢測(cè)算法
郭張婷,辛云宏
(陜西師范大學(xué)物理學(xué)與信息技術(shù)學(xué)院,西安710062)
在分析復(fù)雜天空背景下紅外視頻序列特征的基礎(chǔ)上,針對(duì)紅外小目標(biāo)本身特性及紅外序列低信噪比的問題,提出適合該環(huán)境的紅外小目標(biāo)檢測(cè)算法.該濾波方法以形態(tài)學(xué)濾波理論為基礎(chǔ),首先采用均值濾波和Opening-Tophat運(yùn)算對(duì)紅外視頻序列進(jìn)行預(yù)處理,然后運(yùn)用基于均值和方差的統(tǒng)計(jì)分割方法提取圖像中的運(yùn)動(dòng)目標(biāo),從而實(shí)現(xiàn)了紅外小目標(biāo)的檢測(cè).實(shí)驗(yàn)結(jié)果表明,所提出濾波方法具有良好的檢測(cè)和分割效果,能夠有效地改善跟蹤精度.
紅外小目標(biāo);形態(tài)學(xué);Opening-Tophat;閾值分割
隨著信息化時(shí)代的到來和航空航天技術(shù)的迅猛發(fā)展,大量智能化、數(shù)字化設(shè)備在現(xiàn)代化軍事裝備中的應(yīng)用,對(duì)紅外跟蹤系統(tǒng)的研究已經(jīng)成為必然趨勢(shì).在我國,紅外搜索探測(cè)跟蹤系統(tǒng)分析(IRST)已經(jīng)成為熱門研究方向[1],而與此同時(shí),此類基于紅外視頻序列的目標(biāo)檢測(cè)和跟蹤算法的研究也顯得尤為重要.
近年來,各種紅外小目標(biāo)序列的檢測(cè)和預(yù)處理算法也層出不窮,如去局部均值、中值高通濾波算法、多級(jí)濾波算法、梯度倒數(shù)加權(quán)濾波算法、基于側(cè)抑制的局部對(duì)比度增強(qiáng)算法等等[2-4],這些算法的提出在不同程度上實(shí)現(xiàn)了紅外小目標(biāo)的檢測(cè)和增強(qiáng),但由于紅外小目標(biāo)的特殊性和視頻序列采集時(shí)環(huán)境因素的影響,單純的使用某種算法仍然無法達(dá)到預(yù)期的增強(qiáng)目標(biāo)和濾除噪聲的效果,因此針對(duì)紅外目標(biāo)特性的預(yù)處理算法的提出能有效地改善預(yù)處理效果,從而更容易達(dá)到實(shí)時(shí)跟蹤和精確跟蹤的最終目的.
常溫下,物體輻射出的紅外線位于中、遠(yuǎn)紅外線的光譜區(qū),易引起物體分子的共振并呈現(xiàn)明顯的熱效應(yīng),紅外熱成像技術(shù)也以此為基礎(chǔ).利用探測(cè)儀器測(cè)定目標(biāo)本身和背景之間不同溫度點(diǎn)發(fā)射的紅外線波長和強(qiáng)弱的不同而形成可見圖像的方法即紅外熱成像技術(shù)[5].紅外成像中的目標(biāo)有大目標(biāo)和小目標(biāo)之分,針對(duì)大小目標(biāo)也有相應(yīng)的檢測(cè)和跟蹤算法.
紅外小目標(biāo)的目標(biāo)所占像素?cái)?shù)目較少,一般情況下我們認(rèn)為紅外圖像中6×6像素以下的目標(biāo)為紅外小目標(biāo),它們基本上沒有可靠的形狀信息,通常呈點(diǎn)狀.除此之外,小目標(biāo)沒有明顯的尺寸和紋理等信息,圖像中目標(biāo)的邊界模糊不清,圖像背景復(fù)雜,缺少目標(biāo)和背景的先驗(yàn)知識(shí).而在已捕獲的紅外視頻序列中,紅外大目標(biāo)尺寸在6×6像素以上[6],當(dāng)目標(biāo)從我們的視野中掠過的時(shí)候,可以看到它的大致輪廓.
通常情況下,紅外目標(biāo)的跟蹤系統(tǒng)有兩種工作模式[7],即 DBT(Detect-Before-Tarck)模式和TBD(Track-Before-Detect)模式.文中使用先檢測(cè)后跟蹤的處理模式,過程如圖1所示,也就是在跟蹤前針對(duì)每幀圖像的特點(diǎn)采用一系列的預(yù)處理方法對(duì)圖像進(jìn)行增強(qiáng)和分割,去除或減少圖像中的噪聲和雜波,最后再選取合適的跟蹤算法對(duì)目標(biāo)軌跡進(jìn)行預(yù)測(cè)和跟蹤.這種模式計(jì)算復(fù)雜度較低,便于實(shí)時(shí)處理.
實(shí)際應(yīng)用中,紅外探測(cè)器(熱像儀等)與目標(biāo)距離較遠(yuǎn),加之光學(xué)系統(tǒng)、電路噪聲以及其它干擾的影響,使得紅外圖像表現(xiàn)出信噪比較低的共性.對(duì)于包含小目標(biāo)的紅外單幀圖像,通常可表示為:
上式中,a(x,y)表示紅外熱像儀等外圍設(shè)備接收到的紅外序列中的某幀圖像,t(x,y)表示目標(biāo),b(x,y)表示背景,n(x,y)表示圖像中的各種噪聲和干擾[8].
本文主要研究天空背景下的紅外小目標(biāo)的檢測(cè)問題.基于對(duì)紅外圖像的分析我們知道,紅外圖像的背景多表現(xiàn)為緩慢變化的部分,呈大面積連續(xù)狀態(tài)[9],同時(shí)像素之間呈現(xiàn)出較大的相關(guān)性;大片的云層受到太陽光的散射和自身的輻射顯得較亮,其灰度非常接近于小目標(biāo)(飛機(jī)等),是最強(qiáng)的干擾.目標(biāo)與背景的區(qū)別在于它與周圍的像素點(diǎn)并無明確的相關(guān)性,在其出現(xiàn)的地方,往往會(huì)出現(xiàn)灰度上的突變.基于以上分析提出的預(yù)處理算法的流程如圖2所示:
首先對(duì)輸入圖像進(jìn)行均值濾波.所謂均值濾波即在一幅圖像內(nèi)部,以像素為單位,求出周圍相鄰像素的均值并賦值給中心像素,從而達(dá)到濾波的效果.這種方法中均值模板是一個(gè)低通濾波器,運(yùn)算過程則是對(duì)整幅圖像從上到下,從左到右的一個(gè)卷積過程[10].因?yàn)閳D像細(xì)節(jié)主要存在于高頻區(qū)域,均值濾波在去噪的同時(shí)會(huì)導(dǎo)致圖像的模糊.如果模板過大則會(huì)加劇模糊;模板越小則去噪能力越弱.圖3所示為本文中選取的3×3均值模板,圖4為其頻譜特性.
在均值濾波的基礎(chǔ)上對(duì)每幀圖像進(jìn)行Opening-Tophat[11-12]運(yùn)算.這種Tophat開運(yùn)算是形態(tài)學(xué)中的膨脹﹑腐蝕等基本算子的組合.它是一種很好的高通濾波算子,與膨脹和腐蝕算法類似,這種算子濾波效果的優(yōu)劣與結(jié)構(gòu)單元的選取有很大的關(guān)系,選取合適的結(jié)構(gòu)單元可以更容易從復(fù)雜的背景中提取目標(biāo)信息.腐蝕和膨脹都是形態(tài)學(xué)的基本運(yùn)算,對(duì)于給定的目標(biāo)x和結(jié)構(gòu)元素s,腐蝕和膨脹運(yùn)算分別有如下定義:
在此基礎(chǔ)上,開運(yùn)算定義為以相同的結(jié)構(gòu)元素先做腐蝕再做膨脹[13],目的是去掉圖像中一些凸角,平滑邊界.其形式如下:
本文中所使用的Opening-Tophat算子正是依據(jù)腐蝕和膨脹,以及開運(yùn)算定義而來的.
原始圖像通過Opening-Tophat運(yùn)算,得到了抑制背景后的信號(hào)和部分噪聲.此時(shí),結(jié)構(gòu)元素的選擇對(duì)濾波的結(jié)果有很重要的影響.選擇合適的結(jié)構(gòu)元素可以得到很好的抑制背景和增強(qiáng)目標(biāo)的目的.
在圖像分割方面,常用的方法包括基于邊緣的分割和基于區(qū)域的分割[14-16].對(duì)于紅外小目標(biāo)而言,由于其所占像素有限,邊緣信息并不明確,因此我們采用基于區(qū)域的分割算法對(duì)預(yù)處理后的灰度圖像進(jìn)行分割,通常包括基于平均灰度的分割和統(tǒng)計(jì)特性分割.本文中采用的基于均值和方差的統(tǒng)計(jì)特性分割也是其中一種.
假設(shè)a(x,y)為預(yù)處理后的灰度圖像,其大小為dep×wide像素:
上式中aver為整個(gè)圖像的均值,σ2為其方差,T為分割閾值,k為分割系數(shù),它的選取直接決定分割效果.
在跟蹤部分我們使用基于最小均方誤差的kalman算法對(duì)目標(biāo)位置進(jìn)行跟蹤和預(yù)測(cè),由于此算法的優(yōu)點(diǎn)在于目標(biāo)此時(shí)刻狀態(tài)僅取決于上一時(shí)刻的狀態(tài),對(duì)目標(biāo)位置數(shù)據(jù)的存儲(chǔ)和計(jì)算量都大大降低.表1中對(duì)比了幾種常用的跟蹤方法的利弊,實(shí)際應(yīng)用中可根據(jù)獲取的數(shù)據(jù)的類型和特點(diǎn)選取合適的跟蹤算法.
表1 幾種常用跟蹤算法對(duì)比
通過以上對(duì)比[17-19]我們發(fā)現(xiàn),不同的跟蹤算法對(duì)不同的目標(biāo)和背景干擾的處理效果不盡相同,因此在實(shí)際應(yīng)用時(shí),選取適合的預(yù)處理算法和跟蹤算法顯得尤為重要.使用本文中提出的基于形態(tài)學(xué)的紅外小目標(biāo)視頻序列預(yù)處理算法對(duì)目標(biāo)序列進(jìn)行預(yù)處理,可以取得較滿意的分割效果,從而為后續(xù)的目標(biāo)跟蹤和進(jìn)一步處理、分析提供了良好的基礎(chǔ),也起到了一定簡化運(yùn)算和提高精度的作用.
本文仿真部分所使用的紅外視頻序列均使用武漢高德的ThermoproTMTP8系列紅外熱像儀采集獲得.TP8采用最新技術(shù)的非制冷微量熱型探測(cè)器,可分辨細(xì)微至0.08℃ 的溫度變化,它采用OLED高分辨目鏡的顯示設(shè)備,紅外視頻序列的分辨率為288×288像素.以下均為算法的仿真結(jié)果.
首先,我們要對(duì)采集來的包含單個(gè)或多個(gè)小目標(biāo)的紅外視頻序列的每幀圖像進(jìn)行3×3的均值濾波,濾去高頻噪聲.在我們選擇的模板下,濾波所造成的圖像整體的模糊是非常微弱的.
Opening-Tophat運(yùn)算中結(jié)構(gòu)元素的選取.我們選擇了square和diamond兩種結(jié)構(gòu)單元,并對(duì)它們的濾波效果進(jìn)行了對(duì)比.對(duì)比結(jié)果如圖5所示:圖a為未處理前的原始圖像,圖b和c分別為選取square和diamond兩種結(jié)構(gòu)單元時(shí)的濾波結(jié)果.
通過對(duì)比我們發(fā)現(xiàn),使用square結(jié)構(gòu)單元能更好的保持目標(biāo)的相對(duì)輪廓并且基本濾除了周圍以云層為主的噪聲干擾,同種情況下,diamond結(jié)構(gòu)單元的濾波結(jié)果中仍然能看到部分云層干擾.
圖像分割中分割系數(shù)的選擇:T=aver+kσ中的分割系數(shù)k的選取直接決定分割效果,圖6為選取k=10,k=50,k=200時(shí)的分割效果.結(jié)果表明當(dāng)k取200左右時(shí),效果最佳,基本濾除了干擾和噪聲,同時(shí)增強(qiáng)了目標(biāo)亮度.
我們對(duì)視頻序列中每幀圖像使用本文中提出的算法進(jìn)行預(yù)處理,得到一系列預(yù)處理前后的對(duì)比圖像:圖7所示為單目標(biāo)紅外視頻序列的部分原始圖像和濾波結(jié)果,我們分別選取了視頻序列的第50幀(圖a),第100幀(圖b),第180幀(圖c)圖像.圖8所示為多目標(biāo)紅外視頻序列的部分原始圖像和濾波結(jié)果,我們分別選取了視頻序列的第60幀(圖a),第120幀(圖b),第180幀(圖c)圖像.
圖7中單目標(biāo)序列的處理結(jié)果我們可以看出,在視頻序列的第50幀位置,飛機(jī)未經(jīng)過云層;在第100幀的時(shí)候,飛機(jī)準(zhǔn)備進(jìn)入云層;在第180幀的時(shí)候,飛機(jī)完全進(jìn)入云層時(shí),組合預(yù)處理算法均得到了只有目標(biāo)存在的二值圖像.在多目標(biāo)序列中,三個(gè)目標(biāo)分別擁有不同的航跡和外形特征,同樣也獲得了只包含目標(biāo)的二值圖像.以上三組數(shù)據(jù)的處理,我們發(fā)現(xiàn)這種順序的預(yù)處理算法在以上幾種情況下均取得了較好的結(jié)果,除了濾除干擾以外還實(shí)現(xiàn)了對(duì)弱小紅外目標(biāo)的增強(qiáng).
本文提出的針對(duì)復(fù)雜天空背景下紅外小目標(biāo)的預(yù)處理算法,用級(jí)聯(lián)的方式融合了多個(gè)形態(tài)學(xué)基本算子,在單個(gè)和多個(gè)弱小目標(biāo)存在的情況下均獲得了較理想的濾波效果.通過以上對(duì)包含弱小目標(biāo)的紅外視頻序列的分析,結(jié)合預(yù)處理算法的理論介紹和實(shí)驗(yàn)仿真結(jié)果,我們發(fā)現(xiàn)在像素值非常有限的紅外小目標(biāo)的檢測(cè)過程中,切實(shí)有效的預(yù)處理算法可以幫助我們得到只包含目標(biāo)的二值圖像,幫助我們更容易鎖定跟蹤目標(biāo),開展后續(xù)的跟蹤處理.同時(shí),這種預(yù)處理算法也存在一些不足,比如當(dāng)目標(biāo)的灰度底于周圍環(huán)境像素(暗目標(biāo))時(shí),算法無法取得理想的濾波效果,這也是本項(xiàng)目下一步研究的重點(diǎn).
[1]周曉瑋.復(fù)雜背景下紅外小目標(biāo)實(shí)時(shí)檢測(cè)與跟蹤[D].武漢:華中科技大學(xué),2007.3-5.
[2]閻敬文.數(shù)字圖像處理[M].北京:國防工業(yè)出版社,2006.63-70.
[3]王苑楠.圖像邊緣檢測(cè)方法的比較和研究[J].計(jì)算機(jī)與數(shù)字工程,2009,37(1):121-127.
[4]李銚.紅外多目標(biāo)跟蹤技術(shù)研究[D].西安:中國科學(xué)院西安光學(xué)精密機(jī)械研究所,2008.
[5]Jeremy D.Bailoo,Martin O.Bohlen,Douglas Wahlsten.The precision of video and photocell tracking systems and the elimination of tracking errors with infrared backlighting[J].Journal of Neuroscience Methods,2010,6(3):253-264.
[6]J.Shaik,K.M.Iftekharuddin.Detection and tracking of targets in infrared images using Bayesian techniques[J].Optics&Laser Technology,2009,10(6):112-119.
[7]Jain R,Nagel H.On the analysis of accumulative difference of picture from image sequences of real world scenes[J].IEEE Trans PAMI,1979,9(7):206-214.
[8]Charlene EC,Jerry S.Optimization of point target tracking filters[J].IEEE Transactions on Aerospace and Electronic Systems,2000,36(1):5-25.
[9]楊烜,裴繼紅,謝維信.基于運(yùn)動(dòng)特征的遠(yuǎn)距離紅外目標(biāo)檢測(cè)方法[J].電子與信息學(xué)報(bào),2007,29(8):1829-1832.
[10]賀興華,周媛媛.matlab 7.x圖像處理[M].北京:人民郵電出版社,2006.
[11]顏佳,吳敏淵,陳淑珍.基于Mean Shift算法的偽裝目標(biāo)跟蹤[J].光電工程,2009,36(2):11-15.
[12]羅寰.復(fù)雜背景下紅外弱小多目標(biāo)跟蹤系統(tǒng)[J].光學(xué)學(xué)報(bào),2009,26(6):21-23.
[13]管志強(qiáng),陳錢,錢惟賢.一種背景自適應(yīng)調(diào)整的弱點(diǎn)目標(biāo)探測(cè)算法[J].光學(xué)學(xué)報(bào),2007,27(12):2163-2168.
[14]WANG Xin,TANG Zhen-min.Modified particle filter-based infrared pedestrian tracking[J].Infrared Physics&Technology,2010,10(3):122-124.
[15]何東健.數(shù)字圖像處理[M].西安:西安電子科技大學(xué)出版社,2003.
[16]溫佩芝,史澤林,于海斌.基于形態(tài)學(xué)的海面背景紅外目標(biāo)檢測(cè)方法[J].光電工程,2003,30(6):55-58.
[17]ZUO Zhen.Algorithm based on wavelet transform for small target detection on sea surface in infrared image[J].Infrared and laser Engineering,1998,14(5):155
[18]荊文芳.飛機(jī)紅外圖像的檢測(cè)識(shí)別與跟蹤技術(shù)的研究[D].西安:西北工業(yè)大學(xué),2006.
[19]程建,楊杰.一種基于均值移位的紅外目標(biāo)跟蹤新方法[J].紅外與毫米波學(xué)報(bào),2005,24(3):231-235.
A Morphology-based Algorithm for Infrared Small Target Detection
GUO Zhang-ting,XIN Yun-hong
(School of Physics and Information Technology,Shaanxi Normal University,Xi’an 710062,China)
The paper presented a novel algorithm to detect small infrared target in the complex background with low SNR.Based on the principle of morphology,the new algorithms preprocessed each frame image of infrared video sequences with mean filtering and opening-tophat filtering,and then the moving small IR target was extracted by means of statistical segmentation algorithms based on the average and square errors.The experimental results showed that the presented method had a better detection and segmentation performance,and the tracking accuracy was improved effectively.
small IR target;morphology;Opening-Tophat;threshold segmentation
TP751
A
1009—5128(2011)06—0035—06
2011—01—07
陜西省自然科學(xué)基金資助項(xiàng)目(2006F47);陜西師范大學(xué)優(yōu)秀科技預(yù)研基金資助項(xiàng)目(20092006)
郭張婷(1986—),女,陜西寶雞人,陜西師范大學(xué)物理學(xué)與信息技術(shù)學(xué)院信號(hào)與信息處理專業(yè)碩士研究生.研究方向:目標(biāo)跟蹤﹑圖像處理;辛云宏(1967—),男,陜西蒲城人,陜西師范大學(xué)物理學(xué)與信息技術(shù)學(xué)院副教授,博士.研究方向:多傳感器信息融合、WSN的組網(wǎng)與節(jié)點(diǎn)定位技術(shù)、被動(dòng)目標(biāo)的檢測(cè)與跟蹤等.
【責(zé)任編輯 牛懷崗】