徐 蕾 ,潘曉璐,李一民,趙曉輝
(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院,昆明 6 50000)
運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤已經(jīng)成為圖像處理技術(shù)與計(jì)算機(jī)視覺領(lǐng)域中一個(gè)重要的課題。就其作用和地位來說,它是圖像理解和行為分析的前提,也是計(jì)算機(jī)視覺要解決的基礎(chǔ)性問題。運(yùn)動(dòng)檢測(cè)與跟蹤已經(jīng)深入到人們生活的各個(gè)領(lǐng)域,發(fā)揮著不可替代的作用。運(yùn)動(dòng)區(qū)域的有效提取對(duì)于目標(biāo)分類、目標(biāo)跟蹤以及行為分析等都具有重要意義。運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤常常用于軍事偵探、智能監(jiān)控和交通檢測(cè)等領(lǐng)域。運(yùn)動(dòng)車輛的檢測(cè)與跟蹤是智能駕駛的重要組成部分,也是目前比較熱門的研究領(lǐng)域,吸引了不少學(xué)者的熱情參與。
基于視頻序列圖像運(yùn)動(dòng)車輛的檢測(cè)與跟蹤,根據(jù)所處場(chǎng)景的性質(zhì)可分為靜止背景、運(yùn)動(dòng)背景2種情況。本文將分別對(duì)這2種場(chǎng)景下的運(yùn)動(dòng)進(jìn)行分析。
運(yùn)動(dòng)車輛所處場(chǎng)景的復(fù)雜程度、穩(wěn)定程度都會(huì)影響到目標(biāo)檢測(cè)與跟蹤的效果。在實(shí)際場(chǎng)景中,背景往往都是比較復(fù)雜多變和不穩(wěn)定的,背景中物體的變動(dòng)、光線的忽明忽暗、物體之間的遮擋、與目標(biāo)物體有相似特征的物體等都會(huì)給實(shí)際的準(zhǔn)確檢測(cè)與跟蹤帶來的麻煩。提高目標(biāo)檢測(cè)與跟蹤的實(shí)時(shí)性、魯棒性和準(zhǔn)確性,一直以來都是人們研究的熱點(diǎn)和難點(diǎn)。
運(yùn)動(dòng)車輛檢測(cè)的幾種常用方法有光流法、幀差分法、背景差分法等,這幾種方法各有優(yōu)缺點(diǎn)。針對(duì)靜止背景,用幀差分法或背景差分法再配合一些去噪處理就能很好地檢測(cè)前景車輛,但此方法對(duì)運(yùn)動(dòng)背景下的車輛檢測(cè)效果不是很好。光流法對(duì)圖像的運(yùn)動(dòng)比較靈敏,能夠很好地提取運(yùn)動(dòng)物體。雖然光流的運(yùn)算量較大,運(yùn)算速度比較慢,但光流對(duì)運(yùn)動(dòng)背景的車輛檢測(cè)有著比較好的效果。光流是圖像表面的灰度模式的運(yùn)動(dòng)速度,只要圖像中存在運(yùn)動(dòng)就會(huì)有光流產(chǎn)生。運(yùn)動(dòng)一致的區(qū)域,光流也會(huì)表現(xiàn)出一致性;反之,運(yùn)動(dòng)不一致的區(qū)域,光流的變化也不一致。通過對(duì)光流場(chǎng)特性的分析,可以實(shí)現(xiàn)運(yùn)動(dòng)車輛的檢測(cè),并進(jìn)行必要的跟蹤。2006年Liu[1]提出了結(jié)合光流場(chǎng)和活動(dòng)輪廓模型進(jìn)行運(yùn)動(dòng)車輛檢測(cè)。2007年Naito[2]提出了圖像邊緣信息與光流場(chǎng)結(jié)合的車輛檢測(cè)。2005年Shin[3]利用基于特征的光流技術(shù)進(jìn)行運(yùn)動(dòng)車輛檢測(cè)與跟蹤。本文采用一種基于特征點(diǎn)的光流場(chǎng)算法對(duì)視頻車輛進(jìn)行檢測(cè),得到了比較好的檢測(cè)效果。
光流法最初是由Horn和Schunck[4]提出。光流實(shí)質(zhì)上是指圖像中灰度模式的運(yùn)動(dòng)速度。在光源的照射下,物體表面的灰度會(huì)呈現(xiàn)一定的空間分布,稱為灰度模式。當(dāng)人們的眼睛觀察運(yùn)動(dòng)物體時(shí),運(yùn)動(dòng)物體的景象會(huì)在人眼的視網(wǎng)膜上形成一系列連續(xù)變化的圖像,這一系列連續(xù)變化的信息不斷“流過”視網(wǎng)膜(即成像的圖像平面),好像是一種光的“流”,故形象地稱之為光流。
光流計(jì)算主要基于亮度的恒常性假設(shè)進(jìn)行,若假設(shè) I(x,y,t)是圖像上像素點(diǎn)(x,y)在 t時(shí)刻的圖像亮度,也即為該時(shí)刻的圖像灰度值,則有該像素點(diǎn)在t+Δt時(shí)刻運(yùn)動(dòng)到(x+Δx,y+Δy)處的圖像亮度值為 I(x+Δx,y+Δy,t+Δt),由亮度恒常性假設(shè),即這2個(gè)時(shí)刻的圖像灰度值保持不變,可得
對(duì)式(1)進(jìn)行泰勒公式展開
其中由于o(Δx,Δy,Δt)是高階無窮小,可以近似為零,同時(shí)分別將記作 Ix、Iy、It。
因此由式(1)和(2)可得
式(3)就是著名的光流約束方程,u、v表示當(dāng)前點(diǎn)垂直和水平方向的運(yùn)動(dòng)速度??芍s束方程只有1個(gè),而未知數(shù)有2個(gè),所以在求取光流時(shí)需要再加上一些限制條件,才能唯一確定光流。補(bǔ)充附加約束的方法有很多種[5-7],例如 Horn-Schunk方法、Lucas-Kanade方法、Zemike矩方法等。本文通過衡量,采用局部光流Lucas-Kanade法來計(jì)算光流,簡(jiǎn)單易行,運(yùn)算速度也比較快。下面分別就2種場(chǎng)景下的車輛檢測(cè)進(jìn)行分析。
靜態(tài)背景的車輛檢測(cè),顧名思義就是視頻圖像上只有車輛及行人是運(yùn)動(dòng)的,道路及道路兩邊的建筑物、樹木、路燈之類的背景是相對(duì)靜止的。本文首先對(duì)視頻幀圖像進(jìn)行預(yù)處理,用高斯背景建模以平滑背景圖像,通過差分得到比較完整的前景。本文針對(duì)靜態(tài)背景使用的是在尋找特征點(diǎn)的基礎(chǔ)上計(jì)算的基于金字塔的LK光流法。結(jié)合聚類約定光流大小和方向,去除了車道表面的大部分噪聲,得到了很好的檢測(cè)效果。本部分算法的流程如圖1所示。
圖1 靜態(tài)背景的算法流程
動(dòng)態(tài)背景下的車輛檢測(cè)與靜態(tài)背景的最大不同點(diǎn)是動(dòng)態(tài)背景除了車輛是運(yùn)動(dòng)的,周圍的環(huán)境也都是運(yùn)動(dòng)的,基本沒有相對(duì)靜止的物體。根據(jù)光流對(duì)運(yùn)動(dòng)十分敏感而場(chǎng)景同時(shí)也在運(yùn)動(dòng)這樣的特殊情況,采用提取感興趣區(qū)域,即ROI區(qū)域,盡量在保證不缺失有用信息的同時(shí)排除背景的干擾。本文感興趣區(qū)域的提取主要是視野范圍內(nèi)的行車道,以車道線為邊界,提取這樣一個(gè)多邊形區(qū)域。這樣做的好處是排除了路邊建筑物以及別的實(shí)物運(yùn)動(dòng)對(duì)運(yùn)動(dòng)車輛的檢測(cè)干擾。在原始角點(diǎn)的基礎(chǔ)上進(jìn)行模板匹配,找到有效角點(diǎn)去噪,去除車道表面以及路邊建筑物的大部分噪聲。動(dòng)態(tài)背景的算法流程如圖2所示。
圖2 態(tài)背景的算法流程
光流檢測(cè)法對(duì)光照條件有很強(qiáng)的適應(yīng)性,對(duì)背景障礙物的干擾運(yùn)動(dòng)也很靈敏。本實(shí)驗(yàn)的數(shù)據(jù)為:幀率30幀/s,分辨率640像素×480像素的視頻。如圖3所示,可見道路表面的車道線以及花草等對(duì)光流檢測(cè)的影響很明顯。對(duì)此本文采取了限制光矢量大小方向的方法對(duì)初步得到的光流進(jìn)行約束,并得到了較好的效果,如圖4所示。
圖3 靜態(tài)背景去噪前光流
圖4 靜態(tài)背景去噪后光流
動(dòng)態(tài)背景較靜態(tài)背景復(fù)雜得多,除了一些必要的預(yù)處理之外,還需要考慮外界其他運(yùn)動(dòng)因素的影響,難點(diǎn)和關(guān)鍵是如何除去這些干擾因素。本文采用提取感興趣區(qū)域ROI(如圖5)以及對(duì)光流方向進(jìn)行歸類的方法,很好地去除了天空和其他車道的影響。由圖6可見,對(duì)ROI圖像提取特征點(diǎn)[8],邊界線和車道線的干擾很嚴(yán)重,給系統(tǒng)的光流檢測(cè)帶來了很多噪聲,對(duì)此,本文經(jīng)過模板匹配去掉了大部分噪聲。設(shè)定閾值得到有效角點(diǎn),降低噪聲,從而計(jì)算光流。圖7顯示的是初始光流特征點(diǎn),圖8是去噪前的光流檢測(cè)圖。
通過模板匹配后的特征點(diǎn)與原始角點(diǎn)相比效果好了很多,背景邊界處的干擾特征點(diǎn)都被很好地去除,圖9和10分別是基于模板匹配后的特征光流。
圖5 提取ROI有效區(qū)域
圖10 動(dòng)態(tài)背景去噪后有效光流
圖3~10給出了真實(shí)的視頻圖像序列的角點(diǎn)與光流檢測(cè),圖像序列是avi格式的連續(xù)視頻幀,幀率為30幀/s,分辨率為480像素×360像素。
光流技術(shù)作為一種重要的二維運(yùn)動(dòng)估計(jì)技術(shù),在運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤方面有著非常重要的作用。基于光流場(chǎng)的運(yùn)動(dòng)檢測(cè),研究者們提出了很多方法,本文從特征點(diǎn)與感興趣區(qū)域相結(jié)合的角度描述了基于金字塔的LK光流算法。結(jié)合特征點(diǎn)與感興趣區(qū)域的光流算法能很好地應(yīng)用于實(shí)際,準(zhǔn)確有效地檢測(cè)到目標(biāo)區(qū)車輛,也是目前比較常用的一種方法,但動(dòng)態(tài)背景下的車輛檢測(cè)與跟蹤目前依然是一個(gè)難點(diǎn)。如何更準(zhǔn)確快速地跟蹤到特征點(diǎn),匹配特征點(diǎn),減輕外界不良因素的干擾是需深入研究的難點(diǎn),因此需要結(jié)合很多新的想法提出更新、更有力的算法來解決背景運(yùn)動(dòng)這一大干擾。目前提高光流算法的運(yùn)算速度、增強(qiáng)實(shí)時(shí)性依然十分必要。
[1]Liu P R,Meng M Q H,Liu P X,et al.Optical flow and active contour for moving object segmentation and detection in monocular robot[C]//Proceedings 2006 IEEE International Conference on Robotics and Automation.[S.l.]:[s.n.],2006:4075-4080.
[2]Naito T,íIto T,Kaneda Y.The obstacle detection method using optical flow estimation at the edge image[C]//Proceedings 2007 IEEE Intelligent.Vehicles Symposium.[S.l.]:[s.n.],2007:817-822.
[3]Shin J H,Kim S J,Kang S K,et al,Optical flow-based real-time object tracking using non-prior training active feature model[J].Real-Time Imaging,2005(1l):204-218.
[4]Horn B K P,Schunch B G.Determining Optical Flow[J].AI,1981(17):185-203P.
[5]徐建華.圖像處理與分析[M].北京:科學(xué)出版社,1992.
[6]Hom B K P.Pobert Vision[M].Cambridge:Mit press,1986:56-60.
[7]趙曉麗.基于統(tǒng)計(jì)降噪原理的動(dòng)目標(biāo)分割與跟蹤[D].太原:華北工學(xué)院,2004:8-11.
[8]Thompson W B,Pong T C.Detecting moving object[J].Int J Comp Vision,1990(4):39-57.
[9]張建勛,劉羽.基于多分辨率圖像錐與Hausdorff距離的醫(yī)學(xué)圖像配準(zhǔn)[J].重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版,2010(1):64-68.
[10]梁楓,王平.基于角點(diǎn)特征的高精度圖像配準(zhǔn)算法[J].重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版,2010(2):91-94.
重慶理工大學(xué)學(xué)報(bào)(自然科學(xué))2011年9期