柯善發(fā),阮若林,伍連啟,伍聃文
(湖北科技學(xué)院 電子與信息工程學(xué)院,湖北 咸寧 437100)
運(yùn)動(dòng)目標(biāo)檢測是視頻監(jiān)控研究領(lǐng)域中的一個(gè)極其重要研究方向,運(yùn)動(dòng)目標(biāo)的快速、準(zhǔn)確檢測是進(jìn)行后續(xù)識別、分類、分析和跟蹤的關(guān)鍵環(huán)節(jié)和技術(shù)基礎(chǔ)。它要求從視頻監(jiān)控圖像中分割出目標(biāo)和背景,因?yàn)樽R別、分類、分析和跟蹤只對運(yùn)動(dòng)目標(biāo)感興趣,這樣可以使識別、分類、分析和跟蹤更快速更有效。下面將對運(yùn)動(dòng)目標(biāo)檢測過程中常用到的幀差分法、背景減法、光流法等幾種方法進(jìn)行了研究、分析和比較。
幀差分法是基于背景像素點(diǎn)灰度值不變這一原則來檢測運(yùn)動(dòng)目標(biāo)的,利用視頻流中相鄰兩幀或幾幀圖像之間的差異進(jìn)行差分運(yùn)算得到差分圖像,從而進(jìn)行目標(biāo)的檢測和提取。在實(shí)際應(yīng)用中,差分就是首先將相鄰兩幀圖像對應(yīng)位置像素點(diǎn)的值相減,然后對結(jié)果取絕對值后形成的灰度圖像就是差分圖,接著對差分圖像進(jìn)行二值化處理,將差分圖中像素點(diǎn)的值與事先確定的閾值進(jìn)行比較,大于閾值就取“1”,就可以將這些像素標(biāo)為目標(biāo)像素,利用目標(biāo)像素所在區(qū)域就可以確定運(yùn)動(dòng)目標(biāo)在圖像中的位置;否則就取“0”,可以認(rèn)為此像素為背景像素。這樣就將運(yùn)動(dòng)目標(biāo)提取出來了[1]。
視頻信號錄制的幀率通常在15-60幀/秒,所以相鄰兩幀間之間的時(shí)間間隔一般都很短,而監(jiān)控圖像背景相對固定,可用上一幀圖像作為當(dāng)前幀的背景,算法簡單、計(jì)算量小,且實(shí)時(shí)性好、背景不積累、更新速度快。但是環(huán)境噪聲對該查分算法的影響較大,關(guān)鍵是如何選擇恰當(dāng)?shù)拈撝担撝颠^大會造成圖像中有用變化部分的丟失,反之,不能較好抑制圖像中的噪聲。同時(shí),對于擁有大塊顏色一致的運(yùn)動(dòng)目標(biāo),可能會在目標(biāo)內(nèi)部產(chǎn)生空洞,導(dǎo)致無法完整地提取運(yùn)動(dòng)目標(biāo)[2]。
在Matlab7.0中實(shí)現(xiàn)該幀差分法,并對監(jiān)控圖像進(jìn)行實(shí)驗(yàn)[3,4],實(shí)驗(yàn)結(jié)果如圖1所示。
從實(shí)驗(yàn)結(jié)果中可以看出幀差分法提取的運(yùn)動(dòng)對象區(qū)域并不是完整的,而只是運(yùn)動(dòng)對象的一個(gè)邊界輪廓。同時(shí)提取效果與所選兩幀之間的時(shí)間間隔關(guān)系密切,如果運(yùn)動(dòng)對象運(yùn)動(dòng)速度較快,那么就要使得所選兩幀間時(shí)間間隔較小,如果選擇時(shí)間間隔過大,就會出現(xiàn)運(yùn)動(dòng)物體在所選兩幀中沒有重疊部分而導(dǎo)致檢測成兩個(gè)分開的不同物體的現(xiàn)象;反之,如果運(yùn)動(dòng)對象運(yùn)動(dòng)速度較慢,那么就要使得所選兩幀間時(shí)間間隔較大,如果選擇時(shí)間間隔過小,就會出現(xiàn)運(yùn)動(dòng)物體在所選兩幀中位置幾乎重疊而導(dǎo)致檢測不到物體現(xiàn)象。
背景減法是運(yùn)動(dòng)目標(biāo)檢測的主流技術(shù)之一,也是運(yùn)動(dòng)目標(biāo)檢測技術(shù)的研究熱點(diǎn)。其基本原理是:對于給定圖像進(jìn)行背景建模后,將給定圖像與背景模型進(jìn)行比較,通過利用灰度特征變化或直方圖變化來檢測和分割出運(yùn)動(dòng)目標(biāo),主要包括預(yù)處理、背景建模和后處理三個(gè)部分。其中預(yù)處理過程主要有3個(gè)作用:第一,對輸入的每幀圖像進(jìn)行濾波處理,以消除各種噪聲;第二,將每幀圖像的尺寸和幀率轉(zhuǎn)換成具體系統(tǒng)及算法所需要的要求;第三,將輸入圖像數(shù)據(jù)轉(zhuǎn)換成系統(tǒng)及算法所需要的格式。
背景建模是背景減法的關(guān)鍵,是進(jìn)行運(yùn)動(dòng)目標(biāo)檢測以及背景更新的基礎(chǔ),可以從兩個(gè)方面評價(jià)一個(gè)背景模型的好壞:一是能較好適應(yīng)場景中的一些變化,即具有魯棒性,二是檢測出運(yùn)動(dòng)目標(biāo)的準(zhǔn)確性較高。但是視頻圖像中運(yùn)動(dòng)目標(biāo)出現(xiàn)的位置是不固定的,同時(shí)視頻圖像中外部各種動(dòng)態(tài)場景的會影響到圖像背景,所以,背景減法中如何建立與真實(shí)背景相吻合的背景模型是關(guān)鍵?;诟咚菇y(tǒng)計(jì)模型的背景圖像估計(jì)算法是背景建模的常用方法[5],該算法主要分背景圖像初始化和背景圖像自適應(yīng)更新。
背景減法目標(biāo)檢測就是利用檢測圖像與背景模型差分的方法來檢測圖像中運(yùn)動(dòng)目標(biāo),然后通過與設(shè)定的閾值進(jìn)行比較來判定目標(biāo)像素和背景像素。如果檢測圖像與背景圖像對應(yīng)像素點(diǎn)差分差值比設(shè)定閾值大,就該像素點(diǎn)為白色,即運(yùn)動(dòng)目標(biāo);反之,則該像素點(diǎn)為黑色,即背景圖像。
后處理就是對檢測后的運(yùn)動(dòng)目標(biāo)圖像進(jìn)行處理,去除運(yùn)動(dòng)目標(biāo)圖像的毛刺和填充可能發(fā)生的散點(diǎn)(噪聲塊、運(yùn)動(dòng)區(qū)域的空洞和遮擋等)以得到比較真實(shí)的前景運(yùn)動(dòng)目標(biāo)。
實(shí)驗(yàn)結(jié)果說明,基于高斯統(tǒng)計(jì)模型提取的圖像背景一般比較準(zhǔn)確,通過背景差分檢測出的運(yùn)動(dòng)對象區(qū)域也比較完整,而且檢測速度也比較快,但是由于高斯背景模型會受到背景擾動(dòng)、外界光照變化、背景中固定對象的移動(dòng)、前景陰影等因素的影響,因此,該背景模型并不能用于長期和復(fù)雜的場景。[6]
背景模型建立后采用背景相減法獲取運(yùn)動(dòng)前景圖像時(shí),分割閾值的選取是關(guān)鍵。分割閾值取的過大,容易產(chǎn)生漏檢,會將原本屬于目標(biāo)對象的像素點(diǎn)看作是背景像素;反分割閾值過小,則會產(chǎn)生誤檢現(xiàn)象,即將原屬于背景的像素點(diǎn)看作是目標(biāo)點(diǎn)。針對該問題研究人員給出了閾值選取的主要原則:在對比度比較低的區(qū)域,閾值應(yīng)小些,而在對比度比較高的區(qū)域,閾值應(yīng)設(shè)高些的原則。但在理想情況下,所設(shè)閾值應(yīng)該隨著像素點(diǎn)坐標(biāo)位置的不同而不同。所以為了取得較好的分割效果,理論上來講應(yīng)該為每個(gè)像素點(diǎn)設(shè)置一個(gè)分割閥值,因此需要采用基本自適應(yīng)閾值分割法[7]。
視覺心理學(xué)家認(rèn)為,當(dāng)被檢測物體和人之間有相對運(yùn)動(dòng)時(shí),人們通過物體表面帶有光學(xué)特性的部分來獲得物體運(yùn)動(dòng)信息。當(dāng)攝影機(jī)與運(yùn)動(dòng)目標(biāo)之間存在相對運(yùn)動(dòng)時(shí),人們所觀測到的亮度模式運(yùn)動(dòng)就稱為光流。光流計(jì)算用來確定物體圖像點(diǎn)上的運(yùn)動(dòng)方向和運(yùn)動(dòng)速率,對光流圖像的分析研究的直接目標(biāo)就是確定運(yùn)動(dòng)物體。光流是一種抽象概念,是機(jī)器視覺計(jì)算方法努力追求的典型,在圖像的進(jìn)一步處理中,它表示所需要的與運(yùn)動(dòng)相關(guān)的亮度變化,這種變化可以用來確定目標(biāo)的運(yùn)動(dòng)情況。因此,利用光流場來提取運(yùn)動(dòng)目標(biāo)必須事先估計(jì)出視頻圖像的運(yùn)動(dòng)場,然后根據(jù)運(yùn)動(dòng)場的運(yùn)動(dòng)特征來分割進(jìn)行運(yùn)動(dòng)目標(biāo)[8]。
光流場的概念是由Gibso于1950年首先提出的,而光流場計(jì)算方法是由Horn和Schunck最先提出來的,稱之為Hom-Schunck法。光流場計(jì)算方法是假定視頻圖像相鄰圖像間的時(shí)間間隔(即幀率)不大,同時(shí)外界光照亮度變化很小的前提下,計(jì)算給出了視頻灰度圖像基本光流約束方程[9]。
從光流的定義可以看出,它包含三方面意思:一是速度場,這是光流形成的必要條件;二是帶光學(xué)特性的部分(例如有灰度變化的像素點(diǎn)),它能攜帶信息;三是成像投影(從場景到圖像平面),因而能被觀察到。光流在視覺運(yùn)動(dòng)的研究中有很重要的作用。
光流法就是計(jì)算視頻圖像光流場的方法,根據(jù)光流場分析圖像運(yùn)動(dòng)場的變化,并根據(jù)這種變化來提取視頻圖像中的運(yùn)動(dòng)目標(biāo),計(jì)算光流場的方法主要有全局光流法和特征點(diǎn)光流法。Lueas-Kanada法(即L-K法)和Hom-Schunck法(H-S法)是最經(jīng)典的兩種全局光流法,主要原理是在獲得全局光流場后,通過比較圖像中的運(yùn)動(dòng)目標(biāo)與圖像背景之間的運(yùn)動(dòng)差異檢測運(yùn)動(dòng)目標(biāo),但是計(jì)算量很大;而特征點(diǎn)光流法是通過特征匹配來求特征點(diǎn)處的流速的方法計(jì)算機(jī)光流場,該算法快速靈活且計(jì)算量小,但光流分布稀疏很難精確地提取運(yùn)動(dòng)目標(biāo)的形狀。因此,光流法的最大優(yōu)點(diǎn)是不需要預(yù)先知道視頻場景中的任何信息就能夠檢測到運(yùn)動(dòng)對象,同時(shí)還能較好處理背景運(yùn)動(dòng)的情況,但是計(jì)算機(jī)太大、實(shí)時(shí)處理難,且受到外界光照變化、噪聲、遮擋和陰影等因素的影響[10]。
通過對幀差分法、背景減法、光流法的原理及各自的實(shí)現(xiàn)方法的研究分析,可以發(fā)現(xiàn)各自的特點(diǎn)及它們之間的差異。
(1)幀差分法是依據(jù)視頻圖像相鄰兩幀圖像間的強(qiáng)相關(guān)性和他們之間的差異來檢測運(yùn)動(dòng)目標(biāo),具有算法簡單、計(jì)算量小實(shí)時(shí)性好、背景不積累、更新速度快的優(yōu)點(diǎn),但幀差分法提取的運(yùn)動(dòng)對象區(qū)域并不是完整的,而只是運(yùn)動(dòng)對象的一個(gè)邊界輪廓。同時(shí)提取效果與所選兩幀之間的時(shí)間間隔關(guān)系密切,因此,幀差分法適合于具有在背景變化小且目標(biāo)像素點(diǎn)對比度大的圖像中檢測運(yùn)動(dòng)目標(biāo)。
(2)背景減法是通過對背景建模后根據(jù)輸入圖像與背景模型間的差異來檢測運(yùn)動(dòng)目標(biāo),該方法基于高斯統(tǒng)計(jì)模型提取背景準(zhǔn)確,對目標(biāo)像素點(diǎn)的對比度沒有要求,檢測出的運(yùn)動(dòng)對象區(qū)域也比較完整,且檢測速度快,但是由于高斯背景模型會受到背景擾動(dòng)、外界光照變化、背景中固定對象的移動(dòng)、前景陰影等因素的影響,因此,背景減法并不適合于具有長期和復(fù)雜的場景的視頻圖像,一般只適合于背景相對靜止的場景的目標(biāo)檢測。
(3)光流法是基于視頻圖像相鄰圖像幀率不大且外界光照亮度變化很小的前提下來檢測運(yùn)動(dòng)目標(biāo)的,光流法的最大優(yōu)點(diǎn)是不需要預(yù)先知道視頻場景中的任何信息就能夠檢測到運(yùn)動(dòng)對象,同時(shí)還能較好處理背景運(yùn)動(dòng)的情況,但是計(jì)算機(jī)太大、實(shí)時(shí)處理難,且受到外界光照變化、噪聲、遮擋和陰影等因素的影響,因此,光流法適合于在具有視頻幀率相對較小且外界光照變化也不大的視頻圖像中檢測運(yùn)動(dòng)目標(biāo)。
視頻圖像運(yùn)動(dòng)目標(biāo)檢測是智能視頻監(jiān)控領(lǐng)域的重要研究方向,運(yùn)動(dòng)目標(biāo)的快速、準(zhǔn)確檢測是進(jìn)行后續(xù)識別、分類、分析和跟蹤的關(guān)鍵環(huán)節(jié)和技術(shù)基礎(chǔ)。它要求從視頻監(jiān)控圖像中分割出目標(biāo)和背景,因?yàn)樽R別、分類、分析和跟蹤只對運(yùn)動(dòng)目標(biāo)感興趣,這樣可以使識別、分類、分析和跟蹤更快速更有效。幀差分法適合像素點(diǎn)對比度較大的圖像;背景差分法對于環(huán)境變化較小的圖像有較好的提取效果,且能夠提取完整的運(yùn)動(dòng)目標(biāo);而光流法則可用于背景運(yùn)動(dòng)的圖像,但是這種方法的計(jì)算量大而復(fù)雜。
參考文獻(xiàn):
[1]陳勇.智能視頻監(jiān)控中運(yùn)動(dòng)目標(biāo)檢測技術(shù)研究[D].武漢:武漢理工大學(xué),2007.
[2]王勇.基于統(tǒng)計(jì)方法的運(yùn)動(dòng)目標(biāo)檢測與跟蹤技術(shù)研究[D].武漢:華中科技大學(xué),2009.
[3]陳景波,陸建明,鄔正義.交通場景中多目標(biāo)的監(jiān)測與跟蹤[J].現(xiàn)代電子技術(shù),2008,15(1):177~180.
[4]高展宏,徐文波.基于MATLAB的圖像處理案例教程[M].北京:清華大學(xué)出版社,2011.
[5]王麗娟.基于OpenCV與混合高斯建模的運(yùn)動(dòng)目標(biāo)檢測[J].電子測試,2009,(9):86~90.
[6]侯宏錄,李寧鳥,劉迪迪,陳杰.智能視頻監(jiān)控中運(yùn)動(dòng)目標(biāo)檢測的研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2012,22(2):49~52.
[7]J Q.Zang,R.Kleue.Robust Background Subtraction and Maintenance[A].Proc,Intl.Conf Pattern Recognition,2004,(2):90~93.
[8]Yijun Xiao,Bangpin Wang,Xiaochun Lu and Xinrong Jiang.Novel motion object extraction algorithm,Proceedings of SPIE -The international Society for Optical Engineering,v 6786,MIPPR 2007:678646.
[9]李宏,楊延梧,任樸舟等.基于光流技術(shù)的復(fù)雜背景下運(yùn)動(dòng)目標(biāo)跟蹤[J].光電工程,2006,(10):13~17.
[10]Barron J,F(xiàn)leet D,Beauchemin S.Performance of optical flow techniques [J].International Journal of computer Vision,1994,12 (1):42~77.