吳青青,許廷發(fā),閆輝,徐磊,吳威,李相民
(北京理工大學(xué) 光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點實驗室,北京100081)
目標檢測直接影響后期對目標進行識別跟蹤的準確性。傳統(tǒng)的目標檢測方法如幀差法、背景差分法、光流法等都是基于灰度的檢測方法。盡管國內(nèi)外學(xué)者研究了很多的改進方法來解決基于灰度方法目標丟失的問題[1-3],但其局限性也越來越明顯。有學(xué)者將顏色和形狀信息結(jié)合起來,對復(fù)雜場景下的圓形區(qū)域進行檢測,這種方法能增加檢測準確度,提高檢測的魯棒性[4]。文獻[5]利用顏色分離的方法檢測交通路口車流和人流運動方向。文獻[6]結(jié)合輪廓信息和顏色信息來檢測具有特定輪廓的目標。文獻[7]根據(jù)目標的主要顏色,利用顏色分布直方圖來對目標進行檢測跟蹤。有學(xué)者提出了一種基于顏色信息的背景差分的改進方法[8],將背景差分擴展到3 個顏色通道進行,各自差分結(jié)果相加后再對整體差分結(jié)果進行閾值二值化提取運動目標。這在一定程度上解決了目標檢測方法中存在的灰度圖像下無法較好辨識顏色差別的弊端。
但是,該方法在二值化之前進行差分結(jié)果相加,使得每個通道的個體差異融入了整體差異中,再進行二值化時,特定通道的差異可能被消除,影響了檢測的精確性。
針對以上問題,本文提出了復(fù)雜背景下的改進的RGB 顏色分離的背景差分目標檢測方法,提高了顏色分離方法的有效性。
傳統(tǒng)的背景差分法是將彩色圖像轉(zhuǎn)化成灰度圖像,利用前景圖像與背景圖像做差來得到目標的方法,如(1)式。得到差分圖像后,為了消除噪聲,需要按照設(shè)定閾值進行圖像二值化,如(2)式。
式中:F(x,y)為前景圖像;B(x,y)為背景圖像;D(x,y)為差分圖像;I(x,y)為目標圖像;θ 為設(shè)定的閾值。
這種方法可以有效檢測出運動目標,但是在圖像差分之前進行灰度轉(zhuǎn)換,如(3)式,圖像中的顏色信息將大幅減少。從(3)式可以看出,不同的(R、G、B)顏色分量組合有可能轉(zhuǎn)換出相同的灰度值,如果再考慮閾值的存在,一旦遠動目標上的點本身與背景有顏色差異,轉(zhuǎn)換后的灰度值卻與背景相同或者在閾值允許的范圍內(nèi),就無法檢測出該點的差異,導(dǎo)致目標檢測準確性降低。
本文方法首先將當前幀和背景幀圖像進行RGB三通道分離,分離后的圖像分別進行背景差分,如(4)式,再分別對差分圖像進行閾值二值化,如(5)式。
式中:i=R,G,B;Fi(x,y)為前景圖F(x,y)分離出來的第i 通道的圖像;Bi(x,y)為背景圖B(x,y)分離出來的第i 通道的圖像;Di(x,y)為第i 通道的差分圖像;Ii(x,y)為各通道閾值化后的結(jié)果圖像;θi為各通道的設(shè)定閾值。
得到各通道結(jié)果圖像Ii(x,y),考慮所有通道的差異性,將3 個通道的結(jié)果圖像進行或運算,最終得到完整的目標圖像。
方法的主要流程如圖1 所示。
圖1 顏色分離背景差分法流程圖Fig.1 The flow chart of color separation background subtraction
假設(shè)每次做差分會引進系統(tǒng)噪聲ξ(x,y),且近似認定每個通道差分引入的噪聲相同。那么三通道每次差分都會引入一個相同噪聲ξ(x,y).傳統(tǒng)方法在差分之后直接進行三通道差分值的絕對值求和,如(7)式,會造成系統(tǒng)噪聲放大3 倍,必須提高閾值消除噪聲。
假設(shè)以下情況:給定閾值θ(θ >3ξ(x,y)),對于某一點(x,y),IR(x,y)=α,且θ >α >θR,IG(x,y)=0,IB(x,y)=0,但是同時這個點上噪聲很小或為0,即ξ(x,y)為0 或者很小可以忽略不計,那么按照(7)式,則D(x,y)=α,因為閾值為θ,所以I(x,y)=0,則這一點會被誤認為是噪聲而消除。而事實上,R 基色下已經(jīng)檢測出差異,按這種方法,不能把這個差異反映到最終結(jié)果中,最終結(jié)果也就不再完整。
為了更清楚的說明問題,用矩陣形式表示以上情況,如圖2 所示。
圖2 傳統(tǒng)方法效果示意圖Fig.2 The example of traditional method
如果使用本文方法,每個通道差分圖像先進行閾值二值化,之后再相或,如(4)式~(6)式所示,則閾值不會太大,每個通道的差異都會在結(jié)果圖像中顯示出來,如圖3 所示,就能夠更好地提取完整目標。
圖3 本文方法效果示意圖Fig.3 The example of proposed method
為了驗證本文方法,選取5 個不同場景,分別用本文方法和傳統(tǒng)方法進行目標檢測實驗,在沒有運動目標情況下,測試對噪聲的抑制能力。其中,本文方法中各通道閾值θi為45,傳統(tǒng)方法閾值θ 分別取45、60、80、120.實驗結(jié)果如表1 和表2 所示。
從表1 和表2 中可以看出,當傳統(tǒng)方法取較小閾值時,對噪聲沒有很好的抑制作用,相同閾值下,本文方法對噪聲的抑制作用更有效。當傳統(tǒng)方法的閾值很大時,對噪聲的抑制作用很明顯,對目標像素的抑制作用也將很大,造成檢測不完整。將傳統(tǒng)方法閾值調(diào)高到120,本文方法閾值不變,對兩種方法再進行測試,用檢測到的目標像素個數(shù)來評價運動目標檢測的效果。
表1 傳統(tǒng)方法不同閾值下的噪聲像素個數(shù)Tab.1 The number of noise pixels obtained by traditional method
表2 本文方法不同場景的噪聲像素平均個數(shù)Tab.2 The average number of noise pixels obtained by the proposed method
實驗結(jié)果如表3 和表4 所示。從實驗結(jié)果中看出,當閾值太高時,傳統(tǒng)方法的檢測結(jié)果與本文方法結(jié)果相比,減少了許多像素點,結(jié)果明顯不完整。
表3 傳統(tǒng)方法θ 為120 時不同場景檢測到的目標像素個數(shù)Tab.3 The number of object pixels obtained by traditional method for θ=120
表4 本文方法不同場景檢測到的目標像素個數(shù)Tab.4 The number of object pixels obtained by the proposed method
由表2 得出,本文方法對噪聲有一定的抑制作用,但是,在光照變化的情況下,各通道顏色敏感度不同導(dǎo)致的噪聲對實驗結(jié)果有很大的影響。
采用一種邊緣差分方法對結(jié)果進行修正,主要是采用邊緣檢測差分法對光照不敏感的特性,可以被用來修正之前得到的前景圖像,獲得噪聲更少的目標圖像。
提取當前幀和上一幀的邊緣圖像并做差分運算,得到運動目標邊緣的前景圖像。結(jié)果圖像的不完整性不能用來提取運動目標,但是能提供運動目標的大概輪廓和范圍。利用該特征對(6)式得到的結(jié)果進行修正,修正公式如(8)式。
式中:xmin、xmax、ymin、ymax為邊緣檢測差確定的矩形目標輪廓的角點坐標。本文選用canny 算子進行邊緣檢測差分計算。
背景更新一般是每隔N 幀圖像進行一次更新,或者使用高斯混合模型進行更新。高斯混合模型在判斷參數(shù)是否需要更新和如何更新時計算量大,降低了系統(tǒng)的實時性。普通相隔N 幀的背景更新,在剛更新完背景的N 幀之內(nèi)對光照和環(huán)境變化非常敏感。本文方法中,使用遞推法逐幀實時更新背景,為了適應(yīng)顏色分離差分法,對三通道各自獨立更新,遞推公式如(9)式。
前N 幀時,暫時使用幀差法來提取目標,同時計算前N 幀圖像的平均值用來做N 幀之后的背景。N 幀之后,對新的圖像幀,遞推計算出新的背景幀,同時該背景幀回歸作為計算下一幀背景的基準。即每幀圖像都會被按比例計入背景圖像中,更新之后成為下一幀的背景。
為了讓該遞推方法對光照突變有更好的適應(yīng)性,將(9)式中的系數(shù)做改進,如(10)式,其中α +β=1.
一般來說,α?β ,只有這樣,當前幀的目標才不會對背景的構(gòu)造有較大影響。當光照突變時,要盡快將光照的全局影響體現(xiàn)到背景中,需要提高β 的數(shù)值大小。按照光照變化程度的不同,設(shè)定3 個更新模式,根據(jù)光照對圖像的全局影響,自適應(yīng)選擇更新模式,表5 說明了各模式對應(yīng)的β 大小。
圖4 是按照這種方法構(gòu)造的RGB 三通道背景,其中β 取0.02.
這種方法優(yōu)點是能夠快速適應(yīng)環(huán)境和光照變化,對于目標停留能做出快速反應(yīng),不會長時間影響對其他運動目標的檢測。其缺點是,β 值不能過大,否則目標停留之后在前景中消失得太早,不利于后續(xù)目標識別和跟蹤。
表5 更新模式與β 值大小Tab.5 Update modes and β values
圖4 分通道逐幀更新構(gòu)造的RGB 三通道背景Fig.4 Backgrounds of each channel created using proposed updating method
對本文方法進行了一系列的仿真實驗。實驗中β 取0.02,各通道閾值θi取45,由攝像頭實時采集圖像,攝像頭像素為30 萬。
首先對幀間邊緣差分修正光照對三分量分離背景差分法的影響進行驗證,如圖5 所示。
把本文方法與傳統(tǒng)背景差分法進行比較,實驗結(jié)果如圖6 所示。
圖5 幀間邊緣差分修正光照影響Fig.5 Light influence modified by edge subtraction
圖6 本文方法與傳統(tǒng)背景差分法實驗結(jié)果對比Fig.6 Result contrast between background subtraction algorithm and proposed algorithm
該實驗中,設(shè)定普通背景差分法閾值θB為45,與θi數(shù)值相同。可以看出,本文方法所提取的目標比傳統(tǒng)背景差分法提取的目標更加完整,細節(jié)更加豐富。
為了說明本文方法對前文提到的三分量和方法的改進效果,做了對比實驗,其中θi取45,θ 分別取80、60、45.得到的實驗結(jié)果如圖7 ~圖9 所示。
圖7 當θ 取80 時本文方法與傳統(tǒng)方法的實驗結(jié)果Fig.7 Results obtained by proposed algorithm and traditional method for θ=80
實驗結(jié)果基本與分析的一樣,傳統(tǒng)方法差分值求和之后再進行閾值化,要求閾值必須足夠大,才能消除噪聲的干擾,閾值太小就不能完全消除噪聲,如圖9(c)所示。閾值大的時候雖然消除了噪聲,但是目標提取的就不完整,如圖7(c)所示。
本文提出了改進的基于RGB 顏色分離的背景差分方法,將彩色圖像分離成各自獨立的RGB 三通道圖像,將對應(yīng)的通道進行背景差分運算,得到各通道的前景圖像,為了完全保留各通道的差異,將3 個通道前景圖像的信息融合,得到完整前景圖像。利用邊緣檢測結(jié)果不受光照影響的特性,對前景圖像進行修正。從實驗結(jié)果來看,普通背景差分法使用灰度值處理,目標上一些顏色不同但灰度與背景相近的部分無法提取出來,但是本文方法可以較好解決這樣的失檢問題。同時,與傳統(tǒng)方法相比較,也擁有更高的檢測效率。
圖8 當θ 取60 時本文方法與傳統(tǒng)方法方法的實驗結(jié)果Fig.8 Result contrast between proposed algorithm and traditional method for θ=60
圖9 當θ 取45 時本文方法與傳統(tǒng)方法的實驗結(jié)果Fig.9 Result contrast between proposed algorithm and traditional method for θ=45
References)
[1]施家棟,王建中,王紅茹.基于光流的人體運動實時檢測方法[J].北京理工大學(xué)學(xué)報,2008,28(9):794 -797.SHI Jia-dong,WANG Jian-zong,WANG Hong-ru.Real-time human motion detection method based on optical flow[J].Transactions of Beijing Institute of Technology,2008,28(9):794 -797.(in Chinese)
[2]羅鐵鎮(zhèn).基于混合高斯模型的運動檢測及陰影消除算法研究[D].長沙:湖南大學(xué),2010.LUO Tie-zhen.The research of motion detection and shadow elimination algorithm based on Gaussian mixture model[D].Changsha:Hunan University,2010.(in Chinese)
[3]田洪寧.基于運動目標檢測跟蹤的智能監(jiān)控系統(tǒng)設(shè)計實現(xiàn)[D].北京:北京工業(yè)大學(xué),2011.TIAN Hong-ning.Intelligent monitoring system design based on detecting and tracking moving targets[D].Beijing:Beijing University of Technology,2011.(in Chinese)
[4]Zhang H Y,Yang F,Wu Y D,et al.Robust color circle-marker detection algorithm based on color information and Hough transformation[J].Optical Engineering,2009,48 (10):107202 -107202.
[5]Sooyeong K,Hyeran B.Detection of dominant flow and abnormal events in surveillance video[J].Optical Engineering,2011,50(2):27202 -27202.
[6]Peter R,Iztok K,Zdravko K.Progressive method for color selective edge detection[J].Optical Engineering,2007,46(3):37004-37004.
[7]Cheng E D,Massimo P.Disjoint track matching based on a major color spectrum histogram representation[J].Optical Engineering,2007,46(4):47201 - 47201.
[8]胡棟.人體異常行為識別算法研究與實現(xiàn)[D].成都:電子科技大學(xué),2010.HU Dong.The body's abnormal behavior identification algorithm research and implementation[D].Chengdu:University of Electronic Science and Technology of China,2010.(in Chinese)