唐佳林,王鎮(zhèn)波,陳華春
(1.北京理工大學(xué)珠海學(xué)院信息學(xué)院,廣東珠海519085;
2.中山大學(xué)智能交通研究中心,廣東廣州 510006)
視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要研究課題,尤其是近年來(lái),智能交通領(lǐng)域的相關(guān)研究成為熱點(diǎn)。在視頻交通流所采集到的圖像序列中,把感興趣的部分如運(yùn)動(dòng)車輛、行人等,稱之為前景,其它的則稱為背景。如果能準(zhǔn)確提取到背景圖像,然后通過(guò)圖像相減,就能得到前景圖像即運(yùn)動(dòng)目標(biāo)。但在實(shí)際中要想提取一幅完全“純凈”的背景圖像是很困難的,而且由于光線、天氣等外界因素的影響,背景也會(huì)隨之變化。
目前國(guó)內(nèi)外研究的自適應(yīng)背景提取算法主要分為兩類:非模型法和模型法[1]。前者是按照一定的假設(shè)規(guī)則,從過(guò)去的一組觀測(cè)圖像中選擇像素灰度構(gòu)成當(dāng)前的背景圖像,其中關(guān)鍵在于規(guī)則的設(shè)定。后者是對(duì)圖像的每一個(gè)像素點(diǎn)分別建立對(duì)應(yīng)的背景模型,以提取背景圖像,并采用自適應(yīng)方法對(duì)模型參數(shù)進(jìn)行調(diào)整以實(shí)時(shí)更新背景圖像[2-3]。與非模型法相比,模型法更能準(zhǔn)確地提取背景,且對(duì)環(huán)境變化適應(yīng)性強(qiáng)。但是由于需要對(duì)每一個(gè)像素點(diǎn)進(jìn)行建模,計(jì)算復(fù)雜度較高,在實(shí)時(shí)性要求較高的交流檢測(cè)中的應(yīng)用受到限制。
本文對(duì)幾種常用的非模型法提取背景進(jìn)行分析和比較。其中包括:多幀平均法、直方圖統(tǒng)計(jì)法、中值濾波法和背景學(xué)習(xí)法等,并在實(shí)時(shí)交通場(chǎng)景下對(duì)它們進(jìn)行測(cè)試。
多幀平均算法的原理是將車輛看作噪聲,用累加平均的方法消除噪聲,從而可以利用車輛運(yùn)行一段時(shí)間的序列圖像進(jìn)行平均得到道路的背景圖像。用公式表示為:
式中Backgroud表示背景圖像,N表示平均幀數(shù),imagei表示第i幀序列圖像。(x,y)為當(dāng)前正在處理的像素點(diǎn),通過(guò)改變x和y的值,即可獲得整幅背景圖像。
多幀平均算法假定,在一段時(shí)間內(nèi),背景出現(xiàn)的頻率較高,比重遠(yuǎn)大于車輛前景的出現(xiàn)。隨著平均幀數(shù)的增加對(duì)于背景的可靠度有著較大的保證,即平均的幀數(shù)多則越接近期望的背景效果。同時(shí)也出現(xiàn)了在車流量較大的情況下使用該算法會(huì)將車輛的信息誤認(rèn)為是背景,因此用簡(jiǎn)單的多幀平均算法顯然不能夠滿足復(fù)雜環(huán)境的需要。
直方圖分析方法是通過(guò)存儲(chǔ)視頻中每一像素位置在序列的時(shí)間軸方向上的直方圖信息(即在某一時(shí)間段內(nèi)統(tǒng)計(jì)該像素位置處每一種可能的像素值所出現(xiàn)的次數(shù)),取該像素位置的直方圖峰值所對(duì)應(yīng)的像素值作為背景像素值[4]。
直方圖統(tǒng)計(jì)用公式表示為:
公式(2)是統(tǒng)計(jì)像素點(diǎn)(x,y)的直方圖函數(shù),其中:P(x,y,k)表示像素點(diǎn)(x,y)處亮度值為k出現(xiàn)的次數(shù),imagei(x,y)表示第i幀圖像像素點(diǎn)(x,y)處灰度值,N表示參與統(tǒng)計(jì)的總視頻幀數(shù),N取得越多,獲取的視頻背景圖像越精確。式(3)表示該像素點(diǎn)在時(shí)間序列上灰度值出現(xiàn)頻率最大時(shí)為該像素點(diǎn)的背景灰度值。
直方圖分析方法假定,背景出現(xiàn)的頻率最高,車輛前景重復(fù)出現(xiàn)頻率遠(yuǎn)低于背景的出現(xiàn)。滿足這一條件時(shí),此方法可得到極理想的背景。當(dāng)出現(xiàn)臨時(shí)停車等現(xiàn)象時(shí),這一方法將不適用,同時(shí),此方法需要對(duì)在每一圖像點(diǎn)建立大矩陣以存儲(chǔ)多種亮度值的出現(xiàn)次數(shù),既消耗運(yùn)行時(shí)間又浪費(fèi)內(nèi)存空間,難以滿足實(shí)時(shí)的背景更新需求。
統(tǒng)計(jì)中值法是一種基于排序理論的,能有效抑制噪聲的非線性信號(hào)處理技術(shù)。它主要用于對(duì)實(shí)值離散信號(hào)的濾波,可以在最小絕對(duì)誤差條件下,給出信號(hào)的最佳估計(jì)。統(tǒng)計(jì)中值法的優(yōu)點(diǎn)是它可以克服線性濾波器如均值濾波給圖像帶來(lái)的模糊影響,做到在有效地清除脈沖噪聲的同時(shí),保持良好的邊緣特性,從而獲得較滿意的復(fù)原效果。
空間域的中值濾波基本思想是把數(shù)字圖像或數(shù)字序列中一個(gè)像素點(diǎn)的值,用其鄰域中各像素點(diǎn)值的中值替代。其定義為:對(duì)一維序列X1,X2,…,Xn,把n個(gè)數(shù)據(jù)按大小排列為:Xi1,Xi2,…,Xin,則:
在處理視頻圖像提取靜止背景的實(shí)際應(yīng)用中,需要操作的是時(shí)間域的中值濾波,鄰域一般取長(zhǎng)度L=2n+l的子圖,n為正整數(shù)。將子圖在數(shù)據(jù)上滑動(dòng),中值濾波輸出的為子圖內(nèi)各像素的中值所替換的子圖中心像素,即:
式(5)中,背景圖像像素點(diǎn)(x,y)的灰度值為Background(x,y),視頻序列中第i幀圖像在像素點(diǎn)(x,y)處的灰度值為Xi(x,y)。
統(tǒng)計(jì)中值法假定,在一段時(shí)間內(nèi),背景的出現(xiàn)概率超過(guò)50%,滿足這一條件時(shí)可獲得完整的背景。這一方法需要存儲(chǔ)一定量的圖像幀,并且需要進(jìn)行排序操作,耗時(shí)較長(zhǎng)。
背景學(xué)習(xí)法的思想是首先找到圖像的運(yùn)動(dòng)目標(biāo)區(qū)域和非運(yùn)動(dòng)目標(biāo)區(qū)域,然后對(duì)兩種區(qū)域做不同的處理[5]。非運(yùn)動(dòng)目標(biāo)區(qū)域的背景利用公式進(jìn)行迭代更新,而運(yùn)動(dòng)目標(biāo)區(qū)域的背景則保持不變。該算法具體步驟如下:
Step1初始化背景圖像Bi=I0;
Step2利用幀間差分圖像找出運(yùn)動(dòng)目標(biāo)區(qū)域和非運(yùn)動(dòng)目標(biāo)區(qū)域:
Step3對(duì)兩種不同區(qū)域做相應(yīng)的處理:
當(dāng)差分二值化圖像Di(x,y)=1時(shí)背景Bi(x,y)保持不變,而當(dāng)Di(x,y)=0時(shí),利用公式(1-α)Bi(x,y)+αIi(x,y)更新背景,其中α為更新系數(shù)。
Step4迭代更新,重復(fù)Step2和Step3,直到滿足停止迭代條件。最后得出的Bi就是算法更新得出的背景圖像。
背景更新的速度快慢取決于系數(shù)α。α取值過(guò)大時(shí),該算法更新背景速度快,同時(shí)能適應(yīng)快速變化的復(fù)雜環(huán)境,但是也會(huì)引入更多的噪聲。α取值過(guò)小時(shí),背景更新的速度下降,相對(duì)穩(wěn)定,但背景圖像不能及時(shí)反映場(chǎng)景瞬時(shí)變化。
圖1所示是從視頻中截取的一張實(shí)時(shí)圖片,該視頻采集于廣州市新港西路,該場(chǎng)景下車流量相對(duì)較大。
圖1 原復(fù)雜場(chǎng)景視頻截圖
圖2中(a)圖是采用多幀平均法進(jìn)行背景提取,(b)圖采用統(tǒng)計(jì)直方圖法進(jìn)行圖像背景提取,(c)圖是利用統(tǒng)計(jì)中值法進(jìn)行圖像背景提取,(d)圖是采用背景學(xué)習(xí)法進(jìn)行圖像背景提取。圖中,由于停在巴士站的公交車停留時(shí)間較長(zhǎng),在進(jìn)行背景提取的時(shí)間段內(nèi)沒(méi)有運(yùn)動(dòng),所以被誤認(rèn)為是靜止的背景。前三幅背景提取結(jié)果圖,效果基本差不多;但是在遠(yuǎn)處,也就是運(yùn)動(dòng)車輛密度較大的路面上,中值濾波法提取的路面較清晰,而多幀平均法和直方圖統(tǒng)計(jì)法都存在一定程度的模糊。(d)圖中,由于選取的參數(shù)α較大,背景更新的速度較快,運(yùn)動(dòng)車輛會(huì)留下一定的痕跡,而且隨著α取值越大,這種誤差也越大。
圖2 背景提取后效果圖
從處理速度來(lái)看,背景學(xué)習(xí)法由于只需要處理當(dāng)前幀圖像和原背景幀圖像,算法復(fù)雜度低,處理速度非???在背景提取和學(xué)習(xí)的過(guò)程中,背景提取的結(jié)果可以實(shí)時(shí)地應(yīng)用到后續(xù)運(yùn)動(dòng)目標(biāo)檢測(cè)中。多幀平均法和直方圖統(tǒng)計(jì)法,都需要對(duì)時(shí)間序列的多幀圖像進(jìn)行加法和比較操作,算法復(fù)雜度和處理速度適中。而中值濾波法需要對(duì)時(shí)間序列上的每一幀圖像進(jìn)行排序操作,算法較復(fù)雜,處理速度也較慢;而且隨著所選時(shí)間序列圖片的增加,運(yùn)算復(fù)雜度直線上升。
針對(duì)視頻交通流檢測(cè)實(shí)時(shí)性要求較高的特點(diǎn),本文總結(jié)了幾種常用的非模型背景提取方法,并對(duì)它們做了分析和測(cè)試。從提取效果來(lái)看,中值濾波法最佳,灰度直方圖和多幀平均法次之,背景學(xué)習(xí)法較差;只要調(diào)整好學(xué)習(xí)強(qiáng)度參數(shù),也能取得不錯(cuò)的效果。背景學(xué)習(xí)法的處理速度最快,而且在背景學(xué)習(xí)的過(guò)程中,也能作為背景圖像進(jìn)行后續(xù)的運(yùn)動(dòng)目標(biāo)檢測(cè);這使該方法實(shí)時(shí)更新背景變得更容易,得到的背景能隨著環(huán)境的變化而變化,應(yīng)用也較廣泛。
[1]楊珺,史忠科.基于改進(jìn)單高斯模型法的交通背景提?。跩].光子學(xué)報(bào),2009,38(5):1293-1296.
[2]Zoran ZIVKOVIC,F(xiàn)erdinand VAN DER HEIJDEN.Recursive Unsupervised Learning of Finite Mixture Models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(5):651-656.
[3]侯志強(qiáng),韓崇昭.基于像素灰度歸類的背景重構(gòu)算法[J].軟件學(xué)報(bào),2005,16(9):1568-1576.
[4]Long W,Yang Y.Stationary Background Generation:Analternative to the Difference of Two Images[J].Pattern Recognition,1990,23(12):1351-1359.
[5]肖梅,韓崇昭.一種視頻序列的背景提取算法[J].光電工程,2005,32(4):78-81.