張國家，左敦穩(wěn)，黎向鋒，史晨紅

(南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210016)

0 引言

手勢識別技術(shù)作為一種新型人機(jī)交互技術(shù)，已在軍事、智能交通等多個領(lǐng)域取得應(yīng)用。前景提取技術(shù)是手勢識別技術(shù)的基礎(chǔ)，前景分割的品質(zhì)直接影響手勢特征的提取和識別精度。目前，前景提取技術(shù)多采用背景建模的方法，其中以平均背景模型、高斯背景模型、CodeBook背景模型以及非參數(shù)化估計背景模型研究較多，并取得了一系列成果。王傳旭等[1]采用基于鄰域相關(guān)性和幀間連續(xù)性的運(yùn)動目標(biāo)分割算法。Ariel Amato等[2]提出一種以色彩和亮度為依據(jù)的分割算法。這兩種算法受噪聲的影響大，為此，Elgammal等人提出一種非參數(shù)核密度估計背景建模方法，前景提取效果好，但其單幀處理時間長，實(shí)時性較差[3]。為了提高實(shí)時性，Darrnn E Butler和Michael V提出一種在時域上對像素進(jìn)行聚類的方法[4]。Kedar A.Patwardhan等[5]使用最大概似法進(jìn)行背景或者前景判斷。相對于非參數(shù)密度函數(shù)估計，混合高斯背景模型(GMM)是一種典型的參數(shù)化模型，其對多類別和復(fù)雜背景下的前景提取具有比較好的效果。并已有眾多學(xué)者對其進(jìn)行了改進(jìn)，AGMM[6]，TLGMM[7]，STGMM[8]，SKMGM[9]，SEMGMM[10]， ADGMM[11]，旨在改善高斯混合模型的檢測效果，提高算法實(shí)時性，降低算法空間復(fù)雜程度。但其實(shí)時性和空間復(fù)雜度等仍然難以滿足廣泛的應(yīng)用要求?？梢?，高斯混合模型、核密度估計等基于數(shù)據(jù)聚類分析的算法具有優(yōu)越的檢測效果，但時間和內(nèi)存消耗大等問題極大地限制了其應(yīng)用。而基于簡單的單幀和幀間信息的背景模型，因?yàn)楸尘斑m應(yīng)能力和魯棒性差等問題同樣沒能得到廣泛應(yīng)用。本文針對復(fù)雜單模背景提出了一種運(yùn)用背景差分構(gòu)建輔助背景濾除噪聲，以色彩相似度為評價標(biāo)準(zhǔn)的前景有效提取算法。在保證檢測效果的同時，減小空間復(fù)雜度，提高算法的實(shí)時性。

1 算法的總體流程

該算法主要包括五個流程：1) 均值背景建模；2) 提取輔助背景；3) 用輔助背景對背景差分圖進(jìn)行空域?yàn)V波；4) 構(gòu)建像素色彩相似度評價標(biāo)準(zhǔn)并進(jìn)行前景區(qū)域檢測；5) 更新背景和輔助背景。算法流程如圖1所示。本文解決的關(guān)鍵技術(shù)包括基于輔助背景的圖像濾波技術(shù)和基于色彩相似度的前景檢測技術(shù)。

圖1 算法總體流程

2 算法的設(shè)計與實(shí)現(xiàn)

2.1 基于輔助背景的圖像濾波

背景建模完成后，首先用背景差法進(jìn)行背景減除，獲得背景差分圖像：

outt(x,y)=ft(x,y)-ubft(x,y)

(1)

背景差圖像outt(x,y)中包含前景目標(biāo)和大量的噪聲點(diǎn)，如果直接對差分圖像進(jìn)行前景目標(biāo)提取，將使前景區(qū)域出現(xiàn)大量的空洞和殘缺，所以，在前景區(qū)域檢測前必須對背景差分圖像進(jìn)行濾波，以減小環(huán)境噪聲的影響。ubf0(x,y)是在沒有前景目標(biāo)時訓(xùn)練的輔助背景，其描述了背景圖像中噪聲的分布。用ubf0(x,y)對outt(x,y)進(jìn)行空域?yàn)V波，去除大部分的環(huán)境噪聲，獲得不含環(huán)境噪聲的背景差分圖像out_st(x,y)，再對out_st(x,y)進(jìn)行前景目標(biāo)提取可以抑制前景區(qū)域中的空洞和殘缺現(xiàn)象的產(chǎn)生。

2.2 基于相似度理論的前景提取技術(shù)

在RGB色彩模型中，將每個像素值理解為一個三維向量，本文以像素向量之間的相似程度作為判斷像素隸屬前景或背景區(qū)域的標(biāo)準(zhǔn)。在向量相似度中，常用兩個向量夾角的余弦值來衡量兩者的相似程度，但對于像素色彩相似度，該方法常出現(xiàn)誤檢測。誤檢測包含兩種，1) 將前景區(qū)域誤判為背景，這常是由于噪聲引起的；2) 將背景區(qū)域誤判為前景，這不僅是由于噪聲的影響還有陰影的影響。如圖2所示，向量A和B的夾角θ值比較小，可以將二者歸為一類，但由于光照的影響，將使A出現(xiàn)偏離，θ角變大而出現(xiàn)誤檢測。有學(xué)者采用亮度歸一化的方法進(jìn)行光照抑制，但光照對R,G,B值的影響并不是成比例變化的，亮度不僅改變了向量的模值，也改變了向量之間的夾角。因?yàn)榱炼茸兓瘯r，雖然色彩的色調(diào)沒有變化，但飽和度出現(xiàn)了變化，視覺上會出現(xiàn)色彩偏差，也即R,G,B值的比例發(fā)生了改變。經(jīng)過對像素色彩信息的研究，本文提出如下的色彩相似度理論。設(shè)F(x,y)和B(x,y)分別表示像素位置(x,y)處的當(dāng)前像素值和背景像素值，則：

(2)

圖2 像素向量空間關(guān)系

表示(x,y)位置處背景和前景的色彩相似度，其中d為數(shù)據(jù)維數(shù)，在RGB色彩模型中d=3。fi，bi為像素的各維度值，ni=|fi+bi|/2用于抑制數(shù)據(jù)基數(shù)對相似度的影響，即亮度變化對相似度的影響。由式(2)可知，只有在像素向量的各維度值都很接近時，其相似度值才會很大，有一者出現(xiàn)偏差都將導(dǎo)致相似度大幅度偏離。其從本質(zhì)上描述了兩種色彩的色調(diào)關(guān)系，對光照和陰影的影響具有很強(qiáng)的魯棒性。

利用式(2)對空域?yàn)V波后的背景差分圖像out_st(x,y)進(jìn)行前景檢測，按下式進(jìn)行

(3)

式中TH為分割閾值，當(dāng)相似度小于TH時，判斷該像素與背景不相似，把該像素判為前景，標(biāo)記為1，否則判為背景。試驗(yàn)表明，TH取值在0.5～0.7范圍比較合適。前景提取后獲得t時刻的前景區(qū)域，因?yàn)榍熬皺z測前已使用輔助背景對環(huán)境噪聲進(jìn)行濾除，且本文的像素相似度評價標(biāo)準(zhǔn)對陰影和光照變化具有較強(qiáng)的抑制能力，因此，所獲得的前景區(qū)域內(nèi)部空洞比較少，無陰影現(xiàn)象。對前景檢測后的圖像進(jìn)行適當(dāng)?shù)男螒B(tài)學(xué)開閉操作，輸出完整的前景目標(biāo)區(qū)域output_st(x,y)。

2.3 背景與輔助背景更新

前景檢測完后需要對背景模型和輔助背景進(jìn)行更新，以適應(yīng)背景變化。對所有像素，令ubft(x,y)更新后為ubft+1(x,y)，并按下式進(jìn)行更新：

ubft+1(x,y)=(1-α)ubft(x,y)+αft(x,y)

(4)

其中α為背景學(xué)習(xí)率(0～1)，α的選取要根據(jù)背景狀態(tài)的變化情況進(jìn)行，背景變化快時，α取值較大，背景變化慢時，α取值較小。一般取α=0.002 ，較大的α將使前景目標(biāo)融入背景。另外，為了避免將先運(yùn)動后禁止的前景目標(biāo)誤檢為背景，對前景目標(biāo)區(qū)域不進(jìn)行更新，只對判斷為背景的區(qū)域進(jìn)行更新。試驗(yàn)表明，該更新方法能有效改善靜止目標(biāo)被融入背景的現(xiàn)象。

輔助背景的更新需要不包含前景目標(biāo)區(qū)域的背景差分圖，在輔助背景更新前先用output_st(x,y)濾除背景差分圖像outt(x,y)中的前景區(qū)域，獲得只包含環(huán)境噪聲的背景差分圖像Poutt(x,y)。

poutt(x,y)=outt(x,y)-outputt(x,y)

(5)

輔助背景更新的方式與背景模型更新方式相似，按下式進(jìn)行：

abft+1(x,y)=(1-β)abft(x,y)+βpoutt(x,y)

(6)

其中abft+1(x,y)為更新后的輔助背景，β與α的意義相同，也為背景學(xué)習(xí)率(0～1)，但β的取值應(yīng)比α大，一般取β=0.1。

3 實(shí)驗(yàn)結(jié)果與分析

為了測試本文算法的有效性，對大量的標(biāo)準(zhǔn)視頻和實(shí)際視頻進(jìn)行了測試，并與高斯混合模型和CodBook算法進(jìn)行了比較。測試環(huán)境是一臺2.3GHz，2G內(nèi)存的PC，在VC6.0下實(shí)現(xiàn)。圖3為對IBM人類視覺研究中心監(jiān)視系統(tǒng)性能評價提供的視頻PetsD1TeC1的測試結(jié)果，分別是第530幀和940幀時的效果。由圖3可以看出，與混合高斯模型算法相比，本文算法對前景目標(biāo)具有比較完整的檢測效果，而且當(dāng)前景目標(biāo)靜止時，不會因?yàn)楸尘案露徽`認(rèn)為是背景。在第940幀原圖中紅圈標(biāo)出的是第530幀中運(yùn)動的汽車靜止在停車場的情形；GMM算法把靜止的前景目標(biāo)誤認(rèn)為是背景，產(chǎn)生誤檢測；而本文算法則有效地解決了這個問題。與CodeBook算法相比，本文算法具有較強(qiáng)的抗干擾能力。針對視頻PetsD1TeC1，其單幀大小為384×288，經(jīng)測試本文算法的平均單幀處理時間為42ms，內(nèi)存消耗為21.6MB，可見本文算法具有良好的實(shí)時性和優(yōu)越的空間復(fù)雜度。圖4為對IBM人類視覺研究中心監(jiān)視系統(tǒng)性能評價提供的視頻IndoorGTTest1的測試結(jié)果，由第515幀和第778幀均可以看出本文算法對前景目標(biāo)具有比較完整的檢測結(jié)果。第778幀中紅圈標(biāo)出的是前景目標(biāo)的陰影區(qū)域；可以看出，本文算法和GMM算法對陰影均具有比較好的抑制作用，而CodeBook算法則出現(xiàn)了明顯的陰影。

圖3 室外場景測試對比圖

圖4 室內(nèi)場景測試對比圖

4 結(jié)論

本文提出了一種基于RGB色彩相似度的前景有效提取算法。該算法主要解決了兩個問題：1) 提出了一種基于輔助背景的圖像濾波技術(shù)，解決了復(fù)雜單模背景下的圖像濾波問題；2) 構(gòu)建像素色彩相似度作為前景區(qū)域檢測標(biāo)準(zhǔn)，該相似度理論對光照變化和陰影具有較強(qiáng)的抑制作用，為前景分割技術(shù)提供了新的思路。由于該算法中的背景模型簡單，且只對疑似前景區(qū)域進(jìn)行多次操作，從而降低了算法的內(nèi)存消耗和計算時間，檢測效率有較大提高。多場景試驗(yàn)表明，該算法對復(fù)雜單模背景保持了較好的前景檢測效果和檢測效率，在手勢識別和視頻監(jiān)控等領(lǐng)域中具有廣闊的應(yīng)用前景。

[1] 王傳旭，張祥光，原春鋒,等.基于鄰域相關(guān)性和幀間連續(xù)性的前景目標(biāo)分割[J].數(shù)據(jù)采集與處理，2007，22(3)：288-291.

[2] Ariel Amato，Mikhail Mozerov， Iván Huerta.et al.Background subtraction technique based on chromaticity and intensity patterns[C].Tampa, Florida, USA：IEEE Conference Publications,2008.

[3] Elgammal A，Dura swami R，Harwood D，et a1.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance[J].Proceedings of IEEE，2002.90(7)：1151-1163.

[4] Darrnn E Butler，Michael V.Real-time adaptive foreground background segmentation[J].Real-Time Imaging，2005，6(11)：172-185.

[5] Kedar A.Patwardhan，Guillermo Sapiro，Vassilios Morellas.Robust Foreground Detection In Video Layers[C].IEEE Computer Society：Los Alamitos USA，2008.

[6] Zivkovic Z.Vail der Heijden F.Efficient adaptive density estimation per image pixel for the task of background subtraction[J].Pattern Recognition Letters，2006，27(7)：773-780.

[7] Yang H, Tan Y, Tian J, Liu J.Accurate dynamic scene model for moving object detection[A], In Proc.Int Conf on Image Processing (ICIP)[C], San Antonio, TX, 2007, 6: 157 -160.

[8] Zhang W, Fang X, Yang X, Wu Q.Spatiotemporal Gaussian mixture model to detect moving objects in dynamic scenes[J], Electronic.Imaging, 2007; 16(2):023013.

[9] Tang P, Gao L, Liu Z.Salient moving object detection using stochastic approach filtering[A].Fourth Int Conf on Image and Graphics (ICIG)[C], Sichuan, China, 2007; 530-535.

[10] B.A.S.Hasan, and Q.J.Gan, Sequential EM for unsupervised adaptive Gaussian mixture model based classifier[A], In Proc.6th Int.Conf.Machine Learning and Data Mining in Pattern Recognition[C], Leipzig, Germany, 2009: 96-106.

[11] 齊玉娟，王延江，索鵬.一種基于混合高斯的雙空間自適應(yīng)背景建模方法[J].中國石油大學(xué)學(xué)報(自然科學(xué)版)，2012, 36(05)：175-183.