謝維波， 劉文， 夏遠(yuǎn)祥， 李雪芬

(1. 華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 福建 廈門 361021;2. 華僑大學(xué) 科學(xué)技術(shù)研究處， 福建 廈門 361021)

雙背景模型的快速魯棒前景檢測(cè)算法

謝維波1， 劉文1， 夏遠(yuǎn)祥1， 李雪芬2

(1. 華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 福建 廈門 361021;2. 華僑大學(xué) 科學(xué)技術(shù)研究處， 福建 廈門 361021)

針對(duì)前景檢測(cè)中的光照變化問(wèn)題，提出一種基于雙背景模型的快速魯棒前景檢測(cè)算法.通過(guò)建立簡(jiǎn)單的快慢雙背景模型，提高前景檢測(cè)的效率.結(jié)合視頻時(shí)間感知信息和光照補(bǔ)償措施，增強(qiáng)算法對(duì)光照變化的魯棒性，提高前景檢測(cè)精度.在具有光照變化的公開(kāi)數(shù)據(jù)集上進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明:所提出的算法不僅對(duì)光照變化有較強(qiáng)的魯棒性，同時(shí),具有極快的處理速度. 關(guān)鍵詞： 光照魯棒； 前景檢測(cè)； 雙背景模型； 視頻信息； 時(shí)間感知信息

前景檢測(cè)是計(jì)算機(jī)視覺(jué)中一個(gè)重要分支，其性能高度依賴于有效背景模型的建立；而背景模型受多種因素的影響，包括光照、時(shí)間、遮擋、抖動(dòng)和突然靜止的前景等因素[1].為了解決這些問(wèn)題，研究者們近年來(lái)提出了大量的背景建模方法[2].文獻(xiàn)[3-6]提出的混合高斯模型(GMM)、核密度估計(jì)模型、碼本模型和VIBE等經(jīng)典背景模型，雖然大都能夠應(yīng)對(duì)緩慢的光照變化，但是無(wú)法處理如開(kāi)關(guān)燈、百葉窗的打開(kāi)和關(guān)閉等帶來(lái)的光照突變問(wèn)題.文獻(xiàn)[7-8]提出的ESI模型和MB2S模型雖然可以在一定程度上處理光照突變的影響，但是復(fù)雜度太高，需要較大的硬件資源才能達(dá)到實(shí)時(shí)應(yīng)用的可能.背景模型涵蓋了視頻序列中很長(zhǎng)一段時(shí)間的狀態(tài)，通過(guò)一定的更新率去適應(yīng)一個(gè)新的環(huán)境.快慢雙背景模型是利用更新率的一快一慢兩種模型建立穩(wěn)定背景的方法[9]，既可以利用慢速背景模型應(yīng)付臨時(shí)的變化和噪音，又可以利用快速背景模型快速發(fā)現(xiàn)最新變化.文獻(xiàn)[10-11]證實(shí)了雙背景模型可以有效提高前景目標(biāo)的檢測(cè)精度.為了解決光照突變的影響達(dá)到實(shí)時(shí)應(yīng)用的要求，本文建立一種簡(jiǎn)單的快慢雙背景模型，并使用一定的光照補(bǔ)償措施，提出一種新的前景檢測(cè)算法.

1 基于雙背景模型的前景檢測(cè)算法

1.1 雙背景模型的建立

(1)

快速背景模型采用相同的更新策略，但是控制更新率αf=kαs，其中，k為常數(shù)，取經(jīng)驗(yàn)值10.背景模型的更新率由當(dāng)前幀的視頻時(shí)間感知信息決定.

(2)

1.2 視頻時(shí)間感知信息

時(shí)間感知信息(timeperceptioninformation,TI)表征視頻序列在時(shí)域上的復(fù)雜度，是表示視頻片段時(shí)間變化次數(shù)的測(cè)量法[12].它通常高于高速運(yùn)動(dòng)的片段,視頻序列變化越劇烈,TI值越高.視頻序列中某一幀的TI值表達(dá)式為

(3)

式(3)中:Ft(x，y)表示時(shí)間上第t幀中第x行第y列的像素；STDspace表示兩幀在空間上的標(biāo)準(zhǔn)差.

由于TI值能夠很好地描述視頻信息的變化，而背景的更新率也只有和視頻信息的變化一致趨勢(shì)時(shí)才能更好地描述背景.因此，取慢速背景模型的更新率αs由式(4)決定，即

(4)

式(4)中:TImax表示TI可能出現(xiàn)的最大值，由TI的定義式可知，對(duì)于8bit像素的圖像，TImax為255.

1.3 光照補(bǔ)償模型

光照突變將導(dǎo)致前景檢測(cè)算法不同程度地把背景誤測(cè)為前景或者前景誤判為背景.因此，針對(duì)光照突變，需要一個(gè)合適光照補(bǔ)償模型對(duì)背景進(jìn)行補(bǔ)償，從而讓背景盡快適應(yīng)當(dāng)前的光照條件，減少誤檢.假設(shè)只考慮視頻場(chǎng)景中光照突變的影響，不考慮相機(jī)抖動(dòng)、偽裝、圖像丟失等情況，為了應(yīng)對(duì)光照變化帶來(lái)的影響，需要采用不同的背景模型更新策略.

1.3.1 光照突變的判定 快速前景可以最快反映當(dāng)前幀中出現(xiàn)的變化，即通過(guò)快速前景中前景點(diǎn)與背景點(diǎn)的比例r判定是否發(fā)生光照突變.當(dāng)r>Tr時(shí)，可以認(rèn)定發(fā)生光照突變，Tr為光照突變的閾值，建議取Tr≥0.3.

當(dāng)前幀與快速背景的平均亮度差定義為

當(dāng)前幀與慢速背景的平均亮度差定義為

1.3.3 光照補(bǔ)償策略 1) 當(dāng)|It(i)-BGt-1(i)|

圖1 補(bǔ)償系數(shù)δ的變化曲線示例Fig.1 Example of change curve about compensation factor δ

(5)

2) 當(dāng)|It(i)-BGt-1(i)|>SAIC時(shí)，可以認(rèn)定為發(fā)生了較大的光照突變，此時(shí),需要對(duì)該像素進(jìn)行較大值的補(bǔ)償.可以采用下式的補(bǔ)償方案，即

(6)

式(6)中:DTIt表示為

(7)

式(7)中:maxt表示在發(fā)生光照突變時(shí)間序列上的最大值函數(shù);ξ為常系數(shù)，取經(jīng)驗(yàn)值0.4.

1.4 穩(wěn)定前景提取

經(jīng)過(guò)上述算法流程之后，穩(wěn)定的前景圖像就可以經(jīng)過(guò)下式運(yùn)算，獲得通過(guò)快速前景圖像和慢速前景圖像.即

(8)

整個(gè)過(guò)程當(dāng)中，用戶可以不設(shè)定任何參數(shù)，全部采用提供的經(jīng)驗(yàn)值即可，也可對(duì)極少數(shù)參數(shù)進(jìn)行自定義設(shè)置，如前景閾值Ts和光照突變閾值Tr.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 評(píng)價(jià)指標(biāo)

前景檢測(cè)算法的評(píng)價(jià)指標(biāo)多樣化，常用的指標(biāo)有精確度(RP)、查全率(R)、F1評(píng)價(jià)值(F1)和幀率(SFP).SFP為算法每秒能夠處理的幀數(shù)，用于評(píng)價(jià)算法的處理速度和復(fù)雜度,其他指標(biāo)分別定義為

(9)

式(9)中:TP表示檢測(cè)正確的前景點(diǎn)數(shù)；FP表示背景被誤檢為前景的點(diǎn)數(shù)；FN表示前景被誤檢成背景的像素點(diǎn)數(shù)；F1綜合了精確度和查全率兩種指標(biāo)，具有較為全面的評(píng)價(jià)[13].

2.2 數(shù)據(jù)集與對(duì)比算法

為證明算法的有效性，將文中提出的算法分別在公開(kāi)的標(biāo)準(zhǔn)前景檢測(cè)數(shù)據(jù)集Wallflower和實(shí)際的監(jiān)控視頻數(shù)據(jù)上進(jìn)行測(cè)試，并選取當(dāng)前應(yīng)用較為廣泛和效果較好的混合高斯模型(GMM)[3]，通用視頻背景提取算法(VIBE)[6]、多層背景模型(MLBGS)[14]、自適應(yīng)自組織網(wǎng)絡(luò)(LBASOM)[15]進(jìn)行對(duì)比.文中算法是基于VS2013+Opencv2.4.10實(shí)現(xiàn)的，對(duì)比算法采用文獻(xiàn)[2]中提供的算法庫(kù)或原文作者提供的算法庫(kù)實(shí)現(xiàn).硬件配置為Intel i5-4590處理器，主頻3.3 GHz，8 GB內(nèi)存.

2.3 5種前景檢測(cè)算法的對(duì)比分析

文中算法與其他4種算法在標(biāo)準(zhǔn)數(shù)據(jù)集Wallflower(分辨率為160 px×120 px)上的前景檢測(cè)結(jié)果，如表1所示.表1中的視頻序列可以分為4類：Bootstrap代表前景駐留的場(chǎng)景；Camouflag，F(xiàn)oregroundAperture代表存在偽裝情況的視頻場(chǎng)景；LightSwitch和TimeOfDay代表存在光照突變的場(chǎng)景，其中,LightSwitch是燈光突然打開(kāi)的場(chǎng)景;TimeOfDay是一天中光照均勻變化；WavingTrees代表存在抖動(dòng)背景的場(chǎng)景.

由表1可知：文中提出的算法在所有的視頻序列上都有較好的表現(xiàn)，特別是在發(fā)生較大光照突變的LightSwitch序列上，其余方法模型基本失效，而文中方法仍能較好地還原前景.在TimeOfDay序列上，GMM和VIBE模型存在空洞較為嚴(yán)重的情況，而LBASOM則將背景中的光源檢測(cè)為前景，文中算法僅次于MLBGS模型，在引入少量前景的情況下，較好地還原了前景.從這兩個(gè)視頻序列可以看出文中算法對(duì)光照突變有一定的抑制能力.從WavingTrees序列可以看出，文中算法只將極少的抖動(dòng)背景檢測(cè)成前景，說(shuō)明文中算法有一定處理背景抖動(dòng)的能力；不過(guò)，從Camouflag序列上看到文中算法還存在一定的不足，不能很好地處理偽裝，導(dǎo)致前景檢測(cè)的空洞.

表1 不同算法在標(biāo)準(zhǔn)數(shù)據(jù)集Wallflower上的前景檢測(cè)結(jié)果Tab.1 Foreground detection results of different algorithms on Wallflower dataset

為了更好地量化文中算法的檢測(cè)性能，分別給出5種算法在Wallflower數(shù)據(jù)集上的精確度RP、查全率(R)和F1評(píng)價(jià)值的對(duì)比結(jié)果，如表2所示.由于該數(shù)據(jù)集的分辨率較低，處理速度SFP對(duì)算法實(shí)際應(yīng)用不具有參考價(jià)值，所以表2未給出5種算法在該數(shù)據(jù)集上的SFP值.此外，5種算法在真實(shí)視頻數(shù)據(jù)的效果圖和用SFP表示的處理速度結(jié)果，如表3所示.表2，3中：針對(duì)各項(xiàng)指標(biāo)，獲得最大值的用粗體表示，次大值用斜體表示.

由表2,3可知：MLBGS算法在所有算法中綜合各項(xiàng)指標(biāo)取得最好的結(jié)果.文中算法在性能指標(biāo)不占很大優(yōu)勢(shì)，但是可以看到算法在所有序列上都有較高的精度值，說(shuō)明算法誤檢率較低.

結(jié)合表3的數(shù)據(jù)可知：MLBGS算法和LBASOM算法的復(fù)雜度都較高，特別是MLBGS算法無(wú)法達(dá)到實(shí)時(shí)應(yīng)用的條件；文中所提出的算法在分辨率為352 px×288 px的視頻上處理速度(SFP)達(dá)到510.558，僅次于VIBE算法的590.303，這樣的處理速度足夠應(yīng)對(duì)實(shí)時(shí)應(yīng)用.

相對(duì)VIBE算法，文中算法在多個(gè)視頻序列上取得更高的精度值.在LightSwitch序列上，結(jié)合表1的檢測(cè)效果和表2的各項(xiàng)指標(biāo)，文中算法都取得較優(yōu)的表現(xiàn)，可以說(shuō)明文中算法可以有效地處理光照突變場(chǎng)景.綜合所有情況考慮，所提出的算法不僅可以實(shí)現(xiàn)快速處理，同時(shí)還能夠針對(duì)各種情況特別是在光照突變情況下達(dá)到魯棒的效果，具有一定的優(yōu)勢(shì).

表2 不同算法在標(biāo)準(zhǔn)數(shù)據(jù)集Wallflower上的檢測(cè)性能評(píng)價(jià)值Tab.2 Evaluation performance of different algorithms on Wallflower dataset

表3 不同算法的真實(shí)監(jiān)控視頻測(cè)試結(jié)果Tab.3 Test results of different algorithms on real surveillance videos

3 結(jié)束語(yǔ)

基于雙背景模型的思想，采用簡(jiǎn)單的雙背景模型建立方法，結(jié)合視頻時(shí)間感知信息(TI)對(duì)視頻變化有較好描述的特點(diǎn)，實(shí)現(xiàn)了背景更新率自動(dòng)更新的特點(diǎn).通過(guò)隨機(jī)采樣像素點(diǎn)和平均亮度差的方式，建立針對(duì)局部光照突變和全局光照突變的光照補(bǔ)償模型，對(duì)發(fā)生光照突變的視頻序列有較好的檢測(cè)效率.由于對(duì)前景提取采用簡(jiǎn)單的閾值化導(dǎo)致存在無(wú)法應(yīng)對(duì)前景偽裝的情況，使得前景容易出現(xiàn)空洞和低召回率的情形，因此，解決前景偽裝將是下一步需要研究的主要問(wèn)題.

[1] BOUWMANS T，PORIKLI F,HOFERLIN B,etal.Background modeling and foreground detection for video surveillance[M].Boca Raton:CRC Press，2014:3-8.

[2] SOBRAL A，VACAVANT A.A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos[J].Computer Vision and Image Understanding，2014，122:4-21.

[3] STAUFFER C，GRIMSON W E L.Adaptive background mixture models for real-time tracking[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Fort Collins:IEEE Press,1999:246-252.

[4] ELGAMMAL A，HARWOOD D，DAVIS L.Non-parametric model for background subtraction[C]∥European Conference on Computer Vision.Dublin:Springer Berlin Heidelberg，2000:751-767.

[5] KIM K，CHALIDABHONGSE T H，HARWOOD D，etal.Real-time foreground-background segmentation using codebook model[J].Real-Time Imaging，2005，11(3):172-185.

[6] BARNICH O，VAN DROOGENBROECK M.ViBe: A universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing，2011，20(6):1709-1724.

[7] VOSTERS L，SHAN Caifeng，GRITTI T.Real-time robust background subtraction under rapidly changing illumination conditions[J].Image and Vision Computing，2012，30(12):1004-1015.

[8] SAJID H，CHEUNG S C S.Background subtraction under sudden illumination change[C]∥2014 IEEE 16th International Workshop on Multimedia Signal Processing.Jakarta:IEEE Press,2014:1-6.

[9] LI Xuli，ZHANG Chao，ZHANG Duo.Abandoned objects detection using double illumination invariant foreground masks[J].IEEE Journal of Selected Topics in Signal Processing,2010,2(4):582-596.

[10] GRUENWEDEL S，PETROVIC N I，JOVANOV L，etal.Efficient foreground detection for real-time surveillance applications[J].Electronics Letters，2013，49(18):1143-1145.

[11] MAHMOUDPOUR S，KIM M.Robust foreground detection in sudden illumination change[J].Electronics Letters，2016，52(6):441-443.

[12] 國(guó)際電聯(lián)無(wú)線電通信全會(huì).ITU-R BT.1788 建議書(shū): 對(duì)多媒體應(yīng)用中視頻質(zhì)量的主觀評(píng)估方法[S].ITU:ITU-R 102/6 號(hào)研究課題，2007:1-13.

[13] 楊濤，李靜，潘泉，等.一種基于多層背景模型的前景檢測(cè)算法[J].中國(guó)圖象圖形學(xué)報(bào)，2008，13(7):1303-1308.

[14] YAO Jian，ODOBEZ J M.Multi-layer background subtraction based on color and texture[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis:IEEE Press，2007:1-8.

[15] MADDALENA L，PETROSINO A.A self-organizing approach to background subtraction for visual surveillance applications[J].IEEE Transactions on Image Processing，2008，17(7):1168-1177.

(責(zé)任編輯： 黃曉楠 英文審校： 吳逢鐵)

Fast and Robust Foreground Detection Algorithm Based on Double Background Model

XIE Weibo1， LIU Wen1， XIA Yuanxiang1， LI Xuefen2

(1. College of Computer Science and Technology， Huaqiao University， Xiamen 361021， China；2. Science and Technology Research Department， Huaqiao University， Xiamen 361021， China)

In order to solve the problem of illumination changes in foreground detection， a fast and robust foreground detection algorithm based on double background model was proposed in this paper. The efficiency can be improved by establishing a simple double background model with fast and slow update rate； the robustness with illumination variations can be enhanced by combining with video time perception information and illumination compensation measures， and hence improving the precision of the foreground detection. Experiments were performed on several challenging sequences with illumination variations in the benchmark evaluation， and the results show that the proposed algorithm not only owns good robustness with changing of illumination， but also has very fast process speed.

illumination robust； foreground detection； double background model； video information; time perception information

10.11830/ISSN.1000-5013.201704020

2016-05-26

謝維波(1964-)，男，教授，博士，主要從事信號(hào)處理、視頻分析和嵌入式系統(tǒng)的研究.E-mail:xwblxf@hqu.edu.cn.

國(guó)家自然科學(xué)基金資助項(xiàng)目(61271383)； 華僑大學(xué)研究生科研創(chuàng)新能力培育計(jì)劃項(xiàng)目(1400214010)

TP 391

A

1000-5013(2017)04-0550-06