秦明　陸耀　邸慧軍　呂峰

基于誤差補(bǔ)償?shù)膹?fù)雜場景下背景建模方法

秦明1，2陸耀1，2邸慧軍1，2呂峰1，2

在基于子空間學(xué)習(xí)的背景建模方法中，利用背景信息對前景誤差進(jìn)行補(bǔ)償有助于建立準(zhǔn)確的背景模型.然而，當(dāng)動態(tài)背景（搖曳的樹枝、波動的水面等）和復(fù)雜前景等干擾因素存在時，補(bǔ)償過程的準(zhǔn)確性和穩(wěn)定性會受到一定的影響.針對這些問題，本文提出了一種基于誤差補(bǔ)償?shù)脑隽孔涌臻g背景建模方法.該方法可以實(shí)現(xiàn)復(fù)雜場景下的背景建模.首先，本文在誤差補(bǔ)償?shù)倪^程中考慮了前景的空間連續(xù)性約束，在補(bǔ)償前景信息的同時減少了動態(tài)背景的干擾，提高了背景建模的準(zhǔn)確性.其次，本文將誤差估計(jì)過程歸結(jié)為一個凸優(yōu)化問題，并根據(jù)不同的應(yīng)用場合設(shè)計(jì)了相應(yīng)的精確求解算法和快速求解方法.再次，本文設(shè)計(jì)了一種基于Alpha通道的誤差補(bǔ)償策略，提高了算法對復(fù)雜前景的抗干擾能力.最后，本文構(gòu)建了不依賴于子空間模型的背景模板，減少了由前景信息反饋引起的背景更新失效，提高了算法的魯棒性.多項(xiàng)對比實(shí)驗(yàn)表明，本文算法在干擾因素存在的情況下仍然可以實(shí)現(xiàn)對背景的準(zhǔn)確建模，表現(xiàn)出較強(qiáng)的抗擾性和魯棒性.

背景建模，抗干擾的誤差補(bǔ)償，空間連續(xù)性，Alpha通道，中值模板

引用格式秦明，陸耀，邸慧軍，呂峰.基于誤差補(bǔ)償?shù)膹?fù)雜場景下背景建模方法.自動化學(xué)報(bào)，2016，42（9）：1356-1366

對視頻中的背景信息進(jìn)行有效建模是視頻分析領(lǐng)域（如目標(biāo)跟蹤、步態(tài)識別、視頻摘要及壓縮等）重要的研究內(nèi)容［1-3］.近年來，攝像頭逐漸被應(yīng)用到各種復(fù)雜場景中，對背景建模算法的準(zhǔn)確性和抗干擾性提出了更高的要求.

傳統(tǒng)的背景建模方法［4-5］通常對每個像素點(diǎn)進(jìn)行單獨(dú)建模.近年來，為了充分利用圖像的空間相關(guān)性，基于子空間學(xué)習(xí)的背景建模算法［6-16］被廣泛提出，并取得了較好的效果.本文主要關(guān)注基于子空間學(xué)習(xí)的背景建模方法.該方法大體上可以分為以下三種類型.

基于魯棒主成分分析（Principal component analysis，PCA）的背景建模方法［6-7］通常先構(gòu)建一個包含多個圖像幀的矩陣（矩陣中的每一列代表一個向量化的圖像幀），然后通過低秩分解算法將該矩陣分解為低秩的背景矩陣和稀疏的前景矩陣.這類算法通?？梢匀〉幂^好的前景檢測效果.但是，魯棒PCA方法通常以批量的方式進(jìn)行數(shù)據(jù)處理，這在一定程度上限制了其應(yīng)用范圍.

基于背景基選擇的背景建模方法［8-10］通常直接選擇不包含前景的視頻幀來構(gòu)建背景基矩陣，并通過線性回歸實(shí)現(xiàn)背景估計(jì)和前景檢測.這類算法較好地保留了背景信息的細(xì)節(jié)，并在一定程度上實(shí)現(xiàn)了增量的前景檢測.不過，當(dāng)前景干擾頻繁出現(xiàn)時，背景基的選擇是一個難點(diǎn)問題［11］.

基于子空間正交基的背景建模方法［12-14］利用子空間基向量（如PCA中的特征向量）來構(gòu)建背景基矩陣，并通過子空間投影來進(jìn)行背景重構(gòu).這類方法通常具備增量前景檢測的能力，并且對背景變化的適應(yīng)性較強(qiáng).不過，當(dāng)圖像幀中的前景信號較強(qiáng)時，該方法可能會將前景信息建模到背景模型中，影響背景建模的準(zhǔn)確性［16］.為了解決這個問題，一些基于前景誤差補(bǔ)償?shù)淖涌臻g背景建模方法［15-16］被提出.這類方法一般先利用已有的背景模型獲得一個當(dāng)前幀的誤差估計(jì)，然后通過設(shè)定閾值來對每個像素點(diǎn)進(jìn)行前景/背景分類.隨后，該類方法將前景點(diǎn)的像素值替換為背景模板（一般來自于背景模型，如PCA方法中的均值圖像）中相應(yīng)位置的值，從而實(shí)現(xiàn)前景誤差的背景信息補(bǔ)償.這種基于單點(diǎn)信息的分類補(bǔ)償策略在補(bǔ)償前景信息的同時保留了當(dāng)前幀的背景信息，減少了前景信息對背景更新過程的干擾，在普通場景下取得了較好的前景檢測效果.但是，在一些干擾較大的復(fù)雜場景下，該策略可能存在如下問題：

首先，基于單點(diǎn)誤差信息的前景點(diǎn)/背景點(diǎn)判定過程沒有考慮到前景的空間連續(xù)性，這可能導(dǎo)致一些誤差較大的動態(tài)背景點(diǎn)（如波動的水面、風(fēng)中的樹葉、自動扶梯等）被判定為前景點(diǎn)，進(jìn)而被背景模板中的信息所誤補(bǔ)償，影響背景建模的準(zhǔn)確性.

其次，基于誤差閾值的前景/背景二分類補(bǔ)償算法在誤差閾值附近較為敏感，對背景模板的準(zhǔn)確性要求較高，魯棒性相對較差.在一些前景頻繁出現(xiàn)的場景下（如商場、機(jī)場等人流量相對較大的地點(diǎn)），前景信息可能會被引入到背景模型中.這部分前景信息會影響到前景誤差估計(jì)的準(zhǔn)確性，從而導(dǎo)致基于誤差閾值的前景/背景分類出現(xiàn)偏差.在這種情況下，背景模板中的前景信息會被錯誤地應(yīng)用于補(bǔ)償過程，導(dǎo)致背景模型中的前景信號被錯誤地加強(qiáng).這種前景信息的正反饋可能會在補(bǔ)償過程中不斷出現(xiàn)，影響前景檢測的準(zhǔn)確性.

針對上述問題，本文提出了一種新的基于誤差補(bǔ)償?shù)脑隽縋CA背景建模方法，該方法可以實(shí)現(xiàn)復(fù)雜場景下的前景檢測.本方法首先在誤差估計(jì)過程中引入了前景的空間連續(xù)性約束，提高了對動態(tài)背景的區(qū)分能力.其次，本文將前景誤差估計(jì)過程歸結(jié)為一個凸優(yōu)化問題，并分別針對不同的應(yīng)用場合設(shè)計(jì)了相應(yīng)的精確求解算法和快速求解方法.隨后，本文提出了一種基于Alpha通道的平滑補(bǔ)償策略，增強(qiáng)了算法的魯棒性.最后，本文設(shè)計(jì)了不依賴于子空間背景模型的補(bǔ)償模板，阻斷了前景信息的正反饋通道.本文提出的算法框圖如圖1所示.

本文的主要貢獻(xiàn)可歸納如下：

1）將前景的空間連續(xù)性約束引入到前景誤差補(bǔ)償過程中，實(shí)現(xiàn)了對動態(tài)背景和前景的有效區(qū)分.

2）本文將誤差估計(jì)過程歸結(jié)為一個凸優(yōu)化問題，并根據(jù)不同的應(yīng)用場合設(shè)計(jì)了相應(yīng)的精確求解算法和快速求解方法.

3）在補(bǔ)償過程中，設(shè)計(jì)了一種基于Alpha通道的平滑補(bǔ)償策略.這種補(bǔ)償方式減少了對誤差閾值的依賴，增強(qiáng)了對誤差干擾的適應(yīng)性.

4）構(gòu)建了不依賴于子空間模型的補(bǔ)償模板，減少了前景信息正反饋的產(chǎn)生，提高了補(bǔ)償算法的魯棒性.

本文的剩余部分組織如下.第1節(jié)介紹了基本的增量PCA背景建模方法和基于單點(diǎn)信息的誤差補(bǔ)償策略.第2節(jié)詳細(xì)介紹了提出的誤差補(bǔ)償方法和相應(yīng)的前景檢測算法.第3節(jié)展示了多個對比實(shí)驗(yàn)的結(jié)果，并進(jìn)行了相關(guān)討論.第4節(jié)得出了最后結(jié)論.

1　增量PCA背景建模與基于單點(diǎn)信息的誤差補(bǔ)償算法

基于增量PCA的背景建模方法［12，14-15］已經(jīng)被廣泛應(yīng)用于前景檢測領(lǐng)域.為了解決該類方法中存在的前景干擾問題，一些基于單點(diǎn)信息的誤差補(bǔ)償策略［15-16］被提出，并取得了較好的效果.本節(jié)主要介紹基本的增量PCA背景建模方法和相應(yīng)的基于單點(diǎn)誤差的補(bǔ)償策略.

1.1基于增量PCA的背景建模方法

對于一個總計(jì)T幀的視頻序列，如果用列向量ot∈Rd（d為向量的維度）表示視頻的第t幀圖像，用bt表示相應(yīng)的背景圖像，用ft表示相應(yīng)的前景圖像，那么圖像ot可以表示為：

圖1　基于抗干擾誤差補(bǔ)償?shù)谋尘敖Ｋ惴鞒淌疽鈭DFig.1The flow chart of the proposed robust error compensation based background modeling method

考慮到前景的稀疏性［8-9］，基于增量PCA的前景檢測可以被描述為如下的目標(biāo)優(yōu)化問題：

其中，||·||1是1范數(shù)約束.這個目標(biāo)優(yōu)化問題可以通過交替優(yōu)化的策略進(jìn)行求解，具體方式如下：

其中，μ，y是增廣拉格朗日方法的參數(shù)，||·||F是F范數(shù)約束，〈·〉是內(nèi)積符號.式中，第一、二項(xiàng)是數(shù)據(jù)約束項(xiàng)（下文將用來表示），第三項(xiàng)是稀疏約束項(xiàng)（下文將用ES（ft）來表示）.這個優(yōu)化問題可以用下面的算法進(jìn)行求解：

其中，k是迭代次數(shù)，soft（α，β）=max（α-β，0）-max（-α-β，0）是軟閾值函數(shù)（Soft-thresholding function）［18］，ρ（ρ＞1）是增廣拉格朗日算法的參數(shù)，前景f的初始值

2）當(dāng)ft，xt已知時，背景模型，Ut的更新可以用增量PCA算法［19］實(shí)現(xiàn).在不考慮誤差補(bǔ)償?shù)那闆r下，背景模型的更新通常使用原始視頻幀ot進(jìn)行［19］.

1.2基于單點(diǎn)信息的分類誤差補(bǔ)償策略

前一小節(jié)介紹了直接利用視頻幀ot進(jìn)行增量PCA更新的背景建模方法.在這種方法中，視頻幀ot中存在的前景可能會影響背景模型的準(zhǔn)確構(gòu)建［16］.基于單點(diǎn)信息的誤差補(bǔ)償算法可以在一定程度上解決這一問題.

基于單點(diǎn)信息的誤差補(bǔ)償算法主要包括兩個步驟：首先，利用在式（3）中獲得的誤差估計(jì)ft對視頻幀ot中的像素點(diǎn)進(jìn)行前景/背景分類；然后，用背景模板中的背景信息代替ot中相應(yīng)的前景信息.具體操作如下.

對于視頻幀ot中的第i個像素點(diǎn)oti，判斷其屬于前景還是背景可以通過設(shè)定誤差閾值F實(shí)現(xiàn)：

其中，lti=1表示像素點(diǎn)oti被判定為前景點(diǎn)，lti=0表示oti被判定為背景點(diǎn).

隨后，用背景子空間均值信息替代前景點(diǎn)信息，并獲得補(bǔ)償后的圖像?ot：

其中，⊙是點(diǎn)乘符號，lt=［lt1，lt2，···，ltd］是由式（5）得到的前景/背景分類標(biāo)識向量.

最后，將補(bǔ)償后的圖像?ot用于第1.1節(jié)中的背景更新環(huán)節(jié).這個誤差補(bǔ)償過程可以在一定程度上避免將前景信息引入到背景模型中.

2　基于空間連續(xù)性約束的抗干擾誤差補(bǔ)償

第1節(jié)介紹的基于單點(diǎn)信息的分類誤差補(bǔ)償策略在一般情況下是有效的.但是，當(dāng)動態(tài)背景或者復(fù)雜前景（如頻繁出現(xiàn)的前景）出現(xiàn)時，這種補(bǔ)償方法可能存在如下問題：

首先，根據(jù)單點(diǎn)誤差信息進(jìn)行前景/背景分類可能會導(dǎo)致某些動態(tài)背景點(diǎn)被誤判為前景點(diǎn)，并被錯誤地進(jìn)行補(bǔ)償.在這種情況下，動態(tài)背景信息將無法被準(zhǔn)確地建模到背景模型中.圖2第二行展示了動態(tài)背景存在時采用單點(diǎn)誤差信息進(jìn)行前景/背景分類的結(jié)果.由圖可知，動態(tài)背景很容易被誤判為前景.

圖2　前景的空間連續(xù)性約束Fig.2The spatial continuity constraint on foreground

圖3　前景信息的正反饋問題Fig.3The positive feedback of foreground information

其次，當(dāng)前景干擾較大時（如圖3第一行所示，場景中前景頻繁出現(xiàn)），部分前景信息可能會被建模到背景模型中，從而引起前景/背景二分類的偏差（如圖3第三行和第四行中白色圓圈位置所示，前景誤差和背景估計(jì)均出現(xiàn)偏差）.這種分類偏差將會導(dǎo)致背景模板中的前景信息被錯誤地應(yīng)用于補(bǔ)償過程.在這種情況下，背景模板中的前景信息會得到錯誤地加強(qiáng)，并可能持續(xù)駐留在背景模板中（見圖3第二行圖像，從第300幀到第900幀，白色圓圈位置的前景始終存在于背景模板中），影響背景模型的正確更新.

為了解決復(fù)雜場景下的背景建模問題，本節(jié)提出了一種基于空間連續(xù)性約束的抗干擾誤差補(bǔ)償方法.針對上文提到的第一個問題，設(shè)計(jì)了一種基于空間連續(xù)性約束的前景誤差估計(jì)過程，并針對不同的應(yīng)用場合設(shè)計(jì)了相應(yīng)的快速求解算法和精確求解算法.針對第二個問題，提出了基于Alpha通道的平滑補(bǔ)償策略，并設(shè)計(jì)了不依賴于子空間模型的背景模板.

2.1基于空間連續(xù)性約束的誤差估計(jì)

在空間上，動態(tài)背景通常呈現(xiàn)出分散分布的特性，而前景一般是連續(xù)分布的.因此，本文通過引入空間連續(xù)性約束來區(qū)分前景點(diǎn)和動態(tài)背景點(diǎn)，以減少對動態(tài)背景的誤補(bǔ)償.

本文用總變分（Total variation）［20］來實(shí)現(xiàn)對前景的空間連續(xù)性約束.加入總變分約束后，前景誤差估計(jì)可以描述為如下的目標(biāo)優(yōu)化問題：

式（7）是一個凸優(yōu)化問題，可以采用交替方向乘子法（Alternating direction method of multipliers，ADMM）［17］進(jìn)行迭代求解：

文獻(xiàn)［17］給出了這類問題的詳細(xì)解法.

第二步，利用軟閾值函數(shù)［18］計(jì)算的精確解

上述算法可以求得式（7）的精確解.但是，該算法的迭代時間相對較長，可能不適用于有實(shí)時性要求的場合.因此，本文設(shè)計(jì)了一種求解式（7）的快速近似算法，可以滿足實(shí)時性要求.快速算法的求解思路如下：

式（7）用總變分項(xiàng)實(shí)現(xiàn)了對前景的連續(xù)性約束.作為一種鄰域約束，總變分約束可以認(rèn)為是非局部（Non-local）約束［22］的一種特殊形式.因此，式（7）中的總變分項(xiàng)ETV（ft）可以被如下的非局部項(xiàng)（Non-local term）ENL（ft）所替代：

其中，Ni是圖像中第i個像素點(diǎn)的鄰域點(diǎn)集合.當(dāng)鄰域集合Ni=｛i+1｝時，非局部約束等價(jià)于總變分約束.

通過引入非局部項(xiàng)ENL（ft）和前景誤差輔助變量，式（7）中的優(yōu)化問題可以轉(zhuǎn)化為：

式（12）中的第二步優(yōu)化可以看作是對空間域中值濾波過程的近似［22］，其目的是獲得空間上平滑的誤差估計(jì).因此，這一步也可以用中值濾波算法進(jìn)行近似求解.式（12）中的第一步優(yōu)化是讓誤差的稀疏估計(jì)ft盡量接近平滑解.這一步的求解方法與式（3）類似［17］.為了進(jìn)一步提高算法效率，也可以考慮將式（12）中第一步優(yōu)化獲得的稀疏估計(jì)ft與中值濾波得到的平滑估計(jì)進(jìn)行加權(quán)平均，以得到近似的前景誤差估計(jì)

上文介紹的快速算法求解速度較快，但求解精度一般.因此，可以考慮將快速算法的解作為精確求解算法的迭代初始值.這種求解策略可以在一定程度上提高精確算法的求解速度.

圖2第三行展示了考慮空間連續(xù)性約束后的前景誤差估計(jì)結(jié)果（閾值二值化后的結(jié)果）.通過與圖2第二行對比可知，加入空間連續(xù)性約束有助于區(qū)分動態(tài)背景點(diǎn)和前景點(diǎn).

由式（12）所得到的前景誤差估計(jì)不僅為后面的誤差補(bǔ)償過程提供了信息支撐，也可以直接用來得到當(dāng)前幀的掩膜結(jié)果Maskt：

其中，Maskti是掩膜向量Maskt第i維的值，F(xiàn)1是前景檢測閾值.

2.2基于Alpha通道的平滑補(bǔ)償策略

基于誤差閾值的前景點(diǎn)/背景點(diǎn)分類策略如圖4（a）所示.當(dāng)誤差fti小于閾值F，點(diǎn)oti被判定為前景，反之則被判斷為背景.這種二值化的分類策略對閾值的依賴程度較大.在閾值附近，一個輕微的干擾就可能引起分類錯誤.

圖4　二值分類函數(shù)與保留距離信息的分類策略Fig.4Comparison between binary classification function and distance information preservation based classification strategy

當(dāng)前景干擾較大時，前景信息可能被更新到背景模型中.這時，由閾值敏感性所引起的分類偏差會使得背景模型中的前景信息被錯誤地應(yīng)用于補(bǔ)償過程，從而強(qiáng)化前景信息在背景模型中的存在.這個強(qiáng)化過程是個正反饋的過程，所以前景信息可能較長時間駐留在背景模板中，影響前景檢測的準(zhǔn)確性.如果可以降低分類過程的閾值敏感性，就可以在一定程度上減少正反饋過程的發(fā)生.

仔細(xì)觀察圖4（a）可以發(fā)現(xiàn)，二值化的分類過程采用了一種將連續(xù)誤差信息轉(zhuǎn)化為離散分類信息的策略.這種分類策略只關(guān)注誤差相對于閾值的方向，而忽略了兩者之間的距離信息.因此，當(dāng)誤差與閾值之間距離較大時，分類對擾動信息不敏感.當(dāng)誤差與閾值之間的距離較小時，分類對擾動非常敏感.

基于上述觀察，如果我們將閾值附近的距離信息在分類過程中加以保留，并將其引入到補(bǔ)償過程中，就可以減輕分類過程的閾值敏感性，增強(qiáng)算法的抗干擾性.

依據(jù)這一思路，在閾值點(diǎn)附近，我們可以用連續(xù)的分類函數(shù)代替圖中的間斷分類函數(shù)，從而在一定程度上保留閾值附近的距離信息（如圖4（b）所示）.本文用Sigmoid非線性變換來實(shí)現(xiàn)距離信息的保留.此外，我們借鑒摳圖（Image matting）［23］中的補(bǔ)償方式，較好地利用了距離信息，實(shí)現(xiàn)了對圖像的平滑補(bǔ)償.本文提出的補(bǔ)償過程介紹如下：

首先，對從第2.1節(jié)獲得的前景誤差fti進(jìn)行閾值分類，并進(jìn)行下列線性變換：

其中，gti是變換后的誤差結(jié)果，s是縮放系數(shù).這個線性變換將區(qū)間［0，F(xiàn)］內(nèi)的誤差縮放到區(qū)間［-s，0］中，并將在區(qū)間［F，255］內(nèi)的誤差縮放到區(qū)間［0，s］中.

然后，對線性變換后的結(jié)果gti進(jìn)行Sigmoid非線性變換，獲得包含距離信息的分類結(jié)果hti：

由于hti中包含了距離信息，式（6）中的誤差補(bǔ)償方式已經(jīng)無法直接進(jìn)行應(yīng)用，因此，我們設(shè)計(jì)了一種新的補(bǔ)償方式.

前景/背景分類問題與摳圖問題［23］存在著較為密切的聯(lián)系：兩者都需要進(jìn)行物體的區(qū)分和提取.從摳圖的角度看，分類信息hti∈（0，1）類似于Alpha通道的值，可以看作是點(diǎn)oti中前景成分所占的比例［23］.由于基于Alpha通道的對象提取通?？梢蕴峁┍容^平滑的結(jié)果，我們將這一思路借鑒到誤差補(bǔ)償過程中，提出了如下的誤差補(bǔ)償方式：

2.3不依賴于子空間模型的背景模板構(gòu)建

在第2.2節(jié)中提到，當(dāng)前景干擾較大時，前景信息的正反饋過程可能會干擾背景模型的更新.圖5中的三條虛線簡單描述了這個前景信息的正反饋回路.在這個回路中，背景均值模板既為補(bǔ)償環(huán)節(jié)提供背景信息，同時又受到子空間更新環(huán)節(jié)的影響.換句話說，均值模板連接了誤差補(bǔ)償環(huán)節(jié)和背景更新環(huán)節(jié)，在客觀上為正反饋回路的形成提供了條件.

圖5　前景信息的正反饋回路Fig.5The positive feedback loop of foreground information

因此，如果我們可以構(gòu)建不依賴于子空間模型的背景模板，就可以切斷均值模板中前景信息向補(bǔ)償環(huán)節(jié)的傳遞，從而破壞信息的正反饋回路（圖5中虛線上的黑叉代表該條線路被切斷）.依據(jù)這一思路，本文提出了一種基于時域中值信息的背景模板構(gòu)建方法.

在離群點(diǎn)（Outlier）存在的情況下，中值估計(jì)通常比均值估計(jì)更準(zhǔn)確.在視頻序列中，同一個空間位置上不同幀的像素值可以看作是對該位置圖像信息的時間域采樣.對位置相同的采樣點(diǎn)來說，大部分點(diǎn)體現(xiàn)了背景信息，少部分點(diǎn)（可以看作是離群點(diǎn)）體現(xiàn)了前景信息.因此，我們可以對圖像上每個空間點(diǎn)的采樣信息進(jìn)行時間域的中值估計(jì)，并將估計(jì)值合成為一幅背景中值圖像.這個中值圖像可以作為補(bǔ)償過程的背景模板.背景中值圖像的詳細(xì)計(jì)算過程如下：

首先，我們定義一個可以儲存q幀視頻圖像的緩沖區(qū)OM=｛oM1，oM2，···，oMq｝，其中oMi（i∈｛1，2，···，q｝，Mi∈｛1，2，···，T｝）是原始視頻圖像.

隨后，我們令緩沖區(qū)每隔p幀進(jìn)行一次視頻幀更新（每次只更新一個視頻幀）.緩沖區(qū)的更新采取先進(jìn)先出的策略，最早被存入的視頻幀將最先被替代.為了避免前景出現(xiàn)在緩沖區(qū)中多個視頻幀的同一位置，p值不宜過小.

其中，median（·）是取中值函數(shù).此時，誤差補(bǔ)償過程變?yōu)椋?/p>

由式（17）得到的背景模板不依賴于子空間模型，因此在較大程度上預(yù)防了前景信息正反饋的發(fā)生.此外，由于中值估計(jì)受離群點(diǎn)（前景信息）的影響較少，可以提供更準(zhǔn)確的背景估計(jì)，因此提高了前景檢測算法的準(zhǔn)確性.

圖3最后兩行分別展示了由本文算法計(jì)算得到的前景和背景估計(jì)的結(jié)果.由圖可知，與基于閾值的二分類補(bǔ)償算法（圖3第三、四行）相比，本文提出的補(bǔ)償算法在較大程度上減少了前景信息的正反饋.

3　實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證算法性能，本節(jié)在多個包含動態(tài)背景和復(fù)雜前景的測試視頻［24］（Bootstrap視頻、Campus視頻、Curtain視頻、Escalator視頻、Fountain視頻、ShoppingMall視頻、WaterSurface視頻和Hall視頻）上進(jìn)行了算法測試，驗(yàn)證了本文算法各個組成部分的有效性.此外，我們將本文算法與DPGMM算法［25］、RPCA算法［6］、GoDec算法［7］、GRASTA算法［13］、LRFSO算法［10］、RFDSA算法［20］和DECOLOR算法［26］等主流方法進(jìn)行了實(shí)驗(yàn)對比.

在下面的所有實(shí)驗(yàn)中，本文算法均設(shè)置了相同的參數(shù).在前景誤差估計(jì)環(huán)節(jié)，為了強(qiáng)調(diào)前景的空間連續(xù)性，選擇較大的參數(shù)λ=5.掩膜閾值設(shè)為F1=25（與LRFSO［10］算法相同）.在Alpha通道補(bǔ)償環(huán)節(jié)，誤差閾值也設(shè)為F=25.為了充分利用Sigmoid函數(shù)的平坦區(qū)域，縮放系數(shù)選為s=6.在背景中值模板構(gòu)建環(huán)節(jié)，為了減輕計(jì)算負(fù)擔(dān)，選擇較小的緩沖區(qū)q=3和較大的更新間隔p.圖6展示了不同的p取值對算法平均性能的影響.可以看出，當(dāng)p值大于15時，算法在測試視頻上的平均F-score得分分布在區(qū)間［0.6812，0.6865］內(nèi).因此，p的取值對算法性能影響較小.根據(jù)圖6，本文設(shè)定更新間隔p=27.

本文選用F-score作為算法性能的定量評價(jià)標(biāo)準(zhǔn).F-score是在前景檢測領(lǐng)域被廣泛應(yīng)用的評價(jià)方法［10，12，20］，其計(jì)算公式如下：

其中，Recall是召回率，Precision是準(zhǔn)確率.

圖6　背景模板更新間隔p對算法平均性能的影響Fig.6The average F-score performance with respect to different parameter p

3.1對算法三個組成部分的有效性分析

本文提出的補(bǔ)償算法主要包括基于空間連續(xù)性約束的誤差估計(jì)、基于Alpha通道的補(bǔ)償策略和背景模板構(gòu)建等三個環(huán)節(jié).為了分別驗(yàn)證這三個環(huán)節(jié)的有效性，本文設(shè)置了四組不同的實(shí)驗(yàn)，并將對應(yīng)的算法分別應(yīng)用于測試視頻.在這些視頻中，Bootstrap、Escalator、ShoppingMall和Hall視頻包含頻繁出現(xiàn)的復(fù)雜前景，Campus、Curtain、Escalator、Fountain和WaterSurface視頻包含不同類型的動態(tài)背景.四組實(shí)驗(yàn)的設(shè)置如下.

實(shí)驗(yàn)1：基于單點(diǎn)稀疏性約束的前景誤差估計(jì)；基于閾值二分類的誤差補(bǔ)償策略；以背景均值作為背景模板.

實(shí)驗(yàn)2：基于空間連續(xù)性約束的前景誤差估計(jì)；基于閾值二分類的誤差補(bǔ)償策略；以背景均值作為背景模板.

實(shí)驗(yàn)3：基于空間連續(xù)性約束的前景誤差估計(jì)；基于Alpha通道的誤差補(bǔ)償策略；以背景均值作為背景模板.

實(shí)驗(yàn)4：基于空間連續(xù)性約束的前景誤差估計(jì)；基于通道的誤差補(bǔ)償策略；以背景中值作為背景模板.

實(shí)驗(yàn)1是基準(zhǔn)實(shí)驗(yàn)，采用了第1.2節(jié)中介紹的誤差補(bǔ)償方法.在實(shí)驗(yàn)1的基礎(chǔ)上，后三組實(shí)驗(yàn)分別按次序添加本算法的三個主要環(huán)節(jié).具體實(shí)驗(yàn)結(jié)果如圖7所示（其中，橫坐標(biāo)從左到右分別代表Bootstrap視頻、Campus視頻、Curtain視頻、Escalator視頻、Fountain視頻、ShoppingMall視頻、WaterSurface視頻和Hall視頻）.對比實(shí)驗(yàn)1和實(shí)驗(yàn)2的結(jié)果可知，空間連續(xù)性約束的引入明顯提高了算法在視頻Campus、Escalator和Fountain（這些視頻包含動態(tài)背景）上的性能.此外，實(shí)驗(yàn)2、實(shí)驗(yàn)3和實(shí)驗(yàn)4的結(jié)果對比表明，基于Alpha通道的誤差補(bǔ)償策略和背景中值模板的構(gòu)建分別提升了前景檢測算法在視頻Bootstrap、ShoppingMall和Hall（這些視頻包含復(fù)雜前景）上的性能.圖7的最后一組柱狀圖反映了四組實(shí)驗(yàn)在全部測試視頻上的平均性能對比.綜合來看，本文算法的三個組成部分有效提高了算法的平均性能.

圖7　本文算法的三個主要組成部分的有效性展示Fig.7The effectiveness of the main three components in the proposed algorithm

除上述結(jié)果外，圖2和圖3還展示了一些定性的實(shí)驗(yàn)結(jié)果.圖2展示了添加空間連續(xù)性約束前后的前景估計(jì)效果對比，圖3中展示了添加Alpha通道補(bǔ)償策略和中值模板前后的前景檢測效果對比.可以看出，圖2和圖3中展示的結(jié)果進(jìn)一步驗(yàn)證了這三個組成部分的有效性.

3.2與其他算法的對比實(shí)驗(yàn)

我們將本文算法與DPGMM算法［25］、RPCA算法［6］、GoDec算法［7］、GRASTA算法［13］、LRFSO算法［10］、RFDSA算法［20］和DECOLOR算法［26］等主流前景檢測方法進(jìn)行了實(shí)驗(yàn)對比.這些算法的F-score得分如表1所示.表1的倒數(shù)第二列和倒數(shù)第一列分別給出了本文提出的快速求解算法（如式（8）所示）和精確求解算法（如式（12）所示）的性能得分.

為了公平對比，所有參與對比實(shí)驗(yàn)的程序均下載自文章作者網(wǎng)站，且未做任何修改.此外，我們借鑒LRFSO算法的思路［10］，將每個算法的掩膜閾值都設(shè)為25.

由表1可知，在八個測試視頻中，本文提出的精確求解算法（表1中用Ours（accurate）表示）得到了五個最高分和兩個第二高分，并且得到了最高的平均分（表1最后一行展示了所有算法的平均分）.本文提出的快速求解算法（表1中用Ours（fast）表示）的性能與DPGMM算法接近，在所有算法中處于中等偏上位置.

在表1的最后一列，我們還展示了所有算法的運(yùn)行速度（由于DPGMM算法提供的是C++代碼，而其他算法都提供了Matlab代碼，公平起見，表1中沒有列出DPGMM算法的運(yùn)行速度）.由表1可知，本文提出的快速求解算法的運(yùn)行速度是35.34幀每秒，可以在一定程度上滿足實(shí)時性要求.本文提出的精確求解算法的運(yùn)算速度略高于RFDSA算法，但可以實(shí)現(xiàn)較高的準(zhǔn)確度.本文提出的兩種求解算法分別適用于不同的應(yīng)用場合.此外，與DECOLOR算法和RFDSA算法相比，本文算法可以實(shí)現(xiàn)增量的背景建模與更新，因此適用范圍更廣.綜合來看，本文算法具有一定的優(yōu)越性.

表1　本文算法與其他算法的F-score得分（%）Table 1The F-score results（%）of the proposed method and the other methods

圖8　不同前景檢測算法的前景掩膜結(jié)果Fig.8The foreground masks obtained from different foreground detection algorithms

除了表1中提供的定量實(shí)驗(yàn)結(jié)果外，我們還在圖8中展示了由不同前景檢測算法得到的前景掩膜圖像.圖8中，左起第一列是輸入圖像，第二列到第十一列分別是真值（Ground truth）圖像、DPGMM算法結(jié)果、RPCA算法結(jié)果、GoDec算法結(jié)果、GRASTA算法結(jié)果、LRFSO算法結(jié)果、RFDSA算法結(jié)果、DECOLOR算法結(jié)果、本文的快速算法結(jié)果和本文的精確算法結(jié)果.

圖8的前四行分別展示了不同的前景檢測算法在Campus、Curtain、Fountain和WaterSurface這四個包含動態(tài)背景的測試視頻上獲得的掩膜圖像.可以看出，動態(tài)背景對RPCA算法、GoDec算法和GRASTA算法的影響較大.LRFSO算法、RFDSA算法、DECOLOR算法和本文算法對動態(tài)背景均表現(xiàn)出了較強(qiáng)的適應(yīng)能力.比較而言，本文算法由于采用了誤差補(bǔ)償過程，并且可以自適應(yīng)地對背景子空間進(jìn)行增量更新，因此對動態(tài)背景的識別能力更強(qiáng).

圖8的第五行至第七行分別展示了不同算法在Bootstrap、ShoppingMall和Hall這三個包含復(fù)雜前景的測試視頻上獲得的掩膜圖像.可以看出，DPGMM算法出現(xiàn)了一些漏檢.RPCA算法和GoDec算法性能類似，都出現(xiàn)了部分散點(diǎn)狀誤檢.LRFSO和DECOLOR算法將某些分散的前景連成一片，造成一些誤檢.GRASTA算法在ShoppingMall測試視頻上出現(xiàn)了漏檢（最左側(cè)的人沒有檢出）.相比較而言，在復(fù)雜前景存在的情況下，本文算法的檢測結(jié)果更接近于真值.

圖8的最后一行展示了不同算法在Escalator測試視頻上獲得的掩膜圖像.這個測試視頻同時包含動態(tài)背景與復(fù)雜前景，因此具有較高的挑戰(zhàn)性.可以看出，本文提出的快速算法存在一定的誤檢，但是精確算法可以較好地區(qū)分動態(tài)背景與前景.

定量實(shí)驗(yàn)與定性分析表明，在存在動態(tài)背景和復(fù)雜前景的場景下，本文算法具備較強(qiáng)的抗干擾能力，可以實(shí)現(xiàn)準(zhǔn)確的背景建模.

4　結(jié)論

本文提出了一種基于誤差補(bǔ)償?shù)脑隽縋CA背景建模方法，該方法可以實(shí)現(xiàn)復(fù)雜場景下的前景檢測.首先，本文將前景的空間連續(xù)性約束引入至前景誤差估計(jì)環(huán)節(jié)，有效地區(qū)分了動態(tài)背景和前景.其次，本文將前景誤差估計(jì)過程歸結(jié)為一個凸優(yōu)化過程，并針對不同的應(yīng)用場合分別設(shè)計(jì)了精確求解算法和快速優(yōu)化方法.隨后，本文設(shè)計(jì)了一種基于Alpha通道的平滑補(bǔ)償策略，減少了補(bǔ)償過程的閾值敏感性，增強(qiáng)了算法對前景干擾的適應(yīng)性.最后，本文構(gòu)建了不依賴于子空間模型的中值背景模板，在一定程度上破壞了前景信息的正反饋通道，增強(qiáng)了補(bǔ)償算法的魯棒性.大量實(shí)驗(yàn)表明，本文提出的兩種算法較好地協(xié)調(diào)了準(zhǔn)確度與運(yùn)行速度的矛盾，可以實(shí)現(xiàn)復(fù)雜場景（包括動態(tài)背景和復(fù)雜前景）下的增量背景估計(jì)和前景檢測.在未來的研究工作中，我們考慮將更多的圖像特征（如顏色、紋理等）和多尺度的方法融入到我們的算法框架中，并將致力于研究運(yùn)動場景下的背景建模方法，以不斷拓展本文算法的應(yīng)用領(lǐng)域.

References

1 Huo Dong-Hai，Yang Dan，Zhang Xiao-Hong，Hong Ming-Jian.Principal component analysis based codebook background modeling algorithm.Acta Automatica Sinica，2012，38（4）：591-600（霍東海，楊丹，張小洪，洪明堅(jiān).一種基于主成分分析的Codebook背景建模算法.自動化學(xué)報(bào)，2012，38（4）：591-600）

2 Chu Jun，Yang Fan，Zhang Gui-Mei，Wang Ling-Feng.A stepwise background subtraction by fusion spatio-temporal information.Acta Automatica Sinica，2014，40（4）：731-743（儲王君，楊樊，張桂梅，汪凌峰.一種分步的融合時空信息的背景建模.自動化學(xué)報(bào)，2014，40（4）：731-743）

3 Wang Yong-Zhong，Liang Yan，Pan Quan，Cheng Yong-Mei，Zhao Chun-Hui.Spatiotemporal background modeling based on adaptive mixture of Gaussians.Acta Automatica Sinica，2009，35（4）：371-378（王永忠，梁彥，潘泉，程詠梅，趙春暉.基于自適應(yīng)混合高斯模型的時空背景建模.自動化學(xué)報(bào)，2009，35（4）：371-378）

4 Stauffer C，Grimson W E L.Adaptive background mixture models for real-time tracking.In：Proceedings of the 14th IEEE Conference on Computer Vision and Pattern Recognition.Fort Collins，USA：IEEE，1999.246-252

5 Elgammal A M，Harwood D，Davis L S.Non-parametric model for background subtraction.In：Proceedings of the 6th European Conference on Computer Vision.Dublin，Ireland：Springer-Verlag，2000.751-767

6 Cand′es E，Li X D，Ma Y，Wright J.Robust principal component analysis？Journal of the ACM，2011，58（3）：Article No.11

7 Zhou T Y，Tao D C.GoDec：randomized low-rank&sparse matrix decomposition in noisy case.In：Proceedings of the 28th International Conference on Machine Learning.Bellevue，USA：ACM，2011.33-40

8 Dikmen M，Huang T S.Robust estimation of foreground in surveillance videos by sparse error estimation.In：Proceedings of the 19th International Conference on Pattern Recognition.Tampa，USA：IEEE，2008.1-4

9 Xue G J，Song L，Sun J，Wu M.Foreground estimation based on robust linear regression model.In：Proceedings of the 18th International Conference on Image Processing. Brussels，Belgium：IEEE，2011.3269-3272

10 Xue G J，Song L，Sun J.Foreground estimation based on linear regression model with fused sparsity on outliers.IEEE Transactions on Circuits and Systems for Video Technology，2013，23（8）：1346-1357

11 Qin M，Lu Y，Di H J，Huang W.Background basis selection from multiple clustering on local neighborhood structure. In：Proceedings of the 2015 IEEE International Conference on Multimedia and Expo.Torino，Italy：IEEE，2015.1-6

12 Seo J W，Kim S D.Recursive on-line（2D）2PCA and its application to long-term background subtraction.IEEE Transactions on Multimedia，2014，16（8）：2333-2344

13 He J，Balzano L，Szlam A.Incremental gradient on the Grassmannian for online foreground and background separation in subsampled video.In：Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence，USA：IEEE，2012.1568-1575

14 Wang L，Wang M，Wen M，Zhuo Q，Wang W Y.Background subtraction using incremental subspace learning.In：Proceedings of the 2007 IEEE International Conference on Image Processing.San Antonio，USA：IEEE，2007.V-45-V-48

15 Jiang Jian-Guo，Jin Yu-Long，Qi Mei-Bin，Zhan Shu.Moving target detection in natural scene based on sparse representation of residuals.Acta Electronica Sinica，2015，43（9）：1738-1744（蔣建國，金玉龍，齊美彬，詹曙.基于稀疏表達(dá)殘差的自然場景運(yùn)動目標(biāo)檢測.電子學(xué)報(bào)，2015，43（9）：1738-1744）

16 Xu Z F，Gu I Y H，Shi P F.Recursive error-compensated dynamic eigenbackground learning and adaptive background subtraction in video.Optical Engineering，2008，47（5）：525-534

17 Boyd S，Parikh N，Chu E，Peleato B，Eckstein J.Distributed optimization and statistical learning via the alternating direction method of multipliers.Foundations and Trends?in Machine Learning，2011，3（1）：1-122

18 Donoho D L.De-noising by soft-thresholding.IEEE Transactions on Information Theory，1995，41（3）：613-627

19 Ross D A，Lim J，Lin R-S，Yang M H.Incremental learning for robust visual tracking.International Journal of Computer Vision，2008，77（1-3）：125-141

20 Guo X J，Wang X G，Yang L，Cao X C，Ma Y.Robust foreground detection using smoothness and arbitrariness constraints.In：Proceedings of the 13th European Conference on Computer Vision.Zurich，Switzerland：Springer，2014. 535-550

21 Wang L C，You Y，Lian H.A simple and efficient algorithm for fused LASSO signal approximator with convex loss function.Computational Statistics，2013，28（4）：1699-1714

22 Sun D Q，Roth S，Black M J.A quantitative analysis of current practices in optical flow estimation and the principles behind them.International Journal of Computer Vision，2014，106（2）：115-137

23 Porter T，Duff T.Compositing digital images.In：Proceedings of the 11th Annual Conference on Computer Graphics and Interactive Techniques.Minneapolis，USA：ACM，1984. 253-259

24 Li L Y，Huang W M，Gu I Y H，Tian Q.Statistical modeling of complex backgrounds for foreground object detection.IEEE Transactions on Image Processing，2004，13（11）：1459-1472

25 Haines T S F，Tao X.Background subtraction with Dirichlet process mixture models.IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（4）：670-683

26 Zhou X W，Yang C，Yu W C.Moving object detection by detecting contiguous outliers in the low-rank representation. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（3）：597-610

秦明北京理工大學(xué)計(jì)算機(jī)學(xué)院博士研究生.主要研究方向?yàn)榍熬皺z測與動作識別.

E-mail：050689@bit.edu.cn

（QIN MingPh.D.candidate at the School of Computer Science，Beijing Institute of Technology.His research interest covers foreground detection and action recognition.）

陸耀北京理工大學(xué)計(jì)算機(jī)學(xué)院教授.主要研究方向?yàn)樯窠?jīng)網(wǎng)絡(luò)，圖像和信號處理，模式識別.本文通信作者.

E-mail：vis_yl@bit.edu.cn

（LU YaoProfessor at the School of Computer Science，Beijing Institute of Technology.His research interest covers neural network，image and signal processing and pattern recognition.Corresponding author of this paper.）

邸慧軍北京理工大學(xué)計(jì)算機(jī)學(xué)院講師.主要研究方向?yàn)橛?jì)算機(jī)視覺，模式識別，機(jī)器學(xué)習(xí).

E-mail：ajon@bit.edu.cn

（DI Hui-JunLecturer at the School of Computer Science，Beijing Institute of Technology.His research interest covers computer vision，pattern recognition and machine learning.）

呂峰北京理工大學(xué)計(jì)算機(jī)學(xué)院博士研究生.主要研究方向?yàn)槟繕?biāo)跟蹤與動作識別.

E-mail：lvfeng@bit.edu.cn

（LV FengPh.D.candidate at the School of Computer Science，Beijing Institute of Technology.His research interest covers object tracking and action recognition.）

An Error Compensation Based Background Modeling Method for Complex Scenarios

QIN Ming1，2LU Yao1，2DI Hui-Jun1，2LV Feng1，2

Compensating foreground error with background information usually helps to build an accurate background model for the subspace learning based background modeling method.However，dynamic background（swaying tree or waving water surface）and complex foreground signal may have bad influences on the compensation process.To solve the problem，we propose an error compensation based incremental subspace method for background modeling，which aims to build an accurate background model in complex scenarios.First，we bring a spatial continuity constraint to the foreground error estimation process，which helps to preserve more dynamic background information and increase the accuracy of the background model.Second，we formulate the foreground estimation task into a convex optimization problem，and design an accurate optimization algorithm and a fast optimization algorithm，respectively for different applications.Third，an alpha-mating based error compensation strategy is designed，which increases the anti-interference performance of our algorithm.At last，a median background template which does not rely on background model is constructed，which increases the robustness of our algorithm.Multiple experiments show that the proposed method is able to model background accurately even in complex scenarios，demonstrating the anti-interference performance and the robustness of our method.

Background modeling，anti-interference error compensation，spatial continuity，alpha-mating，median template

Manuscript December 18，2015；accepted April 20，2016

10.16383/j.aas.2016.c150857

Qin Ming，Lu Yao，Di Hui-Jun，Lv Feng.An error compensation based background modeling method for complex scenarios.Acta Automatica Sinica，2016，42（9）：1356-1366

2015-12-18錄用日期2016-04-20

國家自然科學(xué)基金（61273273，61175096，61271374），高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金（2012110110034），北京市教委共建項(xiàng)目資助

Supported by National Natural Science Foundation of China（61273273，61175096，61271374），Research Fund for the Doctoral Program of Higher Education of China（2012110110034），and Specialized Fund for Joint Building Project of Beijing Municipal Education Commission

本文責(zé)任編委桑農(nóng)

Recommended by Associate Editor SANG Nong

1.北京理工大學(xué)計(jì)算機(jī)學(xué)院北京1000812.智能信息技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室北京100081

1.School of Computer Science，Beijing Institute of Technology，Beijing 1000812.Beijing Laboratory of Intelligent Information Technology，Beijing 100081