孫國慶,侯忠生

(青島大學自動化學院,山東青島 266071)

1 引言

隨著集成電路和多媒體技術的發(fā)展,人們通過相機采集到大量的視頻數(shù)據(jù),為計算機視覺的研究與發(fā)展提供了豐富的數(shù)據(jù)集.在計算機視覺領域,視頻序列中的運動目標檢測[1-2]是一項重要研究課題.運動目標檢測是通過分析視頻序列圖像,提取場景中的運動目標,是進行目標跟蹤[3]、行為識別[4]和異常檢測[5]等后續(xù)更高級處理的關鍵步驟.背景減除[6-7]是應用于運動目標檢測的有效方法.只要得到視頻序列中穩(wěn)定的背景圖像,將視頻序列中的原圖像與背景圖像做差分運算,即可得到前景運動目標圖像.

2012年召開的IEEE CVPR’2012國際會議上對近年來運動目標檢測的研究成果進行了評價并總結成文[8].同時IEEE CVPR’2012提供了7類公共視頻數(shù)據(jù)集,每類數(shù)據(jù)集又包含不同場景下采集到的視頻序列.IEEE CVPR’2014將公共視頻數(shù)據(jù)集由7類增加到11類[9].根據(jù)采集視頻序列的相機與被監(jiān)控場景是否有相對運動,該數(shù)據(jù)集分為靜態(tài)背景和動態(tài)背景兩類.在11類公共視頻數(shù)據(jù)集中,其動態(tài)背景包含相機抖動、相機旋轉和相機縮放3種不同場景.現(xiàn)實世界中由于自然風或地面震動等原因造成相機抖動是一種常見現(xiàn)象.相機抖動會造成整幅圖像發(fā)生偏移,從而導致現(xiàn)有大多數(shù)背景減除法處理效果不理想.同時視頻背景圖像也會因天氣、光照、傳輸噪聲等影響發(fā)生不確定性的變化,這也會給背景圖像的提取增加困難.為了克服這些干擾,構造一個更加接近真實值的背景圖像表達方式是非常關鍵的.

目前,有多種先進的背景表達方式,如混合高斯(mixture of Gaussians,MoG)、核密度估計(kernel density estimation,KDE)[10]、模糊積分(fuzzy integrals,FI)[11]、自組織映射(self-organizing map,SOM)等.盡管背景圖像表達方式不同,但均利用視頻序列的歷史數(shù)據(jù),通過特定歷史數(shù)據(jù)處理方法對背景圖像建立數(shù)學模型.然后根據(jù)模型對新視頻序列實時處理進而表達背景圖像.歷史數(shù)據(jù)處理方法可分為以下3種[12]:

1) 原始數(shù)據(jù)統(tǒng)計模型.

統(tǒng)計背景圖像歷史數(shù)據(jù)的中值[13]、平均值、加權平均值或其它統(tǒng)計指標建立數(shù)學模型來預測背景值.顯然原始數(shù)據(jù)統(tǒng)計模型不能實時適應背景變化.

2) 數(shù)據(jù)統(tǒng)計分布模型.

假定背景圖像歷史數(shù)據(jù)滿足某些統(tǒng)計分布,根據(jù)統(tǒng)計分布建立數(shù)學模型來表示背景.代表模型有核密度估計[10]、混合高斯模型(Gaussian mixture model,GMM)[14]、基于區(qū)域高斯混合(region-based mixture of Gaussians,RMOG)[15]等.但當背景圖像受到噪聲干擾,背景值可能會出現(xiàn)不符合假定統(tǒng)計分布的情況.

3) 數(shù)據(jù)學習模型.

數(shù)據(jù)學習模型是通過特定的學習方式提取歷史數(shù)據(jù)特征來預測背景,克服了數(shù)據(jù)統(tǒng)計分布模型的假設失效問題,同時模型的精度和魯棒性可由學習方法和預測因子的合理選取來保障.代表模型有模糊積分(fuzzy integrals)[11]、碼本(codebook)[16]和自組織背景相減(self-organizing background subtraction,SOBS)[17]等.

當場景發(fā)生變化或受到光照噪聲等影響時,建立的模型可能會出現(xiàn)失真情況,導致難以表示真實的背景圖像.基于失真模型而得到的圖像處理結果其可應用性將會受到質疑.數(shù)據(jù)驅動方法是根據(jù)系統(tǒng)的歷史在線數(shù)據(jù),直接尋找輸入輸出數(shù)據(jù)之間的關系,進而可省略建模過程,直接得到所期望結果的方法.數(shù)據(jù)驅動方法更適合背景圖像的表達,可避免數(shù)學模型帶來的不確定性.

無模型自適應控制(model-free adaptive control,MFAC)理論是侯忠生教授于1994年提出并已經得到廣泛驗證的數(shù)據(jù)驅動方法[18-21].該方法不包含系統(tǒng)模型信息,僅利用被控系統(tǒng)的輸入輸出數(shù)據(jù),避免了模型帶來的干擾.MFAC方法已經在運動目標檢測方面得到成功的應用[12,22].文獻[12]用MFAC方法處理灰度視頻序列.文獻[22]在灰度視頻序列的基礎上,使用了多輸入多輸出情形下的MFAC方法處理RGB視頻序列.基于彩色圖像的MFAC算法分離的前景圖像正確率更高.上述MFAC方法的應用場景均是在靜態(tài)背景,然而在動態(tài)背景中,例如相機抖動場景,MFAC對視頻序列中運動目標檢測還沒有任何研究.

相機抖動會造成相鄰兩幀圖像發(fā)生偏移,即圖像上同一物體對應的像素點在坐標位置上發(fā)生平移.同時抖動也會造成圖像邊界像素丟失和新的像素信息進行填補.如果抖動造成的偏移量不太大,例如圖像偏移量不超過整幅圖像的10%,根據(jù)實際圖像處理經驗,此時大多數(shù)像素點僅在位置上發(fā)生平移運動.如果能計算出相鄰兩幀圖像之間的偏移量,然后對偏移量進行運動補償,可有望消除相機抖動帶來的干擾.即通過背景補償法[23]將動態(tài)背景轉化為靜態(tài)背景.

本文在MFAC算法處理靜態(tài)視頻序列圖像的基礎上,提出了一種處理相機抖動場景下運動目標檢測的無模型數(shù)據(jù)驅動算法.其流程圖如圖1所示.具體算法描述如下:通過特征檢測獲取相鄰兩幀圖像若干穩(wěn)定的特征點對,根據(jù)匹配特征點對的偏移量來估計相機的偏移量,進行背景運動補償.利用基于緊格式動態(tài)線性化(compact form dynamic linearization,CFDL)的MFAC方法,建立背景圖像更新系統(tǒng),實現(xiàn)對視頻序列背景圖像的表達.運用背景減除法,提取出前景運動目標.最后通過不同視頻序列進行仿真實驗,并與其它運動目標檢測方法進行對比,來驗證本文算法的有效性和優(yōu)越性.

圖1 MFAC相機抖動場景運動目標檢測步驟Fig.1 Steps of MFAC moving object detection in camera jitter scene

2 特征問題

在相機抖動場景中,如果不考慮像素偏移量,直接運用MFAC方法表達背景圖像,構建出來的背景圖像會隨著幀數(shù)的增加逐漸模糊化,造成大量的誤檢區(qū)域并引入很多噪聲,示意圖像見圖2.小幅值的相機抖動沒有改變圖像的局部特征,只是在坐標位置上發(fā)生偏移.因此圖像的特征檢測是作為估計相機偏移量的優(yōu)選.本文利用Harris角點檢測算法[24]分別提取相鄰兩幀圖像的角點特征,作為計算偏移量的特征點.

圖2 相機抖動場景直接運用MFAC進行處理Fig.2 MFAC is directly used for image processing in camera jitter scene

2.1 特征檢測

Harris角點檢測算法原理[24]是利用窗口內圖像灰度的自相關性進行的.當像素點在橫向和縱向都出現(xiàn)像素值較大變化時,即認定為特征角點.檢測過程為設定一個窗口并在圖像中移動,計算移動前與移動后窗口所在區(qū)域圖像的自相關系數(shù).對于圖像I(x,y),當在像素點(x,y)處平移(Δx,Δy)后的自相似性通過下面自相關函數(shù)給出:

式中:(x,y)是窗口中心位置,w為窗函數(shù)(window function),L表示窗口,(Δx,Δy)是窗口的偏移量,E表示圖像灰度變化的劇烈程度.對E做泰勒展開:

特征點響應函數(shù)用下式表示:

式中:det(M)表示矩陣M的行列式,trace(M)表示矩陣M的跡,R表示特征點響應值.?為經驗常數(shù),一般在0.04至0.06之間取值.當R ?0時,即為檢測到的特征角點區(qū)域.

2.2 特征匹配

本文采用歐式距離的方法[25]對特征點進行初匹配.假設兩個特征點為p和q,其128維的特征描述子記為Dp和Dq,則歐式距離用下式表示:

通過采用最近鄰與次近鄰距離比值法作為特征匹配的相似性度量準則.選取與目標特征點的最近鄰參考特征點作為正確匹配點,取次近鄰參考特征點作為錯誤匹配點.如果二者歐氏距離的比值小于設定的閾值時,則認為是特征匹配點.特征點初匹配結果如圖3所示.

圖3 初匹配結果Fig.3 Initial matching results

在進行初匹配的特征點對結果中,不僅包含背景圖像物體的匹配特征點對,同時也包含了前景運動物體的匹配特征點對.前景運動物體位置偏移是由前景物體本身運動與相機運動共同造成,故匹配的前景運動物體特征點對應該被剔除.本文采用隨機抽樣一致算法(random sample consensus,RANSAC)[26]去除前景匹配特征點對.只保留背景匹配特征點對結果如圖4所示.在只包含背景匹配特征點對得到的一組偏移量數(shù)據(jù)中,出現(xiàn)次數(shù)最多的數(shù)值即為相鄰兩幀照片的偏移量(Δm,Δn).

圖4 去除前景匹配特征點對匹配結果Fig.4 Remove the matching result of foreground matching feature point pairs

3 背景表達

通過估計出相機偏移量,確定相鄰兩幀圖像像素之間的對應關系,目的是克服相機抖動的干擾,使動態(tài)背景轉化為靜態(tài)背景運動目標檢測.下面將利用數(shù)據(jù)驅動的思想進行背景圖像的表達.

3.1 原始MFAC算法

考慮下面一類在線單入單出離散時變非線性系統(tǒng):

式中:f(·)是未知的非線性函數(shù),y(k)與u(k)分別是系統(tǒng)在k時刻的輸出與輸入,ny與nu分別是系統(tǒng)輸出與輸入的未知階數(shù).

假設1f(·)關于控制輸入的偏導數(shù)是連續(xù)的.

假設2除有限時刻點外,控制系統(tǒng)(9)滿足廣義利普希茨條件,即對任意的k12,k1≥0,k2≥0和u(k1)(k2),有|Δy(k+1)|≤c|Δu(k)|,其 中Δy(k+1)=y(k+1)?y(k),Δu(k)=u(k)?u(k ?1),c ＞0是一個常數(shù).

注1假設1是大多數(shù)數(shù)據(jù)驅動算法的一般條件.假設2是對受控對象動力學行為的一種約束,即有限的影響因素變化不能引起無限的輸出行為變化.

對滿足假設1,2的非線性系統(tǒng)(9),當|Δu(k)|0時,一定存在一個被稱為偽偏導數(shù)(pseudo partial derivative,PPD)的時變參數(shù)φc(k)∈R,使得系統(tǒng)(9)轉化為如下CFDL數(shù)據(jù)模型[19]:

并且φc(k)對任意時刻k有界.

考慮如下控制輸入準則函數(shù):

式中:λ ＞0是一個權重因子,目的是限制控制輸入的變化;y?(k+1)為期望輸出.

將式(10)帶入準則函數(shù)(11)中,對u(k)求導并令其導數(shù)為零,可得如下控制算法[19]:

式中:ρ ∈(0,1]是步長因子,目的是使算法更具有一般性.

式(12)中φc(k)的值是未知的,考慮如下估計準則函數(shù):

式中:μ＞0是權重因子.對式(13)關于φc(k)求極值,可得PDD的估計算法:

式中:η ∈(0,1]是步長因子,目的是使估計算法更具有一般性.(k)是φc(k)的估計值.

綜合PPD估計算法(14)和控制算法(12),單入單出離散時變非線性系統(tǒng)的CFDL-MFAC方案如下[19]:

注2式(15)是PPD估計算法,式(16)是重置算法,式(17)是控制輸入算法.重置算法的引入是為了使PPD估計算法具有更強的對時變參數(shù)的跟蹤能力.

3.2 靜態(tài)背景表示

在靜態(tài)場景中,視頻序列背景圖像中像素點(m,n)在各個時刻的值用{b(m,n,1),b(m,n,2),···,b(m,n,t)}序列表示.該序列可看作單入單出離散時變非線性系統(tǒng).視頻背景圖像受自然環(huán)境影響緩慢變化,且像素值為有界正整數(shù),所以背景圖像的生成滿足假設1和2.因此可以將背景圖像生成系統(tǒng)轉化為如下CFDL數(shù)據(jù)模型[12,22]:

3.3 相機抖動背景表示

相機抖動引起像素坐標位置偏移,相鄰兩幀圖像像素對應點的坐標位置在時刻發(fā)生變化,其變化規(guī)律可用下式表示:

式中:i代表以當前時刻為基準向前i個時刻.Δm(t ?i ?1),Δn(t ?i ?1)分別表示t ?i和t ?i ?1相鄰兩時刻圖像在行和列方向的偏移量.當前時刻像素點坐標(m0,n0)因為偏移對應的t ?1時刻的像素點坐標為(m1,n1).

在相機抖動場景中,視頻序列背景圖像中像素點(m,n)在各個時刻的值用{b(m,n,1),b(m ?Δm(1),n?Δn(1),2),···,b(m?t)}序列表示,該序列依然可看作單入單出離散時變非線性系統(tǒng),同樣滿足假設1和2.因此背景圖像生成系統(tǒng)轉化為如下CFDL數(shù)據(jù)模型:

式中:Δb(m0,n0,t)=b(m0,n0,t)?b(m1,n1,t?1),b(m1,n1,t ?1)表示像素(m1,n1)在t ?1時刻生成的背景圖像,其對應的是t時刻像素(m0,n0)的背景圖像;φ(m1,n1,t ?1)表示背景圖像生成系統(tǒng)的偽偏導數(shù);Δu(m1,n1,t ?1)表示背景圖像生成系統(tǒng)的輸入變化,用下式表示:

因此,相機抖動場景下CFDL-MFAC背景圖像生成方案用式(25)-(27)表示:

4 背景更新與前景提取

實時進行背景更新與前景提取是整個運動目標檢測系統(tǒng)的兩個關鍵步驟,二者交錯迭代進行.前景提取采用如下背景減除法:

式中:F表示像素點(m0,n0)在t時刻前景目標判斷結果,th代表前景與背景的分離閾值.當差分結果大于等于閾值th,表示t時刻像素點(m0,n0)被前景運動目標遮擋,則F值為1,分離出前景目標;當差分結果小于閾值th,表示t時刻像素點(m0,n0)處為背景,則F值為0,進行背景更新.

選擇性背景更新策略用下式表示:

式中:當F的值為1時,代表在t時刻存在前景目標,此時需要更新的背景像素點就用前一時刻相機抖動對應的背景像素點值代替.當F的值為0時,代表在t時刻不存在前景目標,背景更新就用MFAC的方法減少各種噪聲的干擾.

注3相機抖動會使部分像素點丟失,導致邊界像素點無法找到前一時刻對應的坐標像素點.采用當前時刻圖像的像素點作為背景圖像像素點進行更新,用下式表示:

5 實驗驗證

5.1 實驗環(huán)境及參數(shù)

PC機配置為windows 10操作系統(tǒng),AMD Ryzen 7 4800H,2.90 GHz 8Cores,16 GB RAM.軟件為MATLAB2019.

視頻數(shù)據(jù)集是由IEEE CVPR發(fā)布在ChangeDetection.net網站上的數(shù)據(jù)集dataset2014.dataset2014提供了11類視頻數(shù)據(jù)集,其中camera Jitter是專門的相機抖動場景下的視頻數(shù)據(jù)集,包含四大視頻序列,根據(jù)場景不同所對應的視頻序列的名字分別為badminton,boulevard,sidewalk,traffic.該四類場景視頻序列即為本文所處理的視頻數(shù)據(jù)集.

5.2 參數(shù)選擇

控制方案(27)-(29)中的參數(shù)ρ,λ,μ,η將會影響控制系統(tǒng)的穩(wěn)定性和響應速度.本文中,參數(shù)選取為ρ=0.1,λ=1,μ=1,η=1,φ(m,n,1)=0.2,th=25.背景初始化方法根據(jù)文獻[27]確定.

5.3 定性結果

將本文方法與KDE[10],GMM[14],RMOG[15]和SOBS[17]4種方法進行比較.仿真結果如圖5-6所示.圖5是同一視頻序列boulevard不同視頻幀的實驗對比結果.從圖5中可以看出MFAC方案更新的背景基本還原了真實的背景圖像,同時提取的前景更加接近真實前景圖像,且包含更少的誤檢噪點,基本消除了相機抖動和外部光照等噪聲的影響.圖6是針對不同視頻序列traffic,sidewalk,badminton的仿真結果,從圖6中可以看出,基于MFAC的方法,更新的背景與分離的前景圖像效果最好,表明MFAC方法普適性、魯棒性最強.

圖5 視頻序列boulevard.(a)當前原始圖像;(b)真實前景圖像;(c)MFAC提取的前景圖像;(d)MFAC提取的背景圖像;(e)GMM;(f)KDE;(g)RMOG;(h)SOBS.視頻幀數(shù)分別是#900,#1200,#1490Fig.5 The video sequence comes from boulevard.(a)original image;(b)ground truth;(c)foreground image by MFAC;(d)background image by MFAC;(e)GMM;(f)KDE;(g)RMOG;(h)SOBS.The video frames are#900,#1200,#1490,respectively

圖6 視頻序列分別為traffic,sidewalk,badminton.(a)當前原始圖像;(b)真實前景圖像;(c)MFAC提取的前景圖像;(d)MFAC提取的背景圖像;(e)GMM;(f)KDE;(g)RMOG;(h)SOBS.視頻幀數(shù)分別是#960,#880,#1100Fig.6 The video sequences come from traffic,sidewalk,badminton,respectively.(a) original image;(b) ground truth;(c)foreground image by MFAC;(d)background image by MFAC;(e)GMM;(f)KDE;(g)RMOG;(h)SOBS.The video frames are#960,#880,#1100,respectively

5.4 定量評價

IEEE CVPR提供了如下定量評價數(shù)量檢測指標,即:召回率(recall)、精密度(precision)、F-測度(F-measure)和正確分類率(percentage of correct classification,PCC)[8-9]用于檢驗不同前景圖像提取方法.

式中:TP表示準確提取的背景像素點個數(shù);TN表示準確提取的前景像素點個數(shù);FP表示錯誤識別為背景的前景像素點個數(shù);FN表示錯誤識別為前景的背景像素點個數(shù).

召回率代表被正確提取為背景的像素點占理想狀態(tài)背景的比例.精密度代表提取出的背景圖像中理想狀態(tài)背景占得比例.F-測度結合召回率和精確度綜合反映背景提取方法的性能.正確分類率代表正確分類背景和前景占總像素點數(shù)的比例.這些指標均代表準確率,數(shù)值越接近1代表方法性能越好.

前景圖像數(shù)值指標對比結果見圖7-10.本文提出的方法前景召回率穩(wěn)定在90%左右,說明對前景圖像的提取較為完整.像素正確分類率在98%以上,表明前景與背景分離效果較好.

圖7 召回率的對比Fig.7 Comparison of recall

圖8 精密度的對比Fig.8 Comparison of precision

表1匯總了數(shù)據(jù)集cameraJitter4類視頻序列全部的實驗指標結果,以平均值的形式進行對比.從中可以看出,MFAC對視頻序列處理的結果指標保持最高,要優(yōu)于其他方法.

圖9 F-測度的對比Fig.9 Comparison of F-measure

圖10 正確分類率的對比Fig.10 Comparison of PCC

表1 不同方法的定量比較Table 1 Quantitative comparisons on different methods

表2匯總了幾種方法的處理速度,MFAC因為其計算簡單、計算量小的優(yōu)點,在處理速度上也優(yōu)于其它算法.

表2 不同方法處理速度比較Table 2 Processing speed on different methods

從仿真對比的定性分析與定量分析結果中,可以看出,本文提出的估算相機偏移量,基于MFAC圖像處理算法可以很好地處理相機抖動場景下的運動目標檢測問題.同時基于數(shù)據(jù)驅動的方式避免了模型失真的影響,且具有更強的跟蹤能力、魯棒性以及對場景的適應性更強.

6 結論

為了克服相機抖動與光照變化等外界因素對背景圖像表達的影響,提出一種以特征檢測來消除相機抖動的干擾、借助CFDL-MFAC數(shù)據(jù)驅動控制算法來實現(xiàn)更新背景圖像的方法.仿真試驗對比表明,本文提出的解決方案具有較高的圖像處理能力,可為解決相機抖動場景中的運動目標檢測提供技術支持.

后續(xù)工作將針對相機旋轉、縮放以及其他更加實際場景下的圖像處理問題,同時也將研究將該算法進行實際系統(tǒng)應用的可能性上.