戴夏強, 周大可, 鹿 樂

(1. 南京航空航天大學 自動化學院, 南京 210016; 2. 中國兵器北方信息控制集團有限公司, 南京 211153)

0 引 言

隨著生活條件的改善, 汽車進入了越來越多的家庭, 智能交通的概念正是在交通狀況日益惡化的條件下提出的。其中運動目標檢測是智能交通的關鍵步驟, 準確性高的運動目標檢測有利于后續(xù)的車輛特征提取、 目標跟蹤等步驟。常用的運動目標檢測方法主要有光流法、 背景差分法、 幀間差分法和特征檢測法等。其中背景差分法廣為使用。

背景差分法[1-5]一般分為兩種： 自適應方法和非自適應方法。非自適應方法主要有人工選擇、 逐像素點投票法和均值搜索算法等。但非自適應方法由于計算復雜和需要人工的初始化等因素逐漸被舍棄。自適應方法主要有隱馬爾科夫模型法[5]、 卡曼濾波法[6]、α混合法[7]和高斯混合法[8]等。α混合法最簡單、 速度最快, 但檢測緩慢運動目標的效果較差, 并且它和卡曼濾波一樣不能解決背景多模態(tài)的問題。隱馬爾科夫模型法雖然能解決背景的多樣變化性問題, 如燈光的亮和暗, 但計算量太大, 不適宜用于實時的車輛檢測中。而Stauffer等[2]提出的混合高斯模型(GMM： Gaussian Mixture Model)是建立背景較常見和成功的方法之一, 主要由于它能很好地適應背景的多態(tài)性和緩慢變化性, 并且計算簡單, 特別是Grimson等[1]提出的背景更新方程迭代的方法使背景的學習更加簡單高效。它主要對每個像素點、 每幀都建立一個混合高斯方程, 通過學習, 確定點屬于前景或背景, 但它也有一些開放性的問題, 如不穩(wěn)定的背景、 移動緩慢的穩(wěn)定前景、 光照的突變和陰影等, 這些問題比較典型。目前很多人針對GMM提出了一些改進的方法, 李全民等[9]把背景重構(gòu)和前景消融世間控制機制整合到傳統(tǒng)自適應混合高斯背景模型中, 提高了運動分割的質(zhì)量； 李偉等[10]提出根據(jù)統(tǒng)計每個像素每個模型被匹配的次數(shù), 為每個像素分配一個學習率, 并且在線更新學習率; 馬義德等[11]針對模型收斂較慢和檢測大而慢的運動物體效果不理想的缺點, 提出對均值和方差的更新采用不同的學習率和引入權(quán)值均值的概念。

筆者充分考慮到車輛運動的連續(xù)性和空間性以及每幀的檢測結(jié)果, 提出了一種基于匹配度分布的混合高斯車輛檢測算法。該算法兼顧時間性和空間性, 通過實驗有效地證明了該算法在不穩(wěn)定的背景、 移動緩慢的穩(wěn)定前景、 光照突變的問題上有較高的魯棒性, 并且復雜度沒有太大增加, 很適合用于車輛的實時檢測。

1 ROI提取

在車輛檢測中, 人們一般使用背景差分法提取ROI(Region of Interest)。因此, 首先要進行背景建模, 常用的背景建模方法是高斯混合模型, 檢測動目標的區(qū)域, 然后對該區(qū)域進行形態(tài)學濾波、 連通性分析和陰影消除等后續(xù)處理, 最后可以提取車輛區(qū)域。

1.1 高斯混合模型

在統(tǒng)計模式識別中, 高斯混合模型可用于對多變量數(shù)據(jù)進行建模, 得到數(shù)據(jù)的近似分布。Grimson等[1]提出了高斯混合法對顏色特征建模, 可把每個像素點看作為K個高斯的混合分布, 因此, 要得到每個像素點的混合高斯概率分布, 只需其概率密度函數(shù)滿足

(1)

(2)

其中μk,Σk分別是第k個高斯模型的均值向量和協(xié)方差矩陣, 即θk=[μk,Σk]。

1.2 模型參數(shù)估計

在高斯混合模型參數(shù)估計中, 由于樣本沒有類別標記, 為不完全樣本, 因此不能采用最大似然估計的方法估計參數(shù), 通常采用期望最大化算法EM(Expectation Maximization)進行參數(shù)估計[12]。但對像全天候不斷變化的交通道路, 要不斷采樣變化的樣本, 如果使用EM方法不停地估計高斯混合模型的參數(shù), 則會導致計算的重復性, 增加數(shù)據(jù)處理的負擔, 無法滿足視頻中車輛檢測的實時性。因此, Grimson等[1]提出了自適應混合高斯背景模型算法。該算法可進行迭代更新, 計算簡便, 成功地解決了背景變化對目標檢測的干擾, 能有效地抑制緩慢光照變化, 滿足了視頻監(jiān)控的實時性要求。

(3)

其中α和ρ都是學習率,α可初始化為一個常量,ρ=α/ωi,t,Mi,t為匹配標志函數(shù)。

(4)

要進行參數(shù)更新, 匹配準則必須滿足

|Xt-μi,t-1|≤Dσi,t-1

(5)

其中D為參數(shù), 一般取2,μi,t-1和σi,t-1為第i個像素點t-1時刻的第k個單高斯函數(shù)的參數(shù)。

1.3 車輛目標的分離

按照式(3)～(5)可得到K個高斯分布, 按照從大到小的原則進行排列, 最有可能代表背景的是前B個高斯分布, 取背景高斯分布的準則如下

(6)

其中T為權(quán)重閥值,ωk是高斯的權(quán)值。

根據(jù)式(1)得到背景圖像, 根據(jù)式(5)比較像素和K個高斯分量之間的關系, 可得到動目標的前景區(qū)域[9], 再通過對前景圖像的進一步處理, 包括陰影消除、 形態(tài)學濾波, 可得到車輛的區(qū)域。由于在開始背景學習的過程中, 像素的權(quán)值較小, 因此, 模型的學習率較大, 車輛區(qū)域像素值很容易被更新到背景的模型中； 當車輛區(qū)域較大、 顏色紋理較均勻并且速度較慢時, 車輛區(qū)域像素在背景學習的過程中會占據(jù)較大的權(quán)值, 進而會誤認為車輛一部分區(qū)域為背景區(qū)域, 很容易在檢測的過程中導致車輛的斷裂, 誤認為多輛車, 對于后續(xù)的操作產(chǎn)生不良影響。因此, 傳統(tǒng)的背景模型的學習有很大的弊端。

2 模型學習的改進及目標的檢測

Stauffer等[2]的方法在背景初始化后通過迭代的方法可收斂到一個估計的背景。在目標檢測的過程中, 背景越是穩(wěn)定和準確, 目標的檢測則越好。但對于面積大、 車速較慢、 顏色較均勻的車輛, 用傳統(tǒng)的方法很容易把車輛的顏色信息納入到背景的混合高斯模型中, 這樣很容易造成車輛檢測的斷裂或沒有檢測出車輛的問題。所以筆者把檢測目標的空間信息引入到高斯混合模型的學習中, 充分利用前一幀每個像素鄰域的匹配信息, 構(gòu)建一個匹配分布函數(shù), 改變學習規(guī)則, 對模型進行選擇性學習, 既提高了背景區(qū)域模型的穩(wěn)定性, 同時又提高了車輛區(qū)域背景模型的準確性。車輛區(qū)域檢測過程如圖1所示。

圖1 車輛區(qū)域檢測流程

2.1 含有鄰域信息的匹配度分布

為得到含有鄰域信息的匹配分布, 必須知道前一幀車輛檢測的初步結(jié)果, 因為在車輛圖像中, 車輛的前景是以塊產(chǎn)生的, 一個像素的匹配受到該像素鄰域像素點匹配的影響[13]; 在背景區(qū)域, 背景像素匹配度明顯大于車輛區(qū)域或車輛邊緣區(qū)域, 引入鄰域信息加強了匹配度的區(qū)域一致性, 同時減少了邊緣以及噪聲對點匹配度的干擾, 在這里定義一個匹配分布函數(shù)

(7)

(8)

2.2 背景更新策略

傳統(tǒng)的更新參數(shù)的高斯混合模型在背景初始化階段能產(chǎn)生很好的檢測效果, 但在參數(shù)更新的過程中使用迭代的方法會使更新很慢。由于自適應混合高斯模型的學習率普遍采用ρ=α/ωi,t(使用β=αη(It(x,y)|μi,t,σi,t) 計算量較大), 隨著時間的增長, 權(quán)重較大的像素點的學習率很小, 所以保證了背景的穩(wěn)定性； 權(quán)重較小的像素點的學習率較高, 這樣可以適應背景像素點的變化, 增加了背景的準確性。但當大而且速度慢的車輛進入時, 就會導致車輛成分融入到背景中, 造成誤檢。因此, 對車輛圖像, 在分析前幾幀的檢測結(jié)果基礎上, 計算其匹配度分布, 調(diào)整該像素的學習率, 降低不大可能屬于背景點的學習率, 同時增加背景像素的學習率, 以便提高復雜情況下車輛的檢測。

具體的更新步驟如下。

1) 高斯模型初始化。由于筆者的背景更新中涉及的匹配分布依賴于前幾幀的車輛檢測結(jié)果, 背景初始化的準確性影響到后續(xù)的檢測效果, 因此筆者采用模糊c均值聚類算法。首先對前面的多幀圖像進行聚類, 選定類別數(shù), 有限地判斷每個像素的初始均值、 方差。假設圖像中每個像素點有M個樣本, 再把每個像素點的樣本分成c類, 定義一個損失函數(shù)

(9)

其中uij代表在第i類的第j個樣本xj的友好度,vi是第i類的中心, 參數(shù)m是聚類的模糊度, 一般取值為2。

(10)

(11)

模糊c均值聚類可用迭代的方法收斂到一個合適的值, 當屬于原本該類的像素點取得高友好度、 而不屬于該類的像素點取得低友好度時, 損失函數(shù)取得最小值。最后聚類類別數(shù)目就是混合高斯成分的數(shù)目, 每類的均值和方差對應于每個單高斯的均值和方差, 每個單高斯的權(quán)值為每類別樣本數(shù)目在總數(shù)目的權(quán)值。

3) 光照突變影響的克服。假定車輛實時現(xiàn)場像素點的變化是連續(xù)變化的, 傳統(tǒng)的高斯混合模型沒有解決常見的光照突變問題。由于車輛移動和背景像素點變化是連續(xù)的, 所以圖像序列匹配度分布的變化也是連續(xù)的。當某幀某個區(qū)域光照突然發(fā)生變化(例如車燈突然打開)時, 傳統(tǒng)混合高斯很容易把照亮區(qū)域檢測為車輛區(qū)域, 并且把照亮區(qū)域融入到背景的學習中, 鑒于該區(qū)域匹配度變化的連續(xù)性, 選用下面的更新策略。

2.3 前景的確定與噪聲點去除

對前景的確定筆者選擇Stauffer的思想, 循環(huán)計算像素點有序高斯分布的權(quán)值之和, 按照閾值法生成背景圖像。該實驗中T=0.8。有了背景圖像, 再通過背景差分法得到前景圖像, 此時得到的前景中包括運動目標區(qū)域和噪聲點。檢測的目標區(qū)域包含陰影部分, 所以要準確提取車輛, 必須去除陰影。目前普遍采用的方法是色彩空間法[15], 基于HSV的色彩空間信息的陰影檢測算法屬于非模型類, 采用該方法是因為HSV色彩模型非常符合人對顏色的視覺感知的生理特性, 而且能更精確地反映一些灰度信息和色彩信息, 特別對圖像中極亮和極暗的物體, 也能反應出相應的信息。背景在被陰影遮擋前后利用兩個色彩分量(顏色H(Hue)和飽和度S(Saturation))的變化量之比近似不變的特性進行陰影檢測, 檢測物體的陰影, 從而達到去陰影的目的。

傳統(tǒng)的噪聲點分為孤立噪聲點和車輛區(qū)域內(nèi)部噪聲點。對于孤立噪聲點, 這里用連通性分析, 計算其面積。由于車輛區(qū)域是以塊產(chǎn)生的, 車輛的區(qū)域明顯大于孤立噪聲點的區(qū)域, 因此, 可用一個面積閾值消除孤立噪聲點。而對于車輛內(nèi)部噪聲點, 這里使用形態(tài)學的方法。通過選擇合適的結(jié)構(gòu)元進行開閉運算, 開運算可以消除車輛周圍點連接的噪聲點, 閉運算可以填補車輛內(nèi)部碎化的小區(qū)域, 然后通過車輛內(nèi)部填充可得到完整的車輛區(qū)域。

3 實驗結(jié)果與分析

為驗證該算法的有效性, 筆者選取一個真實場景序列作為測試對象, 該場景來自真實的交通攝像頭拍攝的視頻。為證實傳統(tǒng)的Grimson自適應高斯混合模型在檢測面積大、 車速較慢、 顏色較均勻的車輛的缺陷, 這里選取了有代表性的目標圖片。該圖片中車輛速度慢, 車長, 而且顏色較均勻。首先用傳統(tǒng)的高斯混合模型進行車輛區(qū)域(包括陰影部分)的提取, 為了在實時交通視頻處理中提高檢測的實時性, 提高計算速度, 對每個像素選取3個高斯成分, 每個像素點取1維, 即灰度, 初始方差為36, 參數(shù)α=0.01,T=0.8。在改進的混合高斯方法中首先對前90幀用c均值聚類算法求得混合高斯模型的初始參數(shù)。為了提高計算的速度, 聚類類別數(shù)也選擇3, 即初始化混合高斯成分數(shù)為3, 方差和均值都可從c均值聚類中得到, 參數(shù)T1選擇0.7,T2選擇0,2,m選擇30, 參數(shù)α=0.01 ,T=0.8, 匹配分布的窗口半徑都選為4。隨著背景不停學習, 高斯成分數(shù)目將發(fā)生變化, 在穩(wěn)定的背景區(qū)域高斯成分數(shù)目將變得很小, 而在光照緩慢變化的前景區(qū)域?qū)⒆兊煤艽? 檢測效果如圖2和圖3所示。

a 第78幀 b 第82幀 c 第78幀檢測結(jié)果 d 第82幀檢測結(jié)果

a 第91幀 b Grimson GMM檢測結(jié)果 c 改進GMM檢測結(jié)果 d 傳統(tǒng)GMM生成的背景

e 圖2的第100幀 f Grimson GMM檢測結(jié)果 g 改進GMM檢測結(jié)果 h 改進GMM生成的背景

從圖2可看出, 用傳統(tǒng)的高斯模型檢測小車輛區(qū)域時, 檢測的效果很好, 包括了陰影區(qū)域。但是, 從圖3b和圖3f可看出, 大車輛車身檢測斷裂了, 其他一些小的目標的陰影部分也發(fā)生空洞。從圖3d可看到車輛的影子(包括一些車輛的漣漪), 表明傳統(tǒng)混合高斯模型在提取背景過程中把車輛的成分放到了模型中。從圖3c、圖3g和圖3h可看到, 使用改進的方法, 背景的提取明顯比傳統(tǒng)方法準確, 包括可看到的右側(cè)的陰影背景, 車輛本身提取很完整, 沒有發(fā)生斷裂。

在圖4中, 筆者加入一幅光照突變的圖片, 這種狀況在一般的情況下很容易發(fā)生, 包括車輛車燈突然打開的情況, 造成了局部光照明顯加強。在圖4b中發(fā)生光照突變, 在圖4c中可看到, 用傳統(tǒng)的自適應高斯混合模型很容易把大部分的區(qū)域歸入到前景, 所以造成目標的誤檢, 在圖4d中采用改進的方法成功地檢測出一些車輛目標。

a 第97幀原圖 b 第97幀光照突變圖片 c Grimson GMM檢測結(jié)果 d 改進GMM檢測結(jié)果

為準確評估兩種算法的有效性, 這里引入了前景檢測率

(11)

表1 算法檢測率結(jié)果

在這個實例中, 傳統(tǒng)方法每幀的處理時間平均為0.036 879 s, 而改進算法的時間平均為0.078 274 s, 在處理時間上沒有大幅增加, 完全可運用到實時的檢測中。

這里可得到一些結(jié)論： 傳統(tǒng)的自適應混合高斯模型沒有得到車輛的完整提取, 存在一些缺陷, 改進的方法克服了傳統(tǒng)高斯混合模型車輛斷裂、 背景學習的不準確性和光照帶來的影響, 使檢測率平均提高了16%以上, 計算方便, 可在實時交通檢測中應用。

4 結(jié) 語

筆者針對車輛檢測中存在的幾種缺陷, 提出了一種改進的混合高斯檢測算法。該算法用c均值聚類法求初始值, 使開始的車輛檢測更加準確, 有利于后續(xù)幀的檢測。根據(jù)先前幾幀檢測的匹配度分布, 有效利用了時間圖片序列的信息, 并且讓每個點的更新都與鄰域相關, 改變背景學習的規(guī)則。實驗結(jié)果表明, 該算法比傳統(tǒng)的混合高斯檢測方法更加優(yōu)越, 有效地克服了車輛檢測的斷裂以及光照突變等問題, 提高了車輛區(qū)域檢測的準確性。對學習率如何準確調(diào)整以及一些參數(shù)的準確設定, 有待進一步研究。

參考文獻：

[1]GRIMSON W E, STAUFFER C, ROMANO R, et al. Using Adaptive Tracking to Classify and Monitor Activities in a Site [C]∥Proceedings of the IEEE Computer Vision and Pattern Recognition. California, USA: IEEE Computer Society Press, 1998: 22-29.

[2]STAUFFER C, GRIMSON W E. Adaptive Background Mixture Models for Real-Time Tracking [C]∥Proceedings of the IEEE Computer Vision and Pattern Recognition. California, USA: IEEE Computer Society Press, 1999: 246-252.

[3]周游, 劉艷瀅, 王春民, 等. 幾種人體運動檢測算法的比較分析 [J]. 吉林大學學報: 信息科學版, 2009, 27(6): 652-657.

ZHOU You, LIU Yan-ying, WANG Chun-min, et al. Contrast Research of Several Human Motion Detection Algorithm [J]. Journal of Jilin University: Information Science Edition, 2009, 27(6): 652-657.

[4]紀騰飛, 王世剛, 周茜, 等. 基于動靜背景下的視頻對象自適應提取算法 [J]. 吉林大學學報: 信息科學版, 2007, 25(1): 73-77.

JI Teng-fei, WANG Shi-gang, ZHOU Qian, et al. Adaptive Algorithm of Video Object Segmentation under Moving and Static Background [J]. Journal of Jilin University: Information Science Edition, 2007, 25(1): 73-77.

[5]KATO J, WATANABE T, JOGA S, et al. An HMM-Based Segmentation Method for Traffic Monitoring Movies [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(9): 1291-1296.

[6]RIDDER C, MUNKELT O, KIRCHNER H. Adaptive Background Estimation and Foreground Detection Using Kalman-Filtering [C]∥Proceedings of the International Conference on Recent Advances in Mechatronics.ICRAM’95. Istanbul, Turkey: [s.n.], 1995： 193-199.

[7]HARITAOGLU I, HARWOOD D, DAVIS L S. W4: Who? When? Where? What?A Real-Time System for Detecting and Tracking People [C]∥Proceedings of the IEEE International Conference on Automatic Face and Gesture Recognition. California, USA: IEEE Computer Society Press, 1998: 222-227.

[8]MOHAND SAI¨D ALLILI, DJEMEL ZIOU. Object Tracking in Videos Using Adaptive Mixture Models and Active Contours [J]. Neurocomputing, 2008, 7(1): 2001-2011.

[9]李全民, 張運楚. 自適應混合高斯背景模型的改進 [J]. 計算機應用, 2007, 27(8): 2014-2017.

LI Quan-min, ZHANG Yun-chu. Improvement on Adaptive Mixture Gaussian Background Model [J]. Computer Applications, 2007, 27(8): 2014-2017.

[10]李偉, 陳臨強, 殷偉良. 基于自適應學習率的背景建模方法 [J]. 計算機工程, 2011, 37(15): 187-189.

LI Wei, CHEN Lin-qiang, YIN Wei-liang. Background Modeling Approach Based on Self-Adaptive Learning Rate [J]. Computer Engineering, 2011, 37(15): 187-189.

[11]馬義德, 朱望飛, 安世霞, 等. 改進的基于高斯混合模型的運動目標檢測方法 [J]. 計算機應用, 2007, 27(10): 2544-2546.

MA Yi-de, ZHU Wang-fei, AN Shi-xia, et al. Improved Moving Objects Detection Method Based on Gaussian Mixture Model [J]. Computer Applications, 2007, 27(10): 2544-2546.

[12]張運楚, 李貽斌, 張建濱. 高斯混合背景模型的方差估計研究 [J]. 計算機工程與應用, 2012, 48(4): 162-166.

ZHANG Yun-chu, LI Yi-bin, ZHANG Jian-bin. Research on Variance Estimation of GMM Background Model [J]. Computer Engineering and Applications, 2012, 48(4): 162-166.

[13]朱峰, 羅立民, 宋余慶, 等. 基于自適應空間鄰域信息高斯混合模型的圖像分割 [J]. 計算機研究與發(fā)展, 2011, 48(11): 2000-20007.

ZHU Feng, LUO Li-min, SONG Yu-qing, et al. Adaptive Spatially Neighborhood Information Gaussian Mixture Model for Image Segmentation [J]. Journal of Computer Research and Development, 2011, 48(11): 2000-2007.

[14]VASILEIOS KARAVASILIS, CHRISTOPHOROS NIKOU, ARISTIDIS LIKAS. Visual Tracking Using the Earth Mover’s Distance between Gaussian Mixtures and Kalman Filtering [J]. Journal of Image and Vision Computing, 2011(29): 295-305.

[15]董蓉, 李勃, 陳啟美. 路況視頻中HSV彩色不變量陰影檢測法研究與改進 [J]. 中國圖象圖形學報, 2009, 14(12): 2483-2488.

DONG Rong, LI Bo, CHEN Qi-mei. Research and Improvement on Shadow Detection in Expressway Videos Using HSV Color Model [J]. Journal of Image and Graphics, 2009, 14(12): 2483-2488.