鄭 銳， 邵宗凱

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500)

?

基于混合高斯模型與聯(lián)合特征的行人檢測(cè)方法

鄭 銳， 邵宗凱

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500)

針對(duì)視頻環(huán)境下行人檢測(cè)多數(shù)采用窗口滑動(dòng)方法識(shí)別慢、不能快速找到行人窗口的缺點(diǎn)，提出了一種基于組合算法的行人目標(biāo)識(shí)別方法，利用高斯混合模型方法提取視頻中的運(yùn)動(dòng)前景，劃定一個(gè)泛目標(biāo)窗口，再使用HOG-l bp聯(lián)合特征訓(xùn)練的分類器對(duì)泛目標(biāo)窗口進(jìn)行分類，得到分類結(jié)果，對(duì)行人目標(biāo)進(jìn)行標(biāo)記。經(jīng)實(shí)驗(yàn)驗(yàn)證:該方法相對(duì)于當(dāng)前行人檢測(cè)方法，檢測(cè)速度和正確率都取得了很好的效果。

行人檢測(cè)； 混合高斯模型； HOG-l bp 前景

0 引 言

近年來,機(jī)器視覺中的物體檢測(cè)得到了極大的關(guān)注度，行人檢測(cè)由于其廣泛的應(yīng)用成為機(jī)器視覺領(lǐng)域的一個(gè)研究熱點(diǎn)[1]。機(jī)器視覺在交通與工業(yè)輔助方面應(yīng)用廣泛，如基于視覺傳感器的運(yùn)動(dòng)目標(biāo)跟蹤[2]，基于視覺信息的儀表讀數(shù)[3]，軌道的變形檢測(cè)[4]等，而基于深度信息的Kinect等傳感器還可更進(jìn)一步針對(duì)細(xì)節(jié)信息進(jìn)行分析[5]。

運(yùn)動(dòng)的行人檢測(cè)按照使用傳感器類型來說可以分為兩類:一類是基于多傳感器信息[6];另一類是單攝像頭。當(dāng)前流行的行人檢測(cè)方法是Dalal N等人提出的基于梯度方向直方圖特征結(jié)合支持向量機(jī)(SVM)訓(xùn)練分類器進(jìn)行行人檢測(cè)[7]。經(jīng)過發(fā)展，檢測(cè)方法在聯(lián)合特征融合上尋找提高行人檢測(cè)正確率的方法。例如:Wang X等人[8]提出了一種基于梯度方向直方圖特征與圖像紋理特征相結(jié)合的檢測(cè)方法。為了減小特征維度高在檢測(cè)準(zhǔn)確性與實(shí)時(shí)性方面造成的損失，黃茜等人[9]引進(jìn)積分圖方法提高了計(jì)算梯度直方圖(HOG)特征的速度，節(jié)省了特征提取的時(shí)間；汪成亮[10]、Jiang J等人[11]通過主成分分析(PCA)方法對(duì)HOG描述子進(jìn)行降維處理，提高待分類窗口的偵測(cè)速度。文獻(xiàn)[10]和文獻(xiàn)[12]使用改進(jìn)的背景建模的方法構(gòu)造實(shí)時(shí)更新的背景幀，利用當(dāng)前幀與背景幀差分得出視頻序列中的運(yùn)動(dòng)前景目標(biāo)，此方法兼具準(zhǔn)確性與實(shí)時(shí)性的優(yōu)點(diǎn)[13]。

本文以固定攝像機(jī)近距離道路監(jiān)控為前提，提出了一種行人檢測(cè)方法，針對(duì)固定安裝的監(jiān)控視頻，拍攝的場景為一般道路與室內(nèi)場景，監(jiān)控設(shè)備處在目標(biāo)近距離處，人體目標(biāo)在攝像畫面中占有一定的大小，人體較清晰。

1 運(yùn)動(dòng)目標(biāo)區(qū)域提取

本文采用基于改進(jìn)的混合高斯模型的背景建模方法[14]，建立背景模板并實(shí)時(shí)更新。

1.1 改進(jìn)的高斯背景模型的一般形式

假設(shè)視頻圖像的序列每個(gè)像素點(diǎn)在時(shí)間上表示為

{X1，X2，X3…Xt}={I(x0,y0,i):1≤i≤t}

(1)

式中I為視頻幀圖片；t為幀的具體編號(hào)；Xt為某一幀在(x,y)位置的像素值，一般混合高斯的表示即為針對(duì)每一像素值進(jìn)行建模，所用的混合高斯模型[14]為

(2)

式中 k為混合高斯模型中高斯分布的個(gè)數(shù)；wi,t為各高斯分布t時(shí)刻的權(quán)值；ui,t為第i個(gè)高斯分布t時(shí)刻的高斯分布均值；∑i,t為t時(shí)刻第i個(gè)高斯分布的協(xié)方差；p(Xt)為高斯背景模型的概率函數(shù)。

針對(duì)混合高斯背景模型對(duì)所有的圖像像素點(diǎn)采用不加區(qū)別的相同分布數(shù)和相同的采樣周期計(jì)算像素的概率密度的問題，將模型分成短期模型和長期模型[15]，對(duì)于一般的非疑似行人區(qū)域的像素點(diǎn)使用短期模型建模，對(duì)于疑似的運(yùn)動(dòng)區(qū)域通過調(diào)整系數(shù)擴(kuò)大后使用長期模型，以改進(jìn)模型采樣時(shí)間長造成占用內(nèi)存大，運(yùn)算時(shí)間長的問題。

對(duì)于圖像上的包含前景的樣本，設(shè)置一系列的對(duì)應(yīng)指示器b(1),b(2),b(3)，…，b(m),指示器b(m)為0時(shí)表示樣本被判定為前景；指示器b(m)值為1時(shí)，被判定為背景，并對(duì)其采用不同的建模方式[13]。

在模式被判定為1時(shí)高斯背景模型的更新公式為

μi←(1-βi)μi+βix

(3)

(4)

權(quán)重的更新公式為

wi,t←(1-α)wi,t-1+αb(m)

(5)

分別對(duì)短期模型和長期模型建立不同的方差模型，更新公式如下

(6)

(7)

選取的改進(jìn)高斯混合模型背景建模方法對(duì)于組合方法的性能提升主要表現(xiàn)在以下2方面：

1)一般道路攝像機(jī)的拍攝特點(diǎn)，拍攝的角度固定，受光線影響較大，混合高斯模型背景更新相對(duì)幀差等方法提取的背景具有較好的魯棒性；

2)針對(duì)道路場景下行人移動(dòng)速度較低的特點(diǎn)，使用改進(jìn)高斯背景建模的長期和短期模式能夠更好適應(yīng)背景更新的要求。

1.2 提取疑似目標(biāo)區(qū)域

背景差法，即將當(dāng)前圖像幀像素與通過混合高斯背景模型建立的背景幀像素差分，差分圖像即為待檢測(cè)區(qū)域，

P(x,y)=I(x,y)-B(x,y)

(8)

式中 P(x,y)為前景待處理圖像；I(x,y)為當(dāng)前圖像；B(x,y)為高斯背景建模圖像。針對(duì)由于重建的背景圖像相對(duì)于真實(shí)背景存在差異造成差分圖像存在誤差的問題，采用圖像處理中的形態(tài)學(xué)處理方法，對(duì)差分圖像先進(jìn)行腐蝕操作，去除圖像中的噪點(diǎn)信息，再進(jìn)行膨脹處理，連通可能的運(yùn)動(dòng)區(qū)域，采用閾值化與二值化等處理方法得到干凈的二值化圖像，如圖1所示。

圖1 待檢測(cè)窗口的提取

2 運(yùn)動(dòng)人體的檢測(cè)

2.1 HOG特征[16]

采用的HOG特征方法使用dalal的方法[7]，將8像素×8像素組成一個(gè)單元，將2單元×2單元組成一個(gè)塊，將檢測(cè)窗口設(shè)置為128×64，HOG特征具體的計(jì)算過程[7]：

1)輸入大小為128×64的圖片，對(duì)圖片進(jìn)行灰度化處理；采用伽馬校正方法對(duì)輸入的圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化(歸一化)，降低圖片陰影和光照的影響，同時(shí)抑制噪音干擾；

2)計(jì)算每個(gè)像素的梯度在水平方向和垂直方向的梯度，得出該像素點(diǎn)的梯度幅值和方向特征，如下

(9)

(10)

3)將8像素×8像素點(diǎn)組成一個(gè)單元，將每個(gè)單元的梯度方向按照0°～180°劃分為9個(gè)通道，每個(gè)像素點(diǎn)根據(jù)方向權(quán)值為其所在的通道投票，每2單元×2單元組成一個(gè)塊，每個(gè)塊中的梯度直方圖相串聯(lián)即為塊的直方圖向量；

4)塊的梯度直方圖特征即為每個(gè)塊的特征的串聯(lián)。選取高128像素、寬64像素的窗口作為檢測(cè)窗口。

文中實(shí)驗(yàn)采用HOG特征維度為3 780維。

2.2 局部二值化模式特征與HOG特征的訓(xùn)練

局部二值化模式(LBP)特征通過設(shè)立采樣點(diǎn)與相鄰像素灰度相對(duì)比得出相鄰像素點(diǎn)取0或取1來表示像素點(diǎn)的局部的紋理特征，由于表示的紋理特征采用二進(jìn)制格式，像素編碼方式不同，所得到的像素特征維數(shù)也不相同，本文采用LBP特征模式中的平均模式進(jìn)行編碼[8]。窗口大小同樣采取128×64，以適應(yīng)HOG特征的窗口。

由于HOG特征和LBP特征分別有3 780維和1 888維，為避免模型維數(shù)過多對(duì)運(yùn)算速度和識(shí)別準(zhǔn)確率造成不利影響，采用PCA對(duì)HOG和LBP的特征維數(shù)進(jìn)行降維處理[17]。將降維后的HOG和LBP串聯(lián)輸入線性支持向量機(jī)學(xué)習(xí)模型中進(jìn)行學(xué)習(xí)，得出學(xué)習(xí)后的模型，本文參考文獻(xiàn)[10]的經(jīng)驗(yàn)，將PCA降維后的HOG特征設(shè)置為100維，LBP特征設(shè)置為50維，經(jīng)實(shí)驗(yàn)驗(yàn)證：采用此特征維數(shù)的特征在保證準(zhǔn)確率合理的情況下可以取得最大的識(shí)別速度。

3 實(shí)驗(yàn)與仿真

3.1 實(shí)驗(yàn)平臺(tái)與樣本集

實(shí)驗(yàn)平臺(tái)為一臺(tái)筆記本，CPU為Intel品牌i3處理器主頻為2.3 GHz的，操作系統(tǒng)為Win7，軟件系統(tǒng)為VS2010搭配OpenCV2.9版本。選用INRIA行人數(shù)據(jù)庫(圖2)作為訓(xùn)練樣本，數(shù)據(jù)庫中包括正樣本(含行人的照片)2 146張和3 654張不含人體的負(fù)樣本圖片，正負(fù)樣本的大小均為寬高64×128。INRIA行人數(shù)據(jù)庫的所有正樣本圖片的人體都經(jīng)過鏡像處理，故對(duì)于行人的形態(tài)具有良好旋轉(zhuǎn)不變性。

圖2 INRIA行人數(shù)據(jù)庫

測(cè)試數(shù)據(jù)為使用手機(jī)拍攝的4段像素為640×480的視頻，均為辦公樓內(nèi)部場景，由于在室內(nèi)場景下會(huì)出現(xiàn)走廊欄桿遮擋等不利因素，對(duì)于視頻分析不利，對(duì)于這部分幀圖像在統(tǒng)計(jì)時(shí)予以忽略。視頻為外部場景的情境下，由于拍攝的情景對(duì)于行人角度存在一定偏移，會(huì)對(duì)實(shí)驗(yàn)的結(jié)果產(chǎn)生不利影響，經(jīng)過統(tǒng)計(jì)，在所有的4段視頻圖片幀中一共11 841張圖片中出現(xiàn)符合要求的行人約為32 453。

3.2 實(shí)驗(yàn)結(jié)果對(duì)比與分析

實(shí)驗(yàn)中，綜合考慮到漏檢率與行人窗口可能的大小，檢測(cè)窗口滑動(dòng)步長設(shè)置為16像素，實(shí)驗(yàn)結(jié)果表明:文中使用的混合高斯背景差與聯(lián)合特征的行人檢測(cè)方法的識(shí)別正確率和基于未降維的HOG-LBP特征方法正確率相近，但是本文方法在檢測(cè)速度上提升較大，對(duì)比使用PCA-HOG特征訓(xùn)練分類器的方法，在準(zhǔn)確率方面有提升，在應(yīng)對(duì)群行人遮擋方面有更好的效果。同時(shí),與文獻(xiàn)[7]HOG的方法對(duì)比，本文使用的方法相對(duì)于該經(jīng)典方法在準(zhǔn)確率與運(yùn)算速度方面均有較大的提升。

表1列出了各種方法在所選測(cè)試集上按照上文設(shè)定的統(tǒng)計(jì)規(guī)則得出的效果。

表1 4種不同方法的實(shí)驗(yàn)數(shù)據(jù)對(duì)比

由于在檢測(cè)時(shí)加入了運(yùn)動(dòng)信息，減小了搜索窗口的搜索面積，給識(shí)別工作帶來了一定的實(shí)時(shí)性改進(jìn)，此外，對(duì)于特征識(shí)別模型進(jìn)行了降維處理，減小了單位像素面積的識(shí)別速度。因?yàn)镻CA-HOG的檢測(cè)方法與本文的算法有一定的相似度，與其對(duì)比，由于在文獻(xiàn)[10]中采用了50維的模型，所以本文方法運(yùn)算速度與其對(duì)比不具有優(yōu)勢(shì)，但是相對(duì)其他沒有加入視頻運(yùn)動(dòng)信息的行人檢測(cè)方法，本文方法則具有明顯優(yōu)勢(shì)。如表2所示。

表2 4種方法的運(yùn)算速度對(duì)比 ms

4 結(jié) 論

根據(jù)靜止攝像頭下的近景行人監(jiān)控的環(huán)境特點(diǎn)，提出了一種基于混合高斯模型背景差分與聯(lián)合特征相結(jié)合的行人檢測(cè)方法，將改進(jìn)的混合高斯背景方法與多特征的機(jī)器學(xué)習(xí)相結(jié)合的方法運(yùn)用在行人檢測(cè)中。通過與文獻(xiàn)[7]和文獻(xiàn)[8]的方法對(duì)比，得出本文方法在目標(biāo)檢測(cè)的準(zhǔn)確率與目標(biāo)識(shí)別的實(shí)時(shí)性方面，具有一定的優(yōu)勢(shì)。但是本文算法也存在該類算法通有的缺陷[18,19]，因?yàn)樵诒尘安罘址ㄖ惺腔谛腥说囊苿?dòng)來劃定目標(biāo)待檢測(cè)窗口的，造成對(duì)靜止的行人漏檢的現(xiàn)象，要解決這一問題則可能采用的方法是在檢測(cè)方法的第二段對(duì)檢測(cè)出的目標(biāo)實(shí)行跟蹤[20]，以在行人停留在視頻范圍內(nèi)時(shí)繼續(xù)得出背景差分的目標(biāo)區(qū)域。這將是下階段的研究問題。

[1] Zhang S,Benenson R,Omran M,et al.How far are we from solving pedestrian detection[C]∥CVPR, 2016:1259-1267.

[2] 鞠升輝,李楊民.基于運(yùn)動(dòng)分析的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤系統(tǒng)[J].傳感器與微系統(tǒng),2016,35(7):58-61.

[3] 郭永彩,劉麗君,高 潮.基于圖像傳感器的儀表自動(dòng)讀數(shù)系統(tǒng)[J].傳感器與微系統(tǒng),2012,31(11):115-121.

[4] 趙 炯,朱海濤,屈劍平,等.基于OpenCV的圓心定位在地鐵隧道變形檢測(cè)中的應(yīng)用[J].傳感器與微系統(tǒng),2013,32(11):139-145.

[5] 戰(zhàn)萌偉,張 昊.基于Kinect傳感器的人體行為分析算法[J].傳感器與微系統(tǒng),2015,34(1):142-144.

[6] 周 林,雷麗平.基于多傳感器的人體行為識(shí)別系統(tǒng)[J].傳感器與微系統(tǒng),2016,35(3):89-95.

[7] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]∥IEEE Conference on Computer Vision & Pattern Recognition,2013:886-893.

[8] Wang X,Han T X,Yan S.An HOG-LBP human detector with partial occlusion handling[C]∥IEEE Intermational Conference on Computer Vision,IEEE,2010:32-39.

[9] 黃 茜,顧杰峰,楊文亮.基于梯度向量直方圖的行人檢測(cè)[J].科學(xué)技術(shù)與工程,2009,9(13):3646-3651.

[10] 汪成亮,周 佳,黃 晟.基于高斯混合模型與PCA-HOG的快速運(yùn)動(dòng)人體檢測(cè)[J].計(jì)算機(jī)應(yīng)用研究,2012,29(6):2156-2160.

[11] Jiang J,Xiong H.Fast pedestrian detection based on HOG-PCA and gentle adaBoost[C]∥International Conference on Computer Science & Service System,2012:1819-1822.

[12] Ojala T,Pietik?inen M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2002,24(7):971-987.

[13] 趙子博.基于混合高斯改進(jìn)算法的視頻背景建模研究[D].南京：南京郵電大學(xué).2013:23-25.

[14] Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,Washington DC:IEEE Computer Society,1999:246-252.

[15] Parzen E.On estimation of a probability density function and mode[J].Annals of Mathematical Statistics,1962,33(3):1065-1076.

[16] Ojala T,Pietikainen M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-988.

[17] 于成龍.基于PCA 的特征選擇算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2011,21(4):123-125.

[18] Zhang X,Gao Y,Wang X,et al.A method for detecting pedes-trians in video surveillance scenes[C]∥International Conference on Systems and Informatics,IEEE,2012:2016-2019.

[19] 李 剛,邱尚斌,林 凌,等.基于背景差法和幀間差法的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].儀器儀表學(xué)報(bào),2006,27( 8):961-964.

[20] 張?bào)@雷,姜松濤.基于改進(jìn)壓縮感知的運(yùn)動(dòng)目標(biāo)跟蹤[J].傳感器與微系統(tǒng),2016,35(6):120-123.

Pedestrian detection method based on Gaussian mixture model and combined feature

ZHENG Rui, SHAO Zong-kai

(Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650500,China)

Aiming at shortcomings of pedestrian detecting methodes mostly use window slipping, and the method can’t quickly find suspected pedestrian windows in video environment,propose a method to detect pedestrian based on combination algorithms.Firstly sports foreground in video is extracted by Gaussian mixture model(GMM)method,delimit a suspected pedestrian windows.Then,use classifier based on hog-lbp combined feature training to classify generic target window,and get classification,label pedestrian target result.Through verification of experiment,the method get a good result on detecting speed and accuary compared with current pedestrian detection method.

pedestrian detection; Gaussian mixture model(GMM); HOG-lbp foreground

10.13873/J.1000—9787(2017)07—0150—04

2016—08—22

TP 319.4

A

1000—9787(2017)07—0150—04

鄭 銳(1992-),男，碩士研究生，主要研究方向?yàn)闄C(jī)器視覺，機(jī)器學(xué)習(xí)研究。

邵宗凱(1973-),男，博士，副教授，主要從事智能交通系統(tǒng)的研究工作，E—mail：798181081@qq.com。