陳明亮, 岑　峰

?

彩色自然場景下的多特征融合車輛檢測算法

陳明亮, 岑峰

1引言

復(fù)雜自然場景下的車輛檢測是智能監(jiān)控系統(tǒng)研究中的重要課題,其中有效的特征選擇起著至關(guān)重要的作用。近年來,一些有效特征被提出,其中HOG特征和Harr-like特征在車輛檢測中是最具有代表性的兩個特征。除此之外,Gabor特征、尺度不變特征轉(zhuǎn)換(SIFT)等也被廣泛用于車輛的特征表示[1]。在分類模型的構(gòu)建方面,常用于訓(xùn)練車輛檢測器的有支持向量機(jī)(SVM)和Adaboost分類器。Liu W等人[2]選取車輛的Haar特征,并且采用SVM分類器對車輛進(jìn)行檢測;Sun Z,Sivaraman S,Teoh等人[3,4]同樣選用SVM分類器,但利用的是車輛的HOG特征;Sindoori R等人[5]利用Adaboost分類器精度高,不會出現(xiàn)過擬合等性質(zhì),并將其應(yīng)用于車輛檢測中;Cui J,Lin C T等人[6,7]采用Haar-like特征提取和Adaboost分類器用于車輛尾部的檢測。然而,當(dāng)某些復(fù)雜場景下直接用這些傳統(tǒng)的特征提取方法提取的特征進(jìn)行分類時,經(jīng)常表現(xiàn)出不足。因此,近年來,研究人員試圖從原始的像素出發(fā)通過特定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自動發(fā)現(xiàn)圖像中隱藏的模式以學(xué)習(xí)出有效的特征。典型的方式有基于單層網(wǎng)絡(luò)結(jié)構(gòu)的特征學(xué)習(xí)和基于深度結(jié)構(gòu)的特征學(xué)習(xí),它們在圖像分類和識別上均取得了成功的應(yīng)用。

在本文中,針對復(fù)雜自然場景下的車輛檢測,提出一種融合了稀疏自編碼特征和HOG特征的多特征融合車輛檢測算法。一方面,稀疏自編碼是一種無監(jiān)督學(xué)習(xí)方法,不需要先驗(yàn)知識可實(shí)現(xiàn)特征的自動學(xué)習(xí),其中采用了稀疏化,卷積和池化技術(shù)進(jìn)一步降低特征空間復(fù)雜度和分類器輸入維度;另一方面,HOG特征對外部環(huán)境(如光照、旋轉(zhuǎn)、平移)具有不敏感性。在復(fù)雜的自然場景下,將線性融合的新的特征描述子作為SVM分類器的輸入,能有效地對車輛進(jìn)行檢測。

2多特征融合的車輛檢測算法

本文提出算法如圖1所示,首先對圖像進(jìn)行預(yù)處理,然后分別提取稀疏自編碼特征和HOG特征,最后通過線性融合這兩種特征得到多特征描述子,將該特征輸入SVM分類器[8]進(jìn)行分類。

圖1　車輛檢測流程Fig.1　Vehicle detection process

2.1圖像預(yù)處理

在該算法中,首先將RGB彩色圖像轉(zhuǎn)換到HSV空間(色相、飽和度、亮度),然后對樣本數(shù)據(jù)每一維進(jìn)行零均值化處理,歸一化樣本數(shù)據(jù)到[0,1]范圍內(nèi),最后對處理后的數(shù)據(jù)進(jìn)行了零成分分析(ZCA)白化。通過這些圖像的預(yù)處理操作,能使學(xué)習(xí)算法得到的特征之間的相關(guān)性較低。

2.2無監(jiān)督特征學(xué)習(xí)

圖像預(yù)處理過后,采用自編碼算法從未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)有效特征。假設(shè)包含了m個樣例的無類別標(biāo)簽的樣本集合{x(1),x(2),x(3),…,x(m)},其中x(i)={x1,x2,…,xm}∈m。

圖2　自編碼神經(jīng)網(wǎng)絡(luò)示例Fig.2　An example of anto-encoder network

(1)

其中第二項(xiàng)是正則化項(xiàng),其目的是減少權(quán)重的幅度,防止過度擬合。λ用于控制公式中兩項(xiàng)的相對重要性,設(shè)置正則化權(quán)重λ=0.003[9]。

2.2.1特征稀疏化表示

在本文采用的算法中隱藏神經(jīng)元的數(shù)量比輸入節(jié)點(diǎn)數(shù)多(t>m),對自編碼神經(jīng)網(wǎng)絡(luò)隱藏層神經(jīng)元施加稀疏性限制,這樣,隱藏層輸出即輸入數(shù)據(jù)的重新表示。隱藏神經(jīng)元j在訓(xùn)練集上的平均活躍度可表示為

(2)

(3)

其中β控制稀疏性懲罰因子的權(quán)重,設(shè)置β=5[9]。這里對稀疏自編碼器的總體代價函數(shù)的求解,采用L-BFGS算法[10],求解可學(xué)習(xí)得到稀疏自編碼神經(jīng)網(wǎng)絡(luò)的參數(shù)W,b。

2.2.2卷積和池化

本文還采用了卷積實(shí)現(xiàn)局部連接網(wǎng)絡(luò)。卷積操作可以減少神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)個數(shù),一定程度上簡化了特征提取過程,但卷積后輸出向量維數(shù)過大,這樣就加大了后續(xù)分類器困難。進(jìn)而,采用池化技術(shù)對卷積特征進(jìn)行聚合統(tǒng)計,這樣不僅降低了維度,還防止了結(jié)果過擬合。

如圖3為卷積、池化特征提取的示例圖,從訓(xùn)練樣本(n×n的大圖像)中隨機(jī)選取k個大小為h×h的小塊,通過1.2.1節(jié)的稀疏自編碼器可訓(xùn)練得到網(wǎng)絡(luò)參數(shù)W,b,激活層a(2)=f(W(1)x+b(1))∈t×1,即學(xué)習(xí)得到的t維特征。對m個大小為n×n的樣例,用學(xué)習(xí)到的特征參數(shù)W(1),b(1),依次在h×h大小的方塊范圍能進(jìn)行卷積運(yùn)算f(W(1)xh×h+b(1)),其中xh×h為大圖像樣例h×h范圍內(nèi)的像素值。設(shè)卷積步長s=1,則可得到卷積特征η∈t×(n-h+1)×(n-h+1)×m。接著對卷積特征做均值池化,設(shè)池化步長為p,對每一個樣例的每一個卷積特征中取池化小方塊(p×p)范圍內(nèi)圖像像素求平均值,得到池化特征為Φ∈{t×[(n-h+1)/p]×[(n-h+1)/p]}×m。

圖3　卷積池化特征提取Fig.3　Convolutionand pooling feature extraction

2.3HOG特征提取

方向梯度直方圖(HOG)特征是一種在計算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述子。HOG特征對外部環(huán)境(如光照、旋轉(zhuǎn)、平移)具有很強(qiáng)的不敏感性,因此我們進(jìn)一步對車輛的HOG特征進(jìn)行提取,其中特征提取參數(shù)設(shè)置如表1所示:

表1　HOG特征提取參數(shù)設(shè)置

對m個大小為n×n的樣例,根據(jù)以上參數(shù),得到HOG特征μ∈[(n/8)×(n/8)×9]×m。

2.4多特征融合

3實(shí)驗(yàn)結(jié)果與分析

以上算法是基于自然場景下的車輛檢測提取,我們將選擇合適的樣本集,根據(jù)所選樣本集進(jìn)一步設(shè)定算法中的一些變量和參數(shù),按照以上方法分別提取并線性融合稀疏自編碼特征和HOG特征來驗(yàn)證該算法對自然場景下車輛檢測的有效性。

3.1數(shù)據(jù)集

本文實(shí)驗(yàn)數(shù)據(jù)采用J.Arróspide等人的GTI數(shù)據(jù)集[11]。該數(shù)據(jù)集包含正負(fù)樣本各4000張,大小為64×64的各種類型車輛尾部和背景圖片,從四個不同的視角:遠(yuǎn)處、正后方、左后方、右后方拍攝獲得。不僅如此,該數(shù)據(jù)集還包含各種不同的駕駛場景,特別是天氣相關(guān)場景:其中20%晴天(光照充足),20%霧天,20%陰天,20%黃昏,10%小雨,5%低分辨率相機(jī)拍攝,5%人工打光下拍攝。

表2　實(shí)驗(yàn)數(shù)據(jù)集

3.2實(shí)驗(yàn)與分析

3.2.1稀疏自編碼特征提取

對大小64×64的HSV三通道圖像,設(shè)定稀疏自編碼器的輸入層m=64×3=192,設(shè)置隱藏層節(jié)點(diǎn)t=400。隨機(jī)抽取無標(biāo)簽數(shù)據(jù)中k=100000個8×8大小的HSV圖像塊作為稀疏自編碼器的輸入,求解可學(xué)習(xí)得到稀疏自編碼神經(jīng)網(wǎng)絡(luò)的參數(shù)W,b。設(shè)定池化步長p=19,對有標(biāo)簽的3200個樣本卷積、池化處理,得到{400×[(64-8+1)/19]×[(64-8+1)/19]}×3200即3600×3200個池化特征。

3.2.2HOG特征提取

由1.3節(jié),由有標(biāo)簽的3200個大小為64×64的訓(xùn)練樣本將可得到[(64/8)×(64/8)×9]×3200即2304×3200個HOG特征。

最后將HOG特征和池化后稀疏自編碼特征經(jīng)過1.4方法線性融合,得到5904×3200個融合特征,將訓(xùn)練集的融合特征作為SVM輸入,訓(xùn)練得到分類模型,在測試集上測試得到分類正確率為97.375%。同時為了驗(yàn)證該方法的有效性,同樣,僅采用1.2節(jié)方法提取訓(xùn)練集稀疏自編碼特征(SA),訓(xùn)練得到的SVM分類器在測試集上實(shí)驗(yàn),得到95.625%的分類正確率,僅采用1.3節(jié)方法測試得到的分類正確率為95.875%。表3展示了評估結(jié)果,其中TPR表示真正類率(True Positive Rate),即分類器識別出正實(shí)例占所有正實(shí)例的比例;FPR為負(fù)正類率(False Positive Rate),即分類器把正實(shí)例誤分為負(fù)實(shí)例占所有負(fù)實(shí)例的比例。

表3　不同方法下測試數(shù)據(jù)準(zhǔn)確率

接下來,我們進(jìn)一步比較了三種情況下在同一測試集上的受試者工作特性曲線(Receiver Operating Characteristic Curve,ROC)如圖4所示。曲線靠近左上角的拐點(diǎn)處時實(shí)驗(yàn)準(zhǔn)確性最高。在相同較低的FPR下,本文提出算法下的TPR均高于其他兩種方法。通過分析對比實(shí)驗(yàn)結(jié)果,與傳統(tǒng)的方法相比,不再采用單一的目標(biāo)特征,線性融合了無監(jiān)督特征和不變性良好的HOG特征,有效提高了復(fù)雜自然場景下車輛檢測效果。

圖4　不同檢測方法在同一測試集下的ROC曲線Fig.4　ROC curve of different method

4結(jié)論

本文將基于無監(jiān)督學(xué)習(xí)的稀疏性特征表示引入到復(fù)雜自然場景下的車輛檢測中,并融合了不變性較好的方向梯度直方圖對目標(biāo)進(jìn)行特征提取。實(shí)驗(yàn)表明,對于復(fù)雜多變的自然場景下車輛的檢測具有較好的分類效果。下一步的工作將進(jìn)一步提高車輛檢測算法的檢測效果,并將該算法應(yīng)用到車輛檢測系統(tǒng)上。

參考文獻(xiàn):

[2]LIU W,WEN X Z,DUAN B,et al.Rear vehicle detection and tracking for lane change assist[C]∥IEEE Intelligent Vehicles Symposium,Istanbul,Turkey,2007:252-257.

[3]Sun Z,Bebis G,Miller R.Monocular precrash vehicle detection:features and classifiers[J].IEEE Image Processing,Transactions on,2006,15(7):2019-2034.

[4]Sivaraman S,Trivedi M M.Active learning for on-road vehicle detection:A comparative study[J].Machine vision and applications,2014,25(3):1-13.

[5]Sindoori R,Ravichandran K S,Santhi B.Adaboost technique for vehicle detection in aerial surveillance[J].InternationalJournal of Engineering & Technology,2013,5(2):765-769.

[6]Cui J,Liu F,Li Z,et al.Vehicle localisation using a single camera[C]∥IEEE Intelligent Vehicles Symposium(IV),San Diego,CA,USA,2010:871-876.

[7]Lin C T,Hsu S C,Lee J F,et al.Boosted vehicle detection using local and global features[J].Journal of Signal and Information Processing,2013,4(3):243.

[8]Fan R E,Chang K W,Hsieh C J,et al.LIBLINEAR:A library for large linear classification[J].The Journal of Machine Learning Research,2008,9(9):1871-1874.

[9]UFLDL Tutorial:http:∥ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial.

[10]Liu D C,Nocedal J.On the limited memory BFGS method for large scale optimization[J].Mathematical programming,1989,45(1-3):503-528.

[11]Arróspide J,Salgado L,Nieto M.Video analysis-based vehicle detection and tracking using an MCMC sampling framework[J].EURASIP Journal on Advances in Signal Processing,2012,2012(1):1-20.

陳明亮男(1990-),碩士研究生,研究方向?yàn)槟Ｊ阶R別、機(jī)器視覺。

岑峰男(1972-),浙江余姚人,副教授,碩士生導(dǎo)師,研究方向?yàn)閳D像視頻處理、機(jī)器視覺、模式識別。

(同濟(jì)大學(xué) 電子與信息工程學(xué)院,上海201804)

摘要：在自然場景下,由于車型種類繁多,而且車輛所處環(huán)境受光照、背景、天氣等因素的影響,車輛檢測一直是目標(biāo)檢測中的難點(diǎn)問題。針對這種自然場景下的車輛檢測,提出一種融合稀疏自編碼特征和方向梯度直方圖(Histogram of Oriented Gradients,HOG)特征的多特征描述子的車輛檢測算法。實(shí)驗(yàn)結(jié)果表明,提出的方法對復(fù)雜自然場景下的車輛具有較好的分類效果。

關(guān)鍵詞：自然場景; 車輛檢測; 稀疏自編碼; 多特征融合

Vehicle Detection Algorithm in Natural Environments Using Multi-features fusionCHENMingliang,CENFeng

(College of Electronic and Information Engineering,Tongji University,Shanghai 201804,China)

Abstract：In the natural scene,because of a wide range of vehicle models and the environment which is impacted by lighting,background,weather and other factors.Vehicle detection has been one of difficult problems in target detection.To solve these problems,we proposed a vehicle detection algorithm based on multi-feature descriptor integrated sparse auto-encoder andHistogram of Oriented Gradients(HOG)features.The experiment results show that the proposed method provides higher classification accuracy when vehicles in complex natural scene.

Key words：natural scenes; vehicle detection; sparse auto-encoder; muti-feature fusion

基金項(xiàng)目：國家自然科學(xué)基金(61273284)

中圖分類號：TP 391.41

文獻(xiàn)標(biāo)識碼：A