令曉明 ,郭銳辛 ,劉光廷 ,王銳東
(1.蘭州交通大學(xué) 國家綠色鍍膜技術(shù)與裝備工程技術(shù)研究中心,蘭州 730070;2.蘭州交通大學(xué) 機(jī)電工程學(xué)院,蘭州 730070;3.蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點(diǎn)實(shí)驗(yàn)室,蘭州 730070)
行人檢測就是指將視頻幀或者待處理圖像中出現(xiàn)的行人從背景中分割出來并給出位置信息。在行人檢測中如何能夠提取到更加全面的行人特征信息,一直是很多學(xué)者研究的方向。Dalal等提出的基于梯度方向直方圖描述行人輪廓的方法最具有影響力,其中HOG+SVM也成為了行人檢測領(lǐng)域內(nèi)的主流方法[1],但缺點(diǎn)是HOG特征維高,計算量大,訓(xùn)練時間長。文獻(xiàn)[2]提出利用積分圖技術(shù)提高了HOG特征的計算速度,但對特征維度高的缺點(diǎn)仍未能解決。文獻(xiàn)[3]提出將HOG算子和描述紋理特征的LBP特征結(jié)合起來作為一種新的算法,提高了行人檢測遮擋問題的辨識能力,多特征的融合比單一特征具有更強(qiáng)的描述行人能力。文獻(xiàn)[4]利用HOG-PCA算法提取視頻幀中的行人特征,該方法在沒有太多遮擋的視頻幀中提高了檢測率,降低了特征維度,提高了計算速度。
因此,針對目前復(fù)雜背景下行人檢測提取特征維度高、訓(xùn)練時間長的問題,本文提出采用PCA降維的多特征級聯(lián)的行人檢測方法。多特征指提取行人的HOG特征、顏色頻率特征和膚色特征,采取串聯(lián)的方式將該3種特征作為行人檢測的描述子,最后結(jié)合SVM分類器進(jìn)行分類識別[5]。
HOG特征是一種局部區(qū)域描述符,它通過計算局部圖像區(qū)域上的梯度方向直方圖來構(gòu)成局部目標(biāo)的特征,能夠很好的表征出人體輪廓信息。該特征對光照的變化和梯度特征的少量偏移不敏感。
設(shè)像素處的灰度值為I,梯度幅值為G,梯度方向?yàn)棣龋瑒t輸入圖像中像素點(diǎn)處(x,y)的梯度為:
式中,Gx(x,y)、Gy(x,y)、H(x,y)分別表示輸入圖像中像素點(diǎn)(x,y)處的水平方向梯度、垂直方向梯度和像素值。
然后計算圖像中該像素點(diǎn)的梯度強(qiáng)度和方向:
本文檢測窗口大小為64×128,block為16×16大小,其中每個block細(xì)分為4個4×4大小的cell,要計算每個block內(nèi)的4個cell梯度方向直方圖。每個block內(nèi)的cell用9維的特征向量表示,一個block就為36維特征向量,最終得到105個block。這樣HOG特征的特征向量為105×36=3780維。如圖1所示,圖(b)是提取圖像(a)的HOG特征。
圖1 HOG特征提取
盡管行人的衣著和形體變化較大,但是身體某些部位仍能夠提取到比較有特點(diǎn)的顏色特征信息,比如頭部、臉部、胳膊、手等部位,這些特征可以用顏色頻率來表征。HOG特征是在HSV空間計算得到的,在該顏色空間中計算梯度幅值最大的每個像素點(diǎn)處的梯度值和方向,一些重要的顏色信息可以用每個顏色空間中被選擇的次數(shù)來表示。本文統(tǒng)計方法為:用3維的直方圖在每個block中統(tǒng)計H、S、V三個顏色被選擇的次數(shù),通過計算處理后得到3維的顏色向量,最后進(jìn)行歸一化[1]。這樣圖片中的每個block都可以用3維的向量來表示行人的顏色特征信息,實(shí)驗(yàn)證明該提取方法可以增加行人特征信息,減少block中冗余信息的干擾,有效的改善檢測效果。
在YCrCb空間上,人臉部的膚色具有很好的聚類性,膚色信息在人臉檢測和人臉定位識別領(lǐng)域已經(jīng)得到了很好的應(yīng)用[6,7]。其原理是提取的行人膚色特征值集中在CrCb空間上某一范圍內(nèi),利用這個原理把它與背景顏色區(qū)分開。
本文采用了INRIA數(shù)據(jù)集上正樣本中的行人照片,在CrCb空間作了膚色特征提取實(shí)驗(yàn),如圖2所示。該實(shí)驗(yàn)證明了膚色在CrCb空間有很好的聚類性。膚色在Cr空間主要聚集在RCr[110,145]范圍內(nèi),在Cb空間主要聚集在RCb[130,160]內(nèi)。假設(shè)顏色平面R(Cb,Cr)為一個矩形區(qū)域,那么在該區(qū)域內(nèi)的點(diǎn),則屬于要提取的膚色信息。
圖2 膚色體征提取
HOG描述子提取的特征向量緯度較高,且存在大量的冗余信息,這些冗余信息會降低計算機(jī)的分類速度和識別精度。PCA算法降維效果明顯,節(jié)省時間多。因此,本文選擇PCA(主成分分析法)對HOG特征向量進(jìn)行降維處理[8]。
假設(shè)對HOG進(jìn)行特征矩陣提取,得到的特征矩陣為Z(x1,x2,x3,…,xi,…,xn),其中第i個HOG特征向?yàn)榱縳i∈Rn;m個HOG特征向量組成訓(xùn)練樣本矩陣Z(x1,x2,x3,…,xi,…,xn),Zi∈Rm,其中每一列向量代表一個樣本緯度。
本文中HOG描述子提取的特征向量為3780維,因此通過優(yōu)化得到如下的目標(biāo)函數(shù):
其中,ZHOG表示提取訓(xùn)練正樣本HOG特征向量,YPCA表示降維后的HOG-PCA特征向量。因此,最終特征向量為協(xié)方差矩陣W的前K個特征值λ1,λ2,…,λk所對應(yīng)的特征向量(YPCA1,YPCA2,…,YPCAK)。
本文中輸入的圖像像素大小為64×128,分別提取行人的HOG特征、顏色頻率特征和膚色特征,然后對HOG特征進(jìn)行PCA降維處理,最終將該3種特征級聯(lián)形成HOG-PCA+Color(文中Color指代顏色頻率特征和膚色特征)特征,級聯(lián)后的向量為965維度。由于文中HOG提取的行人特征維度為3780維,因此為了確定合適的維度,本文做了大量的降維試驗(yàn),實(shí)驗(yàn)結(jié)果如圖3所示。
由圖3可知,當(dāng)10≤K≤70時,隨著維度系數(shù)的變大,分類識別率也在提高;當(dāng)70 圖3 HOG-PCA維度與分類識別率的關(guān)系圖 本文實(shí)驗(yàn)軟件采用MATLAB,計算機(jī)配置為:Intel(R)core i5-3470 3.2GHz和4GB內(nèi)存。在INRIA數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),本文訓(xùn)練時隨機(jī)選取正樣本1200個,負(fù)樣本1200個,樣本尺寸均為64×128。 本文使用文獻(xiàn)[9]中建議的檢測錯誤權(quán)衡(Detection Error Tradeoff,DET)曲線作為行人檢測特征提取的性能評價方法。DET曲線中X軸代表圖片誤檢率(FPPI,false positives per image);Y軸代表漏檢率(miss rate),其中miss rate=1-detection rate。 利用HOG-PCA對訓(xùn)練集進(jìn)行特征提取,SVM對樣本進(jìn)行分類,當(dāng)結(jié)合其他特征后,漏檢率下降很明顯,實(shí)驗(yàn)結(jié)果如圖4所示。其中,Color與HOG-PCA結(jié)合后在SVM分類器上,檢測性能表現(xiàn)最好。在X軸上10-1作為參考時,HOG-PCA-Color比單一特征HOG-PCA特征識別率提高將近23%。 圖4 HOG-PCA加其他特征DET曲線對比圖 為了進(jìn)步一步證明本文算法的檢測效果,文中采用四種目前具有代表性的行人檢測方法與本文方法進(jìn)行實(shí)驗(yàn)對比。在INRIA數(shù)據(jù)集進(jìn)行試驗(yàn),試驗(yàn)過程參考文獻(xiàn)[3]描述,HOG-PCA-Color特征和其他特征方法試驗(yàn)結(jié)果如圖5所示。選擇FPPI軸上10-1時作為參考,本文提出的算法檢測率是最好的,因?yàn)榧壜?lián)特征包含了更多的行人信息,檢測器含有高分辨的行人特征,錯誤率大約為21%。Shapelet算子的描述能力不夠理想,錯誤率約為80%,HOGLbp的特征描述能力錯誤率也較高,約為60%,Hiksvm和Latsvm_v2在這四種代表性的算法中有著很好的描述行人特征的能力,錯誤率分別約為30%和36%。同時,本文方法的檢測時間比Latsvm_v2提高了13.16ms,比Shapelet提高了9.16ms。該對比實(shí)驗(yàn)證明本文方法在INRIA數(shù)據(jù)集上檢測行人的能力相比于其他方法有著明顯的優(yōu)勢。 圖5 本文級聯(lián)分類器與其他特征分類器DET曲線對比 本文針對現(xiàn)有的行人檢測方法中HOG特征冗余量大、維度高、單特征對復(fù)雜背景的行人檢測效果不理想等問題,提出采用PCA降維后級聯(lián)顏色頻率特征和膚色特征的模型,對傳統(tǒng)的HOG+SVM模型進(jìn)行了改進(jìn)。在INRIA公開數(shù)據(jù)集上進(jìn)行測試以及用本文提出的模型與主流代表算法進(jìn)行了比對試驗(yàn),結(jié)果表明,本文提出算法在行人檢測中效果遠(yuǎn)遠(yuǎn)好于單一特征,級聯(lián)后的算法模型在檢測效果和響應(yīng)時間上都優(yōu)于目前的主流算法,具有一定的可行性和使用價值。3 實(shí)驗(yàn)結(jié)果分析
3.1 實(shí)驗(yàn)環(huán)境
3.2 實(shí)驗(yàn)結(jié)果及分析
4 結(jié)語