李盈盈，李菲菲，陳 虬

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

視覺(jué)信息是人類從客觀世界獲取的主要信息。隨著目標(biāo)檢測(cè)系統(tǒng)的廣泛應(yīng)用，對(duì)于目標(biāo)檢測(cè)的精度要求越來(lái)越高。然而在復(fù)雜環(huán)境下實(shí)現(xiàn)高可靠性的目標(biāo)檢測(cè)仍面臨著很大的困難，成為研究中重要和急需解決的問(wèn)題。因此，本文就如何提高檢測(cè)精度進(jìn)行了研究。

文獻(xiàn)[1]提出了一種靜態(tài)人體目標(biāo)檢測(cè)方法，即基于Boosting算法的目標(biāo)檢測(cè)的共現(xiàn)概率特征。采用方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征量，通過(guò)2段式Real AdaBoost算法進(jìn)行學(xué)習(xí)，生成共生概率特征量(Co-occurrence Probability Feature ，CPF)來(lái)進(jìn)行目標(biāo)檢測(cè)。基于此方法，本文選取不同類型的局部特征量，篩選后全部放入特征池中，通過(guò)特征量的兩兩配對(duì)來(lái)計(jì)算共生概率特征量是否會(huì)更加有效。

1 特征的選擇和融合

基于局部模式提取特征在特征提出中發(fā)揮著重要作用。局部特征的類型有很多，文獻(xiàn)[2]提出的HOG特征具有較好的幾何和光學(xué)不變性；文獻(xiàn)[3]提取出的局部二值模式(Local Binary Pattern，LBP)特征具有灰度和旋轉(zhuǎn)不變的紋理特性；文獻(xiàn)[4]將HOG與LBP相結(jié)合，用于解決人體目標(biāo)檢測(cè)中的局部遮擋問(wèn)題；而文獻(xiàn)[5]提出了顏色自相似性(Color Self-similarity，CSS)算法，一種通過(guò)成對(duì)提取局部空間的色彩分布進(jìn)行統(tǒng)計(jì)計(jì)算的新的顏色特征描述方法。下面對(duì)HOG、LBPHOG、CSSHOG這3種特征的提取及融合進(jìn)行闡述。

1.1 HOG特征

HOG特征是一種用來(lái)進(jìn)行物體邊緣梯度檢測(cè)的特征描述子。首先需要將檢測(cè)圖像進(jìn)行灰度化和Gamma歸一化。然后計(jì)算每個(gè)像素的梯度包括大小和方向，如式(1)所示

(1)

其中Gx(x,y)和Gy(x,y)為x方向和y方向的梯度分量。然后為了統(tǒng)計(jì)局部圖像梯度信息并進(jìn)行量化，對(duì)每個(gè)單元格(cell)構(gòu)建梯度方向直方圖

(2)

其中統(tǒng)計(jì)梯度信息時(shí)采用三線性插值，然后將單元格組成塊(Block)，實(shí)現(xiàn)塊內(nèi)歸一化梯度直方圖，此處使用了L2-Norm方法

(3)

最后將所有Block的描述符串聯(lián)生成圖像的HOG特征描述向量。HOG特征的可視圖如圖1所示。

圖1 灰度圖像與HOG特征可視圖

1.2 LBPHOG特征

LBP算法是一種典型的結(jié)構(gòu)與統(tǒng)計(jì)相結(jié)合的圖像紋理分析方法，多用于數(shù)字圖像處理和模式識(shí)別，度量和提取圖像局部紋理信息。LBP包含了原始模式、圓形模式、旋轉(zhuǎn)不變模式和等價(jià)模式[4-6]。

LBP的前3種模式均滿足2P的模型數(shù)量，即隨著采樣點(diǎn)數(shù)的增加，其模型數(shù)也呈指數(shù)增加。雖然較多的數(shù)據(jù)有助于提高精確度，但對(duì)特征的提取和分類都是較為不利的。因此進(jìn)行進(jìn)一步改進(jìn)，當(dāng)0、1跳變小于等于兩次時(shí)歸為等價(jià)模式[4]。

(7)

其中，U(LBPP,R) 為排序后的最小值

U(LBPP,R)=|s(gp-1-gc)-s(g0-gc)|+

通過(guò)不斷的改進(jìn)，模型數(shù)由原來(lái)的2P減為P+1，仍保留所需的重要信息。當(dāng)實(shí)驗(yàn)選取R=1，P=8，模型數(shù)由256種減為9種，使得特征維數(shù)大幅減少，同時(shí)也減少了高頻噪聲帶來(lái)的影響。

共生概率特征的生成，需要具有相同的直方圖特性。這里將LBP和HOG特征進(jìn)行融合。融合過(guò)程如下，LBPHOG特征的可視圖如圖2所示。融合過(guò)程:

(1)輸入樣本 {Xi}，i=1，…，N；

(2)進(jìn)行如下計(jì)算：

對(duì)于樣本集中的每張圖像：

對(duì)于圖像中的每一個(gè)cell：

計(jì)算CELL= Uniform-LBP(cell)

對(duì)于CELL圖像中的每一個(gè)cell:

計(jì)算HOG(cells)

計(jì)算HOG(Blocks)；

(3)輸出LBPHOG特征。

圖2 LBP與LBP-HOG特征的可視圖

1.3 CSSHOG特征

CSS特征是一種基于色彩的局部相似特征描述算子，通常利用服裝和皮膚顏色的相似性來(lái)進(jìn)行圖像檢測(cè)[3，7]，常見(jiàn)的圖像色彩一般為RGB圖像。

首先需要將RGB圖像轉(zhuǎn)化為HSV圖像，而HSV圖像為3個(gè)通道，所以計(jì)算時(shí)要將其轉(zhuǎn)化為原點(diǎn)系坐標(biāo)，轉(zhuǎn)化公式為

(8)

轉(zhuǎn)化過(guò)后做以下計(jì)算

可是接下來(lái)的一幕把所有人都嚇傻了，周暄一拳頭揮過(guò)去把那人打倒在地，又沖上去補(bǔ)了兩拳，對(duì)方不甘心，跟周暄廝打，飯局一片混亂，一群人費(fèi)了好大勁兒才把他倆拉開(kāi)。

(9)

其中，c為當(dāng)前所計(jì)算的cell，M×M為cell的大小，r={u,t,v}，Ic(x,y,r)為每個(gè)像素在3個(gè)通道上的值。

然后采用X2距離計(jì)算cell中每個(gè)像素與cell的相似性。計(jì)算見(jiàn)公式

(10)

將得到的S(x,y,c)作為每個(gè)像素的相似值，對(duì)該相似特征值采用HOG算法進(jìn)行處理。計(jì)算步驟如下，可視圖如圖3所示。

圖3 CSS與CSS-HOG特征的可視圖

計(jì)算步驟：

(1)輸入樣本集{Xi}，i=1，…，N；

(2)進(jìn)行如下計(jì)算：

對(duì)于樣本集中的每一張圖片：

對(duì)于圖像中的每一個(gè)cell：

計(jì)算相似值Value = CSS(pixel)

計(jì)算HOG(cells)

計(jì)算HOG(Blocks)；

(3)輸出CSSHOG特征。

2 共生概率特征的生成

CPF是一種新提出的圖像處理算法，通過(guò)不同數(shù)據(jù)特征的聯(lián)合來(lái)提高圖像處理的精度[8-9]。

首先將提取的HOG、LBPHOG和CSSHOG特征放入同一個(gè)特征池。概率密度函數(shù)通過(guò)局部特征的直方圖計(jì)算得到

(11)

(12)

其中，Dt(i)=1/N為樣本權(quán)重，N為樣本總數(shù)，y∈{+1,-1}為樣本類別標(biāo)簽，j為直方圖中的一個(gè)方向。

然后通過(guò)概率密度函數(shù)計(jì)算弱分類器，計(jì)算公式為

(13)

其中，v為輸入的局部特征； 是防止分母為零的系數(shù)。

最后計(jì)算CPF，有兩種操作手法：一種是加法，代表了兩個(gè)被選特征的弱關(guān)系；另一種是乘法，代表了兩個(gè)被選特征的強(qiáng)關(guān)系

CPF+=f1(vc1)+f2(vc2)

(14)

CPF×=f1(vc1)+f2(vc2)

(15)

3 分類器的選擇及訓(xùn)練

分類器模型有很多，其中基于統(tǒng)計(jì)模型的分類器占據(jù)主導(dǎo)地位，包括人工神經(jīng)網(wǎng)絡(luò)、SVM和AdaBoost等。多分類器級(jí)聯(lián)機(jī)制的引入顯著提高了目標(biāo)檢測(cè)效率[10-11]。

圖4 Real AdaBoost的訓(xùn)練過(guò)程

文獻(xiàn)[12]運(yùn)用不同的分類器對(duì)人體進(jìn)行檢測(cè)，經(jīng)過(guò)大量實(shí)驗(yàn)得出了SVM檢測(cè)效果最好，AdaBoost級(jí)聯(lián)方法檢測(cè)率高且運(yùn)算復(fù)雜度低的結(jié)論。另外文獻(xiàn)[13]又提出了一種基于隱形SVM的目標(biāo)檢測(cè)系統(tǒng)，并且在PASCAL數(shù)據(jù)庫(kù)上取得了優(yōu)秀的檢測(cè)結(jié)果。

本實(shí)驗(yàn)采用Real AdaBoost分類器，并且在分類器的使用過(guò)程中采用了嵌套的形式，即利用兩個(gè)Real AdaBoost分類器，其中一個(gè)作為另一個(gè)(最終分類器)的訓(xùn)練環(huán)節(jié)。詳細(xì)計(jì)算步驟參見(jiàn)圖4，具體實(shí)現(xiàn)如下：在上述流程中，(1)為通過(guò)第一階段的Real AdaBoost 實(shí)現(xiàn)特征篩選的過(guò)程；(2)為通過(guò)第二階段的Real AdaBoost 生成最后強(qiáng)分類器的過(guò)程。

兩段式Real AdaBoost分類器的實(shí)現(xiàn)

(1)輸入帶標(biāo)簽的訓(xùn)練樣本：

{xi,yi}i=1,2,…,N,yi∈{-1,+1}；

(2)初始化權(quán)重

D1(i)=1/N；

(3)訓(xùn)練過(guò)程如下：

對(duì)于學(xué)習(xí)次數(shù)t=1,…,T：

對(duì)于弱分類器個(gè)數(shù)m=1,…,M：

生成CPF

計(jì)算概率密度函數(shù)W

計(jì)算弱分類器

生成評(píng)估值Zm

生成弱分類器:

h1=arg minZt,m

更新樣本權(quán)重：

Dt+1(i)=Dt(i)exp[-yiht(xi)]；

(4) 輸出強(qiáng)分類器：

通過(guò)上文可以發(fā)現(xiàn)，想要計(jì)算所有特征的CPF需要消耗大量的時(shí)間并且會(huì)產(chǎn)生較高的數(shù)據(jù)維度，所以在計(jì)算局部特征的概率密度函數(shù)后使用巴塔恰里亞下界(Bhattacharyya Bound，Zt)縮小特征選取范圍，見(jiàn)式(16)。選取錯(cuò)誤率較小的前200個(gè)特征進(jìn)行CPF的計(jì)算，實(shí)現(xiàn)數(shù)據(jù)維度和計(jì)算量的減小

(16)

概率密度函數(shù)來(lái)源于式(11)和式(12)，將篩選出的特征用來(lái)計(jì)算CPF。

4 實(shí)驗(yàn)分析

4.1 數(shù)據(jù)庫(kù)

近年來(lái)，大量公開(kāi)數(shù)據(jù)庫(kù)提供了不同光照、背景、姿勢(shì)、視角等多種復(fù)雜情況下的目標(biāo)圖片用于評(píng)估目標(biāo)檢測(cè)方法的性能。實(shí)驗(yàn)選用INRIA數(shù)據(jù)庫(kù)。在進(jìn)行試驗(yàn)前需將正負(fù)樣本進(jìn)行尺寸統(tǒng)一(64,128)。表1為訓(xùn)練和測(cè)試的正負(fù)樣本個(gè)數(shù)。

表1 訓(xùn)練和測(cè)試正負(fù)樣本個(gè)數(shù)

4.2 實(shí)驗(yàn)

為了證明本實(shí)驗(yàn)提出的方法行之有效，將所建立的新方法與文獻(xiàn)[1]中的方法進(jìn)行比較。由于數(shù)據(jù)庫(kù)存在些許差異，所以又采取了另外一種驗(yàn)證方式，即使用沒(méi)有結(jié)合的HOG特征先經(jīng)過(guò)PCA降至200維，然后直接使用Real AdaBoost分類器進(jìn)行分類檢測(cè)。所有的實(shí)驗(yàn)結(jié)果均通過(guò)受試者工作特性曲線(Receiver Operator Characteristic，ROC)進(jìn)行觀察比較。ROC曲線是以負(fù)正類率(False Positive Rate，F(xiàn)PR)為縱坐標(biāo)、真正類率(True Negative Rate，TPR)為橫坐標(biāo)繪制成曲線，最靠近坐標(biāo)圖左上方的點(diǎn)為敏感性和特異性均較高的臨界值。

4.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果的ROC曲線如圖5所示，其中HOG(1) 表示的是傳統(tǒng)使用PCA進(jìn)行數(shù)據(jù)維度降低后的RealAdaBoost分類檢測(cè)率。而HOG(CPF)是使用文獻(xiàn)[1]中算法得到的檢測(cè)率。剩余的6條曲線為本實(shí)驗(yàn)提出的改進(jìn)特征對(duì)應(yīng)的檢測(cè)率?？梢园l(fā)現(xiàn)HOG(CPF)特征的檢測(cè)率比傳統(tǒng)的HOG特征檢測(cè)率有明顯的提升，而改進(jìn)后特征對(duì)應(yīng)的檢測(cè)率比HOG(CPF)特征對(duì)應(yīng)的檢測(cè)率又有了相應(yīng)不同程度的提升，詳細(xì)數(shù)據(jù)參見(jiàn)表2。經(jīng)過(guò)改進(jìn)的特征融合了紋理和色彩特性，有效解決了行人檢測(cè)中出現(xiàn)的遮擋和半重疊問(wèn)題，如圖6所示。然而在進(jìn)行檢 測(cè)的過(guò)程中，由于存在行人姿態(tài)多變性和嚴(yán)重遮擋等問(wèn)題，因此仍存在一定的誤檢和漏檢情況，如圖7所示。

圖5 實(shí)驗(yàn)ROC特性曲線

圖6 有效實(shí)現(xiàn)遮擋和半重疊的檢測(cè)

圖7 左圖黑框?yàn)槁z，右圖黑框?yàn)檎`檢

1%2%3%4%5%HOG(1)63.7580.8389.791 793.5495.312HOG(CPF)94.062 595.65297.161 597.942 798.072 9LBPHOG94.37596.2597.656 297.968 898.255 2CSSHOG94.479296.484 497.838 598.15198.333HOG+LBPHOG94.947 997.057 398.15198.359 498.541 7HOG+CSSHOG95.286 597.369 898.203 198.489 698.543 8LBPHOG+CSSHOG95.755 297.838 598.463 598.697 998.802 1HOG+LBPHOG+CSSHOG96.328 198.046 998.854 298.854 299.010 4

表2描述了不同F(xiàn)PR下的檢測(cè)率。可以發(fā)現(xiàn)在FPR為1%時(shí)，HOG(CPF)特征比HOG(1)特征提升了30.31%，而LBPHOG特征和CSSHOG特征與HOG(CPF)特征相比又分別提升了0.312 5%和0.416 7%。從顯示的數(shù)據(jù)來(lái)看，盡管隨著FPR的增大，檢測(cè)率的提升速度有所緩和，但在FPR為5%時(shí)，改進(jìn)特征的最高檢測(cè)率為99.010 4%，仍比傳統(tǒng)HOG特征對(duì)應(yīng)的檢測(cè)率提高了3.608 4%。以上實(shí)驗(yàn)結(jié)果及分析證明了本文所提算法的有效性。

5 結(jié)束語(yǔ)

本文對(duì)圖像處理常用的HOG特征提出了改進(jìn)，并基于該改進(jìn)特征生成共生概率特征。本文提出的算法改進(jìn)使得共生概率特征不僅具有HOG、LBPHOG、CSSHOG這3種特征的特性，還大幅減少了計(jì)算維度，在保證計(jì)算速度的同時(shí)提高了檢測(cè)精度。不過(guò)通過(guò)上述實(shí)驗(yàn)結(jié)果顯示CSSHOG的特征曲線一直高于LBPHOG的特征曲線，與預(yù)估稍有偏差。接下來(lái)要做的是考慮LBP和CSS特征在不與HOG特征融合的情況下能否實(shí)現(xiàn)共生概率特征的計(jì)算。