張 智,王 慧,蘇 麗,聶文昌

(哈爾濱工程大學(xué) 自動化學(xué)院, 哈爾濱 150001)

1 引 言

人體檢測是目標(biāo)檢測領(lǐng)域中不可或缺的一個分支,其中,室內(nèi)環(huán)境下的靜態(tài)圖像中的人體檢測具有比較積極的研究意義.特別是對于視覺服務(wù)機器人來說,準(zhǔn)確的識別人體是做出下一步行動的首要前提.特別是近年來深度學(xué)習(xí)技術(shù)發(fā)展迅速,作為統(tǒng)計學(xué)習(xí)的方法,深度學(xué)習(xí)已在各個領(lǐng)域發(fā)揮重要作用[1],并已被用于人體檢測、動作識別、行為理解等問題的研究[2],作為統(tǒng)計學(xué)習(xí)方法的一種,深度學(xué)習(xí)與傳統(tǒng)的分類器(如SVM)相比,在準(zhǔn)確率上提升效果顯著,但深度學(xué)習(xí)往往需要足夠大的樣本集,且對計算系統(tǒng)硬件性能要求較高,所以傳統(tǒng)方法仍然有積極的學(xué)術(shù)研究及應(yīng)用價值.常見的傳統(tǒng)的人體識別方法主要分為3類:

1)利用圖割的方法進(jìn)行人體檢測[3],利用各種分割算法結(jié)合Ncut[4,5]方法能夠準(zhǔn)確的對圖像進(jìn)行分割并提取人體.但由于分割的條件不同,可能會存在目標(biāo)人體分割不完整,分割塊數(shù)過大或過小等問題.

2)利用統(tǒng)計學(xué)習(xí)的方法對人體進(jìn)行檢測[6],一般需要提取目標(biāo)特征建立分類器模型,而后利用分類器模型對人體進(jìn)行檢測,該算法能達(dá)到比較好的檢測效果,缺點是人體檢測和建模耗時較多,實時性不能得到滿足.

3)利用模型匹配的方法進(jìn)行人體檢測[7],該方法能夠?qū)?fù)雜人體姿態(tài)進(jìn)行精度較高的檢測,但是實時性較低,復(fù)雜環(huán)境下效果較差.又由于人體的非剛性所以并不能有一個統(tǒng)一的模型運用于人體檢測中來.

雖然傳統(tǒng)方法能夠?qū)崿F(xiàn)目標(biāo)檢測,但在構(gòu)建實際應(yīng)用系統(tǒng)時,僅依靠單一方法有時難以獲得理想的效果,往往需要多種方法結(jié)合,并將任務(wù)特點及先驗知識有機融入算法,才能不斷提高系統(tǒng)性能.本文相比傳統(tǒng)的人體識別方法,加入了meanshift分割,并且加入了中間處理環(huán)節(jié)使得分割塊數(shù)更加的符合檢測目標(biāo)的特性,并且先驗知識的約束很好的解決了人體目標(biāo)被分割比較零碎的情況,同時先分割后識別的策略使得人體檢測時間和準(zhǔn)確率以及完整度都得到了較大的優(yōu)化.為將研究重點聚焦在方法融合上面,在統(tǒng)計學(xué)習(xí)方法的選擇上本文仍選取簡單易行的SVM[8-10]方法,訓(xùn)練樣本集直接選用實驗室環(huán)境拍攝的小樣本集(SVM恰在小樣本分類上具有優(yōu)勢),最終通過方法融合以及先驗約束的加入,使得本文算法在小樣本集的情況下仍獲得了很好的檢測結(jié)果.

2 基于HOG-SVM算法建立的分類器模型

2005年Dalal提出了HOG-SVM算法[11-13],該算法利用HOG提取人體特征,利用SVM分類.圖像的邊緣對應(yīng)于圖像的邊界,HOG特征不僅能完整的提取圖像的邊界減少處理的信息量而且很好地保留了物體的輪廓信息.SVM可以對輸入數(shù)據(jù)進(jìn)行分類建立分類模型.兩者結(jié)合用于人體檢測,實驗結(jié)果表明HOG-SVM在行人檢測方面具有快速高效準(zhǔn)確的特點,能夠?qū)鼍爸械娜梭w進(jìn)行識別標(biāo)示.

2.1 HOG特征及SVM分類簡述

梯度直方圖(Histogram of oriented Gradients,HOG)是目前計算機視覺及模式識別里常見的描述圖像局部紋理特征的算法,它通過計算圖像某一局部區(qū)域的梯度信息,得到該區(qū)域的直方圖,該直方圖即為該區(qū)域的特征描述.將圖片分為多個小區(qū)域,獲取每一個小區(qū)域的梯度直方圖,串聯(lián)后即可得到整幅圖片的特征描述.由Vapnik等人在1995年提出的支持向量機(Support Vector Machine,SVM),由于其較強的泛化能力及學(xué)習(xí)能力,所以常常被應(yīng)用于各識別分類場景中.

2.1.1 HOG特征計算步驟

采用梯度方向直方圖提取圖像特征,HOG算法是將圖像均勻的分成相鄰的小塊,采用有重疊和無重疊兩種方式對所有小塊進(jìn)行塊內(nèi)直方圖統(tǒng)計,常見的HOG結(jié)構(gòu)大致有三種:矩形HOG、圓形HOG和中心環(huán)繞HOG,本文采用有重疊的矩形HOG以及最簡單的[-1,0,1]算子提取特征.

特征提取具體流程如下

步驟1.將圖片統(tǒng)一尺寸為64×128,其中以8×8的像素為一個Cell,以2×2的Cell為一個Block.采用矩形HOG重疊遍歷Cell網(wǎng)格,即每個塊之間都有重疊的Cell.

步驟2.對8×8大小的彩色圖片按比例實現(xiàn)顏色空間歸一化并對每個Cell的像素點i進(jìn)行伽馬校正,目的是減小光照對不同圖片的影響.

按比例顏色空間歸一化

Gray=0.3R+0.59G+0.11B

(1)

R,G,B分別代表圖像中的3通道,Gray為像素點三通道按比例歸一化后的灰度值.

伽馬校正

Y(x,y)=I(x,y)γ

(2)

其中,取γ=0.5對應(yīng)伽馬校正中的系數(shù),I(x,y)代表(x,y)點像素值大小,Y(x,y)為像素點(x,y)Gamma校正后的值.

步驟3.計算每個8×8大小的cell經(jīng)過顏色空間歸一化及γ校正后每一個像素的梯度的大小和方向.

用[-1,0,1]梯度算子對原圖像做卷積,得到水平方向梯度Gx(x,y),然后用[-1,0,1]T梯度算子對原圖像做卷積,得到豎直方向梯度為Gy(x,y)

Gx(x,y)=I(x+1,y)-I(x-1,y)

(3)

Gy(x,y)=I(x,y+1)-I(x,y-1)

(4)

其中,I(x,y)對應(yīng)代表各點像素值大小.

該像素點(x,y)梯度大小G(x,y)和梯度方向θ(x,y)分別為

(5)

(6)

步驟4.最后以梯度方向為依據(jù)以梯度大小為權(quán)重獲取9bin的直方圖統(tǒng)計;而后對一個Block內(nèi)的像素點的直方圖進(jìn)行歸一化處理,將所有的Block的直方圖串聯(lián)在一起組合成一個大的HOG特征向量.本文因采用8×8的Cell及2×2的Block,所以統(tǒng)一尺寸后的64×128的圖片包含的維數(shù)為3780.

2.1.2 HOG-SVM模型建立

HOG-SVM模型的建立過程是:利用HOG 檢測算法提取并保存圖片像素梯度歸一化后的信息,訓(xùn)練選取正負(fù)樣本,圖片來源為實驗室雙目相機在實驗室環(huán)境拍攝所得.統(tǒng)一圖片尺寸為64×128,每個圖片可以得到105個Block,每個Block包含36維向量,歸一化之后每幅圖片可以得到3780維HOG特征和一維非(1)即(-1)的標(biāo)志位共3781維.將正負(fù)樣本的HOG特征輸入到SVM中,選擇合適的參數(shù)獲取效果較好的正負(fù)支持向量機,使用得到的支持向量機去預(yù)測接下來的待檢測的圖像,框畫出人體的位置.

3 MeanShift分割

1957年,Fukunaga等人首先提出了MeanShift理論[14],1995年經(jīng)過Cheng進(jìn)一步改進(jìn),直到2002年MeanShift成功的應(yīng)用于圖像處理和計算機視覺領(lǐng)域,其中就包括MeanShift算法與Ncut相結(jié)合的圖像分割方法.

3.1 MeanShift算法原理

假設(shè)有任意n個樣本點xi,(i=1,2,…,n),定義某一像素點x的概率密度的核函數(shù)估計為

(7)

其中,K(x)為核函數(shù),h為帶寬參數(shù).

則MeanShift向量的數(shù)學(xué)表達(dá)式為

(8)

其中,g(x)=-k′(x),k(x)是K(x)的輪廓函數(shù).

對于彩色圖像每個像素點至少包含顏色和位置信息,因此利用顏色和特有的位置信息將彩色圖像中的每一個像素點都可表示成一個五維信息向量,在表達(dá)式x=(x,y,r,g,b)中xs=(x,y)表示像素點的位置坐標(biāo)信息,xr=(r,g,b)表示的是像素點的rgb顏色特征向量.

則核函數(shù)的表達(dá)式為

(9)

式中,C為歸一化常量,hs為空間域帶寬,hr表示色度域帶寬.

3.2 MeanShift算法步驟

MeanShift分割需要依次對圖片進(jìn)行平滑、聚類.

步驟2.圖像聚類.圖片經(jīng)過平滑后,將位于圖像邊框內(nèi)并尚未標(biāo)記區(qū)域的點進(jìn)行聚類,將滿足空間距離小于hs且顏色差值小于hr的點劃分為一類.

4 基于圖像分割與HOG-SVM結(jié)合的靜態(tài)圖像人體檢測

如圖1所示為訓(xùn)練過程.算法首先通過特征提取建立分類器模型,而后利用模型進(jìn)行人體檢測.具體流程如下:提取正負(fù)樣本的HOG特征,將特征數(shù)據(jù)輸入到SVM中進(jìn)行訓(xùn)練,得到一個二分類器,分類器建立之后,保存模型,進(jìn)行下一步的人體識別.

圖1 訓(xùn)練流程圖Fig.1 Training flow chart

具體預(yù)測過程為:首先對待檢測圖片進(jìn)行MeanShift分割,目的是選取人體疑似區(qū)域,疑似區(qū)域經(jīng)HOG特征提取和SVM1粗分類判斷,目的是初步篩除部分非人體區(qū)塊并確保人體區(qū)塊沒有完全被漏檢,針對人體被分為多個零散部分進(jìn)行基于先驗知識的二次聚類,而后對聚類后的區(qū)域進(jìn)行基于SVM2的精判斷,目的是去除干擾.最后以外接矩形表示該區(qū)域為人體.

4.1 圖像分割及模糊聚類

給定圖像后,首先采用第3節(jié)描述方法將圖像分割成小塊,然后對圖像進(jìn)行模糊聚類,得到有限數(shù)量的圖塊,模糊聚類方法如下:

步驟1.對圖像分割及區(qū)域標(biāo)號后,任取圖像區(qū)域中的一點,尋找其四鄰域區(qū)域中標(biāo)號不同的另外一點.

步驟2.求取當(dāng)前點所在區(qū)域和鄰域點所在區(qū)域rgb差值的平方為N,當(dāng)前點所在區(qū)域面積為M.并設(shè)定合適的面積閾值及顏色差值閾值.

步驟3.假使當(dāng)前點所在區(qū)域面積M小于設(shè)定的面積閾值900并且rgb的差值平方N也小于設(shè)定的顏色差值閾值49,則將該點所在區(qū)域與其鄰域點所在區(qū)域合二為一,相對應(yīng)的區(qū)域總數(shù)減少一.

圖像原始分割時包含人體的小塊區(qū)域較多,算法通過模糊聚類來減小分塊數(shù)量,從圖2圖像分割及聚類結(jié)果圖可以看到經(jīng)分割和模糊聚類后,可以將人體所在區(qū)域分割出來,且人體和背景區(qū)域能夠很好地區(qū)分,雖然有些人體區(qū)域被分成多個子塊,但后續(xù)的二次聚類及粗-精識別策略能夠有效解決該問題.

圖2 圖像分割及聚類結(jié)果Fig.2 Image segmentation and clustering results

4.2 SVM訓(xùn)練過程

對預(yù)測圖片采用粗-精結(jié)合的方法進(jìn)行人體識別(方法示意見圖1),首先利用MeanShift分割對待檢測圖片做先期的預(yù)處理,提取出疑似人體區(qū)域后再獲取該區(qū)域的HOG特征,最后將該區(qū)域的特征數(shù)據(jù)輸入到不同的SVM中.當(dāng)以SVM1為訓(xùn)練模型時閾值較為寬松,確保人體區(qū)域不存在漏識別,此過程稱為粗識別;以SVM2為訓(xùn)練模型時采用較嚴(yán)格的閾值,對粗識別的區(qū)域二次聚類后,提取特征輸入閾值較大的SVM2模型中,解決粗識別造成的誤識別過多的問題,只留下僅包含人體的區(qū)域,此過程稱為精識別.模型訓(xùn)練具體過程如下:

1)利用MeanShift算法分割訓(xùn)練圖片,人為選取分割區(qū)域中的人體部位(如頭部,腿部,上肢)作為正樣本訓(xùn)練得到預(yù)測模型SVM1,當(dāng)利用模型SVM1進(jìn)行預(yù)測時,對應(yīng)的分類閾值取較寬松的即較小的值.稱利用SVM1進(jìn)行預(yù)測的過程為粗識別.

2)利用剪裁的純?nèi)梭w區(qū)域(只包含完整的人體,無其他干擾)作為正樣本訓(xùn)練得到預(yù)測模型SVM2,當(dāng)利用SVM2預(yù)測二次聚類后的區(qū)域時,對應(yīng)的分類閾值取較嚴(yán)格的即較大的值.稱利用SVM2進(jìn)行預(yù)測的過程為精識別.

SVM閾值的大小影響人體檢出率的高低.預(yù)測100張圖片,其中50張為人體,50張為物體.

則粗-精識別實驗數(shù)據(jù)見表1.

表1 粗-精識別實驗數(shù)據(jù)
Table 1 Rough-precision identification experiment data

識別過程正樣本檢出率%負(fù)樣本檢出率%粗識別過程10036精識別過程945

注：檢出率=正負(fù)樣本檢出個數(shù)/各自樣本總數(shù)。

4.3 基于人體先驗知識的二次聚類

由于粗識別后的人體仍然是分散的,所以粗識別后要對人體進(jìn)行基于人體先驗知識的二次聚類.主要參考的人體縱向上的先驗知識是,人體的腿部框的寬度一定會小于人體的肩寬,人體的頭部框的寬度也一定會小于人體的肩寬.人體橫向上參考的的先驗知識是當(dāng)人體的胳膊有一定延展動作時,胳膊存在被Meanshift單獨分割成為獨立部分的可能,所以考慮胳膊所在的框畫區(qū)域一定與人體存在連結(jié)性,滿足連接點的橫坐標(biāo)必定大于身體邊界區(qū)域的橫坐標(biāo).基于人體各部分縱向與橫向上的位置關(guān)系的知識的方法稱為人體先驗知識.

1)橫縱向二次聚類原理示意圖(圖3).

圖3 橫縱向二次聚類示意圖Fig.3 Horizontal and vertical quadratic clustering

圖3中{(XHlt,yHlt),(XHlr,yHlr),(XHrb,yHrb)}分別表示人體頭部外接矩形的左上、左右、右下坐標(biāo).

{(XBlt,yBlt),(XBlr,yBlr),(XBrb,yBrb)}分別表示身體外接矩形的左上、左右、右下坐標(biāo).

{(XGlt,yGlt),(XGlr,yGlr)}分別表示腿部外接矩形的左上、左右坐標(biāo).

{(XDlt,yDlt),(XDlr,yDlr),(XDrb,yDrb)}分別表示被分割出去的手部外界矩形的左上、左右和右下坐標(biāo).以圖像的左上角為參考原點則:

if {XHlt> XBlt&& XHlr< XBlr&& yHrb

if { XGlt> XBlt&& XGlryBlr}則將合并的頭身區(qū)域再與滿足該條件的腿部區(qū)域合并.更新區(qū)域?qū)傩?

if { XDlr>XBlt&& XDlr yBlt&& yDrb< yBrb}則合并身體部位與手部部位.更新區(qū)域?qū)傩?實驗室實際實驗圖如圖4所示.

圖4 人體二次聚類圖Fig.4 Human quadratic clustering

圖4(a)所示是實驗室實際圖片聚類效果演示,圖4(b)粗識別后的預(yù)測結(jié)果,與粗識別前圖2(b)相比較部分誤識別的區(qū)域有所減少,圖4(c)是對粗識別后的人體基于人體先驗知識二次聚類.

從圖示可以很明顯的看到原本零散的人體區(qū)域,被完整地聚類到了一起.由以上兩幅圖可以說明,粗識別后如果不基于先驗知識聚類,人體各部分零散分布,人體識別比較零碎,不能稱之為識別完成.基于人體先驗知識二次聚類后可以看到完整的人體,人體可以非常明顯的被框示出來,總體結(jié)果很明顯優(yōu)于未聚類前.

4.4 基于精識別的干擾去除

粗識別之后人體各個部位零散的被框示出來,經(jīng)過二次聚類人體雖能夠被完整框示出來.但仍然存在部分誤識別.為了有效消除誤識別,本文提出精識別的思路,即利用閾值調(diào)高之后所得模型SVM2,其判決條件相比粗識別模型SVM1更加嚴(yán)格,所以它可以有效地消減誤識別(如圖5所示).

圖5 精識別后Fig.5 After careful identification

5 綜合實驗與對比分析

本節(jié)開展基于HOG-SVM的靜態(tài)人體識別的綜合實驗,算法在Visual C++ 6.0環(huán)境下編寫,計算機配置為Intel(R)Core(TM)i3-2350 CPU @ 2.30GHz 2.30 GHz,Windows 7,4GB內(nèi)存,實驗中選用的圖片大小均為512*384.各組圖中精識別的結(jié)果圖中粗線條框是使用傳統(tǒng)的HOG和SVM實現(xiàn)的,人體檢測細(xì)線條框是使用本文方法實現(xiàn)的人體檢測.

圖6是采用雙目攝像機拍攝的某一實驗室多人圖片.設(shè)置MeanShift算法的參數(shù)(hs,hr,T)=(6,16,0.15),設(shè)置糊聚類的終止條件為區(qū)域大小不低于900,顏色閾值不低于49,粗識別給定的SVM1的γ值為1,閾值為-0.5,精識別給定的SVM2的γ值為4,閾值為-0.01.實驗室多人實驗效果圖如圖6所示.

圖6 多人的實驗圖Fig.6 Multi-person experimental chart

由實驗效果圖可以看到,粗線條畫框標(biāo)識的是傳統(tǒng)方法實現(xiàn)的人體識別結(jié)果,實驗效果出現(xiàn)了目標(biāo)框畫不完整的現(xiàn)象,部分圖片出現(xiàn)漏識別現(xiàn)象.試驗中可驗證本文方法相對傳統(tǒng)的HOG與SVM方法,在識別人體的完整性和準(zhǔn)確率以及時間消耗上都有明顯的優(yōu)勢.取100張實驗圖片對比試驗數(shù)據(jù)見表2.

檢出率=檢測到的人體/總的人體總數(shù)

有圖表分析可得,在檢出率上,由于本文首先采用Mean-shift分割算法找出疑似人體區(qū)域,而后采用HOG和SVM進(jìn)行人體識別,通過模糊聚類以及“粗-精”兩級識別的架構(gòu),提高了目標(biāo)檢出率,后期結(jié)合先驗知識將過分割的人體目標(biāo)二次合并,進(jìn)一步解決了傳統(tǒng)方法對人體目標(biāo)定位不準(zhǔn)確(無法框住完整人體)及漏識別的問題.在時間上,摒棄傳統(tǒng)方法對圖像采用多尺度金字塔縮放識別方法,大大減少了掃描圖像的數(shù)量,單張圖片處理時間縮短一半左右.

表2 HOG-SVM與Meanshft-HOG-SVM實驗數(shù)據(jù)
Table 2 HOG-SVM and Meanshft-HOG-SVM experimental data

識別過程HOG-SVMMeanshft-HOG-SVM單張時間(ms)41252302檢出率(%)7894

6 結(jié)束語

本文以機器人視覺中的人體識別問題為背景,研究了基于HOG-SVM的人體識別的算法,并以MeanShift分割為基礎(chǔ),將圖像分割與統(tǒng)計學(xué)習(xí)結(jié)合,提出了基于粗-精兩級支持向量機的人體檢測方法.識別過程中首先通過分割及模糊聚類獲取初步圖像塊集合,并結(jié)合人體先驗知識對預(yù)分割的圖像塊進(jìn)行二次合并,快速篩選疑似人體區(qū)域,使算法不僅能夠有效提取圖片中疑似人體區(qū)域,還能成功的融合分割過程中被零散分割的人體.兩級支持向量機檢測的方法能夠保證盡量減少人體漏檢的同時,降低誤識別率.算法中分割合并以及兩級檢測的思想也可與其它統(tǒng)計學(xué)習(xí)方法結(jié)合,并可用于其它目標(biāo)檢測領(lǐng)域.