何 棟， 秦 強， 桂志國

(1. 山西輕工職業(yè)技術(shù)學(xué)院 信息工程系，山西 太原 030013；2. 西安交通大學(xué) 電子與信息工程學(xué)院， 陜西 西安 710049； 3. 中北大學(xué) 信息與通信工程學(xué)院， 山西 太原 030051)

為了更好地保護(hù)車輛前方的行人并降低駕駛員的操作復(fù)雜性， 車輛前方的行人檢測技術(shù)逐漸成為機器視覺的研究熱點[1-6].

目前， 比較盛行的是基于特征描述的行人檢測方法， 譬如梯度方向直方圖(Histogram of Gradient， 簡稱HOG)、 多尺度可變形部件模型(Deformable Part Models， 簡稱DPM)等描述算子[7-11]. 基于特征描述的行人檢測方法為了提高行人檢測的準(zhǔn)確率， 避免漏檢， 基本采用滑動檢測窗進(jìn)行窮盡搜索. 如果將該行人檢測算法設(shè)置于車載設(shè)備中， 基于窮盡搜索法需要消耗至少幾百毫秒的時間， 顯然沒有實用價值.

因此， 本文結(jié)合人眼視覺的心理物理學(xué)和韋伯定律， 提出了一種基于顯著性檢測和參數(shù)融合的LUT-HOG實時行人檢測方法[13-17]. 首先,行人檢測系統(tǒng)采用基于多局部區(qū)域的空域調(diào)頻對比度的顯著性檢測方法， 快速標(biāo)注圖像中的“行人”區(qū)域， 來替代檢測窗窮盡搜索的方法. 其次， 在標(biāo)注的“行人”區(qū)域， 提出基于參數(shù)融合的改進(jìn)型快速LUT-HOG， 且使用逼近線性SVM(Support Vector Machine)計算時間的AK-SVM(Additive Kernel SVM)進(jìn)行行人目標(biāo)檢測[18-20]. 最后， 在Visual studio 2012的環(huán)境下使用C語言對行人檢測算法進(jìn)行準(zhǔn)確性和檢測速度地評估. 測試結(jié)果表明， 在不降低準(zhǔn)確率的前提下， 該行人檢測系統(tǒng)完全可以作為車載設(shè)備進(jìn)行實時行人檢測.

1 “行人”區(qū)域顯著性檢測

本文提出行人檢測系統(tǒng)， 采用基于多局部區(qū)域的空域調(diào)頻對比度的顯著性檢測方法來獲得圖像的顯著性區(qū)域， 并標(biāo)記為“行人”， 供下一級行人檢索系統(tǒng)進(jìn)行特征提取和目標(biāo)分類. 相比窮盡搜索需要花費幾百毫秒的檢測時間， 通過基于多局部區(qū)域的空域調(diào)頻的顯著性檢測方法， 可以將圖像的處理時間壓縮到原先的10%～20%左右.

人眼的視覺沖擊力度取決于目標(biāo)與局部區(qū)域的對比度. 對比度越高， 人眼對該目標(biāo)的感知性越強. 這樣， 研究人員可利用每個像素和周圍區(qū)域像素的對比度來刻畫圖像的顯著性區(qū)域. 首先， 分析采用基于空域調(diào)頻對比度的顯著性檢測方法. 在進(jìn)行顯著性檢測時,假設(shè)帶通濾波器DoG為

G(x,y,σ1)-G(x,y,σ2).(1)

N個數(shù)字濾波器疊加表示為

G(x,y,ρnσ)-G(x,y,σ).(2)

如果ρnσ為無窮大， 則利用此高斯核函數(shù)對圖像進(jìn)行卷積時， 卷積后的像素值為所有像素點的平均值. 根據(jù)上述討論定義圖像空域調(diào)頻的對比度特征， 為

S(x,y)=‖f(x,y)-f1(x,y)‖,(3)

式中：f1(x,y)是經(jīng)過高斯濾波以后的圖像；f(x,y)為算術(shù)平均后的圖像； ‖ ‖是歐式距離.

在空域調(diào)頻對比度的基礎(chǔ)上， 引入基于多局部區(qū)域的顯著性特征檢測法. 假設(shè)x0,y0以及Area分別代表進(jìn)行對比的局部區(qū)域的半徑寬、 長和面積，N為分割的局部區(qū)域數(shù). 局部區(qū)域參數(shù)具體計算公式為

(5)

根據(jù)式(5)～(6)得到局部區(qū)域的特征均值， 為

(7)

整理上述公式， 推得基于多局部區(qū)域的空域調(diào)頻的圖像顯著性特征Ssig， 為

(8)

圖 1 為分別進(jìn)行顯著性提取的圖像. 在圖 1(c)～(d) 中， 顯著性區(qū)域明顯出現(xiàn)漏檢. 為了解決該問題， 對多局部區(qū)域的定義進(jìn)行改進(jìn). 將局部區(qū)域重新定義為

s.t.Wi>64,Hi>128,(9)

式中：i={1,2,3,4}， 表示第i次圖像顯著性檢測.

局部對比區(qū)域N的選值決定了“行人”區(qū)域的標(biāo)定時間和準(zhǔn)確性. 如果N值太小， 顯著性區(qū)域會包含很多無效的非“行人”區(qū)域. 如果N值太大， 則顯著性檢測的時間過長. 選取500幅INRIA 行人檢測庫的測試圖片， 手動標(biāo)記“行人”區(qū)域， 并統(tǒng)計不同N值情況下的“行人”區(qū)域數(shù)和標(biāo)記時間， 見表1. 從表 1 可以得知， 一個像素大小為640×480的圖像， 當(dāng)N=6時， 顯著性檢測時間為0.012 s (12 ms)， 標(biāo)注的準(zhǔn)確性為99%. 當(dāng)N小于6時， 準(zhǔn)確度變低. 當(dāng)N大于6時， 顯著性檢測的時間較長， 不適用于實時的行人檢測系統(tǒng).

圖 1 原圖與顯著性區(qū)域?qū)Ρ菷ig.1 Comparison between origninal figure and saliency area

N待測圖片/幅行人總數(shù)/個標(biāo)注行人總數(shù)/個標(biāo)記率/%標(biāo)記時間/s5500500490980．0106500500495990．0121050050049899．60．0351550050049899．60．0702050050049899．60．122550050049899．60．353050050049899．60．46

本行人檢測系統(tǒng)采用顯著性檢測方法替代窮盡搜索方法， 可以在很短的時間內(nèi)將“行人”區(qū)域進(jìn)行標(biāo)注， 供后續(xù)部分進(jìn)行處理.

2 快速行人特征提取和分類

行人檢測系統(tǒng)主要是由特征提取和分類兩部分組成， 因此， 要提高行人檢測速度， 需要分別分析這兩個性能.

2.1 基于參數(shù)融合的LUT-HOG特征提取算法

在行人特征提取算法中， HOG算子對于行人特征提取的準(zhǔn)確性和魯棒性較優(yōu)， 算法相對簡單， 但提取速度慢. 因此， 本文提出一種基于參數(shù)融合的改進(jìn)型梯度方向直方圖， 稱為LUT-HOG. 按照像素在cell中所處區(qū)域的不同， 將位置和方向系數(shù)進(jìn)行有選擇的融合， 避免大量計算幅值的插值運算， 提高行人特征的提取速率.

在行人特征提取開始前， 確定基于參數(shù)融合的LUT-HOG的檢測窗， cell和block的尺寸分別為： 128×64， 8×8. LUT-HOG的特征計算過程為：

1) 計算每一個像素點的梯度，Gx(x,y)和Gy(x,y)分別為

Gx(x,y)=H(x+1,y)-H(x-1,y),

Gy(x,y)=H(x,y+1)-H(x,y-1),(10)

式中：H(x,y)表示(x,y)點的像素值.

根據(jù)梯度值得到像素點的梯度幅值和方向， 分別為

(11)

2) 將幅值按照方向和位置關(guān)系進(jìn)行插值運算， 得到梯度方向直方圖，h(ci,αj)為

h(ci,αj)←h(ci,αj)+G(x,y)M(x,y)αf(x,y),(13)

式中：h(ci,αj)表示一個block中的第i個cell處于αj區(qū)間的HOG特征值； (x1,y1)為cell的中心位置；α1表示像素點在梯度方向距離最近bin的中心值；M(x,y)為空間位置系數(shù)；αf(x,y)為方向系數(shù). 式(10)～(12)計算量大， 消耗時間長. 為了減少進(jìn)行插值的計算量， 需要將M(x,y)和αf(x,y)根據(jù)圖 2 的區(qū)間劃分進(jìn)行變形， 具體步驟為：

圖 2 A和B區(qū)劃分Fig.2 Partitions of A and B zone

STEP1： 將一個cell按照像素點位置的不同分為A區(qū)域和B區(qū)域， 分別用空白方格和斜線方格表示； 一個block中4個cell的A區(qū)域和B區(qū)域的關(guān)系如圖 2 所示. 如果像素位于A區(qū)域， 那么該區(qū)域的幅值系數(shù)不變. 如果像素位于B區(qū)域， 那么該區(qū)域的幅值只對其自身所在cell的HOG特征有貢獻(xiàn)，M(x,y)為

M(x,y)=1.(15)

STEP2：M(x,y)不同位置的各種組合離線進(jìn)行有選擇性的計算.

STEP3： 將每一個bin區(qū)間分為8部分. 梯度方向處于bin區(qū)間的第m個1/8部分， 這樣梯度幅值按照方向系數(shù)的映射數(shù)值就變?yōu)樵档?/8倍.αf(x,y)為

(16)

式中：k=[1,2,3,…,8].

STEP4: 位置系數(shù)和方向系數(shù)根據(jù)所處區(qū)域的不同， 相互融合， 基于式(14)得到融合參數(shù)， 即

(17)

式中：PA為A區(qū)域的融合系數(shù)；PB為B區(qū)域的融合系數(shù)， 均可以通過離線計算得到.

STEP5: 整理上述公式， 推得

h(ci,αj)←h(ci,αj)+G(x,y)Mα(x,y).(18)

3) 將計算得到的特征進(jìn)行歸一化操作.

基于參數(shù)融合的LUT-HOG計算簡單， 并且便于系統(tǒng)實現(xiàn). 與傳統(tǒng)的HOG特征提取算子相比， 特征提取速度可以提高到原速度的6倍， 從而使得HOG作為行人特征提取算子， 不再是實時行人檢測的制約因素.

2.2 AK-SVM高效行人分類

分類的效率同樣決定行人檢測系統(tǒng)的整體性能. SVM是行人檢測系統(tǒng)中常見的分類器. 只要給出正確的特征值， SVM就可以進(jìn)行有效的訓(xùn)練得到分類函數(shù)或模型. 根據(jù)SVM中核函數(shù)的不同， 分為線性SVM和非線性SVM. 線性SVM計算簡單， 分類速度快， 但分類準(zhǔn)確度低； 非線性SVM計算復(fù)雜， 分類速度慢， 但分類準(zhǔn)確度高. 在本行人檢測系統(tǒng)中， 采用逼近線性SVM計算時間的AK-SVM作為分類算法， 在不降低分類精度的前提下， 仍可提高行人檢測的分類速度.

3 系統(tǒng)設(shè)計與結(jié)果分析

本系統(tǒng)分別在PC機和BF-609的開發(fā)板上進(jìn)行行人檢測與結(jié)果分析. 在PC機上， 使用C語言在Visual Studio 2012中進(jìn)行算法性能評估. 將評估的算法移植到BF-609的開發(fā)板上， 分析將其作為車載設(shè)備進(jìn)行實時行人檢測的可行性.

3.1 算法實現(xiàn)與實驗結(jié)果分析

將顯著性檢測算法， 行人快速特征提取算法和AK-SVM組合成行人檢測系統(tǒng). 根據(jù)不同的作用， 行人檢測系統(tǒng)分為顯著性特征提取、 目標(biāo)識別以及離線訓(xùn)練三部分. 系統(tǒng)框圖及檢測過程如圖 3 所示. 首先， 將輸入的圖像進(jìn)行顯著性檢測并標(biāo)記為“行人”區(qū)域. 在“行人”區(qū)域， LUT-HOG提取行人特征， 然后將特征基于AK-SVM進(jìn)行目標(biāo)分類. 最后， 采用非極大值抑制對分類結(jié)果進(jìn)行融合和標(biāo)注， 將經(jīng)過標(biāo)記的行人圖像顯示.

3.1.1 參數(shù)融合的 LUT-HOG性能評估

在進(jìn)行實驗前， 選取INRIA的樣本訓(xùn)練庫和檢測庫分別作為檢測系統(tǒng)的訓(xùn)練樣本和測試樣本. 在INRIA行人庫中， 整理檢測庫中的500幅圖片(包含有832個行人)作為行人檢測系統(tǒng)的待處理圖像， 并手動標(biāo)記行人位置. 因為LUT-HOG是基于HOG的改進(jìn)型快速行人特征提取算子， 因此分別將HOG+AK-SVM和LUT-HOG+AK-SVM進(jìn)行行人特征提取和識別， 將識別的結(jié)果進(jìn)行統(tǒng)計. 整理上述實驗和統(tǒng)計結(jié)果， 得到表 2.

表 2 LUT-HOG特征表

從表 2 可以看出， LUT-HOG+AK-SVM檢測系統(tǒng)的檢測準(zhǔn)確率可以達(dá)到92.5%， 略低于HOG+AK-SVM 93%的準(zhǔn)確率， 基本滿足行人特征提取的準(zhǔn)確度要求. LUT-HOG的計算量是HOG的70%～80%， 故LUT-HOG可通過減少計算量來提高行人特征的提取速度.

圖 3 行人檢測流程圖Fig.3 Block diagram of pedestrian detection

3.1.2 行人檢測系統(tǒng)結(jié)果分析

AK-SVM是逼近線性 SVM(即Linear SVM)計算時間的非線性分類器. 為了充分分析本行人檢測系統(tǒng)的結(jié)果， 引入HOG+Linear SVM, SD(Saliency Detection)+LUT-HOG+Linear SVM這兩種行人檢測系統(tǒng). 將這兩種行人檢測系統(tǒng)的檢測結(jié)果和SD+LUT-HOG+AK-SVM的檢測結(jié)果進(jìn)行對比. 在對比前， 同樣需要選取500幅行人檢測的圖像(全部大小為640×480, 共包含832個行人)作為行人檢測系統(tǒng)的檢測圖像， 并手動標(biāo)記行人位置. 將這三種行人檢測系統(tǒng)的檢測結(jié)果和時間進(jìn)行統(tǒng)計， 得到表 3.

表 3 行人檢測時間

從表 3 中可以看到， SD+LUT-HOG+A K-SVM檢測系統(tǒng)對一幅圖片的檢測時間最短， 約為35 ms. 圖 4 為SD+LUT-HOG+AK-SVM的行人檢測系統(tǒng)對INRIA行人數(shù)據(jù)庫中部分圖片的檢測結(jié)果. 采用漏檢率和誤檢率來分析行人檢測系統(tǒng)結(jié)果的準(zhǔn)確率， 并用DET曲線表示漏檢率和誤檢率的關(guān)系. 漏檢率和誤檢率的定義分別為

基于三種方法來分析本行人檢測系統(tǒng)的檢測準(zhǔn)確率： HOG+Linear SVM, SD+LUT-HOG+Linear SVM以及本行人檢測方法SD+LUT-HOG+AK-SVM. 當(dāng)以HOG+Linear SVM進(jìn)行行人檢測時， 圖像的縮放次數(shù)為5. 從圖 5 中可以看出， SD+LUT-HOG+AK-SVM檢測系統(tǒng)性能最優(yōu)， 誤檢率和漏檢率最低， 為9.7%左右. HOG+Linear SVM 和SD+ LUT-HOG+Linear SVM 的檢測準(zhǔn)確率均不及SD+LUT-HOG+AK-SVM.

圖 4 三種方法應(yīng)用于INRIA數(shù)據(jù)庫時的DET曲線Fig.4 DET curves in INRIA dataset by 3 methods

3.2 基于BF-609的行人檢測系統(tǒng)

將經(jīng)過測試的行人檢測系統(tǒng)移植到BF-609開發(fā)板上， 作為行人檢測的車載設(shè)備. 為了模擬車輛前方的行人背景環(huán)境， 將行車記錄儀采集的行人視頻信息作為檢測對象. 圖 5 是以BF-609開發(fā)板為核心， 視頻輸入、 輸出部分為外圍電路的實時車載行人檢測實物圖.

圖 5 行人檢測系統(tǒng)DSP平臺Fig.5 Pedestrian detection system based on DSP

由于行車記錄器采集的數(shù)據(jù)幀畫面中， 1/6的部分是天空或者高樓的頂端部分， 不存在行人， 因此在系統(tǒng)移植的過程中， 對輸入視頻幀首先基于攝像頭參數(shù)的方法， 將圖像頂部的1/6截去， 剩余的5/6作為有效圖像檢測區(qū)域.

基于BF-609的部分行人檢測結(jié)果如圖 6 所示， 系統(tǒng)可以達(dá)到20 fps的檢測速度. 當(dāng)車行駛速度較低時， 基于BF-609的行人檢測系統(tǒng)能夠作為車載設(shè)備用于實時行人檢測.

圖 6 DSP行人檢測系統(tǒng)檢測結(jié)果Fig.6 Result of pedestrian detection on the DSP

4 結(jié)束語

本文提出了一種基于顯著性檢測和參數(shù)融合的LUT-HOG實時車載行人檢測方法. 首先采用基于多局部區(qū)域空域調(diào)頻對比度的顯著性檢測方法進(jìn)行“行人”區(qū)域標(biāo)注； 其次， 在標(biāo)注的“行人”區(qū)域使用基于參數(shù)融合的LUT-HOG進(jìn)行快速行人特征提??； 最后， 為了提高系統(tǒng)的分類效率， 采用逼近線性SVM計算時間的AK-SVM進(jìn)行高效目標(biāo)分類. 實驗結(jié)果表明， 系統(tǒng)能夠進(jìn)行實時行人檢測， 并且可以移植到BF-609的開發(fā)板上作為實時行人檢測的車載設(shè)備. 雖然該車載系統(tǒng)能夠進(jìn)行實時性行人檢測， 但是算法結(jié)構(gòu)仍舊復(fù)雜， 需要進(jìn)一步改進(jìn).

[1] Dixit R S, Gandhe S T. Pedestrian detection system for ADAS using Friendly ARM[C]∥Vinod Tawade, Conference on Energy Systems and Applications. Pimpri: Institute of Electrical and Electronics Engineers, 2016: 557-560.

[2] Benenson R, Mathias M, Timofte R, et al. Pedestrian detection at 100 frames per second[C]∥Daniel, IEEE Computer Society Conference on-2012 Computer Vision and Pattern Recognition. USA: Institute of Electrical and Electronics Engineers. 2012: 2903-2910.

[3] Enzweiler M, Gavrila D M. Monocular pedestrian detection: Survey and experiments[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2009, 31(12): 2179-2195.

[4] Dollar P, Wojek C, Schiele B, et al. Pedestrian detection: An evaluation of the state of the art[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2012, 34(4): 743-761.

[5] Yuan Y, Lu X, Chen X. Multi-spectral pedestrian detection[J]. Signal Processing, 2015, 110:94-100.

[6] Varga D, Szirányi T. Robust real-time pedestrian detection in surveillance videos[J]. Journal of Ambient Intelligence & Humanized Computing, 2017, 8(1)： 79-85.

[7] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]∥Carlo Tomad, IEEE Computer Society Conference on-2005 Computer Vision and Pattern Recognition. CA： Institute of Electrical and Electronics Engineers, 2005： 886-893.

[8] Wang X, Han T X, Yan S. An HOG-LBP human detector with partial occlusion handling[C]∥Takashi Matsuyama,Computer Vision, 2009 IEEE 12th International Conference on. IEEE, 2009： 32-39.

[9] Felzenszwalb P, McAllester D, Ramanan D. A discriminatively trained, multiscale, deformable part model[C]∥Mauro Costa ,IEEE Computer Society Conference on-2012 Computer Vision and Pattern Recognition-2008 Computer Vision and Pattern Recognition. IEEE, 2008： 1-8.

[10] Ouyang W, Zeng X, Wang X. Single-Pedestrian detection aided by two-pedestrian detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(9)： 1875-1889.

[11] Pribram K H. A review of theory in physiological psychology[J]. Annual review of psychology, 1960, 11(1)： 1-40.

[12] Wolfe J M, Horowitz T S. What attributes guide the deployment of visual attention and how do they do it?[J]. Nature Reviews Neuroscience, 2004, 5(6)： 495-501.

[13] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1998 (11)： 1254-1259.

[14] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2012, 34(11)： 2274-2282.

[15] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]∥Patrick Flynn, IEEE Computer Society Conference on-2009 Computer vision and pattern recognition. Washington, Institute of Electrical and Electronics Engineers, 2009： 1597-1604.

[16] 錢生, 陳宗海, 林名強, 等. 基于條件隨機場和圖像分割的顯著性檢測[J]. 自動化學(xué)報, 2015, 41(4)： 711-724.

Qian Sheng, Chen Zonghai, Lin Mingqiang, et al. Saliency detection based on conditional candom field and image segmentation[J]. Acta Automatica Sinica, 2015, 41(4)： 711-724. (in Chinese)

[17] Maji S, Berg A C, Malik J. Efficient classification for additive kernel SVMs[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2013, 35(1)： 66-77.

[18] Furey T S, Cristianini N, Duffy N, et al. Support vector machine classification and validation of cancer tissue samples using microarray expression data.[J]. Bioinformatics, 2000, 16(10)： 906-14.

[19] Tong S, Koller D. Support vector machine active learning with applications to text classification[J]. Journal of Machine Learning Research, 2002, 2(1)： 45-66.

[20] Donaldson I, Martin J, Bruijn B D, et al. PreBIND and Textomy-mining the biomedical literature for protein-protein interactions using a support vector machine[J]. Bmc Bioinformatics, 2003, 4(1)： 11.