郭克友，郭曉麗，王藝偉

(北京工商大學(xué) 材料與機械工程學(xué)院, 北京 100048)

?

多特征級聯(lián)式檢測變輪廓運動目標(biāo)

郭克友，郭曉麗，王藝偉

(北京工商大學(xué) 材料與機械工程學(xué)院, 北京 100048)

總結(jié)了變輪廓運動目標(biāo)的特點，并將其應(yīng)用到方向盤上操作手?jǐn)?shù)的檢測中;提出了先進(jìn)行方向盤自動定位，再快速檢測其上操作手?jǐn)?shù)目的技術(shù)路線;預(yù)定位中運用Haar特征的AdaBoost分類器進(jìn)行初檢，得到包含目標(biāo)輪廓的圖像;利用HOG特征的Real-AdaBoost分類器進(jìn)行精確檢測，并確定操作手位置點集;對取得的操作手質(zhì)心點坐標(biāo)集進(jìn)行奇異值分解并擬合橢圓，獲取圖像中方向盤位置，最終實現(xiàn)操作手的快速準(zhǔn)確檢測;算法在保證了原算法的實時性和準(zhǔn)確性外，提高了檢測系統(tǒng)應(yīng)用的靈活性。

智能交通；操作手；特征提??；奇異值分解

0 引言

道路交通事故統(tǒng)計數(shù)據(jù)分析表明，行車過程中諸如：雙手離開方向盤，接打電話等違規(guī)操作行為是事故發(fā)生的主要誘因之一。對駕駛員操作行為進(jìn)行督導(dǎo)和安全預(yù)警提示在智能交通的范疇內(nèi)[1]。方向盤上操作手的檢測是安全督導(dǎo)系統(tǒng)亟待解決的問題。

操作手，隨駕駛?cè)藛T，位置，姿態(tài)，服飾(手套)等變化，其輪廓多變，成像效果不一，常規(guī)的檢測不能較好的解決問題。Huang D Y采用了自適應(yīng)膚色模型的方法和Gabor濾波器，并應(yīng)用主成分分析(PCA)的方法對手勢的Gabor特征進(jìn)行降維，最后利用支持向量機(SVM)識別出手勢類別。識別率最高達(dá)到96.1%，缺點是實時性有待提高[2]。J.Y.Lee等研究出一種橢圓邊界模型來進(jìn)行膚色分割，采用這種模型能夠快速的分割膚色。但因為有很多因素未考慮，特別是帶手套情況下，提取的精度較低[3]。筆者在文獻(xiàn)[4]提出了一種基于方向盤圖形判斷操作手?jǐn)?shù)目的算法(后簡稱“雙峰法”)，具有實時性和準(zhǔn)確性，但要求安裝設(shè)備固定，方向盤位置受限，在實際安裝和使用過程中禁止駕駛員調(diào)整方向盤位置。隨系統(tǒng)安裝時間增長，路途抖動等引起攝像頭位置偏移，檢測精確度嚴(yán)重下降，需不間斷維護(hù)調(diào)整。

根據(jù)操作習(xí)慣，駕駛?cè)藛T會根據(jù)舒適度對方向盤進(jìn)行位置和角度調(diào)整。帶來的方向盤位置的未知性和不確定性，給安全督導(dǎo)系統(tǒng)對長時間單手操做，打手機等違規(guī)行為的檢測帶來不便。針對實際應(yīng)用中操作手檢測設(shè)備需要滿足：安裝位置靈活性、檢測準(zhǔn)確性和運行實時性。本文在雙峰法基礎(chǔ)上提出雙特征的級聯(lián)式方向盤上操作手?jǐn)?shù)目檢測算法，進(jìn)行方向盤位置自動判定，并以TI公司TMS320DM6437為主處理芯片，進(jìn)行系統(tǒng)搭建，在保證雙峰法實時性及準(zhǔn)確性的同時，提高了算法應(yīng)用的靈活性。

1 算法設(shè)計

客車行駛時間長，路況多變，駕駛室內(nèi)光照變化復(fù)雜，利用顏色，形狀或紋理特征難以準(zhǔn)確識別方向盤。為提高擬合精度，用學(xué)習(xí)的方法，從多角度提取圖像特征，訓(xùn)練多個AdaBoost分類器，級聯(lián)式精確檢測方向盤上分布的操作手位置。軟件原理框圖如圖1。將獲得的一幀720*480的圖像進(jìn)行Haar特征AdaBoost檢測，得到初檢操作手區(qū)域。提取其輪廓的最小外接矩形區(qū)域，并縮小成32*32的圖像，對其進(jìn)行HOG特征AdaBoost檢測，確定操作手，并將其輪廓最小外接矩形的質(zhì)心作為方向盤上分布的散點。為提高擬合精度，將待檢測區(qū)域以(180,240)為中心，進(jìn)行四象限的劃定。當(dāng)每個象限至少有9個散點，進(jìn)行奇異值分解求線性最小二乘解，進(jìn)行方向盤橢圓形狀的擬合。設(shè)定方向盤的寬度為30像素，將橢圓進(jìn)行雙方向15像素擴展，得到橢圓環(huán)，以模擬方向盤區(qū)域。為提高運算速度，截取橢圓環(huán)帶最小外接矩形為感興趣區(qū)域，對感興趣區(qū)域進(jìn)行圖像預(yù)處理之后，遍歷橢圓環(huán)帶，利用“雙峰法”[4],進(jìn)行操作手的快速檢測。

圖1 系統(tǒng)軟件原理圖

1.1 初檢目標(biāo)操作手

初檢目標(biāo)要將所有操作手檢測出來，可以誤檢(即檢測出非目標(biāo)物)，但不能漏檢(即將目標(biāo)物遺漏檢測)。

1.1.1 學(xué)習(xí)算法的選擇

選擇AdaBoost作為訓(xùn)練算法的原因：

(1)運算過程中更新樣本權(quán)重，可以加大分類錯誤的樣本權(quán)重，提高分類性能。

(2)算法是對弱分類器的加權(quán)得到最終的高準(zhǔn)確率的強分類器，由若干個正確率稍大于隨機猜測概率(50%)的若分類器進(jìn)行加權(quán)，其正確率是指數(shù)上升，具有較高的可靠性。

(3)Adaboost訓(xùn)練時，弱分類器的分類誤差不需先知。

在應(yīng)用中發(fā)現(xiàn)AdaBoost算法雖具高準(zhǔn)確率，但分類器訓(xùn)練比較耗時。試驗中，正負(fù)樣本為3 000，耗時25小時左右，不利于測定分類器的準(zhǔn)確度。耗時性的根本原因是：(1)訓(xùn)練樣本和特征向量維數(shù)龐大，多達(dá)十萬級。(2)因權(quán)重改變，新的一次訓(xùn)練會將所有的弱分類器進(jìn)行重新訓(xùn)練[5]。

分類器重新訓(xùn)練是保證高準(zhǔn)確率的前提，故只能改變訓(xùn)練樣本數(shù)量和特征維度。而樣本的豐富性是準(zhǔn)確率高的保證，高維度的Haar特征可以多層次提取圖片信息?？紤]初檢要求，且訓(xùn)練過程為離線，是獨立的過程，在操作手檢測中犧牲分類器訓(xùn)練時間有必要。

1.1.2 樣本Haar特征選擇

特征的恰當(dāng)選取不但降低算法復(fù)雜度，也提高分類器效率，使判別函數(shù)分類能力強，減小操作手(正樣本)和非操作手(負(fù)樣本)之間距離，即類內(nèi)距離，增加其類間距離?？紤]到操作手圖片包含邊緣信息較多，選取Haar特征，特征值的計算采用積分圖法。原因如下：

(1)Haar特征維數(shù)多，能提取較多的信息。

假定訓(xùn)練或檢測窗口大小為，在該窗口中的所有矩形特征數(shù)目為:

(1)

(2)Haar特征在一定閾值下，能明顯區(qū)分正負(fù)樣本。

除Haar特征數(shù)多外，其較高的對比度也是本文選取的原因。試驗中，隨機選取A模板對3 372 個操作手樣本和7 879個非操作手樣本進(jìn)行遍歷，得到其特征值，求取各個特征值的平均值，得到樣本特征分布圖像，不失一般性,考慮顯示前1 000個特征進(jìn)行比較，對比效果如圖2所示?？芍琀aar特征能較好的反映正負(fù)樣本的本質(zhì)。

圖2 正負(fù)樣本Haar特征值對比圖

1.1.3 分類器訓(xùn)練

在針對不同的衣著、不同的光照、不同的人進(jìn)行方向盤上操作手檢測訓(xùn)練和試驗中，進(jìn)行訓(xùn)練的有3 372個正樣本，7 879個負(fù)樣本，部分正負(fù)樣本如圖3所示。為了提高訓(xùn)練速度，正樣本統(tǒng)一縮放到20*20大小。

圖3 Haar訓(xùn)練過程正負(fù)樣本

部分Haar檢測的結(jié)果如圖4所示,除了框出手以外的其他的藍(lán)色框均為誤檢框,大量的統(tǒng)計檢測結(jié)果表明，初檢后漏檢較少，但存在大量的誤檢。

圖4 部分Haar檢測的結(jié)果

1.2 精檢目標(biāo)操作手

為了將檢測結(jié)果中的誤檢框進(jìn)行消除，本文采用了級聯(lián)的思想來消除誤檢，即將Haar特征分類器的檢測結(jié)果作為hog特征分類器的輸入，運用hog特征再次進(jìn)行AdaBoost檢測，精確確定操作手位置，將如圖5所示的情形進(jìn)行改進(jìn)。

圖5 初檢示意圖

圖像梯度方向直方圖(Histogram of Oriented Gradients，簡稱HOG)最重要的思想是光強梯度或邊緣方向的分布，可以較好地描述所檢測的局部物體外形。且HOG特征描述子對于圖像的幾何和光學(xué)形變都能夠保持很好的不變性[7]。學(xué)習(xí)機器選擇對經(jīng)典AdaBoost分類器基礎(chǔ)上有提升和擴展的Real AdaBoost。如圖6所示為HOG特征的訓(xùn)練過程流程圖。

圖6 HOG的訓(xùn)練過程流程圖

利用基于Hog特征分類器進(jìn)行精確檢測后的效果如圖7所示。

圖7 精確檢測示意圖

1.3 方向盤位置確定

將再檢后得到的操作手質(zhì)心位置記錄，作為方向盤上已知的散點集合。對于未知位置的方向盤，可以利用較多數(shù)量的散點進(jìn)行橢圓擬合。在實際安裝中，方向盤的成像為非標(biāo)準(zhǔn)橢圓。在笛卡爾系坐標(biāo)中用5個參數(shù)來唯一確定任意橢圓。5個參數(shù)為：橢圓中心x0,y0)，半長軸a，半短軸b，長軸與X軸正方向的夾角θ。平面任意位置橢圓方程的表達(dá)式用這5個參數(shù)寫為：

(2)

式(2)是5元4次的非線性方程，不便于求解，故需要將上式進(jìn)行展開并進(jìn)行變量替換如下：

x2+Axy+By2+Cx+Dy+E=0

(3)

其中:

式(3)為線性方程，利用最小二乘的思想進(jìn)行橢圓參數(shù)的擬合[8]。由已知的n(n≥5)組散點坐標(biāo)(xi,yi)，得到最小二乘原理擬合的目標(biāo)函數(shù)：

Cxi+Dyi+E)2

(4)

該正規(guī)方程可以寫成一下形式:

(5)

利用最小二乘法需要適當(dāng)選取5個參數(shù)的值，使得F的二范數(shù)最小。上述方程以下簡化為Px=Q,P∈Rn*5。若n=5,且P-1存在，方程組一定有唯一解。若n>5,則需要用廣義逆和奇異值分解來求解。獲得的質(zhì)心點坐標(biāo)都是大于0的，故P的列滿秩。由文獻(xiàn)[9]，此時

(6)

線性方程有唯一解

(7)

最小二乘法橢圓擬合較容易受壞點影響。如圖所示。因壞點個數(shù)較少，且位置較極端，在擬合效果未知的情況，本文采取對所有點進(jìn)行隨機劃分，所有點為一組，隨機選擇1/3點為一組，剩余的2/3為一組。將上述三組點分別進(jìn)行奇異值分解的最小二乘擬合橢圓，從擬合的3個橢圓如圖8所示，并從中選取最佳。

圖8 橢圓擬合受壞點影像圖

1.4 操作手快速檢測

方向盤位置確定之后，為縮短檢測的時間,對整幅圖像設(shè)置方向盤感興趣區(qū)域如圖9所示。圖像分辨率為720×480，感興趣區(qū)域要將整個方向盤及其外30個像素區(qū)域都包含在內(nèi)，以免駕駛員手握方向盤時轉(zhuǎn)到邊沿區(qū)域超出檢測范圍出現(xiàn)漏檢。本文中方向盤感興趣區(qū)域起點坐標(biāo)(0,130)，寬度340，高度430。在感興趣內(nèi)，以一度為步長沿逆時針方向搜索全方向盤區(qū)域，得到與全方向盤對應(yīng)的V-φ曲線，最后根據(jù)V-φ曲線判斷方向盤上的操作手?jǐn)?shù)目，具體算法實現(xiàn)詳見文獻(xiàn)[4]。

圖9 遍歷方向盤區(qū)域

2 算法實現(xiàn)與優(yōu)化

算法應(yīng)用于DSP系統(tǒng)，選取TI 公司的TMS320DM6437芯片為核心，應(yīng)用EMCV庫幫助實現(xiàn)。由于EMCV存在功能滯后和適應(yīng)性低等諸多缺點，針對其在DM6437上的應(yīng)用，本文對其實現(xiàn)作如下改進(jìn)：

1)定點化數(shù)據(jù)。針對嵌入式系統(tǒng)浮點數(shù)計算速度慢的特點，通過TI公司的IQmath庫將浮點數(shù)轉(zhuǎn)換為定點數(shù)進(jìn)行計算[11-12]，可以極大提高系統(tǒng)運行速度。

2)基本數(shù)據(jù)結(jié)構(gòu)的改造。剔除不符合嵌入式系統(tǒng)應(yīng)用的冗余判斷和定義，增加嵌入式函數(shù)接口的數(shù)據(jù)定義。

3)常用函數(shù)的添加和改寫。增加與EMCV接口一致的常用函數(shù)，如OTSU等函數(shù)。

為滿足實時檢測的需求，結(jié)合DM6437內(nèi)核的特點，通過優(yōu)化存儲器的存取效率和提供程序的并行化來縮短程序運行所需要的指令周期數(shù)，加速代碼的運行。

本文的試驗車型為桂林佳利安中型客車和廣州宇通客車，攝像頭固定于駕駛員前上方風(fēng)擋玻璃處。DM6437處理視頻幀的分辨率為720×480，改進(jìn)后，平均每幀圖像檢測時間由原

來的72 ms提高到36 ms，效果顯著，符合實時檢測的要求。算法對于駕駛員不同衣著、不同光照、不同駕駛姿態(tài)都有較好的檢測精度。

設(shè)備安裝完成后，在車輛正常運行過程中，車載終端會實時檢測駕駛員雙手操作方向盤行為，當(dāng)駕駛員雙手離開方向盤或長時間單手離開時，程序就會對該幀進(jìn)行標(biāo)記，當(dāng)駕駛員持續(xù)兩秒雙手離開方向盤時，即將當(dāng)前幀抓拍下來，傳輸?shù)胶笈_。通過安裝30臺安全督導(dǎo)系統(tǒng)示范終端，可以遠(yuǎn)程監(jiān)控不正確的駕駛行為，提醒駕駛員保持正確的駕駛姿勢，達(dá)到督導(dǎo)駕駛員安全行車的目的。可以通過登陸網(wǎng)頁的形式，查看某一輛車的駕駛員違規(guī)操作方向盤的記錄。

3 結(jié)束語

本文提出一種方向盤預(yù)定位機制檢測操作手?jǐn)?shù)目，結(jié)合Haar特征和HOG特征進(jìn)行AdaBoost級聯(lián)式操作手檢測，得到方向盤上分布的散點。并利用奇異值分解的最小二乘進(jìn)行非標(biāo)準(zhǔn)橢圓的擬合，得到方向盤位置，使“雙峰值”法得到了完善。試驗結(jié)果表明，算法具有很好的檢測精度和魯棒性，可行性較高，能夠滿足實時性要求，對于督導(dǎo)駕駛員安全行車具有重要意義。

[1] 公安部交通管理局.中華人民共和國道路交通事故統(tǒng)計年報[R],2010.

[2] Huang D Y, Hu W C,Chang S H.Gabor filter-based hand-pose angle estimation for hand gesture recognition under varying illumination[J].Expert Systems with Applications,2011,38(5):6031-6042.

[3] Lee J Y, Yoo S I. An elliptical boundary model for skin color detection[A], In Proc.of the 2002 International Conference on Imaging Science, Systems, and Technology[C].2002.

[4] 郭克友,紀(jì)彬,陳雪潔,余貴珍. 一種方向盤上操作手?jǐn)?shù)目檢測算法[J]. 計算機工程與應(yīng)用,2015(10)：177-181.

[5] 王海川,張立明. 一種新的Adaboost快速訓(xùn)練算法[J]. 復(fù)旦學(xué)報(自然科學(xué)版),2004(1):27-33.

[6] 文學(xué)志,方 巍,鄭鈺輝. 一種基于類Haar特征和改進(jìn)AdaBoost分類器的車輛識別算法[J]. 電子學(xué)報,2011(5):1121-1126.

[7] 郭金鑫,陳 瑋. 基于HOG多特征融合與隨機森林的人臉識別[J]. 計算機科學(xué),2013(10):279-282.

[8] 劉書桂,李 蓬,那永林. 基于最小二乘原理的平面任意位置橢圓的評價[J]. 計量學(xué)報,2002(4):245-247.

[9] 徐文華,孫學(xué)棟. 奇異值分解求線性最小二乘解的理論分析[J]. 貴陽學(xué)院學(xué)報(自然科學(xué)版),2009(4):1-4.

[10] Texas Instruments Incorporated. TMS320DM6437 Digital Media Processor(SPRS345D)[Z], June, 2008.

[11] Texas Instruments Incorporated. TMS320C6000 Optimizing Compiler v7.4 User’s Guide(SPRU187u)[Z]. July, 2012.

Multi-Attribute Cascading Identify Variable Contour Moving Targets

Guo Keyou, Guo Xiaoli, Wang Yiwei

(School of Material and Mechanical Engineering, Beijing Technology and Business University, Beijing 100048,China)

It summarized the characteristics of variable contour moving targets, and applied it to detect operating hands’ position on steering wheel. It raised a means by automaticly detecting the position of steering wheel firstly, and after that detecting the operating hands. For gathering the operating hands’ positions, this paper used AdaBoost on Haar to detect preliminarily and Real-AdaBoost on HOG to detect precisely. It fitted ellipse using SVD based on mass center coordinates of operating hands to simulate steering wheel and detected the operating hands quickly and accurately. Algorithm not only ensures the real-time and accuracy of the original one, but improves flexibility.

intelligent transportation; operating hands; feature extraction; SVD

2015-10-15；

2015-11-11。

交通運輸部信息化科技項目(2012-364-835-110)；北京工商大學(xué)科研能力計劃項目。

郭克友(1975-)，男，博士，副教授，主要從事安全輔助駕駛方向的研究。

1671-4598(2016)03-0263-04

10.16526/j.cnki.11-4762/tp.2016.03.072

TP3

A