許華勝　丁軍航

摘要： 為減少因違章打電話造成的交通事故發(fā)生，本文利用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)駕駛員違章打電話的行為進(jìn)行檢測(cè)，基于受約束局部模型檢測(cè)嘴部區(qū)域的特征變化，結(jié)合色調(diào)飽和度亮度（huesaturationvaliue，HSV）彩色空間模型特征和模板匹配檢測(cè)手部特征來(lái)判斷駕駛員是否存在使用電話的行為。該方法可適應(yīng)駕駛室內(nèi)光線的復(fù)雜變化，達(dá)到較好的測(cè)試結(jié)果，且程序存在良好的可移植性，方便在嵌入式系統(tǒng)和車載機(jī)上實(shí)現(xiàn)。驗(yàn)證結(jié)果表明，該系統(tǒng)對(duì)光照有較好的抗干攏能力，可實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)和輸出，并對(duì)駕駛員的駕駛行為進(jìn)行檢測(cè)，而且與只檢測(cè)手部皮膚來(lái)確定是否存在打電話的行為方法相比，本文方法具有更高的精度，減少了誤報(bào)的出現(xiàn)。該研究可對(duì)駕駛員的違章行為進(jìn)行及時(shí)有效的提醒，有利于減少交通事故，保證安全駕駛。

關(guān)鍵詞： 計(jì)算機(jī)視覺(jué)； 受約束局部模型； HSV色彩空間； 模板匹配

中圖分類號(hào)： TP391.41文獻(xiàn)標(biāo)識(shí)碼： A

人們?cè)谌粘Ｉ钪袑?duì)手機(jī)的依賴性越來(lái)越強(qiáng)，很多司機(jī)在開車時(shí)也存在用手機(jī)打電話的行為。開車時(shí)打電話會(huì)降低人的反應(yīng)速度，分散駕駛員的注意力。據(jù)美國(guó)國(guó)家公路交通安全管理局（national highway traffic safety administration，NHTSA）的調(diào)查顯示，2010年起，每年大約有660 000名駕駛員在開車時(shí)使用手機(jī)和其他電子設(shè)備，僅2012年，由駕駛分心所導(dǎo)致的交通事故中就致3328人死亡，421 000人受傷[1]。目前，很多司機(jī)會(huì)選擇使用藍(lán)牙耳機(jī)進(jìn)行通話，這導(dǎo)致采用手勢(shì)檢測(cè)的檢測(cè)方法無(wú)法對(duì)駕駛員的這種打電話行為進(jìn)行檢測(cè)。雖然使用免提或者藍(lán)牙耳機(jī)來(lái)進(jìn)行通話不會(huì)妨礙駕駛操作，但是許多研究表明，單純分析2種駕駛方式并不能得出使用藍(lán)牙耳機(jī)會(huì)降低事故發(fā)生率的結(jié)論[2]。因此，針對(duì)存在的駕駛員開車打電話的行為，本文采用人臉定位技術(shù)，基于機(jī)器視覺(jué)檢測(cè)和受約束局部模型（constrained local models，CLM）[39]，檢測(cè)駕駛員的嘴部特征和手部區(qū)域，判斷駕駛員是否存在違章打電話的行為，并對(duì)違章行為進(jìn)行報(bào)警，從而到達(dá)減少交通事故和保護(hù)駕駛員生命安全的目的。研究結(jié)果表明，該研究可對(duì)駕駛員的駕駛行為進(jìn)行檢測(cè)，有利于減少交通事故的發(fā)生。該研究為駕駛員違章打電話的檢測(cè)提供了更便捷可行的解決方案。

1基于CLM的駕駛員違章打電話檢測(cè)

將讀入的視頻經(jīng)過(guò)預(yù)處理后，使用ViolaJones人臉檢測(cè)算法進(jìn)行檢測(cè)和人臉定位[10]。成功定位到人臉后對(duì)定位到的人臉區(qū)域利用CLM模型進(jìn)行特征點(diǎn)的精確定位。在成功定位特征點(diǎn)后，利用嘴部特征點(diǎn)位置判斷是否處于說(shuō)話狀態(tài)。當(dāng)確定駕駛員處于說(shuō)話狀態(tài)時(shí)，進(jìn)行手部檢測(cè)，判斷駕駛員是否存在使用手機(jī)的行為。在進(jìn)行手部檢測(cè)時(shí)，利用人臉特征點(diǎn)位置設(shè)置感興趣區(qū)域（region of interest，ROI），使用OpenCV中自帶的函數(shù)，將ROI內(nèi)的像素值設(shè)置為255，以避免臉部皮膚對(duì)檢測(cè)的影響。同時(shí)，為提高程序的運(yùn)行速度，達(dá)到可實(shí)時(shí)檢測(cè)輸出的目的，調(diào)整圖片尺寸，將待檢測(cè)手勢(shì)的圖片調(diào)整為原圖的1/8。駕駛員違章打電話檢測(cè)流程圖如圖1所示。

2CLM人臉關(guān)鍵點(diǎn)定位算法

受約束局部模型（constrained local models，CLM）是用局部模型在目標(biāo)可能出現(xiàn)的區(qū)域進(jìn)行匹配。CLM模型包括2部分，一是形狀模型（shape model），描述特征點(diǎn)組成的形狀變化；二是團(tuán)塊模型（patch model），用來(lái)描述特征點(diǎn)周圍圖像塊的紋理[1112]。CLM模型的shape模型和patch模型如圖2所示。

2.1形狀模型（Shape Model）的構(gòu)建

形狀模型由點(diǎn)分布模型（point distribution model，PDM）[1314]經(jīng)過(guò)主成分分析法（principal components analysis，PCA）[1518]降維實(shí)現(xiàn)。在M張人臉樣本上，手工標(biāo)記人臉的特征點(diǎn)，采用68點(diǎn)模型，即在每張人臉圖片上標(biāo)記68個(gè)特征點(diǎn)。對(duì)含有68個(gè)特征點(diǎn)的輪廓圖像進(jìn)行普氏分析，消除圖片中尺寸、角度和平移的影響。每個(gè)特征點(diǎn)表示為（x，y），將每個(gè)形狀輪廓對(duì)應(yīng)的68個(gè)特征點(diǎn)組成一個(gè)136維的向量，即x=[x1y1x2y2…x68y68]T，共有M個(gè)這樣的形狀向量x（i）（i=1，2，…，M）。求所有136維向量的平均值，得到平均向量為

=1M∑Mi=1x（i）（1）

用（i）表示形狀向量x（i）與的差值，并將差值組成矩陣X，即

X=x（1）1y（1）1x（1）2y（1）2…x（1）Ny（1）Nx（2）1y（2）1x（2）2y（2）2…x（2）Ny（2）N……x（M）1y（M）1x（M）2y（M）2…x（M）Ny（M）N

通過(guò)計(jì)算XTX的特征值和特征向量進(jìn)行PCA分析，并且只保存對(duì)應(yīng)較大特征值的特征向量pj（j=1，2，…，K）。將K個(gè)特征向量組成正交矩陣P。對(duì)任意的待測(cè)人臉圖像，可以表示為特征向量與平均形狀的線性組合，其形狀向量為

x=+PB（2）

式中，B為權(quán)重矩陣，B=b1b2…bKT，B的每個(gè)分量決定特征向量的權(quán)重，即決定哪些向量占主導(dǎo)地位。

向量B為

B=PT（x-）（3）

對(duì)于任意給定的向量B，可以根據(jù)式（2）計(jì)算出形狀向量x。

2.2Patch模型的構(gòu)建

采用支持向量機(jī)（support vector machine，SVM）來(lái)訓(xùn)練patch模型。對(duì)于形狀模型中的每個(gè)特征點(diǎn)有m個(gè)patch樣本，包括正樣本和負(fù)樣本，所有的m個(gè)patch都有相同的尺寸，都包含n個(gè)像素。因此，共有m個(gè)訓(xùn)練向量x（1），x（2），…，x（m），并且每個(gè)訓(xùn)練樣本為一個(gè)n維的列向量x（i）=x（i）1，x（i）2，…，x（i）nT，i=1，2，…，m。設(shè)SVM的輸出結(jié)果為：y（i）=-1，1，i=1，2，…，m。如果訓(xùn)練樣本為正樣本y（i）=1，否則y（i）=-1。在CLM中，支持向量的輸出是輸入向量的一個(gè)線性組合，即

y（i）=wTx（i）+θ（4）

式中，wT=w1w2…wn，代表每個(gè)數(shù)據(jù)的權(quán)重；θ是常量，相當(dāng)于偏差。

在CLM中，訓(xùn)練數(shù)據(jù)集來(lái)自訓(xùn)練圖像patch區(qū)域，并且如果樣本來(lái)自特征點(diǎn)的位置，輸出y（i）設(shè)置為1，如果來(lái)自其他位置，則設(shè)置為-1。通過(guò)使用這些數(shù)據(jù)來(lái)尋找w和θ，實(shí)現(xiàn)訓(xùn)練SVM分類器的目的。

2.3CLM的擬合過(guò)程

1）用ViolaJones人臉定位方法在圖像上尋找人臉，得到一個(gè)包含人臉的矩形。

2）用平均形狀模型初始化人臉特征點(diǎn)的位置。

3）對(duì)每個(gè)特征點(diǎn)，從當(dāng)前位置截取一個(gè)patch區(qū)域，并且用SVM來(lái)計(jì)算每個(gè)區(qū)域當(dāng)前特征點(diǎn)的輸出，這樣可以得到一個(gè)相應(yīng)圖，并且找到一個(gè)二次函數(shù)來(lái)對(duì)應(yīng)響應(yīng)圖。

4）通過(guò)一個(gè)最優(yōu)方程找到最佳特征點(diǎn)的位置。

5）移動(dòng)每個(gè)特征點(diǎn)到新的位置，并且重復(fù)步驟3）～5），直到所有的特征點(diǎn)達(dá)到其最優(yōu)位置。CLM定位過(guò)程如圖3所示，特征點(diǎn)定位結(jié)果如圖4所示。

3HSV色彩空間模型與模板匹配

采用基于色調(diào)飽和度亮度（huesaturationvaliue，HSV）彩色空間模型[19]的模板匹配方法[20]。圖像的色彩通常使用RGB色彩空間進(jìn)行描述，但RGB色彩模型的3個(gè)分量R、G、B之間有很高的相關(guān)性，直接使用時(shí)常常不能達(dá)到期望效果。本文采用空間的H（色調(diào)）分量進(jìn)行膚色區(qū)域的檢測(cè)。

在OpenCV中，可以直接利用cvtColor（InputArraysrc、OutputArraydst、int code、intdstCn=0）函數(shù)實(shí)現(xiàn)顏色空間從RGB色彩空間到HSV色彩空間的轉(zhuǎn)換，并且將3個(gè)分量進(jìn)行分離。H分量代表圖像的色調(diào)信息，即其表示的是圖像的顏色信息；S分量代表圖像的飽和度信息，即其表示的是圖像顏色的深淺；V分量代表圖像的亮度信息，即其表示的是圖像的顏色亮度。H分量只表示目標(biāo)的彩色信息受光照的影響小，適合用來(lái)進(jìn)行膚色提取和匹配。利用基于塊的反向投影，用HSV的直方圖模型進(jìn)行匹配，尋找手部區(qū)域。

在進(jìn)行模板匹配時(shí)，可選用的方法有平方差匹配法、標(biāo)準(zhǔn)平方差匹配法、相關(guān)匹配法、標(biāo)準(zhǔn)相關(guān)匹配法等多種方法。下面介紹兩種方法：

1）平方差匹配法。該方法利用平方差來(lái)進(jìn)行匹配，最好匹配為0。匹配越差，匹配差值越大，即

Raq_diff（x，y）=∑x'，y'[（x'，y'）-I（x+x'，y+y'）]2（5）

式中，R表示結(jié)果；I表示輸入圖像。下同。

2）相關(guān)匹配法。該方法利用模板和圖像之間的乘法操作，所以較大的數(shù)表示匹配程度越高，0表示最壞的匹配效果。本文采用這種匹配方式進(jìn)行匹配，該方法在所有匹配方法中兼具速度和準(zhǔn)確度，可以滿足系統(tǒng)設(shè)計(jì)的需要，即

Rccorr（x，y）=∑x'，y'[（x'，y'）I（x+x'，y+y'）]2（6）

本文采用相關(guān)匹配法，當(dāng)匹配結(jié)果大于閾值θ時(shí)，認(rèn)為駕駛員存在違章打電話的行為。駕駛員違章檢測(cè)結(jié)果如圖5所示。

4基于嘴部動(dòng)作頻率的說(shuō)話檢測(cè)算法

駕駛員嘴巴張開一般發(fā)生在疲勞時(shí)打哈欠或者在與人交談時(shí)，這兩種行為都有可能導(dǎo)致交通事故，將嘴部動(dòng)作頻率作為司機(jī)說(shuō)話判斷的標(biāo)準(zhǔn)[21]。具體實(shí)現(xiàn)步驟如下：

1）計(jì)算嘴巴的張開程度。由上文可知，已經(jīng)利用CLM得到了精確的嘴部特征點(diǎn)的位置，這些特征點(diǎn)的位置在圖片中是以圖片中像素點(diǎn)的坐標(biāo)表示，因此可以根據(jù)這特征點(diǎn)坐標(biāo)來(lái)判斷嘴巴的張開程度。用嘴唇內(nèi)側(cè)中間位置上、下兩點(diǎn)的距離Vm與內(nèi)側(cè)兩嘴角的距離Hm的比值，嘴巴的開度Om為

Om=Vm/Hm

2）根據(jù)Om判斷嘴部是否張開。當(dāng)駕駛員嘴巴處于閉合、說(shuō)話或者打哈欠3種不同的狀態(tài)時(shí)，Om的值有較大的變化。當(dāng)Om介于01～03之間時(shí)，開度變化不大，認(rèn)為嘴巴是處于閉合狀態(tài)；嘴部頻繁張開閉合，且持續(xù)時(shí)間較短時(shí)，認(rèn)為處于說(shuō)話狀態(tài)；當(dāng)開度大于07，且持續(xù)一定時(shí)間時(shí)，認(rèn)為駕駛員處于打哈欠狀態(tài)。

3）統(tǒng)計(jì)張嘴持續(xù)時(shí)間。說(shuō)話和打哈欠使嘴部張開時(shí)間存在明顯差異，打哈欠時(shí)嘴部張開的持續(xù)時(shí)間明顯長(zhǎng)于說(shuō)話時(shí)嘴部張開的持續(xù)時(shí)間。統(tǒng)計(jì)張嘴持續(xù)時(shí)間的方法：嘴部張開的幀數(shù)乘以處理一幀圖片所用的時(shí)間，即T0=Nt0。

4）計(jì)算嘴部動(dòng)作頻率。定義嘴部動(dòng)作頻率Fy為單位時(shí)間內(nèi)說(shuō)話的次數(shù)，即Fy=N/T。

醫(yī)療數(shù)據(jù)顯示，正常情況下，人說(shuō)話每03～05 s發(fā)出一個(gè)音節(jié)，因此設(shè)置說(shuō)話嘴部動(dòng)作頻率Fymax為15次/min，并以此作為閾值進(jìn)行判斷。

5結(jié)束語(yǔ)

本系統(tǒng)采用集成開發(fā)環(huán)境Visual Studio 2012和開源計(jì)算機(jī)視覺(jué)庫(kù)OpenCV2410，并采用C++編寫程序。實(shí)驗(yàn)所用測(cè)試環(huán)境為Inter（R） Core（TM） i3-2370M CPU @240 GHz，4 GB內(nèi)存，64位Windows 7操作系統(tǒng)，采用普通USB攝像頭作為視頻采集設(shè)備。測(cè)試結(jié)果表明，該系統(tǒng)對(duì)光照有較好的抗干擾能力，并且可以實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)和輸出。本文采用的方法相較于只檢測(cè)手部皮膚來(lái)確定是否存在打電話的行為方法有更高的精度，減少了誤報(bào)的出現(xiàn)。將該系統(tǒng)實(shí)現(xiàn)在嵌入式平臺(tái)上的移植是接下來(lái)要進(jìn)行的工作，而采用深度學(xué)習(xí)來(lái)對(duì)圖像內(nèi)容進(jìn)行理解也是下一步將要學(xué)習(xí)的方向。

參考文獻(xiàn)：

[1]National Highway Traffic Safety Administration. Distracted Driving 2011[EB/OL]. USA： NHTSA， （20134）.

[2]李焱琪. 手機(jī)使用對(duì)駕駛行為影響研究綜述[J]. 青年科學(xué)（教師版）， 2014， 35（9）： 233.

[3]Cristinacce D， Cootes T F. Feature Detection and Tracking with Constrained Local Models[C]∥British Machine Vision Conference 2006. Edinburgh， Uk： DBLP， 2006： 929938.

[4]Morency L， Baltrusaitis T， Robinson P. 3D Constrained Local Model for Rigid and NonRigid Facial Tracking[C]∥IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2012， 157（10）： 26102617.

[5]Wang Y， Lucey S， Cohn J F. Enforcing Convexity for Improved Alignment with Constrained Local Models[C]∥IEEE Conference on Computer Vision & Pattern Recognition. Anchorage， AK， USA： IEEE， 2008.

[6]Cristinacce D， Cootes T F. Feature Detection and Tracking with Constrained Local Models[C]∥British Machine Vision Conference 2006. Edinburgh， UK： DBLP， 2006， 41： 929938.

[7]Zeng Z， Pantic M， Roisman G I， et al. A Survey of Affect Recognition Methods： Audio， Visual， and Spontaneous Expressions[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2009， 31（1）： 3958.

[8]Pantic M， Bartlett M S. Machine Analysis of Facial Expressions[J]. Face Recognition， 2007： 377416.

[9]Fanelli G， Gall J， Van Gool L. Real Time Head Pose Estimation with Random Regression Forests[C]∥IEEE Conference on Computer Vision and Pattern Recognition. Washington DC， USA： IEEE， 2011， 617（7）： 617624.

[10]Viola P， JonesMJ. Rapid Object Detection Using a Boosted Cascade of Simple Features [C]∥International Journal of Computer Vision. Kauai， HI， USA： IEEE， 2001， 57： 137154.

[11]Gu L， Kanade T. A Generative Shape Regularization Model for Robust Face Alignment[C]∥European Conference on Computer Vision. Marseille， France： SpringerVerlag， 2008： 413426.

[12]Cai Q， Gallup D， Zhang C， et al. 3D Deformable Face Tracking with a Commodity Depth Camera[C]∥European Conference on Computer Vision. Heraklion， Crete， Greece： DBLP， 2010： 229242.

[13]Saragih J M， Lucey S， Cohn J F. Deformable Model Fitting by Regularized Landmark MeanShift[J]. International Journal of Computer Vision， 2011， 91（2）： 200215.

[14]Morency L D， Whitehill J， Movellan J R. Generalized Adaptive ViewBased Appearance Model： Integrated Framework for Monocular Head Pose Estimation[C]∥IEEE International Conference on Automatic Face &Gesture Recognition. Amsterdam， Natherlands IEEE， 2008： 18.

[15]Cootes T F， Taylor C J. Active Shape Models— ‘Smart Snakes[M]. London： Springer， 1992.

[16]Torresani L， Hertzmann A， Bregler C. Nonrigid StructurefromMotion： Estimating Shape and Motion with Hierarchical Priors[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2008， 30（5）： 878892.

[17]李月龍， 靳彥， 汪劍鳴， 等. 人臉特征點(diǎn)提取方法綜述[J]. 計(jì)算機(jī)學(xué)報(bào)， 2016， 39（7）： 13561374.

[18]黃超. 基于CLM模型的人臉特征點(diǎn)定位系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 武漢： 華中科技大學(xué)， 2015.

[19]葛小鳳. 駕駛環(huán)境下的人臉定位算法研究[J]. 電子世界， 2016（12）： 59， 61.

[20]Gary R. Bradski， AdrianKaehler. O'Reilly Media， Inc， USA（學(xué)習(xí)OpenCV）[M]. 于仕琪， 劉瑞禎， 譯. 北京： 清華大學(xué)出版社， 2008.

[21]鄔敏杰， 穆平安， 張彩艷， 等. 基于眼睛和嘴巴狀態(tài)的駕駛員疲勞檢測(cè)算法[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2013， 30（3）： 2527.