許 旻，馬晨東，羅紫琳

(蘇州市職業(yè)大學(xué) 計(jì)算機(jī)工程學(xué)院，江蘇 蘇州 215104)

0 引言

隨著社會(huì)生活水平的不斷提高以及汽車數(shù)量大幅增加，汽車、公交車、中小型客車作為代步工具被越來越廣泛應(yīng)用于日常生活中，而伴隨著交通事故頻率也越來越高。交通事故調(diào)查統(tǒng)計(jì)結(jié)果表明，疲勞駕駛或分心駕駛是引發(fā)交通事故的主要因素。如果能對(duì)駕駛員的駕駛狀態(tài)進(jìn)行檢測(cè)，并對(duì)其危險(xiǎn)駕駛狀態(tài)進(jìn)行事故預(yù)警，能有效改善道路的安全性。研究如何提高對(duì)駕駛員疲勞或分心特征檢測(cè)的準(zhǔn)確率、快速判斷駕駛行為是否處于危險(xiǎn)狀態(tài)，對(duì)于交通安全駕駛問題的改善有著重大意義，也是相關(guān)領(lǐng)域技術(shù)人員需要解決的技術(shù)問題。

1 國(guó)內(nèi)外檢測(cè)危險(xiǎn)駕駛方法

目前，國(guó)內(nèi)外檢測(cè)危險(xiǎn)駕駛的方法主要通過對(duì)目標(biāo)特征進(jìn)行實(shí)時(shí)檢測(cè)，通過處理與計(jì)算檢測(cè)數(shù)據(jù)判斷出駕駛?cè)耸欠裉幱谄诨蚍中鸟{駛狀態(tài)。根據(jù)檢測(cè)目標(biāo)特征不同可以分為3種不同的方案：基于駕駛員生理特征、基于駕駛員行為及面部特征和基于車輛運(yùn)動(dòng)特征。

基于駕駛員生理特征的檢測(cè)方法，主要通過接觸式設(shè)備與駕駛員身體接觸，監(jiān)測(cè)駕駛員的腦電信號(hào)、心電信號(hào)、肌電信號(hào)等生理特征參數(shù)，然后進(jìn)行信號(hào)的特征提取與分析，最后將檢測(cè)到的數(shù)據(jù)與非危險(xiǎn)狀態(tài)下的數(shù)據(jù)進(jìn)行分析與對(duì)比，從而判斷出駕駛?cè)耸欠裉幱谄隈{駛狀態(tài)。徐禮勝[1]等提出基于短時(shí)心電信號(hào)疲勞駕駛檢測(cè)算法，即采集時(shí)長(zhǎng)為30 s的短時(shí)心電信號(hào)序列數(shù)據(jù)，然后對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，去除掉極端樣本數(shù)據(jù)，利用該序列的時(shí)域/頻域特征與卷積神經(jīng)網(wǎng)絡(luò)對(duì)ImageNet數(shù)據(jù)集訓(xùn)練的特征進(jìn)行結(jié)合，對(duì)這些特征分類，用分類結(jié)果對(duì)駕駛?cè)诉M(jìn)行危險(xiǎn)駕駛檢測(cè)。該類于駕駛員生理特征的檢測(cè)方法準(zhǔn)確性、可靠性、精度性相對(duì)較高，但是因?yàn)橐c駕駛?cè)讼嘟佑|，會(huì)給駕駛?cè)藥聿槐悖赡軙?huì)干擾到駕駛?cè)说恼２僮鳌?/p>

基于駕駛?cè)说男袨榧懊娌刻卣鞯臋z測(cè)方法主要是通過計(jì)算機(jī)視覺識(shí)別技術(shù)對(duì)獲取的駕駛?cè)藞D像進(jìn)行處理，提取駕駛?cè)说念^部位置、眼睛眨眼頻率以及嘴巴等特征，并對(duì)獲得的這些特征信息進(jìn)行處理，最后判斷出駕駛?cè)耸欠裉幱谄隈{駛狀態(tài)。通過Violla-Jones算法[2]檢測(cè)面部表情和眼睛位置，再通過眼睛追蹤技術(shù)，采集駕駛?cè)说难劬φＱ鄣某掷m(xù)時(shí)間、眨眼的頻率等特征來完成檢測(cè)；這類基于駕駛?cè)说男袨榧懊娌刻卣鞯臋z測(cè)方法是利用攝像頭或紅外熱成像技術(shù)來獲取檢測(cè)數(shù)據(jù)，然后再提取出目標(biāo)特征，進(jìn)而進(jìn)行危險(xiǎn)判斷。這種檢測(cè)方法易受到光線、姿態(tài)的影響，檢測(cè)效率有待提高。

駕駛行為是影響汽車安全駕駛的主要因素，很大程度上也能體現(xiàn)駕駛員的精神狀態(tài)。當(dāng)駕駛?cè)颂幱谖ｋU(xiǎn)駕駛狀態(tài)時(shí)，應(yīng)激反應(yīng)會(huì)有延遲，對(duì)車輛的控制能力降低，操作水平也會(huì)下降，因此危險(xiǎn)駕駛狀態(tài)時(shí)所駕駛車輛的行為特征與正常駕駛時(shí)的行為特征相比是有差異的。Wang[3]等提出的疲勞駕駛檢測(cè)算法是對(duì)實(shí)車的方向盤操作特征進(jìn)行提取、分析，提取實(shí)驗(yàn)數(shù)據(jù)在時(shí)域以及頻域上的指標(biāo)，最后對(duì)指標(biāo)處理并設(shè)計(jì)SVM分類器，從而推導(dǎo)出疲勞駕駛檢測(cè)算法。這類基于車輛行為特征的危險(xiǎn)駕駛檢測(cè)方法，通過非接觸式的檢測(cè)設(shè)備，對(duì)車輛的行為特征進(jìn)行提取，所需成本低、性價(jià)比高，但檢測(cè)需與車輛型號(hào)、道路實(shí)際情況以及個(gè)人駕駛習(xí)慣等因素相關(guān)聯(lián)，因此準(zhǔn)確率不夠高。

綜上所述，本文將針對(duì)人臉特征和駕駛狀態(tài)識(shí)別與檢測(cè)的相關(guān)算法模型，進(jìn)行重新優(yōu)化設(shè)計(jì)以及多技術(shù)配合，達(dá)到總體算法最優(yōu)目的。

2 系統(tǒng)算法流程及功能模塊

系統(tǒng)基于車載攝像頭采集駕駛員臉部特征及人體行為，采用局部區(qū)域多特征和深度學(xué)習(xí)特征融合的算法進(jìn)行分析，通過判斷出來的駕駛員的疲勞或分心駕駛狀態(tài)給予駕駛員相應(yīng)的預(yù)警信息，并以語(yǔ)音提醒方式引導(dǎo)駕駛員停止危險(xiǎn)行駛狀態(tài)。算法中通過攝像頭獲取視頻幀圖片，根據(jù)視頻流采集的數(shù)據(jù)，對(duì)人臉檢測(cè)和定位后，對(duì)人臉關(guān)鍵點(diǎn)檢測(cè)，再通過頭部3D姿態(tài)估計(jì)、眼睛和嘴巴部位摳圖，根據(jù)業(yè)務(wù)規(guī)則和狀態(tài)分類網(wǎng)絡(luò)設(shè)計(jì)來判定是否疲勞駕駛還是分心駕駛。算法流程如圖1所示。

圖1 危險(xiǎn)駕駛檢測(cè)算法流程

根據(jù)以上算法，系統(tǒng)基本實(shí)現(xiàn)對(duì)人眼閉合、東張西望、低頭犯困、打哈欠4種駕駛狀態(tài)的檢測(cè)與識(shí)別功能。當(dāng)發(fā)生疲勞和分心行為時(shí)，右邊參數(shù)會(huì)有相應(yīng)脈沖，可通過參數(shù)的變化檢測(cè)到是否有疲勞和分心行為，當(dāng)這些行為達(dá)到一定頻率時(shí)，將語(yǔ)音預(yù)警。同時(shí)本系統(tǒng)可以實(shí)現(xiàn)本地化離線部署，更能按照駕駛員生理特征，對(duì)檢測(cè)閾值提前做好參數(shù)調(diào)整，以更精準(zhǔn)的方式檢測(cè)駕駛過程中是否發(fā)生危險(xiǎn)駕駛行為。調(diào)參界面如圖2所示。

圖2 調(diào)參界面

3 關(guān)鍵技術(shù)研究

危險(xiǎn)駕駛狀態(tài)檢測(cè)預(yù)警系統(tǒng)主要包括以下模塊：人臉檢測(cè)、人臉關(guān)鍵點(diǎn)檢測(cè)、人眼閉合狀態(tài)識(shí)別、東張西望狀態(tài)識(shí)別、低頭犯困狀態(tài)識(shí)別、駕駛行為判斷、語(yǔ)音預(yù)警。涉及人臉對(duì)齊校正、頭部姿態(tài)模擬、局部區(qū)域多特征和深度學(xué)習(xí)特征融合的人臉狀態(tài)檢測(cè)算法、增強(qiáng)學(xué)習(xí)決策器(分類和檢測(cè)模型)以及各種深度學(xué)習(xí)算法小型化的加速和壓縮算法等關(guān)鍵技術(shù)。

3.1 人臉檢測(cè)模塊

MTCNN算法是一種基于深度學(xué)習(xí)的完成人臉檢測(cè)和人臉對(duì)齊的多任務(wù)神經(jīng)網(wǎng)絡(luò)模型，它是由一個(gè)3層網(wǎng)絡(luò)(P-Net、R-Net、O-Net)組成的卷積網(wǎng)絡(luò)結(jié)構(gòu)[4]。在該模塊中，使用改進(jìn)的MTCNN算法[5]對(duì)IMG進(jìn)行人臉檢測(cè)：在預(yù)先訓(xùn)練好的人臉檢測(cè)器中，輸入待識(shí)別無深度信息圖片IMG，若IMG中沒有檢測(cè)到人臉，則返回去輸入下一幅待識(shí)別的圖像；若從IMG中檢測(cè)到人臉，則標(biāo)記出其人臉框定位點(diǎn)的橫縱坐標(biāo)、人臉框的長(zhǎng)寬，以及人臉關(guān)鍵特征點(diǎn)位置，將人臉框截取出來，最終得到人臉。通過改進(jìn)MTCNN算法使得其脫離服務(wù)器端的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，重新設(shè)計(jì)的基于C++相關(guān)庫(kù)和Armadillo矩陣加速庫(kù)，可以更加快速有效且小型化地實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)檢測(cè)。另外，可以對(duì)閾值也進(jìn)行了適當(dāng)?shù)奶岣?，這將大幅度減少每一步中候選框的數(shù)量，減少大量計(jì)算量，同時(shí)不會(huì)引起過大的誤差。

3.2 人臉關(guān)鍵點(diǎn)檢測(cè)模塊

級(jí)聯(lián)回歸方法是通過回歸關(guān)鍵點(diǎn)位置處提取的特征逐步逼近真實(shí)關(guān)鍵點(diǎn)位置，可以很好地實(shí)現(xiàn)人臉對(duì)齊結(jié)果[6]。SDM(Supervised Descent Method[7])監(jiān)督下降方法算法是基于關(guān)鍵點(diǎn)位置索引特征[8]，使用級(jí)聯(lián)線性回歸來輸出關(guān)鍵點(diǎn)位置，模型簡(jiǎn)單高效且易于理解，是眾多級(jí)聯(lián)回歸方法中最有效的方法之一。

在該模塊中，調(diào)用預(yù)先訓(xùn)練好的人臉關(guān)鍵點(diǎn)檢測(cè)模型對(duì)所述人臉區(qū)域進(jìn)行檢測(cè)，得到人臉關(guān)鍵點(diǎn)數(shù)據(jù)，通過提取SIFT特征，使用SDM監(jiān)督梯度下降的方法來求解非線性最小二乘問題，以提高人臉關(guān)鍵點(diǎn)檢測(cè)的對(duì)齊誤差校正。

3.3 人眼閉合狀態(tài)識(shí)別模塊

人眼閉合狀態(tài)，很多時(shí)候受限于攝像頭拍攝視頻圖片的質(zhì)量，本模塊自定義了某種小型N層設(shè)計(jì)的深度學(xué)習(xí)網(wǎng)絡(luò)，使用經(jīng)過多次測(cè)試和改進(jìn)的損失函數(shù)在大量數(shù)據(jù)的訓(xùn)練下識(shí)別效果明顯，不再受限于人臉關(guān)鍵點(diǎn)檢測(cè)的比例判定以及攝像頭拍攝視頻圖像的質(zhì)量。

3.4 東張西望狀態(tài)識(shí)別模塊

本模塊基于人臉檢測(cè)、人臉關(guān)鍵點(diǎn)檢測(cè)和三維透視變換技術(shù)，經(jīng)過處理得到人臉平面和頭部偏轉(zhuǎn)的角度等頭部姿態(tài)等信息，進(jìn)而能夠?qū)崟r(shí)判斷駕駛中東張西望等分心動(dòng)作。

3.5 低頭犯困狀態(tài)識(shí)別模塊

本模塊在車載資源受限的環(huán)境下，對(duì)于低頭行為檢測(cè)這樣的分類和檢測(cè)深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練，設(shè)計(jì)和優(yōu)化了一種針對(duì)近紅外圖像的特定模型，采用多分類深度學(xué)習(xí)訓(xùn)練的網(wǎng)絡(luò)，構(gòu)建局部區(qū)域多特征融合的目標(biāo)檢測(cè)和分類模型，使得在較小的模型規(guī)模下，獲得更高的識(shí)別精度。構(gòu)建的模型中主要使用深度學(xué)習(xí)模型的小型化技術(shù)，即壓縮技術(shù)和加速技術(shù)；壓縮的方法重點(diǎn)在于操作全連接層，加速的方法重點(diǎn)在于操作卷積層。模型壓縮的主要思想是減少參數(shù)，減少比特?cái)?shù)，一般模型壓縮過程中也會(huì)加速模型，目標(biāo)就是讓模型在存儲(chǔ)上變得更小、運(yùn)算上速度更快。

3.6 駕駛行為判斷模塊

在該模塊中，根據(jù)頭部姿態(tài)估計(jì)模塊，將所述人臉區(qū)域圖像中的人臉進(jìn)行對(duì)齊，基于頭部姿態(tài)估計(jì)算法和所述人臉關(guān)鍵點(diǎn)數(shù)據(jù)計(jì)算對(duì)齊后的人臉區(qū)域圖像中頭部姿態(tài)角；根據(jù)人臉狀態(tài)檢測(cè)模塊，調(diào)用預(yù)先構(gòu)建的人臉狀態(tài)檢測(cè)模型對(duì)所述人臉區(qū)域圖像進(jìn)行分析，得到人眼閉合狀態(tài)特征和嘴部動(dòng)作特征，根據(jù)以上特征生成危險(xiǎn)駕駛行為判決結(jié)果。使用局部區(qū)域多特征向量與深度學(xué)習(xí)特征融合的人臉狀態(tài)檢測(cè)方法，和基于Q-learning增強(qiáng)學(xué)習(xí)決策器對(duì)駕駛狀態(tài)進(jìn)行分類和檢測(cè)，大大提高了識(shí)別的速度和準(zhǔn)確率。

3.7 語(yǔ)音預(yù)警模塊

本模塊通過系統(tǒng)集成的語(yǔ)音模塊，利用先進(jìn)的自然語(yǔ)言處理技術(shù)、語(yǔ)音建模，使用大量的語(yǔ)音數(shù)據(jù)庫(kù)訓(xùn)練，生成智能語(yǔ)音模型，對(duì)監(jiān)控對(duì)象進(jìn)行識(shí)別、判斷，并在檢測(cè)到有疲勞或分心駕駛的條件下，把系統(tǒng)發(fā)出的指令生成報(bào)警聲提示駕駛員，實(shí)現(xiàn)車載設(shè)備和駕駛員之間的良好交互性。

4 結(jié)語(yǔ)

系統(tǒng)通過大量數(shù)據(jù)集(CEW 數(shù)據(jù)集、Yaw DD 數(shù)據(jù)集)訓(xùn)練，對(duì)人眼閉合、東張西望、低頭犯困、打哈欠4種行為檢測(cè)并不斷調(diào)整閾值精度，對(duì)比現(xiàn)有的危險(xiǎn)駕駛狀態(tài)檢測(cè)算法，識(shí)別精度高、檢測(cè)速度快。未來將通過大數(shù)據(jù)獲得更多的駕駛員行車狀態(tài)，不斷完善算法、強(qiáng)化算法，不斷加強(qiáng)它的精準(zhǔn)度來保持行業(yè)領(lǐng)先水平，為行車安全添加保障，使其滿足更廣闊的需求。