劉志強(qiáng)，宋雪松，汪　彭，周桂良

(江蘇大學(xué) 汽車與交通工程學(xué)院，江蘇 鎮(zhèn)江 212013)

?

基于眼部特征的疲勞駕駛辨識(shí)方法研究

劉志強(qiáng)，宋雪松，汪彭，周桂良

(江蘇大學(xué) 汽車與交通工程學(xué)院，江蘇 鎮(zhèn)江 212013)

為了提升疲勞駕駛的檢測(cè)效果，以PERCOLS眼睛焦點(diǎn)的位置等眼部特征為參數(shù)，提出了支持向量機(jī)(SVM)疲勞駕駛檢測(cè)模型。通過動(dòng)感型模擬駕駛儀和ASL眼動(dòng)儀等設(shè)備進(jìn)行了眼部特征參數(shù)的數(shù)據(jù)采集，并以2 s的最優(yōu)時(shí)窗長度對(duì)數(shù)據(jù)進(jìn)行提取和篩選。完成了疲勞駕駛檢測(cè)模型的訓(xùn)練和驗(yàn)證。結(jié)果表明：該模型的綜合疲勞識(shí)別準(zhǔn)確率高達(dá)83.92%，能有效地應(yīng)用于疲勞駕駛檢測(cè)中。

疲勞駕駛；眼部特征；模型檢測(cè)；眼動(dòng)儀；支持向量機(jī)

據(jù)統(tǒng)計(jì)，世界每年因交通事故而死亡的人數(shù)超過100萬，且其中超過40%與疲勞駕駛有關(guān)[1-2]。作為交通事故的重要誘發(fā)因素之一，疲勞駕駛引起了各國的高度關(guān)注。瑞典的SmartEye公司推出的AntiSleep系統(tǒng)已經(jīng)商用化，奔馳、沃爾沃的高端車系以及日本豐田公司在日本銷售的13代皇冠也都標(biāo)配瞌睡報(bào)警系統(tǒng)。

疲勞作為一種生理及心理機(jī)能失調(diào)的外在表現(xiàn)，其危險(xiǎn)性在于降低了駕駛者的技術(shù)能力、感知能力以及思維判斷能力[3]。目前對(duì)于疲勞的檢測(cè)主要分為基于心電圖(ECG)、腦電圖(EEG)等生理特征的檢測(cè)和基于方向盤轉(zhuǎn)角、車輛行駛軌跡和駕駛者面部表情等駕駛行為特征的檢測(cè)。文獻(xiàn)[4]運(yùn)用腦電記錄儀對(duì)疲勞受試者進(jìn)行了腦電波形的記錄，通過平均功率譜和非線性關(guān)聯(lián)維數(shù)方法，給出了評(píng)價(jià)駕駛疲勞的腦電判斷標(biāo)準(zhǔn)。文獻(xiàn)[5-6]則分別根據(jù)駕駛者的頭部位置信息與正常坐姿的偏差和方向盤轉(zhuǎn)角的標(biāo)準(zhǔn)差、角速度的標(biāo)準(zhǔn)差來建立疲勞判斷標(biāo)準(zhǔn)，并以此判斷是否存在疲勞駕駛。文獻(xiàn)[7]基于眼動(dòng)參數(shù)協(xié)議，提出了眨眼頻率、PERCLOS、注視方向和注視時(shí)間4個(gè)特征參數(shù)的計(jì)算方法。文獻(xiàn)[8]提出一種基于稀疏表示的眼睛狀態(tài)識(shí)別的方法,利用K-SVD字典學(xué)習(xí)算法結(jié)合OMP算法獲得較好的識(shí)別效果。

本文提出一種基于PERCOLS、眼睛焦點(diǎn)位置等眼部特征的疲勞駕駛檢測(cè)方法。通過實(shí)時(shí)追蹤駕駛者眼睛焦點(diǎn)的位置EFP(eye focus point)、眼球橫向擺動(dòng)狀態(tài)和PERCLOS(percentage of eyelid closure over the pupil over time)等參數(shù)來對(duì)駕駛者的狀態(tài)進(jìn)行判斷,并利用動(dòng)感反饋式模擬駕駛儀進(jìn)行實(shí)驗(yàn)分析與驗(yàn)證。結(jié)果表明：眼睛注視點(diǎn)位置(EFP)、眼球橫向擺動(dòng)狀態(tài)和PERCLOS等參數(shù)能良好地識(shí)別駕駛者的疲勞狀態(tài)。

1　實(shí)驗(yàn)過程

實(shí)驗(yàn)以6自由度動(dòng)感型模擬駕駛儀SCANeRII為平臺(tái)，運(yùn)用ASL Mobile Eye-XG眼動(dòng)儀系統(tǒng)采集10名駕駛者在清醒狀態(tài)以及疲勞狀態(tài)下的眼睛焦點(diǎn)位置(EFP)、PERCLOS和眼球橫向擺動(dòng)狀態(tài)等數(shù)據(jù)。

1.1平臺(tái)搭建

圖1為動(dòng)感型模擬駕駛儀實(shí)驗(yàn)平臺(tái)。該平臺(tái)配備180°廣角視景屏、比亞迪F3實(shí)車駕駛艙、6自由度的液壓路感模擬裝置和VIEW4駕駛場(chǎng)景，具有高度逼真的實(shí)車駕駛質(zhì)感和駕駛環(huán)境。如圖2所示，實(shí)驗(yàn)通過ASL Mobile Eye-XG眼動(dòng)儀設(shè)備對(duì)駕駛者的眼部特征參數(shù)進(jìn)行數(shù)據(jù)采集。

圖1　模擬駕駛儀

圖2　ASL眼動(dòng)儀

1.2場(chǎng)景設(shè)置

研究結(jié)果表明：疲勞駕駛的事故發(fā)生率與年齡沒有直接關(guān)系，但會(huì)隨著駕齡的減小而逐漸升高[9]。按照實(shí)驗(yàn)要求，募集10名合格駕駛者(編號(hào)1～10)進(jìn)行本次疲勞駕駛實(shí)驗(yàn)，其中女性3名、男性7名，年齡分布在21～42歲(均值27.8歲)，1～12年駕齡不等。實(shí)驗(yàn)場(chǎng)景選用容易引發(fā)駕駛者疲勞的標(biāo)準(zhǔn)省級(jí)道路，公路總長50 km，汽車初始速度為40 km/h,公路為雙向6車道。

1.3實(shí)驗(yàn)步驟

整個(gè)實(shí)驗(yàn)分為清醒駕駛和疲勞駕駛兩個(gè)階段，受試的駕駛者必須參加兩個(gè)階段的實(shí)驗(yàn)。為了避免連續(xù)實(shí)驗(yàn)給駕駛者造成生理和心理上的傷害，同時(shí)也為了避免第1階段實(shí)驗(yàn)對(duì)第2階段實(shí)驗(yàn)造成干擾，實(shí)驗(yàn)采取交叉方式進(jìn)行(見表1)。

表1　實(shí)驗(yàn)順序安排

第1階段實(shí)驗(yàn)要求受試者必須保證充足睡眠，并且安排在大腦最為清醒的上午10∶00進(jìn)行。實(shí)驗(yàn)持續(xù)1 h。第2階段實(shí)驗(yàn)會(huì)對(duì)受試者前一天的睡眠進(jìn)行必要的限制，睡眠時(shí)間為凌晨1∶00—6∶00。實(shí)驗(yàn)安排在大腦最為疲乏的下午2∶00進(jìn)行。實(shí)驗(yàn)持續(xù)1 h，并且禁止受試者實(shí)驗(yàn)前補(bǔ)足睡眠[10]。

實(shí)驗(yàn)開始前會(huì)對(duì)受試者進(jìn)行必要的駕駛培訓(xùn)和練習(xí)，嚴(yán)格按照使用手冊(cè)佩戴眼動(dòng)儀，以保證受試者能夠順利完成實(shí)驗(yàn)。為了保證實(shí)驗(yàn)數(shù)據(jù)的穩(wěn)定可靠，整個(gè)實(shí)驗(yàn)過程只記錄受試者中間40 min的實(shí)驗(yàn)數(shù)據(jù)，主要包括駕駛者眼睛焦點(diǎn)軌跡視頻和眼部特征視頻，采集頻率為30 fps。

1.4評(píng)價(jià)標(biāo)準(zhǔn)

相關(guān)研究結(jié)果表明：人的自我疲勞評(píng)價(jià)與面部視頻他人評(píng)價(jià)之間具有較高的一致性[11-12]。但為了避免自我評(píng)價(jià)對(duì)駕駛者的實(shí)驗(yàn)情緒產(chǎn)生影響，本文選取面部視頻專家評(píng)審法，并以此確定駕駛者的疲勞程度。評(píng)審環(huán)節(jié)由5名資深相關(guān)研究人員主持，最終依據(jù)表2的卡羅林斯卡睡眠尺度(Karolinska sleepiness scale,KSS)對(duì)每位駕駛者進(jìn)行疲勞打分(fatigue Score,FS)[11]。

表2　卡羅林斯卡睡眠尺度

2　數(shù)據(jù)采集和分析

實(shí)驗(yàn)中采集駕駛過程中駕駛者的眼睛焦點(diǎn)位置(EFP)、PERCLOS、眼睛橫向擺動(dòng)狀態(tài)的初始視頻數(shù)據(jù)，并在此基礎(chǔ)上對(duì)視頻數(shù)據(jù)進(jìn)行幀處理,最終根據(jù)最優(yōu)時(shí)窗對(duì)數(shù)據(jù)進(jìn)行特征分析。

2.1眼睛焦點(diǎn)位置(EFP)

有數(shù)據(jù)顯示：若駕駛者注意力持續(xù)3 s偏離安全區(qū)域，交通事故的發(fā)生率將會(huì)增加一倍。而疲勞時(shí)，由于人的意識(shí)模糊和自我控制能力下降，通常會(huì)導(dǎo)致駕駛者注意力長時(shí)間偏離安全區(qū)域。圖3為某時(shí)間內(nèi)眼睛焦點(diǎn)位置。

將車輛前方的道路和后視鏡視景作為安全區(qū)域S1,其余視景為非安全區(qū)域S2。通過駕駛者注視非安全區(qū)域的時(shí)間與單位時(shí)窗的比例fs2來衡量當(dāng)前駕駛者的駕駛狀態(tài)。fs2的計(jì)算公式為

(1)

其中:n為單位時(shí)窗內(nèi)注視非安全區(qū)域的次數(shù)；ti為每次注視非安全區(qū)域的時(shí)長；Ts為時(shí)窗長度(取3 s)。

ti計(jì)算公式為

(2)

其中:nj為一次注視非安全區(qū)域圖像的幀數(shù)；fp為視頻的拍攝幀速率。

2.2PERCLOS

通過研究發(fā)現(xiàn):單位時(shí)間內(nèi)眼睛閉合的時(shí)長(percentage of eyeIid cIosure over the pupiI over time，PERCLOS)能一定程度反映駕駛者的疲勞狀態(tài)。美國聯(lián)邦公路管理局在對(duì)9種疲勞檢測(cè)指標(biāo)的相關(guān)性實(shí)驗(yàn)中發(fā)現(xiàn)，PERCLOS指標(biāo)與疲勞的相關(guān)性最高。眼睛閉合時(shí)間的長短與疲勞程度有密切關(guān)系,眼睛閉合時(shí)間越長,疲勞程度越嚴(yán)重。其中以P80(如圖4所示，在眼臉遮住瞳孔的面積超過80%就計(jì)算為眼睛閉合的前提下，一定時(shí)間內(nèi)眼睛閉合的比例)最為顯著。

P80計(jì)算公式為

(3)

其中：nj為單位時(shí)窗內(nèi)雙眼同時(shí)閉合的幀數(shù)；Tp為單位時(shí)窗長度，本文取10 s；fp為視頻拍攝幀速率。

圖3　某時(shí)間內(nèi)眼睛焦點(diǎn)位置

圖4　P80示意圖

2.3眼睛橫向擺動(dòng)狀態(tài)

正常狀態(tài)下人的眨眼間隔為2～4 s、眨眼耗時(shí)為0.25～0.3 s，并且駕駛者在注視安全區(qū)域的駕駛時(shí)間段內(nèi)，眼睛橫向交叉擺動(dòng)頻繁。而當(dāng)疲勞出現(xiàn)時(shí)，由于目光呆滯，駕駛者眼睛會(huì)出現(xiàn)長時(shí)間零擺動(dòng)狀態(tài)。

單純地依靠橫向擺幅無法直觀看出橫向擺動(dòng)與疲勞的關(guān)系。因此，以駕駛者視野是否改變和時(shí)窗長度對(duì)橫向擺幅進(jìn)行分段方差處理。如圖5所示，當(dāng)駕駛者的視野從A到B時(shí)認(rèn)為視野改變。圖6為某時(shí)間內(nèi)眼睛左右擺動(dòng)狀態(tài)。

橫向擺幅公式為

(4)

其中：DA為方差值；n為單位時(shí)窗(2 s)內(nèi)圖像的幀數(shù)；Ai為眼睛橫向振幅。

圖5　駕駛者視野

圖6　某時(shí)間內(nèi)眼睛左右擺動(dòng)狀態(tài)

3　疲勞檢測(cè)模型

由于疲勞與眼部特征之間存在復(fù)雜的非線性關(guān)系，本文引入支持向量機(jī)(support vector machine，SVM)理論對(duì)疲勞檢測(cè)進(jìn)行模型建立。

3.1SVM理論

支持向量機(jī)(SVM)是一種以統(tǒng)計(jì)學(xué)為基礎(chǔ)的機(jī)器學(xué)習(xí)方法，通過構(gòu)建超平面對(duì)非線性關(guān)系進(jìn)行高維映射,在樣本有限的情況下對(duì)非線性問題仍具有良好的處理能力[13-15]。

3.2特征向量

以眼睛焦點(diǎn)位置(EFP)、PERCLOS、眼睛橫向擺動(dòng)方差為特征向量組作為支持向量機(jī)(SVM)的輸入?yún)?shù) X=[fs2,p80,DA]。

3.3數(shù)據(jù)采集

由于本文3個(gè)特征向量的時(shí)窗長度依次為3 s、10 s、2 s，當(dāng)以2 s為時(shí)窗長度同時(shí)對(duì)上述參數(shù)進(jìn)行提取時(shí)， fs2的數(shù)據(jù)重復(fù)率為33%,P80的數(shù)據(jù)重復(fù)率為80%，DA的數(shù)據(jù)重復(fù)率為0%。

選取每組實(shí)驗(yàn)過程中駕駛者眼部特征持續(xù)穩(wěn)定時(shí)間大于20 min的時(shí)間段，以2 s為時(shí)窗長度進(jìn)行數(shù)據(jù)提取和去重。篩選后共得到2 200組清醒駕駛樣本和1 400組疲勞駕駛樣本。

3.4模型訓(xùn)練

支持向量機(jī)模型中常用的核函數(shù)類型有多項(xiàng)式型、徑向基型、sigmoid型等。由于核函數(shù)的類型決定著SVM模型訓(xùn)練的準(zhǔn)確率，而徑向基型核函數(shù)在人的注意力集中狀態(tài)方面有著天然的優(yōu)勢(shì)，本文選取徑向基為模型的訓(xùn)練核函數(shù)。

本文基于支持向量機(jī)的疲勞駕駛模型主要通過臺(tái)灣大學(xué)林智仁教授開發(fā)的LIBSVM實(shí)現(xiàn)。從樣本中隨機(jī)選擇1 500組清醒駕駛樣本和9 00組疲勞駕駛樣本進(jìn)行訓(xùn)練，并運(yùn)用網(wǎng)格尋優(yōu)算法進(jìn)行參數(shù)γ和懲罰參數(shù)c的選擇，最終通過5-fold交叉檢驗(yàn)法得出最優(yōu)參數(shù)γ=8，c=0.25。

4　模型檢測(cè)

4.1測(cè)試結(jié)果

用剩余數(shù)據(jù)對(duì)SVM疲勞駕駛模型進(jìn)行測(cè)試，結(jié)果如表3所示。

表3　模型測(cè)試結(jié)果

由表3可以看出：模型對(duì)于駕駛者清醒駕駛正確識(shí)別575個(gè)，誤識(shí)別125個(gè)，疲勞駕駛正確識(shí)別432個(gè)，誤識(shí)別68個(gè)。本文選取準(zhǔn)確率、真陽性率和真陰性率對(duì)模型結(jié)果進(jìn)行有效評(píng)價(jià)，結(jié)果顯示：準(zhǔn)確率為83.92%，真陽性率為86.40%，真陰性率為82.15%。

4.2結(jié)果分析

由上述結(jié)果可知，在500組疲勞駕駛數(shù)據(jù)中，有68組被誤識(shí)別為清醒駕駛。通過駕駛者面部視頻資料分析發(fā)現(xiàn)導(dǎo)致誤識(shí)別發(fā)生的因素主要分為采集設(shè)備佩戴不標(biāo)準(zhǔn)和疲勞程度識(shí)別錯(cuò)誤兩種，且1號(hào)和7號(hào)駕駛員具有較為典型的誤識(shí)別誘發(fā)特征。

其中1號(hào)駕駛者由于身材瘦小導(dǎo)致視頻采集眼鏡佩戴過于松垮，從而在駕駛者不疲勞時(shí)的點(diǎn)頭過程中致使眼部數(shù)據(jù)頻繁波動(dòng)，并且干擾了PERCLOS數(shù)據(jù)的采集；7號(hào)駕駛者由于是輕度疲勞，并且在實(shí)驗(yàn)過程中頻繁通過睜大眼睛和轉(zhuǎn)動(dòng)眼球來使自己清醒，以至于欺騙了疲勞駕駛檢測(cè)儀器。而在700組清醒樣本中，有125組被誤識(shí)別為疲勞駕駛。分析視頻資料發(fā)現(xiàn)，誤識(shí)別樣本全部來自于1號(hào)駕駛者。由于1號(hào)駕駛者的眼鏡佩戴問題，在清醒狀態(tài)下不斷人為去扶正眼鏡，以至于造成設(shè)備對(duì)駕駛者眼球的追蹤時(shí)常出現(xiàn)掉線情況，從而導(dǎo)致儀器誤認(rèn)為駕駛者因疲勞而長時(shí)間閉眼。

5　結(jié)束語

本文利用ASL眼動(dòng)議設(shè)備，采集了10位駕駛者的清醒和疲勞狀態(tài)下的眼部特征，建立了基于支持向量機(jī)的疲勞檢測(cè)模型，并完成了模型檢驗(yàn)。結(jié)果顯示：通過眼睛焦點(diǎn)位置(EFP)、PERCLOS和眼睛橫向擺動(dòng)狀態(tài)等特征能有效地完成疲勞駕駛的識(shí)別。1 200組樣本的檢測(cè)結(jié)果顯示：準(zhǔn)確率達(dá)83.92%，其中真陽性率為86.40%，真陰性率為82.15%。

本文采用的眼動(dòng)儀為接觸式信息采集裝置，保證了眼部信息采集的準(zhǔn)確率，但由于尺寸問題影響了1號(hào)駕駛者的正確佩戴，從而導(dǎo)致193組誤識(shí)別。此外，由于模型只對(duì)眼部特征進(jìn)行檢測(cè)而忽略了其他方面，以至于對(duì)7號(hào)駕駛者發(fā)生了誤識(shí)別。因此，包含面部特征、駕駛行為等多參數(shù)的融合模型將是后續(xù)研究的主要方向。

[1]李都厚,劉群,袁偉,劉浩學(xué).疲勞駕駛與交通事故關(guān)系[J].交通運(yùn)輸工程學(xué)報(bào),2010(2)：104-109.

[2]牟建霖.疲勞駕駛是交通事故的起因之一[J].公路與運(yùn)輸,2003(4)：14-16.

[3]張海山,田軍.駕車疲勞的原因及預(yù)防[J].汽車與安全,1999(6):44.

[4]彭軍強(qiáng),吳平東,殷罡.疲勞駕駛的腦電特性探索[J].北京理工大學(xué)學(xué)報(bào),2007(7)：585-589.

[5]田文杰,劉繼承.基于頭部位置特征的疲勞駕駛檢測(cè)儀[J].儀表技術(shù)與傳感器,2008(5)：92-96.[6]金立生,李科勇,牛清寧,等.基于方向盤操作的疲勞駕駛監(jiān)測(cè)方法[J].交通信息與安全,2014(5)：65-69.

[7]牛清寧，周志強(qiáng)，金立生，等.基于眼動(dòng)特征的疲勞駕駛檢測(cè)方法[J].哈爾濱工程大學(xué)學(xué)報(bào)(自然科學(xué)版),2015(3):394-398.

[8]王冬梅,馮偲,王海鵬,等.疲勞駕駛檢測(cè)中基于稀疏表示的眼睛狀態(tài)識(shí)別研究[J].影像科學(xué)與光化學(xué),2016(1)：95-101.

[9]任鑫峰,金治富,康慧.疲勞駕駛與年齡、駕齡的關(guān)系[J].道路交通安全,2007(5)：20-22.

[10]HORNEJA,REYNERLA.Driver sleepiness [J].Journal of Sleep Research,1995,4(S2)：23-29.

[11]張希波,成波,馮睿嘉.基于方向盤操作的駕駛?cè)似跔顟B(tài)實(shí)時(shí)檢測(cè)方法[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,50(7)：1072-1076.

[12]INGRE M,AKERSTEDT T,PETERS B,et al.Subjective sleepiness,simulated driving performance and blink duration:Examining individual differences [J].Journal of Sleep Research,2006,15：47-53.

[13]楊紹卿,王憲成,趙文柱,等.基于支持向量機(jī)的柴油機(jī)磨損模式識(shí)別方法[J].四川兵工學(xué)報(bào),2015,36(8):96-99.

[14]王華秋,王斌.優(yōu)化的鄰近支持向量機(jī)在圖像檢索中的應(yīng)用[J].重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版,2014(9):66-71.

[15]孔令彬,趙艷茹,王聚杰,等.基于支持向量機(jī)風(fēng)速訂正方法的研究[J].西南大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,36(5):194-200.

(責(zé)任編輯劉舸)

An Identification Method of Fatigue Driving Based on Eye Features

LIU Zhi-qiang, SONG Xue-song, WANG Peng, ZHOU Gui-liang

(School of Automotive and Traffic Engineering, Jiangsu University, Zhenjiang 212013, China)

This paper presents a new method offatigue driving detection anda testing model of fatigue driving based on the Support Vector Machine (SVM) and eye features such as the focus location of PERCOLS eyes and so on for improving the test effect of fatigue driving. Besides, a large amount of data was collected with driving simulator, Mobile Eye-XG eyetracker and so on. With the sieving of the data by optimal time window and training of the model, the final test has been done. Result shows that: the accuracy rate of this fatigue driving detection model is up to 83.92%, which can be used to detect the fatigue driving effectively.

fatigue driving; eye feature; testing model; eyetracker; SVM

2016-03-24

國家自然科學(xué)基金青年基金資助項(xiàng)目(61203244)；交通運(yùn)輸科技項(xiàng)目(2014Y17)

劉志強(qiáng)(1963—)，男，江蘇靖江人，博士，教授，博士生導(dǎo)師，主要從事車輛主動(dòng)安全研究；通訊作者 宋雪松，男，碩士研究生，主要從事車輛主動(dòng)安全研究，E-mail:song-xuesong@foxmail.com、

format：LIU Zhi-qiang, SONG Xue-song, WANG Peng, et al.An Identification Method of Fatigue Driving Based on Eye Features[J].Journal of Chongqing University of Technology(Natural Science)，2016(10):11-15.

10.3969/j.issn.1674-8425(z).2016.10.002

U471;TP18

A

1674-8425(2016)10-0011-05

引用格式：劉志強(qiáng)，宋雪松，汪彭，等.基于眼部特征的疲勞駕駛辨識(shí)方法研究[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué))，2016(10):11-15.