董超俊，林庚華，吳承鑫，黃尚安

(五邑大學(xué) 智能制造學(xué)部，廣東 江門 529000)

0 引 言

目前疲勞駕駛檢測(cè)研究主要為3個(gè)方向：基于人體生理信號(hào)、基于計(jì)算機(jī)視覺、基于車輛運(yùn)行狀況的疲勞駕駛檢測(cè)，基于計(jì)算機(jī)視覺的非接觸性檢測(cè)目前是研究的熱門[1]。在文獻(xiàn)[2]中，作者提出一種基于實(shí)時(shí)增強(qiáng)局部約束模型的多信息疲勞檢測(cè)方法，該方法能夠克服光照和位姿變化的影響，實(shí)現(xiàn)對(duì)駕駛員的實(shí)時(shí)疲勞駕駛檢測(cè)，具有較強(qiáng)的魯棒性。在文獻(xiàn)[3]中，作者進(jìn)行疲勞駕駛中的人臉檢測(cè)研究，該算法針對(duì)使用ASM(active shape model)算法實(shí)現(xiàn)人臉194關(guān)鍵點(diǎn)檢測(cè)，并通過定位眼睛位置，計(jì)算眼睛閉合度而判斷駕駛員疲勞狀態(tài)。由于眼睛的閉合在疲勞駕駛檢測(cè)中占據(jù)極其重要的分量，文獻(xiàn)[4]通過眼白分割，實(shí)現(xiàn)了高精度的眼睛檢測(cè)與定位，從而實(shí)現(xiàn)準(zhǔn)確率較高的疲勞檢測(cè)。以上方法關(guān)鍵都在于人臉、人眼的提取，并且疲勞狀態(tài)判斷過分依賴于眼睛的閉合度。

針對(duì)以上問題，通過多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉進(jìn)行粗提取后，使用一種自適應(yīng)核相關(guān)濾波器進(jìn)行人臉跟蹤，替換逐幀檢測(cè)人臉，以提高其魯棒性，降低漏檢概率。通過計(jì)算CE-CLM所檢測(cè)到的人臉68個(gè)關(guān)鍵特征點(diǎn)的像素位置，得出一定時(shí)間內(nèi)眨眼次數(shù)、平均眨眼速度、PERCLOS(percentage of eye closure over the pupil over time)、打哈欠次數(shù)、打哈欠幀數(shù)占比、低頭次數(shù)以及低頭幀數(shù)占比，實(shí)現(xiàn)高精度的疲勞檢測(cè)參數(shù)提取，最終通過SVM進(jìn)行多特征融合分類，實(shí)驗(yàn)結(jié)果表明本文方法具有較高的準(zhǔn)確率。

1 KCF目標(biāo)跟蹤算法

(1)

(2)

(3)

其中，H表示共軛轉(zhuǎn)置。對(duì)上式兩邊同時(shí)傅里葉變換，其表達(dá)式如下

(4)

(5)

通過核矩陣傅里葉變換，可以將式(5)對(duì)角化，并且使其在新的空間線性可分，其表達(dá)式如下

(6)

其中，kxx表示核矩陣K=C(kxx)的第一行，采用高斯核可以得到下式

(7)

由于傳統(tǒng)KCF算法無法自適應(yīng)目標(biāo)尺寸變化，而駕駛員在駕駛位上操作時(shí)，人臉尺寸變化范圍較小，其尺寸倍數(shù)為0.4至1.6，所以為人臉建立小幅度圖像金字塔，從而獲得目標(biāo)不同的尺度值的尺寸集。人臉通過核相關(guān)濾波器之后得到響應(yīng)值，將輸出的響應(yīng)進(jìn)行比較，綜合判斷并篩選其最佳尺度值作為輸出，為下一幀目標(biāo)更新尺度值再進(jìn)行跟蹤，解決了KCF跟蹤器無法自適應(yīng)目標(biāo)尺寸變化的問題[6,7]，如圖1所示。

圖1 改進(jìn)的核相關(guān)濾波器

2 CE-CLM人臉關(guān)鍵點(diǎn)檢測(cè)

人臉關(guān)鍵點(diǎn)檢測(cè)使用CE-CLM，該模型主要由兩個(gè)部分組成：響應(yīng)圖的計(jì)算和形狀參數(shù)更新，前者由卷積專家網(wǎng)絡(luò)實(shí)現(xiàn)，后者由點(diǎn)分布模型實(shí)現(xiàn)[8,9]。在迭代過程中，所有標(biāo)記點(diǎn)的位置更新是互相影響的，并使用下式進(jìn)行優(yōu)化目標(biāo)函數(shù)

(8)

卷積專家網(wǎng)絡(luò)為局部分類器，首先采用卷積神經(jīng)網(wǎng)絡(luò)計(jì)算響應(yīng)圖，通過評(píng)估各個(gè)像素位置的標(biāo)記點(diǎn)對(duì)齊概率，對(duì)標(biāo)記點(diǎn)進(jìn)行準(zhǔn)確定位。它采用以標(biāo)記點(diǎn)為中心的n×n像素區(qū)域作為輸入，輸出為每個(gè)像素位置評(píng)估標(biāo)記點(diǎn)校準(zhǔn)概率的響應(yīng)圖。在卷積專家網(wǎng)絡(luò)中(如圖2所示)，首先作為輸入的ROI在規(guī)格為500×11×11的對(duì)比度歸一化卷積層進(jìn)行Z-score歸一化，然后計(jì)算輸入與內(nèi)核之間的相關(guān)性，將輸出作為輸入傳送到200×1×1的卷積層進(jìn)行卷積操作。

圖2 卷積專家神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積專家網(wǎng)絡(luò)最重要的連接層為混合專家層，能通過專家組合對(duì)不同標(biāo)記點(diǎn)外觀原型進(jìn)行建模，建立最終對(duì)準(zhǔn)概率模型。該層是以sigmoid作為激活函數(shù)的100×1×1的卷積層。由每個(gè)獨(dú)立的專家對(duì)對(duì)齊概率的投票，將所得到的概率用sigmoid激活函數(shù)激活，與最后一層的非負(fù)權(quán)重結(jié)合得出響應(yīng)圖。為了確保計(jì)算效率，ME層中不包含池化層，因?yàn)槌鼗瘜訉?huì)降低檢測(cè)的精度。

式(8)的迭代過程可以簡(jiǎn)述為將圖片的ROI作為輸入，輸出為評(píng)估單個(gè)標(biāo)記點(diǎn)對(duì)齊的概率響應(yīng)圖，通過式(9)將標(biāo)記點(diǎn)i擬合到位置xi

(9)

3 結(jié)合KCF與CE-CLM的疲勞參數(shù)檢測(cè)算法

3.1 結(jié)合KCF與CE-CLM算法

本文結(jié)合KCF人臉跟蹤算法和CE-CLM人臉關(guān)鍵點(diǎn)檢測(cè)算法如圖3所示，通過相機(jī)進(jìn)行人臉粗定位，再用KCF算法取代逐幀檢測(cè)人臉，降低漏檢、誤檢的概率，再使用CE-CLM算法進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)，結(jié)果如圖4所示。根據(jù)關(guān)鍵點(diǎn)的像素位置以及3.2節(jié)、3.3節(jié)所闡述的算法檢測(cè)眨眼次數(shù)、PERCLOS、眨眼速度、哈欠次數(shù)、哈欠幀數(shù)占比、低頭次數(shù)及低頭幀數(shù)占比，其中PERCLOS為眼睛閉合度大于80%所占幀數(shù)比例，平均眨眼速度為上下眼瞼之間的距離與每次眨眼的耗時(shí)之比，上下眼瞼的距離為亞洲人的平均距離7.54 mm。

圖3 結(jié)合KCF與CE-CLM算法疲勞參數(shù)檢測(cè)

圖4 結(jié)合KCF與CE-CLM的面部關(guān)鍵點(diǎn)檢測(cè)

3.2 眼睛閉合度及嘴巴開度的檢測(cè)算法

基于計(jì)算機(jī)視覺的疲勞駕駛檢測(cè)，人眼的睜開、閉合檢測(cè)起到至關(guān)重要的作用，并且直接影響到疲勞狀態(tài)的判定。目前比較流行的眼睛閉合度檢測(cè)算法為EAR(eye aspect ratio)，先通過人眼檢測(cè)、定位，再運(yùn)用EAR算法計(jì)算眼睛長(zhǎng)度和寬度的比值來確定眼睛的閉合程度，并且適用于嘴巴張開程度的計(jì)算，即MAR(mouth aspect rariop),如圖5(a) 所示。

圖5 眼睛閉合度算法

通過計(jì)算眼睛的6個(gè)關(guān)鍵點(diǎn)P2(X2,Y2)和P6(X6,Y6)、P3(X3,Y3)和P5(X5,Y5)以及P1(X1,Y1)和P4(X4,Y4) 之間的歐式距離可以得到EAR值，其表式如式(10)所示

(10)

由于EAR算法依賴于人眼6個(gè)關(guān)鍵點(diǎn)檢測(cè)的精確度，當(dāng)其中某個(gè)點(diǎn)產(chǎn)生檢測(cè)誤差，會(huì)在一定程度影響眼睛閉合的檢測(cè)，針對(duì)于此，本文提出一種以角度計(jì)算眼睛閉合度的算法，稱為角度檢測(cè)法(tangle detect,TD)。通過眼睛的上眼瞼與眼睛兩側(cè)之間的夾角來判斷眼睛是否閉合。如圖5(b)所示。P(X,Y)可以由P2(X2,Y2)和P3(X3,Y3)計(jì)算得出，α的表達(dá)式如式(11)所示

(11)

通過計(jì)算嘴巴的張開度以檢測(cè)駕駛員的打哈欠行為，如圖6所示，由于在交流、微笑等情況下嘴巴形狀變化較大，通過EAR算法計(jì)算顯然會(huì)出現(xiàn)誤差，所以本文采取分別計(jì)算點(diǎn)P33(X33,Y33)與點(diǎn)P62(X62,Y62)和點(diǎn)P66(X66,Y66)之間的歐式距離，由式(12)計(jì)算得到嘴巴張開度H，該算法稱為“H”，從而判斷駕駛員是否打哈欠

(12)

圖6 嘴巴張開度計(jì)算

3.3 頭部姿態(tài)估計(jì)

在計(jì)算機(jī)視覺中，物體的姿態(tài)是指相對(duì)于相機(jī)的相對(duì)取向和位置。文獻(xiàn)[10]中給定5個(gè)關(guān)鍵點(diǎn)，采用PNP算法計(jì)算投影關(guān)系從而估計(jì)頭部姿態(tài)，取得了不錯(cuò)的效果。本文同樣采用PNP算法，選取眼睛、鼻子和嘴巴的7個(gè)特征點(diǎn)形成姿態(tài)估計(jì)面。如圖7所示，其中頭部模型引自文獻(xiàn)[11]并自行標(biāo)點(diǎn)。

圖7 頭部姿態(tài)估計(jì)

相機(jī)坐標(biāo)、世界坐標(biāo)以及圖像平面的關(guān)系如圖8所示。通過世界坐標(biāo)系可以計(jì)算出P點(diǎn)在相機(jī)坐標(biāo)系的位置

(13)

其中，R、T為頭部姿態(tài)估計(jì)參數(shù)，p點(diǎn)在成像平面坐標(biāo)系中可知，若相機(jī)不存在徑向畸變，令圖像中心為光學(xué)中心并且令焦距近似為像素寬度。如式(14)所示

(14)

其中，q為投影比例，通過求解R、T矩陣獲取頭部姿態(tài)信息。

圖8 世界坐標(biāo)、相機(jī)坐標(biāo)與成像平面坐標(biāo)關(guān)系

4 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)主要在數(shù)據(jù)集“YAWDD[12]”及自制數(shù)據(jù)集上進(jìn)行?！癥AWDD”數(shù)據(jù)集主要由349個(gè)視頻組成，包括男性、女性在駕駛位上的正常狀態(tài)、交流狀態(tài)以及眨眼、打哈欠狀態(tài)；自制數(shù)據(jù)集包含多個(gè)實(shí)驗(yàn)人員進(jìn)行眨眼、打哈欠、低頭動(dòng)作的視頻序列，稱為“Fatigue”。

4.1 眼部參數(shù)檢測(cè)分析

根據(jù)本文所提出的眼睛閉合度檢測(cè)算法TD與EAR算法。如表1所示，在YAWDD數(shù)據(jù)集和Fatigue數(shù)據(jù)集中檢測(cè)出的數(shù)據(jù)中，KCF算法能夠克服臉部部分遮擋，從而降低由于部分遮擋導(dǎo)致無法檢測(cè)到人臉?biāo)鶐淼恼`差，結(jié)合KCF和CE-CLM的算法，使用本文所提出的“TD”算法能夠提高眨眼的檢測(cè)精確率，達(dá)到了93.36%與95.24%，比EAR算法提高了6.85%與1.65%，并降低誤檢率，魯棒性更強(qiáng)。

表1 眨眼檢測(cè)精確率數(shù)據(jù)

4.2 嘴巴參數(shù)檢測(cè)分析

如圖9所示，在“YAWDD”數(shù)據(jù)集中選取同個(gè)人的不同狀態(tài)的3段視頻，分別為正常狀態(tài)、交談狀態(tài)、打哈欠狀態(tài)，在普通狀態(tài)下MO(嘴巴張開度)值曲線趨近于一條直線，而交談狀態(tài)波動(dòng)較小，打哈欠時(shí)幅值較大且維持幀數(shù)較長(zhǎng)。由此通過設(shè)置閾值與低于閾值持續(xù)幀數(shù)，判斷駕駛員是否打哈欠。

圖9 不同狀態(tài)下MO值曲線

如表2所示，在YAWDD數(shù)據(jù)集和Fatigue數(shù)據(jù)集中檢測(cè)出的數(shù)據(jù)中，結(jié)合KCF和CE-CLM的算法，使用本文所提出的“H”算法能夠提高眨眼的檢測(cè)精確率，達(dá)到了91.67%與98.83%，比MAR算法分別提高了3.67%與1.64%，并降低誤檢率，魯棒性更強(qiáng)。

表2 哈欠檢測(cè)精確率數(shù)據(jù)

4.3 頭部參數(shù)檢測(cè)分析

經(jīng)過頭部姿態(tài)估計(jì)，可以計(jì)算出人臉的3個(gè)Euler(歐拉)角：yaw(偏航角)、pitch(俯仰角)、roll(翻滾角)，當(dāng)頭部姿態(tài)發(fā)生變化時(shí)，各個(gè)角的角度值也會(huì)發(fā)生變化，低頭動(dòng)作主要取決于俯仰角，當(dāng)Pitch值達(dá)到一定值時(shí)便視為點(diǎn)頭，而通過俯仰角計(jì)算頭部是否進(jìn)行了點(diǎn)頭動(dòng)作。

由于YAWDD數(shù)據(jù)集中缺少低頭動(dòng)作的數(shù)據(jù)，本文在“Fatigue”數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，12個(gè)視頻分為3組進(jìn)行檢測(cè)，其中部分視頻的Pitch值曲線如圖10所示，當(dāng)發(fā)生點(diǎn)頭動(dòng)作時(shí)，Pitch的幅值較大，通過設(shè)置閾值判斷是否有低頭動(dòng)作，其精確率分別達(dá)到了94.34%、94.00%、93.33%，見表3。

圖10 Pitch值變化曲線

表3 低頭檢測(cè)精確率數(shù)據(jù)

4.4 疲勞狀態(tài)檢測(cè)

通過本文所提出算法，獲取駕駛員在一分鐘內(nèi)眨眼次數(shù)、PERCLOS、平均眨眼速度、打哈欠次數(shù)、打哈欠幀數(shù)占比、低頭次數(shù)、低頭幀數(shù)占比7項(xiàng)疲勞判斷參數(shù)，使用SVM算法進(jìn)行多特征融合分類。本次實(shí)驗(yàn)召集12名實(shí)驗(yàn)人員，獲取2000組數(shù)據(jù)，其中通過主觀判斷和數(shù)據(jù)對(duì)比進(jìn)行人工貼標(biāo)簽，分類為“疲勞”、“清醒”，訓(xùn)練集設(shè)置為1600組，測(cè)試集設(shè)置為400組，正確分類382組，準(zhǔn)確率達(dá)到了95.5%，與文獻(xiàn)[1,3,13]所使用的算法對(duì)比，本文算法準(zhǔn)確率較高(表4)。

表4 疲勞狀態(tài)識(shí)別方法比較

5 結(jié)束語

本文結(jié)合自適應(yīng)KCF算法和CE-CLM算法，并提出基于角度的眼睛閉合度計(jì)算、嘴巴開度計(jì)算，在實(shí)測(cè)中取得了不錯(cuò)的效果，希望在接下來的研究中能克服光線問題，實(shí)現(xiàn)光線條件惡劣的情況下準(zhǔn)確檢測(cè)。經(jīng)研究單純的眼睛閉合檢測(cè)無法準(zhǔn)確識(shí)別疲勞駕駛員的疲勞狀態(tài)，本文精確的多參數(shù)提取，能夠計(jì)算眨眼次數(shù)、PERCLOS、平均眨眼速度、打哈欠次數(shù)、打哈欠幀數(shù)占比、低頭次數(shù)及低頭幀數(shù)占比并進(jìn)行多特征融合分類，希望接下來的工作能實(shí)現(xiàn)多類別疲勞狀態(tài)判斷，如清醒、輕度疲勞、中度疲勞、嚴(yán)重疲勞、極度疲勞。