饒睿

(廣西科技大學(xué),廣西 柳州545026)

中國每年因疲勞駕駛引起的交通事故占總體交通事故的20%[1]。應(yīng)進(jìn)行駕駛員的疲勞狀態(tài)檢測,從而使得有效預(yù)警和干預(yù)成為可能,這是提高行車安全、尤其是長途駕駛安全的重要保障技術(shù)。

傳統(tǒng)疲勞檢測方法主要使用類似HOG 特征,Haar 特征等[2]用于特征描述,分類器主要使用SVM 分類器等[3]。如今深度學(xué)習(xí)在目標(biāo)檢測領(lǐng)域取得很大進(jìn)步,基于CNN 的疲勞檢測已成為當(dāng)前的熱點[4],例如,張芳等[5]使用面部關(guān)鍵點提取眼睛圖像,使用CNN 來確定眼睛位置和形態(tài),提取眼部特征用于檢測疲勞駕駛。本文采用單發(fā)多框檢測器(Single Shot Multibox Detector,SSD),同時對人眼睛和嘴巴進(jìn)行定位與狀態(tài)的識別,這種方法檢測效果更為穩(wěn)定,且識別率更高。

1 樣本庫的建立

本文自制數(shù)據(jù)集包括來自7 名被采集對象的4823 張圖像,其中包括不同頭部狀態(tài)、是否佩戴眼鏡、不同場景以及2353 張來源于現(xiàn)實駕駛場景的視頻錄像的圖片。采用標(biāo)注工具LabelImg 對圖像中的眼部和嘴部特征進(jìn)行標(biāo)注[6],一共四個分為四個類別,其中O_eye 代表眼睛張開、C_eye 代表眼睛閉合、類似的、O_mouth 和C_mouth 分別對應(yīng)與嘴巴張開或閉合。完成標(biāo)注并保存后LabelImg 將為圖片生成相對應(yīng)的XML 格式的標(biāo)注文件。

2 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 SSD 網(wǎng)絡(luò)介紹

SSD 全稱為單發(fā)多框檢測器,是一種深度卷積神經(jīng)網(wǎng)絡(luò)。常見目標(biāo)檢測算法有區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)系列、YOLO 系列等,而SSD 兼顧精度和檢測速度[7]。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

其基礎(chǔ)網(wǎng)絡(luò)是一個在ImageNet 上針對圖像分類預(yù)訓(xùn)練后的VGG-16 模型,為了使該網(wǎng)絡(luò)結(jié)構(gòu)能夠進(jìn)行目標(biāo)檢測,對部分網(wǎng)絡(luò)層進(jìn)行微調(diào)。微調(diào)后的網(wǎng)絡(luò)圖(圖1)包括：使用卷積并替換全連接層、移除dropout 層、使用一個擴張卷積替換最后的最大池化層。

為了得到感受野變化的特征圖,在基礎(chǔ)網(wǎng)絡(luò)層后,疊加卷積核大小依次縮小的卷積層以生成更小的特征圖,這樣就構(gòu)成了完整的SSD 網(wǎng)絡(luò)(圖2)。

2.3 SSD 網(wǎng)絡(luò)的核心思想

2.3.1 對多個尺度的特征圖進(jìn)行操作

圖1 VGG-16 基礎(chǔ)網(wǎng)絡(luò)

圖2 SSD300 模型

首先在輸入圖像中通過卷積提取出特征圖,并以提取后的特征圖的像素為中心生成先驗框以減少數(shù)據(jù)量。通過提取較多區(qū)域來檢測小目標(biāo),提取較少區(qū)域來檢測的目標(biāo)的方法產(chǎn)生多個尺度的特征圖。

2.3.2 在位置確定和類別判定中應(yīng)用CNN

在通過輔助CNN 層后將生成大小各異的特征圖(對應(yīng)于不同感受野),該操作不但能降低參數(shù)規(guī)模,還能提高對不同大小目標(biāo)的檢測準(zhǔn)確率。

2.4 訓(xùn)練方法

2.4.1 匹配策略

通過計算像素重合的交并比來衡量此時先驗框和真實物體的相似度。

2.4.2 損失函數(shù)

總體損失函數(shù)為定位損失(loc)和置信度損失(conf)的加權(quán)和:

其中c 表示分類標(biāo)簽,l 表示先驗框,g 表示實際目標(biāo)所在的矩形框,N 表示與真實邊框匹配的先驗框的數(shù)量,α 默認(rèn)為1,為權(quán)重調(diào)整參數(shù)。

位置的偏離程度采用平滑后的范數(shù)損失進(jìn)行衡量：

其中x 是0 到1 之間的實數(shù),d 為目標(biāo)檢測的先驗框。如果x=1,表示第i 個先驗框與第j 個實際目標(biāo)位置一致,P 為此時實際目標(biāo)框的類別,如果x=0,則先驗框和實際目標(biāo)框的類別不一致,此時將其視為負(fù)例,且不再計算其位置偏移值。(cx,cy),w,h分別表示矩形框的中心位置,寬度和高度。

分類錯誤的懲罰采用交叉熵?fù)p失函數(shù)：

3 疲勞狀態(tài)評估方法

PERCLOS 是駕駛疲勞判定的重要指標(biāo),原理是通過計算一段時間的眼睛閉合時間所占比例判斷疲勞狀態(tài),我們選擇P80標(biāo)準(zhǔn)判斷駕駛員是否疲勞[8]。

圖3 人眼睜開程度示意圖

通過圖3 可得到PERCLOS 值的計算公式為

通過計算一段連續(xù)視頻中的閉眼狀態(tài)的單幀圖像數(shù)K 和視頻單幀圖像總數(shù)N 可計算計算PERCLOS 值：

本文提出一種基于模糊綜合評價的疲勞,對于人的不同疲勞狀態(tài)特征劃分疲勞狀態(tài),通過對不同特征給予不同權(quán)重計算加權(quán)和,來判定是否存在疲勞駕駛,將最終的駕駛員狀態(tài)確定為三者之一：為清醒、疲勞與重度疲勞。狀態(tài)評估值計算公式如下：

其中P 代表PERCLOS 值,B 統(tǒng)計閉眼次數(shù),C 記錄眼睛持續(xù)保持閉合狀態(tài)的最長時間,Y 代表張嘴次數(shù),VP、VB、VC、VY為不同狀態(tài)下的指標(biāo)P、B、C、Y 所處評級的評價,設(shè)F1 為疲勞狀態(tài)下閾值,F2 為重度疲勞狀態(tài)下的閾值,將計算得到的評估值F與F1 和F2 進(jìn)行比較,若F 的值小于F1 則判定駕駛員處于清醒狀態(tài),若F 的值在F1 和F2 之間,則將當(dāng)前駕駛員分類為第一種狀態(tài)(疲勞),若F>F2,則認(rèn)為當(dāng)前駕駛?cè)藛T已經(jīng)處于第三種狀態(tài)(重度疲勞)。根據(jù)實驗結(jié)果,F1 設(shè)定為5.6,F2 設(shè)定為7.8。

4 系統(tǒng)評估

為了驗證算法的有效性,我們讓5 名測試者在不同條件下,模擬疲勞和重度疲勞狀態(tài)下并用攝像機采集視頻。

表1 檢測結(jié)果

如表1 所示,檢測算法在數(shù)據(jù)集上的檢測結(jié)果,當(dāng)駕駛員為重度疲勞時,檢測的準(zhǔn)確率達(dá)到了100%,當(dāng)駕駛員在疲勞和清醒狀態(tài)時的準(zhǔn)確率稍低,分別有一個判斷錯誤,這是因為哈欠的時候錯誤判斷了駕駛員的狀態(tài),算法的總體正確率達(dá)到了96%,表現(xiàn)出了較好的準(zhǔn)確性。

結(jié)束語

本文實現(xiàn)了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)SSD 的疲勞檢測算法,本算法將目標(biāo)檢測運用到疲勞特征的檢測當(dāng)中以此獲得駕駛員眼部和嘴部實時狀態(tài)信息,判定駕駛員狀態(tài)。測試結(jié)果表明基于SSD 的疲勞檢測算法能夠在速度、準(zhǔn)確度、魯棒性上達(dá)到較好的平衡。