李小平，白 超

(蘭州交通大學 機電工程學院，甘肅 蘭州 730070)

隨著全世界鐵路運輸里程及汽車營運數(shù)量的快速增長，火車司機和汽車司機人數(shù)也快速增加，同時由于司機疲勞駕駛引起的交通事故也逐年增高，以美國為例，交通事故中有25%～35%與疲勞駕駛有關(guān)[1-2]，每年大約有1 500多人喪生于疲勞駕駛引起的車禍[3]。因此對司機疲勞駕駛狀態(tài)進行檢測并做出相應的預警，對于保障交通運輸安全至關(guān)重要。

目前的疲勞駕駛檢測主要有基于司機的測量方法及基于車輛的測量方法，基于司機的測量方法又分為生理特征、視覺特征[4]和語音特征[5]等多種方法?；谲囕v的檢測方法受路況及駕駛員技能的影響，準確性較差[6]；基于生理特征的疲勞檢測由于使用了昂貴的傳感器，并且傳感器的侵入可能引起司機不適，不便于普及推廣[7-8]；基于語音特征的疲勞檢測只適用于采用標準呼叫應答的駕駛場景且語音標記樣本數(shù)據(jù)較為稀缺；基于視覺特征的疲勞檢測具有非接觸性及可直接根據(jù)司機面部特征(如眼睛睜閉、打哈欠等)反應其疲勞狀態(tài)等優(yōu)點，成為目前研究的主流方向[9]。傳統(tǒng)的基于機器視覺的司機疲勞檢測算法主要采用人工設計特征加分類器的方式，通過手動特征設計、制定檢測標準來進行疲勞判斷，檢測速度較慢、準確性較低[10]；隨著以卷積神經(jīng)網(wǎng)絡CNN為代表的深度學習模型在計算機視覺領域的成功應用，如面部器官檢測[11]、人體姿態(tài)估計[12]等，基于視覺特征深度學習的司機疲勞檢測成為該領域的研究熱點。

在基于視覺特征深度學習的疲勞駕駛檢測研究領域，文獻[13]提出了一種基于RNN的司機疲勞檢測技術(shù)；文獻[14]提出了一種類Haar特征和極限學習的疲勞檢測方法；文獻[15]基于嘴部特征疲勞檢測，應用了功能校準深度卷積模型RF-DCM，解決了說話和打哈欠的區(qū)分問題；文獻[16]提出了一種基于MSP模型的多任務分層CNN疲勞檢測系統(tǒng)，實現(xiàn)了面部檢測及眼睛和嘴巴狀態(tài)檢測；文獻[17]通過直方圖預訓練梯度模型HOG和支持向量機SVM提取眼睛、鼻子和嘴巴的位置并評估眼睛長寬比、張口比和鼻子長度比率進行疲勞檢測；文獻[18]提出了一個深層級聯(lián)LSTM的駕駛員疲勞檢測方法；文獻[19]提出了應用多面特征融合雙流卷積網(wǎng)絡的司機疲勞駕駛檢測模型，實現(xiàn)了動態(tài)圖像與靜態(tài)圖像的綜合檢測；文獻[20]提出了基于多形態(tài)紅外特征與深度學習的實時疲勞檢測方法，解決了夜間駕駛疲勞的檢測問題。

綜上所述，目前基于視覺特征深度學習的司機疲勞檢測算法主要有基于RNN的方法[13]、基于CNN的方法[14-17]以及RNN與CNN的融合方法[18-20]，一般采用滑動窗口加分類器方式，由于輸入圖像較大而導致系統(tǒng)耗時多[21]，檢測效率不高，而且當司機頭部姿態(tài)變化(如側(cè)臉、有遮擋等)時成像質(zhì)量較差，準確率不高。針對上述問題，本文在前人研究的基礎上，提出一種基于MTCNN-PFLD-LSTM深度學習模型的司機疲勞檢測算法，首先采用多任務卷積神經(jīng)網(wǎng)絡(Multi-task Cascaded Convolutional Networks，MTCNN)對視頻圖像幀的目標區(qū)域內(nèi)人像進行由粗到細的定位[22]，提高定位效率，降低后續(xù)輸入圖像的尺寸；然后對人臉圖像采用精度高、速度快的PFLD(Praclical Facial Landmark Detector)模型[23]進行68個關(guān)鍵點定位；最后根據(jù)P80原則計算出每幀圖像的眼部、嘴部、頭部3個疲勞參數(shù)，融合PFLD檢測出每幀圖像中人臉關(guān)鍵點的3個空間姿態(tài)角(偏航角，俯仰角，滾轉(zhuǎn)角)共6個參數(shù)，輸入長短期記憶網(wǎng)絡(Long Short-Term Memory，LSTM)進行疲勞檢測。該算法由于采用由粗到細的方法建模，加上PFLD模型結(jié)構(gòu)小，并通過合理設計6個疲勞檢測參數(shù)及加權(quán)累積損失函數(shù)，使得司機疲勞檢測的準確率和效率得到了有效提升。

1 臉部疲勞狀態(tài)表征

1.1 臉部輪廓定位

常見的人臉輪廓定位方法有5點、68點、98點定位，見圖1。圖1(a)中,5點定位僅包含左眼、右眼、鼻子、左嘴角、右嘴角5個位置，只能進行人臉輪廓定位，無法判斷是否處于疲勞狀態(tài)；圖1(b)中，98點定位包含的人臉信息過多，會導致系統(tǒng)運算量大、識別效率低、實時性較差；圖1(c)中，68點定位可以比較準確地描述人的臉部輪廓以及眼睛、嘴巴等局部特征，又減少了運算時間，提高了人臉識別的實時性[24]。在68點定位中，左眼有6個關(guān)鍵點(37～42)，右眼有6個關(guān)鍵點(43～48)，嘴巴有20個關(guān)鍵點(49～68)，其余為臉部輪廓關(guān)鍵點。

圖1 人臉面部輪廓定位(圖中人像來源于YawDD數(shù)據(jù)集[25])

1.2 眼部疲勞狀態(tài)表征

眼部特征是一個重要的疲勞表征參數(shù)，可以直觀反映司機是否處于疲勞狀態(tài)。本文采用PERCLOS原則[26]判斷眼部的睜閉狀態(tài)，當眼瞼遮住瞳孔的面積超過80%時就記為眼睛閉合。為基于PERCLOS原則的眼睛睜閉曲線見圖2。

圖2 基于PERCOLS原則的眼睛睜閉曲線

圖2中，縱軸為眼睛的睜開程度Eopen，橫軸為時間t，0～t1為眼睛從完全睜開到20%閉合所用的時間，t1～t2是眼睛從20%閉合到80%閉合所用的時間，t2～t3是眼睛完全閉合所用的時間，t3～t4是眼睛從20%睜開到80%睜開所用的時間。設這一時段內(nèi)眼睛閉合時間所占的百分比為fp，則

(1)

眼睛可以看作是兩個嵌套的橢圓，見圖1(c)。假設眼睛睜開的寬度為w，上下眼瞼的垂直距離為h，則眼睛的面積近似為S=πwh。以左眼為例，根據(jù)眼部采集到的關(guān)鍵點，人眼部的w、h的計算式為

(2)

式中：x37、x40為人左眼兩端的關(guān)鍵點橫坐標；y41、y39為人左眼眼瞼上下右側(cè)的關(guān)鍵點縱坐標。右眼同理，則眼部睜開百分比計算為

(3)

式中：wmax、hmax分別為眼睛完全睜開時的寬度、高度。將計算得到的Eopen按照PERCOLS原理計算出t1、t2、t3、t4，代入式(1)即可計算出fp，fp輸入LSTM網(wǎng)絡進行訓練即可判斷司機是否處于疲勞狀態(tài)。

1.3 嘴部疲勞狀態(tài)表征

嘴部的狀態(tài)通常有3種：閉合、說話、打哈欠，人在疲勞時會較為頻繁地打哈欠，因此嘴部的特征也是疲勞判定的一個重要參數(shù)。

嘴部的寬度wmouth、高度hmouth計算式為

(4)

式中：x49、x55為嘴部左右的兩個關(guān)鍵點的橫坐標；y51、y53、y57、y59分別為嘴部上下的4個關(guān)鍵點的縱坐標，通過計算其坐標的平均值獲得嘴部高度。

司機在疲勞打哈欠時嘴巴的張開程度最大，嘴部會出現(xiàn)高度增加，寬度減少，為了衡量這兩種指標表征的疲勞狀態(tài)，引入嘴部縱橫比Kmouth，其計算式為

(5)

將Kmouth輸入LSTM網(wǎng)絡進行訓練即可判斷司機是否處于疲勞駕駛狀態(tài)。

1.4 頭部疲勞狀態(tài)表征

人在疲勞時頭部容易出現(xiàn)頻繁點頭或者長時間低頭的情況，因此可以將點頭(低頭)情況作為疲勞表征參數(shù)。人在低頭時，攝像頭拍攝的照片中兩眼中點到達嘴巴的距離會比抬頭時出現(xiàn)明顯的縮短，故采用該距離的變化作為點頭(低頭)姿態(tài)的變化。

在圖1(c)中，設

(6)

則兩眼的直線函數(shù)為

(7)

式中：xleft、xright、yleft、yright分別為人左右眼中點的橫縱坐標；x、y為兩眼的直線函數(shù)橫縱坐標。將式(7)化為標準型Ax+By+C=0時，可得到A,B,C的值為

(8)

再利用人臉兩眼中點52號點計算到該直線的距離，即

(9)

d為圖像上兩眼中點到達嘴巴的距離。再以視頻第一幀的pitch1計算俯仰角為0時的dmax，即

(10)

當d≤0.8dmax時可認定為司機處于低頭狀態(tài)。若低頭超過3 s則直接判定為處于疲勞狀態(tài)，若小于3 s則記入時間，計算頭部低頭時間所占時間的百分比，即

(11)

式中：tdown為低頭時間；t為總時間；hdown為低頭百分比，該數(shù)值越大則疲勞程度越深，hdown同樣可以作為LSTM的輸入進行疲勞狀態(tài)判斷。

2 基于MTCNN-PFLD-LSTM的疲勞駕駛檢測模型

基于MTCNN-PFLD-LSTM的疲勞駕駛檢測模型見圖3。

圖3 基于MTCNN-PFLD-LSTM的疲勞駕駛檢測模型(圖中人像來源于YawDD數(shù)據(jù)集[25])

首先通過車載攝像設備實時獲取司機的視頻關(guān)鍵幀圖像，通過MTCNN確定司機人臉的區(qū)域，然后將檢測出的人臉區(qū)域采用PFLD模型進行人臉關(guān)鍵點檢測，最后計算生成臉部疲勞特征參數(shù)矩陣，并按照視頻時間序列將參數(shù)矩陣輸入LSTM模型進行疲勞檢測，通過softmax分類輸出疲勞與非疲勞狀態(tài)。

2.1 人臉區(qū)域檢測

MTCNN是基于級聯(lián)思想的深度學習模型，由P-Net(Proposal Network)、R-Net(Refine Network)、O-Net(Output Network)三層網(wǎng)絡構(gòu)成，能兼顧性能和準確率，可實現(xiàn)由粗到細的人臉檢測。MTCNN的圖像金字塔可以進行初始圖像的尺度變換，P-Net模型用于生成大量的候選目標區(qū)域框，R-Net模型對目標區(qū)域框進行精選和邊框回歸，進而排除大部分的負例，O-Net網(wǎng)絡對剩余的目標區(qū)域框進行判別和區(qū)域邊框回歸，從而實現(xiàn)人臉區(qū)域的5關(guān)鍵點檢測定位，MTCNN模型結(jié)構(gòu)見圖4。

圖4 MTCNN模型結(jié)構(gòu)

(1)構(gòu)建圖像金字塔

對圖片進行Resize操作，將原始圖像縮放成不同的尺度，生成圖像金字塔，便于實現(xiàn)多尺度人臉檢測。

(2)P-Net網(wǎng)絡

(12)

(3)R-Net網(wǎng)絡

(13)

(4)O-Net網(wǎng)絡

(14)

最終，MTCNN的損失函數(shù)L1為3個損失函數(shù)的加權(quán)累加，即

(15)

2.2PFLD人臉關(guān)鍵點檢測

PFLD人臉關(guān)鍵點檢測模型具有精度高、速度快、模型小的特點，特別適合算力不強的嵌入式移動設備，見圖5。

圖5 PFLD模型

PFLD不僅可以通過主網(wǎng)絡輸出人臉的68個關(guān)鍵點，還可以通過輔助網(wǎng)絡輸出人臉的3個姿態(tài)角(偏航角yaw，俯仰角pitch，滾轉(zhuǎn)角roll)。通過68個關(guān)鍵點及姿態(tài)角，可以根據(jù)式(1)、式(5)、式(11)計算出疲勞參數(shù)fp，Kmouth及hdown。

PFLD損失函數(shù)L2表示為

(16)

2.3 臉部疲勞狀態(tài)參數(shù)矩陣

人的臉部疲勞狀態(tài)可以根據(jù)眼睛(睜、閉)、嘴巴(閉合、說話、打哈欠)及頭部偏航角yaw、俯仰角pitch、滾轉(zhuǎn)角roll來綜合表達。

在PFLD獲得人臉的68個關(guān)鍵點后，對于連續(xù)時間節(jié)點序列(t1,t2,…,tn)上采集的視頻圖像幀(第1幀，第2幀，…，第n幀)，每一幀圖像可根據(jù)眼部、嘴部和頭部關(guān)鍵點及yaw、pitch、roll角度計算出狀態(tài)參數(shù)，生成臉部疲勞狀態(tài)參數(shù)矩陣Xt為

(17)

2.4 基于LSTM網(wǎng)絡的疲勞檢測

LSTM模型是一種時間遞歸神經(jīng)網(wǎng)絡，旨在解決RNN的長期依賴與梯度消失問題，LSTM網(wǎng)絡能夠記住長期依賴關(guān)系，將前一時刻的網(wǎng)絡輸出選擇性地記憶下來，為后續(xù)的網(wǎng)絡學習提供豐富的事件關(guān)聯(lián)性。LSTM網(wǎng)絡見圖6。

圖6 LSTM網(wǎng)絡

LSTM在t時刻的表達形式如下：

輸入門為

it=σ(Wi×[ht-1,xt]+bi)

(18)

遺忘門為

ft=σ(Wf×[ht-1,xt]+bf])

(19)

記憶元胞單元為

(20)

(21)

輸出門為

ot=σ(Wo×[ht-1,xt]+bo)

(22)

ht=ottanh(Ct)

(23)

在司機疲勞檢測中，監(jiān)控視頻可以按幀分解成圖片序列，按照時間順序?qū)⒚恳粠瑘D片的臉部疲勞狀態(tài)參數(shù)矩陣Xt輸入LSTM，即可實現(xiàn)運動狀態(tài)下的司機疲勞狀態(tài)判斷。

LSTM輸出為是否疲勞的分類狀態(tài)，故采用softmax損失函數(shù)，由于softmax損失函數(shù)在分類時主要將不同類之間的差異最大化，但對于同類之內(nèi)的樣本差異不一定最小化，因此會使得模糊樣本的特征提取效果不佳，從而影響分類的準確率，為此，本文引入中心損失函數(shù)Lcenter為

(24)

式中：xi為第i個視頻疲勞特征矩陣；f(xi)為LSTM預測值；ci為該視頻樣本所屬聚類的中心，聚類中心在初始階段為隨機確定；m為處理批次的大小，本文選用m=128，在之后每批次中更新聚類中心。則

L3=Lsoftmax+λLcenter

(25)

式中：L3為LSTM損失函數(shù)；Lsoftmax為softmax 交叉熵損失函數(shù)；Lcenter為中心損失函數(shù)；λ為中心損失權(quán)重。

采用加權(quán)累積方法計算MTCNN-PFLD-LSTM模型的損失函數(shù)L，則有

(26)

式中：J為訓練樣本數(shù)；k∈{1,2,3}；ωk為MTCNN、PFLD、LSTM 3個處理過程中的損失函數(shù)權(quán)重值。

3 試驗驗證

基于視覺特征的火車司機和汽車司機疲勞檢測需要在司機駕駛臺上方安裝視頻采集裝置，本文算法的原理相同，但由于采集裝置、采集環(huán)境以及所采數(shù)據(jù)集的不同，導致MTCNN-PFLD-LSTM深度學習模型的訓練參數(shù)會有所不同。由于篇幅限制，本文僅對汽車疲勞駕駛進行試驗，以對算法的有效性進行驗證。

3.1 試驗環(huán)境及實驗數(shù)據(jù)集

試驗平臺采用Intel(R)Core(TM)i5-4210，主頻1.70 GHz，8 GB內(nèi)存，配置較低。在Windows10環(huán)境下使用Tensorflow深度學習框架，采用Adam優(yōu)化器，未使用GPU加速。

試驗數(shù)據(jù)集使用YawDD視頻數(shù)據(jù)集[25]和自采人臉圖像數(shù)據(jù)集。YawDD數(shù)據(jù)集是一個公開的視頻數(shù)據(jù)集，共有351個汽車司機駕駛視頻，每個視頻都標注了正常、說話、唱歌和疲勞打哈欠4種狀態(tài)，本文將正常、說話、唱歌的狀態(tài)標注為非疲勞狀態(tài)，將疲勞打哈欠標注為疲勞狀態(tài)[27]。人臉定位的精確度對于疲勞檢測的結(jié)果至關(guān)重要，由于YawDD數(shù)據(jù)集中司機人數(shù)相對較少，用這些視頻關(guān)鍵幀圖像訓練MTCNN模型時，樣本數(shù)量略顯不足，因此，本文從網(wǎng)絡上不同的人臉圖像數(shù)據(jù)集中采集了4 792張不同的人臉照片構(gòu)成自采數(shù)據(jù)集，通過大量自采樣本數(shù)據(jù)提高MTCNN模型訓練質(zhì)量，訓練好的MTCNN網(wǎng)絡模型直接用來對YawDD視頻數(shù)據(jù)集中的關(guān)鍵幀圖像進行人臉定位檢測，彌補YawDD數(shù)據(jù)集樣本較少的缺陷。圖7為自采人臉圖像數(shù)據(jù)集和YawDD數(shù)據(jù)集部分示例。

圖7 自采人臉圖像數(shù)據(jù)集和YawDD數(shù)據(jù)集(部分)

3.2 試驗過程

Step1自采數(shù)據(jù)集人臉區(qū)域及關(guān)鍵點標注

樣本標記的精確度對于深度學習的準確性至關(guān)重要，Labelimg是一個可視化的圖像標定工具，通過可視化操作可保證標注的準確性，因此本文選用Labelimg軟件為自采人臉數(shù)據(jù)集的4 792張照片添加人臉框以及關(guān)鍵點位置。自采集數(shù)據(jù)集中1419.jpg的Labelimg標注示例見圖8。

圖8 自采圖像1419.jpg人臉區(qū)域及68關(guān)鍵點標記Labelimg標記

Step2MTCNN模型訓練

將Step1中標注好的自采數(shù)據(jù)集的50%作為訓練集，10%作為驗證集，40%作為測試集。將訓練集數(shù)據(jù)引入MTCNN進行訓練，訓練好的模型用驗證集數(shù)據(jù)進行模型過擬合驗證，然后用測試數(shù)據(jù)集進行測試，測試識別結(jié)果見表1。

表1 人臉區(qū)域識別結(jié)果

由表1可知，通過自采數(shù)據(jù)集對MTCNN模型進行訓練，人臉區(qū)域識別率達到99.18%，取得了較好的訓練效果。

Step3YawDD數(shù)據(jù)集中人臉區(qū)域識別

將YawDD數(shù)據(jù)集的每個視頻文件按照關(guān)鍵幀分解出100張圖片，共35 100張照片，輸入訓練好的MTCNN模型進行人臉區(qū)域檢測，識別結(jié)果見表2。

表2 YawDD數(shù)據(jù)集中人臉區(qū)域識別結(jié)果

表2的識別率達到99.24%，比表1的識別率增加了0.06%，這也反映了雖然MTCNN模型參數(shù)不變，但數(shù)據(jù)集不同，網(wǎng)絡輸出結(jié)果會有一定程度的變化。

Step4YawDD數(shù)據(jù)集中人臉關(guān)鍵點檢測

將Step3中檢測出的人臉區(qū)域引入PFLD網(wǎng)絡檢測68個關(guān)鍵點，可得到所有關(guān)鍵幀照片的人臉關(guān)鍵點坐標，視頻24-FemaleNoGlasses-Normal.avi中第10幀圖像的人臉關(guān)鍵點坐標及姿態(tài)角見圖9。

圖9 24-FemaleNoGlasses-Normal第10幀圖像人臉關(guān)鍵點坐標及姿態(tài)角

圖9(a)為視頻24-FemaleNoGlasses-Normal.avi中第10幀圖像的人臉關(guān)鍵點及姿態(tài)角，藍色關(guān)鍵點為標記點，紅色關(guān)鍵點為檢測點。35 100張視頻幀照片的關(guān)鍵點檢測結(jié)果見表3。

表3 人臉關(guān)鍵點檢測結(jié)果

Step5計算疲勞參數(shù)矩陣

將Step4中檢測出的關(guān)鍵點坐標及姿態(tài)角按照式(1)、式(5)、式(11)可以計算出相應的疲勞特征參數(shù)。視頻24-FemaleNoGlasses-Normal.avi的疲勞參數(shù)計算結(jié)果見表4(前10幀)。

表4 視頻24-FemaleNoGlasses-Normal疲勞參數(shù)計算結(jié)果(前10幀)

Step6LSTM疲勞檢測

將Step5中計算出的疲勞參數(shù)輸入LSTM網(wǎng)絡，其中將223個視頻(63.5%)作為訓練集，128個視頻(36.5%)作為測試集，學習率為0.001，最后通過softmax得到疲勞檢測結(jié)果，見表5。

表5 疲勞檢測結(jié)果

3.3 試驗結(jié)果分析

司機疲勞狀態(tài)檢測屬于分類問題，可以采用準確率以及檢測幀率FPS來進行評估[28]。

根據(jù)表5可以計算出MTCNN-PFLD-LSTM疲勞檢測準確率，結(jié)果見表6。

表6 MTCNN-PFLD-LSTM疲勞檢測準確率

從表6可以看出，分別使用fp、Kmouth、hdown與3個空間姿態(tài)角yaw、pitch、roll共4個參數(shù)訓練網(wǎng)絡時，檢測準確率分別為94.53%、93.75%、89.06%，而將fp、Kmouth、hdown與yaw、pitch、roll角度共6個參數(shù)輸入網(wǎng)絡訓練時，檢測準確率達到99.22%。

3.4 損失函數(shù)loss

損失函數(shù)loss用來表現(xiàn)預測值和實際值之間的差異程度，權(quán)重ωk的不同取值對于實驗結(jié)果影響較大。假定ω1變化、ω2=ω3，分析ω1的變化對loss的影響，選取ω1∶ω2∶ω3=0.1∶0.45∶0.45、ω1∶ω2∶ω3=0.3∶0.35∶0.35、ω1∶ω2∶ω3=0.5∶0.25∶0.25、ω1∶ω2∶ω3=0.7∶0.15∶0.15，損失函數(shù)圖像見圖10(a)，可以看出，當ω1權(quán)重較低時模型收斂速度較慢，損失函數(shù)loss增大、準確率降低，故應增大ω1的權(quán)重，充分驗證了人臉圖像分割精度對于疲勞檢測的重要性，但當ω1取值過高時(如ω1=0.7)，模型收斂速度反而又會降低，經(jīng)過反復試驗，當ω1=0.5時模型收斂速度快、準確率高。當ω1=0.5時，分析ω2、ω3變化對loss函數(shù)的影響，分別取ω2=0.1、ω3=0.4，ω2=0.2、ω3=0.3，ω2=0.25、ω3=0.25，ω2=0.3、ω3=0.2，ω2=0.4、ω3=0.1，loss曲線見圖10(b)，可以看出，當ω2=ω3=0.25時模型收斂速度快、準確率高。經(jīng)過反復試驗，最終確定權(quán)重ωk的取值為ω1∶ω2∶ω3=0.5∶0.25∶0.25。

圖10 權(quán)值ωk取不同值時的loss曲線

當ω1∶ω2∶ω3=0.5∶0.25∶0.25時，通過損失函數(shù)曲線可以看出該模型收斂速度較快，在訓練了500張圖像時的損失值和訓練2 500張圖像時的損失值相差不大，在訓練到2 500張圖像時損失函數(shù)波動很小，顯示出模型具有較好的魯棒性。

為驗證本文算法的優(yōu)越性，和其他最新的疲勞檢測算法進行對比，結(jié)果見表7。

表7 對比實驗結(jié)果

由表7可以看出，本文在低算力設備及無GPU加速情況下，采用MTCNN-PFLD-LSTM算法，準確率達到99.22%，檢測幀率達到46；本文檢測準確率比第2的模型(文獻[17])增加了0.26%，檢測幀率FPS比性能第2的模型(文獻[13])增加了1.3倍。文獻[14]和文獻[15]由于采用了GPU加速，所以FPS較高，但是硬件配置要求較高；文獻[17]的檢測準確率較高，但是檢測幀率為8，運算效率較低。對比試驗結(jié)果表明，本文提出的算法在低算力設備上應用時耗時較少，檢測準確率較高，綜合檢測效果較好。

4 結(jié)論

本文采用MTCNN-PFLD-LSTM模型進行司機疲勞駕駛檢測，無須GPU加速，便于在移動設備等低算力設備上應用。通過優(yōu)化MTCNN-PFLD-LSTM模型在不同階段任務的損失函數(shù)權(quán)重，在YawDD數(shù)據(jù)集中的檢測準確率達到99.22%，檢測幀率達到46，檢測的效率與準確性較好，能夠滿足基于視覺特征的司機疲勞駕駛檢測要求。