汪洪濤 謝牡丹 潘 昊*

(武漢理工大學(xué)網(wǎng)絡(luò)信息中心1) 武漢 430070) (武漢理工大學(xué)計(jì)算機(jī)與人工智能學(xué)院2) 武漢 430070)

0 引 言

疲勞駕駛是造成交通事故的重要原因之一.在中國，每年有30%以上的公路交通事故與疲勞駕駛有關(guān)[1].目前，疲勞駕駛的檢測方法主要有基于心電圖、腦電圖等生理特征的疲勞檢測方法；基于車道偏移、轉(zhuǎn)向盤角度、車速等車輛行為特征的疲勞檢測方法；以及基于駕駛員眼睛、嘴巴等面部特征的疲勞檢測方法[2].

其中基于面部特征的疲勞檢測方法具有非接觸、低成本等優(yōu)點(diǎn)逐漸成為研究熱點(diǎn).近年來，采用卷積神經(jīng)網(wǎng)絡(luò)的面部檢測算法已經(jīng)逐步成為了主流[3].Zhang等[4]提出了一種簡單而有效的特征聚集網(wǎng)絡(luò)(FANet)框架，用以構(gòu)建一種新型的單極面部檢測系統(tǒng)，框架的核心思想是利用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)固有的多尺度特性聚合高級(jí)語義特征映射的不同尺度的上下文線索.Triantafyllidou等[5]提出了一種基于面部檢測的輕量級(jí)深度卷積神經(jīng)網(wǎng)絡(luò).然而，由于面部表情存在表情夸張、姿態(tài)變化、面部遮擋等客觀不可控的因素，僅依靠單一的結(jié)構(gòu)模型進(jìn)行檢測很難產(chǎn)生良好的泛化能力，使得模型在實(shí)際應(yīng)用中的魯棒性較差.為了克服這一不足，近年來出現(xiàn)了一系列改進(jìn)的深度學(xué)習(xí)方法，其中級(jí)聯(lián)CNN采用級(jí)聯(lián)結(jié)構(gòu)可以在訓(xùn)練大量樣本的過程中捕捉到面部區(qū)域中各種復(fù)雜多變的情況[6].

文中提出了一種基于面部特征和多指標(biāo)融合的方法，生成對(duì)抗網(wǎng)絡(luò)的弱光增加網(wǎng)絡(luò)[7]，對(duì)駕駛員圖像進(jìn)行預(yù)處理，通過多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)檢測視頻數(shù)據(jù)集中的面部，定位關(guān)鍵點(diǎn)，再將整張面部圖像送入到FSR-Net(fatigue super-resolution network)多任務(wù)疲勞狀態(tài)識(shí)別網(wǎng)絡(luò)，同時(shí)檢測眼部和嘴部狀態(tài)，通過PERCLOS等多個(gè)指標(biāo)進(jìn)行疲勞駕駛判斷.

1 基于生成對(duì)抗網(wǎng)絡(luò)的弱光增強(qiáng)

疲勞駕駛檢測主要是根據(jù)面部特征信息來進(jìn)行判斷，由于車輛在低光照或夜間行駛時(shí)，采集到的視頻圖像對(duì)比度低、能見度差、ISO噪聲高，這大大影響了測試的精度.為了解決這些問題，研究人員提出了大量的算法，從基于直方圖或基于認(rèn)知的算法[8-9]到基于機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的算法[10-11].本文提出一種基于生成對(duì)抗網(wǎng)絡(luò)的弱光增強(qiáng)算法對(duì)駕駛員弱光圖像進(jìn)行增強(qiáng).

1.1 EnhenceGAN網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

為了突破成對(duì)訓(xùn)練數(shù)據(jù)集以及真實(shí)圖像監(jiān)督標(biāo)簽的限制，設(shè)計(jì)了EnhenceGAN網(wǎng)絡(luò)結(jié)構(gòu)，提出了一個(gè)針對(duì)圖像全局和局部的雙鑒別器進(jìn)行微光增強(qiáng)的機(jī)制，以及一種自正則化感知損失的方法來約束微光輸入圖像與其增強(qiáng)后的圖像之間的特征距離，并結(jié)合對(duì)抗性損失進(jìn)行訓(xùn)練，見圖1.

圖1 EnhenceGAN整體架構(gòu)

由圖1可知：EnhenceGAN網(wǎng)絡(luò)包含一個(gè)注意力引導(dǎo)的U-Net[12]生成器和一個(gè)雙鑒別器，U-Net生成器是一個(gè)帶有殘差的編解碼網(wǎng)絡(luò)，由8個(gè)卷積塊實(shí)現(xiàn)，每個(gè)卷積塊由兩個(gè)3×3的卷積層組成，并加入attention模塊.雙鑒別器是對(duì)全局和局部信息進(jìn)行定向.對(duì)于全局鑒別器，通過引入相對(duì)論鑒別器函數(shù)，并用Leat square GAN(LSGAN) 損失代替相對(duì)論鑒別器中的sigmoid函數(shù)，生成全局鑒別器D和生成器G的損失函數(shù)，為

Exf～Pfake[DRa((xf,xr)2]

(1)

Er～Preat[DRa(xr,xf)2]

(2)

對(duì)于局部鑒別器，每次從輸出和真實(shí)圖像中隨機(jī)裁剪5個(gè)圖像塊，采用LSGAN作為對(duì)抗性損失，為

Ex～Pfake-patches[(Dxf-1)2]

(3)

(4)

利用感知損失方法限制低光輸入和增強(qiáng)正常光輸出之間的VGG-feature距離，構(gòu)建感知損失與對(duì)抗損失進(jìn)對(duì)抗的損失函數(shù)LSFP，為

(5)

式中：IL為輸入低光圖像；G(IL)為生成器的增強(qiáng)輸出；φi,j為在ImageNet上預(yù)訓(xùn)練VGG-16模型中提取的特征映射；i為第i個(gè)最大池化層；j為第i個(gè)最大化池化層后的第j個(gè)卷積層；Wi,j,Hi,j為提取的特征圖的維數(shù).式中強(qiáng)調(diào)了其自正則化的作用，即在增強(qiáng)前后圖像內(nèi)容特征保持不變，從而約束了圖像除光照以外的特征信息.

EnhenceGAN弱光增強(qiáng)的具體步驟為：

步驟1取輸入RGB圖像的亮度分量I，將其標(biāo)準(zhǔn)化至[0,1].

步驟2對(duì)編碼器中的特征圖用1-I進(jìn)行加權(quán)，得到attention map.

步驟3將attention map大小調(diào)整到對(duì)應(yīng)的特征圖大小.

步驟4將attention map與解碼器中的特征圖進(jìn)行加權(quán).

步驟5將attention與U-Net轉(zhuǎn)換中各部分的特征進(jìn)行逐元素相乘.

步驟6網(wǎng)絡(luò)輸出的部分和attention map相乘得到一個(gè)殘差.

步驟7殘差和原圖相加，得到最終的增強(qiáng)后圖像.

1.2 實(shí)驗(yàn)及結(jié)果

建立一個(gè)非配對(duì)的含2 500張低光圖像和1 000張正常圖像的數(shù)據(jù)集，最開始從0訓(xùn)練100次迭代，學(xué)習(xí)率為1×10-4,再訓(xùn)練100次迭代，學(xué)習(xí)率線性衰減為0.

對(duì)實(shí)驗(yàn)結(jié)果采用自然圖像質(zhì)量評(píng)估器(NIQE)進(jìn)行定量比較，通過五種方法在五個(gè)公共數(shù)據(jù)集上的NIQE進(jìn)行比較，結(jié)果見表1.

表1 五種方法在五個(gè)數(shù)據(jù)集上的NIQE值

由表1可知:EnhenceGAN在弱光圖像增強(qiáng)方面總體上優(yōu)于其他方法.

2 基于改進(jìn)的多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的面部檢測

2.1 基本網(wǎng)絡(luò)架構(gòu)改進(jìn)

改進(jìn)后的MTCNN網(wǎng)絡(luò)結(jié)構(gòu)圖見圖2.P-Net以大小為12×12×3的圖像為輸入，可以有效地從輸入圖像中獲取粗糙的面部窗口.P-net中的C1、C2和C3是卷積層，內(nèi)核大小為3×3.

圖2 IMP-MTCNN網(wǎng)絡(luò)結(jié)構(gòu)

Relu、池化和歸一化在每個(gè)卷積階段的輸出之后進(jìn)行. O-Net的詳細(xì)參數(shù)見表2，由8層組成.O-Net以大小為48×48×3的圖像為輸入，可以有效預(yù)測相應(yīng)的面部地標(biāo)定位和邊界盒回歸.

表2 IMP-MTCNN網(wǎng)絡(luò)層參數(shù)

前六層是卷積層，后兩層是內(nèi)積層.該方法中卷積和全連接層的非線性激活函數(shù)采用ReLU函數(shù).通過對(duì)比實(shí)驗(yàn)，選擇了固定核尺寸和濾波器尺寸三種卷積層的參數(shù)，全連接層和softmax輸出層分別將輸出卷積特征映射為256-d和16-d特征向量.最后softmax輸出層有16個(gè)神經(jīng)元，預(yù)測相應(yīng)的面部地標(biāo)定位和邊界盒回歸.與O-Net相同，P-Net和R-Net中的參數(shù)是根據(jù)P-Net中相同策略下的可比實(shí)驗(yàn)設(shè)置的，目的是得到相應(yīng)的精確輸出.

該層網(wǎng)絡(luò)的輸入特征更為豐富，在網(wǎng)絡(luò)結(jié)構(gòu)的最后是一個(gè)更大的256的全連接層，保留了更多的圖像特征，同時(shí)再進(jìn)行面部判別、面部區(qū)域邊框回歸和面部特征定位，最終輸出面部區(qū)域的左上角坐標(biāo)和右下角坐標(biāo)與面部區(qū)域的五個(gè)特征點(diǎn).O-Net擁有特征更多的輸入和更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，具有更好的性能，這一層的輸出作為最終的網(wǎng)絡(luò)模型輸出.

2.2 損失函數(shù)

IMP-MTCNN的聯(lián)合訓(xùn)練是一個(gè)多任務(wù)的訓(xùn)練過程，包含：人臉非人臉分類、邊界框回歸以及面部關(guān)鍵點(diǎn)定位.IMP-MTCNN中有一個(gè)指標(biāo)值，通過該值確定是否需要計(jì)算其中某一項(xiàng)的損失，最終的IMP-MTCNN損失函數(shù)為

(2)

2.3 在線困難樣本挖掘

為了使學(xué)習(xí)到的網(wǎng)絡(luò)模型有更強(qiáng)的泛化能力，在網(wǎng)絡(luò)訓(xùn)練過程中，采用的是在線困難樣本挖掘(online hard example mining,OHEM)算法.選取前70%作為困難樣本，計(jì)算出相應(yīng)的梯度用于反向傳播過程，OHEM算法為:

輸入 ground truth標(biāo)簽序列g(shù)t_label,預(yù)測標(biāo)簽列pred_label

步驟1初始化 ratio←0.0, break point←0

步驟2loss←CrossEntropyLoss

步驟3sorted←loss/sum

步驟4For i, v in sorted[0] do

步驟5If ratio≥0.7

步驟6break

步驟7Ratio+=v

步驟8End for

步驟9bp←sorted[1][:break point]

步驟10topK←loss[bp]

步驟11End

輸出 前70%困難樣本的梯度針對(duì)在線困難樣本挖掘方法的效果評(píng)估，在O-Net中訓(xùn)練了另一個(gè)不使用該策略的模型，并比較了相應(yīng)的損失曲線.這兩個(gè)模型的結(jié)構(gòu)和參數(shù)是相同的，結(jié)果見圖3.

圖3 損失曲線

由圖3可知，OHEM損失曲線低于不使用該策略的模型，即驗(yàn)證了困難樣本挖掘有助于提高方法的性能.

2.4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中所使用數(shù)據(jù)的是江蘇省公安廳構(gòu)建的PSD-HIGHROAD數(shù)據(jù)庫作為數(shù)據(jù)集，包含了不同交通車輛在不同光照條件下大約15 000張駕駛員的圖像.該數(shù)據(jù)集涵蓋了江蘇省大部分高速公路上的車輛圖像，隨機(jī)選取10 000張圖像訓(xùn)練IMP-MTCNN模型.

不同車輛行駛過程中IMP-MTCNN與級(jí)聯(lián)CNN的測試效果對(duì)比見圖4.

圖4 不同環(huán)境下的測試實(shí)例

由圖4可知，第一列為PSD-HIGHROAD數(shù)據(jù)集中的原圖，第二列為級(jí)聯(lián)CNN的面部檢測結(jié)果，第三列為級(jí)聯(lián)CNN面部檢測結(jié)果放大圖，第四列為IMP-MTCNN面部檢測結(jié)果，最后一列為IMP-MTCNN面部檢測結(jié)果放大圖.IMP-MTCNN不管是在白天還是黑夜都能很準(zhǔn)確地檢測到駕駛員的臉部并且精確定位出面部關(guān)鍵點(diǎn)，相比于級(jí)聯(lián)CNN，本文的IMP-MTCNN有著更高的精確度以及更低的誤檢率，在復(fù)雜的駕駛環(huán)境中能夠保持良好的性能.

IMP-MTCNN與原始MTCNN、YOLOv3、級(jí)聯(lián)CNN和聯(lián)合級(jí)聯(lián)的檢測性能見表3.

表3 檢測性能比較 單位：%

由表3可知：IMP-MTCNN模型在正樣本上的檢測精確度達(dá)到了91.87%，負(fù)樣本上為80.26%，均比原始MTCNN、YOLOv3 等方法的檢測精確度高.并且 IMP-MTCNN平均誤檢率僅為1.91%，與其他幾種方法相比，誤檢率明顯降低.

3 基于FSR-Net的多任務(wù)疲勞狀態(tài)檢測

3.1 VGG網(wǎng)絡(luò)

VGG網(wǎng)絡(luò)是由牛津大學(xué)計(jì)算機(jī)視覺組(visual geometry group)與Google DeepMind公司共同研發(fā)出來的一種新的深度卷積神經(jīng)網(wǎng)絡(luò).VGG網(wǎng)絡(luò)是一個(gè)16～19層深的卷積神經(jīng)網(wǎng)絡(luò)，深層的結(jié)構(gòu)使得網(wǎng)絡(luò)性能大幅提高，同時(shí)拓展性、泛化性也非常好，適合用來提取圖像特征.

VGG結(jié)構(gòu)簡單，由五個(gè)卷積層和池化層的組合、三層全連接層、一個(gè)Softmax輸出層構(gòu)成，所有隱層都采用非線性修正ReLU激活函數(shù).輸入為224×224的RGB圖像，唯一做的預(yù)處理是歸一化處理，再經(jīng)過5層卷積層，卷積層中卷積核的大小為3×3，部分卷積核為1×1，卷積層步長設(shè)為一個(gè)像素.每個(gè)卷積層后都有一個(gè)池化層，池化窗口大小為2×2，步長為2.接著是三個(gè)全連接層，通道數(shù)分別為4 096，4 096，1 000.最后一層是用來分類的softmax層.

VGG網(wǎng)絡(luò)具有小卷積和深網(wǎng)絡(luò)的特點(diǎn)，這樣使用參數(shù)的減少了，同時(shí)還產(chǎn)生更豐富的非線性映射.訓(xùn)練時(shí)，先訓(xùn)練級(jí)別簡單，層數(shù)較少的VGG的A級(jí)網(wǎng)絡(luò)，再初始化后面的復(fù)雜模型，加快了訓(xùn)練的收斂速度，同時(shí)采用多尺度的方法，增加了訓(xùn)練數(shù)據(jù)，提高了準(zhǔn)確率.

3.2 改進(jìn)的多任務(wù)疲勞狀態(tài)檢測網(wǎng)絡(luò)FSR-Net

為了更準(zhǔn)確地判斷駕駛員是否疲勞駕駛，通過對(duì)VGG的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，設(shè)計(jì)了一種多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)FSR-Net，見圖5.

圖5 FSR-Net網(wǎng)絡(luò)結(jié)構(gòu)示意圖

構(gòu)造的FSR-Net網(wǎng)絡(luò)模型是一個(gè)9層的大型總面積神經(jīng)網(wǎng)絡(luò)，由三個(gè)SE_module模塊、一個(gè)卷積層、一個(gè)最大池化層、一個(gè)全局平均池化層、兩個(gè)全連接層、一個(gè)多任務(wù)輸出層組成.在卷積層結(jié)構(gòu)中連續(xù)插入了三個(gè)SE模塊，從空間維度上簡化網(wǎng)絡(luò)學(xué)習(xí)，對(duì)特征通道之間的內(nèi)在聯(lián)系進(jìn)行建模，自適應(yīng)地重新校準(zhǔn)通道方向的相應(yīng)特征，從而提升了網(wǎng)絡(luò)性能.

FSR-Net網(wǎng)絡(luò)模型中，相關(guān)參數(shù)見表4～5.

表4 FSR-Net網(wǎng)絡(luò)層參數(shù)

在實(shí)際駕駛環(huán)境中，采集到的面部圖像尺寸大小不一，先統(tǒng)一調(diào)尺寸為112×112，再送入到FSR-Net網(wǎng)絡(luò)中進(jìn)行檢測.其中三個(gè)SE_module模塊輸入特征通道數(shù)分別為32、64、128，輸出圖像尺寸分別為56×56×64、28×28×128、14×14×256.

卷積層的卷積核為3*3，步長為1，填充方式

表5 SE_module_1網(wǎng)絡(luò)層參數(shù)

為“SAME”,用0填充邊界，輸出圖像尺寸為14×14×512，并將圖像送入到最大池化層，pool_size為(2,2)，對(duì)鄰域內(nèi)特征點(diǎn)取最大.在全局平均池化則直接把整幅特征圖進(jìn)行平均池化，整合全局特征，防止過擬合.經(jīng)過最大池化層和全局平均池化層，輸出特征圖尺寸為1×1×512.兩個(gè)全連接層dense_1、dense_2的節(jié)點(diǎn)個(gè)數(shù)分別為2 048、1 000.通過全連接，把卷積提取的局部特征重新通過權(quán)值矩陣組裝成完整的圖像.

3.3 多指標(biāo)整合的疲勞駕駛判斷

當(dāng)駕駛員出現(xiàn)疲勞時(shí)，會(huì)出現(xiàn)打哈欠、眼睛長時(shí)間閉合等現(xiàn)象，如果單一地對(duì)眼部或嘴部進(jìn)行檢測出現(xiàn)誤判的可能性較大.在檢測模型中同時(shí)對(duì)眼睛和嘴巴進(jìn)行多指標(biāo)檢測，將大大提高檢測的精度.

3.3.1眼部疲勞狀態(tài)判斷

目前權(quán)威的疲勞駕駛判斷指標(biāo)為美國聯(lián)邦公路管理局和美國國家公路交通安全管理局提出的PERCLOS(眼瞼閉合度).

當(dāng)人出現(xiàn)疲勞時(shí)，眨眼頻率會(huì)增加，通過駕駛員眼睛閉合幀數(shù)占總幀數(shù)的比例來近似計(jì)算PERCLOS，為

(3)

正常狀態(tài)下，Ep值在(0～0.15)，當(dāng)Ep>0.4時(shí)，表示該駕駛員當(dāng)前已經(jīng)是疲勞狀態(tài).

人在疲勞狀態(tài)時(shí)，除了眨眼頻率增加，閉眼時(shí)間也會(huì)延長，持續(xù)閉眼時(shí)間也可以作為疲勞駕駛的判斷指標(biāo).對(duì)連續(xù)幀圖像中眼部狀態(tài)進(jìn)行識(shí)別分類，當(dāng)識(shí)別結(jié)果為閉合時(shí)，記錄此時(shí)幀圖像的序列號(hào)為F0，統(tǒng)計(jì)眼睛持續(xù)閉合幀數(shù)，直到眼睛睜開，T0表示采集每一幀圖像所占的時(shí)間間隔.持續(xù)閉眼時(shí)間定義為

ET=(Fn-F0)×T0

(4)

正常人平均每次眨眼時(shí)間為0.2～0.4 s，若閉眼時(shí)間超過1 s，無論是否疲勞都屬于危險(xiǎn)駕駛.本研究將Ep閾值設(shè)為1 s.

將眨眼頻率和持續(xù)閉眼時(shí)間同時(shí)作為判斷指標(biāo)，能有效減少誤判.

3.3.2嘴部疲勞狀態(tài)判斷

人處在疲勞狀態(tài)時(shí)，還會(huì)伴隨著打哈欠，因此對(duì)嘴部狀態(tài)的檢查也是判斷疲勞駕駛的有效補(bǔ)充.

駕駛員在說話時(shí)，嘴巴的狀態(tài)也是不斷變化的，但是張合的時(shí)間不像打哈欠那樣持續(xù)較長，有關(guān)研究表明，一次打哈欠的時(shí)間大約為3 s.通過選取嘴部持續(xù)張開時(shí)間能很好地與說話狀態(tài)分開.嘴部的持續(xù)張開時(shí)間的定義為

MT=(MN-M0)×T0

(5)

式中：M0為嘴部持續(xù)張開幀的首位圖像幀序列號(hào)；MN為持續(xù)幀數(shù)；T0為每一幀圖像的時(shí)間間隔.若持續(xù)時(shí)間超過3 s則此時(shí)為打哈欠狀態(tài).當(dāng)人疲勞時(shí)，會(huì)持續(xù)打哈欠，根據(jù)某段時(shí)間內(nèi)打哈欠的次數(shù)可以判斷疲勞狀態(tài).研究中，選取2 min作為檢測時(shí)長，在某時(shí)間段內(nèi)打哈欠次數(shù)Nyawn大于3，則判斷駕駛員為疲勞狀態(tài).

3.4 FSR-Net實(shí)驗(yàn)及結(jié)果

實(shí)驗(yàn)數(shù)據(jù)集來自公開的YawDD[13]視頻，包含不同性別、不同種族的駕駛員在不同光照環(huán)境下拍攝的駕駛視頻.通過將選取的視頻數(shù)據(jù)集轉(zhuǎn)換成幀圖像，利用IMP-MTCNN算法檢測出人臉，并截取駕駛員的面部圖像，制成包含46 652張面部圖像的數(shù)據(jù)集.在訓(xùn)練過程中，將數(shù)據(jù)集按比例分成包含40 909張圖像的訓(xùn)練集，包含4 730張圖像的測試集，以及包含1 013張圖像的驗(yàn)證集.訓(xùn)練采用小批量梯度下降的方式，以keras的ReduceLROnPlateau學(xué)習(xí)率適應(yīng)方法，初始學(xué)習(xí)率設(shè)置為0.01，若數(shù)據(jù)無進(jìn)步，自動(dòng)減少學(xué)習(xí)率，學(xué)習(xí)率的下邊界設(shè)置為0.000 01.訓(xùn)練結(jié)果見圖6～7.

圖6 訓(xùn)練損失曲線

圖7 準(zhǔn)確率曲線

由圖5可知，在訓(xùn)練開始階段損失值下降幅度很大，說明學(xué)習(xí)率合適且進(jìn)行梯度下降過程，在學(xué)習(xí)到一定階段后，損失曲線趨于平穩(wěn).由圖6可知，隨著時(shí)間推移，眼睛和嘴巴的識(shí)別準(zhǔn)確度在上升，達(dá)到一定程度后，兩者準(zhǔn)確度相差不大，說明模型狀況良好.

利用設(shè)計(jì)的FSR-Net網(wǎng)絡(luò)及疲勞駕駛判斷指標(biāo)，對(duì)YawDD中六段視頻進(jìn)行了測試，測試結(jié)果見表6.

表6 疲勞駕駛判斷算法測試結(jié)果

測試結(jié)果最終的判斷準(zhǔn)確率達(dá)到了97.4%，實(shí)驗(yàn)結(jié)果表明，基于FSR-Net網(wǎng)絡(luò)以及疲勞駕駛判斷指標(biāo)，針對(duì)復(fù)雜多變的實(shí)際駕駛環(huán)境也有著較高的疲勞檢出率.

4 結(jié) 束 語

針對(duì)在光照不好的條件下面部圖像對(duì)比度低、ISO噪聲高的問題，采用生成對(duì)抗網(wǎng)絡(luò)EnhenceGAN對(duì)圖像進(jìn)行弱光增強(qiáng)，從而獲取到較清晰的面部圖像.提出了一個(gè)改進(jìn)的正則化算法的多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)IMP-MTCNN，解決了面部檢測速度慢以及關(guān)鍵點(diǎn)定位不準(zhǔn)確的問題.提出一種基于VGG網(wǎng)絡(luò)改進(jìn)的多任務(wù)疲勞狀態(tài)識(shí)別網(wǎng)絡(luò)FSR-Net，同時(shí)對(duì)眼部和嘴部狀態(tài)進(jìn)行檢測，實(shí)現(xiàn)多任務(wù)分類，解決了單特征檢測率低以及多個(gè)神經(jīng)網(wǎng)絡(luò)檢測多個(gè)面部特征效率低的問題.提高了檢測的精確度，但是由于實(shí)際駕駛場景復(fù)雜多變，存在著駕駛員戴口罩及墨鏡等面部遮擋、IMP-MTCNN定位關(guān)鍵點(diǎn)耗時(shí)較長、公開的疲勞駕駛數(shù)據(jù)集樣本較少以及缺少頭部姿態(tài)和眼睛視線等更多的疲勞指標(biāo)等實(shí)際情況，以及對(duì)疲勞駕駛檢測算法的優(yōu)化，是后續(xù)研究的重點(diǎn).