李　翊, 陳　星, 嚴(yán)　華

(1.北京大學(xué) 地球與空間科學(xué)學(xué)院，北京　100871； 2.四川省都江堰管理局，四川 都江堰　611830；3.四川大學(xué) 電子信息學(xué)院，成都　610065)

?

基于多疲勞信息融合的車載疲勞檢測系統(tǒng)的研究和實現(xiàn)

李翊1,2, 陳星3, 嚴(yán)華3

(1.北京大學(xué) 地球與空間科學(xué)學(xué)院，北京100871； 2.四川省都江堰管理局，四川 都江堰611830；3.四川大學(xué) 電子信息學(xué)院，成都610065)

疲勞駕駛是目前道路交通的一個重要安全隱患，對車載疲勞駕駛系統(tǒng)的研發(fā)具有重要的應(yīng)用價值和廣闊的市場前景；目前存在的疲勞監(jiān)測系統(tǒng)普遍存在成本高，可靠性不足，使用不夠便捷等缺陷；通過在安卓平臺上采用計算機視覺的途徑進行開發(fā)和實現(xiàn)，將大大降低系統(tǒng)的成本和使用復(fù)雜度；通過多種疲勞特征融合的方法對疲勞狀態(tài)進行綜合性判斷，可以有效地增加系統(tǒng)的準(zhǔn)確性和可靠性；采用優(yōu)化的二叉樹支持向量機多分類算法能夠使得特征融合的過程具有準(zhǔn)確性和速度上的優(yōu)勢；在對該疲勞檢測系統(tǒng)的相應(yīng)測試中也獲取了良好的實驗結(jié)果。

疲勞檢測;人臉識別;SVM多分類;安卓

0　引言

隨著機動車的越發(fā)普及，車輛駕駛也帶來了越來越多的安全隱患。現(xiàn)有的一些調(diào)查統(tǒng)計表明，疲勞駕駛往往是引發(fā)交通事故的主要誘因。設(shè)計和開發(fā)一款實時、可靠、使用便捷的疲勞駕駛監(jiān)測系統(tǒng)具有十分重要的應(yīng)用價值和廣闊的市場前景。

近年來隨著視頻捕捉技術(shù)和圖像處理技術(shù)的快速發(fā)展，基于計算機視覺的疲勞檢測獲得了越來越多的關(guān)注。其主要實現(xiàn)手段是通過撲捉人臉圖像上的疲勞特征并提取相應(yīng)參數(shù)作為疲勞狀態(tài)判斷的依據(jù)。PERCLOS[1-3]被認(rèn)為是目前最有說服力的人眼疲勞特征參數(shù)，其含義是單位時間內(nèi)眼睛閉合時間百分比。文獻[4-9]的疲勞檢測方案都主要是基于PERCLOS來實現(xiàn)的。

雖然基于PERCLOS的疲勞檢測方法得到了業(yè)界的認(rèn)可，但也存在不足，比如說遮擋物的干擾，人與人之間的個體差異也會給測量帶來困難。人在疲勞狀態(tài)下的行為表現(xiàn)是比較綜合而復(fù)雜的，很難通過直接檢測和建模進行評判。因此，考慮將多種疲勞特征進行結(jié)合，統(tǒng)一用于疲勞狀態(tài)的判斷成為疲勞檢測領(lǐng)域的一個新的方向[1]。

1　人臉疲勞特征的獲取

1.1人臉以及人眼的識別與跟蹤

人臉和人眼檢測是疲勞檢測過程中最先進行的一個基礎(chǔ)環(huán)節(jié)，是后文中疲勞特征提取的前提?？紤]到具體的應(yīng)用環(huán)境，不僅需要實現(xiàn)人臉(眼)檢測的基本功能，還需要進一步地提高檢測的速度以及準(zhǔn)確性。

基于統(tǒng)計模型的方法是目前比較流行的方法。優(yōu)點是不依賴與人臉的先驗知識和參數(shù)模型，可以避免知識的不完整或不精確造成的錯誤；該方法主要缺點是需要大量訓(xùn)練樣本做支撐，計算復(fù)雜度高。

采用目前較為熱門的Adaboost[5]方法，Haar-like特征和MB-LBP[10-11]特征都可作為人臉特征用于Adaboost訓(xùn)練。相比之下Haar-like特征的級聯(lián)分類器在復(fù)雜背景下變現(xiàn)更為穩(wěn)定，MB-LBP特征的特征維數(shù)更少，并且由于是整數(shù)特征，因此訓(xùn)練和檢測過程都相比Haar-like特征具有明顯的速度優(yōu)勢。

考慮到在車載環(huán)境下，由于攝像頭正對臉部，背景相對簡單，且移動安卓設(shè)備處理速度有限，因此選擇了基于MB-LBP的級聯(lián)分類器用于人臉識別檢測。為提高人眼檢測速度，首先采用基于人臉分布的先驗知識“三庭五眼”，減少人眼的搜尋區(qū)域，在粗定位結(jié)束之后，對上述方法所得到的搜尋區(qū)域用基于Haar-like特征的級聯(lián)分類器進行人眼精確檢索。

1.2人眼狀態(tài)的獲取

在眾多檢測眼瞼閉合程度的算法中，投影函數(shù)法[1-2]是最經(jīng)常使用的方法之一，由于其計算復(fù)雜度低，耗時小，可以滿足視頻實時處理的要求。

假設(shè)I(x,y)為(x,y)位置像素點的灰度值，則其在區(qū)間[x1,x2]和[y1,y2]內(nèi)的垂直積分投影V(x)和水平積分投影H(y)的計算方式如下所示[2]：

以水平積分投影為例，其處理結(jié)果如圖1所示。

圖1　水平積分投影示意圖

如圖1所示，通過投影區(qū)域的寬度即可表示人眼睜開程度。為消除人眼與攝像頭距離產(chǎn)生的干擾，本文并沒有采用單一的寬度而是采用人眼的高寬比，高寬比為上文所獲得的眼瞼高度h和分類器返回矩形的寬度w的比值。示意圖如圖2所示。

圖2　獲取人眼寬高示意圖

高寬比的獲得方式如下：

(2)

1.3面部疲勞特征參數(shù)提取

根據(jù)1.2小節(jié)中介紹的人眼狀態(tài)判定方法，可以在此基礎(chǔ)上提取兩個人眼相關(guān)的疲勞參數(shù)PERCLOS和BlinkFreq[1]。

PERCLOS(percent eyelid closure)指的是單位時間內(nèi)眼睛閉合程度超過一定閾值的時間占總時間的百分比，是被公認(rèn)的通過人眼來檢測人類疲勞和警覺性的最有效的方法之一。在PERCLOS的標(biāo)準(zhǔn)中P80標(biāo)準(zhǔn)被普遍認(rèn)為與駕駛疲勞的相關(guān)性最好。P80標(biāo)準(zhǔn)指的是以眼睛閉合80%以上程度的時間作為主要的疲勞估計參數(shù)。

BlinkFreq指的是單位時間的眨眼速率。研究表明，相對于清醒狀態(tài)人在疲勞狀態(tài)時的眨眼頻率會變慢。根據(jù)眨眼頻率的變化趨勢也能在一定程度上反應(yīng)人的疲勞狀況。BlinkFreq的獲取也是基于人眼的高寬比，當(dāng)高寬比低于一定閾值(本文取0.6)是則記為閉眼狀態(tài)，在出現(xiàn)一次或多次閉眼狀態(tài)之后高寬比重新高于閾值的則記為一次眨眼。

除了人眼相關(guān)的疲勞特征，本文用到疲勞特征還包括YawnFreq，NodFreq和TurnFreq[3]。

YawnFreq[12-13]表示的打哈欠的頻率，當(dāng)打哈欠的頻率過于頻繁，則可以判斷駕駛員處于疲勞狀態(tài)。對哈欠的檢測主要基于口型區(qū)域二值化之后黑色部分所占的比例。當(dāng)黑色區(qū)域連續(xù)出現(xiàn)大于一定閾值則可判定處于哈欠狀態(tài)。

頭部動作也是反映疲勞的重要參數(shù)，其中點頭頻率和轉(zhuǎn)頭頻率最具有代表性，當(dāng)人處于疲困狀態(tài)時總是會下意識地垂下頭又抬起。該動作的頻率一旦過高便可認(rèn)為是進入了疲勞狀態(tài)。該參數(shù)用NodFreq表示。當(dāng)駕駛員清醒駕車的時候會保持較強的警覺性，尤其是在超車和變道的時候，會比較頻繁的看左右后視鏡。當(dāng)進入疲勞狀態(tài)之后警覺性下降，左右轉(zhuǎn)頻率下降，該參數(shù)用TurnFreq表示。對這兩個參數(shù)的檢測可通過對人臉中心位置的坐標(biāo)偏移度來檢測。

2　基于優(yōu)化的支持向量機的疲勞判定

2.1基于支持向量機的疲勞信息融合策略

信息融合(information fusion)是邏輯系統(tǒng)將來自多個傳感器的信息進行綜合處理的過程，通過信息融合往往能得到更為準(zhǔn)確可靠的結(jié)論。目前常用的信息融合方法有投票表決法、神經(jīng)網(wǎng)絡(luò)算法、遺傳算法、支持向量機算法[14-16]等。

支持向量機(support vector machine, SVM)[16-17]是Cortes和Vapnik等人提出的一種基于統(tǒng)計學(xué)習(xí)理論的數(shù)據(jù)挖掘方法。它建立在統(tǒng)計學(xué)理論的VC維理論基礎(chǔ)上，遵循風(fēng)險結(jié)構(gòu)最小化原則，在解決非線性、小樣本和高維數(shù)等問題上具有很大的優(yōu)勢。

與其他決策算法相比，支持向量機算法支持小樣本非線性條件，能很好的防止欠學(xué)習(xí)和過學(xué)習(xí)現(xiàn)象，并且在多分類問題上也已經(jīng)有了較為成熟的算法體系?？紤]到這些特點，將支持向量機算法應(yīng)用與疲勞特征信息的融合是個不錯的選擇。因此，系統(tǒng)采用支持向量機分類判斷的方法將PERCLOS、BlickFreq、YawnFreq、NodFreq和TurnFreq這幾個特征參數(shù)進行有機融合，并與PERCLOS評判標(biāo)準(zhǔn)并行工作完成疲勞狀態(tài)的評判分級。

2.2基于二叉樹支持向量機的優(yōu)化

二叉樹算法是支持向量機多分類算法中分類效率最高的算法并且避免了一對多和一對一算法存在的不可分問題，此外在預(yù)測階段所需存儲的分類器個數(shù)要小于DAG，在存儲空間上更有優(yōu)勢。在各項硬件條件都相對緊張的嵌入式環(huán)境下，由于對內(nèi)存利用和處理時間都要求較高，因此二叉樹算法是我們的第一選擇。

然而二叉樹算法也存在缺陷，由于其分類的進行是一個層層細(xì)化的過程，若在某一層出現(xiàn)了誤差，則會影響到下一層的分類，即誤差累積的問題。越上層的樹節(jié)點其分類性能對整體的分類性能影響越大，因此需要將最易分割出來的類最早分割出來，這樣才能最大程度的降低誤差的傳遞[17]。從算法實現(xiàn)角度而言，就需要設(shè)計一種合理的類可分性測度，并以此為依據(jù)優(yōu)化算法的分類順序，否則其分類精度將落后于一對一、DAG等其他算法。

類間距離是聚類質(zhì)量分析的常用指標(biāo)，類相互間距離越大聚類質(zhì)量越高[18]。對于兩個不同類別樣本集合{ai,i=1,2,…ka}和{bj,j=1,2,…kb}，其類間距離的定義如下：

(3)

采用平均類間距離來衡量某一類別樣本Si與其他N-1類樣本集{Sj,j=1,2,3…,N-1}(i≠j)之間的類間距離，其定義為：

(4)

聚類密集性是聚類質(zhì)量分析的另一個常用指標(biāo)[19]?？捎脭?shù)據(jù)集的標(biāo)準(zhǔn)偏差來表示聚類密集性。對于集合{ai,i=1,2,...ka}，其類內(nèi)密集性定義如下：

(5)

通過權(quán)值將類間相聚性和類內(nèi)密集性結(jié)合起來定義可分性測度，具體定義為：

(6)

其中權(quán)值d的取值一般在[-1,0]之間。

根據(jù)式可以進行可分性的排序，并根據(jù)此順序構(gòu)建多個分類器的分類架構(gòu)。

2.3多信息融合疲勞判斷策略的實現(xiàn)

基于SVM的疲勞判斷的實現(xiàn)主要分為分類器訓(xùn)練和預(yù)測兩個階段。

1)分類器訓(xùn)練的主要流程：

采用偏二叉樹作為SVM多分類架構(gòu)，架構(gòu)中每個二分類器訓(xùn)練的主要實現(xiàn)過程如圖3所示。

圖3　SVM分類器訓(xùn)練流程

其主要步驟如下：

(1)數(shù)據(jù)預(yù)處理。為避免樣本中各特征屬性數(shù)量級差異的影響，在獲取訓(xùn)練樣本和標(biāo)簽之后首先對樣本的每一個維度進行歸一化預(yù)處理，調(diào)整到[0,1]或者[-1,1]。歸一化處理可以加快運算速度，并提高準(zhǔn)確率(需視具體情況而定)。

對樣本集合{ai,i=1,2,…ka}歸一化預(yù)處理的方法為：

(7)

其中：maxi是樣本的第i維特征屬性集合的最大值，mini則為最小值。

(2)自適應(yīng)生成分類順序。根據(jù)圖3提出的分類器訓(xùn)練流程，生成最優(yōu)分類順序；然后利用生成的最優(yōu)分類順序?qū)Ψ诸惼鬟M行初始化，接著進行訓(xùn)練標(biāo)簽再處理，從而確立二叉樹分類架構(gòu)。

(3)選取核函數(shù)并優(yōu)化訓(xùn)練參數(shù)。在單個分類器訓(xùn)練中，選取適用于低維小樣本情況的徑向基核函數(shù)(Radial Basis Function，RBF)作為訓(xùn)練核函數(shù)[20-21]，定義如下：

(8)

其中，參數(shù)γ影響樣本子空間分布的復(fù)雜程度。在修改分類器參數(shù)時，采用K折交叉驗證對單個分類器進行評估，并用網(wǎng)格搜索法來獲取最優(yōu)參數(shù)組合。

(4)訓(xùn)練完該二叉樹節(jié)點的分類器后，將分類器存儲。

2)分類器預(yù)測的主要流程:

架構(gòu)中每個SVM分類器對待分類樣本進行預(yù)測的主要實現(xiàn)過程如圖4所示，其中主要步驟為：

1)首先根據(jù)在訓(xùn)練過程中已經(jīng)確定的分類架構(gòu)獲取當(dāng)前節(jié)點所需要區(qū)分的類別，加載相應(yīng)的訓(xùn)練好的分類器文件，并初始化分類器。

2)加載當(dāng)前階段所獲取的疲勞特征數(shù)據(jù)，做歸一化處理之后作為待分類樣本。

3)用分類器對待測樣本進行分類預(yù)測，如預(yù)測結(jié)果剛好為本分類器需要檢測出的類別則直接輸出結(jié)果，否則將待測樣本交給二叉樹架構(gòu)的下一個節(jié)點分類器。

圖4　SVM分類器預(yù)測流程

2.4并行的疲勞信息綜合判斷

雖然已經(jīng)有了基于支持向量機的多信息融合判斷方法，然而基于PERCLOS標(biāo)準(zhǔn)的疲勞判定方法作為目前公認(rèn)的最有效的檢測標(biāo)準(zhǔn)，本文并沒有將其舍去，而是將兩種疲勞判斷方法并行使用。所采用判定機制可用圖5表示。

圖5　并行的疲勞信息融合策略

獲取的PERCLOS參數(shù)值不僅作為SVM的一部分樣本特征用于預(yù)測分類，而且也會根據(jù)PERCLOS標(biāo)準(zhǔn)進行疲勞檢測。兩種方法并行工作，當(dāng)有任一種檢測到疲勞結(jié)果都會進行疲勞預(yù)警。

3　基于安卓的工程實現(xiàn)

3.1系統(tǒng)結(jié)構(gòu)與UI設(shè)計

在具體工程實現(xiàn)的時候，主要利用OpenCV與NDK[22]調(diào)用安卓移動設(shè)備自帶的攝像頭進行二次開發(fā)，如圖6所示。

圖6　系統(tǒng)主要架構(gòu)

主要架構(gòu)依照系統(tǒng)功能，可以分為主控模塊、參數(shù)檢測模塊、判定模塊、交互模塊、配置模塊等。主控模塊負(fù)責(zé)系統(tǒng)的初始化和總體的功能調(diào)度，參數(shù)檢測模塊則負(fù)責(zé)從獲取的圖像幀中檢測各項疲勞參數(shù)。判定模塊的作用是根據(jù)所獲得的疲勞特征進行疲勞狀態(tài)的判定。交互模塊的作用是根據(jù)所得到的疲勞狀態(tài)進行警告或提醒。配置模塊用于對系統(tǒng)的主要參數(shù)進行配置，使系統(tǒng)能更符合用戶的使用習(xí)慣。各模塊相互協(xié)作共同完成系統(tǒng)功能。

最后實現(xiàn)的系統(tǒng)UI如圖7所示。

圖7　系統(tǒng)UI設(shè)計圖

3.2系統(tǒng)性能測試

測試設(shè)備：Lenovo A820，攝像頭像素500萬，Android版本：4.2.1，內(nèi)核版本：3.4.5，OpenCV Android sdk版本：2.4.9。

測試的第一項是分別在明亮靜態(tài)和昏暗晃動的兩種環(huán)境下對系統(tǒng)獲取疲勞特征EyeBlink、Yawn、TurnFace、Nod幾項參數(shù)的性能做了測試。

在該測試中，每組的實際模擬測試為30次。實驗結(jié)果如表1所示。

表1　疲勞特征檢測效果測試

從表中可得，在光線充足的條件下，各參數(shù)的檢測率和誤檢率基本還能達到要求，當(dāng)光線條件不良的時候，普遍都會受到影響，其中與人眼相關(guān)的參數(shù)受影響最明顯。

測試的第二項是對具體的疲勞等級進行分類，首先通過PVT評定，然后分別在兩種外部環(huán)境下對兩種疲勞檢測模式進行測定。正常狀態(tài)和輕度疲勞進行了30組測試，嚴(yán)重疲勞進行了20組測試，結(jié)果如下。

表2　系統(tǒng)檢測效果測試(檢測率)

從表中數(shù)據(jù)可以得知，基于PerclosP80標(biāo)準(zhǔn)的判斷模式對嚴(yán)重疲勞狀態(tài)和輕度疲勞狀態(tài)的區(qū)分并不理想，并且受光線和環(huán)境影響較大。基于SVM信息融合模式對疲勞程度的劃分更加準(zhǔn)確，并且受環(huán)境影響相對要小，檢測更穩(wěn)定。

[1] 李玲玲. 基于多視覺信息融合的駕駛員疲勞檢測方法研究與實現(xiàn)[D]. 北京：北京工業(yè)大學(xué), 2010.

[2] 趙李坤. 基于人臉特征識別的駕駛員疲勞檢測方法研究[D]. 長沙：中南大學(xué), 2013.

[3] 李志春. 駕駛員疲勞狀態(tài)檢測技術(shù)研究與工程實現(xiàn)[D]. 鎮(zhèn)江：江蘇大學(xué), 2009.

[4] Mao M, Du L. Research on drive fatigue detection using wavelet transform[J]. IEEE International Conference on Vehicular Electronics and Safety, 2007:1-4.

[5] 王奕直, 周凌霄, 孔萬增. 基于Adaboost的疲勞駕駛眨眼檢測[J]. 杭州電子科技大學(xué)學(xué)報， 2013(4): 35-38.

[6] 李強. 基于PERCLOS的列車司機駕駛疲勞檢測研究[D]. 北京：北京交通大學(xué), 2014.

[7] 文岐偉. 基于疲勞檢測和運動目標(biāo)檢測與識別的預(yù)警系統(tǒng)[D]. 廣州：華南理工大學(xué), 2013.

[8] 夏阿南. 基于人眼動態(tài)特性的駕駛疲勞檢測方法研究[D]. 大連：大連海事大學(xué), 2014.

[9] 姜兆普, 許勇, 趙檢群. 基于眼部特征的疲勞檢測算法[J]. 計算機系統(tǒng)應(yīng)用， 2014(8): 90-9.

[10] 文迪, 何智翔, 丁曉青, 等. 基于LBP和CCS-AdaBoost的多視角人臉檢測[J]. 浙江大學(xué)學(xué)報：工學(xué)版，2013(4): 622-629.

[11] 孫建維. 基于LBP的人臉識別[D]. 西安：西安電子科技大學(xué), 2013.

[12] 鄔敏杰, 穆平安, 張彩艷. 基于眼睛和嘴巴狀態(tài)的駕駛員疲勞檢測算法[J]. 計算機應(yīng)用與軟件， 2013(03): 25-27.

[13] Mandalapu Saradadevi P B. Driver Fatigue Detection Using Mouth and Yawning Analysis[J]. International Journal of Computer Science & Network Security, 2008, (6):183-188.

[14] 畢明偉. 疲勞駕駛檢測系統(tǒng)設(shè)計與開發(fā)[D]. 成都：電子科技大學(xué), 2013.

[15] 劉宏, 李錦濤, 苗軍. 多方法融合來解決人臉檢測中的光照補償[J]. 系統(tǒng)仿真學(xué)報， 2001(S2): 486-489.

[16] 胡國勝, 錢玲, 張國紅. 支持向量機的多分類算法[J]. 系統(tǒng)工程與電子技術(shù)， 2006(1): 127-132.

[17] 趙海洋, 徐敏強, 王金東. 改進二叉樹支持向量機及其故障診斷方法研究[J]. 振動工程學(xué)報, 2013, 26(5): 764-770.

[18] 楊燕, 靳蕃, Mohamed K. 聚類有效性評價綜述[J]. 計算機應(yīng)用研究, 2008, 25(6): 1630-163.

[19] 宋媛. 聚類分析中確定最佳聚類數(shù)的若干問題研究[D]. 延吉：延邊大學(xué),2013.

[20] 奉國和. SVM分類核函數(shù)及參數(shù)選擇比較[J]. 計算機工程與應(yīng)用, 2011, 47(3):123-128.

[21] Shalev-Shwartz S, Srebro N. SVM optimization: Inverse dependence on training set size[J]. International Conference on Machine Learning, 2008,11(2):112-117.

[22] 王贊超. 基于Android平臺的視覺手勢識別研究[D]. 西安：西安電子科技大學(xué), 2013.

Research and Implement of Driver Fatigue Detection Based on Multi-information Fusion

Li Yi1,2, Chen Xing3，Yan Hua3

(1.School of Earth and Space Sciences, Peking University, Beijing100871,China; 2.Dujiangyan Bureau of Sichuan Province, Dujiangyan611830,China; 3.School of Electronics and Information Engineering,Sichuan University, Chengdu610065,China)

Currently, the driver fatigue is the great concern of road transportation safety. The research for fatigue driving detection is extremely practical and has a promising market future. Most of the existing fatigue detection system have the defect of high cost, lacking of reliability and inconvenient. The computer vision on Android platform is used for implementation, which will greatly reduce the cost and complexity. The fatigue detection mechanism based on multi-information fusion is adopted, which enhances the accuracy and robustness of the system. The optimized BT-SVM is used which can provide the advantage on the speed and accuracy. Good experimental results are obtained on related tests of the system.

fatigue detection; face detection; SVM multi-classifier; android

2015-10-07；

2015-11-20。

李翊(1974-)，男，重慶人，北京大學(xué)博士后，高級工程師，碩士生導(dǎo)師，主要從事計算機應(yīng)用和水資源管理方面的研究。

1671-4598(2016)01-0016-04

10.16526/j.cnki.11-4762/tp.2016.01.005

TP391.41

A