朱真真，王 偉，段曉東，王存睿

(1.大連民族學(xué)院 大連市民族文化數(shù)字技術(shù)重點實驗室，遼寧 大連116605;2.北方民族大學(xué) 計算機科學(xué)與工程學(xué)院，寧夏 銀川750021)

眼部狀態(tài)檢測技術(shù)可應(yīng)用于人類面部表情分析、心理分析、人機交互等社會生活的各個方面。例如，通過檢測人眼開合程度、眨眼次數(shù)等眼部狀態(tài)信息，可以反映出駕駛員的疲勞狀況［1-6］，防止意外交通事故的發(fā)生。在活體檢測中，也可將檢測出的眼睛狀態(tài)變化情況作為判別依據(jù)。

眼睛狀態(tài)檢測方法主要可分為基于眼睛模板、外形和特征三種方法。基于模板的眼睛狀態(tài)檢測方法，采用動態(tài)或通用眼睛模板匹配搜索眼睛位置的感興趣區(qū)域(ROI)，進而對人眼狀態(tài)進行判別;基于外形的眼睛狀態(tài)檢測方法［7］利用眼睛的幾何形狀對眼睛狀態(tài)進行檢測;基于特征的眼睛狀態(tài)檢測方法［8-9］通過提取眼睛的圖像特征如眼睛顏色特征、眼瞼形狀、瞳孔密度、灰度分布特征、虹膜邊緣等特征作為識別依據(jù)，對眼部狀態(tài)進行檢測。劉志波等提出了用多種方法組合對眼睛狀態(tài)進行檢測［10］，李英［11］等人也提出將灰度模板方法、Fisher 方法、投影法、識別上眼瞼的方法以及Hough 變換［12-13］的方法相結(jié)合，用來檢測眼睛狀態(tài)。上述方法雖然提高了抗光照影響力和檢測的準確率，但由于計算的復(fù)雜度較高，很難達到實時性檢測的要求。

可見光采集眼部圖像時易受外界光線變化影響，因此圖片需要進行預(yù)處理。光照預(yù)處理算法雖然能在一定程度上消除光照的影響，但也會損失部分圖像信息。使用紅外攝像頭采集的人眼近紅外圖像受光照的影響較小，可使用微軟公司Kinect 傳感器的紅外攝像頭采集人臉區(qū)域中的眼部圖片。文章提出了一種基于Kinect 的人眼實時狀態(tài)檢測方法。利用Kinect 采集人臉紅外圖像，通過對眼部區(qū)域的定位，提取該區(qū)域的Haar - like特征作為特征向量，利用機器學(xué)習(xí)算法對手工標定的大量人眼狀態(tài)數(shù)據(jù)集進行學(xué)習(xí)，進而構(gòu)建人眼狀態(tài)的實時檢測系統(tǒng)。

1 人眼狀態(tài)數(shù)據(jù)集構(gòu)建

利用Kinect 設(shè)備采集了39 名測試者的375段彩色圖像流、紅外視頻流和人臉網(wǎng)格數(shù)據(jù)作為研究人眼狀態(tài)的數(shù)據(jù)集。為了加強對戴眼鏡眼睛狀態(tài)的識別，在數(shù)據(jù)集中采集了大量戴眼鏡樣本。數(shù)據(jù)樣本包含正常睜眼、閉眼、仰視、俯視、斜視、瞇眼等不同眼睛狀態(tài)。由于民族、性別和個體之間的差異使得眼部特征也存在差異性，所以實驗中還采集了不同民族、不同性別和不同眼部區(qū)域大小的樣本，用來完善數(shù)據(jù)集。通過對眼部區(qū)域進行人工標定構(gòu)建形成人眼狀態(tài)數(shù)據(jù)集，樣本采集中的部分圖片數(shù)據(jù)如圖1。

1.1 眼部區(qū)域定位技術(shù)

利用人臉網(wǎng)格對眼睛區(qū)域進行定位。Kinect可通過主動紅外對人臉進行快速檢測和特征點定位［14］如圖2，Kinect 通過追蹤技術(shù)自動檢測出人臉位置，采用區(qū)域生長法從具有彩色信息的深度圖像中自動分割出完整的人臉區(qū)域，然后利用移動最小二乘法對人臉圖像進行濾波，并采用最近點迭代算法對人臉進行特征點定位，獲得三維人臉網(wǎng)格確定眼睛位置，具體流程如圖2。

眼部區(qū)域定位是判斷眼睛狀態(tài)的關(guān)鍵。三維人臉網(wǎng)格特征點定位可以確定上下眼瞼和內(nèi)外眼角的位置信息，實驗中利用這4 個坐標位置確定眼部區(qū)域，并獲取紅外圖像、彩色圖像和深度圖像等區(qū)域的信息。實驗中區(qū)域選取的誤差將導(dǎo)致狀態(tài)識別出現(xiàn)誤差，由于人臉網(wǎng)格會隨人臉運動的變化而變化，所以頭部姿態(tài)變換也是影響人眼區(qū)域選取的一個重要因素。因此將人臉頭部姿態(tài)也作為人眼區(qū)域的特征向量，進而提高眼睛狀態(tài)識別的準確率。

圖1 部分人臉數(shù)據(jù)庫的樣本圖片

圖2 眼部區(qū)域定位流程圖

1.2 人眼狀態(tài)檢測算法

Haar-like 特征由于執(zhí)行效率高且模板豐富通常被用于人臉檢測等領(lǐng)域［15-16］。根據(jù)眼部結(jié)構(gòu)特征，利用圖3 的6 個Haar -like 矩形特征作為眼部區(qū)域的特征模板，通過構(gòu)建特征向量描述9 種眼部基本形態(tài)。其中，模板A、B 可描述眼球在左、右和上、下位置時的灰度值變化;C、E 可描述眼球在水平方向和垂直方向上灰度值的變化情況;D、F 可描述眼球左下、右上、左上、右下和正中時的眼睛狀態(tài)。

圖3 Haar-like 的六種矩形特征模板

利用Kinect 采集的眼部區(qū)域紅外視頻流和頭部姿態(tài)角度特征構(gòu)建了人眼狀態(tài)檢測數(shù)據(jù)集。訓(xùn)練集涵蓋9 種眼部狀態(tài)共3800 幀人眼狀態(tài)數(shù)據(jù)。實驗中，根據(jù)每個模板各自的特點依次計算出相應(yīng)模板的Haar-like 特征值，得出每個Haar -like 特征對人眼狀態(tài)的敏感程度。選取其中敏感程度較高的特征模板作為弱分類器，并將它們組合為強分類器，利用決策樹C5.0 對數(shù)據(jù)集進行機器學(xué)習(xí)。

2 實驗結(jié)果及分析

實驗的硬件環(huán)境為Intel(R)core(TM)i3 -3240 CPU@ 3. 40GHZ6G 內(nèi)存，軟件環(huán)境為windows7、vs2010。實驗時從人眼特征數(shù)據(jù)庫中選取3800 幀圖像數(shù)據(jù)作為實驗樣本，其中3400 幀作為訓(xùn)練集，400 幀作為測試集。首先利用單個Haar-like 特征模板分析Haar-like 特征的識別效果，然后將所有Haar-like 特征作為特征向量進行機器學(xué)習(xí)，最終得出眼睛狀態(tài)的識別結(jié)果。經(jīng)測試得，該算法可滿足實時檢測眼睛狀態(tài)的要求，判斷的準確率見表1。

表1 測試結(jié)果

使用單一模板C、E、F 時，系統(tǒng)識別的準確率已達到或接近90 %;使用模板A、B、D 雖然識別的準確率較低，但對于仰視、側(cè)視、瞇眼等狀態(tài)識別較好。使用多個Haar-like 模板作為人眼特征向量進行機器學(xué)習(xí)時預(yù)測的準確率達到97 %，高于其他任何單一模板的準確率，并且能夠?qū)崟r檢測人眼平視、側(cè)視、仰視、瞇眼等眼部狀態(tài)。

同時系統(tǒng)本身也存在著一定的局限性，如測試者大幅度歪頭、側(cè)臉、低頭時將導(dǎo)致眼睛區(qū)域定位錯誤，進而降低識別率。區(qū)域定位錯誤而導(dǎo)致誤判的典型情況如圖4。此外，當(dāng)測試者所戴鏡框的顏色較深時也會導(dǎo)致圈定的眼部范圍過大或過小，從而導(dǎo)致識別錯誤。經(jīng)測試得，系統(tǒng)以每秒30 幀的速度對人眼狀態(tài)進行檢測，其中單個狀態(tài)識別的平均速度為4 ms，滿足實時性檢測的要求。

圖4 特殊情況下的測試者眼睛定位樣本圖片

3 結(jié) 論

文章提出一種基于Kinect 的人眼狀態(tài)實時檢測的方法。實驗中通過Kinect 采集紅外圖像和人臉網(wǎng)格數(shù)據(jù)，利用人眼區(qū)域的Haar -like 特征和頭部姿態(tài)數(shù)據(jù)，構(gòu)建數(shù)據(jù)集并進行機器學(xué)習(xí)，通過分類器得出分類規(guī)則，研究了利用單一模板時，Haar-like 特征的識別效果和每個特征模板適于識別的狀態(tài)，最終將多個特征結(jié)合起來，使人眼狀態(tài)識別的準確率達到97 %。文章在最后論述了系統(tǒng)的使用條件和范圍，研究并列舉了出現(xiàn)錯誤識別的原因，最終構(gòu)建了一個基于Kinect 的人眼狀態(tài)實時檢測系統(tǒng)。

［1］成波，張廣淵，馮睿嘉，等. 基于眼睛狀態(tài)識別的駕駛員疲勞實時監(jiān)測［J］. 汽車工程，2008 (11):1001 -1005.

［2］余丹炯. 駕駛困倦預(yù)警系統(tǒng)中眼部狀態(tài)識別技術(shù)的研究［D］.南京:河海大學(xué)，2007.

［3］曹永. 駕駛員眼睛開閉狀態(tài)計算機圖像識別技術(shù)開發(fā)［D］.青島:青島大學(xué)，2011.

［4］吳文嫻. 基于被動視覺的機車駕駛疲勞實時檢測系統(tǒng)的研究［J］. 鐵路計算機應(yīng)用，2011(02):5 -9.

［5］TIAN Z C，QIN H B. Real -time driver eye status detection［C］∥Proceedings of International Conference on Vehicular Electronics and Safety. Xian China :IEEE Press，2005(10):285 -289.

［6］HONG T Y，QIN H B，SUN Q S. An improved real time eye status identification system in driver drowsiness detection［C］∥Proceedings of International Conference on Control and Automation. Guangzhou China:IEEE Press，2007(5):1449 -1453.

［7］張建明，汪大慶. 基于AdaBoost 算法的多姿態(tài)人臉實時視頻檢測［J］.計算機工程與設(shè)計，2010.

［8］曹倩霞，羅大庸，李順. 基于眼睛特征跟蹤的眼睛狀態(tài)跟蹤［J］. 計算機測量與控制，2007(12):1794 -1797.

［9］張文聰，鄧宏平，李斌，等. 基于徑向?qū)ΨQ變換的眼睛睜閉狀態(tài)檢測［J］. 中國科學(xué)技術(shù)大學(xué)學(xué)報，2010(05):460 -465.

［10］劉志波，周石琳，張官亮，等. 一種眼睛狀態(tài)檢測的組合方法［J］. 現(xiàn)代電子技術(shù)，2013(08):101 -108.

［11］李英，賴劍煌，阮邦志. 眼睛狀態(tài)檢測的組合方法［J］. 中國圖象圖形學(xué)報，2003(10):39 -44.

［12］曹菊英，趙躍龍. 基于水平投影和Hough 查找圓法的人眼狀態(tài)識別研究［J］. 科學(xué)技術(shù)與工程，2007(9):1969 -1971.

［13］向淑蘭，猶軼. 徑向?qū)ΨQ和圓形霍夫相結(jié)合的眼睛狀態(tài)識別［J］. 光電工程，2011(05):133 -138.

［14］孟春寧. 人眼檢測與跟蹤的方法及應(yīng)用研究［D］.天津:南開大學(xué)，2013.

［15］劉曉克，孫爓華，周永霞.基于新haar-like 特征的多角度人臉檢測［J］.計算機工程，2009，35(19):195 -197.

［16］陳勇飛，劉新明.基于膚色和類haar 特征的人臉圖像的人眼檢測［J］.計算機工程與應(yīng)用，2008，33:174 -176.