丁衛(wèi)兵，秦會(huì)斌，董勝奎

（1.杭州電子科技大學(xué)電子信息學(xué)院，浙江杭州310018；2.南京電子技術(shù)研究所，江蘇南京210013）

一種嵌入式實(shí)時(shí)人眼定位系統(tǒng)實(shí)現(xiàn)

丁衛(wèi)兵1，秦會(huì)斌1，董勝奎2

（1.杭州電子科技大學(xué)電子信息學(xué)院，浙江杭州310018；
2.南京電子技術(shù)研究所，江蘇南京210013）

眼睛的位置在視頻圖像處理過程中是一個(gè)很重要的信息。針對(duì)視頻中實(shí)時(shí)人眼定位問題，提出了一種在嵌入式設(shè)備上實(shí)時(shí)運(yùn)行的人眼定位系統(tǒng)。人眼定位算法采用改進(jìn)了的平均合成的精確濾波算法（Average of Synthetic Exact Filters，ASEF），在構(gòu)建穩(wěn)定的平均濾波器的同時(shí)減少了訓(xùn)練圖像的數(shù)量，使得在保證準(zhǔn)確率的同時(shí)減少了訓(xùn)練時(shí)間。通過在ARM 11上移植OpenCV視覺庫和QT實(shí)現(xiàn)了該系統(tǒng)的算法設(shè)計(jì)和界面設(shè)計(jì)。在多個(gè)標(biāo)準(zhǔn)人臉圖像庫和通過攝像頭采集的視頻流上進(jìn)行的實(shí)驗(yàn)表明，該系統(tǒng)能夠準(zhǔn)確定位人眼，滿足實(shí)時(shí)性的要求。

嵌入式系統(tǒng)；人眼定位；平均合成精確濾波器；OpenCV

0 引言

隨著物聯(lián)網(wǎng)的發(fā)展，在終端設(shè)備上進(jìn)行視頻采集并分析引起了人們的廣泛關(guān)注，而對(duì)視頻中人眼的實(shí)時(shí)定位可以在多種應(yīng)用中使用，例如智能視頻監(jiān)控設(shè)備和家庭及公司門禁系統(tǒng)中的人臉識(shí)別、疲勞駕駛檢測(cè)系統(tǒng)中的人眼狀態(tài)檢測(cè)［1］、智能手機(jī)等都應(yīng)用到了人眼定位技術(shù)。

人眼特征比較明顯，本身具備對(duì)稱性，使人眼定位易于實(shí)現(xiàn)，目前使用比較多且成熟的人眼定位技術(shù)主要有：級(jí)聯(lián)Adaboost檢測(cè)算法［2］、AAM算法［3］和灰度積分投影算法［4］等。Adaboost算法特點(diǎn)是檢測(cè)效果好，運(yùn)算速度快，但是算法的輸出結(jié)果僅僅有檢測(cè)框的信息，在處理特征的精準(zhǔn)定位上性能不好，因此對(duì)眼睛的定位還要進(jìn)一步處理。AAM算法通過關(guān)鍵點(diǎn)的定位給出人臉各個(gè)器官的位置與形狀，但是計(jì)算復(fù)雜度較高，難以在嵌入式系統(tǒng)上實(shí)時(shí)實(shí)現(xiàn)。積分投影算法具有計(jì)算量小以及尺度不變性等優(yōu)點(diǎn)，但是一般依賴其他方法首先分割出眼睛區(qū)域，如果分割出的區(qū)域里包含眉毛或睫毛，眼睛定位結(jié)果會(huì)大受影響［4］。本文使用的相關(guān)濾波器能夠根據(jù)期望輸出來進(jìn)行定義和設(shè)計(jì)，具有良好的準(zhǔn)確率和實(shí)時(shí)性。在研究了相關(guān)濾波器的基礎(chǔ)上，重點(diǎn)研究并改進(jìn)了平均合成的精確濾波ASEF［5］的方法，并在嵌入式平臺(tái)上設(shè)計(jì)實(shí)現(xiàn)。嵌入式系統(tǒng)具有成本低、功耗小、可移植操作系統(tǒng)、網(wǎng)絡(luò)功能強(qiáng)大、擴(kuò)展性強(qiáng)的優(yōu)點(diǎn)。

1 人眼定位算法設(shè)計(jì)與實(shí)現(xiàn)

為了提高檢測(cè)的準(zhǔn)的率，分別對(duì)左眼和右眼進(jìn)行訓(xùn)練以得到相應(yīng)的濾波器。平均合成的精確濾波的原理如圖1所示，以左眼為例，首先要計(jì)算得到每幅訓(xùn)練圖像的精確濾波器。fi是訓(xùn)練集中的單幅人臉圖像，gi表示期望預(yù)輸出的圖像，其中的亮點(diǎn)位置的像素值大于其他所有位置的像素值，即表示人左眼的位置，hi是fi的精確濾波器。通過hi對(duì)fi的卷積濾波可以獲得期望輸出的圖像gi，檢查該圖像中像素最大值的坐標(biāo)就是人眼的坐標(biāo)。用一個(gè)中心點(diǎn)在（xi，yi），半徑為σ的二維高斯分布圖像來表示經(jīng)過濾波得到的人眼圖像gi，gi定義為：

圖1 ASEF濾波器構(gòu)建原理

根據(jù)卷積定理，兩個(gè)二維連續(xù)函數(shù)在空間域中的卷積等于其相應(yīng)的兩個(gè)傅里葉變換乘積的反變換而求得。因此期望輸出圖像又可表示為：

式中，F(xiàn)i、Hi分別是由fi、hi的二維傅里葉變換得到。在訓(xùn)練過程中，通過手工標(biāo)注訓(xùn)練圖像的人眼中心點(diǎn)（xi，yi），可以獲得期望輸出的圖像gi（x，y），對(duì)其進(jìn)行傅里葉變換得到Gi（w，v）。根據(jù)函數(shù)公式：

通過式（4）所求得的精確濾波器hi只能在檢測(cè)相對(duì)應(yīng)的訓(xùn)練圖像fi時(shí)能準(zhǔn)確檢測(cè)到人眼中心像素點(diǎn)（xi，yi），對(duì)于其他的訓(xùn)練圖像則檢測(cè)效果較低，不滿足魯棒性的要求。因此為了獲得適應(yīng)性強(qiáng)的通用人眼濾波器，需要對(duì)得到的N個(gè)hi濾波器求平均，以適應(yīng)對(duì)不同的檢測(cè)圖像都能有較高的檢測(cè)準(zhǔn)確率的要求。由于傅里葉變換屬于線性變換，求平均的過程可以在空間域進(jìn)行也可以在頻域進(jìn)行，本文在頻域取平均，即將式（4）求得的所有精確濾波器H*i進(jìn)行求平均：

通過上述過程可以看出，要得到穩(wěn)定性強(qiáng)的平均濾波器需要訓(xùn)練大量的圖像，使得訓(xùn)練時(shí)間較長，不適合在線訓(xùn)練。為了減少訓(xùn)練圖像的數(shù)量，首先對(duì)式（5）進(jìn)行了改進(jìn)，分子分母同乘以Fi的復(fù)共軛得到：

通過式（6）可以看出，分母變?yōu)橐粋€(gè)實(shí)數(shù)，當(dāng)分母接近0或訓(xùn)練的圖像數(shù)量較少時(shí)，所求得的平均濾波器檢測(cè)準(zhǔn)確率較低。根據(jù)現(xiàn)有相關(guān)濾波器OTF（Optimal Tradeoff Filters）［6］和UMACE（Unconstrained Minimum Average Coleration Energy）［7］的構(gòu)造原理，在分母上加上一個(gè)正則系數(shù)ε可以減少訓(xùn)練圖像的數(shù)量，并使平均濾波器更加穩(wěn)定。如式（7）所示：

圖2顯示了是否增加正則系數(shù)ε對(duì)訓(xùn)練圖像數(shù)量的影響。實(shí)驗(yàn)結(jié)果表明，增加正則系數(shù)后，在訓(xùn)練圖像較少時(shí)依然可以取得較高的檢測(cè)準(zhǔn)確率。

圖2ε對(duì)訓(xùn)練圖像數(shù)量的影響

在人眼定位過程中，將待檢測(cè)的人臉圖像和ASEF通過FFT變換后在頻域進(jìn)行互相關(guān)運(yùn)算，如式（3）在頻域的相關(guān)運(yùn)算變成了簡單的相乘計(jì)算。計(jì)算結(jié)果經(jīng)過IFFT變化后只需要在輸出圖像中尋找像素值最大的點(diǎn)的坐標(biāo)即可。計(jì)算過程主要為兩次FFT變換和一次頻域相關(guān)計(jì)算，非常簡單，可以快速定位出人眼坐標(biāo)。

2 嵌入式系統(tǒng)下實(shí)時(shí)人眼定位系統(tǒng)實(shí)現(xiàn)

2.1 系統(tǒng)設(shè)計(jì)簡介

系統(tǒng)采用嵌入式ARM11的微處理器S3C6410為主要硬件開發(fā)平臺(tái)，穩(wěn)定運(yùn)行在667 MHz主頻以上；以Linux操作系統(tǒng)為軟件開發(fā)平臺(tái)，通過攝像頭采集視頻數(shù)據(jù)，圖像大小為640像素×480像素，幀率為30 fps。通過ARM11的MPEG硬件編解碼獲取每幀圖像，每幀視頻圖像經(jīng)過預(yù)處理后，首先采用經(jīng)典的Adaboost算法進(jìn)行人臉檢測(cè)以縮小人眼定位的檢測(cè)范圍，提高時(shí)間性能。然后在檢測(cè)出的人臉區(qū)域中分別進(jìn)行左眼和右眼的定位檢測(cè)。本系統(tǒng)的設(shè)計(jì)流程如圖3所示。

圖3 系統(tǒng)設(shè)計(jì)流程圖

視頻圖像在采集過程中，受到環(huán)境噪聲的干擾和光照不均勻的影響，導(dǎo)致了視頻質(zhì)量的下降。為了提高人臉檢測(cè)的精度和速度，需要對(duì)原始圖像進(jìn)行預(yù)處理，采用了預(yù)處理方法有圖像灰度變換、縮小圖像尺寸、圖像平滑、直方圖均衡化等。Adaboost算法通過把大量分類能力一般的弱分類器通過一定的方法疊加起來，構(gòu)成一個(gè)分類能力很強(qiáng)的強(qiáng)分類器［8－10］，具有檢測(cè)準(zhǔn)確率高、實(shí)時(shí)性好的特點(diǎn)，非常適用于基于視頻的動(dòng)態(tài)人臉檢測(cè)。ASEF算法也是基于由一系列弱分類器構(gòu)建強(qiáng)分類器的思想產(chǎn)生的。

2.2 實(shí)驗(yàn)測(cè)試及結(jié)果分析

通過在ARM11上移植OpenCV開源視覺庫，利用其提供的基本圖像處理函數(shù)接口編程實(shí)現(xiàn)了改進(jìn)了的ASEF算法。移植QT庫編寫了簡潔的系統(tǒng)操作界面，實(shí)現(xiàn)了在線訓(xùn)練、在線單人和多人眼睛定位檢測(cè)、拍照等功能。

系統(tǒng)在輸入不同標(biāo)準(zhǔn)人臉庫，使用ASEF算法的檢測(cè)結(jié)果如圖4所示。FERET標(biāo)準(zhǔn)人臉庫由200個(gè)人，每人7幅圖像組成；ORL標(biāo)準(zhǔn)人臉庫由40個(gè)人，每個(gè)人10幅圖像組成；Yale標(biāo)準(zhǔn)人臉庫由15個(gè)人，每人11幅圖像組成。檢測(cè)結(jié)果表明該系統(tǒng)能適應(yīng)多種姿態(tài)、有無眼鏡、有無閉眼、多種膚色等條件。

圖4 不同人臉庫的測(cè)試結(jié)果

表1顯示了在不同的標(biāo)準(zhǔn)人臉庫中的檢測(cè)準(zhǔn)確率和每幅圖像的平均檢測(cè)時(shí)間。

表1 不同人臉庫的測(cè)試結(jié)果

由于檢測(cè)圖像都是靜態(tài)圖像，檢測(cè)準(zhǔn)確率相對(duì)較高，檢測(cè)準(zhǔn)確率達(dá)到了98％以上，表明該人眼定位系統(tǒng)具有良好的檢測(cè)率。實(shí)驗(yàn)中每幅圖像的檢測(cè)用時(shí)在16 ms左右，滿足實(shí)時(shí)性的要求。

圖5顯示了在ARM11上通過紅外攝像頭采集到的視頻中進(jìn)行人眼定位的部分檢測(cè)結(jié)果，圓圈的中心點(diǎn)即眼睛的坐標(biāo)。試驗(yàn)中請(qǐng)了47名同學(xué)在不同的環(huán)境條件下，通過對(duì)50 000視頻幀進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)在光照變化、多姿態(tài)、有無眼鏡等條件的變化下檢測(cè)準(zhǔn)確率仍然達(dá)到了97.5％，人眼檢測(cè)平均耗時(shí)19.4 ms，滿足實(shí)時(shí)性的要求。

圖5 視頻檢測(cè)結(jié)果

3 結(jié)束語

采用基于相關(guān)濾波器的原理重點(diǎn)研究和改進(jìn)了平均合成的精確濾波器的算法，并成功將其應(yīng)用到嵌入式平臺(tái)中，試驗(yàn)結(jié)果表明該系統(tǒng)具有較高的檢測(cè)準(zhǔn)確率和實(shí)時(shí)性，魯棒性強(qiáng)，達(dá)到了實(shí)驗(yàn)要求結(jié)果，并為以后功能的擴(kuò)展，例如人臉識(shí)別中的姿態(tài)校正、疲勞駕駛檢測(cè)中人眼狀態(tài)檢測(cè)等奠定了基礎(chǔ)。

但是ASEF算法還有待改進(jìn)的地方，文獻(xiàn)［11］和文獻(xiàn)［12］提出在人臉圖像在外觀、表情、姿態(tài)變化劇烈時(shí)，ASEF算法在性能上會(huì)有所下降，并各自提出了改進(jìn)的方法。下一步改進(jìn)的目標(biāo)就是在保證實(shí)時(shí)性的同時(shí)，結(jié)合其他方法以提高本文設(shè)計(jì)的系統(tǒng)在多種環(huán)境的適應(yīng)性。

［1］崔堅(jiān).基于眼部識(shí)別的駕駛員疲勞檢測(cè)方法［D］.大連：大連海事大學(xué)，2013：25－31.

［2］Viola P，Jones M J.Robust real－time face detec－tion［J］.International Journal of Computer Vision，2004，57（2）：137－154

［3］Cootes T F，Edwards G，Talylor C J.Active Appearance Models［C］∥Transactions on Pattern Analysisand Machine Intelligence.［S.l.］：IEEE Press，2001，23（6）：681－685.

［4］孟春寧，白晉軍，張?zhí)珜?，?基于梯度積分投影和最大期望算法的人眼定位［J］.光電子·激光，2012，10，23（10）：1971－1975.

［5］Bolme D S，Draper B A，Beveridge J R.Average of synthetic exact filters［C］∥Interna－tional Conference on Computer Vision and Pattern Recognition.［S.1］：IEEE Press，2009，2105－2112.

［6］Refregier P.Optimal Trade－off Filters for Noise Robustness，Sharpness of the Correlation Peak，and Horner Efficiency［J］.Optics Letters，1991，16（11）：829－832.

［7］Savvides M，Kumar B V K V.Efficient Design of Advanced Correlation Filters for Robust Distortion－tolerant Face Recognition［C］∥Conference on Advanced Video and Signal Based Surveillance.［S.l.］：IEEE Press，2003，45－52.

［8］張旭，李亞利，丁曉青，等.嵌入式駕駛員狀態(tài)檢測(cè)算法的實(shí)現(xiàn)與優(yōu)化［J］.自動(dòng)化學(xué)報(bào)，2012，38（12）：2014－2022.

［9］程如中，趙勇，戴勇，等.基于Adaboost方法的車載嵌入式疲勞駕駛預(yù)警系統(tǒng)［J］.北京大學(xué)學(xué)報(bào)，2012，9，48（5）：719－726.

［10］武楠.基于GLCM、CGA和Adaboost的人臉表情識(shí)別方法研究［J］.無線電工程，2011，41，（6）：50－53，61.

［11］葛仕明，楊睿，文輝，等.基于相關(guān)濾波器組的人眼定位方法［J］.網(wǎng)絡(luò)新媒體技術(shù)，2014，1，3（1）：8－12.

［12］EstebanV F，Daniel G J.Improved Average of Synthetic Exact Filters for Precise Eye Localiza－tion Under Realistic Conditions［J］.IET Biome－trics，2013，7，5（7）：10－20.

Implementation of an Embedded Real Time Eye Location System

DINGWei－bing1，QIN Hui－bin1，DONG Sheng－kui2
（1.School of Electronics＆Information，Hangzhou Dianzi University，Hangzhou Zhejiang 310018，China；
2.Nanjing Research Institute of Electronics Technology，Nanjing Jiangsu 210013，China）

A real－time eye location system on embedded devices is designed and implemented.The algorithm of eye location uses the improved Average of Synthetic Exact Filters（ASEF）.The algorithm can build stable average filters and reduce the number of training images，guaranteeing the accuracy and reducing the training time at the same time.By transplanting OpenCV vision library and QT，the designed algorithm and the interface of the system are implemented on ARM11.The system is tested usingmultiple standard face image databases and the video stream collected by camera.The results show that this system can accurately locate eyes and satisfy the requirement of real－time.

embedded system；eye location；ASEF；OpenCV

TP391

A

1003－3114（2015）04－100－4

10.3969/j.issn.1003－3114.2015.04.26

丁衛(wèi)兵，秦會(huì)斌，董勝奎.一種嵌入式實(shí)時(shí)人眼定位系統(tǒng)實(shí)現(xiàn)［J］.無線電通信技術(shù)，2015，41（4）：100－103.

2015－03－05

丁衛(wèi)兵（1988—），男，碩士研究生，主要研究方向：嵌入式系統(tǒng)與應(yīng)用、數(shù)字圖像處理。秦會(huì)斌（1961—），男，博士，教授，主要研究方向：新型電子器件研發(fā)與應(yīng)用。