千承輝，袁錦烽，陳冠宇，孫澎勇

(吉林大學(xué) 儀器科學(xué)與電氣工程學(xué)院， 長(zhǎng)春 130061)

運(yùn)動(dòng)物體的頭戴式視線追蹤控制系統(tǒng)設(shè)計(jì)*

千承輝，袁錦烽，陳冠宇，孫澎勇

(吉林大學(xué) 儀器科學(xué)與電氣工程學(xué)院， 長(zhǎng)春 130061)

設(shè)計(jì)了一種基于嵌入式的頭戴式視線追蹤控制系統(tǒng)。它將實(shí)際運(yùn)動(dòng)物體作為控制對(duì)象，以人眼為控制源，采用圖像處理算法和坐標(biāo)映射模型，實(shí)現(xiàn)視線追蹤技術(shù)。通過質(zhì)心檢測(cè)和橢圓擬合算法的比較與優(yōu)化，系統(tǒng)定位瞳孔中心的角度誤差精確到1.4°以內(nèi)，再利用最小二乘法進(jìn)行視線空間坐標(biāo)變換，最終控制運(yùn)動(dòng)對(duì)象移動(dòng)到注視點(diǎn)。實(shí)驗(yàn)結(jié)果表明，人眼距離被控對(duì)象2 m內(nèi)時(shí)，被控對(duì)象的定點(diǎn)誤差在5 cm內(nèi)，系統(tǒng)響應(yīng)時(shí)間在0.3 s內(nèi)，滿足用戶日常操作要求。

視線追蹤；瞳孔定位；最小二乘法；空間坐標(biāo)變換；嵌入式系統(tǒng)

引 言

隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，利用視線追蹤技術(shù)通過人眼來傳遞信息的方法在國內(nèi)外成為熱門研究方向。視線追蹤是利用機(jī)械、電子、光學(xué)等各種檢測(cè)手段獲取用戶當(dāng)前“注視方向”的技術(shù)[1-2]。在國外，EyeTrackShop公司致力于視線追蹤技術(shù)的開發(fā)，Google公司利用視線追蹤技術(shù)，保證用戶能看到他們線上投放的廣告。在飛思卡爾技術(shù)論壇上，其公司向人們展示了視線追蹤“看哪指哪”的先進(jìn)技術(shù)[3]。國內(nèi)北京津發(fā)科技股份有限公司作為Tobii官方授權(quán)代理商，推出一系列眼動(dòng)儀?，F(xiàn)階段的產(chǎn)品始終處于高科技產(chǎn)品的前沿，未能普及到人們的日常生活。一方面，由于其視線信息的處理依賴于計(jì)算機(jī)，尚未完全獨(dú)立化，限制了用戶的移動(dòng)空間；另一方面，產(chǎn)品功能始終限定于人與計(jì)算機(jī)的交互，如光標(biāo)移動(dòng)[4]、閱讀翻頁、打字、游戲等，生活中大多數(shù)的實(shí)物控制能力卻鮮有被挖掘。

本文主要研究擺脫計(jì)算機(jī)處理的視線追蹤技術(shù)，利用嵌入式處理器和紅外攝像頭設(shè)計(jì)一款頭戴式視線追蹤控制系統(tǒng)。為了驗(yàn)證該系統(tǒng)控制智能車或家庭機(jī)器人運(yùn)動(dòng)的可行性，搭建50 cm×50 cm的方形運(yùn)動(dòng)平臺(tái)為操作目標(biāo)，模擬實(shí)現(xiàn)了這項(xiàng)功能，成功使視線追蹤系統(tǒng)獨(dú)立化，擴(kuò)大實(shí)體應(yīng)用范圍，并提高了性價(jià)比。

1 系統(tǒng)硬件設(shè)計(jì)

1.1 頭戴式視線追蹤裝置設(shè)計(jì)

裝置硬件電路主要包括飛思卡爾K60最小系統(tǒng)、Mt9v032攝像頭、TFT顯示屏、藍(lán)牙、鍵盤和紅外補(bǔ)光電路。Mt9v032數(shù)字圖像傳感器具有全局快門、高動(dòng)態(tài)性能和自動(dòng)曝光等優(yōu)點(diǎn)，適合應(yīng)用于車載、頭戴等系統(tǒng)位置動(dòng)蕩大的場(chǎng)合，并有效抓拍高速運(yùn)動(dòng)的物體，解決普通攝像頭拍攝圖像模糊、不利于圖像處理的問題。選用的是Kinetis K60(以下簡(jiǎn)稱K60)系列MCU,工作電壓最低達(dá)1.71 V,采用ARM Cortex-M4內(nèi)核,性能可達(dá)到1.25 Dhrystone MIPS/MHz，最高達(dá)180 MHz的工作頻率，低功耗特征適合代替計(jì)算機(jī)進(jìn)行便攜式系統(tǒng)上的圖像處理。

通過設(shè)計(jì)的頭戴系統(tǒng)結(jié)構(gòu)將攝像頭置于左眼前方，在攝像頭外圍安裝紅外發(fā)光管對(duì)人眼進(jìn)行補(bǔ)光。工作時(shí)，K60通過8位數(shù)據(jù)總線、采用DMA方式將攝像頭采集的人眼灰度數(shù)據(jù)快速存儲(chǔ)到RAM中，每一次場(chǎng)中斷信號(hào)給出，K60便對(duì)RAM中的圖像數(shù)組進(jìn)行處理。鍵盤電路選擇進(jìn)入初始化狀態(tài)或工作狀態(tài)。HC-05藍(lán)牙與MCU進(jìn)行串口通信，實(shí)現(xiàn)與被控對(duì)象的無線通信。顯示屏用于顯示瞳孔定位圖像，便于用戶自己校正。系統(tǒng)硬件電路框圖如圖1所示。

圖1 頭戴式視線追蹤設(shè)備硬件系統(tǒng)框圖

1.2 被控運(yùn)動(dòng)平臺(tái)設(shè)計(jì)

運(yùn)動(dòng)平臺(tái)是為衡量頭戴式視線追蹤系統(tǒng)對(duì)實(shí)物精準(zhǔn)控制的可行性而輔助設(shè)計(jì)的，其最重要的是和視線追蹤系統(tǒng)達(dá)成運(yùn)動(dòng)協(xié)議，接收指令并能按要求運(yùn)動(dòng)。該平臺(tái)設(shè)計(jì)主要包括：STM32控制器、藍(lán)牙、L298N電機(jī)驅(qū)動(dòng)電路、紅外對(duì)管檢測(cè)電路,選用直流減速編碼電機(jī)可實(shí)現(xiàn)導(dǎo)軌滑塊的精確移動(dòng)。平臺(tái)上的每一小格為1 cm，x軸和y軸交叉點(diǎn)為視線注視點(diǎn)。硬件實(shí)物與實(shí)際操作示意圖如圖2所示。

圖2 視線追蹤系統(tǒng)操作過程圖

2 視線追蹤算法設(shè)計(jì)

2.1 人眼瞳孔精確定位

2.1.1 人眼圖像預(yù)處理

為了提高算法效率，使系統(tǒng)具有快速響應(yīng)能力，選取窄視野紅外攝像頭距離人眼3 cm處，只采集眼部圖像灰度信息，灰度值為0～255。采用8個(gè)紅外二極管圍繞攝像頭進(jìn)行光線補(bǔ)償，易于分割瞳孔和眼角，并用中值濾波的方法對(duì)圖像進(jìn)行去噪。

2.1.2 自適應(yīng)閾值進(jìn)行圖像二值化

最大類間方差法是自適應(yīng)的閾值確定方法[5]，在處于不同光線環(huán)境中能較明顯地分割圖像。為了避免嵌入式處理器算法效率低的缺點(diǎn)，只獲取圖像中存在的像素灰度值，逐次遍歷該部分值，可以使遍歷次數(shù)銳減，是一種改進(jìn)型最大類間方差法[6]。為進(jìn)一步提高效率，將圖像進(jìn)行線性灰度變換，擴(kuò)大灰度值之差后再通過改進(jìn)型最大類間方差法確定閾值。設(shè)圖像中像素點(diǎn)所在行為i，所在列為j，某一個(gè)像素點(diǎn)值為image[i][j]，線性灰度變換后的像素點(diǎn)為image1[i][j]，增強(qiáng)倍數(shù)為A，則有：

(1)

經(jīng)驗(yàn)證A=3～5較合適，該方法既能去除大部分灰度值較大的點(diǎn)，又能進(jìn)一步減少最大類間方差法遍歷次數(shù)，根據(jù)增強(qiáng)倍數(shù)A的不同，算法效率會(huì)提高3～5倍。

2.1.3 去除二值化圖像中小面積區(qū)域

由于睫毛、眼角灰度值接近瞳孔，二值化圖像中仍存在少量雜散區(qū)域，且在系統(tǒng)動(dòng)態(tài)測(cè)試中這種雜散區(qū)域不可能僅靠二值化消除。對(duì)比發(fā)現(xiàn)完整的瞳孔是圖像中面積最大的部分，計(jì)算機(jī)MATLAB軟件或OpenCV中自帶保留圖像最大面積的庫函數(shù)，容易解決這個(gè)問題。而嵌入式處理器的裸機(jī)程序一般不具備這種功能，為此本文研究并設(shè)計(jì)一種嵌入式圖像處理的通用算法，去除瞳孔周圍面積小的黑色區(qū)域，保留最大的瞳孔區(qū)域。思路如下：

① 對(duì)圖像中獨(dú)立的白點(diǎn)進(jìn)行區(qū)域填充，若中心像素為255，且其鄰域的8個(gè)點(diǎn)像素為0的個(gè)數(shù)大于4，則改變中心像素為0，否則為255。

② 逐行進(jìn)行圖像掃描，將每一行中每段像素值為0且相鄰的點(diǎn)信息計(jì)入數(shù)組a[i,cols,cole],其中i為所在行數(shù)，cols為該段像素起始列，cole為該段像素結(jié)束列。

③ 利用a[i,cols,cole]數(shù)組，判段二值化圖像中相鄰兩行像素段是否連接。設(shè)第一行像素段信息為a[i,cols1,cole1]，第二行像素段信息為a[i+1,cols2,cole2]，若cols1

④ 利用a[i,cols,cole,n]數(shù)組，判斷同一行分開的兩段像素是否為一類。若該兩段像素由下面某一行像素段傳遞連接，則該兩段像素為同一類像素。

⑤ 經(jīng)過上述步驟處理后，圖像中每一塊黑色區(qū)域分為不同的類，計(jì)算每一類像素點(diǎn)的個(gè)數(shù)，保留最大類所對(duì)應(yīng)的區(qū)域，改變其余像素點(diǎn)為白色。

該算法具有通用性，可移植到其他32位嵌入式處理器中。通過改進(jìn)的最大類間方差法得到的效果圖如圖3所示，其中圖3(d)圖中的黑色區(qū)域表示提取出的瞳孔。結(jié)果表明去除小面積算法具有很好的效果。

圖3 改進(jìn)型最大類間方差法效果圖

2.1.4 定位瞳孔中心

通過去除小面積算法處理后，圖像中只剩下瞳孔區(qū)域，近似為橢圓，確定該區(qū)域中心目前較精確的算法是Hough變換[7-9]和橢圓擬合算法[10]，但數(shù)據(jù)處理量較大，考慮到嵌入式處理器的速度和算法效率，在處理得到的橢圓圖像較完整的情況下，采用質(zhì)心檢測(cè)算法確定橢圓幾何中心，在時(shí)間上有極大的優(yōu)越性。設(shè)瞳孔中心為(x, y)，瞳孔中像素點(diǎn)的橫坐標(biāo)為xi，縱坐標(biāo)為yj，瞳孔像素點(diǎn)個(gè)數(shù)為N,則有：

(2)

確定瞳孔中心后的瞳孔定位圖像效果如圖4所示,圖中十字叉中心即為瞳孔中心。

圖4 最終瞳孔定位圖像

2.2 視線坐標(biāo)與運(yùn)動(dòng)平臺(tái)空間坐標(biāo)映射

視線坐標(biāo)映射到平臺(tái)所在空間的方法有橢圓法、線方向法[11]、瞳孔-角膜反射法[11-12]和二維空間坐標(biāo)擬合[13-14]等方法。橢圓法線方向法需要高分辨率眼睛圖像，加大數(shù)據(jù)量;對(duì)比瞳孔-角膜反射法和二維空間坐標(biāo)擬合,選擇數(shù)據(jù)處理量少、算法效率較高的二維空間坐標(biāo)擬合方法。

視線注視點(diǎn)的二維坐標(biāo)(X , Y)與系統(tǒng)測(cè)定瞳孔中心坐標(biāo)(x , y)存在有規(guī)律的映射關(guān)系，眼睛是一個(gè)球面，而平臺(tái)是平面，并且地面上的平臺(tái)與眼睛呈復(fù)雜的空間位置關(guān)系。通過觀察視線在平臺(tái)上的橫向移動(dòng)發(fā)現(xiàn)，瞳孔不僅發(fā)生橫向移動(dòng)，也發(fā)生了縱向移動(dòng)。采集50對(duì)坐標(biāo)(Xn, Yn)和(xn, yn)，通過等精度線性參數(shù)最小二乘算法處理后，發(fā)現(xiàn)視線坐標(biāo)與平臺(tái)空間坐標(biāo)存在如下映射關(guān)系：

(3)

采取的方案是每次用戶使用之前，系統(tǒng)初始化確定式(3)的各項(xiàng)系數(shù)。初始化選取被控服務(wù)平臺(tái)的特征點(diǎn)為圖5中的9個(gè)標(biāo)黑點(diǎn)，并建立誤差方程：

圖5 運(yùn)動(dòng)平臺(tái)初始定位點(diǎn)平面圖

(4)

最小二乘條件如下：

(5)

通過求解對(duì)應(yīng)的正規(guī)方程可求得式(3)各項(xiàng)系數(shù)的最佳估計(jì)值，并以此建立實(shí)現(xiàn)坐標(biāo)空間映射模型。

3 系統(tǒng)軟件設(shè)計(jì)

用戶戴上視線追蹤系統(tǒng)后，選擇初始化模式，分別觀察視場(chǎng)中的9個(gè)指定點(diǎn)，通過K60控制器對(duì)人眼區(qū)域圖像數(shù)據(jù)進(jìn)行處理，記錄瞳孔坐標(biāo)并進(jìn)行參數(shù)解算，初始化完畢。選擇工作模式，系統(tǒng)即根據(jù)視線注視方向?qū)Ρ豢貙?duì)象發(fā)送控制命令，并將處理后的標(biāo)記圖像以顯示屏顯示，方便用戶自己校準(zhǔn)。系統(tǒng)軟件流程圖如圖6所示，其中圖6(a)為系統(tǒng)總體流程設(shè)計(jì)，圖6(b)為初始化過程的子流程設(shè)計(jì)。

圖6 系統(tǒng)軟件流程圖

運(yùn)動(dòng)平臺(tái)操作過程為：藍(lán)牙實(shí)時(shí)接收數(shù)據(jù)，STM32控制器對(duì)數(shù)據(jù)進(jìn)行解碼，得到視線注視點(diǎn)在運(yùn)動(dòng)平臺(tái)上的坐標(biāo)，從而驅(qū)動(dòng)電機(jī)使絲杠導(dǎo)軌上的滑塊移動(dòng)到標(biāo)定點(diǎn)，并利用編碼器進(jìn)行閉環(huán)控制，達(dá)到精確控制的目的。

4 測(cè)試與分析

系統(tǒng)采用的飛思卡爾K60控制器,頻率為100 MHz,攝像頭采集圖像像素為120×188，被控對(duì)象運(yùn)動(dòng)平臺(tái)尺寸為50 cm×50 cm。測(cè)試主要從平臺(tái)運(yùn)動(dòng)準(zhǔn)確性和系統(tǒng)響應(yīng)時(shí)間進(jìn)行衡量。系統(tǒng)響應(yīng)時(shí)間是指用戶視線改變時(shí)到平臺(tái)開始運(yùn)動(dòng)所需要的時(shí)間，由MDK軟件在線仿真計(jì)時(shí),由此可測(cè)試出算法速度。

測(cè)試時(shí)，同一用戶眼睛距離平臺(tái)D為2 m，隨機(jī)注視平臺(tái)任一點(diǎn)。圖7中圓點(diǎn)為指定注視點(diǎn)，十字叉為平臺(tái)運(yùn)動(dòng)點(diǎn)，對(duì)視線追蹤系統(tǒng)指標(biāo)有一個(gè)直觀了解，再從表1中可看出定點(diǎn)誤差半徑Δr均在5 cm內(nèi)，對(duì)應(yīng)的瞳孔定位角度誤差為θ，由數(shù)學(xué)近似計(jì)算可得:

(6)

解得θ=1.4°。

圖7 視線追蹤控制結(jié)果

測(cè)試次數(shù)123456誤差半徑/cm3．642．824．583．792．214．06響應(yīng)時(shí)間/s0．2630．2470．2560．2880．2750．251測(cè)試次數(shù)789101112誤差半徑/cm4．023．354．432．983．264．67響應(yīng)時(shí)間/s0．2890．2680．2740．2720．2640．290測(cè)試次數(shù)131415161718誤差半徑/cm2．121．383．452．564．723．16響應(yīng)時(shí)間/s2．142．512．662．432．782．88

將測(cè)試100次的誤差數(shù)據(jù)繪制成圖8。計(jì)算出誤差半徑平均值為3.3 cm，方差為0.61，可直觀看出誤差誤差最大不超過4.8 cm，最小為1.1 cm。

圖8 多次同一距離測(cè)試結(jié)果

當(dāng)用戶每增加10 cm距離注視平臺(tái)上5個(gè)不同點(diǎn)時(shí)，得到誤差與距離的曲線圖如圖9所示。其中黑點(diǎn)是固定距離每個(gè)點(diǎn)的誤差值，黑色曲線是誤差平均值?？煽闯龆ㄎ话霃秸`差與距離成線性關(guān)系，原理由式(6)給出。

圖9 視線追蹤控制結(jié)果

經(jīng)過分析，出現(xiàn)誤差的主要原因是攝像頭與眼睛有相對(duì)位移，因?yàn)椴僮髡哂休p微的頭部運(yùn)動(dòng)，像素分辨率不夠高。另外，運(yùn)動(dòng)平臺(tái)閉環(huán)控制本身具有的誤差和連續(xù)運(yùn)行情況下的多次累積誤差也會(huì)影響每一次定點(diǎn)效果。

結(jié) 語

[1] 張闖，遲健男, 張朝暉,等.視線追蹤系統(tǒng)中視線估計(jì)方法研究[J].中國科學(xué)，2011，41(5):580-591.

[2] Tamara van Gog. Eye tracking as a tool to study and enhance multimedia learning[J].Learning and Instruction,2010,20(2):95-99.

[3] 李星宇.飛思卡爾i.MX6應(yīng)用處理器助力機(jī)器視覺應(yīng)用[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2015(2)：82-83.

[4] 朱麒文，閆隆鑫, 張若蘭，等.基于視線追蹤的眼孔鼠標(biāo)設(shè)計(jì)[J].電子器件，2016，39(2):235-240.

[5] 王璇,張帆,程京. 基于改進(jìn)最大類間方差法的灰度圖像分割[J].微計(jì)算機(jī)信息，2010，26(12):206-207.

[6] 黃麗麗 ， 楊帆 ， 王東強(qiáng), 等.基于改進(jìn)型最大類間方差法的瞳孔定位方法[J].計(jì)算機(jī)工程與應(yīng)用，2013，49(23):137-140.

[7] 張林，王保強(qiáng).一種改進(jìn)的基于Hough變換的虹膜定位算法[J].電子技術(shù)應(yīng)用，2014，40(4):66-69.

[8] 陳立，萬鵬，何濤,等.基于Hough變換的亞像素橢圓檢測(cè)[J].湖北工業(yè)大學(xué)學(xué)報(bào)，2005(5):132-134.

[9] 楊蘇.基于局部分析的Hough變換形狀檢測(cè)關(guān)鍵技術(shù)研究[D].秦皇島：燕山大學(xué)，2009.

[10] 陳健，鄭紹華, 潘林，等. 結(jié)合橢圓擬合與參數(shù)傳遞的瞳孔檢測(cè)方法[J].儀器儀表學(xué)報(bào)，2014,35(8): 1890-1899.

[11] 張闖，遲健男, 張朝暉 .一種新的基于瞳孔-角膜反射技術(shù)的視線追蹤方法[J].計(jì)算機(jī)學(xué)報(bào)，2010，33(7):1272-1285.

[12] 曹曄.穿戴式視線追蹤系統(tǒng)研究[J].計(jì)算機(jī)與數(shù)字工程，2016，44(6):1085-1088.

[13] Shin Y G, Choi K A, Kim S T, et al. A novel 2D mapping-based remote eye gaze tracking method using two IR light sources[C]//Proc of IEEE International Conference on Consumer Electronics，las，vegas：2015: 190-191.

[14] Hansen D W, Ji Q. In the eye of the beholder: A survey of models for eyes and gaze[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2010, 32(3): 478-500.

千承輝(高級(jí)工程師)，主要研究方向?yàn)閭鞲衅髋c智能儀器。

Head Mounted Eye Tracking Control System of Moving Object

Qian Chenghui,Yuan Jinfeng,Chen Guanyu,Sun Pengyong

(College of Instrumentation and Electrical Engineering,Jilin University,Changchun 130061,China)

In the paper,a head mounted eye tracking control system based on embedded system is designed.It takes actual moving object as the control object and human eye as the control source,then it uses image processing algorithm and coordinate mapping model to realize the eye tracking technology.Through the optimization and synthesis of centroid detection and ellipse fitting algorithm,the accuracy of locating the pupil center of the system is less than 1.4°.By using the least square method to coordinate the line of sight space,this system can finally control the moving parts to the specified points.The experiment results show that the fixed point error of the controlled object is less than 5 cm when the human eye is within 2 m of the controlled object,the system response time is less than 0.3 s,the system can fully meet the user's daily operational requirements.

eye tracking;pupil location;least square method;space coordinate transformation;embedded system

國家級(jí)大學(xué)生創(chuàng)新實(shí)驗(yàn)計(jì)劃基金項(xiàng)目(2016A65278)。

TP368

A

?迪娜

2017-05-03)