金　純　李婭萍

(重慶郵電大學(xué)通信與信息工程學(xué)院無(wú)線傳輸重點(diǎn)實(shí)驗(yàn)室1,重慶　400065；重慶金甌科技發(fā)展有限責(zé)任公司2，重慶　400041)

視線追蹤系統(tǒng)中注視點(diǎn)估計(jì)方法研究

金純1,2李婭萍1

(重慶郵電大學(xué)通信與信息工程學(xué)院無(wú)線傳輸重點(diǎn)實(shí)驗(yàn)室1,重慶400065；重慶金甌科技發(fā)展有限責(zé)任公司2，重慶400041)

摘要：在回顧視線追蹤技術(shù)發(fā)展歷程的基礎(chǔ)上，對(duì)該技術(shù)的研究方向和幾種主要的視線跟蹤方法進(jìn)行了簡(jiǎn)單闡述。重點(diǎn)介紹了基于瞳孔-角膜反射法的視線追蹤技術(shù)的原理及其硬件組成，尤其對(duì)現(xiàn)有視線跟蹤系統(tǒng)中比較成熟的注視點(diǎn)估計(jì)算法進(jìn)行了歸納總結(jié)和原理剖析。對(duì)二維和三維的注視點(diǎn)估計(jì)算法的精度和用戶自由度進(jìn)行了進(jìn)一步的橫向比較。最后指出了視線追蹤技術(shù)存在的缺陷，并對(duì)其在人機(jī)交互、智能機(jī)器、虛擬現(xiàn)實(shí)等領(lǐng)域的應(yīng)用前景進(jìn)行了展望。

關(guān)鍵詞：視線跟蹤瞳孔-角膜反射注視點(diǎn)估計(jì)人機(jī)交互虛擬現(xiàn)實(shí)誤差補(bǔ)償校準(zhǔn)神經(jīng)網(wǎng)絡(luò)

0引言

視線跟蹤技術(shù)是一項(xiàng)利用人類眼球運(yùn)動(dòng)信息來(lái)實(shí)現(xiàn)控制設(shè)備目的的科學(xué)應(yīng)用技術(shù)，解決了上肢有殘疾或者雙手因執(zhí)行操作任務(wù)而被占用的人員對(duì)計(jì)算機(jī)等終端設(shè)備操作的難題。近年來(lái)，該技術(shù)迅速獲得國(guó)內(nèi)外相關(guān)學(xué)者的積極關(guān)注，被廣泛應(yīng)用于視覺(jué)注意機(jī)制的研究、頁(yè)面分析、人機(jī)交互、虛擬現(xiàn)實(shí)、智能機(jī)器以及軍事等領(lǐng)域。國(guó)外在20世紀(jì)初就開(kāi)始研制相關(guān)眼動(dòng)儀器，美國(guó)、日本等國(guó)家在這方面的研究比較深入，已經(jīng)走在世界的前列，進(jìn)入實(shí)用化和商品化的階段。國(guó)內(nèi)大約在20世紀(jì)70年代末80年代初才開(kāi)始對(duì)視線跟蹤技術(shù)的研究，目前還沒(méi)有成熟的視線跟蹤產(chǎn)品，但是很多高校以及研究機(jī)構(gòu)，如清華大學(xué)、西安電子科技大學(xué)、浙江大學(xué)、天津大學(xué)、北京科技大學(xué)等都對(duì)該技術(shù)表現(xiàn)出了非常大的興趣。20世紀(jì)90年代，西安電子科技大學(xué)開(kāi)發(fā)了眼動(dòng)測(cè)量系統(tǒng)，北京航空航天大學(xué)開(kāi)發(fā)了人機(jī)界面評(píng)價(jià)試驗(yàn)臺(tái)，推動(dòng)了國(guó)內(nèi)視線追蹤技術(shù)的不斷發(fā)展。

當(dāng)前視線追蹤系統(tǒng)原理的研究主要是圍繞如何精確地、對(duì)人無(wú)干擾地追蹤人的眼動(dòng)過(guò)程來(lái)進(jìn)行的[1]。當(dāng)用戶頭部靜止時(shí)，視線追蹤精度較高，視線落點(diǎn)距離真實(shí)落點(diǎn)較近，緊密散布在其周圍；當(dāng)用戶頭部自由運(yùn)動(dòng)時(shí)，視線追蹤精度較之靜止時(shí)刻相對(duì)降低，視線落點(diǎn)與真實(shí)落點(diǎn)之間的距離逐漸增大，在其周圍的落點(diǎn)分布相對(duì)松散。因此，如何在復(fù)雜的應(yīng)用場(chǎng)景中適應(yīng)不同的用戶以及在追蹤精度、用戶自由度和成本之間尋找一個(gè)平衡的切入點(diǎn)顯得至關(guān)重要。

1視線跟蹤技術(shù)原理

基于瞳孔-角膜反射法的視線追蹤系統(tǒng)采用紅外光源照射眼睛，在人眼角膜上產(chǎn)生反射光斑，眼睛注視不同方向時(shí)，瞳孔中心隨著視線方向發(fā)生相應(yīng)的變化，角膜反射點(diǎn)的位置固定不變。利用眼球和角膜反射點(diǎn)的這種特性，提取視線特征參數(shù)(瞳孔中心和角膜反射光斑中心)，通過(guò)相應(yīng)的注視點(diǎn)估計(jì)法就可以得到視線的落點(diǎn)位置[2]。

系統(tǒng)主要由視線特征參數(shù)提取、注視點(diǎn)估計(jì)、誤差補(bǔ)償和校準(zhǔn)幾個(gè)模塊組成。其中注視點(diǎn)估計(jì)是直接決定系統(tǒng)精度的核心模塊。隨著視線跟蹤技術(shù)的快速發(fā)展，涌現(xiàn)出了各種各樣的注視點(diǎn)估計(jì)算法[3]。本文在上述視線特征參數(shù)提取模塊的基礎(chǔ)上，對(duì)注視點(diǎn)估算法作進(jìn)一步的解析和歸納。視線追蹤系統(tǒng)結(jié)構(gòu)框架圖如圖1所示。

圖1　視線追蹤系統(tǒng)結(jié)構(gòu)圖

2注視點(diǎn)估計(jì)算法

注視點(diǎn)估計(jì)算法是視線跟蹤系統(tǒng)中非常關(guān)鍵的算法，包括計(jì)算視線方向所需的來(lái)自用戶的參數(shù)化后的眼睛幾何信息。注視點(diǎn)估計(jì)算法大致可分為兩類：基于二維映射模型的視線估計(jì)方法以及基于三維的視線直接估計(jì)的方法[4]。兩類方法的性能分析如表1所示。

表1　兩類方法的性能分析

2.1基于二維映射模型的視線估計(jì)方法

2D視線估計(jì)方法首先計(jì)算出注視點(diǎn)的二維坐標(biāo)信息，然后建立其與注視目標(biāo)之間的映射關(guān)系，得到視線在注視目標(biāo)的注視位置。比較常用的有多項(xiàng)式擬合、交比映射、機(jī)器學(xué)習(xí)這幾種方法，其中機(jī)器學(xué)習(xí)主要有神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等方法。

Morimoto等人提出了一種非接觸式的視線跟蹤方法[5]，通過(guò)二階多項(xiàng)式擬合方程來(lái)確定注視點(diǎn)的位置。

(1)

基于二維映射模型的視線估計(jì)法需要校準(zhǔn)過(guò)程，頭部保持靜止時(shí)追蹤精度較高，誤差范圍控制在1 cm以內(nèi)，但該方法對(duì)頭動(dòng)比較敏感，極大地限制了用戶自由度和視線追蹤技術(shù)的實(shí)用性。文獻(xiàn)[6]在該算法的基礎(chǔ)上，提出了一種頭部深度平移和平面平移的補(bǔ)償方法。利用深度平面移動(dòng)比例系數(shù)對(duì)視線的落點(diǎn)進(jìn)行了補(bǔ)償，允許頭部在水平和垂直方向上偏移2～3個(gè)頭部位置。

張鵬翼等使用立體視覺(jué)信息的視線追蹤系統(tǒng)設(shè)計(jì)[7]，使用神經(jīng)網(wǎng)絡(luò)結(jié)合卡爾曼濾波的方法對(duì)瞳孔進(jìn)行跟蹤；再結(jié)合支持向量回歸對(duì)人眼參數(shù)和注視點(diǎn)之間的關(guān)系進(jìn)行訓(xùn)練，利用神經(jīng)網(wǎng)絡(luò)的非線性映射能力對(duì)視線狀態(tài)轉(zhuǎn)移模型進(jìn)行逼近來(lái)跟蹤視線。

用以下數(shù)學(xué)式作為神經(jīng)網(wǎng)絡(luò)的輸入，代表瞳孔在t時(shí)刻的狀態(tài)向量：

Xt=(ct,rt,μt,vt)T

(2)

式中：(ct,rt)為瞳孔在t時(shí)刻像素質(zhì)心; (μt,vt)為t時(shí)刻瞳孔在c和r方向上的矢量。

式(3)表示瞳孔在t+1時(shí)刻的狀態(tài)向量，作為神經(jīng)網(wǎng)絡(luò)的輸出：

(3)

通過(guò)訓(xùn)練，該視線狀態(tài)轉(zhuǎn)移模型可以表示為：

Xt+1=φXt+wt

(4)

式中：φ為神經(jīng)網(wǎng)絡(luò)逼近的狀態(tài)轉(zhuǎn)移模型;wt為系統(tǒng)噪聲，服從正態(tài)分布wt～N(0,Q)。該方法對(duì)人無(wú)干擾且用戶自由度高，但是系統(tǒng)冗余度和精度不能很好地滿足系統(tǒng)需要，并且在成熟度和實(shí)用性方面有所欠缺。

Dong H Y和Myung J C提出了頭部自由的基于投影空間的不變值的免定標(biāo)視線估計(jì)方法[8]。該方法將4個(gè)紅外光源安裝在計(jì)算機(jī)屏幕4個(gè)角，在人眼角膜上投射出4個(gè)反射光斑，利用光斑所形成的四邊形的投影關(guān)系進(jìn)行視線方向的估計(jì)。該方法有屏幕坐標(biāo)系、攝像機(jī)坐標(biāo)系和眼圖坐標(biāo)系3個(gè)坐標(biāo)系系統(tǒng)。該算法允許測(cè)試者頭部在一定范圍內(nèi)運(yùn)動(dòng)且無(wú)需定標(biāo)過(guò)程，精度較高，但是較多的硬件配置限制了系統(tǒng)的集成及移植。文獻(xiàn)[9]提出了基于空間三點(diǎn)映射的相似三角形的注視點(diǎn)估計(jì)算法。計(jì)算機(jī)屏幕上的注視點(diǎn)及兩個(gè)紅外光源構(gòu)成計(jì)算機(jī)平面三角形，人眼圖像中瞳孔中心與兩反射點(diǎn)構(gòu)成眼圖平面三角形。根據(jù)視覺(jué)成像原理，兩三角形為相似三角形，由眼圖視線參數(shù)坐標(biāo)來(lái)確定屏幕上注視點(diǎn)的位置。

式中：(XQ,YQ)為注視點(diǎn)坐標(biāo);(XL1,YL1)和(XL2,YL2)分別是兩紅外光源的坐標(biāo)位置，其坐標(biāo)值可通過(guò)測(cè)量獲得;(XPQ，YPQ)、(XP1，YP1)和(XP2,YP2)分別為圖像中瞳孔中心及兩反射光斑的坐標(biāo)，其坐標(biāo)在圖像處環(huán)節(jié)可獲得。

以上兩種映射方法精度較高，但是忽略了眼球的曲面生理結(jié)構(gòu)，把眼球看作平面在歐式幾何中進(jìn)行建模，降低了系統(tǒng)的精度。眼球生理結(jié)構(gòu)中視軸和光軸的區(qū)別沒(méi)有考慮在內(nèi)，沒(méi)有進(jìn)行視軸和光軸之間的轉(zhuǎn)換。

文獻(xiàn)[10]還提出了一種以角膜反射中心指向瞳孔中心的向量作為平面視線方向參數(shù)，通過(guò)訓(xùn)練多位測(cè)試者盯視屏幕標(biāo)定點(diǎn)，經(jīng)分析得出立體視線方向角的數(shù)據(jù)，進(jìn)而得到視線落點(diǎn)。該文獻(xiàn)還提出了頭部位置變化計(jì)算模型，在頭部位置變化時(shí)，對(duì)視線落點(diǎn)進(jìn)行了補(bǔ)償。此外，還有基于模板匹配法的注視點(diǎn)估計(jì)定位、眼睛方位直接判別法等估計(jì)方法。

2.2基于三維的視線直接估計(jì)的方法

3D視線跟蹤方法不需要用戶提前進(jìn)行校準(zhǔn)，根據(jù)視線在空間中的具體位置，與計(jì)算機(jī)屏幕相交得到視線在空間中的目標(biāo)注視點(diǎn)。該方法需先確定臉部三維空間坐標(biāo)，再使用二維視線跟蹤方法，最終得到三維視線坐標(biāo)。

(5)

角膜曲率中心O與瞳孔中心P的連線稱為眼球的光軸Vp：

Vp=O+K(P-O)

(6)

由于視線的落點(diǎn)是視軸與屏幕的交點(diǎn)，因此需要進(jìn)行光軸與視軸之間的轉(zhuǎn)換。人眼光軸和視軸之間有一個(gè)大約為5°的夾角，利用光軸與視軸之間的夾角關(guān)系和補(bǔ)償算法得到視軸的方向Vv：

Vv=O+K′(P-O)

(7)

該方法雖然在用戶自由度方面有了提高，但是攝像機(jī)和光源等需要保持相對(duì)的靜止。一旦移動(dòng)，則需要重新標(biāo)定，大大降低了系統(tǒng)的精度。文獻(xiàn)[12]提出了一種對(duì)測(cè)量誤差進(jìn)行補(bǔ)償?shù)臉?biāo)定方法，分別說(shuō)明了當(dāng)光源、光源角膜反射點(diǎn)和瞳孔中心標(biāo)定不準(zhǔn)確時(shí)誤差的范圍，并對(duì)其提出補(bǔ)償。表2為以上幾種二維和三維注視點(diǎn)估計(jì)方法性能比較。

表2　注視點(diǎn)估計(jì)方法性能比較

3視線追蹤技術(shù)未來(lái)發(fā)展趨勢(shì)

視線跟蹤技術(shù)可以理解人們的意圖和狀態(tài)，同時(shí)作出相應(yīng)的反應(yīng)。由無(wú)意識(shí)的機(jī)械裝置轉(zhuǎn)變?yōu)橛幸庾R(shí)的智能裝置，被認(rèn)為是非常有價(jià)值的技術(shù)。目前，三星和LG都推出了搭載有眼球追蹤技術(shù)的產(chǎn)品。通用汽車引進(jìn)了視線追蹤和頭部追蹤技術(shù)。然而，對(duì)于當(dāng)前的視線追蹤系統(tǒng)而言，這一技術(shù)無(wú)法滿足實(shí)際的應(yīng)用需求，在國(guó)內(nèi)并沒(méi)有得廣泛的應(yīng)用。比如，讓機(jī)器對(duì)人類眼睛動(dòng)作的真實(shí)意圖進(jìn)行有效識(shí)別，以判斷它是無(wú)意識(shí)運(yùn)動(dòng)還是有意識(shí)變化，并不是一件容易的事情。主要的原因在于：

①視線跟蹤精度低。由于人眼生理結(jié)構(gòu)的復(fù)雜性和人類視覺(jué)特點(diǎn)的非線性特質(zhì)，使得目前的視線追蹤技術(shù)研究中沒(méi)有準(zhǔn)確的視覺(jué)映射模型，且不能通過(guò)手動(dòng)測(cè)量來(lái)得到視線落點(diǎn)。同時(shí)由于部分用戶存在近視和遠(yuǎn)視及斜視等情況，造成眼球曲率的后天變化，使注視點(diǎn)估計(jì)算法的精確程度更加具有挑戰(zhàn)性。

②用戶自由度低。視線追蹤技術(shù)大體還存在這樣一個(gè)狀況：頭部保持靜止時(shí)，視線追蹤精度較高；頭部運(yùn)動(dòng)時(shí)，視線追蹤精度大大降低。目前，商品化和實(shí)用化的視線追蹤儀器對(duì)精度要求較高，要求用戶使用時(shí)保持頭部位置固定，給用戶帶來(lái)了很大的不便。在醫(yī)療領(lǐng)域，干擾式視線追蹤技術(shù)給用戶帶來(lái)的不便相對(duì)較小。在人機(jī)交互、虛擬現(xiàn)實(shí)及智能機(jī)器等領(lǐng)域，干擾式的視線追蹤系統(tǒng)極大地限制了用戶的頭動(dòng)自由度，使用戶體驗(yàn)的舒適度和自由度大大降低。

③視線追蹤的實(shí)時(shí)性。由于算法的復(fù)雜度和硬件設(shè)備幀頻的限制性，使系統(tǒng)不能夠很好地滿足用戶實(shí)時(shí)的需求。

④系統(tǒng)成本高。大部分的視線追蹤系統(tǒng)均使用了多個(gè)相機(jī)和多個(gè)光源及其他比較昂貴的專業(yè)輔助設(shè)備，導(dǎo)致當(dāng)前的視線追蹤儀器價(jià)格過(guò)高，不能得到很好的推廣。

因此，視線追蹤技術(shù)的當(dāng)前研究目標(biāo)主要圍繞精度、自由度、實(shí)時(shí)性幾個(gè)方面，提高系統(tǒng)的魯棒性、精確性和減少識(shí)別時(shí)間是努力的重點(diǎn)。在未來(lái)人機(jī)交互領(lǐng)域，這項(xiàng)技術(shù)將成為人類和機(jī)器互動(dòng)的主要方式之一，對(duì)鼠標(biāo)、鍵盤(pán)以及觸摸等比較成熟的人機(jī)交互是一個(gè)很好的補(bǔ)充，交互智能化將成為未來(lái)人機(jī)交互的一個(gè)主要標(biāo)志。在軍事領(lǐng)域，智能頭盔、瞄準(zhǔn)器等設(shè)備可以不再需要借助使用者的雙手來(lái)對(duì)發(fā)射、轉(zhuǎn)向、瞄準(zhǔn)等操作，而是以使用者視線的轉(zhuǎn)動(dòng)或靜止來(lái)對(duì)設(shè)備進(jìn)行操作，極大地節(jié)省了作戰(zhàn)時(shí)間，并且視線具有更好的自由度和保密度。同時(shí)該技術(shù)還可以應(yīng)用在駕駛員疲勞監(jiān)測(cè)、網(wǎng)頁(yè)興趣點(diǎn)監(jiān)測(cè)、心理研究乃至刑事偵查等領(lǐng)域，具有極大的現(xiàn)實(shí)意義。

4結(jié)束語(yǔ)

本文在總結(jié)了大量文獻(xiàn)的基礎(chǔ)上，對(duì)視線跟蹤技術(shù)的國(guó)內(nèi)外發(fā)展歷程、原理及跟蹤方法進(jìn)行了回顧。分析了幾種主要的視線跟蹤方法原理和技術(shù)特點(diǎn)，重點(diǎn)介紹了基于瞳孔-角膜反射向量法的視線跟蹤技術(shù)，闡述了其技術(shù)原理及系統(tǒng)構(gòu)成，并揭示了原理性框架之間的內(nèi)在關(guān)系。最后對(duì)注視點(diǎn)估計(jì)算法進(jìn)行了歸納總結(jié)，并對(duì)二維和三維的注視點(diǎn)估計(jì)算法的精度和允許頭動(dòng)范圍進(jìn)行了比較。然而由于人眼固有的生理機(jī)制及眼動(dòng)的非線性、隨機(jī)性和復(fù)雜性，使得視線追蹤技術(shù)在實(shí)際應(yīng)用中受到很大限制，如何平衡其精度和自由度一直是視線跟蹤系統(tǒng)中存在的一大難題。但視線追蹤系統(tǒng)作為研究和利用眼睛動(dòng)作的一種重要手段，其未來(lái)將朝著高精度、高自由度及低成本方向邁進(jìn)。

參考文獻(xiàn)

[1] Yang X H,Sun J D,Liu J,et al.A gaze tracking scheme for eye-based intelligent control[C]//WCICA,2010:52-55.

[2] Sigut J,Sidha S.Iris center corneal reflection method for gaze tracking using visible light[J].IEEE Transaction.Biomedical Engineering,2011,58(2):411-419.

[3] 黃亞勤.基于視線跟蹤技術(shù)的眼控鼠標(biāo)研究與視線[D].成都:西華大學(xué),2011.

[4] Hansen D W,Ji Q.In the eye of the beholder:A survey of models for eyes and gaze[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(3):478-500.

[5] Morimoto C H,Koons D,Amit A,et al.Pupil detection and tracking using multiple light sources[J].Image and Vision Computing,2000,18(4):331-335.

[6] 朱博,遲健男,張?zhí)靷b,等.視線追蹤系統(tǒng)頭動(dòng)狀態(tài)下的視線落點(diǎn)補(bǔ)償方法[J].公路交通科技,2013,30(10):105-112.

[7] 張鵬翼,王志良,鄭思儀,等.使用立體視覺(jué)信息的視線追蹤系統(tǒng)設(shè)計(jì)[J].北京郵電大學(xué)學(xué)報(bào),2010,33(1):47-52.

[8] Yoo D H,Chung M J.A novel non-intrusive eye gaze estimation using cross-ratio under large head motion[J].Computer Vision and Image Understanding,2005,98(1):25-51.

[9] 楊彩霞.基于近紅外光源的非接觸式視線跟蹤技術(shù)研究[D].濟(jì)南:山東大學(xué),2012.

[10]Shao G J,Chen M,Zhang B Y,et al.A novel simple 2D model of eye gaze estimation[C]//2010 The 2nd International Conference on Intelligent Human-machine Systems and Cybernetics.Nanjing:IEEE Computer Society Press,2010:300-304.

[11]鄭思儀,王志良,張鵬翼,等.一種基于眼球結(jié)構(gòu)的視線映射幾何模型設(shè)計(jì)[J].系統(tǒng)仿真學(xué)報(bào),2012,24(3):638-644.

[12]遲健男,張闖,王翠娟,等.雙攝像機(jī)雙光源視線追蹤系統(tǒng)標(biāo)定方法研究[J].儀器儀表學(xué)報(bào),2011,32(4):883-892.

Estimation Method of the Fixation Point in Gaze Tracking System

Abstract：On the basis of reviewing the development path of gaze tracking technology,the research direction and several major methods of gaze tracking methods are elaborated.The principle and hardware composition of the gaze tracking technology based on pupil - corneal reflection method are mainly introduced,especially the mature estimation algorithm of fixation points in existing gaze tracking systems are summarized and principle analyzed,in further,the precision of the estimation algorithm and user freedom of 2D and 3D fixation point are crosswise compared.Finally,the defects gaze tracking technology are pointed out,and the application prospect in the fields of human-computer interaction,intelligent machine,virtual reality,etc.,are looked ahead.

Keywords:Gaze trackingPupil-corneal reflectionFixation point estimationMan machine interactionVirtual realityError compensationCalibrationNeural network

中圖分類號(hào)：TH-3;TP181

文獻(xiàn)標(biāo)志碼：A

DOI:10.16086/j.cnki.issn1000-0380.201605009

修改稿收到日期：2015-09-02。

第一作者金純(1966-)，男，1994年畢業(yè)于美國(guó)芝加哥Illinois大學(xué)計(jì)算機(jī)專業(yè)，獲博士學(xué)位，教授；主要從事無(wú)線通信、計(jì)算機(jī)軟件、視線追蹤、物聯(lián)網(wǎng)等方向的研究。