曹師好，閆立兵，秦貝貝，張寶尚，趙歆波,

(1.西北工業(yè)大學 計算機學院，西安 710129;2.陸裝駐洛陽地區(qū)航空軍事代表室，洛陽 471009;3.光電控制技術重點實驗室，洛陽 471009)

0 引言

頭戴式視線跟蹤系統(tǒng)近年來已經成為市場研究、心理學研究[1]、人機交互[2-3]、智能教育[4]等領域被廣泛使用的研究工具。最近，視線跟蹤也被應用于虛擬現實和增強現實設備，用于控制[5]和全景渲染[6]。目前，市面上的頭戴式眼動儀價格昂貴(例如,Tobii和Google Glasses)。因此，設計一套硬件結構簡單、成本低的頭戴式眼動跟蹤系統(tǒng)對相關領域的研究有著很大意義。

當前，頭戴式視線跟蹤系統(tǒng)的方法可以分為二維和三維。二維的方法相對三維的方法在硬件結構要簡單一些。二維的方法是將二維的眼動特征作為輸入構建映射模型來獲取人眼注視點位置，文獻[7-8]利用一個相機和一個紅外光源獲取瞳孔中心和光斑形成瞳孔-角膜向量，通過多項式擬合來獲取注視位置。該方法具有較好的準確性且硬件結構相對簡單，因此成為頭戴式的視線跟蹤系統(tǒng)中最常見的方法。但這種方法在非標定點的精度并不理想。Arar等[9]利用固定的五個紅外燈提取瞳孔中心以及四個光斑，根據幾何學上的交比不變性原理獲得注視點的位置。這種方法為了獲取角膜光斑的反射位置需要較多的紅外光源，使得硬件結構復雜，實用性較差。二維方法使用的二維特征并不能充分利用視線變換的信息，因此在非標定點精度較差。

與二維方法相比，三維方法根據眼球的結構特點，直接獲取視線方向并計算與場景的交叉以估計注視點位置。但多數的三維方法依賴提前校準的測量信息：光源位置坐標、攝像機位置坐標、屏幕位置坐標等信息，對視線跟蹤系統(tǒng)的使用造成了很大的不便。Shih等[10]利用兩個相機和兩個光源直接計算人眼光軸方向，避免了系統(tǒng)校準過程和校準誤差。但此方法需要對多個相機進行標定且發(fā)光二極管的位置需預先設置。Roma等[11]通過將瞳孔和眼球半徑視為已知量來構建三維眼球模型，將眼球中心到瞳孔中心的連線方向視為視線方向，此方法忽略了不同使用者之間的生理差異。滿毅等[12]提出了一種基于雙眼模型的三維視線估計方法，利用兩個安裝有紅外燈組的攝像機組成立體視覺系統(tǒng)來獲取雙眼瞳孔坐標，并利用左右眼光軸與屏幕交點連線的中點做為注視點。但此方法在相機距人眼很近時，雙眼數據容易丟失，所以在頭戴式系統(tǒng)上的應用會有很大的限制。

綜上所述，對于頭戴式視線跟蹤系統(tǒng)，現有的方法通常是使用瞳孔-角膜向量做插值的二維方法或者是使用三維眼球模型的三維方法。二維方法的問題在于瞳孔-角膜向量作為特征并不能充分利用視線變化的信息，造成在非標定上精度較差。三維方法的問題在于它通常需要對相機、紅外光源的位置關系進行提前的校準或者是忽略個體差異對眼球進行統(tǒng)一建模，硬件結構復雜且制作成本高。目前還沒有一種頭戴式視線跟蹤方法能在只有一個眼部相機且不使用眼球固定參數的情況下進行三維的視線估計。Swirski等[13]提出了一種單目的三維眼球重建方法，但是他們只是對仿真環(huán)境中合成的人眼圖像進行了模型評估，從眼部相機到場景相機的映射精度的真實性能并沒有被量化。因此，為了解決現有頭戴式視線跟蹤系統(tǒng)存在的問題，本文提出了一種頭戴式單目無反射光斑的三維視線跟蹤方法。與現有的方法相比，本文方法僅需要一個眼部相機，不使用眼睛的平均生理參數，且能夠提高在非標點的精度。

本文的貢獻主要有以下三個方面。首先，在分析Swirski[13]眼球模型的基礎上，提出了一種計算眼球中心位置的優(yōu)化算法；其次，優(yōu)化眼球半徑的算法并建立三維眼球模型，在此基礎上重新計算瞳孔位置獲取三維視線方向。最后，本文設計一套低成本、硬件結構簡單的頭戴式眼動跟蹤系統(tǒng)，為相關領域的研究提供了很大便利。

1 三維眼球數學模型

1.1 眼球中心計算模型

Swirski等[13]提出的模型基于兩個假設：①二維眼睛圖像中的瞳孔橢圓輪廓是三維瞳孔圓P的透視投影，該圓形瞳孔中心與固定半徑R的眼球相切；②眼球中心隨著時間的推移相對相機是靜止的。在他們的模型中，注視方向隨著三維瞳孔圓P在眼球表面的運動而變化。在每一個時間點，眼球模型的狀態(tài)由眼球中心c和三維瞳孔圓P來決定。

通過眼部相機在一段時間內收集到一組眼部圖像，通過瞳孔檢測算法[14]可以從每一張眼部圖像中提取出瞳孔輪廓。Swirski等[13]通過迭代優(yōu)化算法估計出眼球中心c和一組三維瞳孔Pi的參數(如位置和半徑)。需要注意的是這種方法假設眼球中心在采集眼部圖像時相對于眼部相機是靜止的。

(1)

Swirski的模型在仿真環(huán)境下的合成圖像上提取瞳孔輪廓邊緣，然后根據這些邊緣擬合的橢圓逆投影得到三維空間圓，并在此基礎上估計眼球中心以及眼球半徑，最后得到三維視線方向。該方法的局限性在于只在合成圖像序列上進行了眼球模型的擬合，而實時視頻中情況相比合成圖像會更復雜。

在眼部相機拍攝的視頻幀上進行瞳孔檢測與在合成圖像上進行瞳孔檢測有以下兩點區(qū)別。第一，合成圖像上的瞳孔邊緣都是清晰的，但在眼部相機的視頻中，可能會出現運動模糊等現象。第二，合成圖像的瞳孔的輪廓是完整的，此時擬合的橢圓的精確度要高。而眼部相機拍攝的視頻幀，可能會遇到眨眼、睫毛遮擋或者眼球轉動角度過大等情況。在這種情況下，瞳孔輪廓可能會被部分遮擋甚至完全遮擋，從而導致在視頻幀上擬合的橢圓與瞳孔輪廓的誤差較大。

在Swirski的模型中，為了消除圓的歧義性，通過將法向量投影到圖像空間中，然后使用最小二乘法求解直線簇的交點做為眼球中心在圖像空間中的投影。但此時是將所有瞳孔的法向量投影直線都計算在內，當遇到轉動角度過大或者瞳孔輪廓不完整時，擬合出來的橢圓其法向量在圖像空間的投影與眼球中心理論位置的投影的距離較大，如圖1中的橙線和綠點。因此，本文提出優(yōu)化算法來計算眼球中心c的位置。

圖1 三維瞳孔圓的凝視向量相交

首先，通過逆投影可以從N個圖像中計算得到N條直線，表示為LN，如式(2)。從中隨機選取M條直線LM，此時公式(1)可改寫為(3)：

(2)

{M}=random({N})

(3)

(4)

(5)

1.2 三維眼球半徑的計算

ni·(pi-c)>0

(6)

(7)

圖2 瞳孔空間位置計算示意圖

(8)

1.3 獲取視線方向

(9)

(10)

通過圖3可以看出正常情況下，直線o-pi與眼球(c,R)會有兩個交點，這里選擇最近的交點。

圖3 瞳孔空間位置示意圖

dmin=L-d1

(11)

(12)

2 系統(tǒng)的設計和實現

2.1 系統(tǒng)設計

以第1節(jié)中眼球模型為基礎，綜合考慮頭戴式眼動儀的需求。本文構建了一套使用單目相機的眼動跟蹤系統(tǒng)，通過使用眼部相機收集眼部圖像，檢測出瞳孔輪廓的軌跡建立眼球模型。利用眼球模型獲取視線方向，與標定點建立映射關系，得到注視點的位置。系統(tǒng)的算法流程如圖4所示。

圖4 系統(tǒng)算法流程圖

2.2 系統(tǒng)實現

假設頭戴設備相對頭部保持固定，則設備上的近紅外光源在角膜上形成的反射光斑位置固定，不隨著眼球的轉動而改變，故瞳孔角膜向量PCCR(Pupil center-corneal reflection)[21]只隨瞳孔中心的變化而改變。然后通過插值公式將眼部相機圖像中的瞳孔角膜向量(x,y)與場景圖像或者屏幕上的像素點(X,Y)建立映射關系。

(13)

(14)

(15)

(16)

然后通過多項式建立注視方向角度(α,β)和二維平面坐標(X,Y)之間的映射模型。則(13)式可改寫為：

(17)

從式(17)與式(13)的對比可以看出，本文設計的系統(tǒng)與傳統(tǒng)瞳孔-角膜向量法使用的參數數量相同。本文提出的系統(tǒng)相對于瞳孔-角膜向量法，使用三維視線方向的角度去代替瞳孔-角膜向量，以此來提高對于視線信息變化的利用程度。使用三維到二維的映射模型來避免相機和頭戴式設備間的提前標定，降低硬件結構的要求。

3 實驗過程及結果

3.1 實驗設備

本次實驗使用實驗室自制的頭戴式眼動跟蹤設備，其中場景相機、眼部紅外相機的圖像分辨率都為640×480 pixel，采集幀率為60 FPS。開發(fā)環(huán)境為Qt Creator 4.7+OpenCV 3.0。為了保證實驗結果的公平性，本次實驗使用相同的頭戴式設備來測試PCCR方法和本文所提出方法的實驗結果。

3.2 標定

在本次實驗過程中，我們對本文方法和PCCR方法分別使用九點標定，然后各自注視標定點和非標定點并收集各自的注視點分布。其中標定過程使用的多項式為Cerrolaza等[16]提出的二階多項式：

X=a0+a1x+a2x2+a3y+

a4y2+a5xy

(18)

Y=b0+b1x+b2x2+b3y+

b4y2+b5xy

(19)

在對本文方法進行標定前，我們要對眼球進行擬合。首先，要對眼睛圖像進行收集，保持眼動儀對頭部的相對位置不變，眼球轉動1～2 s即可收集完畢。然后系統(tǒng)會利用第1、2節(jié)中的方法對視線角度進行計算，計算完成的結果如圖5所示。

圖5 眼球模型計算結果

其中，藍點是眼球中心，紅點是瞳孔中心，從藍點開始穿過紅點的綠色直線為視線。得到視線方向之后，根據公式(16),將方向轉換為角度然后進行標定。

3.3 數據收集

測試者坐首先坐在屏幕前方0.7 m左右的位置，調整頭部姿態(tài)保證屏幕上的所有標定點都在場景圖像中出現，標定的過程中保持頭部姿態(tài)固定，依次注視屏幕上的標記點，同時記錄注視每個標定點時視線角度或者瞳孔-角膜向量。標定完成后測試人員注視標定靶上的一組點，每個點收集連續(xù)20幀的數據作為實驗結果。剔除眼睛不自主地運動(如眼球震顫)等因素造成的顯著偏移，本文所提出的方法和傳統(tǒng)的PCCR方法注視標定點時在標靶上分布的可視化效果如圖6和圖7所示。

圖6 本文方法注視標定點時結果分布圖

圖7 PCCR方法注視標定點時結果分布圖

為了進一步對本文所提出的方法與PCCR方法在非標定點的精度進行評估，實驗在標靶上固定了16個不同于標定點的測試點。本文方法和PCCR方法注視測試點時的視線分布結果如圖8和圖9所示。

圖8 本文方法注視測試點時結果分布圖

圖9 PCCR方法注視測試點時結果分布圖

其中，圖6到圖9中的十字代表標定靶上的標定點，點群代表實驗中收集的真實注視點。在收集到注視點的數據后，利用式(25)來計算角度誤差：

(20)

其中，N為合格的樣本數量，(xij,yij)為收集的第i個注視點對應的第j個數據的位置，(Xi,Yi)為第i個參考注視點的位置。圖10和圖11給出了本文方法和PCCR方法在觀察標定點和非標定點時每個點的角度誤差。

圖10 標定點結果

圖11 測試點結果

根據圖10和圖11的實驗數據可以得到，本文方法和PCCR方法在注視標定點時的平均誤差分別為0.56°和0.60°，在注視非標定點時的平均誤差分別為0.63°和0.94°。實驗結果表明兩種方法在標定點的誤差接近，本文方法在非標定點上的精度得到了提升。從圖9和圖10可以看出，使用視線角度代替瞳孔-角膜向量作為特征能更充分利用視線變化的信息，整體提高系統(tǒng)的精度特別是在非標定點的精度。在僅使用單個相機且不使用眼球平均參數的條件下，本文方法相較于其他三維方法的精度并保持在同一水平。

表1 不同三維方法結果對比

4 結束語

根據瞳孔的運動軌跡特性，本文提出了一種單相機的頭戴式三維眼動跟蹤系統(tǒng)。通過分析瞳孔運動軌跡得到三維視線方向，降低了相機的數量。通過使用視線方向到場景的映射模型，避免了硬件結構的提前標定。而且結果表明，本文方法在使用相同的硬件設備時，相對于PCCR方法在非標定點上精度更好。在保證精度的同時，極大的降低了硬件結構的復雜度。當然，方法同樣存在著標定過程繁瑣的問題，這是因為本文想要驗證本文方法相比PCCR方法在非標定點上效果更好。在實際應用的過程，可以通過使用Santini等[17]提出的CalibMe方法來簡化標定過程，提高系統(tǒng)的實用性。