趙昕晨，楊 楠

（中國人民大學信息學院，北京 100872）

（?通信作者電子郵箱yangnan@ruc.edu.cn）

0 引言

近年來隨著人機交互技術的深入研究，多通道、更自然的交互方式吸引了越來越多的關注。視線追蹤技術主要研究如何獲取及利用人類的視覺信息，將其轉化為有效的交互輸入。在虛擬現(xiàn)實、車輛輔助駕駛、助殘、認知障礙判斷等領域有廣泛的應用。

基于網(wǎng)絡攝像頭的視線追蹤技術是視線追蹤技術的一個分支，屬于非侵入式的追蹤系統(tǒng)。由于不需要專業(yè)的眼動儀或頭部穿戴設備，該技術為視線追蹤技術的應用提供了很大的便捷性和通用性。但基于網(wǎng)絡攝像頭的視線追蹤技術在準確性的提升方面存在很大的瓶頸。

已有的基于網(wǎng)絡攝像頭的視線追蹤技術的準確性主要受以下因素限制：

1）無法像眼動儀設備一樣提供精確的眼球三維空間信息。用戶頭部姿態(tài)的變化會嚴重影響預測準確性。

2）需要在主設備處理器上進行運算，對于實時視線追蹤，必須考慮算法的計算成本。

本文的主要貢獻如下：

1）提出了一種利用網(wǎng)絡攝像頭視頻數(shù)據(jù)流，構建頭部姿態(tài)特征并計算頭部姿態(tài)相似度的算法。該算法可以有效估算視頻流中兩幀之間頭部姿態(tài)的相似程度。

2）基于提出的相似度算法，提出了對視線追蹤系統(tǒng)的優(yōu)化方法：在視線預測前對標定數(shù)據(jù)進行排序，選取與輸入幀頭部姿態(tài)接近的標定點進行預測。

3）選取不同特征的人群進行實驗，實驗結果表明優(yōu)化算法可以有效提高視線追蹤系統(tǒng)的準確度和穩(wěn)定性。

4）優(yōu)化后的系統(tǒng)在標定過程中不再要求頭部固定，用戶允許在一定范圍內(nèi)調整頭部姿態(tài)。

5）優(yōu)化后的系統(tǒng)可以構建可復用的個人標定點庫。

1 相關工作

1.1 網(wǎng)絡攝像頭視線追蹤技術

許多研究者對基于網(wǎng)絡攝像頭的視線追蹤技術進行過一些嘗試。這種方法通常需要一個明確的標定階段，而且與基于紅外跟蹤的眼動儀相比準確率極低［1］。

一種基于圖像的方法是使用攝像頭獲得的視頻圖像訓練神經(jīng)網(wǎng)絡［2］：Lu 等［3］引入了一種需要稀疏標定的自適應線性回歸模型，但對頭部姿態(tài)敏感；Lu 等［4］在2012 年提出的模型中克服了頭部姿態(tài)敏感的問題，但需要更廣泛的標定。

一些研究希望通過圖像顯著性來估計用戶的注視位置進行動態(tài)校準，但該方法只能得到用戶注視位置的粗略估計［5］。在Alnajar 等［6］介紹的算法中，可以通過預先記錄的注視模式進行自校準，但自校準過程仍需要用戶參與。王向周等［7］提出了一種基于神經(jīng)網(wǎng)絡的動態(tài)標定算法。

一些研究將用戶交互行為也作為視點預測依據(jù)。Lagun等［8］等的研究結果顯示，通過考慮光標位置，可以大幅度增加視線追蹤系統(tǒng)的準確性。

基于攝像頭的視線追蹤技術已經(jīng)有許多商業(yè)化的嘗試：Pace［9］是一個桌面應用程序，通過用戶交互進行自動標定；Turkergaze［10］是一款基于網(wǎng)絡攝像頭的視線追蹤器，部署在Amazon Mechanical Turk上，可預測圖像的顯著性。

1.2 WebGazer

WebGazer［11］是一個Javascript 視線追蹤庫。它從攝像頭獲取的圖像中提取眼部圖像，標準化為6×10 尺寸，再通過灰度直方圖均衡化處理，轉化為120維向量，記作ve。

在校準結束后得到校準數(shù)據(jù)集Sc：

Di為校準時視線的真實屏幕坐標。使用嶺回歸［12］模型進行視線預測。嶺回歸是一種專用于共線性數(shù)據(jù)分析的有偏估計的改良的最小二乘估計法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價獲得更為符合實際、更可靠的回歸系數(shù)。以x 坐標為例，f(ve) →Dx映射f(ve)=Φ(x)Τw，滿足：

正則化項參數(shù)λ 為10-5。代價函數(shù)w 利用梯度等于零方式求解：

其中：X為眼部特征的設計矩陣，Y為屏幕坐標的響應向量。

考慮到頭部姿態(tài)變化對視線追蹤造成的影響，WebGazer利用用戶的鼠標交互行為進行自校準，向校準集Sc追加新的數(shù)據(jù)，使系統(tǒng)適應頭部姿態(tài)的變化。但該方法存在一些問題：

1）在自校準過程中，沒有一個有效的淘汰機制，雖然新數(shù)據(jù)的加入可以降低頭部姿態(tài)變化帶來的影響，但無法完全消除。

2）自校準機制依賴大量的用戶點擊行為，當用戶使用過程中很少出現(xiàn)交互行為，或者頭部姿態(tài)變化相對頻繁時，無法獲取足夠多當前頭部姿態(tài)下的校準數(shù)據(jù)。

1.3 Clmtrackr

Clmtrackr［13］是一個Javascript 庫，實現(xiàn)了人臉特征點檢測，可以在視頻或圖像數(shù)據(jù)中匹配人臉并將特征點坐標輸出為一個數(shù)組。輸出結果包括眉毛、眼睛、鼻子、嘴唇等部位關鍵特征點及人臉輪廓，共71個特征點，如圖1所示。

Clmtrackr 人臉檢測算法使用Saragih 等［14］改進后的有約束的局部模型（CLM fitted by regularized landmark mean-shift）。它克服了傳統(tǒng)的基于CLM 人臉點檢測算法的一些不足，使算法精度和速度都得到了提升。Clmtrackr的人臉建模訓練集為MUCT［15］數(shù)據(jù)集。

圖1 Clmtrackr輸出結果Fig.1 Output result of Clmtrackr

2 算法描述

本章主要介紹視線追蹤優(yōu)化算法和其所需要的頭部姿態(tài)特征數(shù)據(jù)模型。

2.1 頭部姿態(tài)特征

從人臉特征點檢測結果中提取頭部姿態(tài)特征時，需要考慮以下幾個關鍵因素：1）選取的特征點必須體現(xiàn)頭部姿態(tài)在原始三維空間中的信息；2）選取的特征點必須與眼部特征相互獨立；3）選取的特征點不能受與頭部姿態(tài)變化無關的因素影響；4）構建的頭部特征不能太過復雜，以控制相似度算法的計算成本。

考慮因素1），臉部輪廓特征點不能有效地體現(xiàn)原始三維空間信息，因為這些輪廓特征點沒有附著在臉部部位上，而是位于視頻圖像的二維邊界。因素2）要求與眼部特征獨立的特征點，眉毛和眼睛部分的特征點不符合要求。因素3）要求排除與頭部姿態(tài)變化無關的特征點，唇部特征點不符合要求。

經(jīng)過對人臉檢測結果的觀察發(fā)現(xiàn)，鼻部特征點的滿足構建頭部姿態(tài)特征的基本要求。在所有鼻部特征點中，特征點33、35、39 對頭部姿態(tài)變化的敏感度最高，而其他鼻部特征點與以上三個特征點在圖像坐標系的坐標有相對位置關系，所以只需要選取這三個點。

原始標定數(shù)據(jù)集的樣本由眼部圖像特征和對應的標定點坐標組成，將選取的3個特征點在圖像坐標系的坐標作為頭部姿態(tài)上下文加入標定樣本中。頭部姿態(tài)特征由6維向量表示：

現(xiàn)在標定數(shù)據(jù)集的樣本由頭部姿態(tài)特征、眼部特征圖像和校準點屏幕坐標組成。記作：

2.2 頭部姿態(tài)相似度

定義頭部姿態(tài)特征之后，需要一個指標來衡量兩個頭部姿態(tài)特征之間的相似度。定義的相似度要求對會造成預測結果準確度變低的頭部姿態(tài)變化敏感，即當輸入幀與某校準樣本頭部姿態(tài)相似度越小，使用該校準數(shù)據(jù)進行預測得出的結果越不可靠。

會顯著影響預測準確度的頭部運動有：靠近或遠離屏幕、平移、仰頭、低頭、側斜?？紤]以上要求，對相似度的定義為：

使用外接圓的交并比是為了解決頭部沿不同方向運動相似度變化速率不相等的問題。當特征向量完全相等時，相似度為1；當頭部靠近或遠離屏幕、平移、仰頭或低頭、側斜時，相似度都會降低。

2.3 算法描述

在視線追蹤過程中，每一個輸入幀的處理過程如下：

2）計算輸入幀與標定數(shù)據(jù)集中樣本的頭部姿態(tài)相似度Simin，1，2，…，N，并用其對標定數(shù)據(jù)進行排序。

3）選取與輸入幀頭部姿態(tài)相似度較高的標定樣本作為有效樣本Sv。

4）用Sv建立嶺回歸模型，代入計算。

選取有效樣本時有兩種思路。

1）設定選取樣本的比例p，對標定樣本集排序后選取前N*p個樣本作為Sv。

2）設定最小相似度Simmin，僅選取與輸入幀頭部姿態(tài)相似度大于最小相似度的標定樣本作為Sv。

圖2 為WebGazer 原算法和加入頭部姿態(tài)分析算法后的流程。與原算法相比，優(yōu)化算法每次進行嶺回歸前需要計算輸入幀與校準集的相似度，并進行一次遍歷或排序操作。如使用閾值過濾，時間復雜度為O（N）；如使用排序過濾，時間復雜度為O（N lg N）。

圖2 兩種算法流程對比Fig.2 Flowchart comparison of two algorithms

在極端情況下，視線追蹤過程與標定過程頭部姿態(tài)差異過大，大部分標定數(shù)據(jù)與輸入數(shù)據(jù)頭部姿態(tài)相似度都較小時，使用第一種方法無法保證標定數(shù)據(jù)的質量；使用第二種方法則無法保證標定數(shù)據(jù)的數(shù)量。

如果原始標定數(shù)據(jù)與該次輸入頭部姿態(tài)相似度普遍較高，設置一個選取比例或者最小相似度都是可行的，也幾乎是等價的；但真實場景下原始標定數(shù)據(jù)庫本身包含了不同頭部姿態(tài)環(huán)境下的數(shù)據(jù)，用戶在視線追蹤過程中頭部姿態(tài)也會發(fā)生變化，這時如何平衡有效樣本的數(shù)量和質量就需要實驗驗證。

3 實驗設計

3.1 標定

眼動儀根據(jù)一般使用屏幕邊緣的標定點或將屏幕劃分為網(wǎng)格狀，根據(jù)劃分程度和屏幕尺寸比例，常用的標定點數(shù)量一般為9、12、16 等。由于基于攝像頭的視線追蹤技術無法做到眼動儀一樣構建精確的模型，所以增加了標定點的數(shù)量。另外，標定過程使用交互行為確保采樣的準確，如圖3。

圖3 標定過程Fig.3 Calibration process

具體的標定過程如下：將顯示設備平均劃分為18×10 的網(wǎng)格區(qū)域。標定過程中，隨機在某個區(qū)域中出現(xiàn)閃爍的環(huán)形圖案，實驗參與者需要注視環(huán)形圖案中心，并使用鼠標光標點擊環(huán)形圖案中心。系統(tǒng)記錄下點擊行為發(fā)生時刻的攝像頭圖像和網(wǎng)格索引。將環(huán)形圖案中心坐標作為視線真實坐標。

為了盡可能多地得到不同頭部姿態(tài)環(huán)境下的標定數(shù)據(jù)，標定過程中允許被試者在眼球運動的同時小幅度改變頭部姿態(tài)。

3.2 追蹤過程采樣

視線追蹤過程的采樣使用與標定過程相同的網(wǎng)格劃分，并隨機出現(xiàn)閃爍的圓環(huán)圖案并持續(xù)一段時間，要求實驗參與者的視線跟隨圓環(huán)的位置進行移動。同樣將環(huán)形圖案中心坐標作為視線真實坐標。

每次圓環(huán)出現(xiàn)到消失持續(xù)4 s，采樣20次，記作一組采樣?？紤]到兩組采樣之間的視線轉移，每組頭部和尾部5 次采樣被舍棄，只使用中間10次的采樣數(shù)據(jù)。

3.3 實驗環(huán)境與對象

實驗環(huán)境為Macbook pro 13 英寸筆記本電腦，默認顯示設備及前置攝像頭，系統(tǒng)運行在Google chrome 瀏覽器中，瀏覽器顯示分辨率為1 920 px×1 080 px。

由于交互實驗受參與者的狀態(tài)影響，在不同的參數(shù)下進行多次交互實驗無法有效控制變量，所以本文選擇通過單次實驗采集數(shù)據(jù)，對比不同參數(shù)下算法的結果。

實驗共有12 名參與者（7 名男性，5 名女性），年齡在19～25。參與者以高校學生為主，均視力正常。每名參與者視線追蹤過程的采樣時間為20 min。

3.4 預實驗

預實驗用來驗證頭部姿態(tài)相似度算法的有效性。根據(jù)算法的設計原理，頭部姿態(tài)相似度指標需要滿足：當標定數(shù)據(jù)與輸入數(shù)據(jù)相似度越大，得到的結果越精確。

預實驗過程使用所有標定數(shù)據(jù)進行預測，對每次預測記錄當前預測坐標與圓環(huán)中心坐標的距離，記作誤差error，以及輸入數(shù)據(jù)與所有標定數(shù)據(jù)的頭部姿態(tài)相似度的平均值，記作并做相關性分析。如果這兩個值存在比較顯著的負相關關系，即可說明頭部姿態(tài)相似度的計算方法是有效的。

4 實驗和結果分析

4.1 頭部姿態(tài)相似度與誤差值的相關性

對預實驗結果進行分析，可以驗證頭部姿態(tài)相似度算法的有效性。預測誤差與本文定義的頭部姿態(tài)相似度呈明顯的負相關關系。進一步統(tǒng)計結果也表明，頭部姿態(tài)相似度越大，平均誤差普遍越小。

圖4 和圖5 是某位預實驗被試者的實驗數(shù)據(jù)。除了負相關關系外，從散點圖還可以發(fā)現(xiàn)實驗結果的分布情況，大多數(shù)被試者在正常實驗環(huán)境下，預測過程中較為集中在0.5～0.8，這個區(qū)間是由相似度本身的定義和實驗環(huán)境決定的。對數(shù)據(jù)進一步統(tǒng)計處理后發(fā)現(xiàn)，當＜0.4 時，預測結果的準確性極低。

圖4 頭部姿態(tài)相似度-誤差散點圖Fig.4 Head pose similarity-error scatter diagram

預實驗結果也為設置優(yōu)化算法中的參數(shù)提供了參考。在優(yōu)化算法中，采用規(guī)定最小相似度來選取標定數(shù)據(jù)時，將0.4作為Simmin的參考值。

圖5 頭部姿態(tài)相似度-誤差統(tǒng)計Fig.5 Statistics of head pose similarity-error

4.2 優(yōu)化前后算法誤差比較

與優(yōu)化前算法相比，優(yōu)化后算法的誤差有明顯降低。所有實驗被試者優(yōu)化前算法得到的平均預測誤差為193～256 px，優(yōu)化后算法得到的平均預測誤差為128～198 px。不同被試者略有差異，但所有實驗結果中優(yōu)化后算法的平均誤差都低于優(yōu)化前算法。

通過統(tǒng)計分析，還得出兩個結論：1）優(yōu)化前后算法的誤差與采樣位置均沒有明顯關系，這說明視線注視點的位置不會對預測準確性產(chǎn)生顯著影響。2）如果某次采樣使用優(yōu)化前算法得到誤差較小，優(yōu)化后的算法得到的誤差相比其他采樣也普遍較小。這個結論也符合預期，因為優(yōu)化算法的核心思路是在固定的校準數(shù)據(jù)中挑選出與輸入數(shù)據(jù)頭部姿態(tài)更接近的，但最終的誤差還要取決于校準數(shù)據(jù)本身的質量。

圖6～8 是某位被試者的實驗數(shù)據(jù)，標定點數(shù)為100，使用最小相似度過濾標定數(shù)據(jù)，Simmin為0.4。圖6～7 中的x-y 平面是預測結果采樣點的屏幕網(wǎng)格索引坐標，z軸是優(yōu)化前后的誤差。圖8是隨著采樣過程的進行誤差的變化情況。

4.3 優(yōu)化算法參數(shù)分析

通過計算出頭部姿態(tài)相似度，已經(jīng)有了選取有效標定數(shù)據(jù)的標準。前文已經(jīng)提到，參數(shù)配置需要考慮每次選取的有效標定數(shù)據(jù)的質量和數(shù)量。

圖6 WebGazer誤差Fig 6 Error of WebGazer

通過對實驗結果進行分析，發(fā)現(xiàn)因為原始標定數(shù)據(jù)質量不同，個體差異明顯，單純對不同參數(shù)下的結果進行分析無法得出一個最優(yōu)化的策略。本文只得到一個經(jīng)驗策略，選取的有效標定數(shù)據(jù)與輸入數(shù)據(jù)頭部姿態(tài)相似度不低于0.35，選取的有效標定數(shù)據(jù)數(shù)量不少于40，普遍效果較好。如果無法同時做到，采用順位替補或者取消數(shù)量要求均可，沒有明顯差異。但這種情況出現(xiàn)說明頭部姿態(tài)變化過大，得到的誤差一般較大。

原始標定點的數(shù)量也是一個重要的參數(shù)，本文方法的標定使用18×10的網(wǎng)格，一輪完全標定原始標定點數(shù)為180。實驗結果分析表明，標定點越多，誤差越小，與普遍認知一致。但是標定點數(shù)的設置需要考慮標定成本。通過對比，當標定點量大于80 后，增加標定點對準確度帶來的提升變得非常小，多輪標定也無明顯提升。換用多輪九點標定，效果與全屏標定無明顯優(yōu)劣。

圖7 優(yōu)化后的WebGazer誤差Fig.7 Error of optimized WebGazer

圖8 采樣點數(shù)-誤差折線圖Fig.8 Line chart of number of samples-error

5 結語

本文分析了人臉特征點檢測結果和頭部姿態(tài)的關系，選取合適的人臉特征點建立頭部姿態(tài)特征并設計了相似度算法。在此基礎上，利用相似度篩選出與輸入數(shù)據(jù)頭部姿態(tài)接近的標定樣本作為有效樣本進行視線預測。設計實驗并對實驗結果進行分析，驗證了優(yōu)化算法可以提高算法的準確度與穩(wěn)定性。