丁 妮 趙 恬

北京師范大學(xué)藝術(shù)與傳媒學(xué)院,北京 100875

現(xiàn)代眼動(dòng)研究方法在20 世紀(jì)60 年代發(fā)展起來(lái)[1],并從那以后得到了進(jìn)一步的改進(jìn)。在過(guò)去的幾年里,監(jiān)測(cè)眼球運(yùn)動(dòng)的方法發(fā)生了很大變化。如今,使用基于視頻的計(jì)算機(jī)視覺(jué)技術(shù)系統(tǒng)占據(jù)主導(dǎo)地位[2],同時(shí)由于智能手機(jī)等設(shè)備上的小型高質(zhì)量攝像頭的發(fā)展,眼動(dòng)跟蹤系統(tǒng)愈發(fā)輕便,使得將眼動(dòng)追蹤技術(shù)與更多應(yīng)用場(chǎng)景相結(jié)合成為可能。眼動(dòng)技術(shù)通過(guò)對(duì)眼動(dòng)軌跡的記錄從中提取諸如注視點(diǎn)、注視時(shí)間和次數(shù)、眼跳距離、瞳孔大小等數(shù)據(jù),從而研究個(gè)體的內(nèi)在認(rèn)知過(guò)程。眼動(dòng)心理學(xué)的研究已經(jīng)成為當(dāng)代心理學(xué)研究的一種有用范型。

虛擬現(xiàn)實(shí)(VR)技術(shù)是一種最終以人的感知覺(jué)效果為評(píng)價(jià)標(biāo)準(zhǔn)的仿真技術(shù)。人類對(duì)客觀世界的感知信息有 70% 是來(lái)自視覺(jué),因此視覺(jué)系統(tǒng)是虛擬環(huán)境中的關(guān)鍵部分,眼動(dòng)追蹤技術(shù)已被證實(shí)是視覺(jué)信息加工研究中最有效的手段,因此VR技術(shù)與眼動(dòng)追蹤技術(shù)的結(jié)合是技術(shù)和學(xué)科發(fā)展的必然趨勢(shì)。近年來(lái),隨著計(jì)算機(jī)視覺(jué)、圖形學(xué)、人工智能等新興技術(shù)的發(fā)展及應(yīng)用需求的增加,“眼動(dòng)+VR”正在被越來(lái)越多的大企業(yè)所關(guān)注。蘋果、谷歌、微軟、Magic Leap、三星等多家公司都已布局眼動(dòng)追蹤技術(shù)相關(guān)業(yè)務(wù)。2014年,三星投資FOVE,主打眼動(dòng)追蹤的VR 頭盔;2016 年,谷歌收購(gòu)眼球追蹤技術(shù)公司Eyefluence,該公司曾研發(fā)出一套針對(duì)虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)應(yīng)用的眼球追蹤技術(shù)。同年,Facebook(現(xiàn)Meta)旗下Oculus收購(gòu)丹麥眼動(dòng)追蹤公司The Eye Tribe。2017 年,蘋果公司收購(gòu)德國(guó)眼動(dòng)追蹤公司SMI,SMI在實(shí)現(xiàn)眼球中央?yún)^(qū)域高分辨率顯示的同時(shí),還聯(lián)合推出SMI Social Eye眼動(dòng)追蹤技術(shù),通過(guò)富有表現(xiàn)力和精準(zhǔn)的眼神接觸讓虛擬角色的交互更加可信。

本文將分別從技術(shù)發(fā)展和各領(lǐng)域應(yīng)用層面,對(duì)近年來(lái)VR 眼動(dòng)追蹤技術(shù)的應(yīng)用和研究進(jìn)行總結(jié)和分析,以期對(duì)這一新興技術(shù)在多學(xué)科領(lǐng)域的應(yīng)用前景提供有價(jià)值的參考。

1 VR眼動(dòng)追蹤技術(shù)的發(fā)展現(xiàn)狀

在技術(shù)層面VR 眼動(dòng)追蹤技術(shù)主要有以下兩方面應(yīng)用:圖像優(yōu)化渲染和頭顯設(shè)備優(yōu)化。

1.1 圖像優(yōu)化渲染

AR/VR 等場(chǎng)景對(duì)圖像計(jì)算渲染能力的要求極高,但是AR/VR 智能眼鏡的體積、重量、續(xù)航能力等因素都限制了其計(jì)算能力。利用眼動(dòng)追蹤技術(shù)可以獲取人眼的注視中心,從而使得計(jì)算機(jī)可以通過(guò)模擬人眼中央凹視錐細(xì)胞處理光影像的模式 (即注視中心外圍影像逐漸模糊的原理)進(jìn)行圖像渲染,讓用戶在使用近眼顯示設(shè)備時(shí)能體驗(yàn)到高清的、逼真的、且有景深的虛擬畫面。眼動(dòng)追蹤技術(shù)可實(shí)現(xiàn)將注視點(diǎn)映射到頭顯的屏幕上或真實(shí)的空間環(huán)境中,最終實(shí)現(xiàn)人眼視覺(jué)中心看哪里,就重點(diǎn)渲染注視點(diǎn)所在的區(qū)域,而其他外圍區(qū)域則可采用較少分辨率處理(較低的圖像質(zhì)量)。此舉將大大降低處理器的計(jì)算能力。

目前較為常用的圖像優(yōu)化渲染技術(shù)為固定注視點(diǎn)渲染 (Fixed Foveated Rendering,FFR),可以實(shí)現(xiàn)以較低的分辨率渲染鏡頭邊緣,而最新的基于眼動(dòng)追蹤注視點(diǎn)渲染 (ETFR)的外圍渲染像素相比FFR 還可減少4～16倍,并且注視點(diǎn)渲染的確切性能優(yōu)勢(shì)還取決于應(yīng)用的基本分辨率,分辨率越高,節(jié)省的成本就越大。例如丹麥眼動(dòng)追蹤公司The Eye Tribe 開(kāi)發(fā)的 “漏斗渲染”技術(shù)和SMI眼球追蹤破解“黃斑視覺(jué)”,正是基于人眼的視覺(jué)特點(diǎn),對(duì)眼球中央?yún)^(qū)域或?qū)τ脩粞劬ψ⒁暤牟糠?(焦點(diǎn))以全分辨率顯示,同時(shí)模糊周圍的畫面區(qū)域來(lái)減少渲染負(fù)擔(dān),這樣同樣的硬件配置可以達(dá)到更加優(yōu)秀的VR 畫面,此項(xiàng)技術(shù)將大幅節(jié)省計(jì)算機(jī)運(yùn)算資源,優(yōu)化設(shè)備的性能。在Meta對(duì)于他們的首款配備眼動(dòng)追蹤功能的量產(chǎn)頭顯Quest Pro設(shè)備的性能測(cè)試應(yīng)用程序中,發(fā)現(xiàn)在默認(rèn)分辨率下,FFR 基于 Foveation 水平渲染節(jié)省了 26% 至 36% 的性能,基于眼動(dòng)追蹤注視點(diǎn)渲染 (ETFR)可節(jié)省33% 至45%。索尼的PSVR2運(yùn)用Tobii眼動(dòng)追蹤技術(shù),稱其可以節(jié)省約72%[3]。

1.2 頭顯設(shè)備優(yōu)化

1.2.1 注視點(diǎn)顯示器

注視點(diǎn)渲染旨在更好地分配低細(xì)節(jié)外圍視覺(jué)和中央凹之間的計(jì)算能力,減輕系統(tǒng)負(fù)載,而同樣的效果也可以用于實(shí)際的像素?cái)?shù)目,即頭顯中顯示器的優(yōu)化。注視點(diǎn)顯示器不只是單純改變顯示器特定區(qū)域的渲染細(xì)節(jié),還能夠進(jìn)行物理移動(dòng),這樣無(wú)論用戶看向哪里,顯示器都能維持在用戶注視點(diǎn)的前方。注視點(diǎn)顯示器可以在VR 頭顯內(nèi)實(shí)現(xiàn)更高的分辨率,根據(jù)眼動(dòng)追蹤數(shù)據(jù)將較小的像素密度顯示器移動(dòng)到用戶的注視點(diǎn)位置。

1.2.2 變焦顯示器

在現(xiàn)實(shí)世界中,為了聚焦近處物體,眼睛的晶狀體會(huì)彎曲,令物體反射而來(lái)的光線到達(dá)視網(wǎng)膜上的合適位置,從而讓人們清晰地看到物體。對(duì)于距離較遠(yuǎn)的物體,光線則以不同的角度進(jìn)入眼睛,而晶狀體必須再次彎曲以確保光線聚焦在視網(wǎng)膜上。但VR 頭顯中的顯示屏由于始終與人眼保持固定的距離無(wú)法實(shí)現(xiàn)這一動(dòng)態(tài)聚焦的功能,也由此產(chǎn)生“專注-適應(yīng)-沖突”或稱為 “視覺(jué)輻輳調(diào)節(jié)沖突”的問(wèn)題。借助眼動(dòng)追蹤技術(shù),通過(guò)追蹤用戶眼睛注視點(diǎn)在虛擬場(chǎng)景中的移動(dòng)路徑,系統(tǒng)可以發(fā)現(xiàn)路徑相交的點(diǎn),從而建立適當(dāng)?shù)慕蛊矫?。接下?lái),系統(tǒng)可以將信息發(fā)送至顯示器以進(jìn)行相應(yīng)的調(diào)整,將焦點(diǎn)深度設(shè)置為匹配眼睛到對(duì)象的虛擬距離。

變焦顯示器不僅有利于解決 “專注-適應(yīng)-沖突”,改善用戶對(duì)深度信息的接收和處理,同時(shí)可以允許用戶聚焦更接近于他們的虛擬對(duì)象。早前已有研究人員使用眼動(dòng)追蹤技術(shù)模擬景深,近似對(duì)用戶眼睛焦平面之外的對(duì)象進(jìn)行模糊處理,未來(lái)將變焦顯示器集成于VR 頭顯設(shè)備中或許能帶來(lái)更為廣闊的發(fā)展[4]。

1.2.3 自動(dòng)用戶檢測(cè)與調(diào)整

除了檢測(cè)眼球運(yùn)動(dòng)之外,眼動(dòng)追蹤還可以作為生物識(shí)別器。這令眼動(dòng)追蹤成為在單一頭顯中處理多用戶配置文件的優(yōu)勢(shì)選擇:當(dāng)戴上頭顯時(shí),系統(tǒng)可以立即識(shí)別為特定用戶,并調(diào)出用戶的自定義環(huán)境、內(nèi)容庫(kù)、游戲進(jìn)度與設(shè)置;當(dāng)另一個(gè)用戶戴上頭顯時(shí),系統(tǒng)可以加載他們的偏好和保存的數(shù)據(jù)。眼動(dòng)追蹤也可用于精確測(cè)量?jī)裳壑g的距離(IPD)。確定IPD 對(duì)VR 中將透鏡和顯示器移動(dòng)至舒適和視覺(jué)質(zhì)量最佳的位置起重要作用。借助眼動(dòng)追蹤,VR 頭顯設(shè)備可告知用戶調(diào)整范圍,在更先進(jìn)的設(shè)備中,這可能是更加智能的過(guò)程:頭顯能夠無(wú)形地測(cè)量IPD,而且頭顯可以包含機(jī)動(dòng)IPD 調(diào)節(jié),自動(dòng)將透鏡移動(dòng)到正確的位置。

2 VR眼動(dòng)追蹤技術(shù)在視覺(jué)交互設(shè)計(jì)中的應(yīng)用

2.1 界面設(shè)計(jì)

眼動(dòng)追蹤技術(shù)運(yùn)用于界面交互中的理想狀態(tài)為用戶不需要做出顯性的輸入(如點(diǎn)擊),而是系統(tǒng)本身在用戶的瀏覽中提取出眼動(dòng)信息,并作出適應(yīng)性的變化,尤其在海量信息場(chǎng)景下,顯示內(nèi)容會(huì)隨著用戶視線的移動(dòng)進(jìn)行放大或壓縮,有助于節(jié)省帶寬。但如今的眼控界面交互還存在許多局限,例如無(wú)意米達(dá)斯接觸問(wèn)題——人在自然的瀏覽狀態(tài)中,經(jīng)常會(huì)有一些無(wú)意的眼跳或是眨眼,這些眼動(dòng)在眼動(dòng)交互中會(huì)觸發(fā)界面的變化,但事實(shí)上這些變化并不是用戶真正想要的。解決誤觸問(wèn)題一方面需要提升眼動(dòng)指標(biāo)的分析精度,將用戶的真正意圖和無(wú)意活動(dòng)相區(qū)分,另一方面可以進(jìn)行界面設(shè)計(jì)和交互形式上的優(yōu)化。通過(guò)統(tǒng)計(jì)用戶眼動(dòng)數(shù)據(jù),將容易誤觸的圖標(biāo)進(jìn)行空間分布上的遠(yuǎn)離,或?qū)D標(biāo)設(shè)計(jì)得面積更小,單一頁(yè)面中減少可交互選項(xiàng)等[5]。在VR 環(huán)境中,更合適的交互模式或許是將眼動(dòng)控制與其他輸入工具相結(jié)合:如手柄、語(yǔ)音、手勢(shì)等。

可行性相對(duì)較高的眼控交互如:注視觸發(fā)滾動(dòng),當(dāng)用戶注視落點(diǎn)比較靠近下/左方時(shí),自動(dòng)向上/右滾動(dòng),使用戶的視線處于最舒適的方向上,以提升用戶體驗(yàn);當(dāng)用戶注視某些特定元素時(shí)可產(chǎn)生拉近、放大、變清晰等局部變化,而視線離開(kāi)時(shí)恢復(fù)原狀。此類精度要求較低且不產(chǎn)生界面跳轉(zhuǎn)的交互形式或許更適合眼動(dòng)追蹤技術(shù)與VR 界面的結(jié)合運(yùn)用。從設(shè)計(jì)美觀性的角度也可以通過(guò)眼動(dòng)追蹤結(jié)合問(wèn)卷、訪談等形式進(jìn)行客觀與主觀相結(jié)合的用戶偏好調(diào)研,優(yōu)化界面設(shè)計(jì)。

2.2 游戲交互

眼動(dòng)追蹤技術(shù)同時(shí)十分有助于游戲開(kāi)發(fā)者了解玩家意圖和注意力[6]。尤其在恐怖游戲等需要強(qiáng)烈依靠注意力形成感官刺激的游戲設(shè)計(jì)中,可確保玩家看向觸發(fā)位置后再出現(xiàn)恐怖事件,避免玩家在VR 環(huán)境中的視線游蕩導(dǎo)致錯(cuò)過(guò)關(guān)鍵設(shè)計(jì)。

同時(shí),眼動(dòng)追蹤技術(shù)有利于玩家利用注視點(diǎn)更快、更輕松地完成目標(biāo)。如眼睛控制指定對(duì)象的“抓取”或 “投擲”會(huì)比手部運(yùn)動(dòng)更為精確。Tobii公司其中一個(gè)演示作品就是幫助用戶在VR 中投擲物品時(shí)提高自己的準(zhǔn)度。系統(tǒng)可以根據(jù)用戶注視點(diǎn)推斷他們想要拋出的位置,然后改變拋出物體的軌跡以實(shí)現(xiàn)精確的投擲,改善用戶體驗(yàn)感。

2.3 改善虛擬角色

如今越來(lái)越多的游戲或VR 應(yīng)用中出現(xiàn)更為逼真的虛擬形象,但往往它們的眼球運(yùn)動(dòng)如眨眼、掃視等都是通過(guò)前期動(dòng)畫制作時(shí)的表情捕捉或建模、編程邏輯實(shí)現(xiàn)。借助眼動(dòng)追蹤數(shù)據(jù),可以更為準(zhǔn)確和輕松地應(yīng)用到VR 虛擬角色中,從而顯示用戶何時(shí)眨眼、正看向哪里,尤其在具備社交屬性的游戲中,玩家可以互相推斷對(duì)方的游戲狀態(tài)甚至是情緒,有利于增強(qiáng)游戲沉浸感。例如,蘋果公司與德國(guó)眼動(dòng)公司SMI聯(lián)合推出的SMI Social Eye眼動(dòng)追蹤技術(shù),通過(guò)富有表現(xiàn)力和精準(zhǔn)的眼神接觸讓虛擬角色的交互更加可信。SMI Social Eye可精確追蹤VR頭顯用戶的眼動(dòng)注視方向,并實(shí)時(shí)映射至虛擬化身的眼睛。虛擬角色可以凝視、眨眼、使眼色以及通過(guò)瞳孔反應(yīng)來(lái)認(rèn)同他人,表達(dá)用戶的感受或表明其立場(chǎng)。

3 VR眼動(dòng)追蹤技術(shù)在學(xué)習(xí)領(lǐng)域的應(yīng)用

3.1 提供即時(shí)學(xué)習(xí)反饋

近年來(lái),虛擬現(xiàn)實(shí)已經(jīng)成為許多不同學(xué)習(xí)訓(xùn)練場(chǎng)景的有用工具,它的特性使其具備放大相關(guān)知識(shí)、對(duì)注意力狀態(tài)進(jìn)行良好的觀測(cè)等優(yōu)勢(shì),對(duì)焦慮、自閉癥、聽(tīng)力障礙的學(xué)習(xí)改善都能起到顯著作用。盡管VR+教育的普及還需要較長(zhǎng)時(shí)間,但不可否認(rèn)的是,將VR 技術(shù)應(yīng)用于學(xué)習(xí)的研究前景廣闊。VR學(xué)習(xí)從概念和設(shè)計(jì)角度上不僅有利于學(xué)生在虛擬環(huán)境中進(jìn)行“實(shí)操”、低成本、安全的虛擬實(shí)驗(yàn),還可以與抽象概念進(jìn)行互動(dòng),打破時(shí)空、教育資源限制等,從實(shí)際學(xué)習(xí)效果角度出發(fā),運(yùn)用眼動(dòng)追蹤技術(shù)可以進(jìn)行有力輔助和驗(yàn)證。

眼動(dòng)指標(biāo)主要包括時(shí)間、空間和數(shù)量三個(gè)維度,每一種維度都可以用于檢測(cè)不同的學(xué)習(xí)狀態(tài)和效果反饋,在VR 環(huán)境中,隨著用戶的沉浸感、交互性更強(qiáng),探究VR 環(huán)境下的注視即時(shí)狀態(tài)可以通過(guò)注視時(shí)間、注視次數(shù)、眼跳次數(shù)等反映。通過(guò)注視位置、注視順序、回視頻率等指標(biāo)有利于設(shè)計(jì)者改善內(nèi)容編排、調(diào)整難度設(shè)置等。再結(jié)合后測(cè),通過(guò)測(cè)驗(yàn)驗(yàn)證VR 學(xué)習(xí)效果,研究VR 對(duì)瞬時(shí)記憶、長(zhǎng)期記憶、專注程度、理解程度等學(xué)習(xí)效果的長(zhǎng)遠(yuǎn)影響。有研究表明VR 環(huán)境中視聽(tīng)感官體驗(yàn)?zāi)軌蛱嵘龑W(xué)習(xí)者的情感投入,有助于促進(jìn)深度取向的學(xué)習(xí)投入,也可通過(guò)測(cè)驗(yàn)進(jìn)行驗(yàn)證。

3.2 提升運(yùn)動(dòng)效果

現(xiàn)有研究已經(jīng)表明,VR 在體育訓(xùn)練中可以起到積極作用,在體育技能習(xí)得中,VR 向現(xiàn)實(shí)世界的轉(zhuǎn)化有積極效果。另外在體育運(yùn)動(dòng)中通過(guò)有針對(duì)性的VR 環(huán)境訓(xùn)練還可起到提高運(yùn)動(dòng)員的積極性和減少主觀緊張感的作用[7]。

單一利用眼動(dòng)追蹤技術(shù)在以往的體育場(chǎng)景應(yīng)用中容易受到一個(gè)視覺(jué)感知測(cè)量的問(wèn)題——眼動(dòng)追蹤設(shè)備只分析中央凹區(qū)域信息,而不分析隱形注意信息(外圍信息)。然而在虛擬環(huán)境中,可以通過(guò)遮擋參與者的視線范圍,使其聚焦于中央凹信息,對(duì)于提升眼力相關(guān)的運(yùn)動(dòng)有顯著效果。例如,一個(gè)虛擬的手球投擲者和手球守門員必須預(yù)測(cè)球的軌跡。因此,VR 應(yīng)用是實(shí)現(xiàn)凝視訓(xùn)練概念的一種預(yù)定方法,可以優(yōu)化或增強(qiáng)體育活動(dòng)中的凝視行為。將眼動(dòng)追蹤設(shè)備集成于VR 頭顯內(nèi)可以通過(guò)視覺(jué)感知和眼肌運(yùn)動(dòng)訓(xùn)練增強(qiáng)眼力、形成更快的感覺(jué)處理和更準(zhǔn)確的肢體與眼協(xié)調(diào)動(dòng)作,并降低受傷的風(fēng)險(xiǎn)[8]。并且與傳統(tǒng)系統(tǒng)相比,VR 中的集成眼動(dòng)追蹤設(shè)備可以有效避免運(yùn)動(dòng)主體快速移動(dòng)時(shí),眼動(dòng)儀相對(duì)于頭部的位置偏移,對(duì)于運(yùn)動(dòng)情境下的凝視行為分析、訓(xùn)練可以起到重要作用。

4 VR眼動(dòng)追蹤技術(shù)的應(yīng)用分析

4.1 可行性及優(yōu)勢(shì)

4.1.1 自然的刺激與運(yùn)動(dòng)

在虛擬現(xiàn)實(shí)中,仍然保留被試主體自由運(yùn)動(dòng)的空間,并且處于一個(gè)相對(duì)自然的環(huán)境中,使受試者感覺(jué)就像在現(xiàn)實(shí)世界中一樣。通過(guò)移動(dòng)頭部,可以向各個(gè)方向看而非傳統(tǒng)實(shí)驗(yàn)中的單一面向屏幕。

除頭部運(yùn)動(dòng)外,通過(guò)身體動(dòng)作和提供給眼睛的圖像相同步,可以達(dá)到主體與虛擬環(huán)境的高度沉浸感。通過(guò)向感官提供有關(guān)該環(huán)境的信息,受試者獲得了在非物理環(huán)境中的存在感[5]。監(jiān)控沉浸感在虛擬環(huán)境中尤為重要,因?yàn)槌两锌梢栽谝欢ǔ潭壬戏从吵鎏摂M體驗(yàn)的質(zhì)量。眼球運(yùn)動(dòng)已被發(fā)現(xiàn)與虛擬環(huán)境的沉浸或非沉浸性質(zhì)相關(guān)。有研究表明,在沉浸狀態(tài)(玩電腦游戲)下,參與者的眼球運(yùn)動(dòng),即每秒鐘注視的次數(shù),隨著時(shí)間的推移顯著減少,而在非沉浸狀態(tài) (點(diǎn)擊任務(wù))下,隨著時(shí)間的推移顯著增加,分別反映了參與者的專注和分心狀態(tài)。

眼動(dòng)追蹤技術(shù)的介入,有利于對(duì)虛擬環(huán)境和視覺(jué)元素的沉浸性設(shè)計(jì)做出論證,促進(jìn)了人機(jī)交互過(guò)程中更自然的相互刺激作用。

4.1.2 可控的環(huán)境與精確的數(shù)據(jù)收集

虛擬現(xiàn)實(shí)場(chǎng)景使得實(shí)驗(yàn)人員可以隨時(shí)調(diào)整實(shí)驗(yàn)設(shè)置,相比現(xiàn)實(shí)世界具有更為可控的實(shí)驗(yàn)環(huán)境。并且隨著智能手機(jī)等設(shè)備上的小型高質(zhì)量攝像頭的發(fā)展,現(xiàn)在有更加小巧方便的眼動(dòng)跟蹤系統(tǒng),可以裝進(jìn)VR 頭盔的眼動(dòng)追蹤設(shè)備或便攜式眼鏡。它們可以快速且準(zhǔn)確地監(jiān)測(cè)眼球運(yùn)動(dòng),并提供相當(dāng)數(shù)量的數(shù)據(jù)。眼動(dòng)追蹤技術(shù)與VR 的結(jié)合,使得在頭部運(yùn)動(dòng)的同時(shí),刺激的位置與受試者的位置關(guān)系,整個(gè)身體的動(dòng)作如轉(zhuǎn)向物體,甚至走路都可以被高精度地測(cè)量出來(lái)。由于眼球運(yùn)動(dòng)與認(rèn)知之間的密切關(guān)系[9],在各種各樣的實(shí)驗(yàn)設(shè)置中,眼動(dòng)技術(shù)已經(jīng)得到越來(lái)越多的關(guān)注[10]。

與現(xiàn)實(shí)世界的眼動(dòng)追蹤不同,在VR 中應(yīng)用眼動(dòng)追蹤更容易在3D 空間中定義感興趣的區(qū)域,并跟蹤時(shí)間點(diǎn)以確定該區(qū)域何時(shí)被注視。眼動(dòng)追蹤技術(shù)和VR 的結(jié)合使得計(jì)算3D 空間中被測(cè)者的凝視,并觀察被測(cè)者在觀察過(guò)程中的注視位置成為可能。

4.2 局限及困境

4.2.1 VR 技術(shù):暈動(dòng)癥、疲勞、專注-適應(yīng)-沖突

暈動(dòng)癥是目前VR 應(yīng)用過(guò)程中常見(jiàn)的較大問(wèn)題,暈動(dòng)癥狀的產(chǎn)生通常是由視覺(jué)和前庭神經(jīng)刺激不一致引起的。在VR 中,眼睛檢測(cè)到虛擬場(chǎng)景中的運(yùn)動(dòng)和玩家的身體運(yùn)動(dòng),而現(xiàn)實(shí)世界中的人在大多數(shù)情況下是坐在椅子上。這種來(lái)自眼睛的輸入和來(lái)自前庭系統(tǒng)的輸入之間的差異是VR 中暈動(dòng)癥的主要原因。然而,在現(xiàn)實(shí)世界中實(shí)現(xiàn)虛擬世界的客觀運(yùn)動(dòng),如能夠四處走動(dòng)或使用更大、更復(fù)雜的場(chǎng)景是很困難的,并且與傳統(tǒng)顯示器相比,虛擬現(xiàn)實(shí)中的受試者對(duì)微小的干擾要更為敏感。改善VR 體驗(yàn)中的暈動(dòng)癥狀目前主要有三種思路: (1)限制時(shí)長(zhǎng),縮短單次時(shí)間,增加實(shí)驗(yàn)次數(shù);(2)尋找一種更自然的方式在虛擬空間移動(dòng);(3)給受試者設(shè)置任務(wù)以分散對(duì)暈的注意。對(duì)于暈動(dòng)問(wèn)題尚且沒(méi)有根本上的解決辦法,只能盡量通過(guò)其他方式盡量規(guī)避或提升用戶體驗(yàn)感。

除暈動(dòng)癥外,長(zhǎng)時(shí)間佩戴厚重的頭顯和耳機(jī)會(huì)讓受試者感到疲勞,不僅是眼疲勞、聽(tīng)覺(jué)疲勞,還有由于設(shè)備重量帶來(lái)的脖子疼痛、鼻子壓力等。此外在夏天,厚重的設(shè)備會(huì)讓佩戴者感到炎熱,同時(shí)汗水還會(huì)帶來(lái)一定的衛(wèi)生問(wèn)題。

虛擬現(xiàn)實(shí)的另一個(gè)挑戰(zhàn)是發(fā)散和專注之間的差異,被稱為專注-適應(yīng)-沖突[11]。在現(xiàn)實(shí)世界中,我們的大腦從聚合和眼睛晶狀體的焦點(diǎn)接收深度信息。相比之下,我們?cè)赩R 中只接收到關(guān)于收斂的信息。由于虛擬場(chǎng)景只在一個(gè)固定距離的平面上呈現(xiàn),人們無(wú)法從鏡頭的焦點(diǎn)中提取任何深度信息。由于無(wú)法獲取深度信息,人們會(huì)因此有較弱的3D體驗(yàn),同時(shí)它還會(huì)加劇疲勞感。

4.2.2 眼動(dòng)追蹤技術(shù):眼動(dòng)儀校驗(yàn)與色彩靈敏度

在進(jìn)行眼動(dòng)測(cè)量時(shí),校準(zhǔn)和驗(yàn)證是確保準(zhǔn)確性的常用做法。在這兩種模式下,屏幕上將在不同位置顯示多個(gè)目標(biāo)點(diǎn),要求受試者專注于這些目標(biāo)點(diǎn)。在校準(zhǔn)過(guò)程中,眼球跟蹤器使用這些目標(biāo)作為參考點(diǎn)來(lái)調(diào)整其凝視計(jì)算,以匹配被測(cè)對(duì)象正在看的位置。由于不可避免的頭部運(yùn)動(dòng),眼動(dòng)跟蹤的精度會(huì)慢慢下降,例如,在VR 實(shí)驗(yàn)中,頭顯設(shè)備會(huì)不可避免地在受試者頭上輕微滑動(dòng)。因此,在實(shí)驗(yàn)中每隔5～10分鐘都有必要進(jìn)行眼動(dòng)儀校驗(yàn)。然而,校驗(yàn)的過(guò)程會(huì)在一定程度上干擾實(shí)驗(yàn)設(shè)置,降低受試者體驗(yàn)感。目前的可行解決方案是利用平滑追蹤,通過(guò)角膜和屏幕空間的軌跡相匹配,通過(guò)學(xué)習(xí)高斯回歸模型進(jìn)行實(shí)時(shí)自動(dòng)校驗(yàn)。

眼動(dòng)儀還存在對(duì)眼球顏色的靈敏度不同的問(wèn)題[12]。通常顏色較亮的眼睛顏色比深色眼睛的追蹤效果好,這也會(huì)對(duì)數(shù)據(jù)準(zhǔn)確性造成一定影響。

4.2.3 技術(shù)綜合應(yīng)用時(shí)的新問(wèn)題

除上述局限外,將眼動(dòng)追蹤技術(shù)應(yīng)用于VR 可能會(huì)產(chǎn)生以下幾個(gè)新問(wèn)題需要注意:

第一,不同的軟件常常會(huì)使用不同的坐標(biāo)系統(tǒng)。將眼動(dòng)追蹤軟件的數(shù)據(jù)與3D 引擎的數(shù)據(jù)結(jié)合起來(lái),并使用另一種軟件分析這些數(shù)據(jù)時(shí),必須注意這些形式上的差異。很多時(shí)候,x、y和z在不同程序中并不表示相同維度,離線分析數(shù)據(jù)時(shí)也需要考慮這一點(diǎn)。

第二,不同應(yīng)用程序的幀速率也存在差異,運(yùn)行VR 應(yīng)用程序的游戲引擎幀率通常比眼球追蹤器低。3D 應(yīng)用程序中的幀率也會(huì)根據(jù)所看到的對(duì)象而變化,當(dāng)看到一個(gè)非常復(fù)雜的物體時(shí),它會(huì)突然下降,而當(dāng)看到一個(gè)簡(jiǎn)單的物體時(shí),它會(huì)迅速上升。在大型沉浸式3D 環(huán)境中,幀率下降是難以避免的,要盡量保持VR 場(chǎng)景和眼動(dòng)儀幀率的同步和一致[13]。

第三,三維場(chǎng)景中的眼動(dòng)跟蹤沒(méi)有二維中清晰,在VR 環(huán)境下區(qū)分凝視、掃視、平滑追蹤、眼球震動(dòng)等行為時(shí)不如2D 屏幕前明確。這對(duì)眼動(dòng)儀的精度和數(shù)據(jù)運(yùn)算提出了更高的要求。

5 總結(jié)與展望

VR 眼動(dòng)的應(yīng)用不僅能提供大量有價(jià)值的數(shù)據(jù),同時(shí)可以很好地模擬現(xiàn)實(shí)世界,并給受試者相對(duì)自由地移動(dòng)的可能性。在虛擬環(huán)境中,它比以往的實(shí)驗(yàn)室環(huán)境更接近自然條件,又比在現(xiàn)實(shí)世界中進(jìn)行的研究更具有控制性。這使它成為一個(gè)非常有價(jià)值的工具,在探索空間導(dǎo)航領(lǐng)域和許多其他領(lǐng)域都有廣泛的應(yīng)用前景。

眼動(dòng)追蹤技術(shù)的應(yīng)用,及未來(lái)可能的與動(dòng)作捕捉技術(shù)相結(jié)合,可以為研究人員提供大量關(guān)于受試者在虛擬環(huán)境中的行為信息。這使得分析研究對(duì)象的行為與所看事物之間的關(guān)系成為可能。此外,3D熱圖也為可視化此種研究方式提供寶貴工具。在展示研究或構(gòu)建新假設(shè)時(shí),通過(guò)在3D 模型中可視化凝視模式,有利于更加清晰地展現(xiàn)實(shí)驗(yàn)結(jié)果,進(jìn)一步優(yōu)化實(shí)驗(yàn)。同時(shí),眼動(dòng)技術(shù)在VR 研究領(lǐng)域的應(yīng)用目前還處于初步階段,仍面臨許多技術(shù)局限。

首先是暈動(dòng)癥的問(wèn)題,由于生理本能的障礙,暈動(dòng)問(wèn)題無(wú)法得到根除,只能嘗試尋找到盡量低延遲、規(guī)避不適移動(dòng)方式的設(shè)計(jì)方法進(jìn)行不斷優(yōu)化。

其次是眼動(dòng)設(shè)備自身的局限性,實(shí)驗(yàn)過(guò)程中無(wú)法保證被試者一直正確佩戴眼動(dòng)設(shè)備,且眼動(dòng)儀需要校驗(yàn),存在校驗(yàn)后不能移動(dòng)設(shè)備、不同顏色眼睛的不同靈敏度等局限,但隨著未來(lái)技術(shù)的進(jìn)一步發(fā)展,自動(dòng)校驗(yàn)等技術(shù)的成熟會(huì)顯著改善如今存在的問(wèn)題。

最后是VR 中的行為與現(xiàn)實(shí)世界的類比性目前還有待進(jìn)一步探討。盡管相較于傳統(tǒng)實(shí)驗(yàn)室二維屏幕上的實(shí)驗(yàn),VR 場(chǎng)景與現(xiàn)實(shí)世界相似度更高,但其仍存在較大差異。如屏幕中央的分辨率更高[14];信息從同一平面給出,到眼睛的距離相同所導(dǎo)致的深度信息獲取缺失等不同。而且,如今還無(wú)法良好地在現(xiàn)實(shí)世界中匹配VR 場(chǎng)景的自然行走,技術(shù)的局限也使人們期待著未來(lái)無(wú)線VR 設(shè)備、眼動(dòng)追蹤設(shè)備、全方位跑步機(jī)、手部跟蹤等技術(shù)的進(jìn)一步成熟。

眼動(dòng)追蹤技術(shù)在虛擬空間中遠(yuǎn)不僅限于VR 領(lǐng)域,還可以拓展到混合現(xiàn)實(shí) (MR)、擴(kuò)展現(xiàn)實(shí)(XR)等更多方面。如今,在虛擬空間的可用性研究中,眼動(dòng)追蹤功能利用其平均注視時(shí)間、視線追隨等指標(biāo)已經(jīng)從對(duì)用戶注意力的診斷性評(píng)估逐漸轉(zhuǎn)變?yōu)閷?duì)用戶與界面之間交互的檢查,從而為可用性評(píng)估提供更多有價(jià)值的信息。時(shí)間、空間和計(jì)數(shù)指標(biāo)可以幫助我們了解用戶對(duì)三維場(chǎng)景的關(guān)注情況及沉浸程度。在大多數(shù)研究中,使用的眼動(dòng)追蹤僅限于注視時(shí)間和注視次數(shù),未來(lái)的研究還可考慮采用更廣泛的眼動(dòng)測(cè)量方法,可試圖尋求建立具體的時(shí)間、空間、計(jì)數(shù)測(cè)量與可用性、視覺(jué)注意力、認(rèn)知、情感、沉浸感等維度的關(guān)系。眼動(dòng)追蹤技術(shù)的綜合運(yùn)用對(duì)于圖像渲染、優(yōu)化頭顯設(shè)備、改善視覺(jué)交互、實(shí)時(shí)檢測(cè)學(xué)習(xí)效果、提升運(yùn)動(dòng)成績(jī)等眾多領(lǐng)域都有重要作用。未來(lái),在VR、MR、XR 等環(huán)境中使用眼動(dòng)追蹤設(shè)備開(kāi)展研究有廣闊前景和更大空間。