李一帆，顏玢玢，王 鵬，陳 鐸，王葵如，桑新柱，趙思銘

（北京郵電大學(xué) 電子工程學(xué)院，北京 100876）

1 引 言

三維顯示技術(shù)能提供深度沉浸和臨場體驗(yàn)，其應(yīng)用領(lǐng)域包括電影、游戲、醫(yī)療等［1-2］。但是3D顯示技術(shù)使用戶在獲得逼真臨場感、沉浸感的同時(shí)也會帶來不可忽視的副作用，例如長時(shí)間觀看3D 內(nèi)容會使觀看者出現(xiàn)諸如頭暈、惡心等不適癥狀，這些不良的影響被稱為3D 視覺疲勞，是一種由過度的雙眼視差和輻輳-調(diào)節(jié)不匹配［3］造成的眼部亞健康狀態(tài)。3D 視覺疲勞嚴(yán)重阻礙了3D 顯示的發(fā)展，例如3D 電影、A/VR［4-5］游戲等。3D 視疲勞的發(fā)生直接影響用戶的體驗(yàn)感，嚴(yán)重時(shí)甚至?xí)p傷雙眼。因此，3D 視疲勞評估成為近年來的一個重要課題。

視疲勞癥狀可以通過主觀感受［6］和客觀指標(biāo)［7-16］進(jìn)行評估。主觀感受涵蓋視覺疲勞、身體疲勞、暈動病等，可以采用主觀問卷的方式得到。然而在真實(shí)應(yīng)用場景中，每個人的評價(jià)標(biāo)準(zhǔn)無法統(tǒng)一，存在較強(qiáng)的個人片面性，缺乏客觀性。因此，增加客觀指標(biāo)衡量視疲勞程度是必要的。對視疲勞的客觀評估大多通過眼動行為和腦電信號進(jìn)行分析，然而腦電實(shí)驗(yàn)因其設(shè)備昂貴、操作復(fù)雜等［17-23］難以廣泛應(yīng)用。相較于腦電信號儀，眼動儀因其無接觸的特性得以靈活運(yùn)用在現(xiàn)實(shí)場景。眼球作為中樞神經(jīng)系統(tǒng)的一部分，可以反映人類的喚醒狀態(tài)。Jansen 等人使用掃視幅度與注視時(shí)長作為評估指標(biāo)［8］。與掃視幅度或注視時(shí)間不同，Di Stasi 等人認(rèn)為掃視速度不受自主控制，因此可能比注視等參數(shù)更準(zhǔn)確地代表潛在的神經(jīng)活動［9-10］。Macknik 等人觀察到視覺注意力會影響注視時(shí)的微掃視［11］。

以上這些研究僅評估單一眼動行為與視疲勞的關(guān)系，然而在實(shí)際場景中，如醫(yī)療中的3D 影像以及進(jìn)行A/VR 游戲等，觀看者受任務(wù)驅(qū)使，往往對眼動行為進(jìn)行更多自主控制，導(dǎo)致眼動行為更加復(fù)雜，僅通過單一的眼動指標(biāo)難以準(zhǔn)確衡量3D 視疲勞。如眨眼頻率，此類眼動行為較易受自主控制。在視覺疲勞初期，受試者往往能通過主動調(diào)控減少眨眼頻率，導(dǎo)致眨眼頻率隨視覺疲勞的變化曲線呈非單調(diào)的特性，從而影響對視覺疲勞的準(zhǔn)確判斷。因此，在任務(wù)驅(qū)動下觀看3D 內(nèi)容時(shí)，單一的眼動行為無法對視疲勞進(jìn)行準(zhǔn)確評估，采用多種眼動特征進(jìn)行聯(lián)合建模［24］是非常必要的。

本文在重復(fù)任務(wù)驅(qū)動下觀看3D 視頻以更快地喚起受試者不同程度的疲勞。實(shí)驗(yàn)過程中通過問卷調(diào)查得到受試者主觀0～3 四個等級的疲勞分?jǐn)?shù)，并采用眼動儀實(shí)時(shí)記錄受試者的眼動數(shù)據(jù)。實(shí)驗(yàn)結(jié)束后，對眼動儀采集到的眼動數(shù)據(jù)進(jìn)行整理，通過對客觀眼動行為與主觀疲勞等級的相關(guān)性分析得到16 種可以表征視疲勞的客觀眼動特征，并利用神經(jīng)網(wǎng)絡(luò)建立客觀特征與主觀疲勞等級之間的數(shù)學(xué)模型。模型對3D 視疲勞的等級預(yù)測準(zhǔn)確率達(dá)到82%，證明了本文所建立模型的有效性。通過該模型，可以實(shí)現(xiàn)對3D 視疲勞的實(shí)時(shí)監(jiān)測，避免不健康觀看對眼睛造成的不可逆損傷。

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)刺激

作為實(shí)驗(yàn)刺激材料的3D 視頻內(nèi)容為4 段多人傳小球視頻，如圖1 所示。圖片的標(biāo)簽對應(yīng)實(shí)驗(yàn)過程中刺激材料的播放順序，分別為4 人、3 人、2 人、4 人互相傳球。在傳球過程中，成員需要隨機(jī)交換位置并在移動過程中隨機(jī)將球拋給任意其他成員。

圖1 實(shí)驗(yàn)刺激材料內(nèi)容Fig.1 Contents of experimental stimulus

刺激材料的制作方法如圖2（a）所示。采用兩個水平放置的相機(jī)進(jìn)行拍攝，兩個攝像機(jī)的光學(xué)中心位于同一水平線上，光軸彼此平行，使得拍攝的圖像只有水平視差而沒有垂直視差。兩攝像機(jī)水平間隔25 cm，表演者在攝像機(jī)的5～6 m范圍內(nèi)，拍攝4 段4 min 的視頻。將拍攝的視頻進(jìn)行渲染合成后，通過柱透鏡光柵立體顯示器（685.8 mm（27 in），1 920 像素×1 024 像素分辨率，60 Hz 刷新率）呈現(xiàn)［25-27］，如圖2（b）所示。

圖2 實(shí)驗(yàn)刺激的制作。（a）采用兩個平行擺設(shè)的相機(jī)拍攝立體圖像；（b）合成視頻通過光柵立體顯示器播放。Fig.2 Production of experimental stimuli.（a）Using two parallel cameras to capture stereoscopic images；（b）Synthesized videos played on the 3D display based on LLA.

2.2 受試者

受試者為北京郵電大學(xué)17 名健康的學(xué)生（平均年齡：23 歲；范圍：21～26 歲；其中男性9 人，女性8 人）并在招募前給予知情同意。實(shí)驗(yàn)開始前進(jìn)行視力和立體視力測試以確保所有參與者視力正常。

2.3 實(shí)驗(yàn)設(shè)置和流程

實(shí)驗(yàn)場景如圖3 所示。本實(shí)驗(yàn)使用的眼動儀為Tobii Pro Spectrum，其眼動追蹤技術(shù)為雙傳感器雙眼立體采集，可以準(zhǔn)確測量視線信息及其三維空間中的位置，采樣頻率為300 Hz，理想條件下精確度和準(zhǔn)確度分別可以達(dá)到0.01°均方根值（RMS）和0.3°。在實(shí)驗(yàn)過程中，眼動儀保持23°的傾角，與屏幕的距離保持60 cm。

圖3 實(shí)驗(yàn)場景Fig.3 Experimental scenarios

受試者坐在距離屏幕130 cm 處，在實(shí)驗(yàn)期間盡可能保持身體靜止而眼球可以自由運(yùn)動。

實(shí)驗(yàn)室照明條件為300 lx，無眩光。在觀看任務(wù)之前，受試者被要求進(jìn)行2 min 的測試以確認(rèn)視力正常，眼動儀可以在誤差允許范圍內(nèi)記錄受試者眼動情況。之后，受試者休息5 min 以將自己的狀態(tài)調(diào)整到舒適的水平。實(shí)驗(yàn)過程如圖4所示，其中藍(lán)色部分代表4 段3D 視頻刺激材料，具體刺激內(nèi)容如圖1 所示。白色部分表示在每段視頻觀看結(jié)束后，進(jìn)行30 s 問卷調(diào)查，得到受試者的主觀疲勞等級。為了更直觀地比較眼球運(yùn)動的變化，第一段和第四段采用了相同的視頻。每個實(shí)驗(yàn)持續(xù)18 min，受試者直到實(shí)驗(yàn)結(jié)束才休息。眼動儀在整個觀看過程中記錄眼球運(yùn)動數(shù)據(jù)。為方便后續(xù)分析，將數(shù)據(jù)進(jìn)行分段處理。由于平均注視時(shí)長大多在300～500 ms 之間，為保證數(shù)據(jù)段內(nèi)注視數(shù)據(jù)和掃視數(shù)據(jù)的可分析性，以10 s 為單位對數(shù)據(jù)進(jìn)行劃分。

表4 catboost 模型參數(shù)設(shè)置Tab.4 Catboost model parameter settings

圖4 實(shí)驗(yàn)流程Fig.4 Procedure of experiment

本實(shí)驗(yàn)為任務(wù)驅(qū)動，因此在視頻觀看期間，受試者被要求計(jì)數(shù)指定目標(biāo)人物的接球次數(shù)，并在每段視頻后將計(jì)數(shù)結(jié)果告知研究人員。為保證受試者達(dá)到一定的視覺疲勞但又不會對參與者造成傷害，實(shí)驗(yàn)設(shè)置近距離觀看時(shí)長為16 min。在實(shí)驗(yàn)結(jié)束后，所有的受試者都表示他們的眼睛非常疲勞，達(dá)到了實(shí)驗(yàn)?zāi)康摹?/p>

2.4 實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)需要采集主觀評價(jià)分?jǐn)?shù)與客觀眼動指標(biāo)。主觀評價(jià)采用主觀問卷的方法，評價(jià)項(xiàng)目包括“模糊”、“眼痛”、“眼干”、“眩暈”、“惡心”、“體勞”，采用4 分制打分，打分越高癥狀越明顯。主觀打分量表如表1 所示。對以上6 個結(jié)果分?jǐn)?shù)進(jìn)行加權(quán)平均，得出最終的視覺疲勞水平。

客觀眼動指標(biāo)包括注視、掃視、眨眼等行為，其中注視指人眼在屏幕上某點(diǎn)做一段時(shí)間的停留，掃視指人眼在兩個注視點(diǎn)之間快速移動，眨眼指人眼快速或緩慢的張開閉合。以上眼動指標(biāo)可通過眼動儀進(jìn)行采集，眼動儀采樣頻率為300 Hz，記錄的數(shù)據(jù)包括人眼的瞳孔直徑、人眼相對屏幕左上角的三維空間坐標(biāo)和在屏幕上的注視點(diǎn)坐標(biāo)以及注視、掃視、眨眼3 種有用眼動類型及其對應(yīng)的時(shí)間戳。

對眼動儀導(dǎo)出的數(shù)據(jù)進(jìn)行整理，以10 s 分段，通過對3 種眼動類型進(jìn)行次數(shù)統(tǒng)計(jì)，得到10 s內(nèi)注視次數(shù)、掃視次數(shù)和眨眼次數(shù)。根據(jù)各眼動類型對應(yīng)的時(shí)間戳，通過計(jì)算開始和結(jié)束的時(shí)間戳之差，得到總注視時(shí)長、平均注視時(shí)長、總掃視時(shí)長、平均掃視時(shí)長、總眨眼時(shí)長、平均眨眼時(shí)長。根據(jù)人眼在屏幕上的注視點(diǎn)像素坐標(biāo)，通過計(jì)算相鄰兩注視點(diǎn)間的歐氏距離，得到總掃視長度、平均掃視長度、掃視角度。通過眼睛在注視點(diǎn)處的微掃視像素坐標(biāo)，計(jì)算所有微掃視點(diǎn)相對中心點(diǎn)的歐式距離得到微掃視指標(biāo)。根據(jù)掃視時(shí)長和掃視長度，得到掃視速度。此外，眼動儀可直接得到左右眼瞳孔直徑。通過處理，可以得到以10 s為單位的16 種客觀眼動特征。

3 特征分析與建模

3.1 16 種眼動行為隨視疲勞的變化趨勢

完成整個實(shí)驗(yàn)流程之后，對受試者觀看4 個視頻片段時(shí)采集到的眼動數(shù)據(jù)進(jìn)行分析整理，得到16 種眼球運(yùn)動指標(biāo)在4 段視頻內(nèi)的平均值，如表2 所示。最后一列顯示了眼動數(shù)據(jù)的變化趨勢，包括向上、向下和波動。

（1）注視指標(biāo)。注視描述了眼睛在某一區(qū)域相對靜止的眼動行為［7-8］。本文分析了3 個注視指標(biāo)，即注視次數(shù)、總注視時(shí)長和平均注視時(shí)長。根據(jù)表2 的結(jié)果，總注視時(shí)長和平均注視時(shí)長都呈下降趨勢，表明受試者越來越難瞄準(zhǔn)目標(biāo)且無意義的掃視活動逐漸增加。注視次數(shù)保持在19～21 之間波動的變化不明顯，可能是受試者主觀調(diào)控的原因。

（2）掃視指標(biāo)。掃視是指連接注視點(diǎn)的最佳視覺搜索指標(biāo)［9-10］。本文分析了8 個掃視指標(biāo)：3 個距離相關(guān)指標(biāo)——平均掃視長度、總掃視長度和掃視角度；3 個時(shí)間相間相關(guān)指標(biāo)——平均掃視時(shí)長、總掃視時(shí)長和掃視次數(shù)；速度指標(biāo)——掃視速度；與注視相關(guān)的指標(biāo)——注視時(shí)的微掃視［11-14］。如表2 所示，掃視長度的變化趨勢呈波動狀，這可能與實(shí)驗(yàn)設(shè)計(jì)有關(guān)。由于實(shí)驗(yàn)是任務(wù)驅(qū)動型，受試者需要計(jì)算目標(biāo)對象的接球次數(shù)，因此不同于自由觀看，球和目標(biāo)對象的移動會影響受試者的眼球運(yùn)動軌跡。本文將掃視角度定義為-180°～180°，其中負(fù)值表示向下掃視，因此掃視角度呈上升趨勢，表明隨著視疲勞增加，人眼會逐漸傾向于向上掃視。此外，掃視持續(xù)時(shí)間增加，表明受試者無意義的掃視活動增多，無法很好地捕捉物體，表明視覺疲勞加重。掃視速度呈下降趨勢，表明疲勞會降低中樞神經(jīng)系統(tǒng)的活性［10］。微掃視指標(biāo)指的是振幅最大、速度最快的注視型眼動，是在人眼試圖注視時(shí)產(chǎn)生的一種不自主的眼球運(yùn)動。在文獻(xiàn)［11］中提到，注意力等認(rèn)知過程可以調(diào)節(jié)微掃視的產(chǎn)生，從而在不同的時(shí)間點(diǎn)動態(tài)地增強(qiáng)或抑制視覺信息。微掃視的增加可能是由于受試者的疲勞加劇，以至于注視時(shí)掃視增多，無法很好地凝視一點(diǎn)。在以上所有掃視指標(biāo)中，掃視長度較易受到實(shí)驗(yàn)任務(wù)的影響，掃視時(shí)間、掃視速度和微掃視受自主性控制相對較少，因此它們可以更準(zhǔn)確地表示潛在的神經(jīng)活動。

表2 4 個視頻片段內(nèi)眼動特征的平均值及變化趨勢Tab.2 Average values and the trend of each 4-segment videos eye movement

（3）眨眼指標(biāo)。本文分析了3 個眨眼指標(biāo)——眨眼次數(shù)、總眨眼時(shí)間和平均眨眼時(shí)間。如表2 所示，眨眼持續(xù)時(shí)間呈增加趨勢，與相關(guān)神經(jīng)元放電速率降低有關(guān)［15］。而眨眼次數(shù)呈先增加后減少趨勢，眨眼次數(shù)減少可能受自主控制影響。

（4）瞳孔直徑。如表2 所示，瞳孔直徑先增大后減小。根據(jù)疲勞對瞳孔變化影響的研究［16］，工作負(fù)荷的增加導(dǎo)致主動疲勞（由知覺活動的協(xié)調(diào)參與引起的疲勞），從而導(dǎo)致瞳孔直徑的增加。長時(shí)間工作會導(dǎo)致被動疲勞（由長期單調(diào)反應(yīng)引起的疲勞），并導(dǎo)致瞳孔直徑縮小。

3.2 16 種眼動特征與視疲勞的相關(guān)性

在模型建立之前，根據(jù)16 個眼動特征與主觀疲勞的相關(guān)性對眼動特征進(jìn)行排序。本文使用兩種嵌入式特征評估方法：隨機(jī)森林［28］（RF）和catboost 集成樹模型。隨機(jī)森林是經(jīng)典的基于bagging 方式做集成來提升基本決策樹模型性能的集成模型；Catboost是2017年發(fā)布的基于boosting 方式逐步迭代決策樹模型來提高擬合效果的并行計(jì)算模型，能很好地處理類別特征。

本文在數(shù)據(jù)集上完成隨機(jī)森林（RF）和catboost 模型的訓(xùn)練后，可以獲得每個特征對模型的重要性排名，排名越高，特征就越重要。表3 列出了不同評估指標(biāo)下所有眼動特征的排名。RF和catboost 的排名有一定的相似性。在不同的特征評估方法中，相關(guān)性高的眼動特征排名均靠前，而不重要或信息較少的特征排名均較低。例如，在兩種評估方法中，掃視角度和微掃視都排在前兩位，而掃視長度由于受實(shí)驗(yàn)任務(wù)和自主性控制影響而排名靠后。將權(quán)重平均分配給RF 和catboost，以獲得綜合特征排名。綜合結(jié)果計(jì)算如式（1）所示：

其中：Score(RF)表示采用隨機(jī)森林得到的重要性分?jǐn)?shù)，Score(CatBoost)表示采用catboost 計(jì)算的分?jǐn)?shù)。對二者進(jìn)行加權(quán)平均，得到綜合特征分?jǐn)?shù)，其排序如表3 最后一列所示。

表3 不同特征選擇算法的特征排序結(jié)果Tab.3 Feature ranking results of different feature selection algorithms

3.3 模型建立

本文根據(jù)16 種客觀眼動特征和4 分類主觀疲勞分?jǐn)?shù)的對應(yīng)關(guān)系，建立了一個分類模型，由前饋神經(jīng)網(wǎng)絡(luò)和梯度提升決策樹模型融合而成。對于前饋神經(jīng)網(wǎng)絡(luò)部分，自行設(shè)計(jì)和優(yōu)化網(wǎng)絡(luò)的整體架構(gòu)以及激活單元、層數(shù)和學(xué)習(xí)率等超參數(shù)，應(yīng)用基于梯度下降的反向傳播算法，學(xué)習(xí)得到預(yù)測視疲勞等級的前饋神經(jīng)網(wǎng)絡(luò)模型。將其與梯度提升決策樹模型的預(yù)測結(jié)果集成，建立最終的組合預(yù)測模型。

3.3.1 數(shù)據(jù)處理

實(shí)驗(yàn)數(shù)據(jù)包括17 名受試者18 min 的眼動數(shù)據(jù)，將其以10 s 進(jìn)行等間隔劃分，提取10 s 內(nèi)的16 種眼動指標(biāo)，得到的數(shù)據(jù)樣本共1 836 份。將數(shù)據(jù)集隨機(jī)分為10 份，使用3 份作為驗(yàn)證集，其余7 份作為訓(xùn)練集。在訓(xùn)練集上建立視疲勞等級預(yù)測模型并對驗(yàn)證集中的視疲勞等級進(jìn)行測試，將預(yù)測時(shí)的準(zhǔn)確率作為衡量模型的標(biāo)準(zhǔn)。

為避免模型過擬合，本文借鑒交叉驗(yàn)證的方法訓(xùn)練模型，即將上述過程重復(fù)10 次，每次選取的訓(xùn)練集與驗(yàn)證集數(shù)據(jù)都不完全相同。將10 次訓(xùn)練誤差求平均作為實(shí)際訓(xùn)練誤差，進(jìn)行反向傳播以調(diào)整模型參數(shù)；并將10 次測試準(zhǔn)確率求平均作為實(shí)際測試準(zhǔn)確率，評估模型性能。通過上述方法，模型可以有10 種不同輸入，從而不會僅對其中一種輸入過分?jǐn)M合。采用交叉驗(yàn)證的方式，可以很好地減少過擬合風(fēng)險(xiǎn)。

在訓(xùn)練模型前需要對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化、類別標(biāo)簽編碼、缺失值和異常值處理4 部分預(yù)處理工作。數(shù)據(jù)標(biāo)準(zhǔn)化能夠有效加速模型學(xué)習(xí)時(shí)的收斂速度，此外，由于受試者之間存在個體差異，基于各個受試者進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化可以統(tǒng)一數(shù)據(jù)分布，使分析更合理。分別對各個受試者的16 項(xiàng)眼動特征通過均值和方差進(jìn)行標(biāo)準(zhǔn)化，公式如式（2）所示：

其中：X為原始數(shù)據(jù)，μ和σ分別為數(shù)據(jù)的均值和方差，X'為數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化后的結(jié)果。

數(shù)據(jù)中的標(biāo)簽需要對其進(jìn)行one-hot 編碼，又稱一位有效編碼，其方法是使用N位狀態(tài)寄存器對N個狀態(tài)進(jìn)行編碼，每個狀態(tài)都有獨(dú)立的寄存器位，并且在任意時(shí)刻，其中只有一位有效。例如，當(dāng)?shù)燃墭?biāo)簽為4 時(shí)，經(jīng)過編碼后變?yōu)椋?，0，0，1］的四維向量。

經(jīng)過缺失值和異常值檢測可以發(fā)現(xiàn)，在1 836份數(shù)據(jù)樣本中不存在缺失值，但存在部分異常值需要剔除。為確保訓(xùn)練的準(zhǔn)確性，通過箱線圖過濾數(shù)據(jù)中的異常值。如圖5 所示，以標(biāo)準(zhǔn)化后的左眼瞳孔直徑為例，將數(shù)據(jù)按順序排列，Q1～Q3分別代表下四分位數(shù)、中位數(shù)和上四分位數(shù)。根據(jù)式（3）、式（4）過濾異常值“X”：

圖5 采用箱線圖篩選左眼瞳孔直徑散點(diǎn)圖異常值Fig.5 Screening the outlier of the scatter plot of the pupil diameter of the left eye with the box chart

IQR 表示下四分位數(shù)與上四分位數(shù)之差，處于上四分位數(shù)減1.5 倍IQR 以及下四分位數(shù)加1.5 倍IQR 之間的數(shù)是較為合理的，范圍之外的數(shù)被認(rèn)為是異常值并進(jìn)行替換，替換方式為鄰近數(shù)值求平均。

3.3.2 模型設(shè)計(jì)

本文模型包括兩個部分，分別為前饋神經(jīng)網(wǎng)絡(luò)和梯度提升決策樹。其中前饋神經(jīng)網(wǎng)絡(luò)部分采用兩層的結(jié)構(gòu)，如圖6 所示，即除輸入層之外，兩層結(jié)構(gòu)包括一層隱藏層和一層輸出層。

圖6 前饋神經(jīng)網(wǎng)絡(luò)Fig.6 Feedforward neural network

激活函數(shù)選擇非線性的整流單元（RELU）：

將0 和輸入值中較大的值作為輸出，實(shí)現(xiàn)對z的非線性處理。

網(wǎng)絡(luò)的超參數(shù)設(shè)置對于模型預(yù)測的準(zhǔn)確度具有重要影響。網(wǎng)絡(luò)節(jié)點(diǎn)配置和超參數(shù)初始值設(shè)置如下：隱藏層神經(jīng)元個數(shù)為128，dropout 為0.1，learning rate 為0.03，訓(xùn)練和測試的batch size 分別為1 428 和612，epoch num 為100。

模型的損失函數(shù)定義為交叉熵?fù)p失函數(shù)CEloss（cross entropy loss），其公式如式（6）、式（7）所示：

公式（6）表示將結(jié)果取指數(shù)并進(jìn)行歸一化，將歸一化后0～1 的結(jié)果取對數(shù)。公式（7）中yk是one_hot 編碼后的數(shù)據(jù)標(biāo)簽，與log_softmax 的結(jié)果相乘并求和，取負(fù)值作為最終的損失函數(shù)值。

然而，神經(jīng)網(wǎng)絡(luò)也有局限性。隨著神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)深度增加，模型容量與復(fù)雜度隨之提升。模型參數(shù)增多會導(dǎo)致調(diào)優(yōu)復(fù)雜且模型可解釋性降低，同時(shí)更容易發(fā)生過擬合。

機(jī)器學(xué)習(xí)中另一大類算法——樹模型，則可以通過學(xué)習(xí)數(shù)據(jù)的分層結(jié)構(gòu)實(shí)現(xiàn)根據(jù)數(shù)據(jù)集的性質(zhì)調(diào)整模型的復(fù)雜度，在數(shù)據(jù)量有限且特征質(zhì)量一般的情況下相較于神經(jīng)網(wǎng)絡(luò)更具優(yōu)勢并且具有更好的模型可解釋性。這類算法的經(jīng)典模型是1963 年提出的決策樹模型，其通過計(jì)算節(jié)點(diǎn)分裂時(shí)的純度變化和剪枝可自動實(shí)現(xiàn)特征的選擇。但單棵決策樹往往存在穩(wěn)定性差、不同預(yù)測樣本結(jié)果方差高的問題。因此實(shí)際應(yīng)用通常使用隨機(jī)森林或梯度提升決策樹等集成樹模型，兩者分別通過并行和串行的模式集成多棵決策樹以有效降低模型的方差。

綜上所述，我們使用具有復(fù)雜非線性擬合能力的前饋神經(jīng)網(wǎng)絡(luò)模型和梯度提升決策樹的模型，并將兩者組合作為本問題的預(yù)測模型。其中，catboost 模型的參數(shù)設(shè)計(jì)如表4 所示。

3.3.3 模型結(jié)果

基于3.2 節(jié)中提到的特征選擇算法，將綜合排名靠前的前i個特征分別作為模型的輸入，驗(yàn)證模型在不同數(shù)量特征集上的分類性能。如表5所示，第一列表示將特征排序中的前i個特征作為輸入特征集，例如，當(dāng)i=5 時(shí)，表示綜合特征排序在前5 名的眼動特征，對應(yīng)表3 最后一列的前5 名特征。表5 的后三列分別表示當(dāng)前輸入特征集在3 種模型下的分類準(zhǔn)確率，第一個模型表示僅使用前饋神經(jīng)網(wǎng)絡(luò)，第二個模型表示僅使用梯度提升決策樹catboost 模型，第三個模型表示前饋神經(jīng)網(wǎng)絡(luò)與catboost 的融合模型。

表5 前i 個特征的分類準(zhǔn)確率Tab.5 Classification accuracy of top i feature

根據(jù)表5 列舉的準(zhǔn)確率，前饋神經(jīng)網(wǎng)絡(luò)和catboost 模型的預(yù)測準(zhǔn)確率達(dá)到了相似的結(jié)果，均在70%～80%。此外，不同的輸入特征集對模型性能有一定的影響，隨著輸入特征的增多，模型的分類準(zhǔn)確率呈上升趨勢。當(dāng)特征數(shù)量為15 時(shí)，模型的準(zhǔn)確度達(dá)到最高值，融合模型的分類準(zhǔn)確率此時(shí)為82%。相較以往的研究［24］——觀看3D電影引起的視疲勞的預(yù)測模型，本文提出的模型對于任務(wù)場景下更復(fù)雜的眼動行為，可以更好地進(jìn)行視疲勞四等級的預(yù)測。但當(dāng)特征集大小為16 時(shí)，測試分類準(zhǔn)確率降低，可能是“總掃視長度”特征與視覺疲勞之間的相關(guān)性太低，這一點(diǎn)與預(yù)期相符。盡管在以往的研究中掃視長度可以作為評估視覺疲勞的指標(biāo)，然而在任務(wù)驅(qū)動下，掃視長度受主觀控制影響較大，隨目標(biāo)移動而變化，導(dǎo)致其無法很好地衡量視覺疲勞。

上述實(shí)驗(yàn)說明，本文選取的客觀眼動指標(biāo)可以較好地評估任務(wù)驅(qū)動下3D 觀看的視覺疲勞，且基于以上眼動指標(biāo)建立的融合模型可以對視覺疲勞等級進(jìn)行較為準(zhǔn)確的預(yù)測。

為驗(yàn)證模型的普適性，本文在改變刺激材料以及觀看距離的條件下，統(tǒng)計(jì)了模型預(yù)測視疲勞的準(zhǔn)確率。如圖7 所示，本文將任務(wù)改為多人動態(tài)場景下進(jìn)行四則運(yùn)算，同時(shí)將受試者觀看距離增加到145 cm。實(shí)驗(yàn)總時(shí)長仍為18 min，分為4 段4 min 視頻，并在每段視頻觀看結(jié)束后進(jìn)行30 s 的問卷調(diào)查。在整個實(shí)驗(yàn)過程中，對記錄的眼動數(shù)據(jù)進(jìn)行如3.3.1 節(jié)的處理后，將眼動特征輸入訓(xùn)練好的模型，并將模型的輸出與主觀疲勞等級進(jìn)行比較，得到最高預(yù)測準(zhǔn)確率為79%。此結(jié)果證明了模型在任務(wù)驅(qū)動型實(shí)驗(yàn)中的普適性，同時(shí)證明不同觀看條件影響疲勞的變化但不影響眼動特征與主觀疲勞的對應(yīng)關(guān)系。

圖7 實(shí)驗(yàn)刺激材料內(nèi)容Fig.7 Contents of experimental stimulus

4 結(jié) 論

本文提出了一種針對任務(wù)場景下觀看3D 視頻引起的視疲勞的等級評估模型，旨在采用觀看時(shí)的多種客觀眼動指標(biāo)評估主觀視疲勞等級以實(shí)現(xiàn)對視疲勞的實(shí)時(shí)預(yù)測。該模型包括客觀眼動特征的選取和模型建立，通過提取受試者在觀看時(shí)的眼動數(shù)據(jù)處理得到16 種眼動指標(biāo)，利用特征選擇算法對16 種特征進(jìn)行相關(guān)性分析，得到任務(wù)驅(qū)動下能夠表征視覺疲勞的眼動特征。采用前饋神經(jīng)網(wǎng)絡(luò)和梯度提升決策樹的融合模型，對客觀眼動特征和主觀疲勞進(jìn)行映射建模。

經(jīng)過實(shí)驗(yàn)驗(yàn)證，提取的眼動特征可以有效評估任務(wù)驅(qū)動下的視覺疲勞，且基于上述眼動指標(biāo)建立的融合模型可以對視覺疲勞等級進(jìn)行較為準(zhǔn)確的預(yù)測，為醫(yī)療、A/VR 等領(lǐng)域任務(wù)驅(qū)動下3D 視頻觀看的視疲勞評估提供了一種有效解決方案。