張怡然，林麗媛，劉冠軍

(1.天津科技大學電子信息與自動化學院，天津 300222；2.軍事科學院系統(tǒng)工程研究院衛(wèi)勤保障技術(shù)研究所，天津 300161)

隨著高速移動網(wǎng)絡(luò)的發(fā)展和移動端顯示設(shè)備的普及，人們的生活已與各種類型的屏幕息息相關(guān).特別是各類短視頻，通過幾秒到幾分鐘不等的視頻推送，占據(jù)了人們的碎片化時間，直接延長了人們每日觀看屏幕的時間.《2020中國網(wǎng)絡(luò)視聽發(fā)展研究報告》[1]顯示，截至 2020年 6月，我國網(wǎng)民規(guī)模為9.40億，其中短視頻用戶規(guī)模達8.18億，占網(wǎng)民整體的 87.0%，日均觀看時長為 110min.長時間地觀看屏幕會增加視覺負荷，導(dǎo)致視疲勞的出現(xiàn)[2]，對人眼感知和視覺健康產(chǎn)生負面影響.視覺舒適度是衡量視覺感知舒適程度的重要指標，用來度量人眼視物時的主觀舒適感受.視覺舒適度問題貫穿在整個信息系統(tǒng)中，無論是圖像/視頻的處理、通信和顯示，還是標準的制定，都需要一套科學的視覺舒適度評價理論，或用來說明所生成的圖像/視頻的效果，或用來說明處理、傳輸技術(shù)對圖像/視頻的損傷程度，或用來說明顯示技術(shù)的正確性，或用來評測顯示產(chǎn)品的優(yōu)劣，以便能規(guī)范企業(yè)的產(chǎn)品生產(chǎn).因此，研究一種能更加客觀地度量視覺舒適度的評價方法十分重要，這也是本文的研究重點.

目前對于視覺舒適度的研究主要有兩大類.第一類是通過調(diào)整顯示端內(nèi)容或外部環(huán)境來評價、優(yōu)化視覺舒適度.Wang等[3]利用反向傳播BP神經(jīng)網(wǎng)絡(luò)，通過顯示器亮度和色溫控制系統(tǒng)結(jié)合環(huán)境光傳感器，實現(xiàn)了對視覺舒適度的預(yù)測.Jiang等[4]通過計算顏色顯著性、紋理顯著性、空間緊湊性、深度顯著性，提出基于視覺舒適度的立體三維圖像顯著性計算模型，得出了高/低舒適度三維圖像的不同顯著性計算規(guī)則.Shi等[5]使用機器學習算法構(gòu)建日光預(yù)測模型，通過計算日光照度、日光炫光指數(shù)、日光炫光概率和眼睛垂直照度，并結(jié)合氣候與時間信息，建立室內(nèi)視覺舒適度預(yù)測模型.第二類是在視覺生理層面上對視覺舒適度進行評價.Hu等[6]在測試模式反轉(zhuǎn)視覺誘發(fā)電位的同時記錄了受試者的視覺舒適度，利用模糊熵分析主觀感受和客觀生理參數(shù)的相關(guān)性.Iatsun等[7]調(diào)查分析了眼球運動、眨眼、瞳孔大小變化強度和大腦活動之間的關(guān)系，最終得到了一種基于視頻特征和視覺幀前狀態(tài)的模型.Abromavi?ius 等[8]采集了28名受試者的視線、瞳孔大小、腦電圖數(shù)據(jù)，并分析了焦點數(shù)量、瞳孔大小變化、視差水平和額葉腦電圖活動等特征，用來建立視覺舒適度預(yù)測模型.

以上兩類研究模型在評價方法以及應(yīng)用場景上都存在局限性.一方面，基于顯示內(nèi)容或外部環(huán)境的視覺舒適度的評價方法重點研究影響視覺舒適感知的顯示條件，忽略了影響視覺舒適度評價的最直接、有效的眼部生理信息.另一方面，考慮生理層面的視覺舒適度評價方法需要依靠專業(yè)設(shè)備采集信息，還依賴多種生理信號分析，提高了評價的成本，難以遷移到實際應(yīng)用中去.除此之外，研究大都面向立體視頻、虛擬現(xiàn)實視頻(VR視頻)，而不是人們?nèi)粘ｉL時間接觸的視頻類型，在應(yīng)用領(lǐng)域上也存在局限性.因此，本文結(jié)合當前流行的短視頻模式，通過主客觀實驗，研究人眼生理反應(yīng)與視覺舒適度的相關(guān)性，提出了一種基于眨眼頻率的視覺舒適度評價方法.

1 實驗設(shè)計

1.1 實驗設(shè)備及素材

實驗使用 53.15cm×29.90cm(24英寸)的 Acer GN246HL型顯示器作為顯示端，使用ZD480R型紅外 CMOS攝像頭作為采集設(shè)備，自主編寫了眼球生理信息采集系統(tǒng)，可實現(xiàn)對瞳孔面積、瞳孔面積波動情況、眨眼時間間隔、眨眼耗時、眨眼次數(shù)的統(tǒng)計和計算[9].

挑選了9段風格迥異的視頻素材，視頻素材信息見表1.視頻素材的選擇避開了驚悚、恐怖等對受試者的觀看感受影響較大的視頻片段，以及默片等較為特殊的視頻素材，減少視頻素材內(nèi)容對視覺舒適度的影響.所有視頻播放窗口尺寸統(tǒng)一為 14.61cm×8.18cm(6.6英寸).

表1 視頻素材信息Tab.1 Video material information

1.2 實驗相關(guān)標準和受試者信息

1.2.1 視覺舒適度評價標準

實驗采用目前主流的主觀評價方法[10]，建立 5級視覺舒適度評價標準，以此對當前視覺狀態(tài)進行評價并量化評分，視覺舒適度評價等級與規(guī)則見表2.

表2 視覺舒適度評價等級與規(guī)則Tab.2 Rating and rules of visual comfort evaluation

舒適度評價分為 5級.等級越低，量化評分越高，也就是人眼疲勞程度越低，舒適度越高.最高分為5.0分，最低分為0分，分度為0.1.

1.2.2 受試者信息

為確保實驗的準確性和有效性，招募并篩選了年齡區(qū)間為19～35歲的20名受試者，其中男性7人，女性 13人，10人戴眼鏡，9人曾有過評價類實驗經(jīng)歷.使用穿孔卡片法[11]測定所有受試者的主視眼，受試者均無眼部疾病，裸眼視力正常或矯正視力正常.

1.3 實驗過程

實驗時間控制在上午9時到下午5時.實驗時，室內(nèi)保持自然光照(不存在受試者感到刺眼或者過暗的情況)，人眼到顯示器的距離保持在(48±2)cm，以消除測試環(huán)境差異產(chǎn)生的影響.在正式實驗前，向受試者介紹實驗內(nèi)容和規(guī)則(包括詳細的實驗流程以及舒適度評價標準)，并進行 2min的預(yù)實驗以便受試者能夠提前適應(yīng)實驗流程和環(huán)境.實驗過程中，受試者將下頜放置在信息采集平臺上，調(diào)節(jié)采集攝像頭位置，如圖1所示.實驗通過眼球生理信息采集系統(tǒng)采集眨眼頻率、瞳孔面積變化的生理信息.在切換下一視頻前，安排受試者休息 3min，保證眼睛充分休息的同時完成視覺舒適度主觀的評分(評分規(guī)則詳見表2).通過實驗期望能建立眼球生理信息與視覺舒適度的模型.

圖1 采集方法示意圖及真實場景圖Fig.1 Schematic diagram of collection method and real scene diagram

2 實驗數(shù)據(jù)分析

2.1 數(shù)據(jù)定義

由于瞳孔面積受個體生理因素的影響，所以在進行分析前需對瞳孔面積變化情況進行歸一化處理.將瞳孔面積變化率定義為：在觀看一段視頻過程中，瞳孔面積與觀看完成后瞳孔面積的平均值的最大差值與瞳孔面積的平均值的比值.瞳孔面積變化率越大表明瞳孔面積變化情況越劇烈.該指標可以有效避免由于采集位置的差異引起的瞳孔面積的較大差別，同時消除了由受試者個體差異產(chǎn)生的影響.瞳孔面積的平均值及瞳孔面積變化率的計算公式見式(1)與式(2).

式中：R為瞳孔面積變化率.

2.2 數(shù)據(jù)分析

2.2.1 數(shù)據(jù)整理

20位受試者觀看 9個視頻片段，共生成 180組數(shù)據(jù)，采用 SPSS軟件進行數(shù)據(jù)分析，相關(guān)描述統(tǒng)計見表3.

表3 描述統(tǒng)計Tab.3 Descriptive statistics

實驗分別探究眨眼頻率、瞳孔面積變化率與主觀舒適度的關(guān)系，從而建立眼球生理信息與舒適度關(guān)系的數(shù)學模型，達到評價主觀視覺舒適度的目的.

采用皮爾遜相關(guān)系數(shù)(rP)及顯著性差異分析(雙尾)，對瞳孔面積變化率、眨眼頻率、舒適度評分進行分析.定義|rP|≥0.7為高度相關(guān)性，0.5≤|rP|＜0.7為中度相關(guān)性，0.3≤|rP|＜0.5為低度相關(guān)性，|rP|＜0.3為無相關(guān)性；P＞0.05為差異性不顯著，0.01＜P≤0.05為差異性顯著，P≤0.01為差異性極顯著.

2.2.2 瞳孔面積變化率與舒適度評分關(guān)系

實驗采集得到的瞳孔面積變化率、舒適度評分數(shù)據(jù)如圖2所示，圖2(a)是舒適度評分與瞳孔面積變化率散點圖，圖2(b)是不同視頻素材瞳孔面積變化率的箱式圖.

圖2(a)中右側(cè)孤立的多點與圖2(b)中的極端異常值均出自同一受試者 M-4，由于該受試者在實驗過程中未按照預(yù)實驗流程操作，導(dǎo)致實驗結(jié)果出現(xiàn)極大誤差，因此在分析瞳孔面積變化率與舒適度評分關(guān)系時，刪除受試者M-4的數(shù)據(jù).

圖2 瞳孔面積變化率與舒適度評分Fig.2 Change rate of pupil area and comfort score

同一受試者觀看不同視頻素材時瞳孔面積變化率與舒適度評分間的相關(guān)性分析結(jié)果見表4，大部分數(shù)據(jù)差異性均不顯著.具體為15人的數(shù)據(jù)顯示低度/無相關(guān)性，占比78.9%；僅4人的數(shù)據(jù)表現(xiàn)了中度/高度相關(guān)性，但存在正相關(guān)、負相關(guān)并存的情況.

表4 同一受試者瞳孔面積變化率與舒適度評分相關(guān)性分析Tab.4 Correlation analysis between the change rate of pupil area and comfort score for the same subject

不同受試者觀看同一視頻素材時，瞳孔面積變化率與舒適度評分間的相關(guān)性分析結(jié)果見表5.分析表5可知，除F、B視頻外，大部分視頻數(shù)據(jù)均顯示無相關(guān)性，占比77.8%，且均差異性不顯著；視頻編號為F的數(shù)據(jù)顯示差異性顯著的中度相關(guān)、視頻編號為 B的數(shù)據(jù)顯示差異性不顯著的低度相關(guān)，且兩種情況下的相關(guān)性相反.

表5 同一視頻下瞳孔面積變化率與舒適度評分相關(guān)性分析Tab.5 Correlation analysis between the change rate of pupil area and comfort score for the same video

由表4、表5可知，大部分數(shù)據(jù)并未體現(xiàn)瞳孔面積變化率與視覺舒適度之間的相關(guān)性，即二者不具有線性相關(guān)性，因此瞳孔面積變化率不能作為視覺舒適度的評價指標.

2.2.3 眨眼頻率與舒適度評分關(guān)系

實驗采集得到的眨眼頻率、舒適度評分數(shù)據(jù)如圖3所示.

圖3 眨眼頻率與舒適度評分Fig.3 Blink frequency and comfort score

圖3(a)是舒適度評分與眨眼頻率散點圖，圖3(b)是不同視頻素材的眨眼頻率的箱式圖.圖3(a)中雖然有偏離較多的點，但并未出現(xiàn)極端異常點，故不對眨眼頻率數(shù)據(jù)進行刪減.

使用與 2.2.1節(jié)中相同的方法進行相關(guān)性分析.同一受試者觀看不同視頻素材時眨眼頻率與舒適度評分間的相關(guān)性分析結(jié)果見表6.

表6 同一受試者眨眼頻率與舒適度評分相關(guān)性分析Tab.6 Correlation analysis between the blink frequency and comfort score for the same subject

有 17名受試者的眨眼頻率與視覺舒適度呈現(xiàn)中度/高度相關(guān)性，占比85.0%；僅有3人數(shù)據(jù)表現(xiàn)無相關(guān)性，且差異性均不顯著.

不同受試者觀看同一視頻素材時，眨眼頻率與舒適度評分間的相關(guān)性分析結(jié)果見表7.

表7 同一視頻下眨眼頻率與舒適度評分相關(guān)性分析Tab.7 Correlation analysis between the blink frequency and comfort score for the same video

對于不同的視頻素材，9個視頻素材數(shù)據(jù)均表明眨眼頻率與舒適度評分存在相關(guān)性，其中差異性極顯著且高度相關(guān)的占比為77.8%.

通過上述分析可以看出，眨眼頻率與主觀舒適度存在相關(guān)性，且從受試者個體和視頻素材都能證明眨眼頻率與舒適度評分數(shù)據(jù)具有顯著性差異.即不論受試者個體以及視頻素材是否存在差異，眨眼頻率均能用于衡量視覺舒適度.

為進一步探究舒適度評分和眨眼頻率的定量關(guān)系，在控制實驗環(huán)境的條件下(見 1.3節(jié))，使用線性回歸的方法得到舒適度評分與眨眼頻率的一次函數(shù)表達式.

式中：Vt為舒適度主觀評分；f為眨眼頻率，次/min.

采用殘差直方圖驗證本模型的正態(tài)性，所得回歸標準化殘差直方圖和正態(tài)P-P圖如圖4所示.標準化殘差直方圖呈正態(tài)分布，且正態(tài)P-P圖的散點數(shù)據(jù)在第一象限沿對角線方向分布，表明舒適度評分與眨眼頻率相關(guān)性高，模型服從正態(tài)分布.

圖4 回歸標準化殘差直方圖和正態(tài)P-P圖Fig.4 Regression normalized residual histogram and normal P-P plot

2.2.4 結(jié)果驗證

從20位受試者中隨機選擇 4位受試者，進行驗證測試，采集眨眼頻率，記錄舒適度主觀評分Vt，根據(jù)式(3)計算模型預(yù)測得分，并計算誤差，誤差計算公式為

式中：e為預(yù)測誤差，Vf為模型預(yù)測的舒適度評分.

測試素材選用 600～900s的三維游戲畫面場景，驗證測試的結(jié)果見表8.由表8的結(jié)果可以計算出平均誤差為 2.07%，模型平均準確率為 97.9%.實驗結(jié)果表明，該模型可對觀看視頻時的視覺舒適度進行有效評價.

表8 驗證實驗的結(jié)果Tab.8 Results of confirmatory experiments

3 結(jié) 語

本文通過采集20名受試者在觀看9段不同內(nèi)容短視頻時的眼球生理信息以及相應(yīng)的主觀評價分數(shù)，探究瞳孔面積變化率、眨眼頻率與視覺舒適度主觀評價的關(guān)系，提出一種基于眨眼頻率的視覺舒適度評價方法，建立一個眨眼頻率與視覺舒適度的線性關(guān)系模型.該評價方法將人眼生理信息作為評價的依據(jù)，為視覺舒適度評價提供了新的實驗方法和評估指標，具有重要的現(xiàn)實意義.

眨眼頻率既可通過計算機視覺方法獲取，又可借助生物電信號獲得，多種獲取手段有利于使用本文方法對多媒體用戶的視覺舒適度情況進行動態(tài)評估，有利于保護公眾的用眼健康.人眼生理信息復(fù)雜多樣，未來將在此基礎(chǔ)上進一步研究融合多種有效的生理信息協(xié)同評價視覺舒適度.