林思遠(yuǎn)，胡榮錦，張美玉，王艷軍

(1.南京航空航天大學(xué) 民航學(xué)院，南京 211106；2.國(guó)家空管飛行流量管理技術(shù)重點(diǎn)實(shí)驗(yàn)室，南京 211106；3.北京航空有限責(zé)任公司，北京 100621)

民用航空運(yùn)輸憑借其安全、快捷、舒適、不受地形限制的優(yōu)點(diǎn)，在交通運(yùn)輸業(yè)中占有獨(dú)特的地位.空中交通管制員(Air Traffic Controllers，以下簡(jiǎn)稱管制員)在空管系統(tǒng)中處于重要的位置，監(jiān)視航空器在本管制責(zé)任區(qū)內(nèi)的運(yùn)行，與飛行員進(jìn)行通信，解決航空器之間的潛在沖突，確保整個(gè)航空運(yùn)輸系統(tǒng)安全、高效的運(yùn)行[1].判斷評(píng)估管制員的行為一直是航空領(lǐng)域研究的難點(diǎn).管制環(huán)境是一個(gè)復(fù)雜的系統(tǒng)，正確判斷和預(yù)測(cè)管制員行為十分困難，影響因素復(fù)雜，且所得的結(jié)果準(zhǔn)確性很難定量判斷.

眼睛是人類獲取外部信息最重要的通道[2]，近20年，大量的研究對(duì)眼球運(yùn)動(dòng)進(jìn)行了探索，并以此檢查潛在的神經(jīng)認(rèn)知功能[3].注視會(huì)影響我們?cè)谌粘Ｈ蝿?wù)中行動(dòng)的準(zhǔn)確性.人類的眼睛定期通過(guò)眼跳運(yùn)動(dòng)來(lái)掃描環(huán)境，并注視相關(guān)區(qū)域，從而為視覺(jué)信息的分采樣提供支持[4].人類注視的位置是由知覺(jué)、認(rèn)知和運(yùn)動(dòng)活動(dòng)之間持續(xù)的相互作用決定的，這些相互作用促進(jìn)了相關(guān)信息的選擇和處理[5-6].

在空管領(lǐng)域，眼動(dòng)追蹤常用于評(píng)估管制員的工作負(fù)荷、疲勞程度、視覺(jué)搜索與注意力分配.眼動(dòng)行為是心理活動(dòng)的外在表現(xiàn)，眼動(dòng)指標(biāo)的時(shí)空特性能夠表征管制員信息搜索過(guò)程中的行為.管制員獲取信息的方式主要通過(guò)觀察雷達(dá)屏幕，因而管制員眼動(dòng)行為的時(shí)空特性反映了管制員對(duì)管制環(huán)境的認(rèn)知及注意力的分配狀況，管制員面對(duì)不同的管制場(chǎng)景有不同的應(yīng)激行為.Ahlstrom[7]等人發(fā)現(xiàn)隨著飛機(jī)數(shù)量的增加，管制員工作負(fù)荷也隨之增加，眨眼持續(xù)時(shí)間減少而瞳孔直徑增加.Stasi[8]研究了眼跳速度與認(rèn)知之間的關(guān)系.Imants[9]等人發(fā)現(xiàn)在同一任務(wù)場(chǎng)景下，不同管制員的搜索策略不盡相同.Marchitto[10]等人研究了在沖突監(jiān)測(cè)任務(wù)中的管制員眼動(dòng)行為.Kang[11]等人發(fā)現(xiàn)在管制任務(wù)中，高效的專家眼動(dòng)行為模式對(duì)于培訓(xùn)新手大有裨益.Yoshida[12]等人發(fā)現(xiàn)在管制任務(wù)中，航班標(biāo)牌顏色顯著性會(huì)影響管制員的眼動(dòng)行為.陳健[13]等人發(fā)現(xiàn)眨眼數(shù)據(jù)和PERCLOS能夠有效評(píng)估管制員的疲勞狀態(tài).靳慧斌[14-15]等人研究了管制員工作負(fù)荷的實(shí)時(shí)監(jiān)測(cè)方法和眼動(dòng)指標(biāo)監(jiān)測(cè)疲勞的有效性.王燕青[16]等人發(fā)現(xiàn)不同流量大小下，管制員的眼動(dòng)行為存在顯著性差異，同時(shí)新手管制員和專家管制員眼動(dòng)模式也存在差異.王超[17]等人發(fā)現(xiàn)管制員對(duì)進(jìn)場(chǎng)飛機(jī)和飛機(jī)標(biāo)牌的關(guān)注度很高.

國(guó)內(nèi)外基于管制員眼動(dòng)行為的研究取得了較多的成果，但很少有研究將眼動(dòng)行為作為一個(gè)時(shí)間序列進(jìn)行分析.為此，本文基于TDS算法與MF-DFA算法，研究分析了管制員的眼動(dòng)行為數(shù)據(jù).

1 實(shí)驗(yàn)設(shè)計(jì)

1.1 實(shí)驗(yàn)被試

10名來(lái)自南京航空航天大學(xué)的管制專業(yè)大四本科生和2名來(lái)自華東空管局江蘇分局的管制員參加了本次實(shí)驗(yàn).

1.2 實(shí)驗(yàn)場(chǎng)景設(shè)計(jì)

為避免其他因素對(duì)制員管眼動(dòng)數(shù)據(jù)的影響，突出管制場(chǎng)景屬性中航空器數(shù)量，本次實(shí)驗(yàn)將復(fù)雜的管制扇區(qū)場(chǎng)景進(jìn)行簡(jiǎn)化，抽取所需的場(chǎng)景特征，設(shè)置“人在環(huán)路”(Human-in-the-loop)的管制模擬實(shí)驗(yàn).實(shí)驗(yàn)場(chǎng)景根據(jù)管制員的工作環(huán)境進(jìn)行模擬，分為不同流量的4個(gè)模擬實(shí)驗(yàn)場(chǎng)景，航空器數(shù)量分別為4、8、12、16架次，通過(guò)計(jì)算機(jī)隨機(jī)自動(dòng)語(yǔ)音播報(bào)，被試需要尋找目標(biāo)航空器.模擬實(shí)驗(yàn)場(chǎng)景中，航空器信息包括航空器呼號(hào)、當(dāng)前高度及目標(biāo)高度.圖1為8架次航空器實(shí)驗(yàn)場(chǎng)景圖.

圖1 8架次航空器實(shí)驗(yàn)場(chǎng)景圖

1.3 實(shí)驗(yàn)步驟

1)在實(shí)驗(yàn)開(kāi)始前詢問(wèn)被試相關(guān)情況，并告知此次實(shí)驗(yàn)的內(nèi)容、操作與目的；

2)被試坐在屏幕前，調(diào)整座椅至本人舒適；

3)開(kāi)始實(shí)驗(yàn)前測(cè)試并校準(zhǔn)眼動(dòng)儀，測(cè)試生理參數(shù)儀；

4)根據(jù)4、8、12、16架次航空器場(chǎng)景依次進(jìn)行實(shí)驗(yàn)，每場(chǎng)實(shí)驗(yàn)約5 min，采集管制員在實(shí)驗(yàn)過(guò)程中的眼動(dòng)與生理數(shù)據(jù)；

5)待所有實(shí)驗(yàn)完成后，實(shí)驗(yàn)結(jié)束.

1.4 采集設(shè)備與數(shù)據(jù)處理方法

本次實(shí)驗(yàn)中采用Seeing Machines 生產(chǎn)的faceLAB5.0眼動(dòng)儀采集被試的眼動(dòng)數(shù)據(jù)，采樣頻率為60Hz；采用生物反饋BFB2000肌電和多參數(shù)模塊采集被試的生理相關(guān)數(shù)據(jù)，包括肌電、皮電、脈搏與皮溫，采樣頻率為200 Hz.

本文主要分析的眼動(dòng)行為是注視行為和掃視行為，需利用眼動(dòng)指標(biāo)區(qū)分算法提取并計(jì)算眼動(dòng)注視、掃視行為指標(biāo).為了區(qū)分原始數(shù)據(jù)的注視點(diǎn)與掃視點(diǎn)，本文采用了Krassanakis[18]的眼動(dòng)注視識(shí)別算法，計(jì)算得到注視持續(xù)時(shí)間、掃視持續(xù)時(shí)間與掃視角速度.

2 眼動(dòng)數(shù)據(jù)與生理數(shù)據(jù)的關(guān)聯(lián)性

2.1 TDS算法

人體可以看做是一個(gè)復(fù)雜系統(tǒng)，子系統(tǒng)之間可能將不斷發(fā)生相互作用從而導(dǎo)致整個(gè)系統(tǒng)的改變.Bashan[19]等人提出了時(shí)間延遲穩(wěn)定性(Time Delay Stability, TDS)算法量化各個(gè)子系統(tǒng)之間的關(guān)聯(lián)性.在該算法中，若兩類指標(biāo)具有基本相似的延遲時(shí)間，則表明這兩類指標(biāo)之間具有較強(qiáng)的關(guān)聯(lián)性.

下面給出TDS算法的步驟：

1)將目標(biāo)系統(tǒng)X和Y的輸出數(shù)據(jù)記為[a]和[b]，長(zhǎng)度為S；

2)將數(shù)據(jù)[a]和[b]分成等長(zhǎng)為K的SK重疊段，每個(gè)子片段為v，每次子片段v選擇重疊K/2，其中SK=[2S/K]-1；

3)將每段v歸一化為無(wú)量綱數(shù)據(jù)，確保數(shù)據(jù)[a]和[b]之間的估計(jì)耦合不受其相對(duì)幅度的影響；

4)通過(guò)周期性邊界條件計(jì)算互相關(guān)函數(shù)：

(1)

其中：v=1,…,SK；

2.2 數(shù)據(jù)結(jié)果

由于TDS算法需要時(shí)間序列的一致性，故選取眼動(dòng)指標(biāo)中的瞳孔直徑和眨眼頻率兩個(gè)指標(biāo)分別計(jì)算其與生理相關(guān)參數(shù)的時(shí)間延遲穩(wěn)定性.圖2為瞳孔直徑與相關(guān)生理指標(biāo)之間的時(shí)間延遲穩(wěn)定性，橫坐標(biāo)表示時(shí)間節(jié)點(diǎn)，縱坐標(biāo)表示指標(biāo)發(fā)生延遲的時(shí)間.圖2(A)中，在10～200 s內(nèi)瞳孔直徑與肌電具有穩(wěn)定的時(shí)間延遲1～2 s，雖然在95～115 s中間有波動(dòng)，但其影響可以忽略.在圖2(B)中，在45～140 s內(nèi)，瞳孔直徑與脈搏信號(hào)變化較穩(wěn)定.在圖2(C)中，在40～120 s內(nèi)，瞳孔直徑與皮溫具有穩(wěn)定的時(shí)間延遲6～7 s.在圖2(D)中，在15～175 s內(nèi)，瞳孔直徑與皮電具有穩(wěn)定的時(shí)間延遲3～5 s.圖2說(shuō)明在45～120 s內(nèi)，瞳孔直徑的變化都會(huì)引起相關(guān)生理指標(biāo)的穩(wěn)定時(shí)間延遲變化，說(shuō)明瞳孔直徑與肌電、脈搏、皮溫與皮電之間的聯(lián)系較為緊密.

圖2 瞳孔直徑與相關(guān)生理指標(biāo)之間的時(shí)間延遲穩(wěn)定性

圖3反映了一個(gè)管制員的眨眼頻率與相關(guān)生理指標(biāo)之間的時(shí)間延遲穩(wěn)定性.在圖3(A)中，在80～160 s內(nèi)，眨眼頻率與皮溫具有穩(wěn)定的時(shí)間延遲7～8 s，其他時(shí)間段內(nèi)沒(méi)有明顯的時(shí)間延遲.在圖3(B)中，在60～155 s，眨眼頻率與肌電具有穩(wěn)定的時(shí)間延遲3～4 s.

圖3 眨眼頻率與相關(guān)生理指標(biāo)之間的時(shí)間延遲穩(wěn)定性

綜上，根據(jù)TDS算法得出的結(jié)果，瞳孔直徑、眨眼頻率兩指標(biāo)數(shù)據(jù)分別與生理系統(tǒng)中肌電、皮電、皮溫等指標(biāo)數(shù)據(jù)有較長(zhǎng)的穩(wěn)定時(shí)間延遲，說(shuō)明眼動(dòng)系統(tǒng)與生理系統(tǒng)之間存在著較強(qiáng)的關(guān)聯(lián)性.因此，生理系統(tǒng)可以在一定程度上表征眼動(dòng)系統(tǒng)，為分析管制員眼動(dòng)行為提供參考.

3 眼動(dòng)數(shù)據(jù)的多重分形特征

3.1 MF-DFA算法

眼動(dòng)數(shù)據(jù)呈非線性變化.實(shí)驗(yàn)中采集的眼動(dòng)數(shù)據(jù)混雜著一些噪聲數(shù)據(jù)，必須消除噪聲數(shù)據(jù)的干擾趨勢(shì)波，才能更好地呈現(xiàn)眼動(dòng)數(shù)據(jù)的自相似特征，獲得各數(shù)據(jù)波形變化特征.多重分形去趨勢(shì)波(Multi-fractal Detrended Fluctuation Analysis，MF-DFA)是分析波形復(fù)雜度的一種方法[20]，能夠反映隱藏在信號(hào)內(nèi)部的信息.

下面給出MF-DFA算法的步驟：

1)取長(zhǎng)度為N的時(shí)間序列[xk]，k=1,2,…,N，求該序列的均值：

(2)

2)構(gòu)造均值和序列，確定其累積離差：

(3)

3)將生成的C(i)序列劃分成Ns個(gè)互不相同的區(qū)間，每個(gè)區(qū)間含有s個(gè)數(shù)據(jù)，其中：Ns=int(N/s)；

4)對(duì)于劃分的每個(gè)小區(qū)間v(v=1,2,…,NS)內(nèi)的s個(gè)數(shù)據(jù)，利用最小二乘法進(jìn)行多項(xiàng)式擬合，得到階數(shù)為k的擬合多項(xiàng)式：

cv(i)=a1ik+a2ik-1+…aki+ak+1

(4)

5)求均方誤差F2(s,v)，計(jì)算區(qū)間為v(v=1,2,…,NS)：

(5)

6)求去趨勢(shì)后的F2(s,v)均值，求取q階波動(dòng)函數(shù)Fq(s)：

當(dāng)q=0時(shí)，波動(dòng)函數(shù)為：

(6)

當(dāng)q≠0時(shí)，波動(dòng)函數(shù)為：

(7)

其中：Fq(s)是序列數(shù)據(jù)長(zhǎng)度s和階數(shù)q的函數(shù)，表示不同的q描述信號(hào)不同波動(dòng)程度對(duì)Fq(s)的影響，F(xiàn)q(s)隨著s的增大呈冪律增長(zhǎng)，其關(guān)系為：

Fq(s)∝sh(q)

(8)

其中：h(q)稱為廣義Hurst指數(shù)，即為logFq(s)～log函數(shù)式中的變化斜率；當(dāng)q=2時(shí)，MF-DFA成為DFA;當(dāng)q>0時(shí)，F(xiàn)q(s)主要反映信號(hào)波形中大波動(dòng)狀況，當(dāng)q<0時(shí)，F(xiàn)q(s)主要反映信號(hào)波形中小波動(dòng)狀況.當(dāng)所選序列[xk]，k=1,2,…,N為單一分形時(shí)，F(xiàn)2(s,v)在所選區(qū)間標(biāo)度行為一致，使h(q)成為獨(dú)立于q的常數(shù)；當(dāng)h(q)為隨q變化的函數(shù)時(shí)，則表明該序列具有多重分形特征.

但是，上述MF-DFA描述方法只能確定廣義Hurst指數(shù)h(q)為正時(shí)的信號(hào)性質(zhì)，當(dāng)h(q)趨近于0時(shí)，該信號(hào)就會(huì)表現(xiàn)出較強(qiáng)的逆相關(guān)，這時(shí)MF-DFA算法不能準(zhǔn)確地分析信號(hào)的性質(zhì)，此時(shí)需要修正MF-DFA算法.

下面給出修正MF-DFA算法的過(guò)程步驟：

1)在MF-DFA算法過(guò)程的第一步求兩次累積離差：

(9)

2)其后計(jì)算步驟如MF-DFA算法的過(guò)程步驟3～5，得到廣義波動(dòng)函數(shù)

(10)

對(duì)于大標(biāo)度有:

(11)

對(duì)于時(shí)間序列的廣義Hurst指數(shù)和多重分形理論中的標(biāo)度指數(shù)τ(q)之間滿足：

τ(q)=qh(q)-1

(12)

3)根據(jù)勒讓德變換：

α=τ′(q)

(13)

和

f(α)=qα-τ(q)

(14)

可以得出τ(q)、α和多重分形譜f(α)之間的關(guān)系：

(15)

和

f(α)=q[α-h(q) ]+1

(16)

MF-DFA方法中波動(dòng)函數(shù)取值范圍為[-20,20].

3.2 數(shù)據(jù)結(jié)果

3.2.1 注視持續(xù)時(shí)間

圖4為不同航空器數(shù)量下的注視持續(xù)時(shí)間序列Fq(s)～s的雙對(duì)數(shù)圖，各個(gè)子圖中的曲線自上而下，其階數(shù)q是逐漸減小的，各個(gè)曲線的斜率構(gòu)成了圖4(A)廣義Hurst指數(shù)曲線.當(dāng)q從-20增加到+20時(shí)，注視持續(xù)時(shí)間的廣義Hurst指數(shù)h(q)曲線均依賴q隨之下降，即h(q)不為常數(shù)，說(shuō)明注視持續(xù)時(shí)間在圖形上具有自相似性，其也存在顯著的多重分形特征，波動(dòng)函數(shù)符合冪律分布.下節(jié)不再重復(fù)列出其Fq(s)～s的雙對(duì)數(shù)圖.

圖4 不同航空器數(shù)量下注視持續(xù)時(shí)間的波動(dòng)函數(shù)圖

根據(jù)多重分形理論，奇異值α反映了信號(hào)局部變化的趨勢(shì).由圖5(B)多重分形奇異譜和表1得隨著航空器數(shù)量的增加，多重分形譜寬Δα值逐漸增加，而分形維數(shù)差Δf逐漸減小，且Δf<0，說(shuō)明注視持續(xù)時(shí)間指標(biāo)局部變化越強(qiáng)烈.波動(dòng)幅度越大，振動(dòng)信號(hào)波谷數(shù)目將多于波峰數(shù)目.

表1 不同航空器數(shù)量下注視持續(xù)時(shí)間MF-DFA參數(shù)

圖5 不同航空器數(shù)量下注視持續(xù)時(shí)間的廣義Hurst指數(shù)和奇異譜曲線

3.2.2 掃視持續(xù)時(shí)間

圖6 不同航空器數(shù)量下掃視持續(xù)時(shí)間的廣義Hurst指數(shù)和奇異譜曲線

表2 不同航空器數(shù)量下掃視持續(xù)時(shí)間MF-DFA參數(shù)

綜上，注視持續(xù)時(shí)間與掃視持續(xù)時(shí)間的廣義Hurst指數(shù)都隨著階數(shù)q的增加而減少，說(shuō)明了兩種眼動(dòng)行為都是長(zhǎng)程正相關(guān)，且都符合冪律分布，這種長(zhǎng)程正相關(guān)說(shuō)明了管制員過(guò)去的眼動(dòng)行為會(huì)影響將來(lái)的眼動(dòng)行為.總體來(lái)說(shuō)，隨著航空器數(shù)量的增加，奇異譜的寬度減少，說(shuō)明航空器數(shù)量增加會(huì)導(dǎo)致管制員抗外界干擾能力的減弱.這個(gè)發(fā)現(xiàn)是符合客觀規(guī)律的，航空器數(shù)量增加時(shí)，航空器分布復(fù)雜性也同樣增加，這會(huì)占用更多的管制員認(rèn)知資源，但管制員的認(rèn)知資源是有限的，航空器數(shù)量的增加更容易導(dǎo)致管制員疲勞.

4 結(jié) 語(yǔ)

本文分別利用TDS算法與MF-DFA算法分析了管制員在實(shí)驗(yàn)過(guò)程中的眼動(dòng)數(shù)據(jù)與生理數(shù)據(jù).結(jié)果表明在TDS算法分析中，眼動(dòng)系統(tǒng)與生理系統(tǒng)之間存在著較強(qiáng)的關(guān)聯(lián)性，生理系統(tǒng)數(shù)據(jù)可以在一定程度上表征眼動(dòng)系統(tǒng)數(shù)據(jù)，為管制員眼動(dòng)行為分析提供參考，評(píng)估管制員在工作過(guò)程中的狀態(tài).在MF-DFA算法分析中，注視持續(xù)時(shí)間、掃視角速度與掃視持續(xù)時(shí)間的波動(dòng)函數(shù)都符合冪律分布，并且隨著航空器數(shù)量的增加，管制員注視持續(xù)時(shí)間的多重分形增強(qiáng)，掃視角速度的多重分形減弱，掃視持續(xù)時(shí)間的多重分形減弱.說(shuō)明了管制員過(guò)去的眼動(dòng)行為會(huì)影響將來(lái)的眼動(dòng)行為，同時(shí)航空器數(shù)量增加會(huì)導(dǎo)致管制員抗外界干擾能力的減弱.分析管制員在執(zhí)勤過(guò)程中眼動(dòng)數(shù)據(jù)有助于揭示與理解管制員的行為，本項(xiàng)研究對(duì)航空安全、管制員疲勞檢測(cè)和未來(lái)空管系統(tǒng)的設(shè)計(jì)制造有著重要的意義.

為了深入揭示管制員眼動(dòng)行為，后續(xù)研究將注重以下三個(gè)方面：1)在MF-DFA算法分析中不僅局限于眼動(dòng)數(shù)據(jù)，將進(jìn)一步分析管制員相關(guān)生理數(shù)據(jù)和腦電數(shù)據(jù)的多重分形特征；2)進(jìn)一步研究生理參數(shù)如何表征管制員眼動(dòng)行為數(shù)據(jù)；3)研究管制員之前的眼動(dòng)行為如何影響之后的眼動(dòng)行為.