閆佳慶 李占英 顧恒 姚群力 李小俚

智能指揮與控制體系的發(fā)展離不開人員與設(shè)備的緊密融合[1],近年來,隨著智能化的快速發(fā)展,已經(jīng)出現(xiàn)了大量的高精度智能檢測技術(shù),如人臉識別[2]、動作識別[3]等,這些新技術(shù)的發(fā)展,進一步減少了決策人員的體力和腦力消耗,使得人機系統(tǒng)中,人的作用更多地趨向于高級決策,高級決策對于人的要求更高,而長時間的高級決策同樣會給指揮者帶來較高的腦力負荷[4],較高的腦力負荷會引起指揮者的不適感,降低作業(yè)效率[5],因此,快速對指揮者進行腦力負荷評估是非常重要的,及時反饋指揮者的腦力負荷狀態(tài),可以輔助人機系統(tǒng)調(diào)整人機融合策略,進而通過技術(shù)手段降低指揮者的腦力負荷.

腦力負荷具有較強的主觀性,與被試的主觀感受較為相關(guān),所以量表評測法與行為績效評測法是常用的評測方法[6],但基于主觀感受的評測容易受到被試心理暗示的影響,降低評測準確率,所以客觀的生理信息評測法逐漸成為了腦力負荷評價的研究熱點[6],現(xiàn)階段,識別腦力負荷的主要生理指標包括:腦電、心電、眼電、眼動、血氧等[7?10],其中,腦電、血氧是可以直接反應(yīng)大腦神經(jīng)信息的直接信號,具有準確率高、反應(yīng)迅速的特點[7?8],其中腦電相對于血氧分析法,成本低、時間分辨率高、便攜性好,已經(jīng)成為了腦力負荷研究中最受關(guān)注的方法[11?13].

多通道腦電可以描述更多的大腦信息,所以現(xiàn)有研究中的腦電設(shè)備均使用了較高的腦電導聯(lián)數(shù).但腦電的佩戴過程較為復雜,多通道腦電的便攜性也會存在限制[14],所以如何使用更少的通道來準確識別被試的腦負荷也是一種重要的研究方向,Sun等在2016年的研究中使用共空間模式法減少了腦機接口中腦電通道的需求數(shù)量[15],Ramakrishnan 等在2016年也提出了提高少通道腦電分析效果的方法[16],腦電微狀態(tài)是一種綜合考慮全腦神經(jīng)狀態(tài)分布的方法,該方法對于腦電通道數(shù)要求較低,且其指標較為適用認知功能分析,但該方法存在微狀態(tài)數(shù)量選擇的優(yōu)化問題[17?19],2014年,周凌霄等應(yīng)用該方法對駕駛員的腦力負荷進行了評價,該方法可以較好地對腦力負荷進行評價,但該方法中未對微狀態(tài)數(shù)量的選擇問題進行分析[20].

在本研究中,設(shè)計了虛擬無人機操作任務(wù),通過動態(tài)強度的操作提高被試的腦力負荷,使用反應(yīng)時任務(wù)對腦力負荷的程度進行行為學績效評價,最后,使用腦電微狀態(tài)對被試的腦負荷進行了分析,提出了一種可應(yīng)用于便攜式腦電的腦力負荷評價指標.

1 實驗

1.1 被試

本次實驗的被試為31名北京師范大學學生(年齡為23±2.9歲),所有被試均為男性,右例手,無精神病史,視力或矯正視力正常,沒有無人機操作經(jīng)驗.被試在實驗前24 h 內(nèi)不得飲用含有酒精和咖啡因的飲料,同時需保證充分的睡眠.

1.2 實驗材料

1.2.1 腦電采集系統(tǒng)

本實驗采用10-20 電極分布標準,利用課題組所在實驗室開發(fā)的腦電采集系統(tǒng)采集被試的多通道腦電(本實驗中選擇使用8個通道:F3,F4,T7,T8,C3,C4,O1,O2 通道,如圖1所示)進行腦電信號采集,在腦電采集過程中要求每一個腦電通道的接觸阻抗需小于5 k?,采樣頻率設(shè)置為1 000 Hz,放大器的采集帶寬設(shè)置為0.016～100 Hz,同時記錄被試的肌電反應(yīng),用于主試在實驗中根據(jù)行為學判斷被試的腦力負荷狀態(tài).

圖1 電極分布圖Fig.1 Channel location

1.2.2 實驗流程

被試在上午9:00～12:00,下午2:00～5:00 間到實驗室參加實驗,在無人機任務(wù)開始之前,主試會給被試安排30 min的實驗培訓,用以熟悉無人機的操作方式,實驗開始后,首先為被試佩戴腦電帽,接下來完成50次反應(yīng)時測量任務(wù),完成30 min的無人機操作任務(wù),再完成50次反應(yīng)時測量任務(wù),在本實驗中,將分析反應(yīng)時任務(wù)中表現(xiàn)出的高腦力負荷影響,并將無人機任務(wù)開始后的5 min 與結(jié)束前的5 min 腦電進行對比,分析腦電所表現(xiàn)出的腦力負荷變化.

1.2.3 反應(yīng)時任務(wù)

本測試采用選擇反應(yīng)時范式,要求被試對出現(xiàn)的目標進行辨別,并選擇對應(yīng)的按鍵反應(yīng),在保證正確率的前提下,盡快作出反應(yīng),如圖2所示,測試后會計算被試的反應(yīng)時間,反應(yīng)時任務(wù)為客觀的行為學評價指標,相比于主觀行為量表,該方法可更準確地評價被試的腦力負荷狀態(tài),反應(yīng)時任務(wù)的測試流程如下:

1)要求被試將左手放置在鍵盤F鍵,右手放置在鍵盤J鍵.

2)按鍵測試:點擊F鍵,屏幕中央會出現(xiàn)紅色方塊;點擊J鍵,屏幕中央會出現(xiàn)黑色方塊.

3)練習階段:出現(xiàn)紅色方塊按F鍵;出現(xiàn)黑色方塊按J鍵.每次按鍵后,給被試呈現(xiàn)正誤反饋.

4)正式實測:被試按照測驗要求進行實驗,不反饋正誤.

5)正確率不足90%的被試將被排除.

圖2 反應(yīng)時任務(wù)Fig.2 Reaction time task

1.2.4 無人機任務(wù)

實驗采用無人機虛擬操作系統(tǒng),被試需操作無人機遙控手柄,讓虛擬無人機在虛擬環(huán)境中執(zhí)行指定任務(wù),包括定點飛行和目標追蹤,如圖3所示,每隔5 min,任務(wù)難度根據(jù)操作者的操作水平進行調(diào)整.對于無操作經(jīng)驗的被試,無人機的操作復雜度較高,在進行30 min的操作之后,被試主觀上均產(chǎn)生了高腦力負荷的感受,與任務(wù)相關(guān)的肌電反應(yīng)也出現(xiàn)了明顯的滯后狀態(tài).

圖3 無人機任務(wù)Fig.3 Unmanned aerial vehicle operation task

2 方法

2.1 基于反應(yīng)時任務(wù)的事件相關(guān)電位分析

在反應(yīng)時任務(wù)中,當被試作出反應(yīng),其腦電中會產(chǎn)生事件相關(guān)電位(Event-Related Potential,ERP).ERP是一種特殊刺激誘發(fā)出的電位,其中有可能包含外源性(外界刺激)或內(nèi)源性(心理變化)成分,ERP 成分可以反映被試的注意、記憶、判斷、決斷等高級認知活動,常見的典型ERP 成分包含N100、P100、N200、P200、P300、N400 等多個成分,其中P代表正向波(Positive),N代表負向波(Negative),字母后的數(shù)字代表誘發(fā)波出現(xiàn)時的毫秒(ms)數(shù),其中200 ms 以內(nèi)的成分通常為外源性成分;200 ms 以上的成分為內(nèi)源性成分,與被試的精神狀態(tài)和注意力有關(guān),P300 成分是典型的內(nèi)源性成分.

通過測量目標刺激誘發(fā)的ERP 電位來評價被試人員的反應(yīng)時,通過截取被試在按鍵前900 ms到按鍵后1 000 ms 數(shù)據(jù)段,然后將多次任務(wù)對應(yīng)的數(shù)據(jù)段進行疊加平均,即可得到的ERP的特征向量,該特征向量可表示為:

其中,Nr是1次實驗中每個刺激源重復閃爍的總次數(shù),i是用戶界面上刺激源的總個數(shù),本實驗中i=1,2,yi,j(t)是第i個刺激源所對應(yīng)的第j次重復閃爍中的數(shù)據(jù).

2.2 基于微狀態(tài)的腦力負荷分析

腦電信號可以在一個時間區(qū)間內(nèi)被視作為一系列非重疊的狀態(tài),對每一個時間段的多通道腦電信號根據(jù)其電壓幅值繪制出腦電電位的腦電地形空間分布圖,即可形成腦電微狀態(tài)圖,對于每個時刻t的腦電活動,其可以對應(yīng)屬于某類微狀態(tài)Tk,因此,一個時間片段內(nèi)的頭皮腦電活動可以由一組規(guī)范化的向量T表示.

假設(shè)Vt是t時刻(t=1,2,···,N),第c個通道的頭皮腦電測量數(shù)據(jù),通道總數(shù)為C,因此,Vt是一個N×1 維的向量,令Tk是歸一化的N×1 維向量,表示第k個微狀態(tài),微狀態(tài)數(shù)量為K,此外akt表示t時刻微狀態(tài)Tk的系數(shù),多通道腦電的微狀態(tài)模型就可以表示為:

頭皮電勢的采樣序號是Vt.

在腦電微狀態(tài)分析中,目標是將記錄的多個腦電地形圖樣本分割成幾個微觀狀態(tài)類,因此,屬于同一類的腦電地形圖樣本具有相似的拓撲結(jié)構(gòu),聚類分割通常使用地形聚類方法來完成,其中每個聚類的腦電地形圖表示一個腦電微狀態(tài)類別,腦電微狀態(tài)通常使用k均值(k-means)方法進行分類,但由于k均值方法需要指定聚類數(shù)k,所以需要一系列評價指標,可以對k的分類效果進行評價,通過反饋控制的方法對k進行準確選擇.

全局解釋方差(Global Explained Variance,GEV)可以描述腦電微狀態(tài)聚類之間的平方相關(guān),所以,GEV的值越大,分類效果越好.

其中,GFPt是全局場功率,其計算為第t次采樣的EEG所有電極上的標準偏差,要計算給定分類數(shù)的GEV,就需要計算所有GEV的所有成份,最后將所有的GEV樣本進行求和.

交叉驗證標準(Cross-Validation Criterion,CV)與殘余噪聲有關(guān),所以,CV值越小越好,計算公式如下:

分散度(Dispersion,D)是同一簇成員之間平均距離的度量,對于具有K個簇的微狀態(tài)分割,Sk是每個微狀態(tài)集群之間的成員的平方和:

DK被認為是一種誤差度量,所以,其值越低越好.

KL(Krzanowski-Lai)是一種根據(jù)離散度來選擇K的數(shù)量的方法.KL值越高代表選擇的K的數(shù)量越合適,其計算公式如下:

3 結(jié)果

全部被試的反應(yīng)時任務(wù)準確率均達到了90%以上,無被試被排除.全部被試在無人機任務(wù)前后反應(yīng)時的箱型圖如圖4所示,該結(jié)果表明,虛擬無人機任務(wù)前后,被試的總體反應(yīng)時間增長,這表明高腦力負荷的任務(wù)會降低被試的反應(yīng)時間.

圖4 任務(wù)前與任務(wù)后反應(yīng)時的箱型圖Fig.4 Box plot of reaction time between before and after unmanned aerial vehicle operation task

反應(yīng)時與ERP的聯(lián)合應(yīng)用是一種有效的認知評價方法[21],所以本文對反應(yīng)時操作過程中采集到的腦電ERP 信號進行了分析.若以圖像出現(xiàn)為時刻,其ERP反應(yīng)更關(guān)注被試的識別能力;相較于以圖像出現(xiàn)為時刻,按鍵后的ERP反應(yīng)更關(guān)注被試的決策能力,更符合本研究中腦力負荷的評價場景,所以以按鍵時刻為時刻,從?900 ms 開始,每隔100 ms 繪制一次腦電地形圖,共繪制20次,無人機操作前與無人機操作后的ERP 腦電地形圖分別如圖5和圖6所示.由ERP 結(jié)果可知:

1)以正確按鍵為時刻,可以發(fā)現(xiàn)在額葉引起了P300 電位.

2)高腦力負荷狀態(tài)下,其ERP反應(yīng)更為劇烈.

3)腦力負荷增加與認知相關(guān).

圖5 無人機操作前的ERP 腦電地形圖Fig.5 Topographies of ERP before unmanned aerial vehicle operation task

圖6 無人機操作后的ERP 腦電地形圖Fig.6 Topographies of ERP after unmanned aerial vehicle operation task

腦電微狀態(tài)是對多種腦電模式的分類分析,為提高分析的精度,我們設(shè)置了2～8,一共7種腦電微狀態(tài)分類模式的分析.即在k均值方法中指定k的數(shù)量為2～8,不同k數(shù)量的結(jié)果如圖7所示.

圖7 腦電微狀態(tài)的腦電地形圖Fig.7 Topographies of EEG microstates

為確定腦電微狀態(tài)的分類數(shù)量,對4種腦電微狀態(tài)評價指標進行了分析,如圖8所示,根據(jù)結(jié)果可知,對于本研究,當腦電微狀態(tài)的分類數(shù)量設(shè)置為5時,其中,CV、D較低,GEV、KL較高,具有最優(yōu)的性能表現(xiàn).

圖8 微狀態(tài)指標圖Fig.8 Microstate indicators

接下來,我們對5種腦電微狀態(tài)的出現(xiàn)概率進行統(tǒng)計分析.在研究中使用了配對t-test 統(tǒng)計方法對無人機操作前后的兩組數(shù)據(jù)進行了統(tǒng)計分析,統(tǒng)計結(jié)果表明:無人機操作前后,當腦電微狀態(tài)的數(shù)量為5 時,第3種腦電微狀態(tài)的出現(xiàn)概率出現(xiàn)了顯著性差異(p<0.05),腦力負荷高時,其出現(xiàn)概率呈現(xiàn)出顯著增加(9.41%±18.02%),該結(jié)果表示,此腦電微狀態(tài)的出現(xiàn)頻率可以有效地評價被試的腦力負荷程度.

4 結(jié)論

腦力負荷狀態(tài)的準確識別是指揮人員處理作業(yè)行為研究的關(guān)鍵技術(shù)之一,對提高人機系統(tǒng)的融合程度具有重要意義,本文設(shè)計了虛擬無人機操作系統(tǒng),誘發(fā)被試的高腦力負荷狀態(tài),通過反應(yīng)時任務(wù)進行腦力負荷狀態(tài)的行為學和事件相關(guān)電位分析,并應(yīng)用腦電微狀態(tài)方法對腦力負荷狀態(tài)進行了評價.本文創(chuàng)新性地使用雙客觀評價指標,結(jié)果表明:

1)對于沒有無人機操作經(jīng)驗者來說,無人機操作實驗可以有效地誘發(fā)出被試的高腦力負荷狀態(tài).

2)高腦力負荷會增加被試的反應(yīng)時間,并在前額出現(xiàn)較明顯的ERP反應(yīng).

3)使用腦電微狀態(tài)識別方法可以有效地對被試的腦力負荷狀態(tài)進行分析.