楚洪祚, 焦學(xué)軍, 姜 勁, 曹 勇, 楊捷鴻, 黃夢盈, 王立志, 李修乾
(1.航天工程大學(xué), 北京 101416; 2.中國航天員科研訓(xùn)練中心, 北京 100094)
隨著科技的發(fā)展,人在系統(tǒng)中的職能發(fā)生改變,由以往的主要作業(yè)角色向監(jiān)督?jīng)Q策角色轉(zhuǎn)變。這一改變降低了人類在工作中的體力負(fù)荷,但加重了腦力負(fù)荷。 在軍事、航空、航天、駕駛等高安全性要求的人機(jī)系統(tǒng)中,由于腦力負(fù)荷過高導(dǎo)致的信息獲取和判斷決策錯(cuò)誤等人因失誤是導(dǎo)致事故發(fā)生的重要原因之一[1-2]。 已有研究表明,60%~90%的航空飛行事故發(fā)生在腦力負(fù)荷高、應(yīng)激水平高的飛機(jī)起飛、著陸或手動(dòng)操控階段,并且多是由人誤導(dǎo)致[3-4]。 平衡系統(tǒng)中人的腦力負(fù)荷與體力負(fù)荷是保證系統(tǒng)安全穩(wěn)定運(yùn)行的重要舉措。 腦力負(fù)荷精準(zhǔn)測量是人機(jī)交互系統(tǒng)更加合理的基礎(chǔ),準(zhǔn)確地描述腦力負(fù)荷具有重要意義。 因此,實(shí)現(xiàn)對腦力負(fù)荷的準(zhǔn)確測量和精準(zhǔn)分類,如在設(shè)計(jì)階段通過改進(jìn)設(shè)計(jì),避免超負(fù)荷現(xiàn)象的發(fā)生,在使用階段采取有效措施,維持適宜的腦力負(fù)荷水平,是有效避免人誤、提高人機(jī)系統(tǒng)可靠性的必然需求。
目前研究腦力負(fù)荷主要的方法是使用不同難度級別的誘發(fā)任務(wù)引起不同程度的腦力負(fù)荷[5-7]。 在實(shí)驗(yàn)設(shè)計(jì)中通常會(huì)使用固定難度級別的任務(wù),而忽略了個(gè)體的差異性。 這樣會(huì)導(dǎo)致部分受試者被誘發(fā)出的負(fù)荷狀態(tài)不滿足實(shí)驗(yàn)的設(shè)計(jì)目的。 Pergher 等[8]的研究中使用固定難度等級的序列(0-Back, 1-Back, 2-Back, 3-Back)來研究青年和老年人在N-Back 任務(wù)執(zhí)行時(shí)的心理負(fù)荷,在高難度級別任務(wù)時(shí)青年人的表現(xiàn)正常,但老年人的表現(xiàn)出現(xiàn)了異常,經(jīng)過分析很有可能是由于任務(wù)難度過高導(dǎo)致老年人任務(wù)中斷,這會(huì)嚴(yán)重干擾對結(jié)果的分析。
近幾年腦電圖技術(shù)在腦神經(jīng)科學(xué)中廣泛應(yīng)用[9-11]。 為了探索腦電圖與腦力負(fù)荷的關(guān)系,Islam 等[12]通過真實(shí)駕駛實(shí)驗(yàn)獲得的腦電圖與車輛信號融合,構(gòu)建一種新的基于互信息的特征集,并應(yīng)用于評估駕駛員的心理負(fù)荷,提供了一種可行的駕駛員腦力負(fù)荷測量方案。 Dehais 等[13]使用6 個(gè)干電極,在實(shí)際的飛行任務(wù)中加入聽覺Oddball 范式,提取了腦電信號中的ERP 和頻譜功率特征實(shí)現(xiàn)了對飛行員的腦力負(fù)荷監(jiān)測。Chakladar 等[14]使用Grey Wolf Optimizer 對統(tǒng)計(jì)特征(均值、標(biāo)準(zhǔn)差、偏度和峰度)、不同頻帶的PSD、自回歸系數(shù)以及近似熵等特征進(jìn)行篩選,并對比了BLSTM、SVM 和隨機(jī)森林模型的分類效果。 Liu 等[15]采集13 名受試者M(jìn)ATB 任務(wù)期間的腦電圖信號,使用獨(dú)立分量分析法(ICA)獲得多個(gè)成分(ICs),然后提取ICs 的能量作為特征用于腦力負(fù)荷的分類,與直接使用不同頻帶的PSD特征相比分類正確率得到了較明顯提升。 迄今為止,對腦電負(fù)荷分類的研究大多依賴于來自單個(gè)信道或源的特征,可以分為時(shí)域特征、頻域特征以及非線性特征等3 類。 本研究采用這3 類特征來構(gòu)建分類模型預(yù)估受試者的腦力負(fù)荷狀態(tài)。
對于特征的提取,研究者們傾向于盡可能使用較少的特征來完成模型的構(gòu)建。 Caywood等[16]設(shè)計(jì)了一個(gè)受試者在3 種刺激變量下完成N-Back 任務(wù)的實(shí)驗(yàn),分別是聽覺-語言、視覺-空間和視覺-數(shù)字,每一種都有3 種工作記憶負(fù)荷。 他認(rèn)為一小部分腦電圖特征足夠得到令人滿意的模型預(yù)測能力,他的研究中僅使用前25%的特性的效果幾乎和使用100%的特性分類正確率一樣好[16]。 但在我們的研究中,使用更多維度的特征,能夠增加模型的魯棒性,使模型在面對不同受試者時(shí)擁有較好的穩(wěn)定性。
本文針對不同受試者對任務(wù)接受程度不同,設(shè)定適合受試者的任務(wù)難度,以確保每名受試者都被誘發(fā)出級別可分的腦力負(fù)荷狀態(tài); 研究不同類型特征的模型正確率表現(xiàn)以及融合更多類型的特征的模型對分類正確率的影響。
16 名健康的在校大學(xué)生作為受試者,其中14名男性,2 名女性,平均年齡為(19.7±0.65)歲,均是右利手。 正式實(shí)驗(yàn)前,受試者需經(jīng)過多次訓(xùn)練,確保每一名受試者對實(shí)驗(yàn)任務(wù)都足夠了解,且績效相對穩(wěn)定,并要避免訓(xùn)練效應(yīng)。
N-Back 實(shí)驗(yàn)是腦力負(fù)荷誘發(fā)實(shí)驗(yàn)中最常見的實(shí)驗(yàn)范式,大多數(shù)研究中[8,15-16],在實(shí)驗(yàn)前規(guī)定好不同難度級別對應(yīng)的N,對所有被試使用相同的難度等級設(shè)置。 這樣不利于針對不同個(gè)體誘發(fā)出合理的負(fù)荷等級。 例如,確定3 個(gè)負(fù)荷等級對應(yīng)0-Back、1-Back、3-Back,對部分受試者來說,0-Back 與1-Back 的區(qū)別并不大,無法誘發(fā)出可區(qū)分的負(fù)荷等級。 并且存在一些從績效數(shù)據(jù)上難以分辨的情況,例如,部分受試者難以完成3-Back實(shí)驗(yàn),所以會(huì)出現(xiàn)懈怠情緒,選擇放棄實(shí)驗(yàn),在績效上會(huì)呈現(xiàn)出與0-Back、1-Back 較大的差異,但此時(shí)受試者的腦力負(fù)荷實(shí)際上并不高,因?yàn)榇藭r(shí)受試者實(shí)際上已經(jīng)處于放棄任務(wù)的情況。 為避免這種超負(fù)荷的情況出現(xiàn),要求我們在進(jìn)行實(shí)驗(yàn)設(shè)計(jì)時(shí)充分考慮到受試者的個(gè)體差異,針對每名受試者的任務(wù)接受情況來安排負(fù)荷等級和實(shí)驗(yàn)難度。
本實(shí)驗(yàn)設(shè)計(jì)大致如下:使用N-Back 實(shí)驗(yàn)作為本研究的誘發(fā)范式,N-Back 實(shí)驗(yàn)要求操作者比較當(dāng)前字符與N 個(gè)之前出現(xiàn)的字符進(jìn)行比較,若相同則為目標(biāo)字符,反之為非目標(biāo)字符。 字符NBack 任務(wù)則是在屏幕上顯示500 ms 的大寫字母來達(dá)到刺激的目的。 在刺激結(jié)束后,屏幕顯示2 s的“+”,用來使受試者恢復(fù)平靜并對當(dāng)前刺激做出響應(yīng)。 目標(biāo)字符與非目標(biāo)字符出現(xiàn)的比例設(shè)置為1 ∶1,當(dāng)目標(biāo)字符出現(xiàn)時(shí),敲擊鍵盤左鍵,否則敲擊鍵盤右鍵。 在執(zhí)行字符N-Back 任務(wù)期間,要求志愿者盡量保持靜止,避免運(yùn)動(dòng)偽跡,志愿者通過耳機(jī)或屏幕上的刺激,使用左右方向鍵來響應(yīng)是否為目標(biāo)字母。
每次實(shí)驗(yàn)包含2 個(gè)任務(wù)塊,每個(gè)任務(wù)塊中包含順序隨機(jī)的3 個(gè)難度等級的N-Back 任務(wù),如:(3,1,5-Back)。 每種任務(wù)難度的N-Back 任務(wù)流程如圖1(a)所示,開始時(shí)需要靜息1 min,然后連續(xù)出現(xiàn)72 個(gè)刺激字母(如圖中所示字母G、B),完成后休息2 min,因此單次任務(wù)用時(shí)360 s。 任務(wù)塊中不同難度的任務(wù)隨機(jī)出現(xiàn),避免固定的難度順序給操作者帶來額外的心理暗示。 為了避免高負(fù)荷任務(wù)使操作人員疲勞,任務(wù)塊之間需要休息2 min。 整個(gè)實(shí)驗(yàn)用時(shí)40 min,圖1(b)展示了整個(gè)實(shí)驗(yàn)的流程。 實(shí)驗(yàn)還記錄了響應(yīng)的正確個(gè)數(shù)、正確反應(yīng)時(shí)間和平均反應(yīng)時(shí)間。
圖1 實(shí)驗(yàn)流程Fig.1 Flow chart of experiment
在受試者足夠熟悉N-Back 實(shí)驗(yàn)后,實(shí)驗(yàn)的前一天,每一位受試者測試能夠保證正確率在85%以上的極限難度等級,如表1 所示,由于個(gè)體的差異性,每個(gè)人對N-Back 范式的接受程度不一致,在進(jìn)行多次測量后,得到了每個(gè)人在保證正確率前提下能夠完成的最大Back 數(shù),根據(jù)此數(shù)據(jù)對每名志愿者設(shè)置合適的負(fù)荷等級,進(jìn)行控制誘發(fā)的等級設(shè)置。
表1 實(shí)驗(yàn)難度等級設(shè)置表Table 1 Setting of experiment difficulty levels
實(shí)驗(yàn)使用 32 導(dǎo) EEG 設(shè)備( BrainAmp Standard,BRAIN PRODUCTS)采集受試者的腦電信號,設(shè)備采樣率設(shè)置為1000 Hz,32 個(gè)導(dǎo)聯(lián)的位置遵循國際10-20 系統(tǒng)放置,使用Cz 導(dǎo)聯(lián)作為參考電極。 使用Brain Products GmbH 軟件實(shí)時(shí)記錄信號。
在每次完成一個(gè)Back 實(shí)驗(yàn)后,受試者需要填寫腦力負(fù)荷主觀量表。 該量表要求受試者評估此次實(shí)驗(yàn)過程中的腦力負(fù)荷狀態(tài),打分從0 分到10分,0 分代表無腦力負(fù)荷,10 分代表腦力負(fù)荷極大。
預(yù)處理采用MATLAB2020a 開源工具包EEGLAB 完成,主要包含以下步驟:首先使用所有通道EEG 信號幅值的平均值對信號進(jìn)行重參考;接著使用0.5~45 Hz 的巴特沃斯帶通濾波器去除直流成分和高頻成分的干擾;接著將信號降采樣至200 Hz,以降低數(shù)據(jù)大小;隨后使用獨(dú)立成分分析(Independent Component Analysis, ICA)算法手動(dòng)去除了眼動(dòng)、肌電、通道噪聲等干擾。 最后以刺激開始時(shí)刻為標(biāo)志,截取刺激出現(xiàn)前1 s 到刺激出現(xiàn)后的2 s 數(shù)據(jù)作為一個(gè)片段(總長度3 s)。每名受試者經(jīng)過處理后得到了432 個(gè)樣本,其中低中高每個(gè)難度級別的樣本量相同。 數(shù)據(jù)處理過程中發(fā)現(xiàn)3 名志愿者的運(yùn)動(dòng)偽跡干擾嚴(yán)重,排除后得到13 名受試者有效數(shù)據(jù)。
本文提取的與腦力負(fù)荷密切相關(guān)的特征主要包含時(shí)域特征、頻域特征以及非線性特征。 均值、標(biāo)準(zhǔn)差、信號偏度、有效值、峰值、峰值因子、峭度、波形因子、脈沖因子以及裕度因子等為時(shí)域特征。不同頻帶(δ、θ、α、β1、β2、γ)的功率譜密度(Power Spectral Density,PSD)和不同半球的功率差為頻域特征。 另外選擇近似熵、樣本熵、模糊熵作為非線性特征。
3.2.1 時(shí)域特征
從時(shí)域的角度對信號進(jìn)行統(tǒng)計(jì)學(xué)分析,計(jì)算EEG 信號中每個(gè)通道的若干特征值,來區(qū)分不同負(fù)荷等級的腦力負(fù)荷響應(yīng)。
均值:對截取出來的每一個(gè)片段,計(jì)算每個(gè)通道的平均電壓值。
標(biāo)準(zhǔn)差:反映信號的離散程度,對截取出來的每一個(gè)片段,計(jì)算每個(gè)通道的電壓幅值標(biāo)準(zhǔn)差。
峰值:對每個(gè)樣本的每個(gè)通道計(jì)算其峰值電壓,這是信號最常見的度量之一。
有效值:有效值代表了信號的能量。
均方誤差:可以評價(jià)數(shù)據(jù)變化的離散程度。
偏度:偏度是對信號分布偏斜方向和程度的度量,反映了信號的非對稱程度。 右偏分布的偏度大于0,左偏分布的偏度小于0,當(dāng)偏度為0 時(shí),信號服從正態(tài)分布。 計(jì)算公式如式(1),其中μ代表均值,δ代表方差。
峰值因子:信號峰值與有效值的比值,可以用來檢測信號是否存在沖擊的統(tǒng)計(jì)指標(biāo)。
脈沖因子:信號峰值與平均值的比值,同樣被用來檢測信號是否存在沖擊。
裕度因子:信號峰值與方根幅值的比值。
波形因子:有效值與整流平均值的比值,在電子領(lǐng)域使用較多。
峭度:用來表示波形的平緩程度。 正態(tài)分布的峭度等于3,峭度小于3 時(shí)分布的曲線會(huì)較平緩,大于3 時(shí)分布的曲線較陡峭。
3.2.2 頻域特征
使用快速傅立葉變換 ( Fast Fourier Transform, FFT) 計(jì)算每個(gè)樣本各通道的功率譜密度(PSD),得到頻段δ(0.5~3 Hz)、θ(3~8 Hz)、α(8~13 Hz)、β1(13~20 Hz)、β2(20~30 Hz)、γ(30~45 Hz)的能量。 隨后,選取左右腦和前后腦的10 個(gè)通道對(F8-F7、FC2-FC1、T8-T7、C4-C3、CP2-CP1、P4-P3、Fz-O1、Fz-Pz、F4-P4、F3-P3),計(jì)算各通道對在δ、θ、α、β1、β2、γ 能量差作為新的特征。
3.2.2 非線性特征
本文計(jì)算了3 種常用的非線性特征,近似熵、樣本熵和模糊熵。 這3 種熵是探究腦電規(guī)律性和相似性的重要非線性指標(biāo)[17]。
近似熵:近似熵是被用來量化時(shí)間序列不規(guī)則性和復(fù)雜性的一種度量方法,通過以條件概率的方式來衡量時(shí)間序列中新信息發(fā)生的可能性,因此時(shí)間序列越復(fù)雜近似熵越大。 設(shè)有長度為N的時(shí)間序列X(1),X(2),…,X(N) ,提前規(guī)定表示相似度閾值r以及劃分子序列長度的m。 通過將原序列切割成長度為m的(N-m+ 1) 個(gè)子序列,表示為U(1),U(2),…,U(N-m+ 1) ,其中U(i)=[X(i),X(i+ 1),…,X(i+m- 1)] 。 接著計(jì)算任意兩個(gè)X(i),X(j) 的距離Dm,Dm定義為兩個(gè)向量中對應(yīng)位置元素的最大差值。 然后使用式(2)求出滿足條件的向量個(gè)數(shù)和總數(shù)之比。
另外,定義子序列長度為m時(shí)的平均相似率Φm(r) 為式(3):
最終定義近似熵為式(4):
樣本熵:樣本熵同樣被用來衡量時(shí)間序列的復(fù)雜度,設(shè)有長度為N的時(shí)間序列X(1),X(2),…,X(N) ,計(jì)算任意兩個(gè)X(i),X(j) 的距離Dm,Dm定義為兩個(gè)向量中對應(yīng)位置元素的最大差值使用式(5)求出滿足條件的向量個(gè)數(shù)和總數(shù)之比。
同樣的求序列的近似相似率:
最終定義樣本熵SampEn為:
模糊熵:模糊熵的特點(diǎn)是參數(shù)的改變對復(fù)雜性的度量結(jié)果影響很小,這有利于EEG 信號的分析。 設(shè)有長度為N的時(shí)間序列X(1),X(2),…,X(N) ,提前規(guī)定表示相似度閾值r 以及劃分子序列長度的m。 通過將原序列切割成長度為m的(N-m+ 1) 個(gè)子序列,表示為U(1),U(2),…,U(N-m+ 1) ,其中U(i)=[X(i),X(i+ 1),…,X(i+m- 1)] -X0(i) 。
接著計(jì)算任意兩個(gè)X(i),X(j) 的距離,Dm定義為兩個(gè)向量中對應(yīng)位置元素的最大差值。
針對每個(gè)i計(jì)算平均值:
另外定義
最終模糊熵定義為:
本研究主要考慮低、中、高3 個(gè)等級腦力負(fù)荷分類問題。 使用支持向量機(jī)(support vector machine,SVM)、決策樹、隨機(jī)森林進(jìn)行對比研究。這些分類器的性能可以通過正確率度量,計(jì)算公式如式(12)所示:
其中TP為真陽性數(shù),TN為真陰性數(shù),F(xiàn)P為假陽性數(shù),F(xiàn)N為假陰性數(shù)。
對不同的分類器選擇了網(wǎng)格搜索法,以獲得最佳模型參數(shù)。 徑向基函數(shù)(RBF)被用作SVM的核函數(shù),有2 個(gè)重要參數(shù)懲罰系數(shù)C和誤差容忍度,搜索空間為[0.0001, 0.001, 0.01, 0.1,1, 10, 20, 30]。 參數(shù)Gamma 代表支持向量的數(shù)量,搜索空間為[0.1, 0.2, 0.25, 0.4, 0.8, 1.6,3.2, 6.4] 。 DT 算法有3 個(gè)參數(shù)需要調(diào)整:特征選取方法、最大深度和分割內(nèi)部節(jié)點(diǎn)所需的最小樣本數(shù)。 “Entropy”和“gini”,被嘗試作為參數(shù)“特征選取方法”的搜索空間。 參數(shù)“最大深度”和參數(shù)“分割內(nèi)部節(jié)點(diǎn)所需的最小樣本數(shù)”的搜索空間分別為[10, 30, 60, 100]和[2, 5, 10,15]。 RF 是一個(gè)具有良好泛化能力的集合分類模型。 有研究表明[6,18],隨機(jī)森林在心理工作負(fù)荷分類中表現(xiàn)良好。 該分類器主要搜索參數(shù)“隨機(jī)森林跨度樹的數(shù)量”,調(diào)整空間為[100,200,500]。 此外,為了保證分類結(jié)果的可靠性,通過隨機(jī)選擇樣本,生成模型的訓(xùn)練集和測試集,訓(xùn)練集和測試集比例設(shè)置為8 ∶2 。 為避免模型過擬合,使用5 折交叉驗(yàn)證來評估模型的有效性。
為驗(yàn)證不同類型特征的識別效果,模型的數(shù)據(jù)集有以下4 個(gè)類型:
1)時(shí)域特征(Time-domain-only)。 僅使用提取出來的320 個(gè)時(shí)域特征作為數(shù)據(jù)集進(jìn)行分類。
2)頻域特征(Freq-domain-only)。 僅使用頻域特征作為數(shù)據(jù)集進(jìn)行分類,特征包括每個(gè)通道的6 個(gè)頻帶能量和左右腦和前后腦十個(gè)通道對的能量差,共計(jì)252 個(gè)特征。
3)非線性特征(Non-linear-only)。 僅使用非線性特征作為數(shù)據(jù)集進(jìn)行分類,特征包括近似熵、樣本熵、模糊熵,共計(jì)96 個(gè)特征。
4)所有特征(All-domain)。 使用所有668 個(gè)特征進(jìn)行分類。
統(tǒng)計(jì)分析任務(wù)難度對受試者的績效、主觀量表、生理響應(yīng)的影響,利用配對t檢驗(yàn)分別以績效和主觀量表為對象,分析任務(wù)是否成功誘發(fā)了受試者的不同負(fù)荷水平。 然后以不同負(fù)荷水平(低、中、高)、不同通道和不同頻帶為研究對象,對提取的特征進(jìn)行重復(fù)測量方差分析。P<0.05認(rèn)為差異具有統(tǒng)計(jì)學(xué)意義。
以工作負(fù)荷水平為因素,對16 名志愿者的反應(yīng)正確率、反應(yīng)時(shí)間、正確反應(yīng)時(shí)間以及量表數(shù)據(jù)進(jìn)行單因素方差分析(ANOVA),結(jié)果如表2所示。
表2 不同工作負(fù)荷等級下行為學(xué)數(shù)據(jù)統(tǒng)計(jì)(n=16)Table 2 Behavioral data statistics for different workload levels(n=16)
表2 顯示,隨著負(fù)荷等級的提升,準(zhǔn)確率下降,反應(yīng)時(shí)上升,志愿者的量表打分上升。 具體來說,不同任務(wù)的正確率(F(2,201)=79.92,P<0.001),反應(yīng)時(shí)(F(2,201)=26.72,P<0.001),正確反應(yīng)時(shí)(F(2,201)=119.71,P<0.001) 均有顯著差異。 使用Bonferroni 校正后事后多重比較分析發(fā)現(xiàn),3 個(gè)等級的準(zhǔn)確性、反應(yīng)時(shí)、正確反應(yīng)時(shí)、量表數(shù)據(jù)均有顯著差異(P<0.05)。
從受試者填寫的負(fù)荷需求主觀量表可以看出,3 個(gè)負(fù)荷等級之間的主觀感受差異很大,低負(fù)荷平均打分2.42,中負(fù)荷平均打分3.78,高負(fù)荷平均打分5.93。 各等級的負(fù)荷打分比較集中,標(biāo)準(zhǔn)差在1.02 至1.6 之間,可以認(rèn)為所有受試者都被針對性的誘發(fā)出了3 個(gè)級別的腦力負(fù)荷狀態(tài)。
上述結(jié)果表明本文實(shí)驗(yàn)設(shè)計(jì)成功的誘發(fā)了所有受試者不同程度的腦力負(fù)荷。 與統(tǒng)一使用相同的難度等級設(shè)置相比,本研究的設(shè)計(jì)從任務(wù)本身避免了負(fù)荷不可分的情況。
在低負(fù)荷和高負(fù)荷之間,對所有樣本的時(shí)域特征進(jìn)行統(tǒng)計(jì)分析,如圖2 所示,13 名受試者中7名以上受試者前額葉區(qū)域的標(biāo)準(zhǔn)差、峰值、峰度因子、脈沖因子和裕度因子特征敏感。 其中,不同的任務(wù)負(fù)載在大腦左半球區(qū)域引起了峰值的顯著差異,峰值因子和脈沖因子在前額葉、中央?yún)^(qū)、枕葉)區(qū)域有顯著的差異(P<0.05)。
圖2 時(shí)域特征顯著差異統(tǒng)計(jì)圖Fig.2 Statistics of significant differences in time domain characteristics
圖3 展示了由不同負(fù)荷引起的θ、α、β1、β2、γ等6 個(gè)波段絕對功率腦地形分布。 可以看出,隨著負(fù)荷的增加,前額葉、中央?yún)^(qū)以及枕葉位置的θ、α 波段能量出現(xiàn)降低,這與Wang 等[19]的研究相符。 另外,低β 波段的能量在前額葉、中央?yún)^(qū)、頂葉等區(qū)域出現(xiàn)下降而在枕葉增高。 這說明隨著腦力負(fù)荷的升高,受試者的活躍腦區(qū)發(fā)生了改變,并且部分波段的能量出現(xiàn)規(guī)律性的變化。 進(jìn)一步分析變化的顯著程度發(fā)現(xiàn),大部分受試者在θ、α、β 波段具有顯著性(P<0.05)。
圖3 6 個(gè)波段在不同負(fù)荷情況下的功率譜能量(所有受試者的平均)Fig.3 Power spectrum energy of 6 bands under different loads (average of all subjects)
圖4 展示了左右腦和前后腦10 個(gè)通道對的能量差的統(tǒng)計(jì)結(jié)果,可以發(fā)現(xiàn)γ、β 波段下前后腦的能量差在幾乎所有受試者中都具有良好的區(qū)分性。 可以預(yù)見的是不同腦區(qū)的能量差會(huì)是解讀腦力負(fù)荷大腦響應(yīng)的有效途徑。
圖4 腦區(qū)能量差顯著性統(tǒng)計(jì)Fig.4 Statistics of significant energy differences in brain regions
本文不同負(fù)荷等級下,近似熵與模糊熵的差別并不突出,多數(shù)通道無明顯規(guī)律,這可能是由于個(gè)體的差異性導(dǎo)致的。 樣本熵的結(jié)果相對較好,熵值在右半球C4,CP2,CP5,CP6,F(xiàn)P2,F(xiàn)4,P4,Pz,TP9 等通道出現(xiàn)逐級下降,如圖5 所示。
圖5 不同負(fù)荷等級下樣本熵大小Fig.5 Sample entropy under different load levels
經(jīng)過數(shù)據(jù)預(yù)處理后,每個(gè)受試者在3 個(gè)難度級別的腦電響應(yīng)中得到432 個(gè)樣本。 定義僅使用時(shí)域特征的數(shù)據(jù)集為Time Domain 數(shù)據(jù)集,維度為432 個(gè)樣本×320 個(gè)特征;定義僅使用非線性特征的數(shù)據(jù)集為Non-Liner 數(shù)據(jù)集,維度為432 個(gè)樣本×96 個(gè)特征;定義僅使用頻域特征的數(shù)據(jù)集為Freq Domain 數(shù)據(jù)集,維度為432 個(gè)樣本×252 個(gè)特征;定義使用所有特征的數(shù)據(jù)集為All Feature數(shù)據(jù)集,維度為432 個(gè)樣本×668 個(gè)特征。
本文分別使用了SVM 模型、隨機(jī)森林模型、決策樹模型,對上述分析的特征進(jìn)行建模,分類結(jié)果如表3 所示。
表3 分類結(jié)果Table 3 Classification results
從表中信息可以看出,隨機(jī)森林模型下各數(shù)據(jù)集的表現(xiàn)均優(yōu)于其他模型。 在EEG 特征中,使用頻域特征建模的效果最好,僅使用頻域特征,最高可以達(dá)到95.3%的正確率,平均正確率達(dá)到85.5%。 僅使用時(shí)域特征,正確率保持在70%左右,與頻域特征相比差距較大。 使用非線性特征正確率達(dá)到了77%左右,這說明非線性特征與頻域特征都優(yōu)于時(shí)域特征,且頻域特征最能夠代表大腦中所包含的信息。 對比使用融合特征建模后的結(jié)果發(fā)現(xiàn),融合時(shí)域、頻域特征對模型的結(jié)果提升并不明顯。
在使用所有特征的情況下,隨機(jī)森林模型能夠達(dá)到87.3%的平均正確率,相比之下,盡管融合全部特征對平均正確率的提升并不明顯,但融合后每名受試者正確率的差異縮小了,即提高了模型的魯棒性,模型能夠在不同的受試者間都能得到較好的分類正確率,這在實(shí)際的運(yùn)用中尤為重要。
本文充分考慮了受試者由于個(gè)體差異帶來的對任務(wù)難度接受程度不同的影響,通過測試出受試者能夠接受的最大任務(wù)難度來制定受試者所參與的3 個(gè)任務(wù)難度級別。 從實(shí)驗(yàn)設(shè)計(jì)上很好的區(qū)分了3 種不同的任務(wù)負(fù)載情況,這對于精神任務(wù)工作量辨別方面至關(guān)重要。 另外,使用更多類型的特征有效提高了模型的穩(wěn)定性。 在識別正確率方面達(dá)到了令人滿意的水平。
具體來說,得益于個(gè)性化的任務(wù)難度設(shè)置。行為學(xué)數(shù)據(jù)的統(tǒng)計(jì)分析結(jié)果令人滿意,隨著工作負(fù)載的上升,準(zhǔn)確率出現(xiàn)顯著下降(F(2,201)=79.92,P<0.001),反應(yīng)時(shí)也呈現(xiàn)與預(yù)期一致的顯著下降(F(2,201)=26.72,P<0.001)。 這說明針對性的任務(wù)設(shè)計(jì)能夠提高不同負(fù)荷等級帶來的主觀差異,避免了由于任務(wù)難度不可分和任務(wù)難度過高而帶來受試者負(fù)荷狀況不可控的異常情況。
同時(shí),不同的任務(wù)負(fù)載在大腦左半球區(qū)域引起了峰值的顯著響應(yīng)。 這可能是由于事件相關(guān)電位(Event-Related Potential, ERP)引起的。 在一些沒有明顯刺激事件的任務(wù)中,時(shí)域特征可能不會(huì)有太好的效果。 此外,隨著負(fù)荷的提高,低β波段的能量在前額葉、中央?yún)^(qū)、頂葉等區(qū)域出現(xiàn)下降而在枕葉增高。 前額葉、中央?yún)^(qū)以及枕葉位置的α波段能量出現(xiàn)降低。 這與之前的研究一致[20-22]。
分別使用不同類型特征進(jìn)行建模,時(shí)域特征的效果是最差的,可能是由于未使用ERP 特征,且使用的模型不能自動(dòng)挖掘更深層次的特征關(guān)系。 未來,應(yīng)使用深度學(xué)習(xí)網(wǎng)絡(luò),挖掘出特征之間的隱藏聯(lián)系。 頻域特征的表現(xiàn)與前人研究一致[7,23],僅使用頻域特征在隨機(jī)森林模型上得到了(85.5±5.6)%的正確率。 在使用全部特征的情況下,在隨機(jī)森林模型上得到了(87.3±4.4)%的正確率。 可以看出,在普遍提高分類正確率的基礎(chǔ)上,使用更多維度的特征能夠使模型更加穩(wěn)定,即面對不同的受試者表現(xiàn)出的性能更加穩(wěn)定。
1)本文充分考慮了不同受試者對腦力負(fù)荷承受能力的不同,設(shè)置了個(gè)性化的任務(wù)參數(shù),成功誘發(fā)了受試者等級可分的腦力負(fù)荷狀態(tài)。
2)分析了在3 種負(fù)荷水平下N-Back 任務(wù)的生理響應(yīng),發(fā)現(xiàn)前額葉、中央?yún)^(qū)以及枕葉區(qū)域的大腦活動(dòng)受任務(wù)影響較大。
3)對比僅時(shí)域特征、僅頻域特征、僅非線性特征以及全部類型特征同時(shí)使用情況下的負(fù)荷分類情況,結(jié)果顯示,使用全部類型特征不僅能夠達(dá)到平均89.4%的較高正確率,而且提高了模型的魯棒性。