劉 燕 鄭 威 龍佳偉
(江蘇科技大學(xué)電子信息學(xué)院 鎮(zhèn)江 212000)
長時(shí)間超負(fù)荷地作業(yè)會(huì)導(dǎo)致嚴(yán)重的疲勞現(xiàn)象:警惕性下降,注意力不集中,腦細(xì)胞損傷,甚至?xí)<吧踩?。因此,有效地進(jìn)行疲勞檢測(cè),并及時(shí)給出預(yù)警,對(duì)人們的生命健康安全具有重大意義。
目前,疲勞測(cè)量的方法主要有:心理測(cè)量問卷[1],視頻測(cè)量,生理測(cè)量。其中,心理測(cè)量易受個(gè)人潛在的不可靠/有偏見的主觀反饋影響,視頻測(cè)量有時(shí)會(huì)涉及隱私問題,而生理測(cè)量法是一種相對(duì)直接有效的測(cè)量方法,特別是腦電信號(hào)因能直接反映大腦皮層疲勞狀況的變化,被頻繁用于疲勞檢測(cè)的研究中。
傳統(tǒng)的信號(hào)分析方法有時(shí)域、頻域和時(shí)頻分析法。腦電信號(hào)具有隨機(jī)、非平穩(wěn)等特點(diǎn),所以單一的時(shí)域或者頻域分析存在很大的局限,大多腦電疲勞檢測(cè)的研究采用時(shí)頻分析法。
近年來,熵指標(biāo)作為能夠度量信號(hào)系統(tǒng)復(fù)雜性的一種參數(shù),已在腦電信號(hào)分析中得到了廣泛的應(yīng)用[2~3]。Yang 等[4]提出了一種基于香農(nóng)熵的多小波包變換網(wǎng)絡(luò)。劉超[5]提出了一種經(jīng)驗(yàn)?zāi)B(tài)分解下自適應(yīng)多尺度熵的腦電特征提取算法。王海玉等[6]采用獨(dú)立成分分析(Independent Component Correlation Algorithm,ICA)進(jìn)行樣本熵、信息熵、模糊熵和AR 系數(shù)的特征提取,獲得了91.04%的疲勞識(shí)別準(zhǔn)確率。閔建亮等[7]提取了前額腦電信號(hào)小波對(duì)數(shù)能量熵(Wavelet Logarithm Energy Entropy,WLE)特征,獲得了91.8%疲勞識(shí)別率。胡劍鋒等[8]提取駕駛?cè)藛T的腦電模糊熵特征,獲得了97.4%疲勞識(shí)別率。
雖然,以上方法都可較準(zhǔn)確地識(shí)別疲勞狀態(tài),但時(shí)頻分析、各種熵的結(jié)合算法過于復(fù)雜??紤]到共空間模式[9~10](Common Spatial Pattern,CSP)已廣泛應(yīng)用于腦電信號(hào)的運(yùn)動(dòng)想象領(lǐng)域,適用于二分類任務(wù)的特征提取,而且此方法還未發(fā)現(xiàn)在疲勞檢測(cè)上應(yīng)用過。所以此文跳出前人常的研究領(lǐng)域,將CSP應(yīng)用于疲勞檢測(cè)。
此外,全頭皮信號(hào)的采集不利于促進(jìn)腦電疲勞檢測(cè)的實(shí)用性,所以通過盡可能小的區(qū)域獲得較高的腦電疲勞準(zhǔn)確率,對(duì)腦電設(shè)備佩戴的舒適性和便捷性具有重要意義。比如Ogino等[11]提取前額通道腦電數(shù)據(jù)的功率譜密度、自回歸系數(shù)和多尺度樣本熵三種特征進(jìn)行困倦檢測(cè)研究,分類精度達(dá)到了72.7%。Mu等[12]利用FE特征分析前額腦電駕駛疲勞信號(hào)并取得了85.0%的識(shí)別率。
本文提出的疲勞檢測(cè)方法,能夠有效地將兩類數(shù)據(jù)間的特征的差異最大化,可獲得較高的疲勞檢測(cè)率,探索出疲勞識(shí)別率較好的區(qū)域,對(duì)實(shí)現(xiàn)疲勞檢測(cè)設(shè)備的舒適性和簡(jiǎn)單化具有重大意義。
腦電信號(hào)疲勞檢測(cè)過程如圖1 所示,因原始腦電信號(hào)存在噪聲干擾,首先需要用0.5Hz~45Hz 的濾波器對(duì)原始腦電信號(hào)進(jìn)行預(yù)處理,然后將濾波后的腦電信號(hào)進(jìn)行CSP特征提取,最后將提取到的空間特征經(jīng)由支持向量機(jī)(Support Vector Machine,SVM)[13]進(jìn)行分類,從而區(qū)分出疲勞和清醒兩種狀態(tài)。
圖1 信號(hào)處理流程圖
CSP算法[14~15]采用監(jiān)督的方法創(chuàng)建一個(gè)最優(yōu)的公共空間濾波器,在最大化一類方差的同時(shí)最小化另一類方差,采用同時(shí)對(duì)角化兩類任務(wù)協(xié)方差矩陣的方式,得到可區(qū)分程度最大的特征向量,適用于二分類任務(wù)的特征提取。
如圖2 所示為CSP 算法的流程圖,該算法過程主要分為六個(gè)步驟:
圖2 CSP算法的流程圖
步驟一:將腦電數(shù)據(jù)E(M×N)按疲勞和清醒進(jìn)行分段,用E1和E2分別表示分段后的兩類數(shù)據(jù)樣本。
步驟二:計(jì)算分段后的數(shù)據(jù)的協(xié)方差矩陣,公式如下:
trace(E)表示求矩陣E 的跡。分別計(jì)算分段后樣本的協(xié)方差矩陣,用C1和C2分別表示兩類樣本的空間協(xié)方差矩陣的期望。用Cc表示兩類樣本的期望之和,公式如下:
步驟三:正交白化變換,并且同時(shí)對(duì)角化。Cc是正定矩陣,公式如下:
Uc為特征向量矩陣,Λc表示特征值的對(duì)角陣。白化轉(zhuǎn)換Uc可得到P值如下式:
將矩陣P作用于C1、C2,可得到公式:
S1、S2具有公共特征向量,而且存在兩個(gè)對(duì)角矩陣Λ1、Λ2和特征向量矩陣B,滿足下式條件:
其中I 為單位陣。觀察可知S1和S2的特征值之和等于1。
步驟四:計(jì)算投影矩陣,對(duì)于特征向量矩陣Q,當(dāng)一個(gè)類別S1有最大的特征值時(shí),此時(shí)另一個(gè)類別S2有最小的特征值,因此可以利用矩陣Q 實(shí)現(xiàn)兩類問題的分類,可以得到投影矩陣如下式所示:
步驟五:經(jīng)過投影得到特征矩陣,將原腦電數(shù)據(jù)E(M×N)通過投影矩陣W 進(jìn)行投影得到特征矩陣如下式:
可選擇ZM×N的前m 行和后m 行(2m 步驟六:特征提取后,再將空間投影后的信號(hào)Zi(i=1,…,2m)取對(duì)數(shù),歸一化特征,如下式: 其中var 表示求向量的方差,yi為第i個(gè)樣本歸一化后的特征矩陣。 算法生成的CSP特征矩陣,特征信息主要集中在特征矩陣的頭部和尾部,而中間的特征信息不明顯可以忽略,所以一般選取前m行和后m行數(shù)據(jù)作為CSP特征提取的特征矩陣。 考慮到現(xiàn)實(shí)數(shù)據(jù)采集條件受限,本實(shí)驗(yàn)所需的腦電數(shù)據(jù)集,主要使用了閔等[16](2017)公布的駕駛員標(biāo)記訓(xùn)練腦電數(shù)據(jù),已在網(wǎng)上公開。 此實(shí)驗(yàn)主要選擇了12 名年齡在19 歲~24 歲之間的健康年輕人參加高速公路駕駛模擬測(cè)試。所有參與者均來自江西工業(yè)大學(xué),身體強(qiáng)壯,睡眠時(shí)間正常,并被要求在實(shí)驗(yàn)過程中避免使用任何類型的藥物和刺激物,例如酒精或咖啡等。 所有實(shí)驗(yàn)程序均在受控實(shí)驗(yàn)室環(huán)境中,使用靜態(tài)駕駛模擬器(北京中宇股份有限公司生產(chǎn)的ZY-31D 汽車駕駛模擬器)執(zhí)行,該模擬器由三臺(tái)24 英寸顯示器組成,寬屏顯示。模擬路段選擇交通密度低的高速公路,實(shí)驗(yàn)前受試者先熟悉5min駕駛環(huán)境,上午9 點(diǎn),開始大約2h 的駕駛?cè)蝿?wù)。在持續(xù)駕駛試驗(yàn)中,被試者頭戴能采集腦電數(shù)據(jù)的電極帽,電極采集的所有通道數(shù)據(jù)均以A1 和A2 處的兩個(gè)電連接的乳突為參考,其電極布局基于國際10-20 系統(tǒng)(包括30 個(gè)有效通道和2 個(gè)參考通道),實(shí)驗(yàn)采樣頻率為1000Hz。 本實(shí)驗(yàn)的數(shù)據(jù)集包含12 名參與者的腦電圖數(shù)據(jù)。每名參與者包含兩個(gè)300s 的腦電圖數(shù)據(jù)文件:一個(gè)是在參與者清醒狀態(tài)下執(zhí)行駕駛模擬任務(wù)時(shí)收集的300s 腦電圖信號(hào)。另一個(gè)是當(dāng)駕駛員表現(xiàn)出明顯的疲勞癥狀,如閉眼時(shí)間延長、打哈欠和反應(yīng)時(shí)間變慢時(shí),在駕駛模擬任務(wù)結(jié)束時(shí),記錄的300s的腦電圖數(shù)據(jù)。 先用Matlab讀取數(shù)據(jù)集,如圖3(a)和(c)所示,分別為F3 通道上感測(cè)到的未經(jīng)濾波的清醒和疲勞狀態(tài)原始腦電信號(hào)的片段。從波形圖可知,未經(jīng)預(yù)處理的腦電信號(hào)波動(dòng)的幅值較大。對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理:先以0.5Hz 的頻率對(duì)腦電圖信號(hào)進(jìn)行高通濾波,以去除任何DC分量。接著,用低通濾波器衰減腦電信號(hào)的高頻噪聲。由于腦波活動(dòng)的相關(guān)頻帶在1Hz~32Hz 的范圍內(nèi),低通濾波器的通帶是向上設(shè)計(jì)到45Hz。如圖3(b)和(d)所示,分別為濾波后的清醒狀態(tài)和疲勞狀態(tài)腦電信號(hào)片段。濾波后的腦電信號(hào)幅值震動(dòng)范圍相對(duì)集中在正負(fù)50mV之間。實(shí)驗(yàn)中還采用FIR 濾波器[17]過濾掉50Hz 電源的干擾,該電源控制未過濾的信號(hào)[18],過濾后的信號(hào)被分成任意長度的時(shí)間段,以從300s 長的腦電圖記錄中產(chǎn)生大量單獨(dú)的信號(hào)段。因此,從每個(gè)患者的每個(gè)通道中獲得一組600 個(gè)單個(gè)1s 信號(hào)段(300 個(gè)正常,300 個(gè)疲勞),并用“0”表示清醒,“1”表示疲勞。 圖3 原始和濾波后腦電信號(hào)片段 為評(píng)估腦電疲勞檢測(cè)的質(zhì)量,本次實(shí)驗(yàn),選擇使用了準(zhǔn)確度(Accuracy)指標(biāo)進(jìn)行評(píng)估。為減小過擬合,從有限的數(shù)據(jù)中獲取盡可能多的有效信息,本實(shí)驗(yàn)分別采用了5折和10折交叉驗(yàn)證[19]。為簡(jiǎn)單快捷地對(duì)CSP空間特征進(jìn)行二分類,本實(shí)驗(yàn)選擇SVM分類。 將預(yù)處理后的腦電信號(hào)輸入到CSP 中進(jìn)行特征提取。由于CSP 特征點(diǎn)圖僅可顯示二維的特征點(diǎn)或者投影圖,為了更直觀觀察特征點(diǎn)的分布情況,本處列舉的是m=1,特征數(shù)為2的特征點(diǎn)圖。 圖4為全頭皮區(qū)域的CSP二維特征點(diǎn),圖5中,(a)、(b)、(c)和(d)分別為額葉區(qū)、頂葉區(qū)、顳葉區(qū)和枕葉區(qū)CSP二維特征點(diǎn)圖,其中紅色代表疲勞狀態(tài)的二維特征點(diǎn),綠色代表清醒狀態(tài)的二維特征點(diǎn)。對(duì)比特征點(diǎn)圖,可以看出全頭皮的特征比4 個(gè)分區(qū)的特征點(diǎn)更容易二分類。在4 分區(qū)中,兩種狀態(tài)的特征點(diǎn)各自也比較聚集,額葉區(qū)的特征點(diǎn)相對(duì)更容易區(qū)分一些。 圖4 CSP全頭皮二維特征點(diǎn)圖 圖5 CSP 4分區(qū)二維特征點(diǎn)圖 因?yàn)镃SP 的特征信息主要集中在特征矩陣的頭部和尾部,而中間的特征信息不明顯可以忽略,所以一般選取前m 行和后m 行數(shù)據(jù)作為CSP 特征提取的特征矩陣。由此看來,取得合適的m 值,可以獲得較高的識(shí)別率。圖6為CSP特征影響因子m值對(duì)疲勞檢測(cè)結(jié)果準(zhǔn)確率影響的實(shí)驗(yàn)結(jié)果對(duì)比圖。實(shí)驗(yàn)中分別使用了10 折和5 折交叉驗(yàn)證對(duì)1~6之間的m值進(jìn)行了探索。 圖6 疲勞檢測(cè)結(jié)果對(duì)比 經(jīng)實(shí)驗(yàn),發(fā)現(xiàn)由CSP 提取的特征,經(jīng)過10 折交叉驗(yàn)證準(zhǔn)確率為96.49%~98.31%,經(jīng)過5 折交叉驗(yàn)證準(zhǔn)確率為95.43%~98.54%。m 值對(duì)兩種交叉驗(yàn)證的影響趨勢(shì)大致相同,m 值在3~5 之間,兩種交叉驗(yàn)證均可獲得高于98.00%的準(zhǔn)確率,在m=5 處,提取特征數(shù)為10個(gè)時(shí),5折交叉驗(yàn)證可取得98.54%的準(zhǔn)確率。 大腦皮層主要分為額葉(Frontal Lobe)、頂葉(Parietal Lobe)、顳葉(Temporal Lobe)和枕葉(Occipital Lobe)四個(gè)區(qū)域。各個(gè)區(qū)域電極分布情況如下:額葉主要包括FP1、FP2、F7 F3、FZ、F4、F8、FT7、FC3、FCZ、FC4、FT8 共12 個(gè)通道;頂葉主要包括TP7、CP3、CPZ、CP4、TP8、P3、PZ、P4 共8 個(gè)通道;顳葉主要包括FT7、T3、TP7、T5、T4、FT8、TP8、T6 共8個(gè)通道;枕葉主要包括O1、OZ、O2共3個(gè)通道。 由于枕葉處的電極數(shù)僅有3 個(gè),m 取值受限,無法取到5,為了控制實(shí)驗(yàn)變量,因此所有區(qū)域的特征采集均選用m=3 的10 折交叉驗(yàn)證進(jìn)行實(shí)驗(yàn),圖7為不同腦區(qū)疲勞檢測(cè)結(jié)果對(duì)比圖。 圖7 不同腦區(qū)疲勞檢測(cè)結(jié)果 由實(shí)驗(yàn)結(jié)果圖可以看出,全頭皮進(jìn)行疲勞檢測(cè)時(shí),無疑可獲得最高的疲勞識(shí)別率。四個(gè)分區(qū)中,額區(qū)識(shí)別率最好可達(dá)到92.54%,顳區(qū)的識(shí)別率僅次之為91.19%。頂區(qū)和枕區(qū)的疲勞識(shí)別率相對(duì)較低,分別為89.21%和88.41%。由此我們得出:在檢測(cè)電極數(shù)受限或減少電極數(shù)達(dá)到設(shè)備佩戴舒適度的情況下,我們可以優(yōu)選額區(qū)進(jìn)行疲勞檢測(cè)。 基于前學(xué)者[20]研究的基礎(chǔ),本文還對(duì)樣本熵、模糊熵、功率普密度等特征進(jìn)行了腦電疲勞檢測(cè)分析,并采用SVM 的方法進(jìn)行分類,分類準(zhǔn)確率低于原文采用增強(qiáng)樹進(jìn)行分類的效果。如表1 所示,列舉了前人的相關(guān)研究方法和結(jié)果。 表1 與現(xiàn)有研究比較 經(jīng)對(duì)比,可發(fā)現(xiàn),使用CSP特征提取的方法,可獲得98.54%的疲勞識(shí)別率,較高于前學(xué)者使用功率譜密度、樣本熵等方法疲勞識(shí)別率。 通過此研究可獲得以下結(jié)論: 1)CSP 適用于腦電的疲勞特征提取,而且可以獲得較高的疲勞識(shí)別率。 2)合適的m取值,可以以較少的特征數(shù)獲得較大的識(shí)別率。本實(shí)驗(yàn)僅憑借10 個(gè)特征量獲得了98.54%的疲勞識(shí)別率。這可以有效地解決了多特征冗雜的問題,并且可以減少程序運(yùn)行的內(nèi)存。 3)額區(qū)的疲勞識(shí)別率相對(duì)高于其他三個(gè)區(qū)域的疲勞識(shí)別率。這一研究結(jié)果,為額區(qū)疲勞檢測(cè)奠定了基礎(chǔ),為研制更加舒適的硬件佩戴設(shè)備提供了方法,促進(jìn)可穿戴腦機(jī)接口[22~23]在疲勞駕駛預(yù)警中應(yīng)用的可能性。3 實(shí)驗(yàn)數(shù)據(jù)及處理
3.1 實(shí)驗(yàn)介紹
3.2 數(shù)據(jù)集介紹
3.3 數(shù)據(jù)預(yù)處理
4 實(shí)驗(yàn)結(jié)果與分析
4.1 CSP特征分析
4.2 CSP特征影響因子m值分析
4.3 不同腦區(qū)分類結(jié)果分析
4.4 和現(xiàn)有研究比較
5 結(jié)語