王 越，楊觀賜

(貴州大學(xué) 現(xiàn)代制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，貴州 貴陽 550025)

預(yù)計到2050年，65歲及以上的人口將占世界人口的17%[1]。家庭護(hù)理人員的嚴(yán)重短缺，導(dǎo)致對老年人的精神狀態(tài)監(jiān)測不足[2]，這也同時加劇了人口老齡化的壓力。老年人的精神狀態(tài)影響生活的各個方面，如決策、感知、解決問題、創(chuàng)造力、創(chuàng)新和積極的社會交流[3]。目前，情緒預(yù)測和識別在人機(jī)界面、自動駕駛、教育和醫(yī)療保健等領(lǐng)域發(fā)揮著至關(guān)重要的作用。情緒狀態(tài)的分析可以用來區(qū)分神經(jīng)發(fā)育障礙，如自閉癥[4]等，因此確定、監(jiān)測和記錄人類的神經(jīng)狀態(tài)(如身體壓力、認(rèn)知壓力、情緒壓力和放松)[5]對于評估老年人身心健康、改善老年人生活質(zhì)量具有重要意義。

相比于傳統(tǒng)的結(jié)合睜眼、言語和運(yùn)動反應(yīng)來確定人的神經(jīng)系統(tǒng)狀態(tài)[6]，使用腦電EEG信號更加簡單、快速、有效[7]。腦電圖(electroencephalogram，EEG)通過表面或植入電極，以無創(chuàng)的方式收集腦電圖信號，進(jìn)行神經(jīng)活動的監(jiān)測和狀態(tài)評估。但是，腦電信號的信噪比較低，使用腦電圖儀需要腦電圖記錄儀等設(shè)備進(jìn)行分析，難以應(yīng)用于日常生活中。隨著可監(jiān)測、外圍生理信號的可穿戴技術(shù)的迅速發(fā)展，便攜的可穿戴醫(yī)療設(shè)備能夠簡單、連續(xù)對用戶生理數(shù)據(jù)進(jìn)行采集[8]，同時可以利用生物傳感器采集的外圍信號的多個數(shù)據(jù)參數(shù)作為EEG信號的替代品確定神經(jīng)狀態(tài)[9]。腕式設(shè)備便于使用與攜帶，是日常生活的健康監(jiān)測主要方式。智能手表可以檢測心率(heart rate,HR)、皮膚溫度(Temp)、血氧(SpO2)、皮膚電(electrodermal activity,EDA)和手腕加速度等。通過從處理和分析的信號中提取出異常信息，理解和評估個人的神經(jīng)狀態(tài)[10]。

隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的廣泛研究與應(yīng)用，許多學(xué)者都開始對傳感器采集的信號進(jìn)行分析識別。在腦電信號情緒識別方面，文獻(xiàn)[11]提出了濾波器組長短時記憶網(wǎng)絡(luò)(filter-bank long shortterm memory networks，F(xiàn)BLSTM)，以微分熵特征作為輸入對EEG信號進(jìn)行分類，所提出的算法模型在情緒的效價度、喚醒度、效價-喚醒平面分類上均獲得了較高的準(zhǔn)確率。然而受試者只能在固定場所進(jìn)行測試，并不適合智能家庭環(huán)境下的人的情緒識別。在外周生理信號疾病分類方面，文獻(xiàn)[12]通過戴在手腕上的設(shè)備監(jiān)測心率、皮膚溫度和手腕運(yùn)動等信號。對這些信號運(yùn)用機(jī)器學(xué)習(xí)的算法，從而準(zhǔn)確區(qū)分個體的4種應(yīng)激狀態(tài)，實(shí)現(xiàn)對癲癇疾病的分類，其準(zhǔn)確率達(dá)到了90%，但并沒有對正常人的情緒進(jìn)行識別與分析。

利用腦電信號對情緒進(jìn)行識別的正確率較高，但是存在不方便攜帶，無法實(shí)時監(jiān)測等問題。本文基于可穿戴設(shè)備獲取的外周生理信號，研究基于多通道卷積注意力機(jī)制的精神狀態(tài)識別方法，對精神狀態(tài)進(jìn)行分類，以實(shí)現(xiàn)智能家居環(huán)境下獨(dú)居在家的老年人精神狀態(tài)監(jiān)測。

1 數(shù)據(jù)預(yù)處理

1.1 實(shí)驗(yàn)數(shù)據(jù)集

Non-EEG數(shù)據(jù)集[13]是由達(dá)拉斯德克薩斯大學(xué)生活質(zhì)量技術(shù)實(shí)驗(yàn)室使用非侵入性腕戴式生物傳感器收集的非腦電圖生理信號，包括皮膚電活動、溫度、三軸加速計(xa,ya,za)、心率和動脈血氧水平，用于推斷受試者的身體壓力、認(rèn)知壓力、情緒壓力和放松等神經(jīng)狀態(tài)。

該數(shù)據(jù)集由20個受試者的7個階段組成，包含每個受試者的兩條記錄：一條包含三軸加速度計、溫度和皮膚電信號，另一條包含 SpO2和心率信號。這些信號是參與者進(jìn)行4項不同的活動所采集到的生理參數(shù)，包括通過行走/慢跑、讀取用不同顏色的墨水書寫的顏色名稱并辨別墨水的顏色、觀看恐怖電影中的5分鐘剪輯來分別表達(dá)身體壓力、認(rèn)知壓力、情緒壓力。其中，皮膚電活動、溫度、加速計的采樣率為8 Hz，心率和動脈血氧水平傳感器的采樣率為1 Hz。

由于受試者進(jìn)行皮膚電活動、溫度、加速計采集與心率和動脈血氧水平的采樣率不一樣，其中皮膚電活動、溫度、三軸加速計采集的樣本數(shù)量為18 500，而心率和動脈血氧水平的樣本數(shù)量為2 312，樣本數(shù)量不平衡。所以需要對心率與動脈血氧水平數(shù)據(jù)進(jìn)行重采樣，使之與其他類型信號數(shù)量相匹配，并進(jìn)行合并。

1.2 巴特沃斯(Butterworth)濾波

為消除噪聲對特征提取帶來的干擾，在提取皮膚電信號特征時需先對皮膚電信號進(jìn)行濾波處理。巴特沃斯低通濾波器能夠使在通頻帶以內(nèi)的頻率響應(yīng)曲線符合最大限度平坦，而在阻頻率帶內(nèi)則緩慢降至零，能在保留成分和濾除成分之間平滑過渡，對于保持增益的平坦特性尤為關(guān)鍵[14]，特別適合低頻信號的處理。因此，選用巴特沃斯濾波器對皮膚電信號進(jìn)行濾波處理，其計算方式見式(1)。

(1)

式(1)中，n表示巴特沃斯低通濾波器的階數(shù)，Ω表示其頻域中心，Ωc表示頻域中心到頻域平面的距離。其幅頻曲線由通帶、阻帶和過渡帶3部分組成，其中對于通帶有

1-δp≤|H(jΩ)|≤1+δp,|Ω|≤Ωp

(2)

對于阻帶有

|H(jΩ)|≤δs,Ωs≤|Ω|≤∞

(3)

其中，Ωp為通帶邊緣頻率，Ωs為阻帶邊緣頻率；δp為通帶與阻帶內(nèi)濾波器幅值的偏差，δs為通帶與理想濾波器幅值的偏差，濾波器的性能指標(biāo)為

αp=-20 log10(1-δp) dB

(4)

αs=-20 log10(1-δs) dB

(5)

其中，αp為通帶最大波紋，αs為阻帶最小衰減。

將20位受試者的EDA數(shù)據(jù)進(jìn)行提取后，用巴特沃斯低通濾波器對其進(jìn)行濾波。圖1為4種不同狀態(tài)下的濾波結(jié)果對比圖，可以看出經(jīng)過濾波操作后信息曲線更加平緩連續(xù)。

2 基于多通道卷積注意力機(jī)制的精神狀態(tài)識別算法

卷積神經(jīng)網(wǎng)絡(luò)能有效提取輸入信號的局部特征[15]，但往往會忽略掉信號之間的長距離特征元素。增加池化層[16]一定程度上緩解了全局特征的問題，但池化過度可能導(dǎo)致原有特征丟失。

Transformer可學(xué)習(xí)信號之間的長距離依賴關(guān)系以解決RNN(recurrent neural network,循環(huán)神經(jīng)網(wǎng)絡(luò))和LSTM(long short-term memory,長短期記憶網(wǎng)絡(luò))不能并行訓(xùn)練的限制[13]。Transformer的自注意力機(jī)制和多層感知機(jī)結(jié)構(gòu)實(shí)現(xiàn)了復(fù)雜的空間變換和長距離特征依賴，從而實(shí)現(xiàn)了輸入信號的全局特征表達(dá)。然而Transformer結(jié)構(gòu)容易忽略信號的局部特征細(xì)節(jié)，降低局部特征和信號之間的可分辨性。

為了提取局部特征信號的同時實(shí)現(xiàn)信號間的長距離特征表達(dá)，本研究提出一種基于多通道卷積注意力機(jī)制的Transformer網(wǎng)絡(luò)結(jié)構(gòu)(a multi-channel convolution attention of Transformer，MCT)，將基于CNN(convolution neural network,卷積神經(jīng)網(wǎng)絡(luò))的局部特征與Transformer的全局表達(dá)相結(jié)合，以增強(qiáng)模型的特征提取能力。其模型結(jié)構(gòu)如圖2所示，其算法流程見算法1。

MCT由信號向量表示層、信號序列編碼層、多通道卷積注意力計算層、信號類別判定Softmax層共4大部分所組成。其中，模型主題由卷積注意力部分和Transformer中的encoder部分組成，這兩個部分構(gòu)成了局部卷積塊、注意力模塊和MLP(multi-layer perceptron,多層感知機(jī))單元的組合。其中多通道卷積注意力結(jié)構(gòu)(multi-channel convolution attention，MCA)使用4個不同大小的一維卷積核同時對信號進(jìn)行特征提取，并將卷積結(jié)果進(jìn)行拼接，最后對拼接結(jié)果進(jìn)行最大池化操作增加模型的感受野。

信號向量表示層將No-EEG信號進(jìn)行數(shù)據(jù)預(yù)處理后轉(zhuǎn)化成訓(xùn)練向量，并將處理過后的數(shù)據(jù)送到信號序列編碼層。

信號序列編碼層對處理過的No-EEG信號段進(jìn)行可學(xué)習(xí)的位置編碼的嵌入以表達(dá)信號的序列特征，并將序列的信息集成到矩陣運(yùn)算中。

多通道卷積注意力計算層首先對編碼過的信號進(jìn)行不同大小卷積核的卷積，從而捕獲信號全局上下文信息，建立信號之間遠(yuǎn)距離的特征關(guān)聯(lián)，將各卷積核的輸出拼接在一起并對其進(jìn)行最大池化操作，以獲得更好的全局一致性。其次將經(jīng)過卷積后的數(shù)據(jù)與原數(shù)據(jù)相加，利用殘差結(jié)構(gòu)增加特征多樣性。再次對輸出進(jìn)行歸一化處理以保證數(shù)據(jù)的一致性，用多層感知機(jī)對輸出數(shù)據(jù)進(jìn)行處理，使其與輸入數(shù)據(jù)的維度一致。然后在進(jìn)行新一輪殘差相加后進(jìn)行歸一化處理，并開始新一輪的訓(xùn)練。最后數(shù)據(jù)將輸入到信號類別判定Softmax層，將計算后的信號數(shù)據(jù)進(jìn)行類別概率計算，并輸出所屬類別。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)方案

為測試所提方法對于精神狀態(tài)識別的效果，使用準(zhǔn)確性、特異性和敏感性對模型性能進(jìn)行評價。準(zhǔn)確率(Acc)為被正確分類的心電類型所占的比例；特異性(Spe)為所有負(fù)例中被正確分類的比例，衡量了模型對負(fù)樣本的識別能力；靈敏度(Sen)為所有正例中被正確分類的比例，衡量了模型對正例樣本的識別能力。具體計算方式為

(6)

(7)

(8)

其中,TTP顯示真正分類的陽性樣本，TFN給出錯誤分類的陰性樣本，TTN為正確分類的陰性樣本，TFT為錯誤分類的陽性樣本。

實(shí)驗(yàn)平臺為Lenovo 7000P，其CPU為AMD-5800H，顯卡為Geforce 3070，內(nèi)存大小為32G，操作系統(tǒng)為Windows10。所提MCT使用Tensorflow框架實(shí)現(xiàn)。為了查看本文所提方法的性能，采用Non-EEG數(shù)據(jù)集[17]作為測試數(shù)據(jù)集，將調(diào)整后的Non-EEG數(shù)據(jù)集數(shù)據(jù)按7 ∶3的比例分為訓(xùn)練集和測試集。實(shí)驗(yàn)參數(shù)設(shè)置如表1所示。

多通道卷積注意力模塊中，使用了4個大小不同卷積層、1個最大池化層。同信號數(shù)據(jù)進(jìn)入多通道卷積注意力模塊時，4個卷積層分別對數(shù)據(jù)進(jìn)行卷積之后激活，最終將結(jié)果進(jìn)行拼接并進(jìn)行最大池化以提升感受野。多通道卷積注意力模塊的詳細(xì)參數(shù)如表2所示。

3.2 對比模型結(jié)果分析

在對預(yù)處理數(shù)據(jù)進(jìn)行特征提取之后，分別使用K最近鄰、GradientBoosting、GaussianNB、Adaboost這4種機(jī)器學(xué)習(xí)算法對數(shù)據(jù)進(jìn)行特征提取，形成特征數(shù)據(jù)集并進(jìn)行訓(xùn)練分類、測試，準(zhǔn)確率和損失值如圖3所示。

從圖3中可以看出，AdaBoost算法識別率為21.34%，相對較低，而梯度提升算法識別率為64.29%，相對較高。

圖4為4種算法的混淆矩陣。觀察圖4可知，在識別準(zhǔn)確率高的機(jī)器學(xué)習(xí)模型如隨機(jī)森林中，對于不同的精神狀態(tài)下的識別可以做到準(zhǔn)確區(qū)分。各個算法對于初始的放松狀態(tài)下的識別準(zhǔn)確率最高，在不同精神狀態(tài)下的之后的Relax2、Relax3、Relax4的放松時間段內(nèi)識別效果較差。

3.3 MCT模型結(jié)果分析

MCT能夠?qū)ι硇盘枖?shù)據(jù)進(jìn)行端到端的識別，因此在對受試者的生理信號進(jìn)行預(yù)處理后，在原有的信息以及測試時間的基礎(chǔ)上添加受試者的身高、年齡、性別、體重等個人信息。將數(shù)據(jù)按照7 ∶3的比例分成訓(xùn)練集以及測試集。使用訓(xùn)練數(shù)據(jù)對基于多通道卷積注意力機(jī)制的精神狀態(tài)識別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后用測試集對網(wǎng)絡(luò)模型進(jìn)行測試。其準(zhǔn)確率和損失值如圖5所示。

觀察圖5可知，在Epoch到達(dá)40之后，算法的Accuracy和Loss開始收斂，Accuracy提升到99.75%以上，Loss下降到趨近0，表明基于多通道卷積注意力機(jī)制的精神狀態(tài)識別算法能對多模態(tài)傳感器數(shù)據(jù)的人體精神狀態(tài)具有較強(qiáng)的識別能力。基于多通道卷積注意力機(jī)制的精神狀態(tài)識別算法的混淆矩陣如圖6所示。

觀察圖6可知，基于多通道卷積注意力機(jī)制的精神狀態(tài)識別模型能有效識別不同場景下的精神狀態(tài)，模型對于受試者正常情況下的放松狀態(tài)的識別效率最高；在經(jīng)歷不同壓力狀態(tài)后轉(zhuǎn)變的其他類型的放松情況，如Relax2、Relax3、Relax4，存在部分錯誤，其原因可能是受試者精神狀態(tài)轉(zhuǎn)變存在過渡，在狀態(tài)轉(zhuǎn)變的臨界點(diǎn)前后對受試者精神狀態(tài)的定義并不準(zhǔn)確。

3.4 MCT與其他模型的比較分析

圖7為傳統(tǒng)的基于特征提取的機(jī)器學(xué)習(xí)算法和基于多通道卷積注意力機(jī)制的精神狀態(tài)識別模型在相同條件下的精神狀態(tài)識別準(zhǔn)確率和損失值。

觀察圖7可知，MCT算法的識別準(zhǔn)確率為99.75%，高于對比算法，Loss值為0.01，低于對比算法。表3為各個算法的評價指標(biāo)統(tǒng)計結(jié)果。

4 結(jié)論

本文提出了一種用于精神狀態(tài)分類識別的多通道卷積注意力機(jī)制網(wǎng)絡(luò)模型。輸入的信號為5種不同的生理信號值，此方法能夠提取多生理信號數(shù)據(jù)的局部相關(guān)特征和信號間的長距離特征，并最終實(shí)現(xiàn)精神狀態(tài)的7分類。相比比較算法，MCT擁有更高的分類準(zhǔn)確性，其MCA模塊使用不同大小的卷積核對數(shù)據(jù)進(jìn)行同時提取，增強(qiáng)了特征的提取能力。

在未來工作中，根據(jù)老年人不同的生活方式，針對性地采集更多精神狀態(tài)數(shù)據(jù)對模型進(jìn)行優(yōu)化，以克服個體差異帶來的影響等方面值得進(jìn)一步研究，建立更加精確的精神狀態(tài)分類模型，從而達(dá)到對老年人的精神狀態(tài)更細(xì)化的分類。