孫洪央，徐祖洋，王靜，雷沛，吳開杰，

柴新禹上海交通大學生物醫(yī)學工程學院，上海市，200240

0 引言

此文中壓力為心理壓力的簡稱，指人們發(fā)現(xiàn)真實或想象的事情超出自己意料之外時的生理和精神上的綜合反映[1]。長期的壓力會導(dǎo)致人體對疾病的敏感性增加，從而誘發(fā)多種疾病[2]。情緒與壓力狀態(tài)之間存在著極為顯著的相關(guān)關(guān)系。壓力狀態(tài)下會誘發(fā)多種情緒，包括興奮、恐懼和厭煩等[3]。而情緒作為一種心理感受，通常通過語言、語調(diào)、面部表情、行為姿態(tài)、呼吸等身體表現(xiàn)來表達[4]。生理信號是由人的自主神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)控制的[5]，更能客觀真實的反映出人們當時的情緒狀態(tài)和心理感受。

通過生理信號變化反映特定情緒的“情感計算”理論，最早由美國麻省理工學院的Picard教授[6]提出，從生理信號中提取特征來進行情感識別的可行性[7]。國內(nèi)外其他研究小組在此領(lǐng)域也做了大量工作，取得了一些成果：美國中佛羅里達大學的Nasoz等[8]分別采用k近鄰（k Nearest Neighbour,kNN）、判別函數(shù)分析（Discriminant Function Analysis,DFA）及Marquardt反向傳播（Marquardt Backpropagation,MBP）算法；韓國延世大學的Kim等[9]采用支持向量機（Support Vector Machine,SVM）算法；德國奧格斯堡大學計算科學研究所著重比較了不同的特征選擇方法和分類器相結(jié)合的識別效果[10]。我國情感計算研究起步較晚，其中西南交通大學的劉光遠團隊采用多種特征提取、選擇方法與分類器相結(jié)合的方法對奧格斯堡大學的情感數(shù)據(jù)樣本開展了情緒識別效果的比較研究[11-12]。

通過生理信號識別反映一定壓力狀態(tài)下的情緒變化以及內(nèi)在心理壓力程度，為客觀評價心理狀態(tài)并輔助被測人群及時調(diào)整應(yīng)激狀態(tài)提供了一種有效手段。Zhai等[13]采用SVM算法，Setz等[14]通過DFA和SVM算法分別進行分類。目前，國內(nèi)外針對壓力狀態(tài)下的情感計算研究相對較少，特別是針對不同壓力程度下的情感計算研究。本文將粒子群（Particle Swarm Optimization,PSO）算法與kNN算法相結(jié)合，基于多種生理信號參數(shù)對壓力狀態(tài)下的情緒體驗進行了識別研究。通過智能算法與去除情感基線結(jié)合的方法，最高識別率達到80%以上，提高了傳統(tǒng)多生理信號的情緒狀態(tài)識別方法的正確率，為探索壓力狀態(tài)下情緒與多種生理信號的關(guān)系提供了一定依據(jù)。

1 壓力狀態(tài)下情緒識別研究方法

本研究首先設(shè)計了壓力狀態(tài)下的不同情緒及緊張情緒程度誘發(fā)實驗，并實時采集多個被試特定情緒狀態(tài)下的心率、呼吸率、皮膚阻抗、血氧飽和度、脈率、血壓等六種生理信號參數(shù)。通過對這些生理數(shù)據(jù)進行預(yù)處理及特征提取，結(jié)合實驗主觀體驗問卷結(jié)果，采用PSO-kNN算法對實驗樣本數(shù)據(jù)進行特征選擇和分類，最終建立壓力狀態(tài)下的情緒識別模型。

1.1 粒子群算法（Particle Swarm Optimization,PSO）

情緒識別研究的核心為特征選擇與分類算法的選擇。情緒相關(guān)生理信號的特征選擇本質(zhì)上是一種組合優(yōu)化問題。PSO算法源于鳥群覓食的行為研究，是一種新的全局優(yōu)化進化算法。其基本原理是每個優(yōu)化問題的潛在解都是搜索空間中的一個粒子，所有粒子都有一個由被優(yōu)化的函數(shù)決定的適應(yīng)值，同時，還有一個速度決定他們發(fā)展的方向和距離，然后粒子們就追隨當前的最優(yōu)粒子在解空間中搜索。該算法概念簡明、實現(xiàn)方便、收斂速度快、參數(shù)設(shè)置少，受特征維數(shù)變化影響小，是一種高效的搜索優(yōu)化算法。因此，本文采用粒子群算法對生理特征進行特征優(yōu)化選擇。

PSO算法描述如下：

假設(shè)特征總數(shù)為D個，種群個體有m個，則第i個粒子的速度為Vi=(vi1，vi2，vi3，…，viD)T其位置為Xi=(xi1，xi2，xi3，…，xiD)T，而位置的值就是問題的一個解。將第i個粒子的位置值代入適應(yīng)度函數(shù)就可以得到第i個粒子的適應(yīng)值。通過比較適應(yīng)值，可以得到當前第i個粒子所經(jīng)歷的最優(yōu)位置為Pbesti=(pbesti1，pbesti2，pbesti3，…，pbestiD)T，通過比較所有粒子可以得到整個種群的最優(yōu)位置為Gbest=(gbest1，gbest2，gbest3，…，gbestD)T。這樣就可以通過以下兩個公式得到下一代的粒子，如此反復(fù)，最終得到一個滿意的解。

其中w是慣性權(quán)重因子，一般取0.4～0.9；C1和C2為學習因子，一般取C1=C2=2；rand1()和rand2() 是0到1之間的隨機向量。過大的慣性權(quán)重可以加大粒子的飛行速度，有利于跳出局部極值，較小的慣性權(quán)重可以減小粒子的飛行速度，使得粒子在局部進行搜索，更快達到算法收斂。根據(jù)式（3）讓慣性權(quán)重隨著迭代次數(shù)線性遞減的算法進行權(quán)重調(diào)整，可以使粒子在開始階段進行全局搜索，隨著迭代次數(shù)的增加在局部進行搜索，更快達到算法收斂。

wmax為慣性權(quán)重最大值，wmin為慣性權(quán)重最小值，Tmax為最大迭代次數(shù)，T為當前迭代次數(shù)。本文參數(shù)初始值的設(shè)置采用慣性權(quán)重法[15]，將w初始化為常數(shù)0.729，C1=C2=1.494。為防止粒子飛出搜索空間，一般取太大會飛離最好解，太小會陷入局部最優(yōu)。

1.2 k近鄰算法（k Nearest Neighbour,kNN）

kNN是一種成熟而簡單的分類算法，能充分利用整個情緒樣本的生理特征。kNN算法的描述如下，如果一個樣本在特征空間中的數(shù)個最相似（即特征空間中最鄰近）的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。kNN算法中，所選擇的鄰居都是已經(jīng)正確分類的訓(xùn)練集對象。該方法在定類決策上只依據(jù)最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別，本文設(shè)置近鄰參數(shù)為1。

1.3 PSO-kNN算法

將PSO優(yōu)化算法與kNN算法相結(jié)合，不僅可以優(yōu)化選擇特征，提高kNN的分類正確率，同時還能盡可能降低所選的特征數(shù)。在PSO-kNN算法中，當一個粒子能夠使分類器產(chǎn)生的分類精度越高，同時選出的特征數(shù)目越少，它的適應(yīng)值就應(yīng)該越高。評價各粒子的適應(yīng)度函數(shù)為f(x)，f(x)越大，適應(yīng)能力越強，適應(yīng)度函數(shù)可定義為：

其中，RMSE為均方根誤差，F(xiàn)eatures為樣本特征子集數(shù)，F(xiàn)actor為平衡因子。

本文將PSO-kNN算法用于壓力狀態(tài)下生理信號特征選擇和情緒分類，具體步驟如下：

Step1 設(shè)計粒子，用一個二進制位串來表示，每一個二進制位對應(yīng)生理信號特征集中的一個特征，該位為1表示對應(yīng)的特征入選特征子集，該位為0則表示對應(yīng)的特征不在選出的特征子集中；

Step2 初始化粒子群，即隨機設(shè)定每個粒子的初始位置Xi和初始速度Vi；

Step3 用kNN算法進行學習和訓(xùn)練，測試并記錄分類精度及選擇特征數(shù)量。根據(jù)式(4)計算粒子適應(yīng)度；

Step4 對每個粒子，將適應(yīng)度函數(shù)值f(xi)與自身的最優(yōu)值f(pbesti)進行比較，如果f(xi)＜f(pbesti)，則用適應(yīng)值取代前一輪的優(yōu)化值，用新的粒子取代前一輪的粒子；

Step5 將每個粒子的最好適應(yīng)值f(xi)與所有粒子的最優(yōu)適應(yīng)值f(pbesti)進行比較。如果f(xi)＜f(pbesti)，則用該粒子的最好適應(yīng)值取代原有全局最好適應(yīng)值，同時保存粒子的當前狀態(tài)；

Step6 根據(jù)PSO的模型式(1)、(2)，更新粒子的速度和位置，產(chǎn)生新種群Xi+1，速度調(diào)整規(guī)則如下：當vi＞Vmax時，vi=Vmax；當vi≤-Vmax時，vi=-Vmax；

Step7 更新慣性因子w；

Step8 更新粒子的二進制位；

Step9 檢查結(jié)束條件。若滿足，則結(jié)束尋優(yōu)，返回當前最優(yōu)的特征子集及分類精度；否則增加迭代次數(shù)，使迭代次數(shù)T=T+1，轉(zhuǎn)至Step3。設(shè)定的結(jié)束條件為尋優(yōu)達到最大迭代次數(shù)Tmax或評價值小于給定精度。

2 情緒誘發(fā)實驗

2.1 實驗材料

不同情緒誘發(fā)實驗中，采用佛羅里達大學NIMH情緒與注意研究中心的國際情感誘發(fā)圖片庫（International Affective Picture System,IAPS[16]）作為壓力狀態(tài)下不同情緒誘發(fā)實驗的主要素材，該圖片庫中的圖片經(jīng)由大量被試進行效價值和喚醒度評估，具有較高的信度。圖片庫中效價值和喚醒度的分值范圍為1～9，1表示效價值和喚醒度很低，9表示效價值和喚醒度很高，本文選擇IAPS中不同分值效價值和喚醒度的圖片來誘發(fā)不同的情緒，如表1所示。壓力狀態(tài)下不同緊張情緒程度的誘發(fā)實驗采用不同位數(shù)加減心算任務(wù)進行誘發(fā)。

表1 IAPS四種情緒誘發(fā)圖片素材效價值與喚醒度Tab.1 The valence and arousal of four kinds of emotion-induced pictures in IAPS

2.2 實驗被試

實驗被試共14人（男8人，女6人），來自上海交通大學，年齡22周歲～27周歲。身心健康、視覺聽覺正常，過往無精神及神經(jīng)性疾病史，且自愿參與實驗。實驗前4小時內(nèi)未參與劇烈運動，實驗前一周內(nèi)未使用任何藥品。實驗開始之前，使每位被試充分了解實驗?zāi)康暮瓦^程，并進行抗壓能力問卷測試，均具有一定的抗壓能力。整個實驗嚴格遵守赫爾辛基宣言（Declaration of Helsinki）。

2.3 實驗設(shè)備

情緒誘發(fā)素材呈現(xiàn)采用高性能計算機系統(tǒng)(Intel(R) CoreTMi5-2310 CPU @2.90 GHz，4 GB DDR3 RAM，聯(lián)想，中國；17英寸專業(yè)顯示屏，300 cd/m2，分辨率為1280×768，垂直刷新率為75 Hz)。圖片及心算題目呈現(xiàn)屏幕與被試距離約50 cm。生理信號的檢測與記錄基于實驗室自主研發(fā)的便攜式多生理參數(shù)采集設(shè)備，可采集心電、心率、呼吸率、皮膚阻抗、血氧飽和度、脈率、血壓等多種生理信號參數(shù)。其中，儀器心率監(jiān)測范圍在30 bpm～240 bpm，誤差≤2%，呼吸率誤差≤5%，皮膚阻抗誤差≤3%，血氧誤差≤2%，脈率誤差≤3%，血壓誤差在±1.3 kPa(10 mmHg)以內(nèi)。

2.4 實驗過程

實驗一：不同視覺刺激下的情緒誘發(fā)采用十張同一類型情緒誘發(fā)圖片，每張圖片呈現(xiàn)12 s，整個過程持續(xù)2 min。被試在每次幻燈片播放結(jié)束后進行2 min的情緒平復(fù)，并對該組圖片誘發(fā)的情緒進行評估。正式實驗開始前，每位被試進行一組預(yù)實驗，使被試熟悉整個實驗流程及實驗環(huán)境。預(yù)實驗圖片亦來自IAPS。

實驗二：不同難度任務(wù)下的緊張情緒程度誘發(fā)壓力狀態(tài)下緊張情緒程度誘發(fā)采用具有不同難度級別的兩位數(shù)、三位數(shù)、四位數(shù)的加減法心算任務(wù)[17]。每道題目呈現(xiàn)時間為5 s，共125 s。被試被告知在規(guī)定時間內(nèi)盡量正確完成所有題目，如果獲得95%及以上正確率將獲得額外獎勵。每組題目間被試有2 min的休息時間用于情緒平復(fù)。在三組心算任務(wù)完成后，要求被試對三組任務(wù)誘發(fā)的緊張程度進行主觀評價。正式實驗開始前，同樣進行一組預(yù)實驗以使被試熟悉整個實驗流程。

2.5 實驗數(shù)據(jù)處理

通過不同情緒與不同難度任務(wù)下的緊張情緒程度誘發(fā)實驗，獲得14位被試共98個生理信號樣本數(shù)據(jù)。依據(jù)被試的主觀問卷，最后共甄選出有效生理信號樣本數(shù)據(jù)89個。其中，平靜情緒樣本數(shù)據(jù)14個，恐懼情緒樣本數(shù)據(jù)10個，興奮情緒樣本數(shù)據(jù)12個，厭煩情緒樣本數(shù)據(jù)11個，低緊張程度下樣本數(shù)據(jù)14個，適中緊張程度下樣本數(shù)據(jù)14個，高緊張程度下樣本數(shù)據(jù)14個。為了消除被試個體間生理數(shù)據(jù)差異，本文將所獲得的恐懼、興奮、厭煩、低緊張程度、適中緊張程度、高緊張程度下的樣本數(shù)據(jù)減去每位被試平靜情緒狀態(tài)下基線生理數(shù)據(jù)，得到去除基線生理樣本數(shù)據(jù)，即33個三類情緒樣本數(shù)據(jù)，42個三種緊張程度樣本數(shù)據(jù)。完成數(shù)據(jù)的預(yù)處理后，根據(jù)表2對各類生理信號數(shù)據(jù)樣本進行特征提取，最終得到33個特征。

表2 六種生理信號提取的特征Tab.2 Feature selection of six physiological signals

3 實驗結(jié)果與分析

基于多生理信號的壓力狀態(tài)下情緒識別算法采用Matlab實現(xiàn)。針對壓力狀態(tài)下的三種情緒進行分類識別，將33個三類情緒樣本中的21個樣本子集作為訓(xùn)練集，其余12個樣本子集作為測試集。對去除基線生理數(shù)據(jù)的樣本和未去除基線生理數(shù)據(jù)的樣本分別進行訓(xùn)練、測試，得到識別結(jié)果如表3所示。ALL指包含BP、HR、RR、PR、SpO2、SC的生理信號集合。

表3 生理信號及其特征組合對壓力狀態(tài)下三類情緒狀態(tài)的識別結(jié)果Tab.3 The classification of three stress emotions by physiological signals and their features’ combination

對壓力狀態(tài)下的緊張程度進行識別，將42個緊張程度樣本數(shù)據(jù)集中的30個樣本子集作為訓(xùn)練集，將剩余12個樣本子集作為測試集。對去除基線生理數(shù)據(jù)的樣本和未去除基線生理數(shù)據(jù)的樣本分別進行訓(xùn)練、測試，得到識別結(jié)果如表4所示。

表4 生理信號及特征組合對壓力狀態(tài)下三種緊張程度的識別結(jié)果Tab.4 The classification of three tension degrees by physiological signals and their features’ combination

本研究采用了信效度較高的IAPS圖片系統(tǒng)來設(shè)計情緒誘發(fā)實驗，通過實驗中被試主觀問卷評價，所誘發(fā)的特定情緒具有更高的可靠性。如表3與表4所示，通過PSO-kNN算法對情緒相關(guān)生理數(shù)據(jù)進行識別，三類不同情緒的平均識別率為75%，三種不同緊張程度的平均識別率為83.33%。其中，去除基線生理信號樣本的識別率均高于相應(yīng)未去除基線的結(jié)果。說明通過去除基線生理信號消除個體間生理信號的差異，能夠有效提高壓力狀態(tài)下的情緒識別效果。同時，由結(jié)果可以看出，優(yōu)化選擇后的多種生理信號特征組合比單一生理信號特征更能提高識別算法的識別效果。在多次樣本訓(xùn)練中，舒張壓、心率最大值最小值差和脈率最小值這三種特征均被多次選入三類情緒識別的最優(yōu)子集特征，表明這三種生理信號特征對壓力狀態(tài)下的多類情緒識別具有重要意義；在三種緊張程度識別訓(xùn)練結(jié)果中，心率方差、心率最大值和呼吸率方差特征多次被選中，說明這三種生理信號特征有助于壓力狀態(tài)下緊張情緒程度的識別。與Nasoz等人直接采用kNN算法識別結(jié)果相比，本文結(jié)合去除基線情感及PSO算法對多種生理信號的多種特征進行優(yōu)化選擇后，再用kNN分類能得到更好的識別效果。

4 總結(jié)與展望

本文采用IAPS圖片視覺刺激與心算任務(wù)實驗實現(xiàn)三類情緒和三種壓力程度的誘發(fā)，建立起情緒相關(guān)生理信號樣本庫。通過PSO特征優(yōu)化找到了有效識別壓力情緒的六種特征向量，并利用kNN算法實現(xiàn)了壓力狀態(tài)下的情感計算與壓力程度識別。實驗結(jié)果表明，采用PSO-kNN算法針對三種情緒的識別有效率達到75%，壓力程度的識別率達到83.33%。通過基線去除及PSO特征優(yōu)化，與傳統(tǒng)的未進行特征優(yōu)化選擇的kNN相比，具有更好的識別效果。為情感計算研究中生理信號處理及模式識別算法研究提供一定的參考。

未來的工作將在實驗室環(huán)境下進一步擴展壓力狀態(tài)下的情緒相關(guān)多生理數(shù)據(jù)樣本，研究更為有效的特征提取算法及最優(yōu)特征組合，從而更加完善壓力狀態(tài)下基于多生理信號的情緒識模型。并將情緒識別模型推廣到實際應(yīng)用中，如運動員賽前緊張情緒程度識別等。

[1] Parker H.Stress Management[M].Delhi,IND:Global Media,2007.

[2]Kiecolt-Glaser JK,McGuire L,Robles TF,et al.Psychoneuroimmunology:psychological influences on immune function and health[J].J Consult Clin Psychol,2002,70(3):537.

[3]Lazarus RS.Stress and emotion:A new synthesis[M]New York:Springer Publishing Company,2006.

[4]Cowie R,Douglas-Cowie E,Tsapatsoulis N,et al.Emotion recognition in human-computer interaction[J].IEEE Signal Proc Mag,2001,18(1):32-80.

[5]Kreibig SD.Autonomic nervous system activity in emotion:A review[J].Biol Psychol,2010,84(3):394-421.

[6] Picard RW.Affective computing[M].Cambridge:The MIT Press,1997.

[7]Picard RW,Vyzas E,Healey J.Toward machine emotional intelligence:Analysis of affective physiological state[J].IEEE T Pattern Anal Mach Intell,2001,23(10):1175-1191.

[8]Nasoz F,Alvarez K,Lisetti CL,et al.Emotion recognition from physiological signals using wireless sensors for presence technologies[J].Cogn Technol Work,2004,6(1):4-14.

[9]Kim KH,Bang S,Kim S.Emotion recognition system using shortterm monitoring of physiological signals[J].Med Biol Eng Comput,2004,42(3):419-427.

[10]Wagner J,Kim J,André E.From physiological signals to emotions:Implementing and comparing selected methods for feature extraction and classification[C].ICME 2005.

[11]牛曉偉,劉光遠.基于遺傳算法的生理信號情感識別[J].西南大學學報 (自然科學版),2007,(9):026-030.

[12]林時來,劉光遠,張慧玲.蟻群算法在呼吸信號情感識別中的應(yīng)用研究[J].計算機工程與應(yīng)用,2011,47(2):169-172.

[13]Zhai J,Barreto A.Stress detection in computer users based on digital signal processing of noninvasive physiological variables[C].EMBS'28,2006.

[14]Setz C,Arnrich B,Schumm J,La Marca R,Troster G,Ehlert U.Discriminating stress from cognitive load using a wearable EDA device[J].IEEE T Inf Technol Biomed,2010,14(2):410-417.

[15]Eberhart RC,Shi Y.Comparing inertia weights and constriction factors in particle swarm optimization[C].Proc Cong Evol Comput,2000.

[16]Lang PJ,Bradley MM,Cuthbert.International affective picture system (IAPS):Affective ratings of pictures and instruction manualR].Technical Report A-8,2008.

[17]黃志劍,王魏芳,楊健梅.緊張狀態(tài)下優(yōu)秀運動員動態(tài)心理特征分析[J].武漢體育學院學報,2006,40(3):33-37.