劉　燁　王思?！「敌√m

(腦與認(rèn)知科學(xué)國家重點實驗室(中國科學(xué)院心理研究所)　北京　100101)

(中國科學(xué)院心理研究所　北京　100101)

(liuye@psych.ac.cn)

Patterns of Cardiorespiratory Activity Associated with Five Basic Emotions

Liu Ye, Wang Sirui, and Fu Xiaolan

(State Key Laboratory of Brain and Cognitive Science (Institute of Psychology, Chinese Academy of Sciences), Beijing 100101)

(Institute of Psychology, Chinese Academy of Sciences, Beijing 100101)

Abstract　Affective interaction is the inexorable trend of the development of natural interaction. Physiological computing provides a new approach to understand the physiological and emotional states of users. However, there is no scientific consensus on whether there exists a stable relation between emotional states and the physiological responses. The present study review the recent research on physiological responses of autonomic nervous system activity in emotion and addressed to investigate the profile of autonomic nervous responses during the experience of five basic emotions: sadness, happiness, fear, anger, surprise and neutral. ECG and respiratory activity of fourteen healthy volunteers was recorded with BIOPAC SYSTEM MP150 during their reading passages with five basic emotional tones and neutral tone. Twelve indexes computed off-line from ECG and respiratory activities were employed as dependent variables for statistic analysis. The results indicate that significant or marginal differences are detected between the neutral and four basic emotions, except for sadness. The physiological patterns of the five basic emotions are different. Therefore, these results provide the positive evidence for the notion that the distinct patterns of peripheral physiological activity are associated with different emotions. The findings also indicate that it is feasible and effective to recognize users’ affective states based on physiological response patterns of ECG and respiratory activities.

Key words　emotion; affective interaction; autonomic response pattern; cardiorespiratory activity index; physiological computing

?

5種基本情緒的心肺系統(tǒng)生理反應(yīng)模式

劉燁王思睿傅小蘭

(腦與認(rèn)知科學(xué)國家重點實驗室(中國科學(xué)院心理研究所)北京100101)

(中國科學(xué)院心理研究所北京100101)

(liuye@psych.ac.cn)

Patterns of Cardiorespiratory Activity Associated with Five Basic Emotions

Liu Ye, Wang Sirui, and Fu Xiaolan

(StateKeyLaboratoryofBrainandCognitiveScience(InstituteofPsychology,ChineseAcademyofSciences),Beijing100101)

(InstituteofPsychology,ChineseAcademyofSciences,Beijing100101)

AbstractAffective interaction is the inexorable trend of the development of natural interaction. Physiological computing provides a new approach to understand the physiological and emotional states of users. However, there is no scientific consensus on whether there exists a stable relation between emotional states and the physiological responses. The present study review the recent research on physiological responses of autonomic nervous system activity in emotion and addressed to investigate the profile of autonomic nervous responses during the experience of five basic emotions: sadness, happiness, fear, anger, surprise and neutral. ECG and respiratory activity of fourteen healthy volunteers was recorded with BIOPAC SYSTEM MP150 during their reading passages with five basic emotional tones and neutral tone. Twelve indexes computed off-line from ECG and respiratory activities were employed as dependent variables for statistic analysis. The results indicate that significant or marginal differences are detected between the neutral and four basic emotions, except for sadness. The physiological patterns of the five basic emotions are different. Therefore, these results provide the positive evidence for the notion that the distinct patterns of peripheral physiological activity are associated with different emotions. The findings also indicate that it is feasible and effective to recognize users’ affective states based on physiological response patterns of ECG and respiratory activities.

Key wordsemotion; affective interaction; autonomic response pattern; cardiorespiratory activity index; physiological computing

摘要情感交互是自然人機(jī)交互發(fā)展的必然趨勢.生理計算為感知和識別用戶的生理和情感狀態(tài)提供了新的途徑. 通過閱讀文字情境，14名被試分別體驗悲傷、喜悅、驚奇、恐懼、憤怒5種基本情緒和中性情緒，并以相應(yīng)的情緒語調(diào)說出與情境有關(guān)的特定話語，考察了人們在上述5種基本情緒下的自主神經(jīng)系統(tǒng)生理反應(yīng).使用BIOPAC MP150生理儀和可穿戴式感受器終端記錄被試在言語過程中的心電和呼吸數(shù)據(jù)，并據(jù)此分析12項心肺活動指標(biāo).結(jié)果表明：除悲傷外，其他4種基本情緒下的生理反應(yīng)與中性情緒存在顯著或邊緣顯著差異；5種情緒所引發(fā)的生理反應(yīng)模式在一定程度上存在差異.該研究表明，基本情緒所引發(fā)的心肺系統(tǒng)反應(yīng)模式存在差異，為基于用戶的生理反應(yīng)模式對用戶的情感狀態(tài)進(jìn)行識別提供了實驗支持證據(jù)，通過捕捉心電和呼吸信號可以有效地監(jiān)測用戶的情感狀態(tài).

關(guān)鍵詞情緒；情感交互；自主神經(jīng)反應(yīng)模式；心肺活動指標(biāo)；生理計算

0引言

當(dāng)計算機(jī)能夠觀察、理解和生成各種人類的情感時，才能實現(xiàn)真正意義上的自然和諧的人機(jī)交互，這一觀點已經(jīng)成為當(dāng)前計算機(jī)科學(xué)、人工智能領(lǐng)域的共識. 如果要實現(xiàn)計算機(jī)與人之間的情感交互，首先需要準(zhǔn)確地識別用戶的情感狀態(tài). 除了通過面部表情、聲音和姿勢姿態(tài)對用戶的情感進(jìn)行識別外，也可以通過用戶的生理狀態(tài)進(jìn)行情感識別.由于情緒情感所引發(fā)的自主神經(jīng)生理反應(yīng)不易受到用戶自身主觀意識的調(diào)節(jié)，所以，相對于其他識別情感的途徑，生理反應(yīng)可以更加客觀地反映用戶的情感狀態(tài).

人類在不同情緒狀態(tài)時是否存在特異性的自主神經(jīng)反應(yīng)模式，這個問題一直在心理學(xué)、生理學(xué)領(lǐng)域存在爭議[1].早在1894年就有心理學(xué)家提出，由人體內(nèi)臟發(fā)出的生理信號對應(yīng)著特定的情緒體驗[2]，但是也有人認(rèn)為，與情緒體驗相關(guān)聯(lián)的內(nèi)臟活動是緩慢、非特異性的[3-4].同時，因為目前所獲得的生理反應(yīng)模式在很大程度上受到研究范式、特征提取以及生理信號處理等因素影響，所以現(xiàn)有實驗證據(jù)不能充分證明存在著與特定情緒狀態(tài)相聯(lián)系的、可區(qū)分的自主神經(jīng)反應(yīng)模式.這給基于生理反應(yīng)模式的情感識別帶來了巨大的挑戰(zhàn).因此，心理生理學(xué)推論的復(fù)雜性和有效性是基于生理反應(yīng)模式進(jìn)行情感交互時需要解決的首要問題[5].如何基于生理狀態(tài)來理解用戶的情緒狀態(tài)，進(jìn)行低層生理信號到高層情感語義的推理是研究的難點[6].

迄今為止，生理學(xué)、心理學(xué)、生物醫(yī)學(xué)和計算機(jī)領(lǐng)域已經(jīng)積累了大量情緒誘發(fā)生理反應(yīng)的研究.這些研究所涉及的神經(jīng)生理反應(yīng)包括：心電(electro-cardiography, ECG)、心率及心率變異性(heart rate variability, HRV)、呼吸頻率和幅度、皮膚電、血壓、皮膚溫度、腦電(electroencephalogram, EEG)、面部肌電、指端脈搏等.目前，關(guān)注情緒情感引發(fā)的生理反應(yīng)的研究涉及到的情緒情感類型，除了公認(rèn)的基本情緒，如喜悅(happiness)、悲傷(sadness)、驚奇(surprise)、恐懼(fear)、憤怒(anger)、厭惡(disgust)，還包括一些相對復(fù)雜的情感，如自豪(pride)、難堪(embarrassment)、同情(sympathy)等，以及一些與我們的健康密切相關(guān)的負(fù)性情緒，如抑郁(depression)和焦慮(anxiety)等.

1) 心肺系統(tǒng)生理反應(yīng)模式

已有研究發(fā)現(xiàn)，人們在基本情緒狀態(tài)和某些特定的情緒狀態(tài)時，其心率和心率變異性存在顯著的差異.例如恐懼情緒時的心率明顯快于悲傷和中性情緒[7].高興、悲傷和厭惡這3種基本情緒和中性情緒狀態(tài)在心率變異性的高頻成分上彼此都存在顯著的差異[8].高興、憤怒、悲傷和恐懼這4種基本情緒狀態(tài)下的心率和心率變異性等心肺反應(yīng)模式存在顯著的差異；相對于中性狀態(tài)，這4種基本情緒的心率雖然都會上升，但是恐懼時心率上升得最高，其次是高興和憤怒，悲傷時心率上升得幅度最小[9].負(fù)性情緒引起的心率變化比正性情緒引起的變化更加持久[10].采用情感維度的研究發(fā)現(xiàn)，心率變異性的低頻和高頻成分與情緒的激活度有顯著的相關(guān)，但是與情緒的效價(即愉悅度)沒有顯著相關(guān)[11].

心率變異性是診斷抑郁和焦慮等負(fù)性情緒的有效指標(biāo)[12-14].抑郁和焦慮會顯著地影響心率及其變異性，相對于中性和正性情緒狀態(tài)，抑郁和焦慮等負(fù)性情緒狀態(tài)下，心率變異性較低[15-17]；相對于正常人，抑郁癥和焦慮癥的患者的心率變異性較低[18-20]；甚至對于兒童，心率變異性也可以作為診斷焦慮的指標(biāo)[21].

不同情緒狀態(tài)下，呼吸的各項參數(shù)也存在一些差異.恐懼和高興狀態(tài)下的呼吸頻率上升，而悲傷和憤怒時的呼吸頻率與中性情緒狀態(tài)沒有顯著差異[9].愉悅、憤怒、滿足、恐懼、悲傷、驚奇和中性情緒狀態(tài)時的呼吸頻率和幅度也存在一定的差異[22].抑郁和焦慮也會顯著地影響人們的呼吸[15].在目前開展的情感識別研究中，通常會采集呼吸的各項參數(shù)，并結(jié)合心率、皮膚電等各項參數(shù)形成的生理反應(yīng)模式來實現(xiàn)情感識別.

2) 其他生理指標(biāo)

皮膚電通常與情緒的激活程度密切相關(guān)[23-24]，同時也是識別基本情緒的有效指標(biāo)[25-26].抑郁和焦慮等負(fù)性情緒會顯著地影響皮膚電，因此皮膚電也被認(rèn)為是診斷抑郁、焦慮等情緒障礙患者的一個有效指標(biāo)[27-29]，甚至對于抑郁癥患者的自殺行為都有一定的預(yù)測作用[30-32].

血壓在不同基本情緒狀態(tài)下也存在差異[25]，并且焦慮和抑郁會顯著地引起血壓升高[33-35]；正性情緒和負(fù)性情緒狀態(tài)下的皮膚溫度存在顯著差異[17]，而且抑郁和焦慮會顯著地影響人們的手指皮膚溫度[15].因此，血壓和皮膚溫度也常常被用于情感識別研究[7].還有研究考察正負(fù)性情緒對指端脈搏的影響，結(jié)果發(fā)現(xiàn)：正性情緒下，心率變化不顯著，指端脈搏容積顯著下降；負(fù)性情緒下，心率顯著增加，指端脈搏容積顯著下降[36].

近些年，基于EEG信號進(jìn)行情感和情緒識別逐漸被大量研究者的關(guān)注[37]，并且EEG信號也被用于抑郁和焦慮情緒的監(jiān)測[38-39]以及抑郁治療的效果監(jiān)測[40].也有基于腦電進(jìn)行情緒識別和交互的研究將EEG應(yīng)用于精神分裂癥患者的臨床研究[41].

3) 基于多生理指標(biāo)的情感識別

由于單一的生理反應(yīng)指標(biāo)并不能實現(xiàn)準(zhǔn)確的情感識別，研究者嘗試綜合多個生理反應(yīng)指標(biāo)開展研究.利用心電、呼吸、皮膚電和肌電等基礎(chǔ)生理信號的組合測量，提取生理特征標(biāo)志(physiological markers)，能夠達(dá)到80%的緊張情緒正確檢出[42].采用ECG、皮膚電和血壓指標(biāo)，高興、悲傷、恐懼、憤怒和滿足這5種情緒狀態(tài)下的生理反應(yīng)模式可以彼此區(qū)分開[43].在另外一項研究中，研究者綜合采用心電的多項指標(biāo)(包括HRV、HRV的高頻和低頻成分、心臟搏出量等)、脈搏幅度、血壓、指端皮膚溫度、皮膚電、呼吸(包括頻率、幅度、變異和吸氣流速)等，用于識別和分類悲傷、恐懼和中性情緒狀態(tài)，結(jié)果發(fā)現(xiàn)識別率達(dá)到85%[7].綜合ECG、皮膚電和呼吸3項生理反應(yīng)指標(biāo)，采用多元模式分類分析方法(multivariate pattern classification analysis)，結(jié)果發(fā)現(xiàn)愉悅、憤怒、滿足、恐懼、悲傷、驚奇和中性情緒狀態(tài)可以較好地進(jìn)行區(qū)分，44.6%的觀測數(shù)據(jù)可以被分入正確的類別，遠(yuǎn)遠(yuǎn)高于幾率水平[44].另外有研究者綜合上述3種生理反應(yīng)指標(biāo)對愉悅、憤怒、滿足、恐懼、悲傷、驚奇的生理反應(yīng)模式進(jìn)行分類識別，結(jié)果發(fā)現(xiàn)58.0%的數(shù)據(jù)可以分入正確的類別[45].以上研究表明，綜合多項生理反應(yīng)和指標(biāo)的生理反應(yīng)模式可以有效地提升情緒情感識別的準(zhǔn)確率.

綜上所述，迄今為止，基本情緒之間是否存在特異性的、可區(qū)分的生理激活模式，仍然是一個懸而未決的問題.如果存在特異性的、可區(qū)分的生理激活模式，那么哪些生理指標(biāo)可以更好地區(qū)分基本情緒？針對這一問題，本研究采用情緒語音表演法考察悲傷、喜悅、驚奇、恐懼、憤怒5種基本情緒與中性情緒狀態(tài)下自主神經(jīng)的反應(yīng)模式，通過改進(jìn)情緒誘發(fā)手段和生理指標(biāo)計算方法，進(jìn)一步探討是否存在情緒特異性自主神經(jīng)反應(yīng).

與前人研究相比，本實驗具有3個特點：

1) 采用情緒語音表演法作為情緒誘發(fā)手段.以往研究常用的誘發(fā)手段包括：呈現(xiàn)給被試情緒性圖片[46]、音樂[47]和電影片段[48]，以及讓被試體驗過去經(jīng)歷[9]等.上述方式局限在于，被試無法主動地表達(dá)情感.針對這一問題本研究采用情緒語音表演法：首先讓被試閱讀一段描述日常生活情境的文字并體驗其中的情緒，然后要求被試帶有情緒地表達(dá)與情境相關(guān)的語句.言語是人類表達(dá)情緒最主要的手段之一，因此該方式有助于提高本研究的生態(tài)效度.

2) 選擇心肺系統(tǒng)生理指標(biāo)作為考察對象.以往研究證明，心肺系統(tǒng)受到交感和副交感神經(jīng)系統(tǒng)的共同調(diào)控，能夠較為靈敏地反映出人們的情緒變化.心肺作為聯(lián)系密切的生理系統(tǒng)，其反應(yīng)并非各自獨立，例如吸氣所導(dǎo)致的腹腔壓力升高會刺激壓力感受器，進(jìn)而導(dǎo)致迷走神經(jīng)對心率的調(diào)節(jié).基于上述分析，本實驗提取3類生理指標(biāo)：呼吸反應(yīng)指標(biāo)、心臟反應(yīng)指標(biāo)、與呼吸相關(guān)的心臟反應(yīng)指標(biāo).

3) 不僅提取生理反應(yīng)的集中趨勢數(shù)據(jù)，而且結(jié)合離散趨勢數(shù)據(jù)進(jìn)行分析.以往研究常使用平均數(shù)作為統(tǒng)計處理參數(shù)，Gomez[46,48]等人進(jìn)一步提出中數(shù)能夠更好地反映情緒狀態(tài)下人們呼吸活動數(shù)據(jù)的集中趨勢.然而，由于基本情緒自主神經(jīng)反應(yīng)模式的靈活性[49]，僅對代表集中趨勢的參數(shù)進(jìn)行考察可能無法反映情緒生理活動的全貌.因此本研究均選擇了指標(biāo)的平均數(shù)、中數(shù)、標(biāo)準(zhǔn)差作為處理對象，以期通過不同的數(shù)據(jù)特征提取方式獲得有價值的信息.

1研究方法

1.1被試

14名大學(xué)生自愿參加實驗，其中8名男生、6名女生，平均年齡為22.6歲，所有被試身體狀況良好.

1.2數(shù)據(jù)采集設(shè)備

使用BIOPAC SYSTEM MP150系統(tǒng)及其配套軟件AcqKnowledge作為生理數(shù)據(jù)記錄設(shè)備.實驗過程中不間斷地記錄被試在目標(biāo)情緒狀態(tài)下朗讀句子時的ECG與呼吸活動，數(shù)據(jù)采樣率為1 000 Hz.實驗采用標(biāo)準(zhǔn)三導(dǎo)聯(lián)記錄心電圖，呼吸周期和相對呼吸幅度由1條捆綁在被試胸部浮肋處的拉力傳感器采集.

1.3數(shù)據(jù)采集流程

所有被試到達(dá)實驗室后，首先熟悉實驗環(huán)境20 min.之后實驗者為被試佩戴生理傳感設(shè)備，啟動設(shè)備并要求被試保持安靜放松狀態(tài)3 min，記錄其在靜息狀態(tài)時的心臟、呼吸活動作為數(shù)據(jù)處理基線.

正式實驗階段，要求每名被試分別體驗中性、悲傷、驚奇、恐懼、憤怒和喜悅6種情緒，并以相應(yīng)的情緒讀出特定語段.每種情緒配有一段相關(guān)的情境語段，以幫助被試更好地體驗指定的情緒狀態(tài).每種情緒包括5個語段，以及與特定情緒相匹配的情境語段.每名被試共朗讀30個語段，閱讀順序進(jìn)行了被試間平衡.讀完1個語段后，要求被試休息1 min；每讀完5個語段，要求被試休息5 min.被試每讀完1個語段，相應(yīng)的數(shù)據(jù)存儲為1個文件.

被試在閱讀語段期間盡量保持身體不動，佩戴可穿戴式終端的手指保持不動.被試一旦開始閱讀情境語段，生理儀就開始記錄被試的生理反應(yīng)，當(dāng)被試閱讀到指定的語句時，主試手動在數(shù)據(jù)上做開始標(biāo)定，被試閱讀完指定語句時，主試手動在數(shù)據(jù)上做結(jié)束標(biāo)定.

1.4信號處理

實驗有效數(shù)據(jù)總量為417個.從每個數(shù)據(jù)的結(jié)束標(biāo)定點向前截取15 s數(shù)據(jù)作為分析對象.提取12項生理指標(biāo)參數(shù)作為實驗因變量.其中6項為呼吸相關(guān)的參數(shù)，分別是呼吸周期平均數(shù)(mean respira-tory time)、呼吸周期中數(shù)(median respiratory time)、呼吸周期標(biāo)準(zhǔn)差(standard deviation of respiratory time)、相對呼吸幅度平均數(shù)(mean respiratory volume)、相對呼吸幅度中數(shù)(median respiratory volume)、相對呼吸幅度標(biāo)準(zhǔn)差(standard deviation of respiratory volume)；其中4項為心電的RR間期參數(shù)，分別為RR間期平均數(shù)(mean RR interval)、RR間期標(biāo)準(zhǔn)差(standard deviation of RR interval)、連續(xù)RR間期(RRi+1—RRi)差異的平均數(shù)(mean DeltaRR)、連續(xù)RR間期(RRi+1—RRi)差異的標(biāo)準(zhǔn)差(standard deviation of DeltaRR)；其中2項為心電和呼吸相關(guān)的參數(shù)，分別是每一呼吸周期中RR間期平均數(shù)(mean RR intervalrespiratory cycle)和每一呼吸周期內(nèi)RR間期標(biāo)準(zhǔn)差(standard deviation of RR intervalrespiratory cycle).使用BIOPAC SYSTEM MP150系統(tǒng)配套的信號處理軟件AcqKnowledge提取上述12項生理指標(biāo)參數(shù).

2結(jié)果分析

2.15種基本情緒、中性情緒與靜息狀態(tài)的差異

5種基本情緒、中性情緒與靜息狀態(tài)在12項生理指標(biāo)上的差異如表1所示.本研究均采用SPSS20.0統(tǒng)計分析軟件對不同情緒狀態(tài)下的生理數(shù)據(jù)進(jìn)行統(tǒng)計差異檢驗.

Table 1　The Mean Differences of twelve Physiological Responses Between six Emotional States and Resting State

Notes:**meansp<0.01; * meansp<0.05. The stars mean the differences are statistically significant.

以5種基本情緒、中性情緒與靜息狀態(tài)這7個狀態(tài)為自變量，分別對12項生理指標(biāo)進(jìn)行重復(fù)測量方差分析.結(jié)果表明，呼吸周期平均數(shù)在7種情緒狀態(tài)間的差異主效應(yīng)顯著，F(xiàn)(6,78)=14.18，p<0.001；呼吸周期中數(shù)在7種情緒狀態(tài)間的差異主效應(yīng)顯著，F(xiàn)(6,78)=14.09，p<0.001；RR間期平均數(shù)在7種情緒狀態(tài)間的差異主效應(yīng)顯著，F(xiàn)(6,78)=15.15，p<0.001；RR平均數(shù)每呼吸周期在7種情緒狀態(tài)間的差異主效應(yīng)顯著，F(xiàn)(6,78)=18.41，p<0.001；呼吸周期標(biāo)準(zhǔn)差、呼吸幅度平均數(shù)、呼吸幅度中數(shù)、呼吸幅度標(biāo)準(zhǔn)差、RR間期標(biāo)準(zhǔn)差、DeltaRR平均數(shù)、DeltaRR標(biāo)準(zhǔn)差、RR標(biāo)準(zhǔn)差每呼吸周期在7種情緒狀態(tài)間的差異主效應(yīng)均不顯著，F(xiàn)all(6,78)<2.15，pall>0.05.

事后分析的結(jié)果表明，與靜息狀態(tài)相比，5種基本情緒和中性情緒狀態(tài)下的呼吸周期、RR間期和每呼吸周期內(nèi)的RR間期均出現(xiàn)了顯著縮短，雖然呼吸幅度出現(xiàn)上升，但是統(tǒng)計并沒有達(dá)到顯著.其中，除了悲傷和中性情緒，憤怒、驚奇、恐懼、喜悅的呼吸周期平均數(shù)和中數(shù)都與靜息狀態(tài)有顯著的縮短(pall<0.05)，而且恐懼縮短的幅度最大(p<0.01)；與靜息狀態(tài)相比，5種基本情緒和中性情緒狀態(tài)下的RR間期平均數(shù)和每個呼吸周期的RR間期平均數(shù)都顯著縮短(pall<0.05).由此可見，所有情感語音表演狀態(tài)的生理反應(yīng)都與靜息狀態(tài)的生理反應(yīng)模式存在顯著差異.

2.25種基本情緒與中性情緒的差異

針對每個被試，將5種基本情緒與中性情緒的各項生理指標(biāo)的數(shù)值減去其靜息狀態(tài)(基線)的相應(yīng)數(shù)值，盡量減少個體差異給各項生理指標(biāo)的數(shù)值帶來的變異.減去靜息狀態(tài)后，5種基本情緒與中性情緒在12項生理指標(biāo)上的差異如表2所示:

Table 2　The Mean Differences of twelve Physiological Responses Between five Basic Emotions and Neutral State

Notes:**meansp<0.01; * meansp<0.05;?meansp<0.10. The stars mean the differences are statistically significant.

以5種基本情緒和中性情緒這6個狀態(tài)為自變量，分別對減去靜息狀態(tài)后的12項生理指標(biāo)進(jìn)行重復(fù)測量方差分析.結(jié)果表明，呼吸周期平均數(shù)在6種情緒狀態(tài)間的差異主效應(yīng)顯著，F(xiàn)(5,65)=6.89，p<0.001；呼吸周期中數(shù)在6種情緒狀態(tài)間的差異主效應(yīng)顯著，F(xiàn)(5,65)=8.63，p<0.001；呼吸周期標(biāo)準(zhǔn)差在6種情緒狀態(tài)間的差異主效應(yīng)顯著，F(xiàn)(5,65)=5.06，p<0.05；RR標(biāo)準(zhǔn)差每呼吸周期在6種情緒狀態(tài)間的差異主效應(yīng)顯著，F(xiàn)(5,65)=4.32，p<0.05；呼吸幅度平均數(shù)、呼吸幅度中數(shù)、呼吸幅度標(biāo)準(zhǔn)差、RR間期平均數(shù)、RR間期標(biāo)準(zhǔn)差、DeltaRR平均數(shù)、DeltaRR標(biāo)準(zhǔn)差、RR平均數(shù)每呼吸周期在6種情緒狀態(tài)間的差異主效應(yīng)均不顯著，F(xiàn)all(5,65)<2.05，pall>0.05.事后分析的結(jié)果表明，除悲傷外，其余4種情緒的生理反應(yīng)至少在某一項生理反應(yīng)指標(biāo)上與中性情緒存在著顯著差異.憤怒的生理反應(yīng)表現(xiàn)為呼吸頻率更快，呼吸周期的中數(shù)低于中性情緒，達(dá)到邊緣顯著水平(p<0.10)，但是其他生理指標(biāo)并沒有與中性情緒有顯著差異.驚奇情緒的生理反應(yīng)模式與憤怒相近，呼吸周期的均數(shù)、中數(shù)顯著降低，均達(dá)到邊緣顯著水平(pall<0.10)，而且與呼吸相關(guān)的RR間期標(biāo)準(zhǔn)差降低(p<0.05).與中性情緒相比，恐懼和喜悅都出現(xiàn)了非常顯著的呼吸周期縮短、呼吸頻率加快的模式(pall<0.05)，與此同時，恐懼情緒的呼吸周期標(biāo)準(zhǔn)差顯著低于中性情緒(p<0.05)，表明在恐懼情緒時人們的呼吸更加短促.

2.35種基本情緒之間的差異

5種基本情緒在12項生理指標(biāo)上的差異如表3所示.對結(jié)果進(jìn)行配對T檢驗，結(jié)果發(fā)現(xiàn)，除了驚奇無法與憤怒和喜悅區(qū)分開、喜悅與恐懼無法區(qū)分開之外，其他任意2種情緒之間都可以通過某一項生理指標(biāo)區(qū)分開.這表明，在本實驗中驚奇與喜悅、憤怒的生理反應(yīng)模式相似，表現(xiàn)為呼吸周期縮短，RR間期及與呼吸相關(guān)的RR間期也縮短；悲傷的呼吸周期顯著長于恐懼和喜悅，悲傷的RR間期和每個呼吸周期的RR間期顯著長于憤怒、驚奇和恐懼，表明悲傷的呼吸速度減慢，心率減慢.

Table 3　The Mean Differences of twelve Physiological Responses Among five Basic Emotions

Notes:**meansp<0.01; * meansp<0.05. The stars mean the differences are statistically significant.

3討論

1) 5種基本情緒的生理反應(yīng)模式存在差異

本研究采用情感語音表演的方法誘發(fā)5種基本情緒和中性情緒，結(jié)果發(fā)現(xiàn)所有情感語音表演狀態(tài)的生理反應(yīng)都與靜息狀態(tài)的生理反應(yīng)模式存在顯著差異，表明采用情緒語音誘發(fā)情緒具有一定的效果，除了悲傷和中性情緒，憤怒、驚奇、恐懼、喜悅的呼吸周期都顯著縮短，而且所有情緒的RR間期縮短，心率加快.除此之外，5種基本情緒與中性情緒相比，除悲傷外，其余4種情緒的生理反應(yīng)至少在某一項生理反應(yīng)指標(biāo)上與中性情緒存在著顯著差異.對5種基本情緒的兩兩比較發(fā)現(xiàn)，在情感語音表演時，驚奇與喜悅、憤怒的生理反應(yīng)模式相似，表現(xiàn)為呼吸加快，心率也加快；悲傷的呼吸周期明顯長于恐懼和喜悅，而且心率也慢于憤怒、驚奇和恐懼.

Kreibig[1]總結(jié)了134篇有關(guān)情緒誘發(fā)的自主神經(jīng)系統(tǒng)反應(yīng)模式的實驗報告.其中,大部分研究都發(fā)現(xiàn)對于憤怒、恐懼、喜悅、驚奇來說，其心率都會顯著加快，心率變異性降低，呼吸頻率變快；但是對于悲傷來說，其心率會顯著下降，呼吸頻率的研究發(fā)現(xiàn)存在不一致，有的研究發(fā)現(xiàn)悲傷時的呼吸頻率上升，有的研究則相反.本研究的發(fā)現(xiàn)與Kreibig總結(jié)的大部分研究結(jié)果一致，即除了悲傷外，憤怒、喜悅、驚奇和恐懼時的呼吸周期縮短，呼吸頻率加快，RR間期縮短，心率加快；悲傷時的呼吸周期縮短，呼吸頻率加快，但是RR間期變長，心率減慢.

以往許多研究指出，在觀看悲傷材料時，被試心率降低的程度要高于憤怒和恐懼[50]，這與本研究結(jié)果相一致.這在一定程度上提示了人們處于悲傷狀態(tài)時，副交感神經(jīng)可能占據(jù)了主導(dǎo)地位.Ekman等人[2]系列研究發(fā)現(xiàn)，憤怒、恐懼比快樂引起更多的心率加快；Bradley和Lang[51]用圖片作為刺激材料發(fā)現(xiàn)，與呼吸相關(guān)的心率指標(biāo)在喜悅情緒下高于恐懼及憤怒狀態(tài)，這些發(fā)現(xiàn)與本研究的發(fā)現(xiàn)并不一致.這些不一致的結(jié)果表明，情緒誘發(fā)的自主神經(jīng)反應(yīng)模式存在一定的靈活性，受到情緒誘發(fā)任務(wù)、被試個體差異、實驗環(huán)境等因素的影響[2].

本研究中被試表現(xiàn)出較大的個體差異.雖然在進(jìn)行統(tǒng)計差異檢驗時，采用重復(fù)測量的實驗?zāi)Ｊ?，每個被試在不同情緒條件下的生理數(shù)據(jù)只與該被試的其他情緒條件下的數(shù)據(jù)進(jìn)行比較，但是個體之間的差異仍然會影響實驗分析的結(jié)果.鑒于實驗范式，人們個性化的語調(diào)、語速以及斷句等言語表達(dá)方式是影響實驗結(jié)果的重要因素之一.

2) 情感語音表演是一種有效的情緒誘發(fā)手段

本研究引入了一種前人極少使用的情緒誘發(fā)手段——情感語音表演.結(jié)果表明，所有情感語音表演狀態(tài)的生理反應(yīng)都與靜息狀態(tài)的生理反應(yīng)模式存在顯著差異，除了悲傷和中性情緒，憤怒、驚奇、恐懼、喜悅的呼吸周期都顯著縮短，而且所有情緒狀態(tài)下的心率加快.另外，5種基本情緒與中性情緒相比，除悲傷外，其余4種情緒的生理反應(yīng)至少在某一項生理反應(yīng)指標(biāo)上與中性情緒存在著顯著差異.可見情感語音表演是一種較為成功的情緒誘發(fā)范式.然而，正如引言所述，情緒誘發(fā)的生理反應(yīng)受到誘發(fā)任務(wù)本身的制約.在本研究中，情感語音表演條件下的自主神經(jīng)反應(yīng)可能受到被試完成言語任務(wù)的“努力”程度以及言語表達(dá)文字的韻律等多個因素的影響，這可能導(dǎo)致了實驗結(jié)果的偏差.

3) 多指標(biāo)多參數(shù)的生理反應(yīng)模式可以更為有效地區(qū)分不同類型的情緒

本研究的發(fā)現(xiàn)進(jìn)一步表明，僅用某一項指標(biāo)無法區(qū)分多種情緒，再次證實了情緒生理反應(yīng)模式的多維度性[9].這與引言介紹的基于生理反應(yīng)的計算機(jī)自動識別情緒研究相一致，綜合多項生理反應(yīng)和指標(biāo)的生理反應(yīng)模式可以有效地提升計算機(jī)自動識別情緒的準(zhǔn)確率.需要指出的是，本研究所選指標(biāo)(如呼吸周期的均數(shù)與中數(shù))的測量內(nèi)容有所重疊.這一事實提示，在未來的研究中可以使用多元統(tǒng)計方法將這些看似松散的指標(biāo)歸納為若干因子后再行處理.其次，對情緒類型的識別缺乏敏感性的指標(biāo)多集中在反映心肺活動數(shù)據(jù)離散程度的參數(shù)上，如DeltaRR均數(shù).Rainville等人[9]使用了自我想象手段激發(fā)情緒也得到了相似的結(jié)論.

本研究的發(fā)現(xiàn)為基于生理計算的情感識別提供了實驗證據(jù)，也為采用可穿戴的終端采集人體生理數(shù)據(jù)，進(jìn)而實現(xiàn)情感交互提供了生理心理學(xué)的證據(jù).心肺系統(tǒng)的生理指標(biāo)可以采用成本比較低的胸帶進(jìn)行采集，是一組非常便于可穿戴終端采集的生理指標(biāo)，有利于可穿戴終端在情感交互中的推廣和應(yīng)用.

根據(jù)上述實驗結(jié)果，本研究得出以下3點結(jié)論：

1) 本研究中的5種基本情緒(憤怒、喜悅、悲傷、恐懼、驚奇)在心肺系統(tǒng)生理活動上存在著各自不同的反應(yīng)模式，其中悲傷與其他4種基本情緒的差異最為顯著，可以成功地與其他基本情緒區(qū)分開；

2) 本研究首次采用情感語音表演法進(jìn)行情緒誘發(fā)，結(jié)果表明該方法不但可以成功地誘發(fā)相應(yīng)的情緒，而且與日常生活中情緒表達(dá)的狀態(tài)更加接近，具有較高的生態(tài)效度；

3) 情緒的生理反應(yīng)存在多維性，采用多指標(biāo)多參數(shù)的生理反應(yīng)數(shù)據(jù)可以更好地區(qū)分不同類型的情緒，其中心肺系統(tǒng)的多個生理反應(yīng)指標(biāo)(心電和呼吸)不但便于可穿戴終端采集，而且可以有效地識別基本情緒.

參考文獻(xiàn)

[1]Kreibig S D. Autonomic nervous system activity in emotion: A review[J]. Biological Psychology, 2010, 84(3): 394-421

[2]Ekman P, Campos J J, Davidson R J. Emotions inside out: 130 years after Darwin’s the expression of the emotions in man and animals[G]Annals of the New York Academy of Sciences 1000. New York :New York Academy of Sciences, 2003

[3]Barrett L F. Are emotions natural kinds[J]. Perspectives on Psychological Science, 2006, 1(1): 28-58

[4]Cacioppo J T, Berntson G G, Larsen J T, et al. The psychophysiology of emotion[G]The Handbook of Emotion. 2nd ed. New York: Guilford Press, 2000: 173-191

[5]Fairclough S H. Fundamentals of physiological computing[J]. Interacting With Computers, 2009, 21(12): 133-145

[6]Wang Hongan, Tian Feng, Dai Guozhong. The human-computer interaction based on physiological computing[J]. Communications of CCF, 2011, 7(8): 13-18 (in Chinese)(王宏安, 田豐, 戴國忠. 基于生理計算的人機(jī)交互[J]. 中國計算機(jī)學(xué)會通訊, 2011, 7(8): 13-18)

[7]Kreibig S D, Wilhelm F H, Roth W T, et al. Cardiovascular, electrodermal, and respiratory response patterns to fear-and sadness-inducing films[J]. Psychophysiology, 2007, 44(5): 787-806

[8]Lane R D, McRae K, Reiman E M, et al. Neural correlates of heart rate variability during emotion[J]. Neuroimage, 2009, 44(1): 213-222

[9]Rainville P, Bechara A, Naqvi N, et al. Basic emotions are associated with distinct patterns of cardiorespiratory activity[J]. International Journal of Psychophysiology, 2006, 61(1): 5-18

[10]Brosschot J F, Thayer J F. Heart rate response is longer after negative emotions than after positive emotions[J]. International Journal of Psychophysiology, 2003, 50(3): 181-187

[11]Wallentin M, Nielsen A H, Vuust P, et al. Amygdala and heart rate variability responses from listening to emotionally intense parts of a story[J]. Neuroimage, 2011, 58(3): 963-973

[12]Nakajima M, Kumar S, Wittmers L, et al. Psychophy-siological responses to stress following alcohol intake in social drinkers who are at risk of hazardous drinking[J]. Biological Psychology, 2013, 93(1): 9-16

[13]Suh S, Ellis R J, Sollers J J, et al. The effect of anxiety on heart rate variability, depression, and sleep in chronic obstructive pulmonary disease[J]. Journal of Psychosomatic Research, 2013, 74(5): 407-413

[14]Yaroslavsky I, Rottenberg J, Kovacs M. The utility of combining rsa indices in depression prediction[J]. Journal of Abnormal Psychology, 2013, 122(2): 314-321

[15]Lin H P, Lin H Y, Lin W L, et al. Effects of stress, depression, and their interaction on heart rate, skin conductance, finger temperature, and respiratory rate: Sympathetic-parasympathetic hypothesis of stress and depression[J]. Journal of Clinical Psychology, 2011, 67(10): 1080-1091

[16]Patron E, Messerotti-Benvenuti S, Favretto G, et al. Depression and reduced heart rate variability after cardiac surgery: The mediating role of emotion regulation[J]. Autonomic Neuroscience, 2014, 180: 53-58

[17]Vos P, De Cock P, Munde V, et al. The tell-tale: What do heart rate; skin temperature and skin conductance reveal about emotions of people with severe and profound intellectual disabilities?[J] Research in Developmental Disabilities, 2012, 33(4): 1117-1127

[18]Gaebler M, Daniels J K, Lamke J P, et al. Heart rate variability and its neural correlates during emotional face processing in social anxiety disorder[J]. Biological Psychology, 2013, 94(2): 319-330

[19]Mankus A M, Aldao A, Kerns C, et al. Mindfulness and heart rate variability in individuals with high and low generalized anxiety symptoms[J]. Behaviour Research and Therapy, 2013, 51(7): 386-391

[20]Thayer J F, ?hs F, Fredrikson M, et al. A meta-analysis of heart rate variability and neuroimaging studies: Implications for heart rate variability as a marker of stress and health[J]. Neuroscience & Biobehavioral Reviews, 2012, 36(2): 747-756

[21]Michels N, Sioen I, Clays E, et al. Children’s heart rate variability as stress indicator: Association with reported stress and cortisol[J]. Biological Psychology, 2013, 94(2): 433-440

[22]Stephens C L, Christie I C, Friedman B H. Autonomic specificity of basic emotions: Evidence from pattern classification and cluster analysis[J]. Biological Psychology, 2010, 84(3): 463-473

[23]Kron A, Goldstein A, Lee D H J, et al. How are you feeling? Revisiting the quantification of emotional qualia[J]. Psychological Science, 2013, 24(8): 1503-1511

[24]Sequeira H, Hot P, Silvert L, et al. Electrical autonomic correlates of emotion[J]. International Journal of Psychophysiology, 2009, 71(1): 50-56

[25]Kim K H, Bang S, Kim S. Emotion recognition system using short-term monitoring of physiological signals[J]. Medical and Biological Engineering and Computing, 2004, 42(3): 419-427

[26]Banks S J, Bellerose J, Douglas D, et al. Bilateral skin conductance responses to emotional faces[J]. Applied Psychophysiology and Biofeedback, 2012, 37(3): 145-152

[27]Brankovic S B. System identification of skin conductance response in depression—An attempt to probe the neurochemistry of limbic system[J]. Psychiatria Danubina, 2008, 20(3): 310-322

[28]Pazderka-Robinson H, Morrison J W, Flor-Henry P. Electrodermal dissociation of chronic fatigue and depression: Evidence for distinct physiological mechanisms[J]. International Journal of Psychophysiology, 2004, 53(3): 171-182

[29]Silva C, Ferreira A, Soares I, et al. Depression and biased attention: Evidence from skin conductance responses[J]. Psychophysiology, 2009, 46(Suppl): S116

[30]Jandl M, Steyer J, Kaschka W P. Suicide risk markers in major depression disorder (MDD): A study on electrodermal activity (EDA) and event related potentials (ERP)[J]. Biological Psychiatry, 2007, 61(Suppl): S204

[31]Kaschka W, Jandl M, Steyer J. Electrodermal activity (EDA) and event related potentials (ERP) as markers for suicide risk in depression[J]. International Journal of Neuropsychopharmacology, 2006, 9(Suppl): S111-S112

[32]Thorell L H, Wolfersdorf M, Straub R, et al. Electrodermal hyporeactivity as a trait marker for suicidal propensity in uni-and bipolar depression[J]. Journal of Psychiatric Research, 2013, 47(12): 1925-1931

[33]Bobrovskaya L, Beard D, Bondarenko E, et al. Does exposure to chronic stress influence blood pressure in rats[J]. Autonomic Neuroscience, 2013, 177(2): 217-223

[34]Foody C, James J E, Leader G. Parenting stress, salivary biomarkers, and ambulatory blood pressure in mothers of children with autism spectrum disorders[J]. Research in Autism Spectrum Disorders, 2014, 8(2): 99-110

[35]Srivatsa U N, Ekambaram Jr V, Saint Phard W, et al. The effects of a short term stress alleviating intervention (SAI) on acute blood pressure responses following a natural disaster[J]. International Journal of Cardiology, 2013, 168(4): 4483-4484

[36]Xu Jingbo, Meng Zhaolan, Wang Lihua. A research on the autonomic physiological responses to positive and negative emotions[J]. Psychological Science, 1995, 18(3): 134-143 (in Chinese)(徐景波, 孟昭蘭, 王麗華. 正負(fù)性情緒的自主生理反應(yīng)實驗研究[J]. 心理科學(xué), 1995, 18(3): 134-143)

[37]Hidalgo-Munoz A R, Lopez M M, Galvao-Carmona A, et al. EEG study on affective valence elicited by novel and familiar pictures using ERDERS and SVM-RFE[J]. Medical & Biological Engineering & Computing, 2014, 52(2): 149-158

[38]Hosseinifard B, Moradi M H, Rostami R. Classifying depression patients and normal subjects using machine learning techniques and nonlinear features from EEG signal[J]. Computer Methods and Programs in Biomedicine, 2013, 109(3): 339-345

[39]Zoon H F A, Veth C P M, Drinkenburg W H, et al. EEG alpha power as an intermediate measure between brain-derived neurotrophic factor Val66Met and depression severity in patients with major depressive disorder[J]. Journal of clinical neurophysiology, 2013, 30(3): 261-267

[40]Iznak A F, Tiganov A S, Iznak E V, et al. EEG correlates and possible predictors of the efficacy of the treatment of endogenous depression[J]. Human Physiology, 2013, 39(4): 378-385

[41]Peng Hong, Hu Bin, Zheng Feng, et al. A method of identifying chronic stress by EEG[J]. Personal and Ubiquitous Computing, 2013, 17(7): 1341-1347

[42]Blascovich J, Mendes W B, Hunter S B, et al. Social facilitation as challenge and threat[J]. Journal of personality and social psychology, 1999, 77(1): 68-77

[43]Christie I C, Friedman B H. Autonomic specificity of discrete emotion and dimensions of affective space: A multivariate approach[J]. International Journal of Psychophysiology, 2004, 51(2): 143-153

[44]Stephens C L, Christie I C, Friedman B H. Autonomic specificity of basic emotions: Evidence from pattern classification and cluster analysis[J]. Biological Psychology, 2010, 84(3): 463-473

[45]Kragel P A, LaBar K S. Multivariate pattern classification reveals autonomic and experiential representations of discrete emotions[J]. Emotion, 2013, 13(4): 681-690

[46]Gomez P, Stahel W A, Danuser B. Respiratory responses during affective picture viewing[J]. Biological Psychology, 2004, 67(3): 359-373

[47]Nyklicek I, Thayer J F, Van Doornen L J P. Cardiorespiratory differentiation of musically-induced emotions[J]. Journal of Psychophysiology, 1997, 11(4): 304-321

[48]Gomez P, Zimmermann P, Guttormsen-Sch?r S, et al. Respiratory responses associated with affective processing of film stimuli[J]. Biological Psychology, 2005, 68(3): 223-235

[49]Li Jianping, Zhang Ping, Wang Lifang, et al. Experiment study of autonomic nervous response patterns in five basic emotions[J]. Chinese Journal of Behavioral Medical Science, 2005, 14(3): 69-71 (in Chinese)(李建平, 張平, 王麗芳, 等. 5種基本情緒自主神經(jīng)反應(yīng)模式特異性的實驗研究[J]. 中國行為醫(yī)學(xué)科學(xué), 2005, 14(3): 69-71)

[50]Palomba D, Sarlo M, Angrilli A, et al. Cardiac responses associated with affective processing of unpleasant film stimuli[J]. International Journal of Psychophysiology, 2000, 36(1): 45-57[51]Bradley M M, Lang P J. Affective reactions to acoustic stimuli[J]. Psychophysiology, 2000, 37(2): 204-215

Liu Ye, born in 1979. PhD. Associate professor in Institute of Psychology, Chinese Academy of Sciences. Member of China Computer Federation. Her main research interests include affective computing and conceptual representation.

Wang Sirui, born in 1981. PhD. Assistant professor in Institute of Psychology, Chinese Academy of Sciences. Her main research interests include the relation between emotion and cognition (wangsr@psych.ac.cn).

Fu Xiaolan, born in 1963. PhD. Professor in Institute of Psychology, Chinese Academy of Sciences. Senior member of China Computer Federation. Her main research interests include how human-beings perceive, organize, and utilize information in the surrounding environment and how they communicate the information effectively with computers and various computer-controlled equipments (fuxl@psych.ac.cn).

附錄A.

實驗中采用的情感語段示例和上下文語境如下所示.

用于記錄生理反應(yīng)數(shù)據(jù)的情緒語句：你在干什么呀？

1) 喜悅：今晚學(xué)校小禮堂要舉行新年舞會，大家都可以參加，到時候還有抽獎活動. 前陣子都在忙著期末考試，好久沒和男(女)朋友一起去參加舞會了. 我忙撥通他(她)的電話：“你在干什么呀？”

2) 悲傷：“爸，后天就要開學(xué)了……”我?guī)缀醵悸牪坏阶约旱穆曇? 我沒有見過我的母親，她在生我時難產(chǎn)死了，父親拖著殘疾的腿，靠著給人做點手工活維持我們的家，每年開學(xué)，都是父親最為難的時候. “哦，”父親仍在做著手工活，沒有抬頭看我，“天晚了，去睡吧. ”我徹夜沒睡，父親也徹夜沒睡. 第二天一大早，父親就出去了. 到了中午的時候，鄰居來家里告訴我父親在鎮(zhèn)上醫(yī)院賣血的時候暈倒了，我趕到醫(yī)院，看到父親躺在醫(yī)院走道的椅子上，緊閉著雙眼，面無血色，我俯下身，緊緊地抱著父親那瘦弱的身體，淚水止不住往下流：“爸，你在干什么呀？”

3) 憤怒：那天，我經(jīng)過校門口，又有一群人在發(fā)廣告. 那些人天天都在那，分站在路的兩旁，向每個路過的人發(fā)一些小卡片. 我拒絕了一個中年男子，另一個年紀(jì)小點的又過來了，我避開不接，走開了，他緊跟著我，竟然伸手將卡片強(qiáng)賽進(jìn)我的衣袋，我狠狠地瞪了他一眼：“你在干什么呀？”

4) 驚奇：張奶奶在院子里掃地，突然聽到孫子曉明在屋里笑得好開心，于是朝屋里望了望，想看個究竟，只見曉明正對著電腦在自言自語. “曉明，曉明”張奶奶連喊了他兩聲，他也沒有答話. 張奶奶走進(jìn)屋，瞧見電腦里竟然有一個人在和曉明說話，再看一眼，喲，曉明也在電腦里，這可奇怪了，“你在干什么呀？”

5) 恐懼：上高中以前，我特別怕老鼠. 因此，常常被同學(xué)欺負(fù). 記得小學(xué)二年級的時候，有一天放學(xué)了，我正收拾書包準(zhǔn)備回家，一個淘氣的男生拿了個東西在我眼前晃，“你看看這是什么？”我抬頭一看，是只活老鼠，還在吱吱直叫！我大喊了一聲：“啊！你在干什么呀？”

中圖法分類號TP3-05