趙慧娟 李中科

摘要

隨著人們精神壓力和情緒問題的日益凸顯，專業(yè)的心理咨詢已難以滿足用戶隨時隨地緩解壓力和調適情感的需求。為了實現(xiàn)及時在線的情感調適，本文提出一種基于強化學習的智能語音情感調適框架，智能體模擬咨詢師，通過不斷地與環(huán)境交互學習交互策略，并依據(jù)策略采取相應的調適動作引導用戶進行情感狀態(tài)的轉移。經過多輪的對話咨詢，使得用戶的情感狀態(tài)逐步得到改善。該框架為實現(xiàn)個人在線心理咨詢和情感調適提供了一種新的解決思路，相對于傳統(tǒng)的咨詢和調試方式，該方案具有及時性、隱秘性和便捷性等優(yōu)點。

【關鍵詞】強化學習 情感調適 情感識別 情感狀態(tài)轉移

1 引言

隨著現(xiàn)代社會的發(fā)展和人們生活節(jié)奏的加快，人們受到來自學習、工作以及生活等方面的壓力越來越重，由此導致的精神方面的問題也日益凸顯。據(jù)世界衛(wèi)生組織的統(tǒng)計，抑郁癥和焦慮癥等精神疾患在世界上呈上升趨勢，抑郁癥目前己成為世界上第四大疾患，而到2020年時抑郁癥有可能成為僅次于心臟病的第二大疾病。美國的抑郁癥和焦慮癥患者的人數(shù)逐步增加，大約五分之一的美國人正被心理疾病或精神疾病困擾。隨著人們對精神和心理健康的關注度的提升，對心理咨詢和情感調適需求量的逐步增多以及咨詢群體的擴大，傳統(tǒng)的面對面的心理咨詢己無法滿足待咨詢者的需求。

互聯(lián)網和云平臺的發(fā)展促進了在線咨詢服務平臺的出現(xiàn)，典型的有TALKSPACEonline和MoodTools，前者是專注于服務抑郁癥患者，為用戶提供可在線咨詢的專家服務，提高了咨詢的實時性和便利性，并且降低了咨詢的費用。但不論是面對面咨詢還是在線咨詢都無法避免對咨詢師的依賴，因此只能實現(xiàn)一定程度上咨詢的實時和便捷。而社交機器人的問世為心理咨詢提供了更好的解決思路。一方面，社交機器人對需要進行情感調試的用戶提供了一個更多的選擇，使用戶的負面情緒得到及時緩解，從而降低了用戶對專業(yè)咨詢的需求量。另一方面，如果可以通過機器人提供專業(yè)的心理咨詢服務，則服務的實時性也得到了保證，同時還可大大降低用戶的咨詢費用，真正的實現(xiàn)經濟高效的心理咨詢。

本文提出一種將情緒調適和對話機器人結合的方案，使用戶通過與機器人對話達到心理咨詢和情緒調適的目的。采用強化學習的方式研究對話的Agent如何給對方提供好的情感回應。這里的情感回應，僅指情感類別，在具體的應用中，可以結合對話的上下文如語音、文本或者表情等，提供既有信息又有情感的回應，而情感類別與上下文的合成，本文則不做重點介紹。

2 相關工作

早在20世紀60年代就產生了對話系統(tǒng)如liza，隨后出現(xiàn)基于任務的對話系統(tǒng)可以完成具體的任務如預定機票等。近年來，個人助理類產品如蘋果公司的Siri，微軟公司的Cortana等相繼出現(xiàn)。不同于以往的對話系統(tǒng)，微軟研發(fā)的小冰是一種全新的社會型對話機器人，其目標更注重的是對用戶的一種虛擬的陪伴，與用戶建立情感的連接，而非致力于解決用戶的所有問題。

研究者Sun B等提出了一個心理咨詢框架，可以使移動終端和Web平臺無縫集成，及時獲取用戶的情感變化，系統(tǒng)提供了在線心理咨詢、心理交流平臺和計算機輔助咨詢三大模塊。D.Elmasri等提出采用對話機器人提供咨詢服務，但是僅限于干預咨詢者的飲酒習慣，并未考慮用戶的情感狀態(tài)。目前，已有相關的研究提出采用對話機器人提供心理咨詢服務。Lee D提出使用chatbot進行心理咨詢的方案：首先基于多模態(tài)進行情感識別，然后根據(jù)連續(xù)監(jiān)控咨詢者的情感狀態(tài)，并結合道德、咨詢者的個人屬性等因素綜合對用戶的信息給出具有情感的回應。清華大學黃民烈等提出在文本對話的回應中要融入情感因素，但是對于文本回應，只給出與說話人相同的情感回應，尚未對該反饋何種情感進行深入研究。MujeebS提出根據(jù)用戶的文本問答信息診斷用戶是否患有恐黑癥和自閉癥以及確診患者癥狀的嚴重程度。目前，類似于微軟小冰的對話機器人僅限于用戶的陪伴，雖然具有情感回應，但是針對于用戶長期存在的負面情緒或心理障礙，其干預的效果則有待進一步評估。斯坦福大學發(fā)布的woebot是一個免費的治療型聊天機器人，旨在通過抑郁癥患者與該機器人對話達到治療抑郁癥的目的。

我們提出一種采用強化學習的思路，通過用戶與咨詢師機器人的語音對話，逐步調適用戶的情感狀態(tài)，使得情感逐步從負面調整為中性或者正面情感，或者調整情感的強弱程度。

3 基于強化學習的心理咨詢框架

3.1 心理咨詢與對話情感調適

人類的精神狀態(tài)和情感都是動態(tài)變化的、非平穩(wěn)的。情感狀態(tài)有多種表現(xiàn)形式，可以通過生理信號、語音、表情等表達出來。反過來，我們通過觀測人們的外在表現(xiàn)可以識別其情感類別。當用戶長期持續(xù)表現(xiàn)為異常情緒時比如抑郁、自閉等，則需要考慮其心理健康狀況是否出現(xiàn)異常或者是否患有生理疾病。心理咨詢可以通過不同的療法對用戶的心理狀態(tài)進行干預，通過傾聽、引導、建議或鼓勵等措施幫助心理異常的用戶及時調整，盡快走出負面的心理狀態(tài)。目前，面對面的交談是心理咨詢的重要方式。咨詢師與用戶之間首先建立信任度，在此基礎上，用戶會配合咨詢師診斷問題，并確立咨詢目標，進而開始有效的咨詢。通常，咨詢需要多輪對話才能使用戶的情感有逐步的改善，咨詢師還會考慮咨詢者的語音、姿勢、表情等多方面信息以及主體的個性特點。心理調節(jié)方式也會考慮音樂、咨詢室的燈光、等多種因素的結合使用。如果用戶的心理狀態(tài)改善不明顯，咨詢師則需要調整咨詢策略和咨詢方案和計劃，最終達到期望的咨詢效果。

基于對話的情感調適，是心理咨詢的一個方面。用戶通過和咨詢師進行對話，根據(jù)積極配合咨詢師的引導達到情感的調適的目的，比如抑郁、焦慮、恐懼等狀態(tài)的干預和引導。根據(jù)Thomton M A的研究，人類情感變化是符合馬爾科夫鏈模型的，情感狀態(tài)轉移通常是同極性的情感之間進行轉換，當極性相反時，一般會經由中性情感過渡。通過獲取情感轉移矩陣便可獲取情感轉換的規(guī)律。根據(jù)當前的情感狀態(tài)，通過選擇不同的動作按某種概率轉移到指定的目標狀態(tài)。正常情感和異常情感的轉移關系示意如圖1所示。在異常情感下對情感的合理調適則有較大的可能轉移到正常情感狀態(tài)，如果不調適則可能繼續(xù)保持在異常情感狀態(tài)甚至異常程度會更嚴重。在正常情感下，如果未進行及時的調適或者調適不當，則情感也可能會轉換為異常情感。這里，同一行為下的轉移概率滿足：Σ_jp_ij=1。

3.2 強化學習的情感調適框架

除了具有動態(tài)性和不確定性，人類產生的情感還具有一定的主觀性，與用戶的個性特點也有關系。情感調適或者其他外在的干預措施，對用戶的刺激和情感的影響并非有著立竿見影的效果。而且，即使在同一咨詢時段內，相鄰兩個時刻的情感改善較為明顯，也難以確認此改善就一定是當前情感調節(jié)所致的效果。而是在咨詢師與用戶的對話過程中，隨著刺激和影響的逐步深入，用戶的情感改善才逐步有所體現(xiàn)。比如，在某一時段用戶的情感變化反復無常，隨著咨詢師的引導和心理咨詢計劃的逐步實施，情感變得相對穩(wěn)定;或者由之前以負面情緒為主的情感，逐步變?yōu)橐灾行郧榫w或者正面情緒為主的情感等等。

因此，我們需要考慮多輪咨詢活動對情感的影響。以一次咨詢過程中咨詢對象的語音序列為輸入對象，利用其統(tǒng)計特性來表示一個情感狀態(tài)，每一幀的情感變化則在一次咨詢過程內進行考慮。Agent模擬咨詢師，環(huán)境模擬咨詢對象，按照強化學習的思想，學習最優(yōu)的調適策略。情感調適的基本結構如圖2所示。Agent包括累積獎賞計算、策略評估以及動作選擇等。環(huán)境包含了語音信息的預處理、情感識別、狀態(tài)計算以及獎賞的計算等主要部分。首先對語音信號進行情感識別，然后基于情感狀態(tài)的序列進行情感狀態(tài)的估計，根據(jù)當前的情感狀態(tài)，選擇相應的調適策略進行情感調適。調適的策略進而影響到下一輪的情感對話咨詢。如下給出模型的主要概念的定義：

狀態(tài)State定義：每輪咨詢過程中，該時段用戶的語音情感序列表示為，N為語音幀的個數(shù)，也對應著情感序列的長度。環(huán)境的狀態(tài)S_i定義為情感序列E_i的統(tǒng)計。情感的識別首先提取語音特征，然后利用LSTM模型進行分類。這里僅考慮{Happy、Neural、Sad、Anger、Fear}五種情感類型。情感序列的統(tǒng)計特性表示用戶在此次咨詢過程中的整體情感狀態(tài)。這里的狀態(tài)，并非單個的離散值如Happy、Anger等，而是對該序列的統(tǒng)計值，將狀態(tài)轉移建模為轉移矩陣P=（p_ij）_N，此外，還使用負面情緒和正面情緒個數(shù)的比值作為情感序列的極性特征。動作Action定義：每輪咨詢過程中，咨詢師采取的咨詢方法或措施?，F(xiàn)實世界中，心理咨詢有著不同的流派，根據(jù)流派不同，咨詢師的方法和措施也有所不同。本文根據(jù)行為主義的思想，來建立咨詢的Action。

在咨詢過程中，采取的動作集定義為A=（A₁，A₂，…，A_n}，設在狀態(tài)x下執(zhí)行動作a到達狀態(tài)x'，設轉移概率是P_x→x'^a，得到的獎賞是R_x→x'^a，則有累積獎賞可表示為：

狀態(tài)-動作值函數(shù)表示為：

基于此模型的策略評估算法描述如下：

輸入：

MDP四元組E-;

被評估的策略π;

累計獎賞參數(shù)T;

閾值θ;

過程：

輸出：狀態(tài)值函數(shù)V

則有

通過策略迭代，最終獲取最優(yōu)策略

繼而根據(jù)最優(yōu)策略對用戶的情感進行調適。

4 結束語

本文利用強化學習的思想建立基于Agent對話的情感調適。通過對當前用戶的情感狀態(tài)進行統(tǒng)計和分析，不斷地優(yōu)化學習策略，進而對用戶的情感進行調適。由于用戶的情感具有一定的主觀性，類似于心理咨詢，調適的效果在一定程度上還與用戶的個性特點有關，同時也需要用戶的積極配合。考慮到該框架的應用是面向用戶的主動調適，對于主動求助智能咨詢或調適的用戶來說，可以不考慮其阻抗性。為了進一步提升調適的效果，除了考慮語音信號，還可以考慮文本、表情等多種模態(tài)信息的融合。我們將在后面的研究中做深入探討。

參考文獻

[1]Roe kvilIe，Maryland2016National Survey on Drug Use andHealthMETHODO10GICAL SUMMARY ANDDEFINITIONShttps：//www.samhsa.gov/data/sites/default/files/NSDUH-MethodSummDefs-2016/NSDUH-MethodSummDefs-2016.pdf[EB/OL].

[2]Rutkin A.Therapist in my pocket[J].New Scientist，2015，227（3038）.

[3]Erik L M，Jennifer N，Helen C.ASystematic Assessment of SmartphoneTools for Suicide Prevention：[J].PLos One，2016，11（04）：e0152285.

[4]Weizenbaum，J.，1966.ELIZA-Acomputer program for the studyof natural language communicationbetween manand machine.Communications of the Associationfor Computing Machinery，9，pp.36-45Walker，M.，Aberdeen，J，Boland，J.，Bratt，E.，

[5]Garofolo，J.，Hirschman，L.，Le，A.，Lee，S.，Narayanan，S.，Papineni，K.，Pellom，B.，Polifroni，J.，Potamianos，A.，Prabhu，P.，Rudnicky，A.，and Sanders，G.，2001.DARPA Communicator dia10Gtravel planning systems：The June2000 data collection.In Proceedingsof the Eurospeech Conference.

[6]馬健.蘋果Siri，將人工智能帶入我們的生活[J].物聯(lián)網技術，2011，01（9）：31-32.

[7]Hoy M B.Alexa，Siri，Cortana，andMore：An Introduction to VoiceAssistants[J].Medical ReferenceServices Quarterly，2018，37（01）：81.

[8]肖杰.從“微軟小冰”探討人工智能的前景與未來[J].科技創(chuàng)新與應用，2018（07）：10-11.

[9]Sun B，Kang W，Zhang R，et al.PsyCare：A novel framework foronline psycho10Gica一counseling[C].International Conference on PervasiveComputing and Applications.IEEE，2010：56-61.

[10]D.Elmasri，A.Maeder，“AConversational Agent for an On lineMental Health Intervention，”Inproc.of International Conference onBrain and Health Informatics，PP.243-251，2016.

[11]Lee D，Oh K J，Choi H J.Thechatbot feels you一a counselingservice using emotional responsegeneration[C].IEEE InternationalConference on Big Data and SmartComputing.IEEE，2017：437-440.

[12]Oh K J，Lee D，Ko B，et al.AChatbot for Psychiatric Counselingin Mental Healthcare Service Basedon Emotional Dia10Gue Analysisand Sentence Generation[C].IEEEInternational Conference on MobileData Management.IEEE，2017：371-375.

[13]Zhou H，Huang M，Zhang T，et al.Emotional Chatting Machine：EmotionalConversation Generation with Internaland External Memory[J].2017.

[14]Mujeeb S，Hafeez M，Arshad T，etal.Aquabot：A Diagnostic Chatbotfor Achluophobia and Autism[J].International Journal of AdvancedComputer Science&Applications，2017，8（09）.

[15]Ly K H，Ly A M，Andersson G.A FullyAutomated Conversational Agent，forPromoting Mental Well-Being：A piIotRCT using mixed methods[J].InternetInterventions，2017，10（C）：39-46.

[16]Thornton M A，Tamir D I.Mentalmodels accurately predict emotiontransitions[J].Proceedings of theNational Academy of Sciences of theUnited States of America，2017，114（23）：5982.