阮曉鋼, 龐濤,, 張曉平, 王爾申

（1.北京工業(yè)大學(xué) 電控學(xué)院，北京 100124； 2. 沈陽航空航天大學(xué) 電信學(xué)院，遼寧 沈陽 110136）

?

一種基于情感智能的機器人自主趨光行為研究

阮曉鋼1, 龐濤1,2, 張曉平1, 王爾申2

（1.北京工業(yè)大學(xué) 電控學(xué)院，北京 100124； 2. 沈陽航空航天大學(xué) 電信學(xué)院，遼寧 沈陽 110136）

針對移動機器人的自主趨光行為問題，提出了一種基于情感智能的內(nèi)發(fā)動機仿生學(xué)習(xí)機制。該學(xué)習(xí)機制以生物體感覺運動系統(tǒng)的學(xué)習(xí)機制為基礎(chǔ)，包括評價環(huán)節(jié)、行為選擇環(huán)節(jié)和取向環(huán)節(jié)，采用模糊神經(jīng)網(wǎng)絡(luò)構(gòu)建情感模型，情感模型的輸出作為評價環(huán)節(jié)的內(nèi)部獎賞信號。該學(xué)習(xí)機制能夠使機器人在未知環(huán)境下通過自主的學(xué)習(xí)和訓(xùn)練逐漸形成、發(fā)展和完善趨光行為技能，通過情感智能的作用可以增加試探成功次數(shù)和減小學(xué)習(xí)步數(shù)，仿真實驗證明了該方法的有效性。

認知機器人學(xué)；內(nèi)發(fā)動機；移動機器人；趨光技能；情感智能；感覺運動系統(tǒng)；模糊推理方法；取向性

內(nèi)發(fā)動機機制是認知的動力和源泉，是機器人最基本的認知發(fā)育機制。通過內(nèi)發(fā)動機機制的不斷完善，使生物體逐漸形成、發(fā)展和完善控制技能[1-2]。認知科學(xué)研究表明，情感智能是內(nèi)發(fā)動機機制不可或缺的組成部分，在生物自主行為決策中起著至關(guān)重要的作用[1-2]。隨著科學(xué)研究的不斷深入，越來越多的研究者開始關(guān)注人類的情感智能，嘗試采用多種方法將生物情感智能抽象化建模，指導(dǎo)機器人行為決策取得更佳的控制效果。2008年Ahn等[3]提出了基于情感和認知強化學(xué)習(xí)模型，考慮了來自情感的內(nèi)在獎勵和來自認知的外部獎勵，研究表明將來自情感的內(nèi)在獎勵融入到學(xué)習(xí)和決策中, 能提高學(xué)習(xí)速度和決策能力。2011年，Malfaz等[4]將害怕情感因數(shù)與Q學(xué)習(xí)結(jié)合起來，通過增加Q函數(shù)的權(quán)重，有效降低了危險的行為決策。2011年，Sequeira等[5]提出了基于情感內(nèi)發(fā)動機機制的強化學(xué)習(xí)模型，將獎賞信號分為內(nèi)部和外部2部分，細化為好奇心、動機、價值和控制部分，實驗證明了智能體可以克服環(huán)境的缺點獲得更好的決策。2013年，Abdi等[6]利用情感經(jīng)驗獲得獎賞信號，利用TD Q學(xué)習(xí)算法，實現(xiàn)優(yōu)化多智能體的行為決策。2003年劉明等[7]提出一種基于模糊邏輯的情感模型，將情感對環(huán)境和agent自身狀態(tài)的評估的變化作為再勵信號，用于引導(dǎo)agent的行為選擇策略的學(xué)習(xí)。2008年,張惠娣等[8]將基于情感和認知的學(xué)習(xí)與決策模型引入到基于行為的移動機器人控制體系中，設(shè)計了一種自主導(dǎo)航控制系統(tǒng)，提高了基于行為的移動機器人在未知環(huán)境中的自主導(dǎo)航能力。2010年,胡云斗等[9]提出一種基于任務(wù)的機器人情感決策模型，建立從多種感知輸入到多種行為輸出的映射，以“福娃”機器人為平臺驗證了該方法的正確性和實用性。2011年，祝宇虹等[10]對害怕進行了人工情感建模，提出了帶情感權(quán)重的Q學(xué)習(xí)加權(quán)策略，并將該策略應(yīng)用于虛擬機器人的行為決策，取得了較高的成功率。目前，針對機器人的基于情感的內(nèi)發(fā)動機仿生自主學(xué)習(xí)問題，很多學(xué)者做了大量的工作，但對未知環(huán)境的自主學(xué)習(xí)方法，仍需不斷探索。

近年來，機器人的趨光特性作為認知領(lǐng)域的范例已經(jīng)得到廣泛重視，通過模擬生物的趨光行為，研究機器人內(nèi)發(fā)動機機制的漸近過程，并把這些原理正確運用在機器人制造中，對認知科學(xué)的發(fā)展和應(yīng)用起到了重要作用。針對機器人仿生自主學(xué)習(xí)問題，構(gòu)建了基于情感因素的內(nèi)發(fā)動機學(xué)習(xí)模型，包括評價、行為選擇和取向環(huán)節(jié)，通過“感知—行動”的往復(fù)學(xué)習(xí)，使機器人逐漸形成、發(fā)展和完善趨光行為技能，采用模糊推理方法構(gòu)建情感模型，將情感因素作為內(nèi)發(fā)動機機制的內(nèi)部獎賞信號，通過情感智能的作用，增加機器人趨光學(xué)習(xí)試探成功次數(shù)和減少學(xué)習(xí)步數(shù)。

1 機器人模型

采用三輪式圓盤狀移動機器人模型，結(jié)構(gòu)如圖1所示，左右2個驅(qū)動輪用來控制速度與方向，后面方向輪用來保持機器人平衡。機器人圓盤前端有6個位置可以安裝傳感器，每個位置安裝一個光敏傳感器和一個超聲波測距傳感器，將6個位置的傳感器分為左右2組，分別測定左側(cè)和右側(cè)的光強度和障礙物距離，每組3個傳感器中測定光強度最大值做為該組傳感器測定的光強度值，左側(cè)光強度值為ol，右側(cè)光強度值為or。每組3個傳感器中測定與障礙物距離最小值做為該組傳感器測定的與障礙物距離值，與左側(cè)障礙物距離值為dl，與右側(cè)障礙物距離值為dr。

圖1 機器人結(jié)構(gòu)

2 情感智能的機器人趨光仿生模型

2.1 感覺運動系統(tǒng)的內(nèi)發(fā)動機機制

根據(jù)神經(jīng)生理學(xué)[11-13]，生物體利用感受器、運動神經(jīng)系統(tǒng)和效應(yīng)器，通過自學(xué)習(xí)和自組織過程，逐漸完善運動技能的學(xué)習(xí)機制，如圖2所示。感受器是感覺器官，其功能是感知環(huán)境（或客體）狀態(tài)，運動神經(jīng)系統(tǒng)是調(diào)節(jié)特定技能的神經(jīng)細胞群，根據(jù)環(huán)境（或客體）狀態(tài)產(chǎn)生動作決策，效應(yīng)器是機體的運動器官，其功能是根據(jù)運動神經(jīng)系統(tǒng)動作決策對環(huán)境（或客體）施加操作。

圖2 基于感覺運動系統(tǒng)的內(nèi)發(fā)動機機制

生物學(xué)領(lǐng)域的研究表明，在生物體感覺運動系統(tǒng)中存在動機與內(nèi)在目標(biāo)和目的相關(guān)聯(lián)的機制[1]，即內(nèi)發(fā)動機機制，這種機制是一種以感覺運動系統(tǒng)為基礎(chǔ)，受生存、取向性、好奇心以及情感和信念驅(qū)使的學(xué)習(xí)機制[14-15]。內(nèi)發(fā)動機機制[1-2]是生物體在不需要環(huán)境（或客體）數(shù)學(xué)模型的情況下，將環(huán)境（或客體）狀態(tài)映射為對環(huán)境（或客體）的操作，并獲得獎懲信號，成功的操作會獲得獎賞信號，失敗的操作則獲得懲罰信號，生物體將獎懲信息轉(zhuǎn)換成評價指標(biāo)并生成取向信息，調(diào)整對環(huán)境的操作，這一過程在“感知-行動”環(huán)中周而復(fù)始地進行，生物體逐漸形成、發(fā)展和完善運動控制技能。其間情感在內(nèi)發(fā)動機機制中起著重要的作用。

2.2 趨光情感模型

情感是生物體一種特殊意識形式，是生物的認知過程中行為決策的關(guān)鍵因素，對情感進行科學(xué)分析和精確計算，就能夠建立情感的數(shù)學(xué)模型。目前，以心理學(xué)、生物學(xué)和人工智能等學(xué)科為基礎(chǔ)，研究人員采用多種方法構(gòu)建情感模型。文中針對機器人模擬趨光行為問題，采用模糊推理方法構(gòu)建了人工情感模型[16-17]，模糊邏輯更能體現(xiàn)情感狀態(tài)推理的復(fù)雜性和不確定性的本質(zhì)特征。人工情感模糊推理模型，如圖3所示。

圖3 基于模糊推理的情感模型

圖3中輸入是機器人所在位置光強度ob（t）和機器人與障礙物距離dm（t），各劃分為5個等級，隸屬度函數(shù)如圖4所示，機器人所在位置光強度ob（t）采用很高（PL）、高（PB）、中（PM）、低（PS）和很低（PW）5個等級，機器人與障礙物距離dm（t），采用很遠（PL）、遠（PB）、中（PM）、近（PS）和很近（PW）5個等級。人工情感模糊推理模型輸出是機器人在趨光過程中產(chǎn)生的情感因子λ。趨光過程中情感狀態(tài)的設(shè)定，根據(jù)OCC情感模型[18]中的22種情感狀態(tài)，根據(jù)趨光具體問題，考慮趨光過程中機器人操作結(jié)果對機器人情感的影響，選取6類情感E={Pride，Joy，Satisfaction，Disappointment，distress，Shame}，Pride為驕傲情感，Joy為高興情感，Satisfaction為滿意情感，Disappointment為失望情感，distress為憂傷情感，Shame為羞愧情感。人工情感模型中模糊規(guī)則設(shè)計依據(jù)OCC模型中情感產(chǎn)生規(guī)則確定情感狀態(tài)，如表1，OCC模型中情感產(chǎn)生規(guī)則依據(jù)機器人對趨光操作結(jié)果的期望度確定，趨光操作結(jié)果包括趨光操作后機器人與光源距離ob（t）和機器人與障礙物距離dm（t），機器人每操作一次，需要重新確定情感狀態(tài)。

（a）光強度ob（t）隸屬度函數(shù)

（b）與障礙物距離dm（t）隸屬度函數(shù)圖4 ob（t）和dm（t）的隸屬度函數(shù)Fig.4 Membership function of ob（t）and dm（t）

表1 OCC模型情感產(chǎn)生規(guī)則Table 1 Emotion generation rule of OCC model

模糊規(guī)則共25條，設(shè)計如下：

1）如果光強度是很高，且障礙物距離是很遠，則驕傲；

2）如果光強度是很高，且障礙物距離是遠，則高興；

3）如果光強度是很高，且障礙物距離是中，則滿意；

4）如果光強度是很高，且障礙物距離是近，則不滿意；

5）如果光強度是很高，且障礙物距離是很近，則憂傷；

6）如果光強度是高，且障礙物距離是很遠，則高興；

7）如果光強度是高，且障礙物距離是遠，則高興；

8）如果光強度是高，且障礙物距離是中，則滿意；

……

文中采用了重心模糊推理方法得出精確化后的輸出情感因子λ，公式為

ηi是通過代數(shù)乘積方法得到的每一條規(guī)則真實值。

2.3 基于情感智能的機器人趨光仿生模型設(shè)計

依據(jù)感覺運動系統(tǒng)的內(nèi)發(fā)動機機制[2,19-20]，設(shè)計了包含3個模塊的機器人模型，如圖5所示，分別是評價模塊、行為選擇模塊、取向模塊。評價環(huán)節(jié)根據(jù)輸入狀態(tài)s（t）、獎懲信號r（t）和動作量a（t），對動作量a（t）進行評價輸出評價值Ve（t），評價函數(shù)為

式中：γ是折扣因子，表示近期和遠期回報預(yù)測的重要程度。獎賞信號r（t）包括2部分：環(huán)境給予的外部獎賞信號ro（t）和情感智能給予的內(nèi)部獎賞信號re（t），情感模型輸出的情感因子λ（0<λ<1）作為內(nèi)部獎賞信號re（t）。評價網(wǎng)絡(luò)采用前饋神經(jīng)網(wǎng)絡(luò)構(gòu)成，采用時間差分函數(shù)對評價函數(shù)進行逼近。取向環(huán)節(jié)根據(jù)評價值Ve（t）生成取向信息，判定該動作在以后出現(xiàn)時選擇的概率。行為選擇環(huán)節(jié)根據(jù)狀態(tài)量s（t）、評價值Ve（t）和取向信息輸出動作量a（t）。行為選擇環(huán)節(jié)采用前饋神經(jīng)網(wǎng)絡(luò)實現(xiàn)，應(yīng)滿足以較大概率從行為集合中選擇具有最大行為值函數(shù)的元素。機器人對環(huán)境（或客體）實施操作，得到獎懲信號r（t+1），環(huán)境并轉(zhuǎn)變?yōu)樾碌臓顟B(tài)，然后重復(fù)感知到行動這一過程，最終完成機器人的自主趨光學(xué)習(xí)。仿生模型見圖5。

圖5 基于情感智能的機器人趨光仿生模型

2.4 算法流程

移動機器人基于內(nèi)發(fā)動機自主學(xué)習(xí)算法步驟為

1）初始化行為選擇和評價環(huán)節(jié)中各初始值，及各神經(jīng)元連接權(quán)值；初始化機器人的各狀態(tài)變量，并歸一化；

2）根據(jù)環(huán)境狀態(tài)量s（t），計算獎賞信號ro（t）、re（t）；

3）行為選擇環(huán)節(jié)根據(jù)狀態(tài)量s（t）計算動作量a（t）；

4）評價環(huán)節(jié)根據(jù)狀態(tài)量s（t）和動作量a（t）對動作量評價，輸出評價值Ve（t）；

5）取向環(huán)節(jié)根據(jù)評價值Ve（t），計算取向信息，利用取向信息，調(diào)整動作量a（t+1）輸出；

6）將動作量a（t+1）對環(huán)境實施操作，環(huán)境產(chǎn)生下一時刻的狀態(tài)量s（t+1）；

7）返回2），直到產(chǎn)生的各狀態(tài)量滿足智能體的期望性能指標(biāo)，則執(zhí)行8）；

8）行為決策模塊對動作量加權(quán)并對客體實施操作，客體產(chǎn)生下一時刻的狀態(tài)量；

9）結(jié)束。

3 仿真實驗

3.1 趨光實驗

為驗證算法的有效性，采用MATLAB仿真軟件，仿真環(huán)境中圓形表示光源位置，方形表示障礙物，環(huán)境中分布著有限個靜態(tài)障礙物，以機器人的趨光學(xué)習(xí)為目標(biāo)進行研究，光源位置和移動機器人起點位置可以任意設(shè)定，移動機器人運動起點位置注明“S”，終點位置注明“G”，設(shè)定光源所在位置光強是1坎德拉（Candela），與光源越遠的位置光強越弱，按e指數(shù)規(guī)律減弱。機器人對環(huán)境是完全未知的，可以自定位，采用在線學(xué)習(xí)方式。機器人勻速移動，設(shè)定線速度v為0.5 m/s，采樣時間是T=1 s。移動機器人進行試探學(xué)習(xí)，每次學(xué)習(xí)步數(shù)不超過1 000步，每次學(xué)習(xí)移動機器人從起始位置出發(fā)，到達光源附近位置停止，學(xué)習(xí)結(jié)束，準(zhǔn)備進行下一次學(xué)習(xí)，如果學(xué)習(xí)步數(shù)超過1 000步仍未到達光源附件位置，則終止這次學(xué)習(xí)，進行下一次學(xué)習(xí)。趨光學(xué)習(xí)評價環(huán)節(jié)趨光輸入域是x（t）= [ol（t）,or（t）,dl（t）,dr（t）,θ（t）]T，其中θ（t）為機器人當(dāng)前方向與目標(biāo)點的夾角。趨光學(xué)習(xí)行為選擇環(huán)節(jié)輸入域是s（t） = [ol（t）,or（t）,dl（t）,dr（t）]T。

圖6是機器人在有障礙物的環(huán)境下趨光學(xué)習(xí)情況。圖6（a）是學(xué)習(xí)初期試探結(jié)果，機器人從起始位置出發(fā)并不向光源方向運動，說明機器人原本不具備趨光能力。圖6（b）是學(xué)習(xí)中期試探結(jié)果，機器人起始位置出發(fā)到達接近光源附近位置停止，但并未始終按光源所在方向移動，說明通過學(xué)習(xí)并未完全掌握趨光能力。6（c）是機器人從起始位置出發(fā)到達接近光源附近位置停止，始終按光源所在方向移動，說明已經(jīng)掌握趨光能力。圖6（d）是移動機器人在趨光移動中感知光強的變化曲線，機器人在起點位置時，光強較弱，隨著與光源距離的接近，光強逐漸增加，最后到達光源附近，感知的光強最強。

（a）學(xué)習(xí)初期

（b）學(xué)習(xí)中期

（c）學(xué)習(xí)末期

（d）光強變化曲線

圖7是機器人在趨光學(xué)習(xí)過程中的相鄰動作評價值變化的收斂曲線。從曲線上可以看出，在學(xué)習(xí)初期、中期和末期，曲線波動幅度由大到小，說明機器人最初缺乏先驗知識，學(xué)習(xí)隨機性較大，動態(tài)性能較差，隨著學(xué)習(xí)的進行，隨機性減小，動態(tài)性能有所提高，機器人自組織、自學(xué)習(xí)的能力逐步完善，機器人逐漸學(xué)會了趨光移動技能，可以較好地模擬生物的趨光行為。將學(xué)習(xí)實驗進行100次，統(tǒng)計學(xué)習(xí)成功的仿真實驗步數(shù)并計算平均值，機器人平均需要420步的學(xué)習(xí)，逐漸學(xué)會了趨光行為。將該方法與沒有情感智能作用的方法進行對比實驗，在相同實驗條件下，沒有情感智能作用時，平均需要550步的學(xué)習(xí)。說明情感因數(shù)在機器人趨光行為決策中可以減少學(xué)習(xí)步數(shù)。

圖7 機器人趨光仿真收斂曲線

3.2 趨光對比實驗

為了進一步驗證算法的有效性，在相同實驗條件下，將有無情感智能的2種情況做對比實驗，改變實驗參數(shù)折扣因子γ，2種方法分別進行100次試探學(xué)習(xí)，分別統(tǒng)計兩者學(xué)習(xí)的試探成功次數(shù)。通過實驗數(shù)據(jù)結(jié)果可以看出，在折扣因子選取不同的數(shù)值時，有情感智能作用下的試探成功次數(shù)多，如圖8所示。說明在機器人的趨光學(xué)習(xí)過程中，情感智能的引入能夠提高機器人學(xué)習(xí)的試探成功率。

圖8 機器人趨光試探成功次數(shù)對比實驗

4 結(jié)束語

通過對基于情感的內(nèi)發(fā)動機機器人自主趨光行為的研究，使機器人通過自主學(xué)習(xí)逐漸形成、發(fā)展并完善了趨光能力。通過模擬生物的情感智能，采用模糊推理方法設(shè)計情感模型，提高了機器人趨光學(xué)習(xí)的試探成功率，減少了學(xué)習(xí)步數(shù)，實驗表明情感智能可以增強機器人的行為決策能力。

[1]OUDEYER P, KAPLAN F. What is intrinsic motivation? a typology of computational approaches[J]. Frontiers in Neurorobotics, 2007, 1（6）: 1-14.

[2]SINGH S. Intrinsically motivated reinforcement learning: an evolutionary perspective[J]. IEEE Transactions on Autonomous Mental Development, 2010, 2（2）: 70-82.

[3]AHN H, PICARD R W. Affective cognitive learning and decision making: the role of emotions[C]//The 18th European Meeting on Cybernetics and Systems Research. [s.l.], 2006: 1-6.

[4]MALFAZ M, SALICHS M A. Learning to avoid risky actions[J]. Cybernetics and Systems, 2011, 42（8）: 636-658.

[5]SEQUEIRA P, MELO F S, PAIVA A. Emotion-based intrinsic motivation for reinforcement learning agents[C]//Affective Computing and Intelligent Interaction. Berlin: Springer, 2011: 326-336.

[6]ABDI J, MOSHIRI B, ABDULHAI B, et al. Short-term traffic flow forecasting: parametric and nonparametric approaches via emotional temporal difference learning[J]. Neural Computing and Applications, 2013，23:141-159.

[7]劉明, 許力. 人工情感在Agent行為選擇策略中的應(yīng)用[J]. 江南大學(xué)學(xué)報, 2003, 2（6）:564-568. LIU Ming, XU Li. Study on artificial emotion and its application in the behavior selection strategy of agents[J]. Journal of Southern Yangtze University, 2003,2（6）: 564-568.

[8]張惠娣,劉士榮. 基于情感與環(huán)境認知的移動機器人自主導(dǎo)航控制[J]. 控制理論與應(yīng)用, 2008, 25（6）: 995-1000. ZHANG Huidi, LIU Shirong. Autonomous navigation control for mobile robots based on emotion and environment cognition[J]. Control Theory & Applications, 2008, 25（6）: 995-1000.

[9]胡云斗,胡丹丹,高慶吉. 一種基于任務(wù)的機器人情感決策模型的構(gòu)建[J]. 機器人, 2010, 32（4）:464-477. HU Yundou, HU Dandan, GAO Qingji. Construction of a robot emotion decision-making model based on tasks[J]. Robot, 2010, 32（4）:464-477.

[10]祝宇虹,毛俊鑫. 基于人工情感與Q學(xué)習(xí)的機器人行為決策[J]. 智能工程, 2008, 61（7）: 61-65. ZHU Yuhong, MAO Junxin. Robot’s behavioral decision-making strategy based on artificial emotion and Q-learning[J]. Intelligent Engineering, 2008, 61（7）: 61-65.

[11]ASADA M, UCHIBE E, HOSODA K. Cooperative behavior acquisition for mobile robots in dynamically

changing real worlds via vision-based reinforcement learning and development[J]. Artificial Intelligence, 1999, 110（2）: 275-292.

[12]HUMBERT J S, HYSLOP A M. Bioinspired visuomotor convergence[J]. IEEE Transactions on Robotics, 2010, 26: 121-30.

[13]ZOLLO L, ESKIZMIRLILER S, TETI G, et al. An anthropomorphic robotic platform for progressive and adaptive sensorimotor learning[J]. Advanced Robotics, 2008, 22: 91-118.

[14]BARANES A, OUDEYER P Y. Active learning of inverse models with intrinsically motivated goal exploration in robots[J]. Robotics and Autonomous Systems, 2013, 61（1）: 49-73.

[15]VIGORITO C M, BARTO A G. Intrinsically motivated hierarchical skill learning in structured environments[J]. IEEE Transactions on Autonomous Mental Development, 2010, 2（2）: 132-143.

[16]EI-NASR M S, YEN J. Agents, emotion intelligence and fuzzy logic[C]//Proceedings of the North American Conference on the Fuzzy Information Processing Society. Pensacola Beach, 1998,1:135-140.

[17]DEGAONKAR V N, APTE S D. Emotion modeling from speech signal based on wavelet packet transform[J]. International Journal of Speech Technology, 2013, 16（1）: 1-5.

[18]ORTONY A. The cognitive structure of emotions[M]. Cambridge:Cambridge University Press, 1990:35-77.

[19]OUDEYER P Y, KAPLAN F, HAFNER V V. Intrinsic motivation systems for autonomous mental development[J]. IEEE Transactions on Evolutionary Computation, 2007, 11（2）: 265-286.

[20]ZORAN M, MARKO M, MIHAILO L, et al. Neural network reinforcement learning for visual control of robot manipulators[J]. Expert Systems with Applications, 2013, 40（5）: 1721-1736.

阮曉鋼，男，1958年生，博士生導(dǎo)師，主要研究方向為機器人學(xué)、自動控制與人工智能技術(shù)。先后主持和承擔(dān)國家自然科學(xué)基金重點項目、國家973計劃重點項目以及省部級項目30余項，發(fā)表學(xué)術(shù)論文200余篇。

龐濤，女，1976年生，講師，主要研究方向為認知機器人學(xué)。

張曉平，女，1991年生，博士研究生，主要研究方向為機器人學(xué)、人工智能技術(shù)。

Research on the autonomous phototaxis behavior of a robot based on emotion intelligence

RUAN Xiaogang1，PANG Tao1, 2，ZHANG Xiaoping1，WANG Ershen2

（1. College of Electronic and Control Engineering, Beijing University of Technology, Beijing 100124, China; 2. College of Electronic Information Engineering, Shenyang Aerospace University, Shenyang 110136, China）

In this paper, a kind of bionic learning mechanism of intrinsic motivation on the basis of emotion intelligence is proposed for the autonomous phototaxis behavior of a mobile robot. The learning mechanism is on the basis of the learning mechanism of the sensorimotor system of a living body, including the links of evaluation, behavioral choices and orientation. The emotion model is constructed by the fuzzy neural network and the output of emotion model is taken as the internal reward signal of the evaluation link. The learning mechanism may make a robot gradually form, develop and perfect the phototaxis skills by autonomous learning and training in an unknown environment. The emotion intelligence may increase the number of exploratory successes and reduce the learning steps. The simulation results demonstrated the effectiveness of this method.

cognitive robotics; intrinsic motivation; mobile robot; phototaxis skill; emotion intelligence; sensorimotor system; fuzzy reasoning method; orientation

2013-12-22.

日期：2015-01-13.

國家973計劃資助項目（2012CB720000）; 國家自然科學(xué)基金資助項目（61375086; 61101161）; 北京市自然科學(xué)基金資助項目/北京市教育委員會科技計劃重點資助項目（KZ201210005001）.

龐濤. E-mail:pangtao163@126.com.

10.3969/j.issn.1673-4785.201312035

http://www.cnki.net/kcms/doi/10.3969/j.issn.1673-4785.201312035.html

TP242.6

A

1673-4785（2015）01-0097-06

阮曉鋼, 龐濤, 張曉平, 等. 一種基于情感智能的機器人自主趨光行為研究[J]. 智能系統(tǒng)學(xué)報， 2015, 10（1）: 97-102.

英文引用格式：RUAN Xiaogang，PANG Tao，ZHANG Xiaoping，et al. Research on the autonomous phototaxis behavior of a robot based on emotion intelligence[J]. CAAI Transactions on Intelligent Systems, 2015, 10（1）: 97-102.