柯顯信 張文朕 羅志通 溫雷
關(guān)鍵詞: 仿人機(jī)器人; FACS理論; 虛擬樣機(jī); 面部柔性體; 剛?cè)峄旌夏P? 表情仿真
中圖分類號: TN812?34; TP242 ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼: A ? ? ? ? ? ? ? ? ? 文章編號: 1004?373X(2018)24?0052?05
Research on rigid?flexible simulation method of humanoid facial expression robot
KE Xianxin, ZHANG Wenzhen, LUO Zhitong, WEN Lei
(School of Mechatronic Engineering and Automation, Shanghai University, Shanghai 200072, China)
Abstract: A virtual prototype of the humanoid facial expression robot is built based on the rigid?flexible model to make the humanoid robot produce facial expressions similar to human beings. The production mechanism of human facial expressions is analyzed according to the facial coding system theory. The facial expression control points needed for basic expressions realized by the humanoid facial expression robot are redefined. The virtual prototype of the humanoid facial expression robot is built based on the rigid?flexible model by combining the created facial flexible body with the rigid structure of the expression robot. Six basic expressions of the robot based on the rigid?flexible model are obtained by means of the kinematic simulation. The feasibility of realizing facial expressions of the robot based on the rigid?flexible model is verified, which can provide a reference for further improvement and optimization of the humanoid robot in the future.
Keywords: humanoid robot; FACS theory; virtual prototype; facial flexible body; rigid?flexible model; expression simulation
美國社會心理學(xué)家梅拉賓研究發(fā)現(xiàn),兩人在面對面交流時對彼此形成的印象,有55%是通過人類的面部表情等肢體動作來實(shí)現(xiàn)的[1?2]。近年來,國內(nèi)外越來越多的研究機(jī)構(gòu)開展了關(guān)于仿人面部表情機(jī)器人的研究。其中美國(Sofia機(jī)器人)和日本(Erica機(jī)器人)等發(fā)達(dá)國家的科研機(jī)構(gòu)及公司已經(jīng)取得了較為顯著的研究成果;國內(nèi)以“陽楊”和“可佳”機(jī)器人等為代表的仿人面部表情機(jī)器人研究成果也令世人矚目。
虛擬樣機(jī)仿真技術(shù)開始于20世紀(jì)80年代,是基于產(chǎn)品計算機(jī)仿真模型的數(shù)字化設(shè)計方法發(fā)展而來的一項(xiàng)技術(shù)[3?4]。對于要求較高的一些復(fù)雜機(jī)械系統(tǒng),僅通過三維軟件與 ADAMS 聯(lián)合創(chuàng)建的剛性體虛擬樣機(jī)已經(jīng)不能滿足實(shí)際研究的需要,還需要對復(fù)雜機(jī)械系統(tǒng)虛擬樣機(jī)中某些關(guān)鍵部件柔性化,轉(zhuǎn)換成剛?cè)峄旌咸摂M樣機(jī)。本文依據(jù)面部編碼系統(tǒng)理論重新確立仿人面部表情機(jī)器人實(shí)現(xiàn)基本表情所需的面部表情控制點(diǎn)?;贏NSYS有限元軟件與ADAMS仿真軟件建立面部表情機(jī)器人剛?cè)峄旌咸摂M樣機(jī)以研究機(jī)器人面部表情實(shí)現(xiàn)方法,將為機(jī)器人情感仿真領(lǐng)域研究提供新的思路和指導(dǎo)。
高興、驚訝、厭惡、憤怒、恐懼、悲傷6種人類面部表情具有通用性,其他的表情大多是以這6種表情為基礎(chǔ)發(fā)展起來的,因此稱這6種表情為基本面部表情。
本文通過機(jī)械結(jié)構(gòu)驅(qū)動控制點(diǎn)[5]的方法來實(shí)現(xiàn)機(jī)器人基本面部表情:依據(jù)面部動作編碼系統(tǒng)理論[6?7](FACS),在44個基本動作單元(AU,Action Unit)中與面部基本表情產(chǎn)生相關(guān)的有14個AU單元。通過研究FACE理論中不同表情下的面部器官運(yùn)動規(guī)律,總結(jié)得到實(shí)現(xiàn)6種基本表情的面部器官運(yùn)動組合,如表1所示。
通過分析其中每個AU的運(yùn)動規(guī)律,在仿人面部皮膚上設(shè)計相應(yīng)的表情運(yùn)動控制點(diǎn),通過機(jī)械結(jié)構(gòu)驅(qū)動這些運(yùn)動控制點(diǎn),運(yùn)動控制點(diǎn)的位移變化組合,就可以實(shí)現(xiàn)與人類相似的不同的面部表情。結(jié)合6種基本表情的面部形態(tài)特征,從而得出基本表情與運(yùn)動單元關(guān)系,如表2所示。
本文在分析14個運(yùn)動單元在面部器官運(yùn)動中的關(guān)系的基礎(chǔ)上,最終在仿人表情機(jī)器人面部皮膚上定義了11 個表情控制點(diǎn)di(i=1,2,…,11),各個表情控制點(diǎn)的分布位置如圖1所示。其中左右眉毛上各布置2個控制點(diǎn),共實(shí)現(xiàn)4個自由度,完成眉毛的上揚(yáng)和下降;雙眼的上眼瞼各布置一個控制點(diǎn),共實(shí)現(xiàn)2個自由度,控制眼瞼張合;嘴部周圍布置5個控制點(diǎn),共實(shí)現(xiàn)7個自由度,完成上下嘴唇的張合,嘴角的上揚(yáng)下拉等各種動作。
通過后端機(jī)械機(jī)構(gòu)控制不同表情控制點(diǎn),對面部皮膚進(jìn)行拉扯,就可以產(chǎn)生與14個運(yùn)動單元AU相似的運(yùn)動功能,進(jìn)而根據(jù)14個運(yùn)動單元的不同組合運(yùn)動就可以實(shí)現(xiàn)仿人機(jī)器人基本面部表情。運(yùn)動單元AU與設(shè)計的表情控制點(diǎn)的關(guān)系如表3所示。
2.1 ?仿人表情機(jī)器人剛性虛擬樣機(jī)的建立
由于表情機(jī)器人頭部結(jié)構(gòu)復(fù)雜,并且要在有限的空間中布置各種機(jī)構(gòu),特別容易引起機(jī)構(gòu)間的干涉現(xiàn)象,基于合理利用空間減少工作量的要求,同時注意到表情控制點(diǎn)集中分布于眉毛、眼部、嘴部周圍,為此采用模塊化設(shè)計,將表情機(jī)器人頭部結(jié)構(gòu)分成眉毛模塊、眼部模塊、嘴部與下顎模塊及頸部模塊,如圖2所示。
表情機(jī)器人中所設(shè)計的11個控制點(diǎn)及所需要實(shí)現(xiàn)的13個自由度分配到了相應(yīng)的模塊中。眼球需要有上下和左右轉(zhuǎn)動2個自由度,和眼瞼機(jī)構(gòu)共同分配在眼部模塊中,頸部模塊需要實(shí)現(xiàn)頸部的繞x,y,z軸3個方向的轉(zhuǎn)動,具有3個自由度,綜上可知仿人面部表情機(jī)器人共有20個自由度。為了實(shí)現(xiàn)上述自由度,同時考慮節(jié)省頭部空間,在滿足各模塊運(yùn)動機(jī)構(gòu)所需速度和承載能力的情況下,選擇舵機(jī)作為實(shí)現(xiàn)各模塊運(yùn)動機(jī)構(gòu)的驅(qū)動。各模塊中的自由度具體分布及所需舵機(jī)數(shù)量如表4所示。
2.2 面部柔性體模型的建立
本文通過運(yùn)用Solidworks軟件曲面建模功能來完成面部復(fù)雜曲面模型的建立。參考成年男性面部基本尺寸[8],將獲取到的頭部三維模型,在Solidworks中進(jìn)行適當(dāng)?shù)鼐庉?,獲得面部皮膚曲面模型。最終的面部皮膚三維模型及基本尺寸如圖3所示。
2.3 ?剛?柔混合模型的建立
將面部皮膚模型與剛性體樣機(jī)中剛性人臉骨架進(jìn)行裝配配合,得到表情機(jī)器人剛性整體樣機(jī)模型如圖4所示,并導(dǎo)入到ADAMS中。由于此時面部皮膚模型屬性為剛性體,剛性體控制點(diǎn)無法牽引面部皮膚進(jìn)行運(yùn)動學(xué)仿真變形運(yùn)動,為此需要將面部皮膚剛性體進(jìn)行柔性化,從而得到表情機(jī)器人剛?cè)峄旌夏P吞摂M樣機(jī),為綜合仿真做準(zhǔn)備。
3.1 剛?柔混合模型表情機(jī)器人表情仿真過程
由于面部皮膚模型需要進(jìn)行不同表情間的變換,必須考慮面部柔性體變形的質(zhì)量精度,同時面部皮膚模型涉及到復(fù)雜的曲面,幾何形狀比較復(fù)雜。綜上考慮,利用有限元分析軟件(如ANSYS)間接建立柔性體[9?11],進(jìn)行面部皮膚模型的柔化。
為了使面部柔性體可以在驅(qū)動控制點(diǎn)的牽動下進(jìn)行基本表情的動作實(shí)現(xiàn)本文選擇在ANSYS中建立面部柔性體模態(tài)中性文件,最后導(dǎo)入ADAMS中代替面部皮膚剛性體,完成剛?柔系統(tǒng)混合模型的建立。ANSYS中創(chuàng)建模態(tài)中性文件的流程圖如圖5所示。
由于建立的皮膚模型過于復(fù)雜,在創(chuàng)建柔性體MNF文件過程中會出現(xiàn)模型導(dǎo)出錯誤、運(yùn)算時間過長、模型難以收斂等問題,為此本文在保留11 個表情控制點(diǎn)的同時,簡化了面部細(xì)節(jié),用以驗(yàn)證該方法的可行性。簡化后的面部皮膚模型如圖6所示。
3.2 剛?柔混合模型表情機(jī)器人表情模塊仿真
根據(jù)面部編碼系統(tǒng)理論,面部表情的實(shí)現(xiàn)主要與眉毛、眼瞼和嘴部的運(yùn)動有關(guān),所以在ADAMS中進(jìn)行混合模型基本表情綜合仿真之前,應(yīng)先對混合模型下眉毛、眼瞼和嘴部模塊進(jìn)行仿真分析,以驗(yàn)證表情實(shí)現(xiàn)的可能性。
圖7為眉毛控制機(jī)構(gòu)圖。圖8為由眉毛簡化機(jī)構(gòu)帶動面部皮膚柔性體上對應(yīng)的特征點(diǎn)所進(jìn)行的眉毛的下降和眉毛的上抬仿真圖。
圖11為嘴角與上下嘴唇控制機(jī)構(gòu)。圖12為嘴唇簡化機(jī)構(gòu)帶動對應(yīng)面部皮膚柔性體上的特征點(diǎn)所進(jìn)行的嘴唇張開和閉合仿真圖。圖13為嘴角機(jī)構(gòu)帶動面部皮膚柔性體上對應(yīng)的特征點(diǎn)所進(jìn)行的嘴角運(yùn)動仿真。其中在嘴角機(jī)構(gòu)中,上揚(yáng)拉伸時由上嘴角的兩個控制機(jī)構(gòu)牽引嘴角皮膚進(jìn)行運(yùn)動,當(dāng)需要斜下拉伸時,由下嘴角的兩個控制機(jī)構(gòu)牽引嘴角皮膚運(yùn)動。
綜合上面的仿真結(jié)果可以看出,通過各模塊機(jī)械控制機(jī)構(gòu)可以實(shí)現(xiàn)對相應(yīng)的面部皮膚區(qū)域的運(yùn)動控制,基本滿足預(yù)期運(yùn)動,從而為驗(yàn)證仿真表情機(jī)器人剛?柔混合模型表情實(shí)現(xiàn)的可行性奠定了基礎(chǔ)。
3.3 剛?柔混合模型表情機(jī)器人基本表情實(shí)現(xiàn)
分別為實(shí)現(xiàn)每種表情相對應(yīng)的舵機(jī)施加驅(qū)動函數(shù),最后得到剛?柔混合模型下仿人表情機(jī)器人的6種基本表情仿真狀態(tài),如圖14所示。
綜合以上仿真可知,在剛?cè)峄旌夏P拖?,表情機(jī)器人可以實(shí)現(xiàn)基本表情動作,驗(yàn)證了基于剛?柔混合模型的仿人機(jī)器人表情仿真實(shí)現(xiàn)方法的可行性。在未來仿人表情機(jī)器人表情的研究中,以下幾個方面值得進(jìn)一步關(guān)注:優(yōu)化模型機(jī)構(gòu)并采用更加逼真的面部模型以提高面部表情的擬人度;增加肢體行為來增強(qiáng)表情情感的表達(dá)。為了增強(qiáng)表情機(jī)器人的情感表達(dá),除了提高面部表情的逼真性外,還應(yīng)該添加肢體機(jī)構(gòu),輔助肢體動作完善機(jī)器人的情感表達(dá),促進(jìn)表情機(jī)器人與人之間的交互;不同情緒下的表情研究。人在不同的情緒下所表現(xiàn)出的表情狀態(tài)也是不同的,為了使機(jī)器人更接近于人的情感,需深入研究情緒對機(jī)器人表情的影響。
參考文獻(xiàn)
[1] 毛峽,薛麗麗.人機(jī)情感交互[M].北京:科學(xué)出版社,2011.
MAO Xia, XUE Lili. Human?machine emotional interaction [M]. Beijing: Science Press, 2011.
[2] MEHRABIAN A. Communication without words [J]. Psychology today, 1968, 2(4): 53?56.
[3] 張志宇.基于ADAMS的四足機(jī)器人虛擬樣機(jī)仿真及剛?cè)狁詈戏治鯷D].哈爾濱:哈爾濱工業(yè)大學(xué),2016.
ZHANG Zhiyu. Virtual prototype simulation and rigid?flexible doupling analysis of Basic quadruped robot based on ADAMS [D]. Harbin: Harbin Institute of Technology, 2016.
[4] FERRETTI G, MAGNANI G A, ROCCO P. Virtual prototyping of mechatronic systems [J]. Annual reviews in control, 2004, 28(2): 193?206.
[5] 尚宇峰.仿人表情機(jī)器人控制及表情實(shí)現(xiàn)方法的研究[D].上海:上海大學(xué), 2015.
SHANG Yufeng. Research on control of humanoid expression robot and its expression realization method [D]. Shanghai: Shanghai University, 2015.
[6] EKMAN P, FRIESEN W V. Facial action coding system (FACS): a technique for the measurement of facial movement [M]. Palo Alto: Consulting Psychologists Press, 1978.
[7] EKMAN P, ROSENBERG E. What the face reveals: basic and applied studies of spontaneous expression using the facial action coding system (FACS) [M]. New York: Oxford University Press, 2005.
[8] 杜利利.中國漢族人體頭面測量及分析[D].武漢:華中科技大學(xué),2008.
DU Lili. Head?face measurement and analysis of Chinese Han people [D]. Wuhan: Huazhong University of Science and Technology, 2008.
[9] 蔡驪君.復(fù)雜機(jī)械系統(tǒng)剛?柔混合虛擬樣機(jī)一體化分析技術(shù)初探[D].天津:天津大學(xué),2010.
CAI Lijun. A primary study on the technique of integration analysis to rigid?flexible mixture virtual prototyping in complex mechanic system [D]. Tianjin: Tianjin University, 2010.
[10] QU Baozhang, LU Bihong, HUANG Jiansong, et al. Rigid?flexible hybrid MBD based modeling and simulation method for coupler mechanism [J]. Advanced materials research,2013, 655: 416?420.
[11] GR?GOIRE M, SCH?MER E. Interactive simulation of one?dimensional flexible parts [J]. Computer?aided design, 2007,39(8): 694?707.