仿人面部表情機器人剛柔混合仿真方法研究

柯顯信 張文朕 羅志通 溫雷

關鍵詞： 仿人機器人; FACS理論; 虛擬樣機; 面部柔性體; 剛柔混合模型; 表情仿真

中圖分類號： TN812?34; TP242 ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2018）24?0052?05

Research on rigid?flexible simulation method of humanoid facial expression robot

KE Xianxin， ZHANG Wenzhen， LUO Zhitong， WEN Lei

（School of Mechatronic Engineering and Automation， Shanghai University， Shanghai 200072， China）

Abstract： A virtual prototype of the humanoid facial expression robot is built based on the rigid?flexible model to make the humanoid robot produce facial expressions similar to human beings. The production mechanism of human facial expressions is analyzed according to the facial coding system theory. The facial expression control points needed for basic expressions realized by the humanoid facial expression robot are redefined. The virtual prototype of the humanoid facial expression robot is built based on the rigid?flexible model by combining the created facial flexible body with the rigid structure of the expression robot. Six basic expressions of the robot based on the rigid?flexible model are obtained by means of the kinematic simulation. The feasibility of realizing facial expressions of the robot based on the rigid?flexible model is verified， which can provide a reference for further improvement and optimization of the humanoid robot in the future.

Keywords： humanoid robot; FACS theory; virtual prototype; facial flexible body; rigid?flexible model; expression simulation

0 ?引 ?言

美國社會心理學家梅拉賓研究發現，兩人在面對面交流時對彼此形成的印象，有55%是通過人類的面部表情等肢體動作來實現的[1?2]。近年來，國內外越來越多的研究機構開展了關于仿人面部表情機器人的研究。其中美國（Sofia機器人）和日本（Erica機器人）等發達國家的科研機構及公司已經取得了較為顯著的研究成果;國內以“陽楊”和“可佳”機器人等為代表的仿人面部表情機器人研究成果也令世人矚目。

虛擬樣機仿真技術開始于20世紀80年代，是基于產品計算機仿真模型的數字化設計方法發展而來的一項技術[3?4]。對于要求較高的一些復雜機械系統，僅通過三維軟件與 ADAMS 聯合創建的剛性體虛擬樣機已經不能滿足實際研究的需要，還需要對復雜機械系統虛擬樣機中某些關鍵部件柔性化，轉換成剛柔混合虛擬樣機。本文依據面部編碼系統理論重新確立仿人面部表情機器人實現基本表情所需的面部表情控制點?；贏NSYS有限元軟件與ADAMS仿真軟件建立面部表情機器人剛柔混合虛擬樣機以研究機器人面部表情實現方法，將為機器人情感仿真領域研究提供新的思路和指導。

1 ?面部表情實現方法

高興、驚訝、厭惡、憤怒、恐懼、悲傷6種人類面部表情具有通用性，其他的表情大多是以這6種表情為基礎發展起來的，因此稱這6種表情為基本面部表情。

本文通過機械結構驅動控制點[5]的方法來實現機器人基本面部表情：依據面部動作編碼系統理論[6?7]（FACS），在44個基本動作單元（AU，Action Unit）中與面部基本表情產生相關的有14個AU單元。通過研究FACE理論中不同表情下的面部器官運動規律，總結得到實現6種基本表情的面部器官運動組合，如表1所示。

通過分析其中每個AU的運動規律，在仿人面部皮膚上設計相應的表情運動控制點，通過機械結構驅動這些運動控制點，運動控制點的位移變化組合，就可以實現與人類相似的不同的面部表情。結合6種基本表情的面部形態特征，從而得出基本表情與運動單元關系，如表2所示。

本文在分析14個運動單元在面部器官運動中的關系的基礎上，最終在仿人表情機器人面部皮膚上定義了11 個表情控制點di（i=1，2，…，11），各個表情控制點的分布位置如圖1所示。其中左右眉毛上各布置2個控制點，共實現4個自由度，完成眉毛的上揚和下降;雙眼的上眼瞼各布置一個控制點，共實現2個自由度，控制眼瞼張合;嘴部周圍布置5個控制點，共實現7個自由度，完成上下嘴唇的張合，嘴角的上揚下拉等各種動作。

通過后端機械機構控制不同表情控制點，對面部皮膚進行拉扯，就可以產生與14個運動單元AU相似的運動功能，進而根據14個運動單元的不同組合運動就可以實現仿人機器人基本面部表情。運動單元AU與設計的表情控制點的關系如表3所示。

2 ?剛柔混合虛擬樣機的建立

2.1 ?仿人表情機器人剛性虛擬樣機的建立

由于表情機器人頭部結構復雜，并且要在有限的空間中布置各種機構，特別容易引起機構間的干涉現象，基于合理利用空間減少工作量的要求，同時注意到表情控制點集中分布于眉毛、眼部、嘴部周圍，為此采用模塊化設計，將表情機器人頭部結構分成眉毛模塊、眼部模塊、嘴部與下顎模塊及頸部模塊，如圖2所示。

表情機器人中所設計的11個控制點及所需要實現的13個自由度分配到了相應的模塊中。眼球需要有上下和左右轉動2個自由度，和眼瞼機構共同分配在眼部模塊中，頸部模塊需要實現頸部的繞x，y，z軸3個方向的轉動，具有3個自由度，綜上可知仿人面部表情機器人共有20個自由度。為了實現上述自由度，同時考慮節省頭部空間，在滿足各模塊運動機構所需速度和承載能力的情況下，選擇舵機作為實現各模塊運動機構的驅動。各模塊中的自由度具體分布及所需舵機數量如表4所示。

2.2 面部柔性體模型的建立

本文通過運用Solidworks軟件曲面建模功能來完成面部復雜曲面模型的建立。參考成年男性面部基本尺寸[8]，將獲取到的頭部三維模型，在Solidworks中進行適當地編輯，獲得面部皮膚曲面模型。最終的面部皮膚三維模型及基本尺寸如圖3所示。

2.3 ?剛?柔混合模型的建立

將面部皮膚模型與剛性體樣機中剛性人臉骨架進行裝配配合，得到表情機器人剛性整體樣機模型如圖4所示，并導入到ADAMS中。由于此時面部皮膚模型屬性為剛性體，剛性體控制點無法牽引面部皮膚進行運動學仿真變形運動，為此需要將面部皮膚剛性體進行柔性化，從而得到表情機器人剛柔混合模型虛擬樣機，為綜合仿真做準備。

3 ?仿真實驗

3.1 剛?柔混合模型表情機器人表情仿真過程

由于面部皮膚模型需要進行不同表情間的變換，必須考慮面部柔性體變形的質量精度，同時面部皮膚模型涉及到復雜的曲面，幾何形狀比較復雜。綜上考慮，利用有限元分析軟件（如ANSYS）間接建立柔性體[9?11]，進行面部皮膚模型的柔化。

為了使面部柔性體可以在驅動控制點的牽動下進行基本表情的動作實現本文選擇在ANSYS中建立面部柔性體模態中性文件，最后導入ADAMS中代替面部皮膚剛性體，完成剛?柔系統混合模型的建立。ANSYS中創建模態中性文件的流程圖如圖5所示。

由于建立的皮膚模型過于復雜，在創建柔性體MNF文件過程中會出現模型導出錯誤、運算時間過長、模型難以收斂等問題，為此本文在保留11 個表情控制點的同時，簡化了面部細節，用以驗證該方法的可行性。簡化后的面部皮膚模型如圖6所示。

3.2 剛?柔混合模型表情機器人表情模塊仿真

根據面部編碼系統理論，面部表情的實現主要與眉毛、眼瞼和嘴部的運動有關，所以在ADAMS中進行混合模型基本表情綜合仿真之前，應先對混合模型下眉毛、眼瞼和嘴部模塊進行仿真分析，以驗證表情實現的可能性。

圖7為眉毛控制機構圖。圖8為由眉毛簡化機構帶動面部皮膚柔性體上對應的特征點所進行的眉毛的下降和眉毛的上抬仿真圖。

圖11為嘴角與上下嘴唇控制機構。圖12為嘴唇簡化機構帶動對應面部皮膚柔性體上的特征點所進行的嘴唇張開和閉合仿真圖。圖13為嘴角機構帶動面部皮膚柔性體上對應的特征點所進行的嘴角運動仿真。其中在嘴角機構中，上揚拉伸時由上嘴角的兩個控制機構牽引嘴角皮膚進行運動，當需要斜下拉伸時，由下嘴角的兩個控制機構牽引嘴角皮膚運動。

綜合上面的仿真結果可以看出，通過各模塊機械控制機構可以實現對相應的面部皮膚區域的運動控制，基本滿足預期運動，從而為驗證仿真表情機器人剛?柔混合模型表情實現的可行性奠定了基礎。

3.3 剛?柔混合模型表情機器人基本表情實現

分別為實現每種表情相對應的舵機施加驅動函數，最后得到剛?柔混合模型下仿人表情機器人的6種基本表情仿真狀態，如圖14所示。

4 ?結 ?語

綜合以上仿真可知，在剛柔混合模型下，表情機器人可以實現基本表情動作，驗證了基于剛?柔混合模型的仿人機器人表情仿真實現方法的可行性。在未來仿人表情機器人表情的研究中，以下幾個方面值得進一步關注：優化模型機構并采用更加逼真的面部模型以提高面部表情的擬人度;增加肢體行為來增強表情情感的表達。為了增強表情機器人的情感表達，除了提高面部表情的逼真性外，還應該添加肢體機構，輔助肢體動作完善機器人的情感表達，促進表情機器人與人之間的交互;不同情緒下的表情研究。人在不同的情緒下所表現出的表情狀態也是不同的，為了使機器人更接近于人的情感，需深入研究情緒對機器人表情的影響。

參考文獻

[1] 毛峽，薛麗麗.人機情感交互[M].北京：科學出版社，2011.

MAO Xia， XUE Lili. Human?machine emotional interaction [M]. Beijing： Science Press， 2011.

[2] MEHRABIAN A. Communication without words [J]. Psychology today， 1968， 2（4）： 53?56.

[3] 張志宇.基于ADAMS的四足機器人虛擬樣機仿真及剛柔耦合分析[D].哈爾濱：哈爾濱工業大學，2016.

ZHANG Zhiyu. Virtual prototype simulation and rigid?flexible doupling analysis of Basic quadruped robot based on ADAMS [D]. Harbin： Harbin Institute of Technology， 2016.

[4] FERRETTI G， MAGNANI G A， ROCCO P. Virtual prototyping of mechatronic systems [J]. Annual reviews in control， 2004， 28（2）： 193?206.

[5] 尚宇峰.仿人表情機器人控制及表情實現方法的研究[D].上海：上海大學， 2015.

SHANG Yufeng. Research on control of humanoid expression robot and its expression realization method [D]. Shanghai： Shanghai University， 2015.

[6] EKMAN P， FRIESEN W V. Facial action coding system （FACS）： a technique for the measurement of facial movement [M]. Palo Alto： Consulting Psychologists Press， 1978.

[7] EKMAN P， ROSENBERG E. What the face reveals： basic and applied studies of spontaneous expression using the facial action coding system （FACS） [M]. New York： Oxford University Press， 2005.

[8] 杜利利.中國漢族人體頭面測量及分析[D].武漢：華中科技大學，2008.

DU Lili. Head?face measurement and analysis of Chinese Han people [D]. Wuhan： Huazhong University of Science and Technology， 2008.

[9] 蔡驪君.復雜機械系統剛?柔混合虛擬樣機一體化分析技術初探[D].天津：天津大學，2010.

CAI Lijun. A primary study on the technique of integration analysis to rigid?flexible mixture virtual prototyping in complex mechanic system [D]. Tianjin： Tianjin University， 2010.

[10] QU Baozhang， LU Bihong， HUANG Jiansong， et al. Rigid?flexible hybrid MBD based modeling and simulation method for coupler mechanism [J]. Advanced materials research，2013， 655： 416?420.

[11] GR?GOIRE M， SCH?MER E. Interactive simulation of one?dimensional flexible parts [J]. Computer?aided design， 2007，39（8）： 694?707.