不同個性的情感機器人表情研究

柯顯信，云亞文，邱本銳

(上海大學 機電工程與自動化學院，上海 200072)

不同個性的情感機器人表情研究

柯顯信，云亞文，邱本銳

(上海大學 機電工程與自動化學院，上海 200072)

在情感機器人研究中，不同個性的面部表情是情感機器人增強真實感的重要基礎。為實現情感機器人更加豐富細膩的表情，將人類的個性特征引入情感機器人，分析個性理論和情感模型理論，得知不同個性機器人的情感強度。結合面部動作編碼系統中面部表情與機器人控制點之間的映射關系，得到情感機器人不同個性的基本表情實現方法。利用Solidworks建立情感機器人臉部模型，在ANSYS工程軟件中將SHFR-Ⅲ情感機器人臉部模型設置為彈性體，通過有限元仿真計算方法，對表情的有限元仿真方法進行了探究，得到實現SHFR-Ⅲ不同個性基本表情的控制區域載荷大小和仿真結果。最后，根據仿真結果，進行SHFR-Ⅲ情感機器人不同個性的表情動作實驗。實驗結果表明，有限元表情仿真可以指導SHFR-Ⅲ情感機器人實現近似人類的不同個性的基本面部表情。

情感機器人;面部表情;情感模型;個性;人臉模型;彈性皮膚;有限元仿真;控制區域

情感機器人是當今機器人研究領域的熱點問題，隨著人類社會逐步進入老齡化社會，情感機器人研究的智能效率性、行動靈活性和人際交往性等功能變得越來越有價值。現如今，機器人已經開始進入人類的日常生活，它們在家政服務和醫療等方面已經代替了人類的部分工作[1]。并且，越來越多的仿人情感機器人相繼問世，這些機器人不僅有人類的外表，還具有與人類相似的面部表情，幾乎可以像人一樣交流[2]。

2008年，英國布里斯托爾機器人學實驗室研制出了仿人機器人Jules[3]，該機器人擁有34個電動機，這些電動機被軟性橡膠所覆蓋，可以實現人類面部表情和嘴唇運動，模仿人類常見的10種面部表情。2011年，哈爾濱工業大學研制了一款能實現表情識別和表情再現的仿人機器人[4]，該機器人具有眼球、眼瞼、下顎和表情機構驅動系統，可以實現7種不同特征的面部表情。2014年，日本大阪大學機器人研究所所長石黑浩設計了女播音員機器人“Kodomoroid”[5-6]，該機器人的皮膚采用的是硅樹脂材料，并且還配置了人工肌肉。該機器人在與人交流時，嘴唇和眉毛都會動，還會眨眼、左顧右盼等。

雖然國內外在仿人情感機器人方面取得了非常可喜的成果，但是目前大多數表情機器人再現的人類表情，看起來還是十分簡單、粗糙，遠沒有人類的面部表情豐富、細膩，很難跨越仿人情感機器人研究中的“恐怖谷”理論[7-8]。本研究希望通過讓機器人在情感交互過程中表現出個性特點，增強表情動作的真實感，幫助情感機器人跨越“恐怖谷”，提高人們對仿人表情機器人的接受度。

1 不同個性的情感模型

1.1 個性類型

英國著名心理學家H.J.Eysenck[9]對人的個性做了深入研究，提出了個性維度理論。他指出，個性維度是一個連續的尺度，每個人的個性都是這些個性維度的組合。他曾提出5個個性維度：外內向、神經質、精神質、智力和守舊性，但最主要的個性維度是外內向和神經質。

外內向又可細分為外向型和內向型。外向型的人個性上具體表現為情緒沖動、好交際、愛發脾氣等；內向型的人個性上具體表現為情緒穩定、好靜、冷淡、極少發脾氣等。神經質又稱情緒性，情緒穩定的人情感反應緩慢而且輕微，情緒不穩定的人通常表現出高焦慮，而且容易激動。

Eysenck認為外內向和情緒性是兩個互相垂直的維度，以這兩種個性維度建立坐標系，可以組成4種非常具有代表性的個性類型：多血質(穩定外向型)、黏液質(穩定內向型)、膽汁質(不穩定外向型)和抑郁質(不穩定內向型)，表1列出了4種個性類型不同的性格表現。

表1 4種個性類型

1.2 個性與OCC情感模型結合

OCC情感模型是人類情感研究過程中最完整的情感模型之一[10]，它是用一致性的認知導出條件來表達情感的，在該模型中，假設情感是對事件或對象產生的情勢傾向反應[11]。首先設置一些函數，設D(p,e,t)表示人物p在t時刻對事件e的期望值，正值表示結果符合人物的期望。設Ig(p,e,t)表示全局強度變量(例如現實、接近度)的一種組合，Pj(p,e,t)表示產生“高興”(以高興為例)的潛力。當D(p,e,t)>0時，設

式中：fj[·]表示將高興具體化的函數。

式(1)可以表示產生高興情緒的潛力，但不能用來表示產生“高興”情感的強度。所以定義：

當Pj(p,e,t)>Tj(p,t)，則有

否則

式中：Tj為閥值函數，Ij為情感強度函數。

通過式(1)～(3)可知，當外界刺激產生的“高興”狀態潛力超過閥值時，人就產“高興”情緒，外界刺激越強烈，高興的強度就越大。剩余的5種基本表情計算規則與此相同，只需改變相應的潛力函數P(·)即可。不同個性的人，其閥值函數自然就不同，比如內向的人情緒穩定，其情感閥值就大些。由此可知，不同個性的人對相同事件或對象產生的情感強度不同。

2 面部表情實現原理

根據美國心理學家Ekman和Friesen提出的面部動作編碼系統(facial action coding system, FACS)[12-14]，人的面部表情主要由24個動作單元(action unit, AU)控制生成，而實現人類的6種基本表情：喜、怒、哀、樂、驚、怕，只需要其中的14個AU單元。表2列出了FACS理論中的部分動作單元，表3列出了6種基本表情與AU動作單元之間的控制關系。

表2 FACS的動作單元

表3 基本表情與AU的關系[15-16]

根據表2、3研究可以得出，只要能夠實現表2中的14個AU單元，便可控制生成仿人機器人的面部表情。根據仿生學原理，在仿人機器人的面部添加多個控制點，仿人機器人面部控制點將根據人類面部肌肉的特點來布置。眉毛上布置兩個控制點，眼部的上眼瞼布置一個控制點，嘴部的嘴角和上下嘴唇布置4個控制點。仿人機器人面部表情控制點的詳細分布情況如圖1所示[17]。

圖1 面部表情控制點分布Fig.1 Distribution of facial expression control points

3 情感機器人不同個性的表情仿真

本節通過建立人臉模型，賦予其類似人體皮膚的材料力學參數，然后采用ANSYS有限元仿真分析的方法進行不同個性的面部表情仿真，得到不同個性的面部表情仿真結果，并列出面部控制區域的載荷和位移。

3.1 面部表情模擬仿真過程

3.1.1 面部彈性體模型的建立與設置

根據三維人臉建模技術，按照與SHFR-Ⅲ 1:1的比例建立仿人機器人的人臉模型。由于人類面部特征曲面形狀非常復雜，建模難度大，這里采用Solidworks強大的曲面設計功能建立人臉模型。利用Solidworks曲面特征，結合3-D草圖功能首先繪制出人體面部的器官，如眉毛、眼睛、鼻子和嘴巴，然后再逐漸向邊界擴展，直至拼接出一張完整的人臉曲面，最后將所有曲面縫合在一起，這樣就建立了人臉曲面模型。

通過ASNSYS與Solidworks軟件的自動接口程序，將人臉曲面模型導入ANSYS[18]。為力求仿真結果真實可靠，在ANSYS中將人臉曲面模型設置為接近人體皮膚的厚度。考慮到材料不會發生大的應變情況，這里將人臉模型簡化設置為普通線彈性模型。本研究中賦予人臉模型的材料屬性為：彈性模量為7 840 Pa，泊松比為0.475，密度為1 200 kg/m3，各向同性[19]。圖2為面部皮膚彈性體模型及其尺寸。

圖2 面部皮膚彈性體模型及尺寸Fig.2 Model and size of facial skin elasticity

3.1.2 仿真前處理

網格劃分是有限元分析中至關重要的一步，網格劃分質量的好壞直接影響有限元分析結果是否收斂及仿真結果的正確與否。由于面部皮膚彈性體模型主要由復雜曲面縫合而成，這里采用四邊形為主導的網格劃分方式。為達到更加逼真的仿真效果，還需要對面部表情的主要控制區域進行網格細化。通過研究人類的基本表情，得知人類的表情生成主要依靠眉毛、眼睛、嘴部器官。利用ANSYS中的曲面分割工具將人臉模型中的這些器官區域分割出來，然后進行局部網格細化，完成人臉模型的網格劃分。圖3為人臉模型的網格劃分。

圖3 網格劃分Fig.3 Meshing

利用ANSYS中的曲面分割功能，在面部曲面模型中的眉毛、眼瞼、嘴部位置分割出表情的控制區域，基本表情控制區域如圖4中的A～J區域所示。

圖4 表情控制區域分布Fig.4 Distribution of expression control areas

約束和載荷是ANSYS仿真計算的邊界條件，根據面部解剖學理論本研究將面部皮膚與頭骨之間的連接部位作為固定約束條件，主要部位為面部皮膚邊界、太陽穴和上鼻骨，如圖5所示。然后在圖4中的表情控制區域添加不同的力載荷。

圖5 模型約束條件Fig.5 Model constraints

3.2 仿真結果

本節選擇特征鮮明且具有對比性的兩種基本表情：高興和憤怒來進行仿真分析。

首先確定出各控制區域在各種基本表情中的運動范圍，然后根據第1節中不同個性的情感模型：人的個性不同，對相同的刺激產生的情感強度也不同，所以需要在各控制區域施加不同大小的力載荷，以獲得情感強度不同的基本表情仿真結果。

根據表1中4種個性類型的性格表現，可以判斷出這4種個性類型在高興和憤怒時情感閥值Ti的大小，進而可以判斷情感強度的強弱。當基本表情為高興時，4種個性類型的情感閥值Ti的大小為黏液質>抑郁質>多血質>膽汁質，則情感強度的強弱為黏液質<抑郁質<多血質<膽汁質；當基本表情為憤怒時，4種個性類型的情感閥值Ti的大小為黏液質>多血質>抑郁質>膽汁質，則情感強度的強弱為黏液質<多血質<抑郁質<膽汁質。

表4 高興時面部控制區域力載荷Table 4 Force loads of face control areas when happy N

根據4種個性類型高興和憤怒表情的強弱大小，在人臉模型的控制區域的運動范圍內由小到大逐點取值。通過反復試驗，得到仿真表情最接近人類表情的仿真結果和其對應的面部控制區域的力載荷。表4為高興時4種個性類型各控制區域的力載荷，圖6為對應的高興表情仿真結果；表5為憤怒時4種個性類型各控制區域的力載荷，圖7為對應的憤怒表情仿真結果。

圖6 高興表情仿真結果Fig.6 Happy expression simulation results

Table 5 Force loads of face control areas when angry N

圖7 憤怒表情仿真結果Fig.7 Angry expression simulation results

4 實驗

為驗證仿人機器人不同個性面部表情的仿真結果，以上海大學精密機械系的面部表情機器人SHFR-Ⅲ為實驗平臺[20]，該表情機器人的機械結構采用模塊化設計，分為眉毛機構、眼部機構和嘴部機構，各個機構都添加了控制單元，如圖8所示，與圖4中的控制區域對應。在機械結構的基礎上，在SHFR-Ⅲ的面部添加皮膚，皮膚材料選擇接近人體皮膚性能的硅膠材料。將皮膚附在機器人面部“骨架”上，并將硅膠皮膚與控制單元聯接。SHFR-Ⅲ以FPGA控制板作為核心控制元件，通過上位機控制驅動控制單元的舵機，從而驅動面部皮膚。

圖8 SHFR-Ⅲ實驗平臺Fig.8 SHFR-Ⅲ experiment platform

首先對不同個性的高興表情進行動作實驗，通過上位機控制舵機轉動，牽引面部皮膚控制點運動，實現不同個性的高興面部表情，實驗結果如圖9所示。同樣，對不同個性的憤怒表情進行動作實驗，實驗結果如圖10所示。

實驗結果表明，該面部表情機器人可以實現不同個性的基本面部表情，驗證了仿真結果。

圖9 不同個性高興表情實驗Fig.9 Happy expression experiment of different personalities

圖10 不同個性憤怒表情實驗Fig.10 Angry expression experiment of different personalities

5 結束語

通過對個性理論和情感模型的研究，得到了不同個性的基本表情實現方法。然后采用ANSYS有限元仿真計算的方法，通過對面部彈性體模型施加約束和載荷，求解出不同個性的高興和憤怒表情的近似于人類的仿真結果，并得到了實現不同個性的高興和憤怒表情的控制區域載荷大小。根據仿真結果中各控制區域的位移大小，進行不同個性的表情動作實驗，實驗結果表明，表情機器人可以實現不同個性的高興和憤怒面部表情。由于受具體條件限制，表情機器人控制單元的位移不能與仿真模型中的控制區域完全相同，不同個性的基本表情不能更好的體現，但為進一步研究仿人表情機器人提供了較好的技術基礎。

[1]侯鵬. 智能機器人運動控制系統及算法研究[D]. 北京：北京交通大學, 2013: 1-6.

HOU Peng. Research of intelligent robot’s motion control system and algorithm[D]. Beijing: Beijing Jiaotong University, 2013: 1-6.

[2]呂振, 解侖, 韓晶, 等. 基于情緒控制的仿人機器人表情研究[J]. 華中科技大學學報：自然科學版, 2013, S1: 352-355.

LU Zhen, XIE Lun, HAN Jing，et al. Research on humanoid robot expressions based on mood control[J]. Journal of Huazhong university of science and technology, 2013, S1: 352-355.

[3]DELAUNAY F, DE GREEFF J, BELPAEME T. Towards retro-projected robot faces: an alternative to mechatronic and android faces[C]//The 18th IEEE International Symposium on Robot and Human Interactive Communication. Toyama, Japan, 2009: 306-311.

[4]李瑞峰, 孫中遠, 王珂，等. 具有面部表情識別與再現的機器人頭部系統的研制[J]. 機械設計與制造, 2011(7): 95-97.

LI Ruifeng, SUN Zhongyuan, WANG Ke, et al. Research of the robot head system with facial expression recognition and representation[J]. Machinery design and manufacture, 2011(7): 95-97.

[5]BECKER-ASANO C, ISHIGURO H. Evaluating facial displays of emotion for the android robot Geminoid F[C]//IEEE Workshop on Affective Computational Intelligence (WACI). 2014: 1-8.

[6]BECKER-ASANO C, ISHIGURO H. Evaluating facial displays of emotion for the android robot Geminoid F[C]//IEEE Workshop on Affective Computational Intelligence (WACI). 2011: 1-8.

[7]恐怖谷理論. [2016-07-24]. http://zh.wikipedia.org/zh-cn/恐怖谷理論.

[8]ISHIHARA H, YOSHIKAWA Y, ASADA M. Realistic child robot “Affetto” for understanding the caregiver-child attachment relationship that guides the child development[C]//2011 IEEE International Conference on Development and Learning (ICDL). Frankfurt am Main, Germany, 2011: 1-5.

[9]葉奕乾, 孔克勤, 楊秀君. 個性心理學[M]. 3版. 上海：華東師范大學出版社, 2010: 106-132.

[10]杜坤坤，劉欣，王志良,等. 情感機器人[M]. 北京：機械工業出版社， 2012: 171-199.

[11]王志良，祝長生. 人工情感[M]. 北京: 機械工業出版社, 2009: 178-273.

[12]AMINI R, LISETTI C. HapFACS: an open source api/software to generate facs-based expressions for ecas animation and for corpus generation[C]//2013 Humaine Association Conference on Affective Computing and Intelligent Interaction (ACII). Geneva, Switzerland. 2013: 270-275.

[13]EKMAN P, FRIESEN W V. Facial action coding system[M]. Consulting Psychologist Press, 1977:110-120.

[14]EKMAN P. ROSENBERG E L. What the face reveals: basic and applied studies of spontaneous expression using the facial action coding system (FACS)[M]. 2nd Edition, Stock: Oxford University Press, 2005:330-340.

[15]COHN J F, AMBADAR Z, EKMAN P. Observer-based measurement of facial expression with the facial action coding system[J]. The handbook of emotion elicitation and assessment, 2007: 203-221.

[16]KOBAYASHI H, HASHIMOTO T, SENDA M, et al. Realization of realistic and rich facial expressions by face robot[C]//Proceedings of 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems, Tokyo, Japan, 2003: 1123-1128.

[17]KIHARA Y, DUAN Guifang. A dynamic facial expression database for quantitative analysis of facial paralysis[C]//International Conference on Computer Sciences and Convergence Information Technology. Seogwipo, South Korea, 2011: 949-952.

[18]許京荊. ANSYS 13.0 Workbench數值模擬技術[M]. 北京：中國水利水電出版社, 2012: 253-260.

[19]柯顯信，尚宇峰，盧孔筆．基于HyperWorks 仿人機器人面部表情仿真[J]． 制造業自動化， 2015， 37(1):118-121．

KE Xianxin, SHANG Yufeng, LU Kongbi. Simulation of humanoid robot facial expression based on HyperWorks[J]. Manufacturing automation, 2015, 37( 1): 118-121．

[20]信繼忠，柯顯信，楊陽，等. 具有面部表情的仿人頭部機器人系統的研制[J]. 智能系統學報, 2015, 10(8): 556-560.

XIN Jizhong, KE Xianxin, YANG Yang, et al. Development of the system of a humanoid robot head with facial expressions[J]. CAAI transactions on intelligent systems, 2015, 10(8): 556-560.

第四屆亞洲模式識別會議

The4thAsianConferenceonPatternRecognition(ACPR2017)

The 4th Asian Conference on Pattern Recognition (ACPR 2017) will be held on November 26-29, 2017, Nanjing, China. The conference aims at providing one major international forum for researchers in pattern recognition and related fields to share their new ideas and achievements. Submissions from other than the Asia‐Pacific regions are also highly encouraged.

Topics of interest include all aspects of pattern recognition including, but not limited to:

Computer Vision and Robot Vision

Pattern Recognition and Machine Learning

Signal Processing (signal, speech, image)

Media Processing and Interaction (video, document, medical applications, biometrics, HCI and VR)

Website: http://acpr2017.njust.edu.cn/.

ResearchonexpressionsoftheHumanoidrobotbasedonpersonalities

KE Xianxin， YUN Yawen， QIU Benrui

(School of Mechatronics Engineering and Automation, Shanghai University, Shanghai 200072, China)

In humanoid robot research, the facial expressions of different personalities are an important basis for enhancing the realism of humanoid robots. To achieve more vivid emotional expression by robots, in this paper, we introduce human personality characteristics into robots, based on the personality and emotional model theories, and determine the emotional intensity of robots with different personalities. By mapping the relationship between facial expressions and robot control points in the facial action coding system, we obtained a basic expression implementation method for humanoid robots with different personalities. We used Solidworks software to establish the facial model for the emotional robot and set the model as an elastomer in ANSYS. Using the finite element simulation calculation method, we explored its expression capabilities, and obtained the load sizes of the control regions that realize basic expressions in the humanoid robot SHFR-Ⅲ and simulation results. Based on these simulation results, we conducted expression experiments with the humanoid robot SHFR-Ⅲ for different personalities. Our experimental results show that these simulation results can guide the humanoid robot SHFR-Ⅲ to achieve basic humanlike facial expressions associated with different personalities.

humanoid robot; facial expressions; emotion model; personality; facial model; elastic skin; finite element simulation; control regions

2016-09-07.網絡出版日期2017-06-06.

國家自然科學基金項目(61273325).

柯顯信. E-mail: xxke@staff.shu.edu.cn.

10.11992/tis.201609005

http://kns.cnki.net/kcms/detail/23.1538.tp.20170606.0951.002.html

TP242

A

1673-4785(2017)04-0468-07

中文引用格式：柯顯信，云亞文，邱本銳.不同個性的情感機器人表情研究J.智能系統學報， 2017, 12(4): 468-474.

英文引用格式：KEXianxin，YUNYawen，QIUBenrui.ResearchonexpressionsoftheHumanoidrobotbasedonpersonalitiesJ.CAAItransactionsonintelligentsystems, 2017, 12(4): 468-474.

柯顯信，男，1973年生，副教授，博士后，主要研究方向為仿人機器人和人機情感交互。主持或參與國家“863”項目和上海市科委重點項目等科研項目10余項。獲國家發明專利授權10項，發表學術論文30余篇。

云亞文，男，1991年生，碩士研究生，主要研究方向為仿人機器人和人機情感交互。

邱本銳，男，1992年生，碩士研究生，主要研究方向為仿人機器人和人機情感交互。