類人型機器人動作情感識別研究

李潔，袁雪純，張千

類人型機器人動作情感識別研究

李潔，袁雪純，張千

（河北工業大學，天津 300401）

為優化人與機器人動作情感交互方式，研究類人型機器人動作單模態情緒表達的可識別性，探究類人型機器人動作情緒識別的影響因素。以類人型機器人NAO為例，采用問卷調查的方式，基于離散情緒模型，獲取機器人NAO動作表達情緒的識別性、效價和喚醒度，研究類人型機器人動作的情緒識別性、效價和喚醒度，基于認知匹配理論研究類人型機器人動作與真人模擬動作、真人自然動作情緒表達差異的影響因素。人類能夠通過類人型機器人動作的單模態情緒表達，在不同情感語義上進行比較細膩的情緒識別，機器人形態及動作的幅度、速度、力量是情緒識別的影響因素。建立類人型機器人動作與情感語義、效價及喚醒度的關系模型，以及類人型機器人動作情緒能量圖，為機器人情感表達和動作交互設計提供較為系統的參考模型。

類人型機器人；動作單模態；情緒識別；機器人形態

智能時代與體驗經濟的到來，使情感機器人成為服務機器人研究領域的熱點。類人型機器人外形與人相似，被賦予豐富的情感功能，通過語言、屏幕、肢體動作、面部表情等多感覺模態與人類進行情感溝通。人類有38%的溝通信息通過身體動作進行傳遞[1]，因此，研究機器人動作的情感識別性和影響因素十分有意義。

1 研究概述

近10年來，類人型機器人動作的情感研究逐漸受到學者的關注[2-7]，相關研究主要集中在如何建立機器人動作模型來表達情感方面。如Nayak等[8]探索了通過肢體語言自動表達角色心理狀態的可能性。Sial等[9]建立了機器人運動參數與情感變化之間的關系模型。王梅等[10]提出了人體動作姿勢識別方法，建立了人體手臂與四自由度機械手臂的人–機動作映射規則。

在人與機器人交互過程中，對于用戶情感的相關研究，學者多采用問卷調查的方式對其進行評價，如Bretan等[11]通過離散情感模型，得到了被試者對機器人情緒行為的分類結果。邢妍[12]通過用戶體驗數據，建立了用戶情感曲線，最終構建了服務機器人交互過程模型。牛國臣等[13]提出了基于個性的機器人情感生成機制和情感決策模型，來建立從個性到情感空間、從情感空間到各種行為輸出的映射。李抒桐[14]按照情感的類別和強弱，提出了情感改進模型，并將模型中的情感量化并代入了情感特征值公式，實現了對各種情感狀態的評估。吳偉國等[15]針對類人型機器人，在PAD三維情感空間內，建立了更具普遍性的人工情感計算模型，可針對外界刺激自主地產生個性化的情緒響應，有效模擬了人類情緒的變化過程。徐桂芝等[16]通過引入深度分離卷積算法，對人臉表情進行了特征提取和分類，設計了機器人面部情緒識別和肢體情感表達的人機交互系統。鐘翔偉等[17]制作了真人動作數據與機器人動作數據的動畫視頻，根據實驗得到了交互動作的感性量評價分值，為類人型機器人的交互行為設計提供了定量評估方法。江浩等[18]提出了智能終端產品的最簡情感表達方法，設計開發了一款最簡情感表達設計的輔助工具。目前，對于類人型機器人情緒動作情感體驗的相關研究較少，且尚未有研究探索類人型機器人動作與真人動作之間情緒表達的差異，以及情緒動作表達的影響因素。文章旨在研究機器人動作單模態情緒表達的可識別性，探究機器人動作情緒識別的影響因素，為類人型機器人動作設計提供參考。

2 機器人動作的情感識別

2.1 實驗一：設計

實驗目的：驗證人類能否通過機器人動作單模態進行情感識別；研究機器人動作單模態情感識別的心理范式。

實驗對象：選取NAO機器人作為實驗對象，NAO機器人由法國阿爾德巴蘭（Aldebaran Robotics）公司研發，身高58 cm，全身擁有25個自由度，機器人的眼睛、耳朵、軀干、腳等部位都裝有LED燈，可通過動作、語音、眼燈與人進行交互。

實驗設計：控制機器人其他交互變量，基于動作單模態進行情感識別研究。通過文獻梳理及焦點小組討論，收集到高興、生氣、悲傷、害怕4種情緒的人類動作，每種情緒篩選4個動作，另選取2個中性動作，通過編程軟件Choregraphe為機器人NAO進行動作編程。將機器人NAO的18個動作拍成視頻并制成問卷，見圖1。

圖1 機器人動作樣本

問卷設計：Q1—Q3分別測量機器人動作情緒識別、效價和喚醒度。情緒識別：將高興、生氣、悲傷、害怕，以及中性的情緒詞匯，依據情緒效價和喚醒度擴充至13個，結合Russel[19]提出的離散情緒模型來設計成本實驗情緒模型，見圖2。被試者通過觀看機器人動作視頻，從Q1情緒模型中選取1～2個情緒詞匯，Q2效價（0消極—7積極）、Q3喚醒度（0平靜—7強烈）通過李克特量表測量。定向發放網絡問卷，共收回問卷50份、有效問卷45份，被試者年齡為19～22歲（=19.96，=0.85），其中男性15人、女性30人。

圖2 情緒模型

2.2 試驗數據分析

2.1.1 情緒識別

動作情緒識別結果見表1。通過SPSS方差分析得出具有情緒識別顯著性的動作：高興（1搖臂晃動78%、3飛吻87%、4搖手晃動94.2%）、悲傷（2揉眼哭93%、2蹲66%）、害怕（1捂臉后退92%、2抱頭下蹲84%）、生氣（1叉腰側仰頭62%、2叉腰指向57%）、中性（1站立78%）。18個樣本動作中有10個動作具有顯著性，證明機器人動作單模態表達的情緒可以被識別。根據每個動作情緒識別的高頻詞匯來統計動作表達情緒的細膩性，例如通過動作可以區分高興、愉悅和歡樂等情緒。情緒識別率顯示：高興情緒最容易被識別；悲傷和害怕情緒容易混淆，3、4、3、4等4個動作均表現出悲傷和害怕，且差異性不顯著；生氣情緒表現出識別率低的特點；站立動作被識別為中性情緒，下蹲動作被識別為悲傷情緒，且具有顯著性。

表1 動作情緒識別結果

Tab.1 Result of action emotion recognition

注：*表示<0.05。

2.1.2 效價和喚醒度

1）效價表達情緒的積極性。對Q2數據進行統計分析（見表2）：高興動作表達出最強烈的積極性；生氣動作也表達出積極情緒；中性動作的效價平均值為3.51處于消極和積極的中值；悲傷動作表達出消極情緒；害怕動作表現出的情緒消極性最高。同類情緒中不同動作的效價具有差異性，且Q2的效價結果與Q1的高頻詞匯語義結果相對應，證明了機器人可以通過動作單模態傳達十分細膩的情感。

表2 動作效價排序

Tab.2 Ranking of action potency

2）喚醒度表達情緒的強烈程度。對Q3數據進行統計分析（見表3）：害怕動作表現出最強烈的情緒效應，喚醒度最高，其次是高興和生氣動作，兩者強烈程度相似，再次是悲傷動作，最后中性動作表現出的情緒喚醒度最低。同類情緒中不同動作的喚醒度具有差異性，并且Q3的喚醒度結果與Q1的高頻詞匯語義結果相對應，證明了機器人可以通過動作單模態傳達十分細膩的情感。

表3 動作喚醒度排序

Tab.3 Sequence of action arousal

2.3 實驗一：結論

人類能夠通過機器人動作單模態進行有效的情感識別，并且是比較細膩的情感識別，具體表現在機器人動作與情感語義、效價及喚醒度的模型關系，見圖3。

圖3 動作–語義–效價–喚醒度模型

人類身體形態常作為隱喻形式用于人工產品形態，人類動作也常作為理解產品功能和交互方式的范式。千百萬年來，通過勞動、社交、藝術活動等形式，形成了以人的身體美學為范式的認知及交互準則，因此機器人動作的情感識別也是建立在人類動作交互范式基礎之上的。實驗中10個具有情緒識別顯著性的動作可以分為2類范式：一是人類自然動作，即人在相應情緒中自然表現出來的動作，可以被人類共同理解。自然動作有1搖臂晃動、4搖手晃動、2下蹲、1捂臉后退、2抱頭下蹲，動作情緒表現為高興會自然地手臂上揚、身體有節奏的晃動，悲傷會不自覺地表現出向下的趨勢（如下蹲或低頭），害怕會本能地后退蜷縮并且用手形成遮擋，生氣動作中肢體會下意識地產生向外的速度和力量，這是人類的本能反應。二是人類語義動作，即在特定社會環境中形成的特定人群共同理解的動作含義，此類動作含義受人群、地域、時間等因素的影響。語義動作有3飛吻、2揉眼哭、1叉腰側仰頭、2叉腰指向，這些動作形成了特定的社會語義，能夠準確地表達動作情感，但人類也會因社會文化差異而產生對動作不同的理解。

3 機器人動作情感識別的影響因素研究

人類以自身身體形態和動作語義為基礎來理解機器人，形成了機器人動作情感識別的心理范式。然而，機器人形態千差萬別，即使是類人型機器人也與人類形態有差別，在交互過程中人類的認知系統會根據機器人形態自動調節，形成與機器人形態相匹配的動作情感認知模型。實驗二在機器人動作單模態情感識別心理范式基礎之上，基于機器人形態來研究機器人動作情感識別的影響因素。

3.1 實驗二：設計

為探究動作的形態載體，即人和機器人形態差異能否影響動作的情感識別，并進一步探尋影響動作情感識別的特征因素，實驗二進行了機器人與真人動作的對比實驗。

實驗設計：通過實驗一識別結果，選取最具代表性的3個機器人動作與真人動作進行對比研究，選取的動作有1搖臂晃動（高興）、2抱頭下蹲（害怕）、3出拳（生氣）。

實驗方法：為機器人NAO的3個動作拍攝真人比對視頻，分別由真人錄制2組動作，一組為真人完全模擬機器人動作，另一組為保留動作類型的真人自然動作。控制真人視頻樣本的面部表情，被試者需全程佩戴口罩，服裝低調樸素，并嚴格控制除動作之外影響情感識別的其他變量。

問卷設計：將每個動作的機器人視頻、真人模擬視頻和真人自然視頻設為一組，每個視頻設有情緒識別度、效價和喚醒度3個問題，問題（Q1：你同意視頻中動作表達的情緒是xx嗎？Q2：你認為視頻中情緒表達的消極/積極程度是？Q3：你認為視頻中情緒表達的強烈程度是？）均采用7級李克特量表形式。定向發放網絡問卷，共收回問卷50份，有效問卷43份，被試者年齡為18～22歲（=19.93，=0.83），其中男14人、女29人。

3.2 實驗二：數據

采用網格坐標法對數據進行定位，選取動作主要關節部位（頭部、頸部、腕部和膝部），并通過關節坐標點的變化來計算動作幅度和速度，見表4。

表4 實驗二樣本數據

Tab.4 Sample data of Experiment 2

3.2.1 高興–搖臂晃動

搖臂晃動動作考察高興情緒識別。SPSS方差分析結果見表5，機器人動作和真人自然動作在情緒識別、效價及喚醒度上沒有顯著性差異，均高于真人模擬動作且具有顯著性差異。實驗中機器人和真人模擬動作幅度趨于一致，但真人模擬動作的情緒識別性顯著低于機器人動作，證明動作載體的形態會影響動作的情緒識別。機器人動作與真人自然動作相比，真人自然動作幅度大于機器人動作幅度，說明人可以根據動作載體形態自動匹配與之相對應的動作幅度，因此幅度是機器人動作情緒識別的影響因素。

表5 高興-搖臂晃動顯著性結果

Tab.5 Significant results of happy-rocker rocking

3.2.2 害怕–抱頭下蹲

抱頭下蹲考察害怕情緒識別。實驗中機器人和真人的身體結構比例不一致，機器人腿部占比小且下蹲幅度小，視頻樣本中通過控制速度，來保持真人模擬動作與機器人動作下蹲速度的視覺感受一致。SPSS方差分析結果見表6，真人自然動作情緒識別高于機器人動作，也高于真人模擬動作，其中真人自然動作與真人模擬動作有顯著性差異=0.042；真人自然動作的喚醒度高于機器人動作和真人模擬動作，有顯著性差異。真人自然動作的下蹲速度高于真人模擬動作和機器人動作，且情緒識別及喚醒度與二者具有顯著性差異。結果說明，人可以根據動作載體形態自動匹配與之相對應的動作速度，因此速度是機器人動作情緒識別的影響因素。

表6 害怕-抱頭下蹲顯著性結果

Tab.6 Significant results of fear-head holding squat

3.2.3 生氣–出拳

出拳動作考察生氣情緒識別。SPSS方差分析結果見表7，真人自然動作識別高于真人模擬動作，高于機器人動作，且三者間具有顯著性差異=0.001。真人自然動作的喚醒度高于真人模擬動作和機器人動作，且有顯著性差異=0.001。機器人動作和真人模擬動作有情緒識別的顯著性差異，說明動作形態載體影響動作情緒識別。由于機器人結構和技術限制無法完成動作的力量性，所以機器人生氣情緒識別率較低。真人自然動作力量感明顯高于模擬動作和機器人動作，且在情緒識別性和喚醒度上與兩者具有顯著性差異。實驗結果表明力量感是動作情緒識別的影響因素。

表7 生氣-出拳顯著性結果

Tab.7 Significant results of anger and punch

3.3 實驗二：結論

實驗證明動作載體的形態影響動作的情緒識別，機器人動作在幅度、速度及力量感上均弱于真人自然動作，但人可以根據動作載體形態自動匹配與之相對應的動作認知模型。機器人動作的幅度、速度和力量是動作情緒識別的影響因素。

基于實驗一的結論，并結合實驗二的動作情緒識別影響因素來繪制動作情緒能量表，見表5。分別用范圍、箭頭、圓圈代表動作的幅度、速度、力量，面積越大代表動作幅度越大，箭頭數量越多代表運動速度越快，箭頭方向代表運動方向，圓圈越大代表運動力量越強。

表8 機器人動作情緒能量表

Tab.8 Emotional energy diagram of robot action

由表8可知，高興動作能量圖范圍大、顏色較深、2個向上箭頭、手部有力量點，代表動作幅度大、速度較快、手部力量較弱、動作呈向上趨勢；悲傷動作能量圖范圍較小、顏色淺、1個向下箭頭、無力量點，代表動作幅度較小、速度慢、無力量、動作呈向下趨勢；害怕動作能量圖范圍較大、顏色深、3個箭頭由外指向內、手腕和手肘沒有力量點，代表動作幅度較大、速度快、手臂力量較弱、動作趨勢呈收縮和遠離趨勢；生氣動作能量圖范圍較大、顏色深、2個方向相反的箭頭、手部有力量點，代表動作幅度較大、速度快、沒有固定運動方向、手部力量強。

4 總結

基于實驗一和實驗二的結論，綜合歸納類人型機器人的情感動作交互設計參考模型，見圖4。模型包括機器人情感動作交互范式及動作設計要素，動作設計要素依據4種基本情緒進行拆分，由動作方向、幅度、速度、力量感4個維度構成，為機器人情感表達和動作交互設計提供了一套較為系統的參考。

圖4 類人型機器人情感動作交互設計參考模型

5 結語

通過實驗驗證了：人類能夠通過機器人動作單模態進行比較細膩的情緒識別，機器人動作表達的高興情緒是最容易被識別的，悲傷和害怕情緒容易混淆，生氣情緒識別率低，機器人動作單模態的情緒識別有2種心理范式，一是人類自然動作、二是人類語義動作；機器人形態影響動作的情緒識別，人可以根據機器人形態自動匹配與之相對應的動作認知模型，機器人動作幅度、速度和力量是動作情緒識別的影響因素。

通過實驗分析總結了：機器人動作與情感語義、效價及喚醒度的模型關系；機器人動作情緒能量圖；類人型機器人情感動作交互設計參考模型。文中關于機器人動作情緒感知的研究結果，可以為服務機器人動作交互設計提供參考。

[1] MEHRABIAN A. Communication without Words[J]. Psychology Today, 1968, 2: 53-55.

[2] 王志良, 王巍, 谷學靜, 等. 具有情感的類人表情機器人研究綜述[J]. 計算機科學, 2011, 38(1): 34-39.

WANG Zhi-liang, WANG Wei, GU Xue-jing, et al. Research Summarization of Humanoid Expression Robot with Emotion[J]. Computer Science, 2011, 38(1): 34-39.

[3] 王巍, 王志良, 鄭思儀, 等. 一類具有相同結構的表情機器人共同注意方法[J]. 機器人, 2012, 34(3): 265-274.

WANG Wei, WANG Zhi-liang, ZHENG Si-yi, et al. Joint Attention for a Kind of Facial Expression Robots with the Same Structure[J]. Robot, 2012, 34(3): 265-274.

[4] 柯顯信, 尚宇峰, 盧孔筆. 仿人情感交互表情機器人研究現狀及關鍵技術[J]. 智能系統學報, 2013, 8(6): 482-488.

KE Xian-xin, SHANG Yu-feng, LU Kong-bi, et al. Joint Analysis of the Present Research Status and Key Technology of the Humanoid Emotion-interactive Countenance Robot[J]. CAAI Transactions on Intelligent Systems, 2013, 8(6): 482-488.

[5] 柯顯信, 陳玉亮, 唐文彬, 等. 仿人面部表情機器人連續表情運動控制系統設計[J]. 微電機, 2011, 44(6): 35-39.

KE Xian-xin, CHEN Yu-liang, TANG Wen-bin, et al. A continuous facial motion control system of facial expression robot[J]. Micromotors, 2013, 8(6): 482-488.

[6] 吳偉國, 宋策, 孟慶梅. 仿人頭像機器人"H&Frobot- Ⅲ"語音及口形系統研制與實驗[J]. 機械設計, 2008, 25(1): 15-19.

WU Wei-guo, SONG Ce, MENG Qing-mei. Development and Experiment of Speech and Mouth Shape System of Humanoid Robot "H & frobot -Ⅲ"[J]. Journal of Machine Design, 2008, 25(1): 15-19.

[7] 唐文彬. 仿人面部表情機器人及表情實現方法的研究[D]. 上海: 上海大學, 2010.

TANG Wen-bin. Research on Humanoid Facial Expression Robot and Expression Realization Method[D]. Shanghai: Shanghai University, 2010.

[8] NAYAK V, TURK M. Emotional Expression in Virtual Agents through Body Language[M]. Springer Berlin Hei--del-berg, 2005.

[9] SIAL S B, SIAL M B, AYAZ Y, et al. Interaction of Robot with Humans by Communicating Simulated Emo-tional States through Expressive Movements[J]. Intelligent Service Robotics, 2016, 9(3): 231-255．

[10] 王梅, 盧熙昌, 屠大維, 等. 基于人體動作姿態識別的機器人仿人運動[J]. 機械工程學報, 2016, 52(21): 26-34.

WANG Mei, LU Xi-chang, TU Da-wei, et al. Humanoid Motion of Manipulator that Based on Human-posture Recognition[J]. Journal of Mechanical Engineering, 2016, 52(21): 26-34.

[11] BRETAN M, HOFFMAN G, WEINBERG G. Emotionally Expressive Dynamic Physical Behaviors in Robots[J]. International Journal of Human-Computer Studies, 2015, 78: 1-16．

[12] 邢妍. 服務機器人交互設計研究與應用[D]. 沈陽: 沈陽工業大學, 2017.

XING Yan. Research and Application of Service Robot Interaction Design[D]. Shenyang: Shenyang University of Technology, 2017.

[13] 牛國臣, 胡丹丹, 高慶吉. 基于個性的機器人情感生成和決策模型構建[J]. 機器人, 2011, 33(6) : 706-711.

NIU Guo-chen, HU Dan-dan, GAO Qing-ji. Robot Emotion Generation and Decision-making Model Construction Based on Personality[J]. Robot, 2011, 33(6): 706-711.

[14] 李抒桐. 類人型機器人的情感化肢體語言模型研究[D]. 哈爾濱: 哈爾濱理工大學, 2014.

LI Shu-tong. Research on Emotional Body Language Model of Humanoid Robot[D]. Harbin: Harbin University of Science and Technology, 2014.

[15] 吳偉國, 李虹漫. PAD情感空間內人工情感建模及人機交互實驗[J]. 哈爾濱工業大學學報, 2019, 51(1): 29-37.

WU Wei-guo, LI Hong-man. Artificial Emotion Modeling in PAD Emotional Space and Human-robot Interactive Experiment[J]. Journal of Harbin Institute of Technology, 2019, 51(1): 29-37.

[16] 徐桂芝, 趙陽, 郭苗苗, 等. 基于深度分離卷積的情緒識別機器人即時交互研究[J]. 儀器儀表學報, 2019, 40(10): 161-168.

XU Gui-zhi, ZHAO Yang, GUO Miao-miao, et al. Research on Real-time Interaction for the Emotion Recognition Robot Based on Depthwise Separable Convolution[J]. Chinese Journal of Scientific Instrument, 2019, 40(10): 161-168.

[17] 鐘翔偉, 留滄海, 蔣剛. 仿人機器人交互行為設計評估方法[J]. 西南科技大學學報, 2017, 32(1) : 78-84.

ZHONG Xiang-wei, LIU Cang-hai, JIANG Gang. A Study on the Evaluation Method of the Humanoid Robot Interaction Design[J]. Journal of Southwest University of Science and Technology, 2017, 32(1): 78-84.

[18] 江浩, 徐婧玨, 林思遠, 等. 智能終端的最簡情感表達[J]. 計算機輔助設計與圖形學學報, 2020, 32(7): 1042-1051.

JIANG Hao, XU Jing-yu, LIN Si-yuan, et al. Minimal Emotional Expressivity in Intelligent Terminals[J]. Journal of Computer-Aided Design & Computer Graphics, 2020, 32(7): 1042-1051.

[19] RUSSELL J A. A Circumplex Model of Affect[J]. Journal of Personality & Social Psychology, 1980, 39(6): 1161-1178.

Emotion Recognition of Humanoid Robot Action

LI Jie, YUAN Xue-chun, ZHANG Qian

(Hebei University of Technology, Tianjin 300401, China)

In order to optimize the emotional interaction between human and robot, the identifiability of single-mode emotion expression of humanoid robot action was studied, and the influencing factors of humanoid robot action emotion recognition were explored. Taking the humanoid robot NAO as an example, the recognition, potency and arousal degree of the emotion expressed by the NAO action of the robot are obtained by questionnaire survey based on the discrete emotion model. The emotion recognition, potency and arousal degree of the humanoid robot action are studied. Based on the cognitive matching theory, the emotional expression differences between humanoid robot action and human simulated action and human natural action are studied The influencing factors. It is found that human beings can recognize emotions in different emotional semantics through the single-mode emotion expression of humanoid robot action. The robot shape, the amplitude, speed and strength of action are the influencing factors of emotion recognition. The relationship model between humanoid robot action and emotion semantics, valence and arousal degree is established, and the emotion energy diagram of humanoid robot action is also established, which provides a more systematic reference model for robot emotion expression and action interaction design.

humanoid robot; singl- mode emotion expression; emotion recognition; robot shape

TB472

A

1001-3563(2022)10-0066-07

10.19554/j.cnki.1001-3563.2022.10.007

2021-12-15

李潔（1981—），女，碩士，副教授，主要研究方向為工業設計。

責任編輯：馬夢遙