航空航天虛擬裝配培訓情境下的情感交互設計

王曉慧，王佳雨，趙凱，覃京燕,3

航空航天虛擬裝配培訓情境下的情感交互設計

王曉慧1，王佳雨1，趙凱2，覃京燕1,3

（1.北京科技大學，北京 100083；2.西北綜合勘察設計研究院，陜西 710003；3.海南大學，海南 570228）

將虛擬現實和情感交互設計應用于航空航天裝配培訓場景，提高培訓效率，改善培訓體驗。通過調研多模態情感交互研究現狀，構建航空航天虛擬裝配培訓情境下的情感交互模型，使用基于生理信號的情感識別、語音提示、高亮提示、視頻指導等進行情感交互。以航空航天球閥的虛擬裝配培訓為例，構建具有情感交互的培訓系統。通過用戶手指上佩戴皮膚電導傳感器收集的生理數據進行情感實時監測，根據情感不同提供語音提示、高亮提示、視頻指導3種交互方案。通過在虛擬環境中完成裝配任務的效率，驗證情感交互在虛擬裝配培訓系統中的有效性。實驗結果表明，在航空航天虛擬裝配培訓場景下的情感化交互設計能夠有效縮短培訓時間，有助于培訓用戶體驗目標和可用性目標的達成。研究成果促進了生理信號、語音交互、視覺交互等多模態情感交互范式的構建，并驗證了在航空航天虛擬裝配培訓應用中的有效性，具有廣泛的學術意義和應用前景。

虛擬現實；航空航天；裝配培訓；交互設計；情感交互

虛擬現實和航空航天的結合能夠有效地推動航空航天技術和國防事業的發展。虛擬現實技術在航空航天領域目前主要應用于飛行員模擬訓練、在軌維修訓練和虛擬裝配訓練3個方面。產品的裝配操作必須在產品設計時確定，這在航天器等裝備中至關重要。隨著人工智能和虛擬現實技術的發展，利用三維數字樣機進行操作維修可行性分析與驗證、評估設計方案合理性能夠更早、更準確地發現設計問題和縮短設計周期。我國新一代中型運載火箭長征七號就采用了VR技術和全三維設計制造仿真技術，大大提高了火箭研制水平和零件合格率[1]。波音777型號通過虛擬環境中的交互手段對產品的功能、制造、裝配、維修進行虛擬實驗，使得裝配問題和返工率大大縮減并提前完工[2]。

情感交互是智能人機交互中必不可少的一個模塊，已應用在生活中的各行各業。教育培訓中通過檢測學生情感來判斷學生參與度，從而給教師提供課堂教學反饋；社交輔助機器人通過自動檢測用戶情感判斷用戶的意圖，表達相應的情感反饋并提供親切的對話或動作反饋；在商業領域通過檢測用戶文本中的情感需求分析用戶對產品的建議從而改善產品功能；在多媒體行業中通過實時監測用戶情感實現音樂和視頻的個性化推薦；在汽車駕駛中通過檢測駕駛員情緒狀態提供不一樣的安全警報提示來降低安全事故發生概率等。

航空航天情境下會不可避免地出現人機交互的不適應性、操作人員情緒壓力大及生理心理健康等一系列問題，而利用人機情感交互，可以讓計算機識別用戶情緒狀態，進而做出相應改善用戶情緒的行為，使用戶和機器之間的交流更加親切自然，使操作人員情緒處于平靜緩和的狀態，從而使之高度集中注意力，避免失誤。本文研究航空航天虛擬裝配培訓情境下的情感交互模型，使用基于生理信號的情感識別、語音交互和視覺交互進行多模態情感交互，提高培訓效率，改善培訓體驗。通過在虛擬環境中完成裝配任務的效率，驗證情感交互在虛擬裝配培訓系統中的有效性。

1 國內外研究現狀

1.1 多模態情感識別

單模態情感輸入形式主要包括視覺、聽覺、文本和生理信號等，多模態則為單模態的兩兩或者兩三組合。調研多模態情感識別的輸入、數據采集方式、輸出和應用領域，得到多模態情感識別相關研究見表1。隨著語音交互的普及，通過語音的語速和頻率等判斷用戶情感已廣泛應用于社交、娛樂等方面；圖像、視頻等視覺輸入具有并發性和無接觸性的優點，通過攝像頭捕捉用戶的面部表情或動作手勢等識別方式是應用非常廣泛的；而生理信號輸入是指個體的生理數據特征，是接觸性和強制性的，需要借助一定的可穿戴設備和傳感器完成。

面部表情、語音、動作手勢的輸入是個體通過主觀地控制自己身體和行為所表現的外在意識主導的信號，情感狀態可能不具有客觀性；生理信號輸入可以測試出在無意識行為狀態下，即不受主觀認知狀態控制下的真實心理狀態，被試情感被更加真實客觀地反映，大大提升了情感分類的準確性和魯棒性。本文采用生理信號輸入與面部表情輸入相結合的方式，識別用戶情感狀態。

1.2 情感交互輸出

多模態情感輸出主要包括視覺反饋、聽覺反饋和觸覺反饋，情感交互案例分析見表2。視覺反饋被應用到各個領域，其優點是直觀和具有沉浸感，能夠激發用戶情感的共鳴。情感交互中主要使用帶有特定情感特質的視頻、能調節用戶情緒的圖像、與用戶情緒狀態相匹配的可視化表達、提示或引導用戶緩解情緒壓力的界面等來進行情感的視覺反饋。聽覺反饋也較為常用，其優點是在對話中實時反饋，使用場景約束性小、高效便捷。觸覺反饋被很多交互界面用來反饋重要的系統狀態信息，例如通過手柄振動提示用戶操作完成。一些情感交互案例會使用多模態反饋，即將視覺反饋、聽覺反饋和觸覺反饋等反饋形式結合起來。

表1 多模態情感識別相關研究

表2 情感交互案例分析

圖1 航空航天虛擬裝配培訓情境下的情感交互模型

2 航空航天虛擬裝配培訓情境下的情感交互模型

本文提出航空航天虛擬裝配培訓情境下使用基于生理信號的情感識別、語音提示、高亮提示、視頻指導進行情感交互的流程框架，航空航天虛擬裝配培訓情境下的情感交互模型見圖1，旨在通過改善操作人員情緒體驗提高培訓效率。

傳統的裝配培訓流程：組織裝配培訓—確定培訓時間和地點—培訓人員統一講解裝配理論知識—確定實地裝配培訓時間和地點—培訓人員操作示范—操作人員進行裝配操作——檢查操作是否規范—詢問培訓人員—培訓人員示范—重新裝配—檢查—詢問—示范—結束培訓。傳統的線下培訓步驟較多且需要組織人員和統一培訓的時間地點，再者實地裝配培訓過程中往往由于培訓人員和操作人員數目不對等，不能進行一對一輔導而導致裝配問題不能及時解決而屢次失敗，容易引起操作人員激動、緊張、煩躁等消極情緒體驗。

經過訪談調研發現，裝配培訓中操作人員情緒變化的主要原因是信息傳達的不及時性、不清楚裝配步驟、多次裝配失敗造成的焦慮和煩躁等。不同操作人員情緒變化的原因也不盡相同，比如有機械基礎和無機械基礎的操作人員情緒變化的程度和原因不同。針對這些情況，本文在模擬裝配培訓場景中加入了語音提示、高亮提示、視頻指導等不同提示方式，提示強度逐漸提升，能覆蓋初級用戶、中級用戶、高級用戶，并通過實驗分析不同交互方式對操作人員情緒和操作行為的影響，面向不同用戶的情感交互模型見圖2。該情感交互模型不僅可以用于裝配培訓，還可以用于實際生產。

3 具有情感交互的航空航天虛擬裝配培訓系統

低溫球閥在航天航空領域被廣泛應用于氫氧火箭發動機氫氧泵前閥，本文以航空航天球閥的虛擬裝配培訓為例，構建具有情感交互的航空航天虛擬裝配培訓系統。使用UE4虛幻引擎進行軟件開發，硬件使用HTC Vive。

在PC端和VR環境下的交互設計見表3。用戶可以觀察球閥各個零件結構和名稱，通過菜單界面進行交互，選擇適當的功能標簽，利用零件的移動、旋轉等裝配操作交互功能完成球閥裝配。

圖2 面向不同用戶的情感交互模型

表3 PC端和VR環境下的交互設計

在情感交互方面，由于用戶佩戴HTC Vive頭盔，無法基于面部表情進行情感識別。本文通過用戶手指上佩戴皮膚電導傳感器收集用戶生理數據對用戶情緒進行實時監測。情緒識別基于流電皮膚反應（Galvanic Skin Reaction，GSR），當情緒波動，即感到焦慮、緊張時，神經交感活動會增強，導致汗液分泌增加，從而導致皮膚電的數值增強。GSR傳感器通過在人兩個相鄰的手指上放置兩個電極來檢測人體表層皮膚的導電性，數字越高，代表情緒越緊張，達到某一閾值時，會被判斷為情緒發生了激烈的變化。GSR傳感器程序對情緒的檢測有客觀準確的算法，不受人主觀意志的轉移。

航空航天虛擬裝配培訓情境下的情感交互模型見圖3。系統觀測到用戶有激烈的情感變化如緊張、焦慮時，提供相應的情感交互手段，主要有語音提示、高亮提示、視頻指導3種交互方案。考慮到用戶習慣和培訓效率，檢測到用戶情感發生變化時，優先提供語音提示；當用戶不能根據語音良好地完成操作而焦慮煩躁時，提供零件高亮顯示；繼續觀測用戶裝配程度和情緒變化，從而提供相應的視頻指導，直到用戶正確地完成球閥的完整裝配。

系統提示界面見圖4。構建的虛擬場景見圖4a，用戶按住手柄側邊的緊握鍵，系統顯示紅色的落地標志，箭頭方向則代表落地的自身朝向，用戶按住緊握鍵選好合適的位置后松手實現位置移動，手柄交互實現移動見圖4b。場景內的視頻播放器可以播放球閥的完整裝配視頻，視頻提示見圖4c，操作人員觀看視頻了解球閥裝配過程，從而完成球閥裝配任務。觀看視頻期間，可以通過鼠標點擊或者VR扳機點擊視頻進行暫停和繼續播放。高亮提示見圖4d，能夠同時提供模型高亮顯示和對應球閥分解圖高亮顯示：場景內閥芯、調整墊1、調整墊2、密封圈模型邊緣紅色高亮顯示，顯示器上球閥分解圖相應零件輪廓高亮顯示，高亮顯示持續5秒。場景的菜單交互功能主要包括導航菜單界面設計和功能菜單界面設計，菜單界面見圖4e。為了更好地輔助裝配培訓，在場景中設置了提示界面設計，主要是零件名稱提示界面設計和裝配成功后提示界面設計，提示界面見圖4f。

圖3 航空航天虛擬裝配培訓情境下的情感交互模型

圖4 系統提示界面

4 情感交互有效性實驗

系統依托UE4虛幻引擎和Steam VR平臺搭建球閥虛擬培訓場景，使用Arduino和Python平臺進行情感實時監測，通過UE4可視化編程和藍圖通信實現情感交互。通過在虛擬環境中完成裝配任務的效率，驗證情感交互在虛擬裝配培訓系統中的有效性。實驗步驟如下：（1）實驗開始前培訓被試實驗所需的按鍵操作，讓被試熟悉VR場景和HTC Vive按鍵操作，并讓被試自由練習2～3分鐘。（2）被試閱讀紙質實驗任務，任務是將拆分的球閥零件進行裝配。（3）為被試佩戴好VR頭盔和手柄，并連接上GSR傳感器，詢問被試是否已經做好準備可以正式開始實驗。（4）被試正式開始實驗。被試在確定進入虛擬環境中后開始計時，裝配過程中實時監測被試的情緒變化。根據情緒變化提供交互提示，直到被試將零件裝配完成。實驗全程對被試操作畫面進行錄屏，并記錄保存被試的GSR數據。（5）實驗完后成對被試進行訪談，記錄他們的用戶體驗和對交互設計方案的建議。

實驗召集了19名本科生，均沒有裝配經驗。通過對實驗變量被試完成實驗時間、被試GSR數據、被試語音、高亮、視頻提示后操作分析。被試完成實驗的總時間統計見圖5。實驗結果顯示絕大多數被試可以在規定的15分鐘內完成裝配，平均完成實驗的時間為9分鐘41秒，實驗時間最長的為15分鐘53秒，最短的為6分鐘5秒。大多數被試表示，經過語音、高亮、視頻提示后已經完全了解了球閥的裝配過程。

通過對采集的被試GSR數值隨時間變化進行分析，GSR數值變化代表了被試情緒的變化，GSR數值越高，被試情緒越緊張激烈。兩名被試實驗過程中GSR數值變化見圖6。在圖6a中，被試在實驗過程中情緒穩定，順利完成實驗。在圖6b中，被試情緒不穩定，多次出現了較為強烈的情緒變化。圖中紅色的點代表傳感器檢測到了被試情緒的變化，并且現場觀測到被試裝配操作遇到困難，這時在虛擬場景中給被試提供了提示，第一次紅點提供語音提示，第二次紅點提供高亮提示，第三次紅點提供視頻指導。可以從紅點周圍GSR數值的變化推斷出在給出交互提示后，被試GSR數值會有階段性降低和穩定，說明在被試遇到裝配困難而產生強烈情緒變化時，給出裝配提示能有效緩解個體情緒，增強自信心，提高裝配積極性。

圖5 被試完成實驗的總時間統計

圖6 兩名被試實驗過程中GSR數值變化

觀察被試實驗全程錄屏，對比不同交互提示下被試操作的變化，可以看出大多數人在給出語音提示后，能夠意識到給出的提示信息，嘗試了提示所給出的零件的裝配操作，但是因為提示信息不充分不能夠正確地完成語音提示的操作。高亮提示后，操作者往往對球閥的裝配掌握了80%的信息，已經能夠根據提示和觀測到的零件結構成功裝配提示的零件。給出指導視頻后，被試已經能夠完全掌握球閥的裝配步驟，能根據視頻快速發現自己的錯誤并予以改正。實驗結果表明，在航空航天虛擬裝配培訓場景下的情感化交互設計能夠有效縮短培訓時間，提升系統的易學性、易記憶性、有用性、可達性、高效性，具有界面美感與交互效能，用戶滿意度高。

5 結語

在虛擬環境中融入情感交互，使機器能夠察言觀色，主動與人產生互動，提高了裝配工作效率，精簡了交互流程步驟，提升了交互效率，增強了用戶體驗。本文研究航天航空虛擬裝配培訓場景下情感交互系統的創新設計，結合基于生理信號的情感識別、語音交互和視覺交互。以航空航天球閥的虛擬裝配培訓為例，構建具有情感交互的培訓系統，實驗表明情感交互可以有效縮短培訓時間，提高培訓用戶體驗目標和可用性目標的達成，為未來航空航天領域下情感交互設計提供研究基礎。

[1] 余力凡. 虛擬現實技術在航天控制領域的應用[J]. 航天控制, 2004, 22(3): 79-83.

YU Li-fan. Application of Virtual Reality Technology in Aerospace Control Field[J]. Aerospace Control, 2004, 22(3): 79-83.

[2] 宋倩, 洪海波, 楊辰, 等. 私有云平臺上的航天產品虛擬裝配培訓技術研究[J]. 軍民兩用技術與產品, 2021(4): 17-22.

SONG Qian, HONG Hai-bo, YANG Chen, et al. Virtual Assembly Training Technology of Aerospace Products on Private Cloud Platform[J]. Dual Use Technologies & Products, 2021(4): 17-22.

[3] Bosch N, Chen Y, D Mello S. It’s Written on Your Face: Detecting Affective States from Facial Expressions while Learning Computer Programming[C]. Honolulu: International Conference on Intelligent Tutoring Systems, 2014.

[4] Khalfallah J, Slama J B H. Facial Expression Recognition for Intelligent Tutoring Systems in Remote Laboratories Platform[J]. Procedia Computer Science, 2015, 73: 274-281.

[5] Preeti K, Sasikumar M. Recognising Emotions from Ke-yboard Stroke Pattern[J]. International Journal of Computer Applications, 2010, 11(9): 24-28.

[6] Rozanska A, Podpora M. Multimodal Sentiment Analysis Applied to Interaction between Patients and A Humanoid Robot Pepper[J]. 2019, 52(27): 411-414.

[7] Chen L, Wu M, Zhou M, et al. Information-Driven Multirobot Behavior Adaptation to Emotional Intention in Human-Robot Interaction[J]. IEEE Transactions on Co-g-nitive and Developmental Systems, 2018, 10(3): 647- 658.

[8] Man Hao, Weihua Cao, Min Wu, et al. Proposal of Initi-a-tive Service Model for Service Robot[J]. CAAI Transa-ctions on Intelligence Technology, 2019, 2(4): 148-153.

[9] Javed H, Jeon M, Park C H. Adaptive Framework for Emotional Engagement in Child-Robot Interactions for Autism Interventions[C]. Jeju, Korea: International Con-ference on Ubiquitous Robots, 2018.

[10] Hao Y, Budd J, Jackson M M, et al. A Visual Feedback Design Based on A Brain-computer Interface to Assist Users Regulate Their Emotional State[C]. New York: CHI Extended Abstracts on Human Factors in Computing Systems, 2014.

[11] Peng F, Labelle V, Yue E, et al. A Trip to the Moon: Per-sonalized Animated Movies for Self-reflection[C]. New York: CHI Conference on Human Factors in Computing Systems, 2018.

[12] Miri P, Flory R, Uusberg A, et al. HapLand: A Scalable Robust Emotion Regulation Haptic System Testbed[C]. Colorado: CHI Conference Extended Abstracts on Human Factors in Computing Systems, 2017.

[13] Mark Bubel, Ruiwen Jiang, Christine H Lee, et al. Awa-r-eMe: Addressing Fear of Public Speech through Aware-ness[C]. New York: CHI Conference Extended Abstracts on Human Factors in Computing Systems, 2016.

[14] Luis Cruz, Jonathan Rubin, Rui Abreu, et al. A Wearable and Mobile Intervention Delivery System for Individuals with Panic Disorder[C]. Linz, Austria: International Conference on Mobile and Ubiquitous Multimedia, 2015.

[15] Brinkman W P, Hartanto D, Kang N, et al. A Virtual Re-a-lity Dialogue System for the Treatment of Social Phobia[C]. New York: CHI Extended Abstracts on Human Factors in Computing Systems, 2012.

Emotional Interaction Design in Aerospace Virtual Assembly Training

WANG Xiao-hui1, WANG Jia-yu1, ZHAO Kai2, QIN Jing-yan1,3

(1.University of Science and Technology Beijing, Beijing 100083, China; 2.Northwest Research Institute of Engineering Investigations and Design, Shaanxi 710003, China; 3.Hainan University, Hainan 570228, China)

This work combines virtual reality with emotional interaction design to explore the applications on aerospace assembly training and to improve training efficiency and improve training experience. By investigating the research on multimodal emotional interaction, the emotional interaction model in aerospace virtual assembly training is built by using emotion recognition based on physiological signals, speech interaction, highlights and videos. Taking the virtual assembly training of aerospace ball valve as an example, an aerospace virtual assembly training system with emotional interaction is constructed. Real-time emotional monitoring is performed by using physiological data collected from GSR sensors worn on the user’s finger. Three interactive schemes are provided according to different emotions: speech interaction, highlights and video. The effectiveness of emotional interaction in virtual assembly training system is verified by the efficiency of completing assembly tasks in the virtual environment. The experimental results show that the emotional interaction design can effectively shorten the training time and greatly improve the training experience of users. This work can promote the research on the multimodal emotional interaction paradigm by combining physiological signals, speech interaction, visual interaction, etc. This work verifies the effectiveness of the emotional interaction in the application of aerospace virtual assembly training, which has wide academic meaning and application prospects.

virtual reality; aerospace; assembly training; interaction design; emotional interaction

TB472

A

1001-3563(2022)02-0010-07

10.19554/j.cnki.1001-3563.2022.02.002

2021-08-09

長江學者獎勵項目（FRF-TP-18-010C1）；教育部2020年第二批產學合作協同育人項目（202101042001）；中央高校基本科研業務費專項資金（QNXM20210025）；佛山市促進高校科技成果服務產業發展扶持項目（2020DZXX05）

王曉慧（1987—），女，山東人，博士，北京科技大學教授，主要研究方向為情感計算、虛擬現實、信息可視化等。