基于情緒識別的自閉癥兒童親子產品功能設定＊

謝 黎，葉銳文

（東莞理工學院，廣東 東莞 523808）

隨著人們對產品情感需求的不斷增強，如何在產品的使用中，能通過情感識別讓產品更好地與用戶互動，且讓使用者體會到更多的情感反饋，這是對當下產品設計的巨大挑戰。與此同時，這無疑也是冷冰冰的技術與人的情感之間的耦合需求。常規的產品情感設計方法，主要通過情感模型來對設計對象進行情感判定，主要參照基本情感模型來進行主觀劃分，這類設計方法很大程度上依靠測試者的經驗判斷以及設計師的體驗能力，缺少一定的情感生理過程的論證。如何更好地進行情緒識別，進而關注人群的情感特征，是本文討論的出發點。本文對應了特殊的人群，讓這樣的方法論更體現出一定的社會意義與價值。

1 情緒識別的設計研究方法現狀

本文主要的研究基礎是以情緒識別模型為依據的客觀交互方法作為研究對象，主要基于一定的生理變化來對情緒變化進行模型的組件，進而為情緒識別提供基礎數據。由于人的自然屬性，其情緒情感變化必然與生理變化緊密相連，區別在于程度、形式、關聯性等多方面因素。結合不同的生理變化，也可以得到不同的維度及區分度。通過生理信號來識別情緒特征，總體邏輯是建立一個能自動識別與情感相關的生理模式系統的第一步。從廣義上說，所有的身體變化都可以被認為是生理信號變化，包括大腦活動、面部表情、聲音模式和身體化學反應[1]。

近幾年來，基于對情感模型實驗論證的基礎需求，加上檢測技術的不斷更迭，綜合應用情緒識別邏輯的設計方法也得到了越來越多的驗證與實踐。情緒識別主要分為主觀情緒識別以及客觀情緒識別，在識別的基礎上進行評估測量。主觀情緒識別是基于早期情感模型進行的迭代演變，建立有一定樣本基礎的識別模型，將被試者的情緒變化對應到模型參數，從而形成對應關系，用來描述被試者的心理情緒狀態。這樣的評估與反饋的方式，有賴于情感模型維度劃分的有效性，但實踐中，不一定能很好地精準對應情緒變化。維度越大，可區分性越高；反之，只能作為基礎分類，對于真實的社會人群需求，相應的產品場景、人物特征而言，就顯得相對薄弱。客觀情緒識別則依托相關設備對被試者進行實時的信息反饋來分析情感，這樣得到的反饋有更好的針對性。

2 自閉癥兒童在親子產品功能設定

2.1 表現形式設定

以養成方式作為ASD兒童親子雙方的互動橋梁。首先基于ASD兒童對卡通情境中人物頭部、眼睛等區域給予更多注視，而對真實情境中人物身體區域給予更多注視；ASD兒童對卡通情境中人物情緒的指認得分顯著高于真實情境中的指認得分[2]；再者，考慮ASD兒童對于動態表情的識別率高、識別時間短（相對于3D、2D的靜態表情）的特征，嘗試把虛擬投影的角色（養成角色）設定為二次元人物，以此兼顧卡通情境以及動態表情，有利于ASD兒童更好地進行識別，以此提高可使用性以及ASD兒童的信心（ASD兒童在信心測試中普遍成績偏低），同時也可以吸引ASD兒童的注意力。

2.2 場景功能設定

養成對象與使用者的行為發生關聯，使用者包括ASD兒童及親子對象。

第一類場景，父母或者其他使用者與產品進行互動，養成物進行反饋進而刺激ASD兒童去模仿。反饋特征可以是積極的表情回復，也可以是音樂，或者多種交互結合。此類設定基于ASD兒童對于積極的表情圖片會表現出更多的關注，音樂也有同樣的效果。

第二類場景，互動游戲。此類場景主要以象征性、假想性的互動游戲，親子進行。此類設定對于ASD兒童的感知覺能力有一定鍛煉，父母既是參與者同時也是引導者，在游戲中提升互動性，提升ASD兒童的社交能力。

第三類場景，發展性功能的互動。此類場景需要他人深度互動開展相應的活動。大部分設定為運動類互動，比如棒球運動。可以借鑒手持型游戲機投影體感交互。

親子狀態的互動，不僅可以增強親子關系，有感情有目的地進行雙向溝通，更有助于ASD兒童體會社交關系，進一步適應社交體驗。此外也有利于提升創造力，培養一定的邏輯思維。

2.3 互動功能設定

假設在功能設定中，ASD兒童與父母有一個共同的養成對象（當雙方在合作的背景下可以會有更好的互動），當父母與養成對象進行互動時，產品通過眼動技術收集ASD兒童的觀察區域，若觀察區域在養成物或者父母身上時，可以作出相應的正向情緒識別與反饋。如果多次觀察區域都不在這上面可以產生相應的負向情緒反饋。這里的互動可以是指多方面的，例如父母與養成物打招呼、提問等，通過這種方式誘導或教ASD兒童一些日常的用語——基于模仿的行為特征。此外，還可設定互動游戲的加入。養成物可以變化成一些抽象的物體比如幾何體，讓ASD兒童與父母進行想象游戲。

在互動功能設定中，結合以視覺位平臺的界面交互模式。通過必要的基礎界面交互對養成物進行狀態互動，包括外形、聲音設置等，并根據眼動技術記錄眼球觀察區域以及時間節點內使用者的狀態變化。例如讓養成物變化為動物，當眼動記錄到ASD兒童的觀察區域在這個變化的形態上時，可以作出相應的情緒反應，比如發出該動物的聲音。如此，以訓練ASD兒童的認識能力。這一個用法可以和對應場景相互呼應。

文中所提到的正向情緒反饋主要針對遵循自然規律下的成長，包括長大、長高、變胖等，同時包括開心（不同程度笑并發出笑聲等）、唱歌、跳舞、獻花、撓癢癢、打滾等。負向的情緒反饋包括傷心、哭、變小變矮、叉腰嘟嘴、背向轉身等。情緒識別與反饋路徑示意圖如圖1所示。

圖1 情緒識別與反饋路徑示意圖

3 結合不同載體的自閉癥兒童產品功能設定

3.1 以眼動儀技術為載體的功能設定

如何針對對應的群體、場景、人物特征等作綜合評判，下面將以ASD兒童為對象，結合對應的技術背景，做幾種功能的初步設定。

目前眼動儀主要集中在科學研究場合，相比較民用設備而言，其科學研究意義大于民用。從眼動儀的運行功能來看，以ASD兒童為對象，更能發揮其功能設定。通過觀測眼動情況，來對其情緒進行有效采集。根據眼部的眼動指標，例如注視時間、眼跳情況、回視情況等，來對注意力的集中情況等做基礎評判，結合早期模型做相應的情緒識別，tobii公司的眼動追蹤，目前已經可以很好地完成此類的研究。功能推演有如下設定：當眼動儀有相應的反饋識別，分辨出ASD兒童的正面情緒（開心、興奮等）注意力的集中等情況時，可以把這些信號轉換成量1，這個量1去影響養成對象的狀態（強化狀態）。相應的若出現了負面情緒或者激怒的情緒時，同樣轉換成一個量2，這個量2可以改變養成對象的狀態（弱化狀態）。

不足之處在于，眼部觀測基于設備與眼部的“交流”。ASD兒童的眼部趨避情況，使其通過眼部展開的情緒識別與評估略有難度。如何得到相對更有效的結果，從而提供更有價值的情緒評判，這將是核心問題。

再一個功能推演是將ASD兒童的觀察區域可視化出來，讓親子對象知道ASD兒童的注意力集中的區域。父母與ASD兒童同步的注意提示更可能支持兒童對物體的注意[3]。可視化觀察區域可以讓親子對象更準確地找到ASD兒童的注意點，以此提高互動質量。

3.2 以投影技術以及聲交互為載體的功能設定

以投影技術為最終輸出載體的功能設定，是配合一定的情緒測量，主要的設定是使用是通過“養成”的方式來搭建雙方的橋梁。主要核心功能為眼動監測、全息投影、聲音交互。眼動監測如第一點指出的觀測眼動情況。投影技術主要用于設定為投影出養成對象。投影是核心功能設定也是最主要的交互功能設定。在投影功能方面，狗尾草公司的“琥珀”已開發到一定的程度。養成方面的設定為兩大類，設定的養成類常規為某一種動物或類人的形象等。其中的養成狀態一類為正向的反饋，如成長（長大、變胖）、開心（不同程度笑并發出笑聲）、唱歌、跳舞、獻花、撓癢癢、打滾等；另一養成狀態為負向的反饋，如傷心、哭（同笑那樣）、變小只、叉腰嘟嘴、背向兒童等。

其次，聲音交互主要是語音對話，分成兩大類，主動對話與被動對話。主動對話的功能類似于手機的智能語音系統，例如：Siri，對提問者（可以是ASD兒童、父母、其他）的問題進行回復或者執行相關指令。比如當ASD兒童哭鬧、處于激怒的狀態時，父母可以讓該養成對象唱歌來平復ASD兒童。這只是列舉了一種用途，其他的用途可以參照。父母可以通過鼓勵ASD兒童多和養成對象對話一定程度的來訓練他說話的能力。被動對話功能設定主要是基于開機時的基礎對話。

3.3 以傳感器技術為載體的功能設定

以用戶為中心的可穿戴產品設計實踐，產品可通過模擬感官反饋，如觸覺、視覺又或者是聽覺來表達用戶情感。通過模型計算把情感轉變成信號再結合相關傳感器表達出來，使得用戶感受到這種感受。這類可穿戴系統可用于有特殊需要的人的治療。在早期的研究中，實踐者結合情緒刺激嘗試對患有精神病的兒童進行鎮定作用[4]、監測ASD兒童驚恐發作等[5]臨床實踐。這種情況也可以應用于父母和ASD兒童之間在表達情感上有困難的情感交流。由于這些父母無法通過其面部表情、手勢或聲調輕松地理解其子女的心理狀態，因此可以創建可穿戴系統，以更直接的方式將ASD兒童的情感傳遞給其父母。這為設計多增加了一條路：表達ASD兒童的感受[6]。

3.4 以深度學習技術為載體的功能設定

機器人的深度學習技術為個性化服務提供重要支持。許多自閉癥患者具有非典型且異常多樣化的表達情感-認知狀態的方式[7]，個性化的機器學習可以為互動帶來更好的體驗。

4 小結

本文的主旨是希望以ASD兒童親子產品功能設定為例在一定程度上梳理基于情緒反饋需求的情緒識別的設計方法研究。前文提到的眼動技術是該產品重要的設備技術，主要根據眼動儀用于記錄眼球的觀察區域以及時間這一特點為核心技術支持。另外包括虛擬投影技術，也是為了進一步將情緒反饋的實現通過可識別的狀態體現出來。而機器人的深度學習是為了輔助捕獲ASD兒童的情緒，補充眼動儀獲取之外的數據，使得投影反饋時更有針對性。除此之外的常用技術功能，類似聲音交互、傳感器等，將貫穿整個產品的使用。

ASD兒童通常在社交、語言、興趣方面存在障礙，這使得他們在與正常世界交流時十分吃力。通過眼動儀的測量獲取ASD兒童眼動數據并利用計算機進行情緒分析，結合虛擬投影、傳感器、聲交互等技術進行反饋輸出，讓產品作為父母與ASD兒童之間的翻譯器，以期在一定程度上改善ASD兒童家庭的生活質量。同時通過此次產品功能的設定，探索出情緒識別及反饋的設計方法的基本思路：收集、整理、反饋、輸出。