可穿戴技術在情緒識別中的應用進展及發展趨勢

劉歡歡，王朝暉，葉勤文，陳子唯，鄭婧瑾

(1.東華大學 服裝與藝術設計學院，上海 200051；2.東華大學 現代服裝設計與技術教育部重點實驗室，上海 200051;3.上海市智能制造與工程一帶一路國際聯合實驗室，上海 200051)

隨著現代生活節奏的加快，人們壓力不斷增大而導致不良情緒增多甚至引發疾病問題。情緒識別的目的是根據觀察結果來監測人體的情緒狀態，從而更好地掌握情緒并進行積極調節，這在心理疾病、遠程教育、交通等[1]領域都有著重要作用。可穿戴設備被廣泛理解為主要是穿戴在人體上的電子設備，是可以融合到衣服中或類似服裝的便攜設備[2]。可穿戴技術由于其豐富的功能性且便攜無創，成為長期情緒識別應用的理想平臺。情緒識別可穿戴技術是指情緒識別智能系統集成到可穿戴設備和織物上的先進技術,其與情緒識別監測方法、識別算法以及可穿戴產品技術的發展息息相關。

當前情緒識別監測內容方法主要基于生理信號與行為表現，為提高識別結果的準確率，情緒感知可穿戴設備大都綜合多種監測內容進行情緒識別。隨著計算機技術的發展，情緒識別的算法種類中機器學習方法的運用越來越廣泛，當進一步考慮到大數據量以及高維度特征問題后，如深度置信網絡和集成學習等基于深度學習的方法將運用到情緒識別中。目前的可穿戴技術在健康監測和運動健身等領域實現了智能化快速發展，但在情緒識別監測方面還有很大發展空間，其在柔性舒適采集設備、識別準確度以及人機交互等方面都還有待進一步發展。

本文根據識別內容對情緒識別可穿戴設備進行歸類總結，并提出情緒識別智能可穿戴設備發展趨勢，旨在總結情緒識別方法理論和現今情緒識別可穿戴設備發展現狀，推動情緒識別智能可穿戴設備的創新發展，為智能可穿戴提供新的研究方向。

1 情緒及生理反應

情緒是人腦對客觀外部事物與主體需求之間關系的反應，其伴隨認知和意識過程的對外部事物的態度體驗[3]。為能夠準確認識情緒，首先是從科學角度對情緒狀態進行分類量化，以便準確識別監測情緒狀態。依據情緒表征方式不同，可分類為離散情緒模型和維度情緒模型[3]。離散模型是指由幾種基本情緒組成的模型。美國心理學家Ekman等[4]認為由悲傷、恐懼、厭惡、驚訝、高興和憤怒6種組成的基本情緒類別在情感識別研究中受到廣泛應用。維度情緒模型是將情緒狀態量化映射到不同維度空間中的坐標點位置。多維度連續模型有二維、三維及四維等。目前，情緒研究中使用最多的模型是Russell在1970年構建的“效價-喚醒度”二維情緒模型[5]，如圖1所示。效價反映情緒的積極性或消極性，喚醒度反映情緒的平穩或強烈。

圖1 效價-喚醒度情緒模型Fig.1 Valence-arousal dimension mood model

情緒狀態是自發產生的，并伴隨著一定的生理反應和行為表現，這些結果都是由自主神經系統(ANS)主導的，對于人來說是很難甚至是不可能控制的。ANS有2個主要分支：交感神經系統(SNS)和副交感神經系統(PNS)。交感神經系統的主要功能與人體“戰斗或躲避”狀態有關，會使唾液分泌和消化功能下降，瞳孔放大，心率、呼吸率、皮電活動和肌肉活動增加，同時腎上腺素和葡萄糖得到釋放；副交感神經系統的主要功能與人體“休息和消化”狀態有關，人體的唾液分泌和消化功能增強，瞳孔收縮，同時心率和呼吸率下降[6]。情緒狀態的改變，使得交感神經和副交感神經產生變化，從而在生理信號和行為表現方面發生變化。

Kreibig[7]研究了ANS對某些情感狀態反應的特異性，包括2個積極與2個消極的情緒狀態，如表1所示。以憤怒為例，因為憤怒代表由SNS控制的高喚醒狀態，其與心率(HR)、皮膚電導率水平(SCL)的增加一致。憤怒情緒下會帶來皮膚電導反應(SCR)的上升和更高的呼吸頻率，同時發現悲傷會降低HR、SCL和SCR，同時增加呼吸頻率。愉悅和快樂都是具有相似喚醒水平的積極情感狀態，因此，他們具有相似的生理反應。

表1 4種典型情緒狀態及其生理反應Tab.1 Four typical emotional states and their physiological responses

情緒識別是基于可采集到的信息來監測人體情緒狀態。從理論上講，情緒識別可看作是信號模式識別問題[8]。情緒識別可穿戴設備即能夠監測、處理和解釋人類情緒狀態的設備，因此，其是一個綜合交叉化的研究領域，與信號處理、機器學習、心理學和神經科學等緊密聯系在一起[9]。1997年，Picard等[10]第1次提出“情感計算”這一概念。情緒識別作為情感計算的重要研究方向，近年來受到較多學者的關注，并根據情緒識別內容不同在各相關領域展開研究。

2 情緒識別監測內容方法分類

在情緒識別可穿戴設備發展中，主要通過便攜式傳感器采集到的數據內容展開識別應用。目前，情緒識別監測內容主要基于生理信號(包括心電、皮電、呼吸和腦電信號)與行為動作(包括面部表情、肢體動作、語音語調以及行為線索)這二大類信號。情緒感知可穿戴設備大都綜合多種數據內容進行情緒識別(多模態)。D′mello等[11]指出，基于多模態數據的情感識別系統往往比單一數據的識別準確率高出近10%。

2.1 生理信號

生理信號情緒識別是指通過從各種人體生理信號中提取特征進行識別和分類。主要的生理信號有：心電、腦電、皮電和呼吸信號。Picard等[12]率先從生理信號中提取特征進行情緒識別，該方法的基本流程為：利用各類傳感器采集信號、預處理、特征提取、特征選擇和識別分類。生理信號的變化是由人體內在神經和內分泌系統控制的，不易受到主觀意識影響，具有客觀真實性，目前在可穿戴設備技術中備受青睞[13]。

2.1.1 心電信號

心電信號(ECG)是指每次心跳周期所產生的電活動變化，通過貼在四肢或者胸部的成對電極來測量。心率和心率變異性是很重要的測量指標[14]。采集心電圖樣本的頻率高達1 024 Hz，可在不丟失信息的情況下將信號采樣頻率降至256 Hz[15]。Mahdiani等[16]的實驗表明，50 Hz的采樣頻率足以獲得心率變異性(HRV)相關特征參數，且誤差合理。研究表明：正向情緒的每2次心跳間隔要小于負向情緒；憤怒及恐懼時人體心率最快，高興時次之，悲傷時心率減慢，厭惡時心率最低[17]。

2.1.2 皮電信號

皮膚電(EDA)反應是指電路中使用外部電流和未使用外部電流時，由情緒刺激引起的皮膚電變化[18]，其中皮膚電導水平和手指皮膚溫度是重要的測量指標[19]。皮膚電活性通常在汗腺密度較高的位置進行測量[20]，如手掌、手指或腳部。從監測技術角度來看，可采用恒流或恒壓系統記錄EDA數據。然而，由于皮膚電導與活躍汗腺數量之間的線性關系更大，Lykken等[21]主張使用恒壓系統直接測量皮膚電導，同時皮膚電的檢測會受到監測部位溫度、局部汗液量、被試者狀態等其他因素影響[22]。Jang等[23]通過皮電信號找到識別情緒的最佳特征，如最高皮膚溫度、平均皮膚溫度和平均EDA，采用支持向量機識別成功率為99.04%。

2.1.3 呼吸信號

呼吸信號(RESP)通常是由呼吸運動使得傳感器胸帶(呼吸誘導容積描記儀)繃緊程度和伸縮量發生變化并轉化為電壓量輸出獲得[24]，其主要指標包括呼吸頻率和幅度。呼吸誘導容積描記儀設置的采樣頻率下限可設定在10～15 Hz。

2.1.4 腦電信號

腦電圖(EEG)可反映腦電信號，腦電波圖像是由安置在頭部特定位置的電極對腦細胞自發性的生物電活動進行測量記錄形成[25]。Soleymani等[26]采用EEG使用放在頭皮上的電極來測量大腦神經元的離子電流，檢測視頻誘發情緒準確性。因腦電采集設備對穿戴者的移動造成較大限制，通常僅運用在實驗室研究中，且其具有較強的入侵性，因此較少運用在日常生活中的情緒識別可穿戴設備中。

基于可穿戴裝備的情緒識別研究旨在識別不同類型情緒，大部分使用維度情緒模型可達到更精準的識別效果；在識別生理信號中，心電和皮電數據使用較多，因為情緒喚醒維度的改變與心電和皮電活動強烈影響關聯度更高。

2.2 行為動作

2.2.1 面部表情

面部表情通常與一個人的情緒狀態緊密相連，是情緒識別的顯著線索之一[27]。面部表情一方面是指瞳孔大小和眨眼頻次等[28]，另一方面是指不同情緒下眼部肌肉、口舌唇肌和臉頰肌肉的變化情況[29]，如圖2所示。通常可依據面部肌電圖檢測面部肌肉的改變來進行情緒識別[30]。Ekman等[4]研究開發了面部動作編碼系統(EFACS)，將千幅用戶表情圖像根據不同情緒特征劃分為7類。情緒與表情的關系歸納成與情緒相關的EFACS，在這個編碼系統里每個動作單元AU代表1組面部肌肉運動形成的基本動作，每種情緒對應不同的AU單元。不同的AU控制著不同位置的面部肌肉，眼部區域的AU單元如圖3所示。

圖2 不同情緒下嘴部肌肉差異Fig.2 Differences in mouth muscles by mood

圖3 眼部區域面容改變的7個AU單元Fig.3 AU units for facial changes in eye area

2.2.2 肢體動作

人體運動姿勢蘊藏著豐富的個人情緒信息，基于人體姿勢的情緒識別主要是以不同情緒人體動作姿勢持續時間和運動頻率等數據作為依據。慣性傳感器是常用的識別人體活動的傳感器，如肢體動作信號可利用電容式加速度傳感器檢測每個方向的加速度和振動變化。崔莉慶等[31]利用步態分析實現情緒識別，通過手機和腳環記錄手腕和腳踝處的運動加速度，結果顯示腳踝處的數據要優于手腕處，平靜和憤怒一對一識別精度達到90.31%，平靜-喜悅識別精度為89.7%。

2.2.3 語音和語調

語音情感識別是通過提取帶有情緒色彩的聲學特征參數，利用搭建的情緒識別模型對特征參數進行分析辨別[32]。語音信號重要的特征包括基礎音頻率、語音速率、流利程度、共振峰、能量、Mel倒譜系數等[33]。單獨以語音信息作為識別情緒的方法存在較大個體差異性，通常會結合其他識別內容方法，多以佩戴型產品或智能機器人形式運用，更便于交互行為。

2.2.4 行為線索數據

行為線索數據識別是指收集用戶的通話記錄、短信記錄、電子郵件、互聯網歷史和應用程序使用情況以及地址位置等信息，并使用多元線性回歸方法進行情緒預測[34]。Alajmi等[35]研發了一個在購物中心對商店進行評級和基于手機監測顧客情緒的反應系統，如圖4所示。其通過移動非侵入式可穿戴傳感器測量顧客的皮電信號并綜合智能手機上的定位程序了解顧客與商店之間的距離，以此判斷用戶情緒水平及在購物環境中的滿意度。

圖4 購物中心情緒監測系統示意圖Fig.4 Schematic diagram of mood monitoring system for shopping centers

3 情緒識別算法

情緒識別流程為：首先是在傳感器采集完各類信號數據后進行特征提取工作；然后構建情緒識別特征數據集，這些特征值與原始目標情緒標簽構成情緒識別模型訓練集；最后訓練情緒識別模型。在情緒識別中考慮到數據維度等問題，分類通常采用機器學習的方法，例如支持向量機(SVM)、K近鄰算法(KNN)等。情緒識別算法及識別準確度結果如表2所示。由于各實驗條件以及樣本熟練度和分類目標情緒的差異性問題，并不能準確比較各常用算法的分類優缺點。但SVM具有可處理高維小樣本的性能，大多數實驗采用該分類方法。KNN和決策樹(DT)是第二受歡迎的分類器，因為這2類算法只需要很少的參數調整，幾乎以現成的方式應用。在運用機器學習進行情緒識別過程中，進一步考慮到大數據量以及高維度特征問題后，開始將深度學習運用在情緒識別中，如深度置信網絡(DBN)和集成學習。從表2看出，集成方法(如AdaBoost)的使用頻率較低，但目前研究結果已證明集成方法是性能較強的分類器。Fernndez-Delgado等[36]在100多個不同的數據集上評估了179個分類器發現，隨機森林是最好的分類器。Rubin[37]采用隨機森林來檢測恐慌和恐慌前狀態，準確度分別達到97%和91%。

表2 情緒識別可穿戴研究中情緒類型和識別信號及結果總結Tab.2 Summary of emotion types and recognition signals and results in emotion recognition wearable research

此外，Boosting是一個強大的分類器，Friedman等[38]研究認為Boosting是“世界上最好的現成分類器”。Mozoso等[39]應用AdaBoost方法檢測壓力準確度達到94%。當前在情緒識別研究所用的算法中機器學習法占大多數，基于深度學習的方法運用較少。深度網絡分類器能夠通過層次結構剖析多模態信號數據特征，并可在未來的研究中運用深度學習方法提高情緒識別的準確度。

4 情緒識別的可穿戴技術或產品

情緒識別內容方法各有優缺點，考慮到設計可行性以及情緒識別的準確度，在智能可穿戴產品設計中，可利用多模態數據方法，即綜合利用不同的情緒識別方法展開可穿戴產品設計。不同情緒識別方法與可穿戴技術結合總結如表3所示。本文按照可穿戴式智能設備的支撐部分展開介紹，包括頭部穿戴類、手足部穿戴類和軀干穿戴類等。

表3 不同情緒識別方法與可穿戴技術結合總結Tab.3 Summary comparison of advantages and disadvantages of different methods of emotion recognition content

4.1 頭部類

頭部可穿戴設備通常設計為眼鏡或頭盔的形式，通過采集瞳孔大小以及面部表情等信號作為情緒識別監測內容。由皇家藝術學院和帝國理工學院的學生共同設計的Amoeba智能眼鏡[54](見圖5)，通過3個傳感器來監測人體情緒。呼吸頻率由在嘴巴附近的熱傳感器采集，鏡框上設置的攝像系統和皮膚傳感器用來采集眼動情況和監測出汗情況，綜合多模態數據進行情緒識別。

圖5 Amoeba智能眼鏡Fig.5 Amoeba smart glasses

Kwon等[55]研發了眼鏡式可穿戴系統，如圖6所示。該系統通過內置攝像頭和傳感器獲取面部表情與生理信號(光電脈搏容積和皮電)，其優點在于只是使用了局部側面表情就擁有較好的識別度，但同時也存在一定局限性，該設備在不同用戶使用前需重新掌握個體規律性。

圖6 眼鏡式可穿戴系統Fig.6 Eyewear wearable system

4.2 手足類

由于人體手腕部最適合穿戴，便于長時間監測血壓、心率等生理信號，因此，手足部可穿戴式智能設備最為常見。手足類的產品大都是智能手環、腳環、手表或手套的形式。徐詩怡[56]設計研發了一款針對老年人情緒監測的智能手環，通過手環傳感器對老年人的身體數據指標進行采集，將結構傳輸至子女手機APP中進行情緒判別；最終結果可在APP中顯示，便于子女對老人負向情緒的了解及判斷，及時幫助老人調節情緒問題。美國Galvactivator公司設計的情緒手套，通過檢測手溫、皮電和脈博次數進行情緒判別。若監測到負向情緒結果時，手套上的指示燈通過不停閃爍發出提示警報[57]。

4.3 軀干類

軀干穿戴類主要是以內衣、背心、裙子等織物形式出現。Lanata等[58]研究了個性化可穿戴式監測系統(PSYCHE)，如圖7所示。其是由1個T恤背心作為載體，內置傳感器由用于監測心電圖心率變異性(HRV)系列的紡織電極、呼吸活動的壓阻式傳感器和活動識別的三軸加速計組成，可為精神障礙患者和治療此類疾病的醫生提供信息和通信技術，但該智能背心識別系統屬于個性化系統，需要根據個人特征進行系統定制。

圖7 PSYCHE可穿戴監控系統模型Fig.7 PSYCHE prototype wearable monitoring system

2008年飛利浦公司推出創意概念服飾“布貝尓服”，如圖8所示。服裝顏色可由情緒決定，采用2層設計。內層配備生物識別傳感器，用以采集體溫和出汗量。情緒的變動會引起體溫和出汗量的變化，從而改變外層衣服的圖案和顏色，以監測人體情緒變化。當穿著人體處于憤怒或高壓狀態時，服裝會變成紅色，而平靜時則會變成綠色[59]。

圖8 飛利浦“布貝爾服”Fig.8 Philips "Buell suit"

5 結束語

目前，可穿戴技術在健康監測和運動健身等領域實現了智能化快速發展，但在情緒識別監測方面還有很大發展空間。

1)在柔性舒適采集設備方面，智能可穿戴監測硬件設施目前還都是利用電子傳感器，通常是手表式或固定裝置，如何制備柔性化和輕便化的監測設備是未來重要的研究方向。目前，一方面柔性電子學的最新進展促進了柔性傳感器和表皮電子學的發展，這可使監測信號的傳感器和信號處理單元織進織物中，提供了新的潛在監測位置；另一方面彈性電導線和柔性電池技術的研究發展也將會提供更高的穿戴舒適性。

2)在識別準確度方面，目前針對喚醒度維度情緒有很好的識別率，但效價維度情緒存在不易察覺、識別率低的問題；且情緒個體差異性也是一個無法規避的問題。有研究表明，汗液的化學成分可進一步提供人體的生理信息，因此，在情緒識別研究中可整合化學和電生理傳感器采集到的信息，為人體不同情緒狀態的生理反應研究提供新思路；未來還可利用多模態特征組合方法并同時優化識別算法，將深度學習應用在情緒識別領域，提高情緒識別準確度。

3)在交互方面，情緒識別結果大都通過智能終端如電腦、手機等呈現，未來可嘗試應用更多新型智能服裝材料將情感識別結果可視化，例如利用光纖以及變色材料等來呈現識別的不同結果。

情緒識別智能可穿戴設備有著廣泛的應用，如從醫療保健角度來看，基于可穿戴設備的情感識別系統能幫助監測精神障礙患者的情緒狀態，這些數據可有效幫助醫生診斷治療。此外，還可用于遠程教育、交通領域、城市規劃和服裝營銷等方面。情緒識別智能可穿戴設備盡管近年來取得了令人印象深刻的進展，但其仍處于研究發展階段，相信未來適用于日常生活的強大和個性化的情感識別可穿戴設備可為用戶提供更多價值。

FZXB