多維數據特征融合的用戶情緒識別*

陳　茜，史殿習，楊若松國防科技大學 計算機學院 并行與分布處理國防科技重點實驗室，長沙 410073

?

多維數據特征融合的用戶情緒識別*

陳茜+，史殿習，楊若松
國防科技大學 計算機學院 并行與分布處理國防科技重點實驗室，長沙 410073

Xi,SHI Dianxi,YANG Ruosong.User emotion recognition based on multidimensional data feature fusion.Journal of Frontiers of Computer Science and Technology,2016,10(6):751-760.

摘要：針對目前基于智能手機的情緒識別研究中所用數據較為單一，不能全面反應用戶行為模式，進而不能真實反應用戶情緒這一問題展開研究，基于智能手機從多個維度全面收集反應用戶日常行為的細粒度感知數據，采用多維數據特征融合方法，利用支持向量機（support vector machine，SVM）、隨機森林（random forest）等6種分類方法，基于離散情緒模型和環狀情緒模型兩種情緒分類模型，對12名志愿者的混合數據和個人數據分別進行情緒識別，并進行了對比實驗。實驗結果表明，該全面反應用戶行為的多維數據特征融合方法能夠很好地對用戶的情緒進行識別，其中使用個人數據進行情緒識別的準確率最高可達到79.78%，而且環狀情感模型分類結果明顯優于離散分類模型。

關鍵詞：情緒識別；情緒模型；機器學習；智能手機

ISSN 1673-9418CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(06)-0751-10

E-mail:fcst@vip.163.com

http://www.ceaj.org

Tel:+86-10-89056056

1　引言

人類在對外界事物進行探索和認知的過程中，會產生諸如喜悅、悲傷、憤怒、恐懼等主觀情感。人們把對客觀事物的態度體驗以及相對應的行為反應，稱為情緒（emotion）[1]。情緒作為一種不同于認識和意識的心理形式，不同程度上影響著人的學習、工作效率以及行為模式，在日常生活中扮演著重要的角色。

情緒識別作為人工智能和普適計算的重要組成部分，受到了業內人士的高度重視，已經成為當下的研究熱點，在人機交互、遠程教育、醫療保健、心理治療等多個領域均有廣闊的應用前景[2]。因為情緒通常是經由一些外在因素刺激而產生的主觀體驗（如喜、怒、哀、懼等情感），并伴有外部表現的變化（如面部表情、身體行為和聲音語調等）和生理反應的變化（如皮下的特定活動、心率的節奏等），因此可以獲得有關情緒狀態的一些觀測值。假設這些數據的觀測值有效可靠，那么就可以根據這些數據把潛在的情緒狀態推測出來。

目前，情緒識別領域已經取得了一系列的研究成果，但是絕大多數情緒識別工作都是基于面部表情以及語音語調的分析[3-4]。隨著智能手機內嵌傳感器的不斷增加，通過手機傳感器收集人們的日常行為已經變得觸手可及。本文采用移動群體感知技術[5-6]，并選取智能手機作為傳感器數據收集的平臺，主要原因如下：首先，智能手機的用戶眾多，如此大規模的潛在實驗數據收集對象是以前的相關研究未能達到的；其次，隨身攜帶手機已經逐漸成為一種習慣，并且隨著手機內嵌傳感器的增多，捕捉使用者的身體行為變化也變得更加容易；最后，基于智能手機的感知是非干擾式的，用戶的參與度低，相較傳統的捆綁式傳感器基本不會對用戶造成困擾。

正是由于智能手機具有上述優點，基于智能手機的情緒識別逐漸成為普適計算領域研究的熱點問題，并取得了一系列研究成果，其中最具代表性的工作包括EmotionSense[7]、MoodScope[8]、gottaFeeling[9]等。在此相關工作分析研究基礎上，本文針對目前基于智能手機的情緒識別研究中所使用的傳感器較為單一，大多數為通訊信息的記錄和位置信息，不能全面反應用戶行為模式這一問題，使用智能手機從多個維度全面收集反應用戶日常行為的細粒度感知數據，采用多維數據特征融合方法，利用支持向量機（support vector machine，SVM）、k-近鄰（k-nearest neighbor，kNN）、決策樹（decision tree）、AdaBoost、隨機森林（random forest）、梯度樹提升（gradient tree boosting,GTB）6種分類器以及離散情緒模型和環狀情緒模型兩種分類方式，對12名志愿者的混合數據和個人數據分別進行情緒識別，并進行了對比實驗。實驗結果表明，本文提出的全面反應用戶行為的多維數據特征融合方法，能夠很好地對用戶的情緒進行識別。雖然最初使用混合數據訓練準確率只有72.73%，但隨著對單個用戶進行個人數據訓練，準確率可以達到79.78%。在情緒分類模型的對比實驗中，環狀情感模型分類結果明顯優于離散分類模型。

本文組織結構如下：第2章對國內外相關工作進行分析和研究；第3章對本文選取的情緒分類模型進行簡要描述；第4章描述了總體框架結構；第5章描述了用戶問卷調查過程以及統計分析結果，同時對手機數據收集平臺以及所收集的多維數據進行了描述；第6章詳細闡述了特征提取過程，并設計了多個實驗對所提取的特征進行驗證；第7章進行了相關工作的比較；第8章對全文進行了歸納總結。

2　基本的情緒識別方法

自從1997年麻省理工學院媒體實驗室的Picard教授提出“情感計算”（affective computing）[10]這個概念之后，越來越多的學者對情緒識別展開研究，分別從面部表情、語音語調、生理信號和身體動作與姿勢等多種角度對情緒進行識別。

通過面部表情識別情緒的依據在于不同情緒狀態下人們的面部表情有顯著差異[11]，會產生特定的表情模式。美國的心理學家Ekman等人[3]開發了面部運動編碼系統（facial action coding system,FACS），并建立了幾千幅不同的表情圖像庫來對面部表情進行研究。隨后，研究人員又在FACS的基礎上相繼采用MPEG-4臉部參數運動法、主分量分析法等多種算法進行識別，但在基于圖像的情緒識別中實驗樣本大多與實際生活中的自然表情有不一致的地方，這種問題帶來的影響并不能很好地消除，因此導致識別率低，算法復雜度高等問題。

語音語調作為人類表達自己情感的一種重要方式，早在20世紀80年代就開始了系統性的研究[4]。但是語音信號的情緒識別需要建立龐大的情緒語音數據庫，并且個體差異比較明顯，而且還需要考慮說話人的內容，因此識別起來難度很大。

生理信號的變化很少受到人們主觀意識的控制，因而使用生理信號進行情緒識別相對來說更為客觀。但是生理信號存在著信號十分微弱以及干擾源多，噪聲大等各種問題[12]，并且實驗條件苛刻，因此這類方法大多局限于實驗室研究。

身體動作與姿勢的情緒識別也具有較大的局限性，以往的研究大多是針對各種情緒下的身體姿勢提取特征并建立特征庫[13]。但很多動作或姿勢并不具備明顯的情緒特征，因而在識別過程中并不能準確地分辨出結果。

對面部表情和語音進行情緒識別由來已久，但基于身體行為變化的研究則遠遠滯后于前者，原因在于后者大多是以身體動作與姿態作為研究對象，實驗難度相對更大，準確率也更低；而現今智能手機的發展與普及讓人們看到了基于身體行為研究情緒識別的一絲曙光。LiKamWa等人建立了心情傳感器MoodScope[8,14]，他們將用戶的通話記錄、短信記錄、郵件、上網歷史、應用程序使用情況以及位置的歷史數據進行收集，采用多元線性回歸的方法來進行心情的推測。Bogomolov等人[15]也利用手機作為數據采集終端來對用戶的幸福感進行識別，以通話記錄、短信記錄和藍牙信息作為采集數據輔佐以天氣因素和人格測試，采用隨機森林的方法進行訓練。這些已有的基于智能手機的情緒識別方法研究所使用的傳感器較為單一，大多數為通訊信息的記錄和位置信息，不能全面地記錄用戶的行為模式，因此本文在已有研究的基礎上進行了相應的拓展，使用數據收集工具在后臺對以加速度計、陀螺儀、磁力計為代表的運動傳感器數據，以光傳感器和GPS為代表的環境傳感器數據，還有各種社交信息、手機使用信息和手機狀態信息（例如聯網狀態、充電狀態等）采用機會式感知的方式[6]進行收集，以求更全面地感知用戶行為，使得對用戶情緒的識別更加準確。

3　情緒分類模型

進行情緒識別面臨的首要問題是建立情緒分類模型，即如何對情緒進行劃分。通常講，采用一個國際通用的標準便于對不同的研究結果進行比較，雖然學術界關于如何有效地劃分情緒狀態一直存在爭議，但其共同點是都認為情緒與生理反應之間存在一定的映射關系。目前使用較多的分類模型有兩種:一種是將情緒以離散的模式劃分為幾種基本情緒[16-17]，如喜、怒、哀、懼；另一種則是認為情緒是連續的，使用維度空間模型進行劃分[18]。

3.1基本情緒模型

基本情緒模型認為情緒是離散可分的，由數種基本情緒類型組成。迄今為止，已經有許多研究者對情緒進行了不同精度的劃分。其中，在情緒圖書館（emotion library）[19]中定義了14種情緒，但這些情緒中很多具有一定的相似性，區分起來難度很高。因此，本文采取了被社會心理學家廣泛使用的一種劃分方式，即將情緒圖書館中所有種類的情緒通過聚類的方式劃分到5種標準情緒庫中，分別為高興（happy）、悲傷（sad）、害怕（fear）、生氣（anger）、中性（neutral）。這5種廣義情緒區分度明顯，辨識度較高，因此將其作為基本情緒模型中的具體分類進行研究。

3.2維度空間模型

維度空間論則認為，情緒之間不是獨立存在的，而是存在著一種連續、漸變的關系。本文采取了較為經典的環狀情感模型（circumplex model of affect）[18]，如圖1所示。這個模型由愉悅（pleasure）維度和活躍（activeness）維度兩部分組成。其中愉悅維度用來衡量一個人的感覺是積極還是消極，活躍維度則用來表示一個人在某種情緒下的行為是主動或是被動。圖1中，每種基本情緒都可以通過被分解為愉悅度和活躍度從而在環狀模型中大致定位。

Fig.1　Circumplex emotion model圖1　環狀情感模型

雖然兩種分類模型之間并沒有一種精準的轉換方法，但也能從中看出它們并不是互相排斥的。因此，本文分別使用這兩種分類模型進行了對比實驗，以尋求更合適的分類方法，得到更高的準確率。

4　情緒識別的框架流程

Fig.2　Framework process of emotion recognition圖2　情緒識別的框架流程

本文所采用的情緒識別框架流程如圖2所示。在數據收集前，首先對情緒如何影響人的行為模式進行預調查（采用網上問卷的形式），并以調查結果作為手機數據采集的依據；其次，采用一個基于Android平臺的數據收集工具實時采集手機數據，同時開發一個情緒記錄工具供用戶每天記錄；然后，對所采集的多維數據進行預處理、特征提取以及進行多維數據的特征融合；最后，設計多組實驗，基于多維數據的融合特征，采用支持向量機等6種分類器以及基本情緒模型和環狀情緒模型兩種分類方式，對多個人的混合數據和個人數據分別進行情緒識別和對比驗證。

5　用戶調查和數據收集

作為前期準備，首先設計并在線發布了一份主題為“情緒變化對行為影響”的問卷調查；然后根據問卷調查的統計結果，篩選出需要采集的數據，并且確定用戶手動記錄情緒的頻率。

5.1預調查——網上問卷調查

在數據采集前，首先需要確定收集哪些數據，即情緒的變化可能導致哪些行為發生變化，需要確定可以反映出用戶行為變化的手機數據，然后通過這些數據識別用戶的情緒。為了獲取到最可能反映個人行為變化的傳感器數據，設計了一張問卷調查，部分內容如圖3所示（完整部分請參考文獻[20]）。

本次問卷調查從在網上發布到最終回收歷時10天，總共有117名參與者匿名參與了問卷調查的填寫。經過統計，發現男女人數比例大概維持在1.2:1，即人數大致平等，且超過85%的人處于18歲至30歲，這部分參與者隨身攜帶手機的比例超過90%，因此本文選擇智能手機作為傳感器數據收集的平臺完全合理。結果顯示，46.7%的參與者每天使用手機的時間在2小時至4小時之間，33.4%的參與者每天使用手機的時間超過4小時，只有不足20%的參與者使用手機時間少于2小時。另外，大部分參與者認為包括正在使用的應用程序、通話記錄、短信、微信、運動情況等在內的多項數據都可以反映出使用者的行為。為此，根據問卷調查的結果選擇出需要收集的數據項以及用戶手動記錄心情的頻率，實現準確率高且干擾性低的預期目標。

Fig.3　Questionnaire:effect of emotion changes on behaviors圖3　問卷調查：情緒變化對行為的影響

5.2數據收集

本文使用StarLog作為數據收集工具。StarLog是根據需要對UbiqLog[21]進行擴展和改進的一款安卓平臺數據收集軟件，其主界面如圖4所示。根據5.1節統計分析后得到的結果，確定收集以下種類的數據：（1）運動類感知數據，包括加速計、陀螺儀、磁力計以及活動狀態（可判定用戶處在靜止、低速或高速狀態）；（2）環境類感知數據，包括光傳感器和GPS信息；（3）手機使用數據，包括通話、短信、微信、QQ以及藍牙記錄等社交記錄，WiFi、App使用、屏幕解鎖和鎖屏、拍照等使用記錄以及手機狀態記錄（手機模式、是否聯網、是否充電）。因為當用戶睡覺后手機會處于閑置狀態，并且根據實驗開始前對志愿者的詢問，大多數人會在早上7點至7點半起床，晚上10點半至11點睡覺，且睡覺有關機或者使用飛行模式的習慣，因此文中數據收集時間是每天從早上7點半到晚上10點半，總計15個小時。

Fig.4　Main interface of data collection framework圖4　數據收集框架主界面

5.3情緒記錄

根據問卷調查統計結果，被調查者選擇愿意每4小時或每6小時記錄一次的結果總和超過90%，因此，以此作為參考，同時本著對參與者干擾最少的原則，本文最終選擇每隔5個小時記錄一次用戶情緒狀態，即每天記錄3次，分別代表當日上午、下午和晚上的情緒。為了方便參與者對其情緒狀況進行記錄，設計并開發情緒記錄收集工具，如圖5所示。其中，圖5（a）上部分有兩行滑動條，分別代表愉悅度和活躍度，取值范圍為1～5，分別代表非常不愉悅（非常不活躍）、不愉悅（不活躍）、中性（平靜）、愉悅（活躍）、非常愉悅（非常活躍）；圖5（a）下部分是一個離散的基本情緒輸入對話框。因此用戶需要在圖5（a）中采用兩種情緒模型分別進行記錄，如前文所述，完成記錄后需要點擊下方保存情緒按鈕。圖5（b）是一個展示歷史情緒記錄的界面，用戶可以對已記錄的情緒進行查看、刪除等操作。圖5（c）則為文件導出界面，可以將情緒記錄數據導出為txt文檔或sql數據庫格式，并具有清除數據的功能。

Fig.5　Emotion recordApp圖5　情緒記錄App

6　實驗驗證和結果分析

6.1實驗數據來源

為了驗證本文所提出的采用多維數據特征融合方法進行情緒識別的有效性，招募了12名研究生作為志愿者（7名男性和5名女性）進行連續一個月的數據收集工作（全部使用安卓手機）。在數據開始收集前為這12名志愿者進行了數據收集軟件和情緒記錄軟件的安裝與使用培訓，以確保每個人收到的數據有效、可利用。作為對這12名志愿者的回報，在實驗開始時給每人發放了一個容量為32 GB的手機存儲卡。

6.2預處理和特征提取

6.2.1運動類感知數據的預處理和特征提取

運動感知數據包括加速度計、陀螺儀、磁力計和活動狀態等4類數據。其中，加速度計、陀螺儀和磁力計的數據收集信息包括時間以及相應的三軸數據；活動狀態的數據收集信息包括開始時間、結束時間以及這段時間內的狀態（靜止、慢速或快速）。

進行預處理時，采用了具有50%重疊的滑動窗口對加速度計、陀螺儀和磁力計的數據進行分割，分割后的窗口時間長度一般為5 s；然后再對分割后的數據窗口分別提取最大值、最小值、均值、標準差、波形個數、波峰均值、波谷均值、波峰與波谷差值的最大值、波峰與波谷差值的最小值這9個特征值；又因為這3種傳感器都是三軸傳感器，所以每種傳感器可以提取27個特征。而且，可以根據活動狀態的數據（根據加速度計等傳感器計算得出）來判斷用戶每天處于靜止、慢速和快速的時間占總時間的比例，可以提取3個特征值，因此運動傳感器總共提取出了84個特征。

6.2.2環境類感知數據的預處理和特征提取

環境感知數據包括光傳感器數據和GPS數據兩類。其中，光傳感器數據收集信息包括時間以及相應的光強度；GPS的數據收集信息包括時間、經度、緯度、高度和精度。

將光傳感器數據繪制成圖后，可以發現其數據數值大小差異明顯，當手機放置在衣物口袋或包中時，數值較小，大多集中在0～100之間；當在室內時，大多數是受到燈光照射的情況，數值多集中在100～1 000之間；當處于戶外時，受到太陽直射，采集到的數值很大，多集中在1 000～20 000之間。根據這些特點，將光傳感器數據進行分類，并提取出3個特征，分別為手機未被使用、在室內使用以及在戶外使用的比例。

GPS采用高頻進行采集（每30 s記錄一次），然后使用K-means聚類算法[22]對數據進行聚類分析，得到用戶每天去過的位置個數，為了衡量不同用戶在不同位置停留時間長短的比例，采用式（1）進行計算：其中，pi為用戶在第i個位置記錄的數據占總記錄數據的比例。信息熵H(u)表示信息出現的概率或不確定性，可以看作是對信息有序化度量。也就是說當采集的位置越多，熵越大，數據越混亂；采集的位置越少，熵越小，數據越有序。假如某個用戶一天都在家中，經過聚類后只有一個位置，那么熵就是0，表示處于一種有序狀態。因此，GPS數據的特征值有兩個，分別為經過聚類的位置個數以及熵值。

6.2.3手機使用記錄相關數據的預處理和特征提取

手機使用記錄的數據可以分為社交信息、手機使用信息和手機狀態信息3類。

社交信息包括通話記錄、短信記錄、微信、QQ消息和藍牙。其中，通話的數據收集信息包括時間、經過加密處理的通話號碼、通話時長和通話類別；短信、微信、QQ的數據收集信息包括時間和經過加密處理的通信號碼；藍牙的數據收集信息包括時間、藍牙地址和連接狀態。對此，統計了通話個數，通話時長，最頻繁通話時長占總時長的比例，接收短信、微信、QQ消息的條數以及最頻繁聯系人發送消息總數占總條數的比例，檢測到的藍牙個數以及其中連接過的個數，總共11個特征。

手機使用信息包括WiFi、App使用、屏幕鎖屏和解鎖以及拍照情況。其中，WiFi的數據收集信息包括時間、SSID、BSSID以及連接狀態；App使用的數據收集信息包括開始時間、結束時間以及進程名；屏幕鎖屏和解鎖的數據收集信息包括屏幕點亮時間、屏幕解鎖時間、屏幕暗時間；拍照的數據收集信息包括時間以及相應的經緯度。對此，統計了手機周邊WiFi個數以及連接過的個數；統計App使用時間需要對安卓系統或是手機系統軟件運行時間進行過濾，即只對前臺非系統程序的使用情況進行計算；統計屏幕相關數據時需要對屏幕亮、屏幕暗的時間分別做計算并記錄解鎖次數；照相情況只需要簡單統計次數。因此這部分可以提取7個特征。

手機狀態信息對包括時間，鈴聲模式（鈴聲開、鈴聲關），飛行模式（飛行模式開、飛行模式關），網絡連接模式（數據流量連接、WiFi連接或者未連接），充電狀態（充電、未充電）在內的5種數據進行記錄，根據各類數據處于不同模式的比例，提取了9個特征。

6.3實驗和結果分析

6.3.1數據篩選和分類實驗

實驗使用StarLog數據收集平臺采集每天上午7:30至夜間22:30總計15個小時的數據，同時將每天記錄的3次情緒分別與上午、下午和晚上的數據相對應，作為已提取特征的標簽，便于后期進行學習與訓練。

本文采用12名志愿者連續一個月的數據總計1 080條（每5個小時采集的數據整體作為一條記錄）作為實驗數據，但完成收集實驗后，經過統計發現數據存在缺少和丟失的現象。調查發現，數據收集過程中存在以下問題：首先，WiFi、藍牙和GPS需要每天開啟15個小時，以及數據收集軟件的持續收集造成了耗電量高的現象，因此當不能及時充電時，部分用戶會選擇暫時停止數據的收集，就造成了傳感器數據的缺失；其次，用戶并沒有對記錄情緒這一行為形成習慣，可能有時忘記記錄，造成情緒標簽的缺失。這兩個原因造成了部分數據的不完整，經過篩選，最終選出743條有效數據作為數據樣例，其中每條數據樣例將各部分特征以等權重進行特征拼接并融合成為一個116維的新特征；然后采用交叉驗證的方法對數據進行劃分，其中80%作為訓練數據，20%作為測試數據。

最終，本實驗采用支持向量機、k-近鄰、決策樹、AdaBoost、隨機森林、梯度樹提升6種分類器，并基本情緒模型和環狀情緒模型兩種分類方式對混合數據（全部12人）和個人數據進行對比實驗。

另外，對環狀情緒模型中愉悅度和活躍度的相關性進行了統計分析，如表1所示。表中P1～P5分別代表非常不愉悅、不愉悅、中性、愉悅、非常愉悅，A1～ A5分別代表非常不活躍、不活躍、平靜、活躍、非常活躍。根據統計結果，發現用戶情緒處于(P3,A3)的概率最大，其次是(P4,A3)和(P4,A4)，這表明用戶大多數處于平靜狀態，并且高興的概率要遠遠大于悲傷的概率。其中(P1,A4)、(P1,A5)、(P5,A1)、(P5,A4)的概率為0，充分表明愉悅度和活躍度的統一，二者呈正相關關系。因為本文主要探討用戶的情緒，所以后文中如無特殊提及，環狀情緒模型的準確率都是指愉悅度的準確率。

Table 1　Correlation analysis of pleasure and activeness表1　愉悅度和活躍度相關性分析　%

6.3.2實驗結果分析

首先，使用混合數據進行分類，實驗結果如圖6所示。可以看出，當采用基本情緒模型作為情緒分類標準時，隨機森林分類器識別的準確率最高，可以達到65.91%；采用環狀情緒模型作為情緒分類標準時，也是隨機森林的識別率排在首位，可以達到72.73%。

對比兩種分類模型準確率，發現在混合數據實驗中6種分類器使用環狀情緒模型識別的結果都要比基本情緒模型準確率更高。對此實驗結果，可以認為連續的情緒比離散的情緒識別度更高的原因在于連續的情緒是一種模糊的衡量方式，它比具體地將情緒劃分到某一類更人性化，便于用戶選擇。在后期回訪中，一部分志愿者也曾經表示有時需要記錄的情緒并不在備選的5種離散情緒中，不知道該如何選擇。關于如何劃分類型才能更全面衡量情緒的問題是學術界爭論的焦點，這同時也是離散情緒識別過程中需要克服的一個難題。

Fig.6　Recognition accuracy rate of hybrid data圖6　混合數據情緒識別準確率

Fig.8　Comparison of discrete emotional model of hybriddata and personal data圖8　混合數據和個人數據的基本情緒模型對比

接下來使用個人數據進行分類，將12名志愿者的全部個人數據進行訓練后發現，每名志愿者最多有30天的數據量，部分數據缺失對實驗結果造成的影響較大，因此選取其中一名數據量最完整的志愿者進行分析。該名志愿者連續30天共計90條450小時的數據記錄完整，是參與實驗的12名志愿者中數據最多的一人（共計2.65 GB數據），實驗結果如圖7所示。結果表明，隨機森林依然是識別率最高的分類器，對基本情緒模型和環狀情緒模型的識別率可以達到70.00%和79.78%；并且使用環狀情緒模型識別的結果也比基本情緒模型準確率更高。

通過對比混合數據、個人數據在基本情緒模型以及環狀情緒模型下的識別率（如圖8和圖9所示），可以發現雖然個人數據的最高識別率比混合數據高，但少數分類器也有混合數據識別準確率更高的情況出現。從而可以認為每個用戶使用手機的模式都存在差異性，用個人的數據進行訓練更容易得到適合用戶本身的模型，這樣比混合數據更具有針對性，因此得到的準確率更高。然而本實驗中，個人數據量相對較少，某些分類器對較少數據的分類結果可能并不理想，有時會出現混合模型準確率更高的情況。

Fig.7　Recognition accuracy rate of personal data圖7　個人數據情緒識別準確率

Fig.9　Comparison of circumplex emotional model ofhybrid data and personal data圖9　混合數據和個人數據的環狀情緒模型對比

7　相關工作比較

gottaFeeling[9]是一個iOS平臺上用戶記錄和分享自己情緒的應用，通過使用這個應用可以增加朋友間互動，提高彼此的親密度。雖然這個應用并沒有進行情緒的推測，但是它為本文的研究提供了值得研究的動機。

EmotionSense[7]選取專業演員進行多種情緒的音頻錄制，并使用高斯混合模型進行訓練，將訓練后的聲音情緒識別模型裝載到手機上，并對高興、悲傷、恐懼、生氣和中性5類情緒進行識別。因為Emotion-Sense中請專業演員進行錄制，并且準備了相等數據量的各種情緒數據，所以作為均衡樣本，可以分別對每種情緒進行識別，準確率依次達到58.67%、60.00%、60.00%、64.00%、84.66%。但是日常生活中大多數人的情緒是以中性和高興居多[8]，且本文實驗采集到的數據也大多集中在中性和高興兩類，與前文所述一致，更具有真實意義。本文的情緒識別準確率指的是各種情緒識別率的平均值，并沒有計算單類情緒的識別率，將在下一步工作中針對單類情緒識別做進一步研究。

MoodScope[8]是和本文較為類似的研究，它通過對社交記錄（電話、短信和郵件）和日常活動記錄（瀏覽器歷史、應用使用記錄和歷史位置）這兩類數據的數據集訓練用戶的心情模型，最終可以達到93.00%的準確率。本文在數據收集前使用問卷調查的形式充分了解用戶使用智能手機的習慣，并最終選擇收集3大類共計15種數據，提取了116維特征進行訓練。本文采集的數據幾乎包括了用戶使用手機的各種習慣，提取的數據特征相較來說類型豐富，更有價值性。MoodScope提取特征維數較低，因此同等數據量下準確率更高；隨著提取的特征維數的增高，在高維空間下樣本分布越來越稀疏，要避免過擬合的出現，就要持續增加樣本數量。為了進一步提高情緒識別的準確率，將繼續進行數據的收集工作。

8　結束語

本文對用戶的情緒進行識別時，分別使用了6種分類器對兩種不同情緒分類方式進行識別，結果表明采用隨機森林分類器明顯優于其他分類器，并且環狀情緒模型的識別率較高。每名用戶都有自己的手機使用習慣和行為模式，因此使用個人數據將比混合數據更合適。下一步需要持續進行數據的收集工作，并為每個用戶建立屬于自己的情緒模型，識別出單類情緒，完成一個情緒實時推送平臺。

References:

[1]Meng Shaolan.Human emotion[M].Shanghai:Shanghai People’s Publishing House,1989.

[2]Calvo R A,D'Mello S.Affect detection:an interdisciplinary review of models,methods,and their applications[J].IEEE Transactions onAffective Computing,2010,1(1):18-37.

[3]Ekman P,Friesen W V,Hager J C.Facial action coding system[M].Salt Lake City,USA:AHuman Face,2002.

[4]Lee C M,Narayanan S S.Toward detecting emotions in spoken dialogs[J].IEEE Transactions on Speech and Audio Processing,2005,13(2):293-303.

[5]Khan W Z,Xiang Y,Aalsalem M Y,et al.Mobile phone sensing systems:a survey[J].IEEE Communications Surveys&Tutorials,2013,15(1):402-427.

[6]Xiong Ying,Shi Dianxi,Ding Bo,et al.Survey of mobile sensing[J].Chinese Journal of Computer Science,2014,41 (4):1-8.

[7]Rachuri K K,Musolesi M,Mascolo C,et al.EmotionSense: a mobile phones based adaptive platform for experimental social psychology research[C]//Proceedings of the 12th ACM International Conference on Ubiquitous Computing, Copenhagen,Denmark,Sep 26-29,2010.New York,USA: ACM,2010:281-290.

[8]LiKamWa R,Liu Yunxin,Lane N D,et al.MoodScope:building a mood sensor from smartphone usage patterns[C]//Proceedings of the 11th Annual International Conference on Mobile Systems,Applications,and Services,Taipei,China, Jun 25-28,2013.New York,USA:ACM,2013:389-402.

[9]The gottaFeeling application[EB/OL].[2015-06-29].http:// gottafeeling.com/.

[10]Picard R W.Affective computing[M].Cambridge,USA:MIT Press,1997.

[11]Ma Fei,Liu Hongjuan,Cheng Ronghua.Research of facial expression recognization based on facial features[J].Chinese Journal of Computer and Digital Engineering,2011,39 (9):111-113.

[12]Dang Hongshe,Guo Chujia,Zhang Na.Research progress of emotion recognition in information fusion[J].Chinese Journal ofApplicationResearchofComputers,2013,30(12):3536-3539.

[13]de Gelder B.Towards the neurobiology of emotional body language[J].Nature Reviews Neuroscience,2006,7(3): 242-249.

[14]LiKamWa R,Liu Yunxin,Lane N D,et al.Can your smartphone infer your mood?[C]//Proceedings of the 2nd International Workshop on Sensing Applications on Mobile Phones,Seattle,USA,Nov 1,2011.

[15]Bogomolov A,Lepri B,Pianesi F.Happiness recognition from mobile phone data[C]//Proceedings of the 2013 International Conference on Social Computing,Alexandria,USA, Sep 8-14,2013.Piscataway,USA:IEEE,2013:790-795.

[16]Ekman P.Universal and cultural differences in facial expressions of emotion[M]//Nebraska Symposium on Motivation. Lincoln,USA:Nebraska University Press,1971:207-283.

[17]Tomkins S S.Affect,imagery,consciousness[M].Berlin: Springer,1962.

[18]Russell J A.A circumplex model of affect[J].Journal of Personality and Social Psychology,1980,39(6):1161-1178.

[19]Feldman Barrett L,Russell J A.Independence and bipolarity in the structure of current affect[J].Journal of Personality and Social Psychology,1998,74(4):967-984.

[20]The influence of emotion changes in behavior[EB/OL]. [2015-06-29].http://www.sojump.com/jq/4414533.aspx.

[21]Rawassizadeh R,Tomitsch M,Wac K,et al.UbiqLog:a generic mobile phone-based life-log framework[J].Personal and Ubiquitous Computing,2013,17(4):621-637.

[22]Hartigan J A,Wong M A.Algorithm AS 136:a k-means clustering algorithm[J].Journal of the Royal Statistical Society:Series CApplied Statistics,1979,28(1):100-108.

附中文參考文獻：

[1]孟昭蘭.人類情緒[M].上海:上海人民出版社,1989.

[6]熊英,史殿習,丁博,等.移動群體感知技術研究[J].計算機科學,2014,41(4):1-8.

[11]馬飛,劉紅娟,程榮花.基于人臉五官結構特征的表情識別研究[J].計算機與數字工程,2011,39(9):111-113.

[12]黨宏社,郭楚佳,張娜.信息融合技術在情緒識別領域的研究展望[J].計算機應用研究,2013,30(12):3536-3539.

[20]情緒變化對行為的影響[EB/OL].[2015-06-29].http:// www.sojump.com/jq/4-414533.aspx.

CHEN Xi was born in 1991.She is an M.S.candidate at National University of Defense Technology.Her research interests include distributed computation and mobile sensing.

陳茜（1991—），女，天津塘沽人，國防科技大學計算機學院碩士研究生，主要研究領域為分布式計算技術，移動感知。

SHI Dianxi was born in 1966.He received the Ph.D.degree in computer science from National University of Defense Technology.Now he is a professor and M.S supervisor at National University of Defense Technology,and the member of CCF.His research interests include distributed computing,pervasive computing and software engineering.

史殿習（1966—），男，山東龍口人，國防科技大學博士，現為國防科技大學教授、碩士生導師，CCF會員，主要研究領域為分布式計算，普適計算，軟件工程。

YANG Ruosong was born in 1991.He is an M.S.candidate at National University of Defense Technology.His research interests include distributed computation and mobile sensing.

楊若松（1991—)，男，陜西咸陽人，國防科技大學計算機學院碩士研究生，主要研究領域為分布式計算技術，移動感知。

*The National Natural Science Foundation of China under grant No.61202117(國家自然科學基金).

Received 2015-07,Accepted 2015-09.

CNKI網絡優先出版:2015-10-09,http://www.cnki.net/kcms/detail/11.5602.TP.20151009.1541.002.html

+Corresponding author:E-mail:476330186@qq.comCHEN

文獻標志碼：A

中圖分類號：TP399

doi:10.3778/j.issn.1673-9418.1509014

User Emotion Recognition Based on Multidimensional Data Feature Fusion?

CHEN Xi+,SHI Dianxi,YANG Ruosong
National Laboratory for Parallel and Distributed Processing,College of Computer,National University of Defense Technology,Changsha 410073,China

Abstract:This paper studies the problem how to recognize the user emotion based on smartphone data more really. With single data used in the previous research,it cannot make a comprehensive response of user behavior patterns.So this paper collects fine-grained sensing data which can reflect user daily behavior fully from multiple dimensions based on smartphone,and then uses multidimensional data feature fusion method and six classification methods such as support vector machine(SVM)and random forest.Finally,this paper carries out contrast experiments with twelve volunteers’hybrid data and personal data respectively to recognize user emotion based on discrete emotion model and circumplex emotion model.The results show that the multidimensional data feature fusion method can reflect user behavior comprehensively and presents high accuracy.After personal data training,the accuracy rate of emotion recognition can reach 79.78%.In the experiments of different emotion models,the circumplex emotion model is better than discrete emotion model.

Key words:emotion recognition;emotion model;machine learning;smartphone