基于生活日志的情緒識別

王鵬宇，張 敏，馬為之，劉奕群，馬少平

(1. 清華大學 計算機科學與技術系，北京 100084；2. 清華大學 人工智能研究院，北京 100084；3. 清華大學 北京信息科學與技術國家研究中心，北京 100084)

0 引言

抑郁癥已經成為威脅當代人精神和生理健康的重要因素。其不僅是導致精神障礙和自殺的主要原因之一，而且還與某些生理疾病相關。調查和分析[1]表明，抑郁癥與生理疾病(如中風)的發病率和死亡率風險的顯著增高有一定的相關性。因此，如何有效防治抑郁癥已經成為現代醫學一個重要的課題。

目前對于抑郁癥的診察和治療手段主要側重于對患者的確診和治療，而缺乏對于潛在抑郁癥用戶的檢測手段。由于用戶對情緒傾向的自檢不一定準確，潛在抑郁癥用戶并不容易察覺自己的情緒狀況。此外，缺乏對患者情緒的實時監測手段，依靠定時給藥等治療方式難以應對突發的激烈情緒波動。同時，抑郁癥存在一定的復發率，對于已治愈者，還缺少長期有效的觀測手段。

抑郁癥的主要特征包括心情低落、缺乏興趣等情緒表現，故實時有效地判斷和識別用戶情緒的方法對于抑郁癥的發現和治療大有意義。首先，實時的情緒識別有利于用戶自檢，便于潛在患者及時尋求醫療幫助；其次，醫生可以通過對患者的情緒監測來判斷是否應該改變治療方式；最后，對于一度治愈抑郁癥的人群，同樣可以確認其是否再次發病。

對用戶的情緒識別，尤其是實時的多模態情緒識別是近年來情感識別領域的熱點話題。由于人們展現情緒的手段包括文字、表情、語音、動作、生理信號等多模態的方式，將用戶的多模態的生活日志信息應用于情感預測的方式也已經被認為是主流的情緒識別手段。Busso 等人[2]的實驗也表明，融合了用戶多方面生活日志的模型在情緒識別方面優于僅使用單一數據的模型。要做到實時、準確地識別情緒，采集用戶多種生活日志數據可以說是勢在必行。

由于用戶情緒是用戶對于外在事物的生理反應，所以用戶生理和行為上的各種信息就成了用戶情緒的直觀表現之一。這些信息包括心率、血壓、步數、活動類型和活動強度等，對用戶生活日志的采集和分析，將會給預測用戶情感和保障用戶健康帶來莫大幫助。近年來，智能可穿戴設備的普及，使得從用戶處全天候大量采集生理活動信息數據成為可能，相關的生活記錄信息已被應用到心理健康領域的研究中，這為我們的工作提供了思路。

1 研究目標和內容

本工作的目標為試圖提出一種基于用戶生活日志信息的情緒識別方法，并檢驗將其應用于一般用戶和抑郁癥患者用戶的效果。

由于本工作為將基于生活日志的情緒識別方法應用在抑郁癥領域的初次嘗試，沒有相應的成熟數據集，故本工作中，我們將從收集和整理用戶生活日志和情感標簽數據出發，構建數據集，進而對生活日志數據的特征進行統計分析。

另外，由于基于生活日志的抑郁癥相關研究還屬于新的領域，所以我們的工作將更加側重于對情緒識別可行性和可擴展性的研究上，而非提出新模型。本工作嘗試將生活日志數據應用在一般用戶和抑郁癥患者用戶具體的情緒預測工作中，檢驗使用生活日志對抑郁癥患者情緒預測的可行性，并進行相應的對比實驗，對結果及其意義進行討論。

2 相關工作

2.1 用戶生理特征和情緒的關系

心理學研究已經對用戶的一系列生理特征諸如血壓、心率、運動情況和用戶情緒之間的關系展開了探索。其中對于血壓的研究中，Davydov等人的實驗[3]指出，心血管收縮壓的強度與用戶的消極情緒喚起度有著直接的聯系；Southard等人關于28位青少年血壓和情感的研究[4]表明，血液的動態收縮壓與焦慮、敵對、抑郁和緊張的情緒呈正相關關系，而動態舒張壓與青少年敵意、抑郁和不安情緒以及其對環境的敵意感知相關；而在關于靜息收縮壓的研究中，Johnson對32名男性志愿者的壓力和喚起度的測量和分析[5]顯示，靜息收縮壓水平和部分用戶的焦慮情緒有相關性。關于心率的研究中，Brosschot等人的實驗[6]發現，相比積極情緒，消極情緒對于心率的影響時間更長；而Joel等人的研究[7]揭示，在緊張性刺激的應激源影響下的高頻心率變化和抑郁情緒有關。

除了循環系統方面的研究，還有一部分研究人員對用戶的腦電圖(EEG)和皮膚電流反映(GSR)曲線進行了研究。Li Yang等人[8]針對腦電情感識別問題提出了一種新的回歸模型，并在14名受試者的腦電情感數據上進行了驗證；Pawel 等人[9]將EEG和GSR信息結合起來，對27名被試者的觀影情緒進行了識別；在Vahey等人的一篇綜述[10]中陳述了這一事實： 情緒障礙的人群的GSR曲線更加平緩，同時平均曲線高度也低于正常人群。

用戶運動狀態和睡眠質量的研究也已經有所進展，Thayer等人發現[11]，人的情緒傾向與每天走的步數有關，步數越多，越容易產生積極的情緒傾向；Sano 等人對大學生睡眠時間和睡眠不規則性的分析[12]顯示，悲傷情緒和不良健康相關因素之間有統計學意義的關聯，睡眠規律是比睡眠時間更重要的情緒鑒別器。

2.2 基于生活日志信息的分析與挖掘

通過智能設備對用戶進行全天候的信息采集，可以使我們方便地獲得更加豐富的數據供學習和訓練。同時，用戶的生活記錄信息受到包括自然語言理解和情感識別等領域在內的各個研究領域的重視，NTCIR-13[13]也將用戶生活記錄信息的處理作為其核心任務之一。

在有關用戶生活日志數據的研究中，情感相關的研究取得了多樣的成果。Rika Mochizuki等人提出了基于用戶生活日志比較的情感交流[14]和情感分享[15]模型;Nomiya等人[16]提出了基于面部表情在生活日志視頻中探測情感場景的算法。

此外，生活日志信息也被用于人格分析和用戶的個性化建模領域,同樣取得了相當可靠的結果。Soleimaninejadian 等人的實驗[17]中，將用戶的性別、情緒變化、心率和房間的信息用作材料，分析了用戶人格方面的特征；Mafrur等人[18]則基于智能手機傳感器收集的信息，對用戶進行了行為識別以及個性化的行為建模，并提出了數據缺失的解決方案。

2.3 現有工作中的不足

在現有研究用戶生理與情緒相關性的心理學實驗中，多限定測量用戶在相對特殊條件下的情感，或者使用不便攜帶的儀器測量用戶的生理信號，難以做到一般性和便攜性；而現有的生活日志相關研究中，多數情況下只采用某一種生理信息作為參考，并且難以做到實時預測。另外，在抑郁癥相關的生活日志采集與相應的情感識別方面，目前還是空白。而本文的工作將直接以用戶在一般生活中的多種生理數據為依據，嘗試實時預測情感。同時，我們的工作也將驗證基于生活日志的情緒識別在抑郁癥相關場景下是否可行。

3 數據的采集與分析

3.1 生活日志數據的采集與整合

由于本工作是生活日志應用于抑郁癥患者情緒識別的第一個工作，沒有成熟的抑郁癥患者相關生活日志和情緒標簽的數據集。因此，本工作必須從收集一般用戶和患者用戶的生活日志和情感標簽數據出發，同時整合已有的其他方面的生活日志數據集，構建本工作所需的抑郁癥相關的生活日志與情感數據集。

3.1.1 手環數據的采集與整合

本工作中，使用小米手環3及與其配套的開源安卓應用Gadgetbridge作為數據的采集手段，對1位一般用戶和兩位抑郁傾向用戶進行了數據采集。通過定期將用戶的手環與Gadgetbridge應用進行同步，采集并保存用戶的生活日志數據，三位用戶均全天佩戴手環。與此同時，本工作還整合了開源的LifeMusic數據集中13位一般用戶的數據。

手環數據的采集頻率為每分鐘一次，采集的生活日志數據包括4種特征： 用戶在采集數據時的活動類型、用戶當時的活動強度、用戶的心率、以及該分鐘內用戶走過的步數。

3.1.2 用戶情感標簽的采集與整合

用戶在佩戴手環采集生活日志數據的同時，也按照要求記錄自己每日的活動。其記錄的信息包括： 活動開始時間和結束時間、活動的類型、活動起止時的情緒。完整的情感標簽采集表格及示例數據如表1所示，其中“情緒”一欄為從表2中展示的12種預選項中選擇一項。

同時，為減少用戶記錄壓力，我們僅要求用戶約每小時記錄一次情感標簽數據。將采集到的情感標簽添加到生活日志數據上，構建原始的生活日志-情感標簽數據集。

表1 情感標簽采集表格及數據示例

表2 情緒可選項

3.2 數據集規模與無效數據篩除

數據采集過程中，由于手環佩戴時不可避免地存在偶發的接觸不良問題，因此采集到的數據中存在31.3%的無效數據，將這些數據篩除后，得到數據集規模如下：

生活日志數據： 總條數為218 330條，包含16人共241天次的數據，其中患者用戶數據為15 044條，時間跨度17天。

原始情感標簽數據： 共290條原始數據，其中患者用戶共41條原始記錄。

3.3 情感標簽的補充

在原始數據集中，情感標簽數據僅為290條，難以作為訓練數據進行實驗，因此，需要考慮合適的標簽補充方式，基于已有的情感標簽數據，合理地補充情感標簽，以使情感標簽數據數量達到足以進行訓練的程度。在本文實驗中，采用了以下兩種方法對情感標簽進行補充：

(1) 基于活動的情感填充方法： 用戶在進行同一種活動時，如果時間跨度不大，且活動開始與結束時情感標簽一致，則有理由認為進行該活動時用戶的情感標簽與該活動起止時間的情感標簽一致。按此規則對原數據集進行填充，取填充后數據集中所有帶有情感標簽的數據點，構成新數據集，稱為活動填充數據集。

(2) 基于原有標簽的情感標簽填充： 由于用戶記錄情感標簽數據的時間點往往是在其情緒較為明顯的時候，而在此前后，情緒的變化需要時間完成，所以可以認為時間上緊鄰原始數據的情感標簽和該情感標簽具有一致性。按此規則對原數據集進行填充，取填充后數據集中所有帶有情感標簽的數據點，構成新數據集，稱為標簽填充數據集。

3.4 數據集部分特征統計與分析

首先對兩類用戶的活動強度進行占比統計，得到圖1和圖2。由這兩個圖可知，一般用戶的較高強度活動的時間占比高于患者用戶，而對兩類用戶的步數進行統計則發現，絕大多數時間內，兩類用戶的步數均為0。

圖1 一般用戶活動強度占比

圖2 患者用戶活動強度占比

將兩類用戶的活動強度和步數分別按照頻數進行統計，得到圖3和圖4，其中圖4的分布曲線經過局部放大。由這兩圖可知，盡管一般用戶的最大活動強度和步數大于患者用戶，兩類用戶的活動強度和步數頻數分布曲線趨勢基本相同，在頻數分布的意義上，兩類用戶無法得到明確區分。

圖3 按頻數統計的活動強度曲線圖

圖4 按頻數統計的步數曲線圖

4 基于生活日志的情緒預測

4.1 任務描述

本節中，我們對一般用戶和抑郁癥患者用戶進行情緒預測。情感預測任務使用生活日志和情感標簽訓練模型，使模型能夠預測給定的生活日志特征對應的情感標簽。由于本文工作首次涉及抑郁癥患者情緒識別問題，因而側重于驗證既有情緒識別模型的可行性，觀察不同用戶的效果和用戶間差異，同時探究方法本身的可擴展性。

統計分析的結果表明，單純從數據的頻數和分布來看，難以區分兩類用戶。

4.2 特征與模型設計

4.2.1 生活日志特征設計

本文選取從手環采集到的用戶活動類型、活動強度、心率和步數這4個維度的特征用作實驗數據。在收集到的生活日志數據中，活動類型數據在形式上與其他3種數據有較大差異： 首先其數值為離散數據，其次其數值代表的含義與數值大小沒有關系。因而對所有出現的活動類型、頻數進行統計，結果如表3所示。

表3 對活動類型的頻數統計

統計結果顯示，排名前6的活動類型頻數和其他活動類型頻數之和處于同一數量級范圍內，所以可將活動類型以one_hot的形式拆分成7維向量，以彌補原始用戶生活日志特征維數過少的缺陷，在實驗中我們也將該方法與不拆分用戶活動類型的方法進行了對比。

4.2.2 多維度情感模型與情感標簽合并

兩個較重要的多維度情感模型是Russel等人于1980年提出的Arousal-Valence模型[19]與Mehrabian等人于1996年提出的PAD模型(Pleasure Arousal Dominance，PAD)[20]。模型使用多維連續值描述具體的情感，可以更加細致地對情感進行區分或對情感定義距離。下面分別介紹兩個模型的概念。

如圖5所示，以喚起度和正負性為平面的兩個維度，所有的常見情感以坐標系中的點的形式存在于平面內。其中喚起度描述情感的強度，即情感中含有的能量多少；而正負性代表情感的傾向，即情感是積極的還是消極的。喚起度和正負性的取值范圍是區間[-1,1]，在這個模型下，情感被表示為二元組(a，v)的形式，兩個維度分別對應Arousal和Valence的取值，情感積極性越高，喚醒度越強，其位置越靠近右上角，反之，則越靠近左下角。

圖5 喚起度—正負性情感平面

在PAD模型中，P維度起到衡量情感正負性的作用，而新引入的D維度則起到衡量產生情緒的個體對當時情景和周圍人的控制狀態。在PAD三維模型下，一些僅憑喚起度和正負性不易區分的情感，如憤怒和恐懼，可以得到很好的區分。

在數據集中，實際出現的情感標簽為除“發怒”外的11種。其中存在部分傾向相近的情緒。由于實際上我們更加關注的是情感本身的正負性和喚醒度相關的特征，所以可以將情感標簽按照喚起度-正負性模型的四象限合并成表4中顯示的5類。將此合并方法應用到“活動填充數據集”和“標簽填充數據集”上，分別得到“活動填充-合并數據集”和“標簽填充-合并數據集”，以便驗證該方法的效果。

表4 情感標簽合并結果

4.2.3 基于決策樹的集成學習模型

對于數據量較小的生活日志數據集，提高模型正確率的方法選用集成學習方法。目前比較主流的集成學習方法之一，是以決策樹作為弱分類器來實現集成學習的方法。而在本文中，我們用來預測用戶情緒的模型為Breiman提出的隨機森林(RF)算法[21]和Friedman提出的GBDT算法[22]，二者所使用的弱學習器均為CART樹。

CART樹包含分類樹和回歸樹，二者的區別為樣本輸出的連續性。其中前者基于基尼系數進行優化，后者則基于方差。按照特征值A進行劃分的樣本D，其基尼系數如式(1)所示。

(1)

CART分類樹的建立就是不斷選擇基尼系數最小的劃分點和特征進行二分類，預測時選擇樣本點所在葉節點中概率最大的值。

基于回歸樹的集成學習算法，其本質是在預測時，考慮處于回歸樹森林中的多棵回歸樹的預測結果，最終優化模型整體的預測結果。其中，隨機森林算法使用CART樹作為弱學習器，在學習器的集成上使用了bagging原理，其中各個弱學習器之間沒有關系。隨機森林的特點在于，隨機選取一部分樣本特征作為決策樹子樹劃分的依據，使得模型的泛化能力更強。在進行分類預測時，采用投票法(分類樹)或取均值(回歸樹)作為輸出。

而GBDT算法則采用了boosting原理，用前一輪迭代得到的強學習器和損失函數建立弱學習器，使得本輪的損失函數最小，進而構造更強的學習器。通過前一次的結果改變新增弱學習器的分類或回歸方式，通過集成來不斷嘗試提高整體強學習器正確率P(Precision)。

4.3 情緒預測實驗設置

我們基于用戶不同日期間數據的獨立性，設計了一個包含三個使用不同訓練數據進行測試的對比實驗框架，并且在這個框架下，驗證不同情感標簽補充方法合并情感標簽與否的效果優劣。對比實驗框架的設計思路是： 選取某用戶某天的數據作為測試集，在余下的數據中選擇訓練數據。訓練手段采用GBDT和RF算法。框架內包含的三個實驗如下：

實驗一基于全體數據的學習和預測，將其余所有數據作為訓練集。

實驗二僅使用自身數據的學習和預測，將該用戶的其余數據作為訓練集。

實驗三僅使用他人數據進行預測，使用其他人的數據作為訓練集。

上述三個實驗均使用用戶情感預測的正確率作為評價標準，分別計算數據集上的平均正確率和用戶的平均正確率。

其中，實驗一與實驗二對比，可以驗證他人數據的有無是否對情感預測有積極影響；實驗一與實驗三對比，可以驗證在僅有他人數據的情況下是否能夠進行相對準確的預測；三者對比，可以對不同人認知情感的偏差這一現象進行分析。

4.4 實驗結果分析

實驗一 基于全體數據的學習預測

使用GBDT和RF方法，在4個數據集上進行基于全體數據的學習和預測，其平均正確率如表5所示。由表5可知，使用隨機猜測方法的對照組命中率接近于用戶情緒類別的倒數，而使用用戶的生活日志數據進行情感預測可以得到相對較優的結果。其中，在使用全部數據時，GBDT的表現要優于RF，由4個數據集結果比較可知，無論是否合并標簽數據，使用基于活動的情感標簽填充方式的表現都要明顯好于基于標簽的填充方式，這表明使用基于活動的標簽填充方式所補充的數據更加貼近于用戶的實際情感數據。進一步表明，用戶的情緒變化依賴于活動，在短時間內進行同一活動的情況下情緒傾向于穩定；而在活動狀態進行轉換時，用戶的情緒也傾向于發生變化。此外，活動類別的分割對于預測正確率有一定提升。

表5 是否分割活動類別結果對比(%)

對于情感標簽合并的效果而言，由原有的11分類問題簡化為5分類問題后，正確率確實有所提高，但并沒有顯著提高正確率，這與原有數據集中情感標簽并非均勻分布有關。

統計GBDT方法在活動填充-合并數據集上得到的各用戶平均正確率，繪制圖6，對結果進行用戶粒度的分析。在基于全體數據的學習和預測中，患者用戶達到的最高預測正確率為56.46%，而除1號、6號、7號之外的用戶的平均正確率可達50.51%。對于5號和14號用戶，其正確率可以達到93.26%和75.21%。表明基于生活日志和情感標簽，可以對部分用戶進行有效的預測。

表6 實驗一不同數據集結果對比(%)

對于數據異常的6號用戶，經比對預測結果和情感標簽，發現該用戶傾向于將大多數標簽標注為“愉悅”等積極情感，而基于全體數據訓練的模型對此給出的預測則大多數為“平靜”。這說明6號用戶的標注可能存在個人偏差，即情感標注與實際情緒不一致。

圖6 實驗一用戶平均正確率

實驗二 僅使用用戶自身數據的學習預測

GBDT和RF在僅使用用戶自身數據時，用同樣方法繪制用戶粒度分析圖(見圖7)。由圖7可見，大部分用戶的數據中，實驗一的平均正確率要高于實驗二的平均正確率。然而也存在反常的用戶，1號、6號和7號用戶僅在使用自己的數據時，取得較高的正確率，而9號用戶在使用自己的數據時，正確率反而偏低。對于這些反常用戶進行預測結果和用戶標簽的比對后發現，1號和7號與6號相反，傾向于向數據集中標注“無聊”和“抑郁”；9號用戶的標注則表現為每天的情感較為單一，但每天之間情感差異很大，導致實驗二中，多數情況下測試集中幾乎不包含訓練集的數據。

圖7 實驗二用戶平均正確率

綜合實驗一和實驗二的結果，我們提出了用戶認知不一致現象的猜想。該現象的表現有兩個，一是1號、6號和7號展現的用戶對自己情緒的認知與實際情緒之間存在不一致；二是用戶之間對于相同情緒的認識不盡相同。當算法的預測，尤其是基于全部用戶數據的多種方法預測接近且與用戶的標簽不一致時，不能簡單地當作錯誤來認識，應考慮用戶認知不一致現象發生的可能性。此時的預測結果有其特別的意義，代表著判斷出的用戶未能察覺或者認識錯誤的潛在情緒。

實驗三 僅使用他人數據的學習預測

本實驗的用戶平均正確率如圖8所示。

圖8 實驗三用戶平均正確率

由圖8可知，對于大部分新用戶，僅使用他人數據預測也有相當高的正確率，對于編號15的患者用戶而言，使用一般用戶數據進行情感預測的正確率可以達到56.46%。表明患者的情緒可以使用一般人數據進行正常預測。其意義在于： 一方面說明患者情緒和一般用戶情緒與生活日志數據的對應規律大體相同，并非不可預測；另一方面，訓練相應的情緒預測模型，不需要采集大量的患者數據，使用一般用戶數據即可得到相對較好的結果。另外，對比實驗二和實驗三的數據可以發現，對于大多數用戶，完全使用用戶自己的數據進行預測的準確性要略高于僅使用他人數據，這說明個人數據所帶有的偏差確實會影響情緒預測的正確率。

5 總結與未來工作

本文是首個利用生活日志數據進行抑郁癥用戶情緒識別和分析的工作，對基于生活日志的情緒識別方法在此方面的應用可行性進行了驗證。

這項工作中，我們從零開始收集和整合用戶的生活日志和情感標簽數據，構建了包含兩類用戶的生活日志情感數據集，并進行了數據的統計分析。我們以GBDT和RF作為訓練模型，設計了包含使用全體數據、用戶自身數據和僅使用他人數據的三個對比實驗的框架進行了實驗，比對了情感標簽不同補充方式的效果和不同用戶的訓練數據之間的偏差對于識別正確率的影響。提出了有關用戶認知不一致問題的猜想，并對其進行了分析。該現象的發現對于心理抑郁分析有一定的啟示作用，但徹底確認還需更多數據支持。

未來我們將收集更大規模的數據集以供進一步的實驗，從而探究用戶認知不一致現象和提高模型的可靠性。同時，需要發掘更加準確的情感記錄手段，使用戶的情感記錄更加貼近實際。此外，還要結合心理學的研究與實踐，改進模型效果，提出新模型。