一種面向機器的人工情感模擬框架研究

陳俊浩 ，姜大志 ，2

（1.汕頭大學工學院計算機系，廣東 汕頭 515063 2.智能制造技術教育部重點實驗室（汕頭大學），廣東 汕頭 515063）

0 引言

人工智能是指利用計算機、機器人等設備搭建的系統所表現出的智能.隨著深度學習技術、知識規則庫表達技術、自然語言處理技術的發展，人工智能學者慢慢認識到客觀上存在著人類認知的不確定性，于是開始對不確定性處理進行研究.至此，人工智能跨入了與哲學、心理學等學科相結合的綜合型智能時代.

人工情感計算是人工智能領域一個重要研究方向，麻省理工學院的Picard教授于1995年首次提出情感計算的概念，并在兩年后出版的《Affective Computing》[1]把情感計算定義為是一種與情感有關、源自于情感的或可能對情感附有影響的計算.

2008年，麻省理工學院研究團隊設計出首個情感機器人“Nexi”，“Nexi”能理解人說出的語言，還能對不同人的不同語言做出相應的反應，通過轉動身體，皺眉，閉上眼睛和打手勢等行為表達情感.2017年，清華大學的研究團隊提出情緒聊天機，第一次解決了大規模會話生成中的情感因素的工作[2].我國也對人工情感有深入的研究.臉部運動編碼系統首次實現人臉識別；“MPEG-4V2視覺標準”使用一定數量的表情組合用于模擬日常人類的表情.

人工情感計算通過創建并更新記憶庫，使用深度學習、建立情感轉移模型等技術對記憶庫和外在事件的分析從而綜合得出機器情感并進行表達.在此領域中，格林大學完成了基于記憶的專家系統情感設計的機器解釋[3].人工情感計算通過賦予機器表達、識別、理解、人的情感的能力以建立和諧的人機環境，使計算機智能化全方位地增強，它對計算機科學的發展具有十分深遠的意義.如果說傳統計算機只是反映了理性思維，也就是重現了人類的“腦”.那么，人工情感計算將為它增添了感性思維，也就是重現了人類的“心”.人工情感擴展并包容了情感智能，而情感智能則是人類智能思維中的一種高層次的智能.人工情感的應用前景非常廣泛，可以為有情感、意識和智能的服務機器人的設計提供技術支持；可以促進搜索引擎的人性化；可以讓人機交互系統變得更加和諧等.

然而，腦科學對于人腦記憶的海馬、杏仁核等區域研究也沒有完全研究透徹，因此人工情感模擬現在存有一些未曾解決的問題.現有人工情感模擬很少結合回憶進行分析，只是根據當前的經歷來調整情緒，與人類的實際表現不符；另外，同一套人工情感計算模型的不同機器的不具有明顯的差異化.

Bower[4]提出的情緒一致性理論有助于對人工情感的構建.本文主要以人工機器的情緒分析為研究對象，結合回憶庫的建立和基于情緒一致性的情緒隨機變化機制，提出了“基于回憶庫的回憶機制和隨機機制模型”，應用回憶機制和不確定性機制模型為情感的變化進行分析和擬合，以達到符合人類直覺和認知概念的情感感知機理，通過研究模型對輸入事件的情緒改變來實現并進行通用性評估，來驗證本文的理論模型的正確性.

本文的主要創新點如下：

創新點一：把情緒一致性的心理學理論應用到人工情感分析中.目前的人工情感分析問題，多為針對特定應用背景下情感模型轉換，而很少對回憶進行分析.本文首先介紹情緒一致性的含義，然后建立一套基于情緒一致性的不確定性情緒影響機制，并以此在回憶庫進行情緒仿真實驗.實驗的結果與現實中人類的情緒變化更為接近.

創新點二：提出了情緒放大鏡的概念.目前的人工情感分析問題，多為針對輸入事件的分析，沒有結合自身的情緒對輸入事件的分析方法進行調整.心理學已經證明了人處于極端情緒時情緒的改變比在心情平和的時候更激烈.基于此理論基礎，本文提出了情緒放大鏡的概念，并應用到不確定性情感模型中.

1 理論基礎

情感的產生與變化的復雜導致人工情感模擬理論進步緩慢.在18世紀，為了解決這個難題，心理學、生理學、社會學等領域的研究者開始對情感的認知和原理進行研究，產生很多相關理論來描述情感產生的原因.1872年，Darwin首先提出了三原則理論[5].1884年Cannon提出James-Lange理論[6]；著名的Cannon-Bard理論[7]和Lazarus理論[8]也在隨后幾年被提出來.

心理學中，情感相關的詞匯有很多，且具有不同的意義，例如emotion、affective、sentiment、affect、mood等，相似的中文翻譯也有感情、情感、情緒、情節等.從嚴肅的心理學角度來說，情感、情緒、情節和感情是4種不同的概念[9-10]，但在計算機科學的角度里，這些詞語意義相同，并被統一定義為“情感”.描述情感有兩種方式，分別是離散情感狀態和維度情感空間[9-10].

心理學的研究證明，扁桃核、丘腦下部和海馬體等部位構成的邊緣系統和情感記憶是有關系的.邊緣系統和大腦皮層共同形成人腦的功能.半個世紀以來，腦科學、心理學、認知科學和智能化科學等領域在誘發情感的相關研究中已經有了一定的突破，人類對誘發情感理論的構建也越來越完整.

Bower[4]提出的情緒一致性記憶理論證明情緒對記憶，情緒行為和其他過程有直接影響.該理論說明，個體經歷了一種情緒時更傾向于以一種與自身當前情緒相同的方式去解釋這一段經歷.也就是說，當前的積極情緒能夠放大積極信息的印象和回憶，而當前的消極情緒能夠放大消極信息的印象和回憶.1986年，Blaney[11]定義情緒一致性記憶為“與提取或編碼時的情感狀態具有相同的情感的促進作用”.21世紀初，莊錦英把情緒一致性記憶進一步簡述為：人們陷入某種情緒時會更傾向于放大與該種情緒一致的信息[12].

李芳認為，情緒一致性記憶有3種理論模型，即情感滲透模型的認知模型，關聯網絡模型和適當的遷移處理理論.其中，與情感認知和加工相關的理論模型是情緒滲透模型.2012年，Eich和Forgas正式提出情緒滲透模型來解釋情緒連貫效應的擬合模型，然后將其擴展到其他認知領域，如記憶，選擇和學習.他們認為，情感會影響個體的學習、記憶、選擇等，個體對結果的情感感知會與當前情緒相同的方向靠近，它的特點是個體感知時間時對當前情緒的額外加工會決定個體最后的情緒.圖1是情緒一致性記憶的理論模型.

2 基于回憶庫的人工情感模型

該模型建立回憶庫，模型遭遇事件輸入后，根據回憶庫中的回憶事件和當前的情緒值進行回憶機制和不確定性機制的分析，最后得出機器遭遇事件后的情緒值，隨后把該事件作為新的回憶輸入到回憶庫，如圖2.

2.1 回憶機制

實現回憶機制，首先需要為機器建立回憶庫，回憶庫中存儲的是機器經歷過的所有事件，事件的存儲方式不限，可以是圖片，也可以是文字或視頻.然后對每一個事件進行情緒值e的標記和權重w的標記.本模型使用的情緒值的取值范圍是[-1，1]（e∈R）.e＝-1時，代表情緒極差；e＝1時，代表情緒極好.權重w代表的是該事件在記憶庫中的重要程度，要求所有事件w的和為1.根據不同的回憶庫建立方法，對回憶庫進行匹配操作，匹配出回憶庫里n個最可能被回憶起的事件（在本文中，n＝3）.由于回憶庫建立的形式不限，這里無法得出統一的匹配算法.在結論一章本文的實驗里，建立了以圖像形式組織的回憶庫，會給出圖像的相似度匹配方法.

圖2 基于回憶庫的人工情感模型流程

根據公式1計算出回憶起每張圖的概率：

其中，pi是有可能回憶出的事件的回憶概率（i＝1，2，3）；n是回憶庫的回憶事件總數；a是回憶常數，值為xi定義為回憶的重要度，用來衡量該回憶庫的事件，計算公式為：

wi是匹配出的第i個事件在整個回憶庫所占的權重.算出p1，p2和p3后，分別對三個概率值進行標準化：

對pi的結果畫出回憶軸，如圖3所示.

圖3 回憶軸

ran為0-1的隨機數模擬，如圖3所示，若ran落入（p0，p1）區域時，表明該模型使機器回憶起第一個匹配出的事件；若ran落入（p1，p2）區域時，表明該模型使機器回憶起第二個匹配出的事件；若ran落入（p2，p3）區域時，表明該模型使機器回憶起第三個匹配出的事件；若ran落入（p3，1）區域時，表明該模型在接受事件后沒有產生任何的回憶.

根據隨機值落入的區域對情緒值e進行調整，調整的方法如公式（4）所示：

圖4為回憶機制的簡化流程圖.

圖4 回憶機制的簡化流程圖

2.2 不確定性機制

右腦提供的想象力導致人類有時候能被完全與當前情景完全無關的事情或情緒影響——爬山的時候可能有人會想起恐怖分子的恐怖襲擊；上課的時候可能有學生想著晚上該吃什么；也有可能是在吃飯的時候，受到了莫名的悲傷情緒影響.

不確定性影響并不是完全的隨機，所有能影響人的隨機因素其實都是存在于人的回憶庫當中，有些化為潛意識[14]，不被人察覺，所以才會給人一種雜亂無章、完全隨機的錯覺.這種現象本文稱之為不確定性影響.因此，不確定性影響的實質就是以回憶庫中所有事件作為藍本，若回憶庫當中完全沒有相關信息，就說明沒有進入人的認知之中，這種情況下是不可能會受到影響的；而情緒的改變，一定是源于回憶庫里的事件.基于此，本文提出了計算不確定性影響的模型.

根據情緒一致性原理，對回憶庫中所有事件進行權重w的調整：情緒值為正時，受到正面影響的概率增加，受到負面影響的概率減少；反之，情緒值為負時，受到負面影響的概率增加，受到正面影響的概率減少，如公式5所示：

心理學進一步通過大量的實驗證明，人在情緒越極端的時候，受到隨機事件的影響的概率就會比情緒平和的時候更大，原因是人們情緒處于極端狀態的時候右腦（與想象力有關）的影響力會大于左腦（與邏輯推理有關）的影響力.為了讓機器也能表現出這樣的特性，本文提出情緒放大鏡的概念.

情緒放大鏡的值受當前一刻的情緒值影響，計算公式為：

根據公式（7）和（8），判斷是否受到隨機情緒影響：

ψi是情緒受回憶庫中的第i個事件影響的概率值（其中ψ0＝0），對ψi進行的標準化分析，并用結果畫出隨機影響軸：

圖5 隨機影響軸

如圖5所示，ran為0-magnifying的隨機數模擬.若ran落入（ψi-1，ψ）i區域，表明該模型在接受事件后受到了回憶庫中第i個事件的影響；若ran落入（ψn，1）區域，表明該模型在接受事件后不受隨機情緒/事件影響.

根據隨機值落入的區域對情緒值e進行調整，調整的方法如公式（9）所示：

圖6為不確定性機制的簡化流程圖.

圖6 隨機機制的簡化流程圖

3 仿真實驗

3.1 著名的人工情感圖像數據集

人工情感對于圖像的研究需要有人工情感圖像數據集作為支撐.它的質量直接決定了本模型的測試結果的準確度.計算機領域內存在很多人工情感圖像數據庫，但沒有具體的建立標準，圖像情感的分類也沒有進行確切的規定.比較權威的圖像情感數據集是 ArtPhoto[15]、Abstract[15]、GAPED[16]、IAPS[17]、Tweet[18]等.

本文基于圖像的情感分析[19]，在Python 3.7.1平臺使用Machajdik的Abstract數據集[20]進行實驗.Abstract數據集內有280張圖片，本實驗選用前140張作為程序的回憶庫，即n＝140，后140張圖片作為可輸入事件的備選，用于測試本文提出的兩種機制模型.使用函數隨機生成每張圖片的權重w，使得140張圖片的權值之和為1.由于本模型只涉及高興、悲傷、平和的單維度情緒，因此只提取了Abstract數據集中的Amusement和Sad標注，對這兩個屬性進行標準化后得出本實驗的情緒值標注emotion.

3.2 實驗結果

本實驗分為三組.第一組在初始情緒為積極、消極、平和的3種狀態中輸入情緒平和的圖片，第二組和第三組在同樣的狀態下分別輸入情緒積極的圖片和情緒積極的圖片.實驗的對照組設置為把圖片的emotion標注直接作為事件的情緒改變值.實驗檢驗經歷事件后機器的情感變化.

第一組的實驗中，取五張情緒值分別為-0.2、-0.1、0、0.1、0.2的圖片作為事件輸入，每張分別輸入60次于實現了本文模型的程序運行，以及對照組程序運行.設置事件輸入前的情緒值eorigin分別為-0.5、0和0.5，實驗結果如圖7～12.

圖7 對照組300張平和的事件輸入eorigin＝－0.5

圖9 對照組300張平和的事件輸入eorigin＝0

圖10 實驗組300張平和的事件輸入eorigin＝0

圖11 對照組300張平和的事件輸入eorigin＝0.5

圖12 實驗組300張平和的事件輸入eorigin＝0.5

第一組實驗表明，說明當機器的事件輸入為既不消極也不積極的事件時，機器的情緒改變取決于它的初始情緒值：當機器的初始情緒消極時，變得更消極的概率增加（如圖7和圖8）；反之，機器的初始情緒積極時，變得更積極的概率增加（如圖11和圖12）.

第二組的實驗中，取5張情緒值分別為0.9、0.8、0.7、0.6、0.5的圖片作為事件輸入，每張分別輸入60次實現本文模型的程序運行以及對照組程序運行.設置事件輸入前的情緒值eorigin分別為-0.5、0和0.5，實驗結果如圖13～18.

圖13 對照組300張高興的事件輸入eorigin＝－0.5

圖14 實驗組300張高興的事件輸入eorigin＝－0.5

圖15 對照組300張高興的事件輸入eorigin＝0

圖16 實驗組300張高興的事件輸入eorigin＝0

圖17 對照組300張高興的事件輸入eorigin＝0.5

圖18 實驗組300張高興的事件輸入eorigin＝0.5

如圖13和圖14所示的模擬結果，當給定的輸入都是較為積極的事件的時候，當初始情緒值為低時，仍然更容易受到消極影響，即機器在心情不好的時候，遇到使得心情好轉的事情時，情緒值仍然偏低，與人類在悲傷時遇到高興的事情也不容易走出悲傷的這一現象符合.圖15和圖16體現了情緒一致性原理：當情緒值高時以更積極的態度看待輸入的事件.需要特別說明的是，圖17所有時間輸入后的情緒值都是1的原因是當eorigin＝0.5時，所有大于0.5的事件輸入都使情緒值大于1，而本模型的e的取值范圍是（-1，1），因此所有超過1的值都按值為1處理.圖18的結果并沒有違反了情緒一致性，因為本模型的情緒值e設置的最大值是1，所有的積極隨機反應都無法表現在圖像上，圖上的13個凸點都是消極隨機反應的結果，僅占3.6%.

第三組的實驗中，取五張情緒值分別為-0.9、-0.8、-0.7、-0.6、-0.5的圖片作為事件輸入，每張分別輸入60次實現本文模型的程序運行以及對照組程序運行.設置事件輸入前的情緒值eorigin分別為-0.5、0和0.5，實驗結果如圖19～24.

圖19 對照組300張悲傷的事件輸入eorigin＝－0.5

圖20 實驗組300張悲傷的事件輸入eorigin＝－0.5

圖21 對照組300張悲傷的事件輸入eorigin＝0

圖22 實驗組300張悲傷的事件輸入eorigin＝0

圖23 對照組300張悲傷的事件輸入eorigin＝ 0.5

圖24 實驗組300張悲傷的事件輸入eorigin＝0.5

第三組實驗表明，當初始情緒值為低時再遇到消極的事件輸入時，機器的情緒幾乎沒有好轉的可能，這與人類的遇到使得心情更差的事情時，往往會表現得一蹶不振的這一表現更符合.圖19和20、圖21和圖22的對比中也充分體現了情緒一致性原理：當情緒值低時更以消極的態度看待輸入的事件.

3組實驗都有事件的重復輸入，機器能遵循本模型的條件下，有不同的情緒表現，解決了在同一套人工情感計算模型中，不同機器不具有明顯的差異化的問題；本模型基于情緒一致性原理，建立回憶庫，使得機器能根據自身經歷的事件不同而對同一事件有不同表現，解決了現有人工情感模擬很少結合回憶進行分析，只是根據當前的經歷來調整情緒的問題.

4 結論

現有人工情感模擬并不注重結合回憶進行分析，只是根據當前的經歷來調整情緒；在同一套人工情感計算模型的不同機器中往往不具有明顯的差異化.本文為了解決這兩個問題，提出了不確定性影響、情緒放大鏡等概念，采用回憶機制和不確定性機制模型，前者利用回憶事件的重要度計算出事件的回憶概率，后者利用情緒一致性的原理用情緒放大鏡來進一步貼合人的心理模式，使得機器人在與環境交互過程中的情感表現更貼近人類.本模型屬于一種假設性的嘗試，使機器的擬人度稍微提升，但由于人類的情緒變化過程非常復雜，影響這個過程的因素十分繁雜，包含了大量的內部條件和交互過程中涉及的外部環境條件，很難全面地去考慮.因此本文僅考慮了少量較為明顯、影響較大的因素，用于模型和仿真實驗的實現.在后續研究中，根據情緒心理學理論進行情緒表現模型的深入研究，結合深度學習技術對機器的情感進行差異化的模擬是人工情感研究的主要內容之一；加深對環境的感知從而精確地獲得外界信息的輸入，為大數據的分析做更充足的準備，進一步模擬更精確的機器情感.