情感型對話機器人技術的研究綜述

肖鵬 于丹 王建超 來關軍

摘? 要：對話機器人技術一直是人機交互領域的研究熱點，基于文本或者語音的對話機器人已經廣泛應用于生活當中。然而，構建能夠與人類進行自然的、流暢的對話的機器人仍然充滿挑戰。情感作為擬人性的重要方面能夠提高人機交互的自然性和流暢性。因此，為了推進對話機器人技術的發展，本文對情感型對話機器人的相關概念、發展歷史、情感生成方式、設計思路和評價方式的相關研究展開了系統的梳理。情感型對話機器人主要分為指定類別情感回復和生成式情感回復兩種，其中生成式情感回復是未來發展的主要趨勢。

關鍵詞：對話機器人;情感;設計;評價

Abstract： Chatbot technology has always been a research focus in the field of human-computer interaction. Chatbots based on text or voice have been widely used in practices. However， it is still challenging to build chatbots that can converse with human in a natural and fluent way. Emotion， an important aspect of anthropomorphism， can make human-computer interaction more natural and fluent. Therefore， in order to promote development of chatbot technology， this paper provides a systematic review of emotional chatbots， including related concepts， development history， emotion generation methods， design ideas， and evaluation methods. Emotion-enabled chatbots are divided into emotional responses of designated categories and generative emotional responses， of which generative emotional responses are the main trend.

Keywords： chatbot; emotion; design; evaluation

1? ?引言（Introduction）

對話機器人能夠通過語音或者文本的方式使用自然語言與人類對話，從而使人類能夠輕松地與機器進行交流。對話機器人相關技術研究已經持續了很多年，一部分研究將對話機器人的對話限制于特定的知識領域[1]，例如預訂助手、電商客服等;而另一部分研究則要求對話機器人能夠處理開放域內的任意輸入并產生合理的回復，例如Siri、Amazon Lex和小冰[2]等。近年來，深度神經網絡和大數據科學的發展加速了對話機器人技術的進步，然而，目前的對話機器人技術仍然處于初級階段，設計一個能夠與人類進行連貫的、自然的且兼顧上下文語境的對話系統仍有很長的路要走。

作為人類智力的重要組成部分，情感被定義為感知、整合、理解和調節情緒的能力[3]。研究表明，考慮了情感因素的對話機器人能夠明顯降低對話中斷概率并提高用戶的滿意度[4]。因此，為了提高現有對話機器人對自然語言的理解，從而產生更符合對話情景的答復，一些研究將情感因素作為對話機器人的重要組成部分[5]。引入了情感因素的對話系統會根據用戶的情緒狀態產生蘊含適當情緒的回復，能夠有效提高用戶參與度并創造更積極的對話環境，有效降低人機間的誤解并保持人機對話上下文的情感一致性[6]，如表1所示。本文總結了現有工作在情感與對話機器人技術融合方面做出的努力，詳細地介紹了情感型對話機器人技術的設計與實現及相關的評價方法。

2? ?研究背景（Research background）

近年來，基于深度學習算法的自然語言處理技術取得了巨大的進步，使用自然語言作為人機交互的媒介成為一種可靠又新穎的方式。因此，人機交互方式正從預先設定的界面交互方式向基于自然語言的交互方式轉變。通過自然語言與機器交互時，使用者通常使用文本或者語音的方式向對話機器人提出問題，對話機器人則使用同樣的方式回答用戶的問題，這種基于自然語言的人機交互系統被稱作對話機器人或者對話代理系統。目前，越來越多的對話機器人被應用到人們的日常生活中，耳熟能詳的有蘋果手機中的Siri、百度的小度、小米的小愛同學等。普華永道最近的調查報告顯示，每1，000名參與調研的用戶中，有700多名受訪者經常使用對話機器人完成日常的工作需求。根據Gartner的最新預測，到2022年，對話機器人將會代替人工客服完成85%的客服服務項目[7]。

關于對話機器人的研究已經持續了多年，新技術的不斷出現使得對話機器人具有多種分類方式。通常，可以根據對話機器人的交互方式、對話內容的知識領域、使用方式以及對話的生成方式來劃分對話機器人的類別[1]。如圖1所示，這些劃分標準涵蓋了對話機器人的核心設計理念、對話理解方式以及對會話上下文考慮的程度。根據交互方式的差異，對話機器人可以劃分為基于文本交互的對話機器人與基于語音交互的機器人;根據對話內容的知識領域劃分，對話機器人可以劃分為開放域對話機器人與封閉域對話機器人，前者要求對話機器人能夠回答任何知識領域內的問題，而后者只要求對話機器人能夠回答某個知識領域內的問題即可。當以使用方式或者應用任務領域劃分對話機器人時，可以將對話機器人劃分為任務型對話機器人和非任務型對話機器人，前者將對話機器人的設計目的限制于使其能夠幫助人們完成指定的工作任務，如預訂助手、客服服務等。最后，還可以基于對話機器人的對話生成方式對其進行分類，此時可以將其劃分為檢索式對話機器人與生成式對話機器人。前者是對話機器人最常用的對話生成技術，它以會話的上下文作為輸入，并使用啟發式的函數從數據庫中獲取最佳的匹配回答;后者則不依賴于數據庫中預先定義好的問答對，使用特定的算法結合輸入問題生成新的回答，但生成式對話機器人需要大量的訓練數據，并且難以優化。

發展至今，基于對話機器人的人機交互場景中仍然存在著連貫性差、回答內容生硬以及上下文語境不符等問題。現有工作表明，考慮了情感因素的對話機器人能夠有效地改善以上問題。構建具有情感屬性的擬人性對話機器人能更好地理解對話中的情感因素，并在生成的回復中蘊含特定的情感，使對話機器人具有移情能力[8]。這種移情能力能夠改善用戶的使用體驗，提高用戶的參與度并減少人機對話的中斷次數，從一定程度上改善了對話機器人存在的連貫性差和自然性差等問題。因此，越來越多的對話機器人開始考慮情感因素的影響，使得構建情感因素相關的對話機器人成為對話機器人領域的研究熱點。本文主要介紹情感因素在對話機器人系統中的應用。為了區別于普通對話機器人，本文將能夠理解用戶的情緒狀態，并在生成的對話中蘊含特定情感的對話機器人稱為情感型對話機器人。至此，在總結了前人的工作之余，本文將會進一步介紹三方面內容：一是情感型對話機器人的發展歷史;二是情感型對話機器人技術的設計與實現;三是情感型對話機器人的評價方法。

3? 情感型對話機器人的歷史（History of emotional chatbot）

發布于1966年的ELIZA是第一個能夠通過圖靈測試的對話機器人[9]，它使用簡單的模式匹配與替換規則，就使得用戶誤以為正在與人進行溝通。Parry是第一個考慮了情感因素并通過圖靈測試的對話機器人。Parry的設計模式與ELIZA類似，但其在基于規則生成對話的同時還設置了一個能夠產生情緒的情感模塊，因此Parry被認為是第一個情感型對話機器人。Polzin和Waibel在2000年提出的人機交互系統使用分類器對用戶的音調進行分類，并根據感知到的情感類別使用相應的話術，使得人機間的交互更加自然和流暢。2010年，Skowron提出一款能夠監聽情感的對話系統，該系統能夠檢測對話內容中包含的情感類別，旨在感知用戶的情感狀態，并在內容和情感相關性上產生對用戶來說更有意義的回復[10]。這些早期工作的靈感大多來自心理學，并在小規模數據集下使用規則生成回復，難以推廣到更廣泛的對話生成場景中。

2014年推出的社交對話機器人小冰在設計原理上同時考慮了智商與情商，并基于檢索的方式生成對話。作為一款情感伴侶對話機器人，小冰能夠滿足用戶對溝通、情感和社會歸屬感的需求[2]。當前，使用深度神經網絡算法構建對話機器人系統成為主流。2014年提出的序列到序列（Seq2Seq）[11]模型能夠提高對話生成的質量，促進多樣性以及處理未知單詞等，因此成為構建對話系統的主流模型。2018年，ZhouHao首次使用深度神經網絡算法并結合情感因素構建大型情感對話機器人（Emotional Chatting Machine，ECM），其使用三個情感相關模塊共同影響對話的產生，使得系統不僅在內容的相關性和語法正確性上產生適當的回復，還能夠保證對話上下文情感的一致性[12]。以ECM為代表的情感型對話機器人為了控制回復中的情感因素，需要手動指定生成的對話情感類別，因此，這些情感對話機器人更多的是關注生成的對話中所包含的情感與預先設定的情感類別是否一致。然而，在實際交流中，人類能夠自然而然地從交談中感知對方的情感類別。為了省略手動指定生成對話所包含的情感類別，使情感型對話機器人具有更自然的同理心，論文[13]借助VA模型[14]編輯情感詞匯，進而構建了情感相關的損失函數，以鼓勵在對話的生成中產生豐富的情感詞匯，使得問題與回復在情感上有自然而然的承接性，增加了對話機器人的同理心。論文[15]借助遷移學習的思想，對一個基于多任務訓練的大規模語言模型進行微調，在對話情緒檢測和移情對話生成方面都取得了最佳結果。

在情感型對話機器人的數據支持方面，伴隨著研究的深入，帶有情感標記的對話數據集也相繼公布，更權威的金標準數據改善了對話系統的性能并為該領域的研究持續賦能。DAILYDIALOG[16]是一個針對日常聊天場景的多輪對話數據集，并且數據集中的每一句對話都進行了手動情感類別標注。EMOTIONLINES[17]將對話內容標注為七個基本情緒類別：中性、高興、驚訝、悲傷、憤怒、厭惡及恐懼，該數據集由兩部分組成，分別采集于Facebook聊天記錄和電視劇《老友記》，由29，245 句短句構成2，000 段日常對話。數據集STC[18]是一個采集自新浪微博的中文單輪對話數據集，無情感標注，但ECM使用分類器將STC數據劃分為六類情感類別，作為情感對話數據集，STC需要借助情感分類器預先劃分類別，因此數據質量較差。最后，論文[19]提出一個包含了150 萬條Twitter對話的數據集，可以用于訓練通過音調感知用戶情緒的對話機器人。

4? 情感型對話機器人技術的設計與實現（Design and implementation of emotional chatbot technology）

情感型對話機器人的主要任務是能夠感知用戶的情緒，并在產生的回復中蘊含針對性的情感，提升人機交流的自然性、流暢性。早期的情感型對話機器人使用基于規則的方式生成帶有情感信息的回復。目前，主流的情感型對話機器人都使用了深度神經網絡算法，這些對話機器人使用編碼器-解碼器的結構訓練一個Seq2Seq模型，編碼器負責對輸入信息進行編碼，解碼器負責對編碼后的信息解碼并產生適當的回復內容。Seq2Seq模型通常由兩個遞歸神經網絡構成（RNNs）[20]，一個充當編碼器，一個充當解碼器。作為RNNs最重要的改進，LSTM[21]與GRU[22]如今廣泛地應用在對話機器人系統中。

使用深度神經網絡算法構建對話系統時，通常使用編碼器-解碼器的結構創建一個Seq2Seq模型，編碼器和解碼器分別由LSTM或GRU構成。以LSTM為例，解碼器接收提問序列輸入，并將其轉化為隱藏狀態序列，編碼器的隱藏狀態會被編碼成上下文序列，在生成狀態時，LSTM會兼顧歷史隱藏狀態與上下文信息：

同時，解碼器在解碼狀態時，通常會將前一時刻預測的單詞的詞向量編碼與上下文序列拼接作為一個整體，并同時考慮歷史狀態：

對于生成的狀態，解碼器使用以下公式生成對應的回復單元：

本文主要介紹基于深度神經網絡算法的對話機器人系統。如上所述，基于深度神經網絡算法實現的情感型對話機器人可以分為兩類：一類是生成蘊含情感因素的回復之前需要手動指定回復中帶有的情感類別，因此，這種方法在輸入對話上文的同時還要指定生成的對話中需要包含的情感類別;另一類方法則認為生成的回復中所應包含的情感已經蘊含在上下文對話當中，不需要手動指定。前者能夠按照需求靈活產生包含指定情感的回復，但是需要大量的帶有情感標記的訓練數據;而后者能夠基于現有的大量語料庫訓練而不受限于情感標注，但是其生成的對話所包含的情感類別是不受控制的。

ECM[12]是第一個考慮了情感因素的大規模情感型對話系統，如圖2所示。ECM使用GRU構建編碼器-解碼器結構，為了達到能夠在回復中包含指定類型情感的目的，ECM在解碼階段設置了三個輔助機制：情感類別嵌入機制、內部記憶單元以及外部記憶單元。情感類別嵌入機制使用固定維度向量表示情感的類別，并將情感類別的向量表示與上下文和的詞編碼拼接后輸入解碼器中。內部記憶單元是一個輔助回復中情感表達的機制，根據論文[23]提出的理論，有關情緒的回復具有更短的生命周期并具有較強的波動性。受此啟發，作者將情緒相關的狀態存儲在內部記憶單元，通過讀門和寫門更新內部記憶單元中的情緒狀態，并且隨著解碼過程的進行，內部記憶單元中的情緒相關狀態會不斷地衰減，當解碼完成時，內部單元中的狀態應該衰減為0。外部記憶單元的設計目的是顯式地增強生成的回復中指定的情感類型的表達強度，它會同時計算情感字典和通用字典中的候選詞概率，并根據狀態計算情感因子，并使用和對不同詞典的候選詞加權，進而生成最終的候選詞。受ECM啟發，EmoDS[24]認為回復中的情感表達既可以通過強烈的情感詞匯顯式地表現，也可以在不包含情感詞匯的情況下隱晦地表達。因此，作者設計了基于詞典的Attention機制，鼓勵將回復中的情感詞匯替換為在情感詞典中的同義詞，顯式地增加回復中情感的表達強度。此外，作者還設計了一個句子級別的情感分類器，在整體層面上指導回復中情感的生成，以一種隱晦的方式提高回復中情感的表達強度。EmoDS與ECM類似，都使用編碼器-解碼器結構構造了一個端到端的Seq2Seq結構來實現對話系統。由于指定的情感類型的限定，以ECM為代表的情感型對話機器人的合理回復空間被進一步限制，因此情感型對話機器人面臨嚴峻的安全問題。CDL[25]為了解決這個問題，提出了課程對偶學習框架，在保證回復中情感表達強度的同時，還能夠保持上下文語法及內容的合理性。CDL通過訓練前向傳播模型與反向傳播模型構建對偶學習，并使用強化學習交替訓練兩個模型，前向傳播模型是給出提問與指定的情緒類別生成對應的回復，反向傳播模型是給出回復內容及相應的情緒類別反推提問，訓練中的獎勵由情感表達一致性獎勵與內容一致性獎勵的加權和表示。為了提高模型訓練的穩定性，CDL引入了課程學習輔助訓練，根據訓練數據情感分類的難易程度選取了前1%最簡單數據參與最初的訓練，并隨著訓練的進行逐漸增加訓練樣本的難度，一段時間后恢復為正常的訓練模式。通過個性化的訓練方式，CDL能夠有效地降低對話機器人出現安全問題的概率，并提升對話機器人的對話品質。

與ECM和CDL不同，另一部分研究者認為回復中所包含的情感類型應該由對話系統自己生成而非人為指定。ANRG[15]認為傳統的對話系統在情感語義的捕獲上缺乏效率，因此在使用傳統的詞編碼之外，還使用了VAD情緒模型構建詞的情緒編碼W2AV，然后將兩種編碼向量拼接作為輸入，如圖3所示。在訓練階段，作者通過對損失函數添加情緒相關正則項，鼓勵網絡在生成的回復中盡可能包含更多的情緒表達，從而使對話系統具有同理心。在解碼階段，作者提出一種改進的Beam Search算法，增加回復生成語義的多樣性，從而提高對話系統的情感多樣性。與ANRG顯式地獲取輸入的情感詞編碼不同，MoEL[26]使用一個情感追蹤模塊去探測輸入中的情緒狀態分布，并根據相關分布使用對應的監聽器生成移情回復。除了充分利用對話上下文的信息外，研究者也使用多任務學習訓練對話機器人輔助移情對話的生成。而Know-EDG[9]認為人類的情感回復很大程度上依賴于外部知識與社會經驗，因此作者為對話機器人引入了兩個外部知識庫：ConceptNet與NRC-VAD，前者是一個通用的常識圖譜，后者則是一個被廣泛接受的帶有VAD情緒強度描述的情感詞匯庫。作者使用NRC-VAD度量ConceptNet中各元組尾實體的VAD值，并與輸入序列中的各元素構成一個情感相關的對話上下文關系圖譜，基于構建的上下文關系圖譜對輸入序列中的各元素進行編碼，并在編碼過程中同時考慮了局部信息與全局信息，使用self-attention編碼當前元素與相連元素的關系，使用transformer結合LayerNorm編碼當前元素與全局信息的關系。同時，作者還使用輸入各元素情感值的softmax輸出加權對應的各元素的編碼向量，然后基于這些加權后的編碼向量使用線性分類器預測輸入中攜帶的情感類別，輔助解碼器生成蘊含合理情感信息的回復。在解碼階段，作者使用改進的transformer進一步增強生成回復中的情感表達，使得解碼階段更加關注情感相關單元。

5? 情感型對話機器人的評價（Evaluation of emotional chatbot）

情感型對話機器人的評價分為自動評價與人工評價。常用的自動評價指標有BLEU評分、Dist-1與Dist-2、情感準確性、情感詞評價、困惑度評價等。BLEU用于評價回復與提問在內容上的相關性，但是，文獻[26]認為BLEU與人類的判斷相關性較低，因此目前并不常用。Dist-1與Dist-2用于評價生成回復的多樣性。情感準確性用于評價生成回復中的情感類別與手動指定的情感類別的一致性。情感詞評價用于評價生成回復中包含指定情感詞匯的百分比。困惑度評價則用于評價生成的回復在語法上的正確性。因此，常用的自動評價方法是從多樣性、情感一致性、回復內容的語法正確性三方面評價對話機器人的性能。而對于人工評價，常見的做法是招募多名專業的注釋人員在移情性、相關性和流利度三個方面評價生成的回復。移情性表示生成的回復是否理解了提問者的情感，相關性表示生成的回復是否符合對話上下文語境，流利度則表示生成的回復語法是否正確可讀。每個方面共有五級標準，級別越高評價越積極。此外，也常常會對不同人員的評價進行一致性分析，作為對話機器人性能的評價。

6? ?結論（Conclusion）

本文介紹了對話機器人的研究背景及大致分類，并討論了情感型對話機器人的發展歷史與技術的設計和實現。對話機器人的研究具有很長的歷史，情感作為擬人性的重要標志，成為構建更高級對話機器人的必要因素。因此，情感型對話機器人引起了越來越多的關注。目前，情感型對話機器人主要分為兩類，一類是需要手動指定生成回復中需要蘊含的情感類別;另一類則根據上下文自動生成蘊含特定情感類別的回復。前者依賴于大量有情感標記的數據，但生成的回復中蘊含的情感類別靈活可控。后者對數據集的要求更寬松，但是生成的回復中蘊含的情感類別并不穩定。對情感型對話機器人的評估，研究者們通常從回復內容的正確性、多樣性以及情感一致性三方面考慮，可以使用自動的評價方法，也可以基于人工進行評估。

參考文獻（References）

[1] 賈熹濱，李讓，胡長建，等.智能對話系統研究綜述[J].北京工業大學學報，2017，43（09）：1344-1356.

[2] Zhou L， Gao J， Li D， et al. The design and implementation of Xiaoice， an empathetic social chatbot[J]. Computational Linguistics， 2020， 46（1）：53-93.

[3] Sluyter， Peter S， David J. Emotional Development and Emotional Intelligence： Educational Implications[J]. Gifted Child Quarterly， 1997， 43（2）：108-110.

[4] Prendinger H， Mori J， Ishizuka M. Using human physiology to evaluate subtle expressivity of a virtual quizmaster in a mathematical game[J]. International journal of human-computer studies， 2005， 62（2）：231-45.

[5] Ghosh S， Chollet M， Laksana E， et al. Affect-lm： A neural language model for customizable affective text generation[DB/OL]. [2017-04-22].? https：//arxiv.org/pdf/1704.06851.pdf.

[6] Chaves AP， Gerosa MA. How should my chatbot interact？ A survey on human-chatbot interaction design[DB/OL]. [2019-04-04]. https：//arxiv.org/pdf/1904.02743.pdf.

[7] Svikhnushina E， Pu P. Should Machines Feel or Flee Emotions？ User Expectations and Concerns about Emotionally Aware Chatbots[DB/OL]. [2020-06-24]. https：//arxiv.org/pdf/2006.13883.pdf.

[8] Li Q， Li P， Chen Z， et al. Empathetic dialogue generation via knowledge enhancing and emotion dependency modeling[DB/OL]. [2020-09-21]. https：//arxiv.org/pdf/2009.09708.pdf.

[9] Weizenbaum J. ELIZA—a computer program for the study of natural language communication between man and machine[J]. Communications of the ACM， 1966， 9（1）：36-45.

[10] Skowron M. Affect listeners： Acquisition of affective states by means of conversational systems[C]. In Development of Multimodal Interfaces： Active Listening and Synchrony， 2010：169-181.

[11] Shang L， Lu Z， Li H. Neural responding machine for short-text conversation[DB/OL]. [2015-03-09]. https：//arxiv.org/pdf/1503.02364.pdf.

[12] Zhou H， Huang M， Zhang T， et al. Emotional chatting machine： Emotional conversation generation with internal and external memory[DB/OL]. [2017-04-25]. https：//arxiv.org/pdf/1704.01074.pdf.

[13] Asghar N， Poupart P， Hoey J， et al. Affective neural response generation[C]. In European Conference on Information Retrieval， 2018：154-166.

[14] Warriner AB， Kuperman V， Brysbaert M. Norms of valence， arousal， and dominance for 13，915 English lemmas[J]. Behavior research methods， 2013，45（4）：1191-1207.

[15] Lin Z， Xu P， Winata GI， et al. CAiRE： An End-to-End

Empathetic Chatbot[C]. In AAAI， 2020：13622-13623.

[16] Li Y， Su H， Shen X， et al. Dailydialog： A manually labelled multi-turn dialogue dataset[DB/OL]. [2017-10-11]. https：//arxiv.org/pdf/1710.03957.pdf.

[17] Chen SY， Hsu CC， Kuo CC， et al. Emotionlines： An emotion corpus of multi-party conversations[DB/OL]. [2018-02-23]. https：//arxiv.org/pdf/1802.08379.pdf.

[18] Shang L， Lu Z， Li H. Neural responding machine for short-text conversation[DB/OL]. [2015-03-09]. https：//arxiv.org/pdf/1503.02364.pdf.

[19] Zhou X， Wang WY. Mojitalk： Generating emotional responses at scale[DB/OL]. [2017-11-11]. https：//arxiv.org/pdf/1711.04090.pdf.

[20] Zaremba W， Sutskever I， Vinyals O. Recurrent neural network regularization[DB/OL]. [2014-09-08]. https：//arxiv.org/pdf/1409.2329.pdf.

[21] Hochreiter S， Schmidhuber J. Long short-term memory[J]. Neural computation， 1997， 9（8）：1735-1780.

[22] Cho K， Van Merri?nboer B， Gulcehre C， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[DB/OL]. [2014-06-03]. https：//arxiv.org/pdf/1406.1078.pdf.

[23] Hochschild AR. Emotion work， feeling rules， and social structure[J]. American journal of sociology， 1979， 85（3）：551-75.

[24] Song Z， Zheng X， Liu L， et al. Generating responses with a specific emotion in dialog[C]. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics， 2019：3685-3695.

[25] Shen L， Feng Y. CDL： Curriculum Dual Learning for Emotion-Controllable Response Generation[DB/OL]. [2020-05-01]. https：//arxiv.org/pdf/2005.00329.pdf.

[26] Liu CW， Lowe R， Serban IV， et al. How not to evaluate your dialogue system： An empirical study of unsupervised evaluation metrics for dialogue response generation[DB/OL]. [2016-03-25]. https：//arxiv.org/pdf/1603.08023.pdf.

作者簡介：

肖? ?鵬（1993-），男，碩士，初級研究員.研究領域：計算機視覺，自然語言處理.

于? ?丹（1976-），女，博士，研究員.研究領域：數據分析與挖掘，人工智能.

王建超（1989-），男，碩士，中級研究員.研究領域：人工智能，圖像處理.

來關軍（1984-），男，碩士，中級研究員.研究領域：大數據分析，人工智能.