面向電力服務情緒識別的圖卷積網絡方法研究*

盛 妍朱龍珠丁毛毛劉鯤鵬劉海龍

(國家電網有限公司客戶服務中心，天津 300309)

情緒識別(sentiment recognition)是人機交互驅動的電網智能服務平臺中的一項基礎技術，對于平臺的提質提效，降低人工成本有重要意義[1-2]。情緒識別本質上是一項文本/語音序列分類技術，指利用語音分析、文本挖掘等技術對含有主觀情緒特征的文本/語音序列進行判斷，識別出序列中的情緒狀態，并作為后續任務的輸入，如智能服務質檢、對話生成等[3-4]。在電力語音服務場景中，通過情緒識別，可以根據用戶的情緒狀態及時區分出需求較為緊急的咨詢，特別是具有投訴傾向的用戶來訪，對系統提供解決方案，如接入人工服務等措施具有重要參考價值，能有效降低人工負擔，提升用戶滿意度。

情緒識別是一類具有強上下文相關特征的典型自然語言處理(natural language processing，NLP)問題[5]。傳統的情緒識別技術通常使用循環神經網絡(recurrent neural network，RNN)及其各類變體結構如長短期記憶(long short-term memory，LSTM)網絡或門控循環單元(gated recurrent unit，GRU)等刻畫文本中的上下文關系[6-7]。盡管LSTM 與GRU 等模型在訓練效率和處理序列長期依賴等方面對RNN 有所提升，但這類模型本質上依然只能對較簡單的線性上下文依賴建模，局限性較為突出。針對這一問題，本文將近年來備受關注的圖深度學習技術引入情緒識別問題，提出一種基于圖卷積網絡(graph convolutional network，GCN)的情緒識別方法。利用圖結構更為強大的表示能力，GCN 可以刻畫對話中更復雜的上下文結構，提升情緒識別的準確性。

1 相關研究

對話交互過程中的情緒識別一直是自然語言處理領域的熱點問題，在語音服務、在線教育、推薦系統等領域有廣泛應用。主流的針對文本的情緒識別方法一般基于RNN 處理范式，將對話簡單地視為句子的連續序列，通過RNN 神經元依次地傳遞上下文關系。LSTM和GRU 等RNN 的改進版本本質上依然遵循這一規則，此類模型僅關注語句之間的局部關系，但忽略了對話的全局主題以及對話中更復雜的上下文結構[8]。

隨著人機交互方式多樣化程度的提升，近年來對這一問題的研究開始關注結合多重特征(語音、文本、視覺特征等)的多模態情緒識別，在視頻客服平臺中有豐富的適用場景[9]。另一方面，將知識圖譜系統，特別是特定領域知識庫引入情緒識別技術也具有較大應用潛力，這使得系統能結合領域背景知識，更為精確地判斷用戶的情緒特征[10]。

2 情緒識別問題

上下文關系模型是情緒識別中的核心問題之一，對話中的上下文通常可分為兩種情形:順序上下文(sequential context)，即說話者自身發言的上下文結構，反映說話者自身的情緒依賴；對話上下文(speaker context)，即對話雙方(或多方)的發言互相產生的影響，反映對話各方之間的情緒依賴[11]。本文將從這兩個角度處理對話文本的上下文關系。需要注意的是，由于對話發生的場景是自動語音客服系統，因此對話上下文中實際上只需關注一方。可以預見，將這兩種不相同但緊密相關的上下文模型結合起來，可以得到語義信息更為豐富的上下文表示，從而更好地理解對話中的情緒狀態。

2.1 問題定義

本文主要研究中文文本分析中的情緒識別問題。情緒識別在電力智能客服平臺這類自動情景中較為常見，屬于自然語言處理中的文本分類問題，即給出一段文本的語義信息，輸出其類別(情緒標簽)。將語句S表示為詞語序列S={s1，s2，…，sM}，其中M表示句子長度，令ei(1 ≤i≤N)為可選的情緒標簽集，則情緒識別可以表示為極大似然估計問題

由于對話涉及多個文本，因此(1)式中的條件概率實際上還需考慮上下文，即p(ei｜S1，…，S_T)。如上文所述，由于本文研究的場景比較特殊，盡管處理方式基于對話文本，但可以只關注用戶一方的情緒識別問題。

3 情緒識別的圖卷積網絡方法

3.1 詞特征提取

為了將文本轉換成易被計算機處理的形式，首先在詞語級別提取文本的向量特征。本文以常用的文本卷積網絡(TextCNN)作為特征提取器[12-13]，在歷史對話文本數據集上依次使用大小為50，3，4，5 的卷積核，得到詞語的100 維向量表示用于后續的情緒識別模型訓練。

3.2 上下文編碼器

如圖1 所示，本文涉及的基于圖卷積網絡的情緒識別模型分為三個模塊:順序上下文編碼器，對話上下文編碼器與情緒分類器。

圖1 基于圖卷積網絡的情緒識別模型框架

3.2.1 順序上下文編碼器

順序上下文指的是對話中任意一方的發言自身的上下文關系結構。對于對話中的一方來說，所有發言呈簡單的線性順序結構，因此上下文信息也沿該順序傳遞。本文用門控循環單元(Gated Recurrent Unit，GRU)來捕獲對話中的順序上下文信息

式中:ui表示句子中上下文無關的基本語言要素(如詞匯或短語)，gi表示經GRU 提取的蘊含了上下文語義信息的ui特征向量。根據自然語言處理與時間序列分析領域中的常用處理方法，本文使用了雙向的GRU 結構，用表示，從而gi的生成同時依賴于前后若干個基本語言要素(用gi(+，-)表示)[14]。

3.2.2 對話上下文編碼器

由于對話上下文結構涉及了對話中的不止一方，文本中的上下文關系也不僅僅再局限于簡單的線性依賴，而是呈現出更復雜的網絡結構，因此本文提出從圖的觀點對對話上下文結構建模，以同時刻對話中說話方的自我依賴與相互依賴。如圖1 所示，對話中任意一方的自我依賴在圖中用結點指向自身的自環表示，相互依賴則用結點之間的有向邊表示。這里依然采取同時考慮時間上的雙向依賴的方式，圖1 中用實線邊表示后向依賴(即對未來發言的依賴)，用虛線邊表示前向依賴(即對過往發言的依賴)。

基于圖結構建立文本之間的上下文依賴關系后，文本表示gi將通過圖卷積網絡得到含有圖結構信息的新表示向量hi。

3.3 圖卷積網絡

本文用有向的帶權圖G=(V，E，W)表示含有N個基本語言要素的圖，包括結點vi∈V，表示依賴關系的有向邊eij∈E，αij∈W表示邊的權值。

3.3.1 結點的表示

對話中的每個ui都對應圖中的一個vi，初始狀態時，vi直接使用順序上下文編碼器中訓練得到的特征向量gi進行初始化。GCN 通過特征變換過程，不斷把結點鄰域(即一定范圍內相鄰的結點)的特征與當前結點特征做混合計算，從而使任意結點都能學習到一部分圖結構信息[15-16]。

3.3.2 邊的表示

邊集合E直觀地體現了ui之間的依賴關系。假設要考慮任意兩個ui之間的依賴，則G將構成完全圖，即每兩個結點之間都有邊連接，此時邊的數量為O(N2)，當文本量較大時，計算成本將非常昂貴。更具實用性的做法是只考慮當前結點對表示前后固定時間窗口內ui的結點依賴關系，本文將時間窗前后步長都設置為10。

盡管直觀上看邊的存在性已經足以刻畫文本中的上下文依賴，但自然語言處理領域的經驗表明，等值依賴在效率和實際效果上都有很大的局限性。因此本文引入注意力機制[17]對圖中的邊賦予一定權值。對于過往時間窗口p與未來時間窗口f，當前結點連接窗口內各結點的邊的權值為

式中:softmax 函數確保αij滿足和為1 的內在約束條件。

3.3.3 特征變換

GCN 中基于特征變換過程將圖的結構信息引入結點的特征向量。如圖1，對于結點vi，通過匯聚局部鄰域結點的特征得到hi:

式中:σ表示卷積網絡中的激活函數，如sigmoid 或ReLU 函數。Ni表示鄰居結點集合，通常取2°或3°內的相鄰結點。括號中的兩項分別表示根據權值匯聚鄰居結點的特征與保留當前結點自身的特征(通過圖中該節點上的自環)。Wr與W0是該過程中需要通過訓練得到的權值參數，可全部初始化為1/｜Ni｜。

3.4 情緒分類器

情緒分類器部分接收的輸入由順序上下文編碼器輸出的特征gi與對話上下文編碼器輸出的特征hi拼接而成，即gi⊕hi，“⊕”表示向量的拼接。為提升效果，拼接時依然對各個維度乘上注意力權值。分類器的實際結構采用全連接的神經網絡，最后根據softmax 函數在各個輸出結點(對應不同的情緒標簽)的最大值給出分類結果。

4 實驗結果與討論

4.1 實驗設置

實驗中使用的數據集采集自國網某客服中心基地2019 年內的部分語音對話數據，其中來自人工服務與智能語音服務的樣本約為4 ∶1。數據中用戶的情緒被劃分為7 個級別，表示用戶的投訴傾向或滿意度。

實驗在一臺搭載一塊NVIDIA GeForce RTX 2080Ti 圖形處理器的計算機上進行。GCN 的優化基于Adam 優化器，目標函數用帶L2正則化項的交叉熵(categorical cross-entropy)損失函數表示為[18-19]

式中:N為樣本數，c(s)為第s個樣本中的詞/短語數，Pi，j與yi，j分別表示第i個樣本的第j個詞/短語的情緒標簽的真實類別與模型預測類別，λθ2為L2正則化項，θ為GCN 的參數集合，λ為正則化系數。實驗中用測試集上各個類別的平均F1 指標(F1-measure)值，即精確率(precision)與召回率(recall)的調和平均值來衡量模型的實際效果。

4.2 實驗結果

4.2.1 鄰域結點范圍

圖2 給出了隨著GCN 中用于匯聚圖結構信息的鄰域范圍增大(用最遠結點到中心結點的度數表示)，F1 指標值的變化。圖中當鄰域大小為0 時，說明實際上沒有將相鄰結點的特征匯聚到當前結點，即忽略了文本的圖結構，此時的情緒識別模型是一般的卷積神經網絡分類器。根據圖相關模型中的經驗，一般取2°或3°鄰居即可充分地使結點學習到圖結構信息，圖2 中的結果也符合這一經驗。實際上模型在取4°內鄰居結點時效果最優，當鄰域繼續擴大時模型性能反而下降，說明出現了過擬合現象。但需要注意的是，由于數據量較大，即使只增加一度的鄰居結點，計算負荷的增長也是非常可觀的。綜合模型的效率與性能考慮，本文建議離線模型采用3°或4°鄰域訓練，線上模型采用2°或3°鄰域執行。

圖2 模型性能隨鄰域大小的變化曲線

4.2.2 模型性能比較

本文將結合了順序上下文與對話上下文的GCN 情緒識別模型與幾種流行的情緒識別技術進行比較:(1)卷積神經網絡(CNN)；(2)文本卷積網絡(TextCNN)；(3)長短期記憶網絡(LSTM)；(4)結合注意力機制的長短期記憶網絡(Att-LSTM)；(5)對話記憶網絡(conversational memory network，CMN)模型[20]；(6)DialogRNN 模型[21]。模型效果對比見表1。顯然，本文提出的基于GCN 的情緒識別模型在總體指標上優于其他模型，且在各個類別上的性能都較穩定。

表1 模型性能對比

圖3 給出了將本文模型最終訓練得到的文本表示gi⊕hi經t-SNE 算法[22]降維并聚類后的效果。圖中結點的大小反映了結點的度數，權值較低的邊被舍棄。可以直觀地看出基于GCN 的模型最終在各個類別上都得到了較好的文本表示，從而將同一類情緒標簽的文本聚在一簇。

圖3 文本特征向量聚類

5 結束語

針對電力智能服務平臺中的情緒識別這一基礎問題，本文提出一種基于圖卷積網絡的情緒識別模型。模型綜合考慮了對話中的順序上下文與對話上下文兩類上下文結構，并創新性地提出了使用圖模型來表示對話上下文結構中復雜的上下文依賴關系，從而能借助圖卷積網絡更好地表征文本中的語義信息，實現更為準確的情緒識別。實驗結果表明，本文模型在情緒識別任務上相比其他主流模型性能更優，對建設更為智能的電力服務平臺有一定實際意義。