一種基于層次化R?GCN 的會話情緒識別方法

賴河蒗，李玲俐，胡婉玲，顏學明

（1.華南師范大學計算機學院，廣州 510631；2.廣東司法警官職業學院信息管理系，廣州 510520；3.廣東外語外貿大學信息科學與技術學院，廣州 510006）

0 概述

隨著人工智能技術的快速發展，推薦系統、輿情預測、財務預測、智能搜索、對話系統、人機交互等相關應用得到普及，其中，人機交互受到科研人員的廣泛關注。用戶在交互過程中會產生各種形式的生理和行為數據，人工智能追求的目標是人機可以無縫銜接，即當用戶與機器進行情感交互時，機器可以全面準確地分析交互數據并洞察、理解、表達各種情緒。因此，需要構建能夠識別和理解情緒的機器，使得它們可以像人類一樣進行自然和友好的互動。

情緒是人們受到外界刺激時在感覺、思想或行為等方面所產生的一些心理或生理反應［1］，如生氣、開心、傷心、興奮、沮喪、害怕、驚訝等。情緒在人們的生活中發揮著極其重要的作用，其會影響人們的日常交流、行為舉止、判斷、決策等。情緒識別是指通過對表達的信息（通常該信息單元是一個“話語”）進行分析，進而判斷該“話語”屬于哪一種情緒。雖然當前已經有較多關于情緒識別方面的研究，但是較少有學者對會話情緒識別進行研究。隨著神經網絡、機器學習、深度學習［2-3］等人工智能技術的發展，會話情緒識別成為研究熱點，在對話系統中，情緒識別極其重要，其要求機器人能識別并透徹地理解會話中的情緒，從而給出帶有感情的響應或回復。然而，由于會話中說話者之間存在很強的相互依賴性，使得會話情緒識別成為一項具有挑戰性的任務［4］。在一個交互的會話中，有2 個重要因素影響情緒動態變化：一為說話者自身的情緒影響，指個人在某一時刻的情緒傳遞到另一時刻；二為說話者之間的情緒影響［5-6］，指個人情緒受到了另一說話者的情緒影響。

本文考慮上述2 個影響因素，提出一種基于層次化關系圖卷積神經網絡（HRGCN）的會話情緒識別方法，其層次化地使用關系圖卷積神經網絡（R-GCN）對會話中產生的序列“話語”進行建模，從而識別會話中的情緒。具體地，用多模態表示會話中的每一個“話語”，將整個序列輸入到一個基礎神經網絡（該網絡可以是LSTM 或GRU 等），經過基礎神經網絡輸出后，按照不同的說話者將整個序列劃分成不同的子序列（在本文中劃分為2 個子序列）。不同的子序列輸送到局部R-GCN（隸屬于不同的說話者）進行計算，并將計算結果按照會話發生的時間順序相級聯，級聯后的序列“話語”送到全局R-GCN中進行計算，計算后得到的全局特征表示傳送到完全連接層進行降維操作，完全連接層的輸出即為情緒分類預測結果。

1 相關工作

近年來，隨著對話系統應用的普及，會話情緒識別逐漸成為人機交互領域中的一個研究熱點，同時也受到國內外研究人員的廣泛關注。會話情緒識別是一個涉及信號處理、心理學、自然語言處理、認知科學等多個交叉學科的研究領域。

PORIA 等［7］提出基于卷積多核學習的分類器以及基于上下文的層次化雙向LSTM 模型［8］，以進行多模態情緒識別以及情感分析。HAZARIKA 等［4］首先提出會話存儲網絡模型，該模型使用2 個不同的GRU 來捕獲不同說話者所表達“話語”的上下文信息，隨后，他們改進該模型，通過增加一個GRU 對說話者之間進行建模，該GRU 可以看作跟蹤整個會話的記憶存儲［9］，此外，他們又提出遷移學習的方法，該方法先訓練一個神經對話生成模型，然后利用該模型的參數來初始化目標情緒分類器［10］。MAJUMDER等［11］描述一個基于3 個GRU 的循環神經網絡，這3 個GRU 分別用于追蹤會話中說話者的個人狀態、全局上下文信息以及情感狀態，該神經模型能有效捕獲說話者之間的關系并擴展到多個說話者的會話中。JIN 等［12］將層次化的多模態轉換器作為基礎網絡，設計一個局部感知的注意力機制和一個說話者感知的注意力機制，以分別捕獲局部上下文以及說話者的情緒慣性。高瑋軍等［13］建立一種基于注意力機制的深度學習模型AT-DPCNN，其通過注意力矩陣重點關注文本序列中對情感走向影響較大的部分，解決了傳統卷積神經網絡在提取特征過程中存在的信息丟失問題。PORIA 等［14］對會話情緒識別中存在的挑戰、數據集以及最新進展進行了詳細綜述。

由于圖神經網絡（GNN）、圖卷積神經網絡（GCN）和R-GCN 在捕獲相鄰信息時具有優勢以及在預測分類方面效果較好，因此在情感分析和情緒識別領域得到廣泛應用。ZHANG 等［15］提出基于圖卷積神經網絡的情緒識別模型，用于解決會話中的上下文依賴以及說話者相互依賴這2 個挑戰性問題。ZHONG 等［16］設計一個知識豐富型的轉換器，利用層次化結構的自我關注來詮釋上下文中的“話語”，并通過一個上下文感知的情感圖注意力機制來動態地使用相關常識。XU 等［17］使用圖卷積神經網絡進行特征提取以及面部表情識別分類。WANG 等［18］提出基于鎖相值的圖卷積神經網絡，用于多通道腦電情緒識別。SONG 等［19］設計一個動態圖卷積神經網絡來進行多通道腦電情緒識別研究。LO 等［20］提出一種基于關系建模的圖卷積神經網絡，并將其用于微表情識別。GHOSAL 等［21］建立一個對話圖卷積神經網絡，用于捕獲說話者自身以及說話者之間的相互依賴關系。

上述方法都取得了較好的識別效果，但它們大多沒有考慮不同說話者自身表達的特點以及歷史上下文和將來上下文信息存在不同權重的問題。本文將不同說話者在會話中所表達的“話語”分開進行局部建模，然后再級聯完成全局建模，在建模過程中采用非對等窗口技術表示歷史上下文和將來上下文信息所隱含的權重。

2 層次化R-GCN 模型

為了有效捕獲上下文之間的依賴關系，需要同時考慮說話者自身的情緒影響以及說話者之間的情緒影響。圖1 所示為IEMOCAP（Interactive Emotional dyadic Motion Capture database）數據集中抽取出的一個對話片段，其體現了上述2 個因素對情緒變化的影響。

圖1 情緒影響示例Fig.1 Examples of emotional impact

本文提出一種HRGCN 方法進行會話情緒識別，所研究的會話是二元會話，即在會話交互過程中有2 個不同的說話者。由于不同說話者具有各自表達的特點，本文將整個會話序列劃分成2 個不同的子序列（分別對應2 個說話者各自表達的“話語”序列），并用2 個局部關系圖卷積神經網絡對2 個子序列進行獨立建模。

文獻［21］在劃分邊關系類型時沒有考慮“話語”在會話序列中的位置，未區分當前測試“話語”與其他“話語”之間的距離大小。與文獻［21］不同，本文認為不同時刻的“話語”所產生的情緒依賴影響是不同的，即不同時刻的“話語”含有不同的權重，在劃分邊關系類型時，應該將當前測試“話語”與其他“話語”之間的距離大小作為劃分結果的主要影響因素之一。在會話過程中，當前測試“話語”的情緒受歷史上下文的影響較大，受將來上下文的影響較小。為了強調當前“話語”的歷史上下文和將來上下文所占權重不同，本文使用非對等距離大小技術來表示權重，即將歷史和將來2 個不同方向的距離設置為不同的值。例如，令測試“話語”ut與其他“話語”之間的距離大小為d，在ut的歷史上下文方向設置一個距離劃分點，假設距離大小為，在ut的將來上下文方向設置一個距離劃分點，假設距離大小為，然后討論d、三者之間的關系，最后得到邊關系類型以及每條邊所屬的類型。

圖2 所示為HRGCN 結構框架，其主要模塊有基礎神經網絡（BNN）、局部關系圖卷積神經網絡（Local R-GCN）以及全局關系圖卷積神經網絡（Global R-GCN）。

圖2 HRGCN 結構框架Fig.2 HRGCN structural framework

2.1 基礎神經網絡

基礎神經網絡的目的是使多模態數據在輸入到關系圖卷積神經網絡之前獲得較好的特征表示，即為后續的關系圖卷積計算打下基礎。該模塊可以選擇不同的神經網絡，如循環神經網絡LSTM 或GRU。在本文實驗部分，分別采用這2 種不同的神經網絡作為基礎神經網絡，并對比實驗效果。

假設有一個二元會話，其“ 話語”序列是u1，u2，u3，u4，u5，u6，其 中，u1，u2，u5是第一個說話者表達 的“話 語”，u3，u4，u6是第二個說話者表達的“話語”。將整個序列輸入到基礎神經網絡時，具體的計算過程為：首先將序列中每個“話語”的各個模態數據（包括文本、聲音和圖像）級聯起來；然后輸入到雙向LSTM 或GRU 網絡進行計算，得到輸出序列q1，q2，q3，q4，q5，q6。

2.2 局部關系圖卷積神經網絡

特征數據在經過基礎神經網絡之后，將在局部關系圖卷積神經網絡模塊進行局部關系圖卷積計算：首先，根據不同的說話者對序列“話語”進行劃分；然后，將這2 個不同的子序列輸送到Person one RGCN 和Person two RGCN 這2 個不同的局部關系圖卷積神經網絡。本文所提方法基于局部鄰居信息（即一定范圍內的鄰居“話語”）進行卷積處理，此外，考慮到歷史上下文和將來上下文隱含的權重不同，本文引入距離大小非對等技術。

2.2.1 圖結構

一個具有N個“話語”的會話，其關系圖網絡結構可以用一個有向圖G=(V，E，R)來表示：圖中每個頂點vi∈V表示一個“話 語”；頂 點vi和頂點vj（i，j∈[1，2，…，N]）之間的邊為(vi，vj)∈E，邊的關系類型為r∈R。

2.2.2 頂點劃分

在對自身情緒影響進行建模時，考慮到不同說話者具有不同的特點，本文將不同說話者在會話中所表達的“話語”進行劃分，如圖2 所示，將序列q1，q2，q3，q4，q5，q6劃分為q1，q2，q5和q3，q4，q6。劃分后將這2 個子序列分別送到Person one RGCN 和Person two RGCN 進行卷積運算。

2.2.3 基于非對等上下文窗口的邊集合

邊集合中具體包含哪些邊取決于建模過程中考慮的上下文內容范圍。在一個會話中，如果每個“話語”的上下文內容考慮的范圍是其他所有的“話語”，那么會產生一個完全連接圖，此時每個頂點與所有其他頂點（包括自身）都有一條邊。由于這種情況會花費大量的計算時間，因此本文只考慮局部鄰居信息進行卷積處理，即在收集局部鄰居信息時使用上下文窗口來限制范圍。例如，將歷史上下文窗口設置為Wp，將來上下文窗口設置為Wf，圖中任意一個“話語”為vi∈V，則該“話語”vi對應的邊集合中包含vi自 身、Wp個歷史“話 語”（在vi之前的vi-1，vi-2，…，vi-Wp）以及Wf個將來“話語”（在vi之后的vi+1，vi+2，…，vi+Wf）。

進一步區分Person one RGCN 和Person two RGCN網絡的上下文窗口，將其分別設置為Wp1、Wp2與Wf1、Wf2。為了進行簡化，在圖2 所示的模型中，這4 個窗口的大小均設置為2，需要注意的是，在優化實驗參數時，可以將隸屬于不同說話者的Wp和Wf窗口大小設置為非對等數值。在窗口值范圍內，說話者Person one的“話語”序列q1，q2，q5所產生的邊有<1，1>、<1，2>、<1，5>、<2，2>、<2，1>、<2，5>、<5，5>、<5，1>、<5，2>。同 理，說話者Person two 的“話 語”序 列q3，q4，q6所產生的邊有<3，3>、<3，4>、<3，6>、<4，4>、<4，3>、<4，6>、<6，6>、<6，3>、<6，4>。

2.2.4 基于非對等距離大小的關系劃分

在二元會話中，2 個“話語”之間的時序關系依賴于它們在會話中的位置。在劃分每條邊所屬關系時，本文采用基于非對等距離大小的方法來產生不同時序“話語”之間的邊關系類型。

在局部關系圖卷積神經網絡Person one RGCN中，2 個非對等距離分別用Dp1和Df1（0

同理，在局部關系圖卷積神經網絡Person two RGCN 中，2 個非對等距離分別用Dp2和Df2（0

圖2中的Person one RGCN 和Person two RGCN 模塊展示的是Dp1、Df1、Dp2、Df2均設置為1時的劃分情況。

2.2.5 基于局部序列的特征轉換

根據2 個不同的說話者劃分出的2 個不同子序列“話語”，分別被送到Person one RGCN 和Person two RGCN 進行特征轉換運算。本文使用受文獻［21-23］啟發的特定于關系的轉換方法來進行轉換運算，通過收集基于非對等上下文窗口（Wp1、Wp2、Wf1、Wf2）的鄰居上下文信息（“話語”），可以將某一“話語”vx的特征qx轉換為新的特征表示。

在Person one RGCN 中，運算公式如下：

在Person two RGCN 中，運算公式如下：

其中：x=1，2，…，N；表示“話語”vx在關系r∈Ra或r∈Rb下的鄰居“話語”的索引集合；cx，r是一個特定于問題的規范化常量，可以通過學習獲得或預先設置（如）；σ是激活函數；Wr、、Wo2是可以訓練的轉換參數。

2.3 全局關系圖卷積神經網絡

在局部關系圖卷積神經網絡Person one RGCN和Person two RGCN 中分別計算出局部序列的新特征后，HRGCN 依據會話中發生的時序將2 個局部序列進行級聯，形成一個具有N個“話語”的序列（如圖2 中的序列），并輸送到全局關系圖卷積神經網絡。

2.3.1 基于非對等上下文窗口的邊集合

在全局關系圖卷積神經網絡中也采用非對等上下文窗口技術。例如，將歷史上下文窗口設置為，將來上下文窗口設置為。在圖2 的模型中，和的大小分別設置為3 和2，在這2 個窗口值范圍內，“話語”序列所產生的邊有<1，1>、<2，2>、<5，5>、<2，1>、<5，2>、<5，3>、<5，4>、<3，3>、<4，4>、<6，6>、<4，3>、<6，4>、<6，3>、<3，1>、<3，2>、<4，2>、<6，5>、<4，1>、<1，2>、<2，3>、<5，6>、<1，3>、<2，4>、<3，4>、<4，6>、<4，5>、<3，5>。

2.3.2 基于非對等距離大小的關系劃分

在全局關系圖卷積神經網絡中，邊關系類型的劃分比較復雜，需要分情況討論。為了確定某條邊的關系類型，本文考慮的因素包括“話語”的時序關系、“話語”的間隔距離關系以及“話語”的說話者關系。

類似于局部關系圖卷積神經網絡的劃分，本文在間隔距離關系方面同樣采用基于非對等距離大小的方法。2 個非對等距離分別用和表 示，任 意2 個“話 語”分別用和表 示（i'，j'∈[1，2，…，N]），“話語”和所對應的說話者分別用和表示，會話中的第一個說話者和第二個說話者分別用pone和ptwo表示。“話語”和之間相隔的距離設置為d。在圖2的模型中，和分別設置為2 和1，則可以得到以下2 種劃分情況：

表1 圖2 中Global R-GCN 關系劃分結果1Table 1 Global R-GCN relationship division result 1 of fig.2

表2 圖2 中Global R-GCN 關系劃分結果2Table 2 Global R-GCN relationship division result 2 of fig.2

所有的邊關系類型用集合Rc表示，即

2.3.3 基于全局序列的特征轉換

與局部序列的特征轉換計算類似，全局序列的特征轉換使用特定于關系的轉換方法，基于非對等上下文窗口收集相鄰上下文“話語”的信息，然后轉換局部特征為全局特征

Global R-GCN 的運算公式如下：

2.4 預測輸出

輸入的特征數據經過上述層次化的關系圖卷積神經網絡計算（式（1）～式（3））之后，序列中的每個“話語”都積累了其相鄰“話語”的相關信息。最后，將全局關系圖卷積神經網絡的計算結果輸入到一個完全連接層，經過降維后進行預測分類。計算公式如下：

在訓練過程中，使用帶L2 正則化的交叉熵損失函數來計算損失值：

其中：N表示訓練集中所有“話語”的總個數；C是情緒分類的數目；zx，y是訓練集中第x個“話 語”屬于第y類別的真值；是預測第x個“話語”屬于第y類別的概率值；ω是L2 正則化的權重值；θ是所有訓練參數的集合。

3 實驗結果與分析

3.1 數據集

本文實驗基于IEMOCAP 數據集進行［24］，該數據集包含總長約12 h 的二元會話視頻數據，這些視頻共有5 個會話，每個會話又有若干個5 min 左右的交互視頻，每個交互視頻被進一步劃分為若干個切片，這些切片也稱為“話語”，所有的“話語”都用多模態（文本、聲音以及圖像的級聯）進行表示，并至少由三名標注人員標注一個情緒標簽。本文考慮的情緒標簽包括生氣（anger）、開心（happiness）、傷心（sadness）、中立（neutral）、興奮（excitement）、沮喪（frustration）共6 類。表3 所示為IEMOCAP 數據集中各種情緒的分布情況。

表3 IEMOCAP 數據集中各種情緒的分布情況Table 3 Distribution of various emotions in IEMOCAP dataset

3.2 實驗設置

參考文獻［4，9，11，21］對特征數據集進行預處理，且同一說話者可以出現在訓練集和測試集中。在實驗過程中，首先將下載的多模態特征數據集隨機打亂，然后隨機劃分出80%作為訓練集和驗證集，20%作為測試集。本文HRGCN 方法所使用的優化器是Adam［25］，學習率設為0.001。為了防止過擬合，采用Dropout［26］機制。在訓練階段設置早停機制，如果驗證集的損失值連續10 輪不再下降，則停止訓練。實驗采用的評估指標是準確率（記為ACC）和F1 分數（記為F1）。

本文在IEMOCAP 數據集上進行會話情緒識別測試。實驗中的對比模型如下：

1）LSTM［27］，即長短期記憶神經網絡，是為了解決一般RNN 存在的長期依賴問題而專門設計出的時間循環神經網絡。

2）GRU［28］，即門控循環單元，它是為解決長期記憶和反向傳播中的梯度等問題而設計出的時間循環神經網絡。

3）Local R-GCN，本文HRGCN 方法中的Local R-GCN 模 塊，即Person one RGCN 和Person two RGCN 這2 個部分的組合。

4）Global R-GCN，本 文HRGCN 方法中的Global R-GCN 模塊。

5）HRGCN（BNN=GRU），在本文HRGCN 方法的BNN 中裝載GRU 神經網絡。

6）HRGCN（BNN=LSTM），在本文HRGCN 方法的BNN 中裝載LSTM 神經網絡。

3.3 結果分析

不同模型在IEMOCAP 數據集上的實驗結果如表4 所示。從表4 可以看出，HRGCN（BNN=LSTM）模型的識別效果最好，其次是HRGCN（BNN=GRU）模型，效果較差的是Local R-GCN 模型。

表4 不同模型在IEMOCAP 數據集上的實驗結果Table 4 Experimental results of different models on IEMOCAP dataset %

本文HRGCN 方法的理論依據是：在會話交互的過程中，一個“話語”的情緒既受到說話者自身情緒變化的影響，也受到說話者之間情緒變化的影響［5-6］。局部R-GCN 模塊對說話者自身情緒的變化進行建模，考慮到不同說話者會受到自身情緒變化的影響（有各自不同的表達特點），局部R-GCN 模塊使用2 個獨立的關系圖神經網絡進行特征轉換。全局R-GCN 模塊對說話者之間情緒的變化進行建模。實驗結果表明，特征數據經過局部R-GCN 以及全局R-GCN 之后，可以更好地捕獲說話者自身以及說話者之間的情緒影響，從而提高會話情緒識別的性能。僅使用局部R-GCN 或全局R-GCN 都不能全面地捕獲以上2 個方面的影響，其中的原因可能是：單一的局部建模不能很好地反映會話是一個交互現象，無法很好地捕獲說話者之間的情緒影響；單一的全局建模沒有考慮到不同說話者各自的特點，無法較好地捕獲說話者自身的情緒變化影響。

4 超參數分析

本文對HRGCN（BNN=LSTM）模型的相關超參數進行分析。令局部R-GCN 計算輸出結果的特征維度大小為localSize，全局R-GCN 計算輸出結果的特征維度大小為globalSize，本文使用隨機參數搜索方法，在實驗中得到最優參數組合為localSize=176，globalSize=88。當globalSize 的大小固定為88時，表5 所示為localSize 取不同值時ACC 和F1 的變化情況。當localSize 的大小固定為176 時，表6 所示為globalSize 取不同值時ACC 和F1 的變化情況。

表5 localSize 取不同值時ACC 和F1 的變化情況Table 5 The change of ACC and F1 when localSize takes different values

表6 globalSize 取不同值時ACC 和F1 的變化情況Table 6 The change of ACC and F1 when globalSize takes different values

此外，為了驗證預測輸出階段的降維操作是否對情緒識別效果產生影響，本文分析維度取不同值時ACC 和F1 的變化情況。令預測輸出階段的維度大小為hiddenSizeFC，表7 所示為hiddenSizeFC 取不同值時ACC 和F1 的變化情況。

表7 hiddenSizeFC 取不同值時ACC 和F1 的變化情況Table 7 The change of ACC and F1 when hiddenSizeFC takes different values

從表7 可以看出：在開始階段，隨著hiddenSizeFC的增大，ACC 和F1 均略有提高；當hiddenSizeFC 取值58 時，ACC 和F1 達到最好效果；隨后，在繼續增大hiddenSizeFC 時，ACC 和F1 均略有下降。由此可見，預測輸出階段的維度大小對HRGCN（BNN=LSTM）模型的分類效果具有一定影響。

5 結束語

本文提出一種基于層次化R-GCN 的會話情緒識別方法。該方法利用2 個不同的局部關系圖卷積神經網絡對輸入特征數據進行局部建模，然后使用全局關系圖卷積神經網絡對所得局部建模結果進行全局建模，從而充分考慮不同說話者自身的特點以及相互之間的依賴關系。在情緒識別基準數據集IEMOCAP 上進行實驗，結果表明，相比循環神經網絡，該方法的情緒識別性能較高，準確率高達84.48%。但是，本文所提方法仍存在一定的局限性，如涉及的超參數較多、層次化神經網絡組合運算成本較高、運算實時性不佳等。因此，下一步將優化參數組合并通過調整神經網絡結構等方法來降低模型的運算復雜度。