基于ConvLSTM網絡的維度情感識別模型研究

米珍美，趙恒斌，高 攀

石河子大學 信息科學與技術學院，新疆 石河子832003

學業情緒不僅作用于學習者學習過程中產生的注意、記憶、決策等各個認知加工環節，而且影響學習者的學習動機和學習興趣[1]。精準檢測學習者學習狀態是智慧學習環境的基礎，也對實施個性化教育起著尤為重要的作用。學習者面部情感已成為教育情感計算中最常用的人工智能技術之一[2]，相比于離散情感模型在時間軸上是點式非連續的，維度情感模型是基于時間的一系列數據，更能揭示數據的趨勢性、規律性、異常性[3]。

目前基于維度情感計算研究主要針對人類的普通表情，而面向中學生學業情緒的研究卻很少。分析維度情感預測研究，主要可分為回歸和分類兩類問題。早期的連續維度情感識別方法主要采用手工特征并結合傳統機器學習算法進行識別[4]。維度情感分類識別常用的算法有支持向量機（Support Vector Machine，SVM）[5]、隱馬爾可夫模型（Hidden Markov Model，HMM）[6]，維度情感預測常用的回歸模型如支持向量回歸（Support Vector Regression，SVR）等[7-8]。隨著深度學習的發展，循環神經網絡（Recurrent Neural Network，RNN）以及其變體長短期記憶網絡（Long Short-Term Memory，LSTM）也被用于維度情感檢測[9-10]。

Metallinou等[11]結合隱馬爾可夫模型與雙向長短時記憶網絡（BLSTM）進行維度情感識別，其結果優于傳統的機器學習方法。余莉萍等[12]通過改進LSTM，在算法中引入注意力機制，將傳統的遺忘門和輸入門用注意力門進行替換，并在多個時刻的細胞狀態Fau Aibo兒童情感數據語料庫以及嬰兒哭聲情感數據庫上得到比傳統LSTM更好的識別結果。湯宇豪等[13]則提出基于層次注意力機制的維度情感識別方法，將人臉信息與聲音信息通過多層注意力進行有效融合，結果表明模型在大規模的數據集中表現突出。Kollias等[14]設計基于卷積神經網絡（Convolutional Neural Networks，CNN）、CNN和RNN相結合的模型進行情感維度識別，并在CVPR比賽中獲得優異成績。

雖然上述方法在維度情感方面取得了成功的應用，但是在面向中學生學業情緒識別上存在很大挑戰：（1）相比于基本情緒，學生在學習過程中產生的情感更加復雜，雖然研究者一直致力于識別更精準、更加豐富的人類情感，但其研究結果并不能直接應用于實際學習環境中；（2）基于面部表情的維度情感識別更需要時空融合模型提取特征值，已有研究者提出CNN與LSTM堆疊相結合的方法，在時序模型LSTM階段融合空間模型CNN進行時空特征提取，忽略了LSTM時序建模中面部情感特征的學習。

因此，本文利用ConvLSTM[15]網絡進行維度情感識別，其不僅具有CNN刻畫圖像局部特征的能力，而且能夠像LSTM一樣建立時序模型，通過篩選有用的學生面部情感特征，解決LSTM網絡無法處理冗余空間信息的問題。在自建的中學生學習維度情感數據庫上進行實驗，并在Aff-Wild公開數據集[16]上進行試驗，得到的相關系數均值為0.222。實驗表明，本文提出的基于維度情感模型在中學生學業情緒識別中CCC相關度系數指標提升了7.6%~43.0%。

本文主要貢獻有兩點：（1）構建面向中學生的二維情感數據庫；（2）通過經典深度卷積網絡提取視頻中的學生面部學業情緒，并將提取的特征輸入ConvLSTM網絡進行維度情感預測。

1 實驗方法

1.1 維度情感預測

維度情感模型用幾個取值連續的維度將情感刻畫為一個多維信號，維度情感預測是對維度空間中每個維度的連續取值進行預測，通過對情感狀態的實時標注來跟蹤情感狀態的演變過程。

基于Arousal-Valence二維情感空間從Arousal、Valence兩個維度刻畫情感，Valence代表價效維度，表示情感的強烈和微弱程度。通過價效和喚醒兩個維度可以區分更多細微的情感，每個人的情感狀態可以根據價效維度和喚醒維度上的取值組合得到表征，這也使得機器能夠更好地理解人的感情并做出精準的反應。

借鑒不同模態中基本情感維度的預測方法，宏觀上模型分為面向中學生的不同學業情緒特征學習和維度情感預測兩個階段。在模型訓練階段，將待訓練學生學業情緒視頻輸入到模型中學習情感顯著特征。在模型測試階段，將待測試維度情感預測視頻輸入到訓練充分的算法模型中，先提取學生學業情緒的面部顯著特征，再進行最終情感預測。實驗中首先建立基于面向中學生的學業情緒數據集，通過Arousal-Valence二維情感空間描述學生的學業情緒，如圖1所示部分學業情緒在維度空間中的表示；其次以中學生學業情緒數據集為基準篩選最優特征，并進行數據集與訓練集的劃分，其中訓練集與測試集劃分比例為4∶1；最后分析不同CNNLSTM算法模型在情感維度中的預測結果，即使用V、A各維度的最優特征對算法模型進行訓練，得到最好的模型，然后將測試集輸入到訓練好的算法模型中，得到待檢測圖像的A、V二維向量預測值。

圖1 二維（Arousal-Valence）情感狀態空間Fig.1 Two dimensional（Arousal-Valence）emotional state space

1.2 ConvLSTM網絡

LSTM擅長時序數據的處理，但是如果時序數據是圖像等三維圖形，其有著豐富的空間信息并且每一個點與周圍具有很強的相關性，普通的LSTM很難刻畫這種空間特征，于是在LSTM的基礎上加上卷積操作捕捉空間特征，對于圖像的特征提取會更加有效。為了解決這個問題，Shi等[15]設計了ConvLSTM網絡，其將輸入與各門之間的連接替換為卷積，從而融合CNN提取局部特征的能力和LSTM時序建模的能力。傳統LSTM[17]有輸入門、輸出門、遺忘門三個門，網絡主要通過學習對這三者的控制來得到理想的結果，如果是多層結構，每個LSTM計算單元向上層傳遞的是h值。ConvLSTM是LSTM的變體，主要是將w的權值計算變成卷積運算，這樣可以提取出圖像的特征，如圖2所示LSTM單元結構圖。

圖2 LSTM單元結構圖Fig.2 LSTM cell structure

LSTM的輸入、單元輸出和狀態都是一維向量，其關鍵公式如式（1）~（5）所示，其中“°”表示Hadamard乘積：

與傳統網絡不同，ConvLSTM網絡所有的輸入X1,X2,…,Xt,細胞的輸出C1,C2,…,Ct，隱藏狀態H1,H2,…,Ht以及輸入門it、遺忘門ft、輸出門ot，均為三維向量，其最后兩個維度代表行和列兩個空間信息。式（6）~（10）顯示了ConvLSTM的關鍵等式，其中“?”表示卷積運算，“°”表示Hadamard乘積：

1.3 基于ConvLSTM網絡的維度情感結構

基于ConvLSTM網絡的維度情感模型結構如圖3所示，通過卷積神經網絡和ConvLSTM網絡實現自動定位重要信息并對不同的幀分配不同的權重。首先，對中學生學業情緒視頻進行預處理，為獲取視頻中學生面部特征，視頻采樣率FPS值為5，即每0.2秒提取1幀，采用Opencv中的人臉特征模型對每一幀有效的學生學業情緒進行裁剪，并歸一化到相同尺寸大??；接著將中學生學業情緒視頻幀序列輸入到由卷積神經網絡構成的空間注意力網絡中；隨后將提取的卷積特征經過Conv-LSTM解析后提取出長時間的序列特征，同時結合不同視頻幀的時間信息生成視頻的特征表示；最后生成的特征表示經過全連接層和tanh激活函數，輸出V、A二維向量預測值。

圖3 基于ConvLSTM網絡的維度情感預測模型結構圖Fig.3 Structure of dimensional affective prediction model of ConvLSTM network

實驗中去除VGG、ResNet和Inception網絡的全連接層，主要目的是學習中學生面部情緒中的高層特征，相比選取最后的全連接層作為特征，池化后提取的特征未經壓縮和拉直，保留原始圖像位置信息和通道信息，同時ConvLSTM網絡要求保留面部學業情緒的特征矩陣。視頻圖像序列特征通過堆疊三層ConvLSTM網絡，最終的預測結果由可能性最大的參數估算值決定，如式（11）所示。通過多層疊加的ConvLSTM層，具有較強的時空表征能力，適用于維度情感等復雜問題的預測。

2 數據庫構建

實驗通過模擬在線學習環境，實時采集學生學業情緒，創建了基于情感維度的中學生學業情緒數據庫，數據庫包括157個視頻。實驗采集了來自中學年齡在12~18歲的32名學生，其中男生8名，女生24名，所有實驗人員在實驗開始之前均自愿簽署了知情同意書。實驗提前調查了被試學生所學知識以及知識水平，根據其學習特點，選擇相應的知識內容，以使學生產生多樣的學業情緒。圖4顯示了數據庫中的一些幀，不同學生表現出不同的學業情感。

圖4 二維Arousal-Valence情感空間中的學生學業情緒Fig.4 Two-dimensional Arousal-Valence academic emotionin emotional space

實驗結束，邀請4名標記人員依據二維Arousal-Valence情感空間和維度情感數據庫[18]對情感視頻進行標注。如圖5和圖6展示生成數據庫中Arousal和Valence注釋值的直方圖。

圖5 學業情緒數據庫Arousal標簽分布直方圖Fig.5 Academic emotional database Arousal label distribution histogram

圖6 學業情緒數據庫Valence標簽分布直方圖Fig.6 Academic emotional database Valence label distribution histogram

2.1 數據預處理

為了更有效地提取面部特征，本文對視頻進行預處理，通過Peakutils庫提取視頻幀，在每一幀中，使用Adaboost人臉檢測算法進行人臉檢測并進行裁剪[19]，在此過程中刪除檢測失敗的幀，最終得到2 178張學生面部表情幀。

2.2 數據標注

數據標注過程中使用了ANNEMO[20]軟件，一個基于情感和社會行為標注的Web軟件，其界面如圖7所示。每個維度的標注過程如下：

圖7 ANNEMO標記界面圖Fig.7 ANNEMO tag interface diagram

（1）用戶使用郵箱注冊進行登錄；

（2）同步所需標注的視頻，用戶可選擇標注的視頻；

（3）播放視頻，通過左右移動標桿為視頻標注Arousal-Valence值，其范圍在[-1,1]之間，最后在數據庫中存儲每一幀生成相應的Arousal-Valence值。

實驗中選擇4位標注人員進行視頻情感維度標注，每位注釋者均得到注釋文檔，指導該任務的進行。該文檔包括識別情緒Arousal和Valence的基礎方法，標注人員通過對學業情緒狀態的理解進行標注。其中在開始對每個學業視頻標注之前，標注者觀看了整個視頻，以便對所顯示的視頻進行更為精準的標注。

2.3 注釋統計分析

本文主要提供對標記者標記結果的詳細分析。相比于離散情感模型，Arousal-Valence情感模型可以用來更好地識別學生在學習過程中的情緒，通過定量和定性方法證明標記者標記結果的可靠性。圖8中的散點圖顯示了Arousal-Valence值在在線學習中六種（專注、困惑、疲憊、厭煩、走神和愉快）常見的學業情緒的分布值。

圖8 六種學業情緒在Arousal-Valence維度空間分布圖Fig.8 Six kinds of academic emotions in Arousal-Valence dimension space distribution

從六種情感類別在Arousal-Valence空間中的分布情況可以看出：（1）單一情感（如愉快）可產生多個Arousal-Valence值。這表明每一種類別的情感可能有不同的Arousal-Valence分布，這意味著傳統離散情感類別可能不能準確地描述人的內心情感。（2）情緒之間存在重疊，表明不同的情緒類別可能具有相似的Arousal-Valence分布。例如，某些“專注”和“愉快”圖像的Arousal、Valence值非常接近。這表明每個人對語言特征都有不同的理解。在描述上，人類對情感的分類標記的一致性是相當差的?？梢钥吹剑瑥脑S多明確的詞語中選擇一種情感來描述一個人的情感是不容易的，因為有些情感標簽之間有細微的差別，或者說情緒之間也有關系。

為進一步檢驗Arousal-Valence標簽的質量，隨機選取標記者的500個圖像序列，本文使用Cronbach的alpha方法評估數據的可靠性。在所有Arousal-Valence標簽分數的Cronbach’s alpha值為0.69，最小值為0.52?？梢宰C明，不同標記者標注的標簽之間的內部一致性是良好的。不同標記者之間的Pearson[21]相關系數為0.46。

3 實驗結果與分析

3.1 實驗設置

實驗中采用一致相關系數（Concordance Correlation Coefficient，CCC）和均方誤差作為評估維度情感識別效能的評價指標。CCC通過將兩個時間序列（例如所有標注視頻和預測）的相關系數與它們的均方差進行縮放來評估它們之間的一致性。其取值范圍為[-1,1]，其中+1表示完全一致，-1表示完全不一致。CCC的值越高，注釋和預測之間的擬合越好。CCC被定義為如式（12）所示：

其中，ρxy指皮爾遜相關系數（PCC）[21]，sx和sy分別為學生學習視頻Valance或Arousal真實標簽值和預測值，sxy是相應的協方差值。

均方誤差（Mean Square Error，MSE）作為損失函數，其定義如式（13）所示：

其中，x和y分別是學生學習視頻Valance或Arousal真實標簽值與預測值，N是樣本數量。MSE的值越小，代表模型的預測能力越強。

實驗中已標注的學生學習視頻作為訓練集和測試集，測試集與訓練集數據之間相互隔離，并且訓練集與測試集比例為4∶1，對比實驗設置中分別采用Vgg19、ResNet34、ResNet50、InceptionV3四種經典CNN提取學生面部學業情緒特征，并采用單向兩層LSTM堆疊結構進行時序建模，tanh作為激活函數，小批量梯度下降法，比較不同網絡特征融合的預測結果，其中設置圖片大小為224×224或229×229，后文稱之為CNN-LSTM網絡。在ConvLSTM網絡中，使用三個ConvLSTM層進行特征學習，三層卷積核大小均為7×7，卷積層中第一層卷積核數量為32，第二層卷積核數量為16，第三層卷積核數量為8。為縮減模型計算量，在網絡中使用最大池化層，設置尺寸為4×4，圖像矩陣邊緣填充為“same”。

在驗證ConvLSTM模型預測效果階段，設置了三組對比實驗：（1）使用CNN-LSTM網絡進行維度預測，比較CCC、MSE相關度系數。（2）在使用CNN-LSTM情況下，分析CNN-LSTM、CNN-GRU的預測性能，比較CCC、MSE相關度系數。（3）將模型應用于Aff-Wild數據當中，分析其檢測效果。

實現實驗的操作系統為Ubuntu16.04，深度學習框架為Pytorch1.4，CPU為Intel酷睿處理器，內存為三星DDR4 2400 16 GB×2（32 GB），GPU為GTX1080 Ti顯存，開發語言采用Python3.5。在前期多次實驗對比的情況下，為了保證訓練充分，比較了三種不同梯度下降優化算法SGD、Adam和RMSProp，初始epoch次數設置為1 000，學習率設置為0.000 1。為了更直觀地對比訓練和測試的結果之間的差異，每訓練一個epoch并在相應數據集上測試一次。

3.2 性能比較

3.2.1 不同CNN-LSTM網絡預測結果對比

實驗中依次使用四種深度CNN網絡與LSTM進行結合分別對Arousal和Valence兩個維度進行預測，結果對比如表1所示。實驗中通過多次比較不同深度的LSTM網絡，最終選擇了兩層的LSTM網絡，并在網絡最后連接2層全連接層實現Valance和Arousal兩個情感維度的預測，實驗中VGG19相對于InceptionV3和ResNet50網絡參數都要少，但是其結果最佳，可能是因為數據量相對較少。

表1 CNN-LSTM網絡預測結果對比Table 1 Comparison of CNN-LSTM network prediction results

表1中實驗針對學生維度情感數據庫，結果顯示，VGG網絡模型在CCC和MSE均表現最好，通過計算不同CNN-LSTM在Arousal和Valence的均值（Mean Value）可以看出VGG19-LSTM在CCC均值上至少高出其他CNN-LSTM模型0.086；在VGG網絡中VGG19-LSTM網絡預測能力總體強于VGG16-LSTM，可以看出VGG19-LSTM網絡對Valance維度的預測能力最佳，CCC值高于VGG16-LSTM網絡0.191，CCC均值高于VGG16-LSTM網絡0.086，并且MSE均值中低于VGG16-LSTM網絡0.003，因此適當增加網絡深度可以增強網絡對樣本數據的學習能力，但并非越深的網絡實驗效果越好。由于訓練樣本數據量有限，ResNet50網絡在此數據集中模型沒有取得好的效果。

3.2.2 ConvLSTM上的性能分析

經典的LSTM網絡中state-state采用全連接形式，而ConLSTM采用卷積的形式，分析3.2.1小節結果，實驗將使用VGG19網絡提取特征并融合ConLSTM特征進行維度預測，分別比較了VGG19-LSTM與ConLSTM網絡對學生學業情緒預測的能力。另外，實驗比較了三種不同梯度下降優化算法SGD、Adam和RMSProp。

ConLSTM可以更好地學習圖像輸入的特征而不造成信息冗余。本文提出VGG19-ConLSTM結構不僅可以兼顧學生的面部表情特征，更能夠克服時序數據對空間數據造成的冗余，又避免了LSTM無法實現對局部特征的刻畫特點。

如圖9和圖10所示，三種網絡VGG19-LSTM、VGGGRU以及ConvLSTM在Arousal和Valence兩個維度上訓練和測試時的MSE損失曲線，在最終訓練模型的評估中Arousal和Valence的值均達到0.9以上，測試集中ConvLSTM表現最優，epoch在900左右時，模型接近于水平。從圖10中可以看出測試過程較為抖動，獲取整個過程的Arousal和Valence兩個維度的真實值和預測值，最終得到Arousal的CCC為0.592，Valence維度上CCC為0.571。

圖9 維度情感訓練過程Fig.9 Training process of dimensional emotion

圖10 維度情感測試過程Fig.10 Test process of dimensional emotion

圖11顯示了三種網絡對測試集的預測能力，圖中橫坐標代表待測試幀，縱坐標為每一幀對應Arousal和Valence維度值，黃色線代表模型在Arousal和Valence兩個維度上的預測值，藍色線代表模型在Arousal和Valence兩個維度上的真實值。從圖中可以看出Conv-LSTM預測效果最好，VGG19-GRU網絡的預測效果相比于VGG19-LSTM網絡較為遜色。因此，雖然GRU相對于LSTM模型結構復雜度低，需要更少的訓練參數，但在數據集不同的情況下，模型預測能力是有所變化的。而ConvLSTM網絡通過充分地提取空間特征并對特征進行篩選，充分提升預測網絡能力。

圖11 三種不同模型對Arousal和Valence的預測結果Fig.11 Three different models prediction results for Arousal and Valence

另外，本文還將ConvLSTM模型應用在Aff-Wild數據庫中進行測試，劃分數據集為訓練集和測試集，訓練集和測試集比例為4∶1，具體對比實驗結果如表2所示，相比于當前維度情感識別中的其他方法，ConvLSTM雖然在損失上遠優于其他結果，但是CCC相關度系數更能反映情感預測值和情感標簽值的擬合程度，可以看出，使用了ConvLSTM網絡在CCC均值上已經超越了大部分結果。CCC在兩個維度上分別達到了0.203和0.240，這說明使用ConvLSTM網絡在具有時空信息的維度情感預測中具有一定的效果。

表2 Aff-Wild數據庫實驗結果比較Table 2 Comparison of Aff-Wild database experiment results

4 討論與結論

本文在Vlence-Arousal維度情感理論和教育心理學的基礎上，實現了面向中學生的維度情感數據庫，其中有157個學生學業情緒視頻和2 178張帶有Arousal和Valence維度標簽的學生面部表情。在此基礎上，利用ConvLSTM網絡能有效處理時空信息的能力設計維度情感預測模型，實現了面向學生學業情緒的維度情感預測。實驗證明ConvLSTM與其他CNN-LSTM網絡相比，在一致性相關系數和均方誤差標準方面，均能提供最佳的Vlence-Arousal估計性能。實驗結果表明，將ConvLSTM網絡應用于面向中學生的維度情感預測具有較好效果，為了測試模型預測能力，本文還在Aff-Wild公開數據集上進行實驗，與目前的方法相比，本實驗將學生面部的局部特征與其時間信息進行充分融合，減少數據冗余，識別中CCC相關度系數指標提升了7.6%~43.0%。

學生學業情緒的精準測量是學生進行個性化學習的重要依據，本文將深度學習應用于教育中，實現學生的學業情緒預測，是教育與人工智能融合的有力嘗試。當然，由于數據量不夠，難免在精度上有一些欠缺。未來的研究方向首先應該擴大面向學生的維度情感數據庫，并將其他特征融入到學生學業情緒中，比如學生學習的音頻信息，學生學習的文本日志信息以及學生的學習行為數據，相信這些信息會進一步提高模型的預測能力。