基于多尺度特征注意力機制的人臉表情識別

張 鵬，孔韋韋，滕金保

1.西安郵電大學，西安 710121

2.陜西省網絡數據分析與智能處理重點實驗室，西安 710121

人臉表情在人類之間的溝通交流中發揮著重要作用，在日常生活中，面部表情雖然是一種非語言的交流方式，卻比語言和動作能更好地表達人的心理活動[1]。隨著計算機技術的進步與發展，計算機的應用領域逐漸增多，其中將計算機技術應用到人臉表情識別成為了一個新的研究熱點。人臉表情識別在智能駕駛、刑事偵查和醫療輔助等領域都有著廣泛的應用[2-3]，如在智能駕駛領域，系統通過實時獲取人臉表情信息來判斷駕駛員是否處于疲勞駕駛狀態，避免發生交通事故；在刑事偵查領域，通過分析犯罪嫌疑人微妙的表情變化來判斷對方是否撒謊，輔助警察偵破案情。

人臉表情識別算法也在不斷發展，傳統人臉表情識別算法是通過手工設計特征提取器進行特征提取，如主成分分析法（principal component analysis，PCA）[4]，局部二值模式（local binary patterns，LBP）[5]和梯度方向直方圖（histogram of oriented gradient，HOG）[6]。Zhu等[7]提出先用等效主成分分析進行表情特征提取，再用線性回歸分類器做表達式分類器，該方法大幅度提高了表情特征提取的魯棒性。He 等[8]提出一種基于幾何紋理融合特征和高階奇異值分解的人臉表情識別算法，該算法將面部表情識別問題轉變成張量域，并使用高階奇異值分解提取獨立的表情特征，從而有效地排除了由于個體面部差異而對表情識別造成的干擾。然而，傳統算法在進行特征提取時，所用的手工特征提取器容易忽略對分類有較大影響的特征信息，導致識別準確率一直不高。而深度學習則不需要人為設計特征提取器，深度學習是通過訓練網絡結構，用誤差反向傳播算法不斷優化網絡參數，使網絡自動提取圖像特征信息。2006年Hinton等[9]提出了深度信念網絡，使深度學習重新引起了大家的重視。研究人員基于深度學習設計了許多經典的網絡結構，如AlexNet[10]、GoogLeNet[11]等。由于深度學習取得的巨大成功，許多領域的研究都開始選擇用深度學習，人臉表情識別的研究同樣引入了深度學習技術，并取得了遠超傳統算法的效果。Salunke等[12]將卷積神經網絡應用到人臉表情識別任務中。Zhou 等[13]設計了一個模塊化的多通道深度神卷積神經網絡，并用全局平均池化來防止過擬合。Li 等[14]提出了一種基于深度殘差網絡ResNet-50 的特征提取方法，該方法結合卷積神經網絡進行人臉情緒識別。Agrawal等[15]研究了不同的參數對人臉表情分類結果的影響，對不同大小的卷積核和過濾器數量進行了全面評估。Hu等[16]提出了注意力機制網絡SENet（squeeze-and-excitation network），該網絡通過學習的方式來自動獲取每個特征通道的重要程度，然后依照重要程度去增強對當前任務重要的特征并抑制對當前任務用處不大的特征。Li 等[17]提出一種基于注意力機制的自動人臉表情識別網絡，該網絡將LBP特征與注意力機制相結合，增強了注意力模型，獲得了更好的結果。

卷積神經網絡在人臉表情識別過程中，雖然相較于傳統方法取得了明顯的進步，但網絡結構通常是簡單地將卷積層和池化層線性疊加，對圖像的多尺度特征提取不充分，且對重要的特征針對性不強。因此，本文提出了基于多尺度特征注意力機制的人臉表情識別方法，對人臉表情識別問題進行研究。

1 多尺度特征注意力模型

在設計網絡架構時，若網絡層數選取過少則會對圖像信息的表達能力有所欠缺；若網絡層數選取過多則會出現過擬合現象。本文綜合考慮各種因素，設計了一種基于多尺度特征注意力機制的網絡模型，包括淺層特征提取層、多尺度特征提取層、通道注意力機制模塊和全連接層。網絡模型如圖1所示。

圖1 多尺度特征注意力模型Fig.1 Multi-scale feature attention model

該網絡輸入圖像的尺寸大小是48×48，淺層特征提取層包括兩個卷積層（Conv1、Conv2）和兩個最大池化層（Maxpool1、Maxpool2）；多尺度特征提取層（包括Inception-a 和Inception-b）是在Inception 結構基礎上并行加入了空洞卷積；通道注意力機制選用的是文獻[16]所提的SENet，網絡的最后是用全連接層和Softmax 層進行分類。模型的卷積核大小，步長和輸出尺寸等參數如表1所示。

表1 中，3×3 reduce、5×5 reduce 和Dilated reduce 分別代表3×3、5×5 和Dilated 卷積前1×1 卷積核的數量；Pool proj代表Max pooling之后1×1卷積核的數量。

表1 模型參數Table 1 Model parameters

1.1 淺層特征提取層

卷積神經網絡是由卷積層、池化層和全連接層交叉堆疊而成的前饋神經網絡，卷積層的作用是提取一個局部區域的特征，不同的卷積核相當于不同的特征提取器，用來提取特定的局部特征。假設輸入特征為X∈?M×N×D，其中每個切片Xd∈?M×N為一個輸入特征，1 ≤d≤D；用卷積核Wp,1,Wp,2,…,Wp,D分別對輸入特征X1,X2,…,XD進行卷積，將卷積結果相加，并加上一個偏置b就會得到卷積層的凈輸出Zp，再經過非線性激活后即得到輸出特征Yp。計算過程如公式（1）、（2）所示：

其中，f(?)為非線性激活函數。

由于淺層卷積層提取的是圖像的紋理特征，即無論什么網絡模型，第一層卷積核學到的信息都很相似，都是條狀、點狀的信息。因此本文先用兩個卷積層Conv1和Conv2 對輸入圖像進行卷積操作，Conv1 和Conv2 的層數分別是32層和64層，卷積核大小都是3×3，且都使用padding操作，得到的輸出特征圖尺寸大小不變；每個卷積層都引入非線性激活函數，使神經網絡學習到非線性映射。本文引入修正線性單元（rectified linear unit，ReLU）激活函數，其公式如下：

f(x)=max(0,x)（3）

選擇ReLU激活函數有以下優勢：相對于線性函數來說，ReLU激活函數的表達能力更為優異；相對于非線性函數而言，ReLU激活函數梯度計算簡單，且在非負區間的梯度為常數，使模型的收斂速度保持穩定。為降低模型復雜度，對卷積層Conv1和Conv2的輸出特征都進行大小為2×2，步長為2 的最大池化操作（Maxpool1，Maxpool2），最大池化操作能很好地提取圖像紋理特征信息。經過最大池化后，輸出特征圖的尺寸變為輸入的四分之一，但個數并沒有改變。

1.2 多尺度特征提取層

傳統卷積神經網絡如VGG16在處理圖像分類任務時，為了提取圖像的深層次特征，會使用堆疊卷積層和池化層的方式構建網絡結構，這種結構不僅參數量多，而且對圖像的多尺度特征信息提取不明顯，本文通過在Inception結構基礎上并行加入膨脹率為2的空洞卷積來提取圖像的多尺度信息。

空洞卷積[18]（dilated convolution）是一種不增加參數量的同時能增加輸出單元感受野的一種卷積神經網絡，其實現方式是在卷積核內部元素之間加入空洞，相當于在卷積核相鄰兩個元素之間加入零元素。插入的空洞個數被稱為膨脹率（dilated rate）[19]。如圖2 以3×3卷積核為例，展示在不同膨脹率下的空洞卷積。

圖2 不同膨脹率的空洞卷積Fig.2 Dilated convolution with different dilated rates

圖2 中的左、中、右三張圖片展示了空洞卷積在膨脹率分別為1、2、3時的情況，其中紅色方塊表示3×3的卷積核。分析可知，當膨脹率為1 時，空洞卷積即為普通卷積；在卷積核尺寸相同情況下，空洞卷積膨脹率越大，卷積核的感受野越大。

空洞卷積感受野計算如下：設輸入層為?Win*Hin*Din，超參數如表2所示。

表2 空洞卷積的超參數Table 2 Hyperparameters of dilated convolution

經過空洞卷積操作后，其輸出層為?Wout*Hout*Dout，則輸入層和輸出層之間的關系為：

由上述關系可以得到，對于膨脹率為2 的空洞卷積，通過設置步長為1、填充值為2的方式可使輸出尺寸保持不變。加入空洞卷積，增加了輸出單元的感受野，提高了網絡對圖像不同尺度特征信息的提取能力。

需要說明的是，隨著網絡深度的增加，神經網絡所提取的特征也越抽象，且每個特征所涉及的感受野也更大，因此相較于inception-a，inception-b 中3×3、5×5 卷積和空洞卷積的通道數比例有所增加。但網絡層級加多時容易出現收斂速度變慢、數據分布不均等問題。因此，在改進的inception 結構中，每個卷積層后都加入批歸一化（batch normalization，BN）操作，對輸入的數據先做歸一化處理再送入下一層。

1.3 通道注意力機制模塊

卷積神經網絡默認每個通道是同等重要的，而在實際情況中，不同通道的重要性是有所不同的，有的通道對最終的分類結果影響較大[20]。因此，對重要特征通道分配更多的權重就變得尤為重要，本文對經過多尺度特征提取層得到的特征引入壓縮-激勵模塊（SENet），以增強對重要特征通道的響應。SENet 結構如圖3 所示，包含了Squeeze、Excitation、Scale三個操作。

圖3 壓縮-激勵模塊Fig.3 Squeeze-Excitation model

（1）Squeeze操作

首先，對特征通道U=[u1,u2,…,uc]進行Squeeze 操作，即用全局平均池化的方式將每個特征通道上的W×H特征圖壓縮為一個具有全局感受野的實數，設壓縮后的特征為z=[z1,z2,…,zc] ，對于其中的一個元素zc，代表了一個通道上的全局特征，計算過程如公式（9）所示：

（2）Excitation操作

為獲取通道間的依賴關系，對Squeeze 操作得到的全局特征信息z進行Excitation 操作，具體過程為依次進行全連接Fc1、激活函數ReLU、全連接Fc2 和激活函數Sigmoid 操作，最終得到在（0，1）區間的歸一化權重s。權重s的計算過程如公式（10）所示：

（3）Scale操作

對于輸出特征X?，其對應的權重值s可有效地表示不同特征通道對于表情識別任務的重要性。通過對多尺度特征提取層引入通道注意力機制，學習到不同特征通道的重要性，在模型的訓練過程中，對于與表情識別結果相關的有用特征，SE 模塊會加大對應特征通道的權重值來增強特征響應；而對于無用或干擾特征，SE模塊則會減小對應特征通道的權重值來削弱特征響應。通過這種引入通道注意力機制的方式，模型的特征表示能力得到提升。

1.4 全連接層

在處理圖像分類任務時，通常在最后卷積層后直接與若干全連接層相連接，但這樣做的一個缺點是參數量太多，導致計算困難且容易出現過擬合現象。為改進這一缺點，本文先對上一層的輸出進行全局池化，這樣網絡的參數量大大減少；接著再進行全連接操作，全連接層的作用是將網絡特征映射到樣本的標記空間做出預測；最后用Softmax 函數作為輸出層，Softmax 函數接收一個k維向量作為輸入，然后把每一維的值轉換成區間在（0，1）中的某個值，假設網絡的輸入為Y1,Y2,…,Yk，則Softmax函數的運算如公式（12）所示：

其中，P表示樣本向量x屬于第i類別的概率，K表示總類別數，ω表示權值項。這些概率值相加的結果為1，輸出層的最終輸出結果是輸入的視覺信息屬于7 種表情概率的最大值所屬的類別。

2 實驗結果與分析

本章對所提出的方法進行實驗驗證，具體分為數據集的選取、實驗環境的搭建、數據的增強、對照實驗和消融實驗五部分。

2.1 數據集

本文選用FER2013和CK+人臉表情數據集。FER2013數據集是2013年Kaggle面部識別挑戰賽使用的一個數據集，共由35 887 張人臉表情圖片組成，其中訓練集有28 709 張，驗證集和測試集各有3 589 張，表情共分為7種，具體表情對應的中英文標簽分別是：0 anger 生氣、1 disgust 厭惡、2 fear 恐懼、3 happy 開心、4 sad 傷心、5 surprise驚訝、6 neutral中性。每種表情的示例如圖4所示。

圖4 FER2013數據集示例Fig.4 FER2013 dataset example

CK+數據集[21]是Cohn-Kanade 數據集的擴展版本。CK+數據集樣本是來源于不同國家、不同民族和不同性別的人臉表情，是目前較為完善的公開數據集。如圖5展示了該數據集7 種表情示例，分別是憤怒、蔑視、厭惡、害怕、高興、悲傷和驚訝。

圖5 CK+數據集示例Fig.5 CK+ dataset example

2.2 實驗環境

實驗在如下環境中進行：使用的編程語言是python3.7，深度學習框架是keras2.3.0，操作系統是64位的Microsoft Windows 10，CPU 為i5-6200U，顯卡為GeForce RTX2080 SUPER 8 GB。

2.3 數據增強

人臉表情數據集樣本量較少，在網絡的訓練中會容易造成模型泛化能力差，為改善這一狀況，本文對數據進行增強處理，即對原始圖像進行旋轉、偏移、反轉等操作。為了使實驗結果避免偶然性，本研究采用5折交叉驗證法，將人臉表情樣本均分為5份，每份都包含7種表情樣本，在每次實驗中，都選取其中4份作為訓練集，另一份作為測試集，重復操作5 次，取平均識別率作為最終的識別結果，避免識別結果具有偶然性。

2.4 對照實驗

為驗證本文提出的多尺度特征注意力機制人臉表情識別方法的有效性，首先分別在有無多尺度特征注意力機制條件下對數據集進行仿真實驗。本文模型在訓練參數更新時使用的優化器是Adam，損失函數是交叉熵，批處理大小為128，總共進行了60 個epoch，將得到的實驗結果繪制成圖，分別如圖6和圖7所示。

圖7 CK+數據集實驗Fig.7 CK+ dataset experiment

圖6是在FER2013數據集上得到的結果，其中藍色曲線代表模型加入多尺度特征注意力機制得到的識別準確率，紅色曲線代表沒有引入多尺度特征注意力機制得到的識別準確率，此時既沒有并行加入空洞卷積，也沒有引入注意力機制。可以看到：隨著訓練次數的增加，藍色曲線和紅色曲線的準確率整體都在不斷升高，在訓練初期，模型的識別準確率增長迅猛；當訓練至30個epoch 左右時，模型識別準確率增長緩慢；在第30 至47 個epoch 時，模型識別準確率會上下有所波動，但整體呈增長趨勢；當訓練至48 個epoch 左右時，模型的識別準確率變得非常平穩。

圖6 FER2013數據集實驗Fig.6 FER2013 dataset experiment

如圖7 所示，對CK+數據集而言，模型在訓練初期時，識別率同樣迅猛增長，當訓練至第27 個epoch 左右時，模型的增長就變得緩慢了，在第35個epoch后，模型的識別準確率變得很平穩。本文模型在引入多尺度特征注意力機制后，相較于原模型，在FER2013和CK+兩個數據集上的識別準確率分別提高了2.24個百分點和1.56個百分點，證明了本文所提方法的有效性。需要說明的是，由于FER2013數據集中存在部分樣本錯誤和標簽錯誤，導致在該數據集上進行測試時，準確率通常不高。

為了驗證本文方法的優越性，本文與多種經典算法相比較。

（1）AlexNet 是由8 個網絡層組成，包括前5 個卷積層和后3個全連接層，并在每個卷積層和全連接層之后使用ReLU非線性激活。

（2）Salunke 等[12]設計了一個包含3 個卷積層和1 個全連接層的模型；并在每個卷積層之后都連接一個最大池化層和ReLU激活，模型在訓練和測試時采用不同的數據集以克服識別未知面孔的問題。

（3）Zhou等[13]設計了一種模塊化的多通道深度卷積神經網絡，為了避免過擬合，使用全局平均池化作為網絡的輸出。

（4）Agrawal 等[15]提出兩種新穎的CNN 架構：一種架構的過濾器數量隨著網絡深度的增加保持不變，而另一種架構的過濾器數量隨著深度的增加而減少，這兩種架構全部采用大小為8的卷積核。

（5）徐琳琳等[22]為了提取更多細微的人臉表情，設計了一個具有兩個并行卷積池化單元的卷積神經網絡來分別提取不同的圖像特征，并將特征進行融合，最后用Softmax層進行分類。

（6）文獻[23]提出在普通卷積池化操作基礎上引入4層Inception結構，并用跨數據庫的方式評估網絡架構。

（7）錢勇生等[24]提出引入深度可分離卷積來減少網絡參數，嵌入壓縮獎勵網絡來學習網絡特征權重，并通過加入空間金字塔池化來增強網絡的魯棒性方法。

本文模型與上述算法在FER2013 數據集上進行比較，結果如表3所示。

表3 不同算法在FER2013數據集上的識別率Table 3 Recognition accuracy with different algorithms on FER2013 dataset

由表3可知，在FER2013數據集上進行實驗時，相對于以上提及的算法，本文模型獲得了更好的識別效果。本文相較于經典卷積神經網絡AlexNet的分類效果提升了3個百分點，AlexNet雖然達到了人類的識別水平，但訓練時參數量多，需要耗費大量時間；相較于文獻[12]，識別效果提升了0.8 個百分點，文獻[12]雖然是傳統卷積神經網絡的改進，但網絡結果卻是簡單地堆疊卷積層和池化層，結構相對單調，沒有很好地提取多尺度信息；相較于文獻[15]，識別效果提升了3.8 個百分點，文獻[15]提出的網絡結構是針對FER2013數據集而設計的，其結構最適合FER2013數據集，而對其他數據集的泛化能力較弱，且其在FER2013數據集上的識別準確效果也并不理想。文獻[13]設計了多通道提取圖像特征，文獻[22]融合了不同圖像特征，文獻[23]通過引入4 層Inception來提取圖像的多尺度信息，雖然這3 種算法都考慮了圖像多尺度信息，但卻沒有考慮不同特征的重要性。相較于文獻[24]，識別效果提升了0.8個百分點，文獻[24]雖然引入了注意力機制，但同時也引入了深度可分離卷積，深度可分離卷積能有效減少網絡參數量，但同時也會一定程度弱化模型的識別能力。相比之下；本文模型不僅提取了不同尺寸特征，而且對不同特征的重要性賦予不同權重，進而提升了模型的特征表示能力。

對比不同算法在CK+數據集上的表現：

（1）李勇等[25]提出基于跨連接網絡進行面部表情識別，將LeNet網絡所提取的低層次特征和高層次特征相結合構造分類器。

（2）Li等[26]先用傳統的Gabor濾波提取特征，然后用PCA降低特征維數，最后用深度神經網絡進行識別。

（3）Zeng等[27]先用人臉對齊的方法對密集的人臉標志點進行精確定位，然后將以地標為中心的斑點中提取所有描述子串聯起來，形成高維特征，再用基于深度稀疏自編碼器對高維特征進行有效提取。

（4）Sun 等[28]提出混合SIFT 和CNN 所提取的特征，并用支持向量機進行分類。

本文模型與上述算法以及AlexNet、文獻[22]等算法在CK+數據集上的表現進行對比，結果如表4所示。

表4 不同算法在CK+數據集上的識別率Table 4 Recognition accuracy with different algorithms on CK+ dataset

分析表4 可知，當在CK+數據集上進行實驗時，傳統的AlexNet 取得了87.03%的識別準確率；相較于文獻[25]，本文模型的效果提升了12.3個百分點，文獻[25]采用低層次特征和高層次特征相結合，但通常來說，低層次中對分類有影響的有用特征比較少，因此結果準確率相對較低。相較于文獻[26]效果提升了4.34 個百分點，文獻[26]采用傳統方法和深度學習相結合，采用Gabor濾波器提取特征，而本文是自動進行特征提取，因此得到的效果要更佳。相較于文獻[22]、[23]和[27]，本文的識別效果分別提升了2.01個百分點、2.84個百分點和0.25個百分點，無論是文獻[22]提出的利用并行卷積來提取不同圖像特征，還是文獻[23]所提出用多層Inception結構來提取多尺度人臉特征，亦或是文獻[27]所建立的深度稀疏自動編碼器來提取高維特征，都沒有考慮對不同重要性的特征區別對待，相比之下，本文模型對重要特征分配更大的比重，取得了更佳的實驗效果。

2.5 消融實驗

為了進一步驗證本文所提方法的有效性，本文進行消融實驗。其步驟依次如下：（1）首先在沒有引入空洞卷積和注意力機制時進行實驗，此方法記為Base；（2）在Base 方法基礎上，加入空洞卷積但不使用注意力機制，此方法記為Base+Dilated；（3）在Base方法基礎上，引入注意力機制但不加入空洞卷積，此方法記為Base+SENet；（4）在Base方法基礎上，同時引入空洞卷積和注意力機制，即本文所提方法，記為Base+Dilated+SENet。表5展示了各方法在FER2013和CK+數據集上的識別結果。

表5 消融實驗識別結果Table 5 Recognation results of ablation experiment%

由表5可以得到：當在Base方法上引入多尺度特征注意力機制時，在FER2013 和CK+數據集上得到的識別率分別是68.8%和96.04%；分析可知，當沒有引入注意力機制時，得到的結果分別是67.14%和94.92%，識別效果分別下降了1.66個百分點和1.12個百分點，從而證明了引入注意力機制對人臉表情識別任務的有效性；當沒有并行加入空洞卷積時，識別效果分別下降了0.43個百分點和0.31個百分點，從而證明了加入空洞卷積對人臉表情識別任務的有效性。

表6 和表7 分別表示FER2013 和CK+數據集在本文方法上的混淆矩陣。

表6 FER2013數據集混淆矩陣Table 6 Confusion matrix of FER2013 dataset%

表7 CK+數據集混淆矩陣Table 7 Confusion matrix of CK+ dataset%

由表6的混淆矩陣可知，本文模型對于高興和驚訝兩種表情的識別準確率最高，分別達到了87.16%和82.16%，是因為這兩種表情面部特征夸張且運動幅度大，模型更容易提取特征；而模型對生氣、恐懼和悲傷表情的識別效果較差，因為恐懼和悲傷都有拉開嘴唇和緊張前額的特征，而生氣和悲傷則具有相同的眉毛特征、狹窄以及皺起的嘴角特征，這三種表情之間具有一定相似性，容易發生錯誤分類。模型在CK+數據集上的混淆矩陣和在FER2013數據集上的表現相似。

3 結束語

針對人臉表情識別問題提出一種基于多尺度特征注意力機制的人臉表情識別方法，首先提取人臉表情的淺層特征信息，其次，通過在Inception 結構基礎上并行加入空洞卷積，提取人臉表情的多尺度特征信息，并通過引入通道注意力機制，增強模型對有用特征信息的響應。分別用FER2013 和CK+數據集進行實驗，驗證了本文所提方法的有效性；通過與其他經典算法相比較，取得了高于傳統卷積神經網絡的效果，進一步驗證了本文方法的優異性。由于相似表情之間差異性較小，導致容易錯分類。接下來的工作是如何在優化網絡結構的同時擴大不同表情的類差距，使網絡在保持輕量級結構的同時擁有較高的識別準確率。