基于面部關鍵點和圖卷積的表情識別方法

吳宇凡，李春國，楊綠溪

(東南大學 信息科學與工程學院，江蘇 南京 211189)

0 引言

在人類交流過程中，有55%的信息通過人臉表情傳遞[1]。人臉表情識別技術的應用場景非常廣泛，包括但不限于：在社會公共區域進行多目標跟蹤與表情分析，加強公共安全管控；識別分析機動車駕駛人的面部表情判斷駕駛人是否疲勞駕駛、酒后駕駛，降低交通事故發生率；通過高清高速攝像設備的輔助，分析嫌犯的微表情，為警方辦案提供有效幫助等,因此人臉表情識別技術具有重要的研究意義。

傳統人臉表情識別算法主要是基于特征算子，對人臉表情圖像進行變換，并將變換域中的系數作為初始表情特征值，去除冗余信息，保留關鍵特征，進而根據所得特征進行表情識別。常見的方法包括：Gabor算子[2]、局部二值模式(Local Binary Patterns,LBP)算子[3]、尺度不變特征變換(Scale-Invariant Feature Transform,SIFT)[4]。但是這些傳統的表情識別方法依賴像素級手工特征，傾向于關注淺層顏色信息，難以保證表情識別的準確率。

近年來，隨著深度學習技術的快速發展，許多基于深度神經網絡的人臉表情識別算法[5-11]涌現出來。這些方法主要基于堆疊層次更深的卷積神經網絡，通過增加網絡的深度，使得網絡學習到更高維度的圖像特征，從而對不同的人臉表情進行擬合。

雖然這些基于卷積層的深度學習方法在人臉表情識別領域相較于傳統方法有了顯著提升，然而卷積計算缺乏對面部器官關系的顯式表示，容易丟失面部細節的局部信息。

本文將傳統卷積(Convolution)與圖卷積(Graph Convolution)結合，提出了一種新的人臉表情識別模型CGNet。為了更好地對面部細節特征進行提取，CGNet主要做了以下三方面的改進：基于dlib人臉識別庫，提取面部關鍵點信息，并對面部各個器官進行區域劃分后并行輸入網絡；在卷積網絡中添加多尺度的空間注意力機制，增加模型對于細節區域的關注度；額外添加圖卷積網絡對面部關鍵點的結構特征進行提取，增強CGNet的特征學習能力。CGNet相較于當前主要的人臉表情識別算法，在保證識別實時性的前提下，有效提升了表情識別準確率。

1 CGNet網絡結構

本文提出了CGNet網絡結構，通過結合傳統卷積網絡與圖卷積網絡(GCN)實現人臉面部識別。首先，輸入圖像進行預處理，并按照面部器官位置進行了圖像劃分；其次，引入了空間注意力機制(Spatial Attention)，提高網絡對細節特征的關注度，并采用圖卷積神經網絡提取面部結構特征；最后，使用通道注意力機制(Channel Attention)，對卷積特征、圖卷積特征進行特征融合，充分利用各通道的特征信息，最終輸出表情識別結果。圖1為CGNet的網絡整體架構圖，圖中，CGNet網絡建立了兩條特征提取主線，基于空間注意力的圖像特征提取盡可能保留圖像細節信息；基于圖卷積的關鍵點特征提取構建點特征關系，為圖像特征提取補充面部結構信息。

圖1 CGNet網絡整體結構

1.1圖像特征提取模塊

如圖1所示，本文所提出的CGNet網絡可以提取圖像特征以及關鍵點特征，其中圖像特征屬于整個網絡的核心部分。

傳統的卷積特征提取層通常采用單張圖像作為輸入，通過增加卷積層的深度獲得更高維度的特征。人臉在表現不同表情時，各器官會呈現出不同的表現形式，并且不同器官的表現形式有一定聯系。為表示圖像中各器官位置處圖像的關聯信息，在預處理階段將人臉圖像按器官區域進行分割，將各個器官區域的圖像(包括整張人臉、眼部區域、鼻部區域、嘴部區域共4張圖像)共同輸入網絡，提取多尺度特征。

CGNet的圖像特征提取模塊基于ResNet-18[12]的架構，如圖2所示，ResNet-18包含5個中間特征，分別用layer1～layer5表示。輸入圖像首先經過ResNet-18的layer1進行下采樣；接著通過4個包含殘差塊結構的layer進行多尺度特征提取，針對每一個layer的輸出特征，將其提取出后送入空間注意力模塊，可以得到4個通道數分別為64、128、256、512的特征向量，并將這4個向量進行拼接，獲得長度為960的空間注意力特征向量；最終，將4張圖像輸出的特征向量進行特征級聯(Concat)，得到尺度為4×960的輸出特征向量。

圖2 圖像特征提取模塊結構

空間注意力機制[13]受啟發于人類在觀察圖像的過程中選擇性地關注其中某些重點區域的行為。卷積計算依賴卷積核，更關注局部區域信息，空間注意力機制能對圖像中的長距離依賴進行補充，發掘遠距離像素間的關系。通過對圖像的不同位置進行權重分配，并對各個位置的特征進行加權求和。 CGNet通過在卷積層中嵌入空間注意力機制，從圖像中發掘更多細節信息，有助于表情識別準確率的提升。

1.2 關鍵點特征提取模塊

區別于其他的計算機視覺任務，在人臉表情識別場景下，由于不同對象的面部通常有相似的結構特征，且膚色、年齡等會導致面部圖像層面出現巨大差異的因素對表情分類沒有任何實質作用。因此為了提取對表情識別更具意義的結構特征，CGNet引入了圖卷積算法，對人臉關鍵點進行特征提取。

本文采用dlib人臉識別庫，對輸入圖像進行68關鍵點[14]提取，如圖3所示。為了不增加計算量，每個關鍵點僅使用位置特征表示，即對于某一關鍵點，其特征表示為坐標。

圖3 人臉68關鍵點示意圖

如圖4所示，CGNet的關鍵點特征提取模塊基于圖卷積層，GCN1～GCN4是4個圖卷積層，關鍵點特征經過4個圖卷積層，提取出更高維度的特征后，將特征送入全連接層，最終獲得通道數為960的關鍵點特征。其中，圖卷積層可以表示為以下的非線性函數：

圖4 關鍵點特征提取模塊結構

Hl+1=f(Hl,A)，

(1)

式中，H0=X為第一層的輸入，X∈RN×d，N為圖的節點個數，d為每個節點特征向量的維度，A為鄰接矩陣。具體來說，每一層圖卷積層都可以表示為：

(2)

式中，σ(·)為ReLU激活函數，Wl為第l層的權重參數矩陣,D為圖的度矩陣。通過在 CGNet中添加關鍵點特征提取模塊，使得網絡以增加少量參數量及計算量為代價，能夠提取出用于人臉表情識別的結構特征，有效提升了網絡的人臉表情識別準確率。

1.3 特征融合模塊

為了充分利用圖像特征提取模塊與關鍵點特征提取模塊中獲得的多尺度特征，特征融合模塊引入了通道注意力機制[15]，將兩個特征提取模塊的輸出特征進行融合，最終對人臉表情做出識別，如圖5所示。具體來說，將圖像特征提取模塊輸出的4×960的多尺度特征與關鍵點特征提取模塊輸出的1×960的特征通過級聯獲得融合特征，隨后通過通道注意力機制自適應計算不同通道特征的重要性，加權求和各通道的特征，得到輸出特征后，對人臉表情做出分類判斷。表現高興表情時，嘴角上揚的動作更明顯，表現難過表情時，人們皺眉的動作更明顯，在不同的表情時，人的各個器官提供了不同的信息量。通道注意力機制針對不同人的不同表情，可以動態計算各器官提供信息的權值，同時盡可能利用圖卷積網絡提供的結構特征。各路特征經過加權后，使用最大池化、平均池化函數實現多路特征的特征融合。

圖5 特征融合模塊結構

1.4 損失函數

本文使用了Focal loss損失函數，相比于交叉熵(cross entropy)損失，Focal loss在面對樣本類別分布不均時，能夠幫助網絡更好地對樣本數量較少的類別進行學習。

Focal loss被提出的問題場景是目標檢測，在圖像中尋找目標物時，圖像中極大比例的部分是背景而不是前景，所以在使用交叉熵計算損失時會有極大的不平衡。雖然目標檢測是一個二分類問題，在面對諸如面部表情識別的多分類問題時，也可引入Focal loss的思想：在交叉熵損失函數的基礎上增加動態調整因子，使得簡單樣本的損失權重小于難樣本的損失權重，此外，增加樣本平衡因子，用于應對樣本不均衡的場景。本文的Focal loss損失函數表示為：

(3)

式中，αk為類別k的樣本平衡因子，γk為類別k的動態調整因子。

2 實驗細節與結果分析

2.1 實驗數據集與網絡訓練設置

為了驗證CGNet算法的有效性，本文采用國際上公開的CK+數據集進行訓練和測試。CK+數據集為圖像序列形式，共包含593個圖像序列，每一個序列包含從無表情狀態到表情巔峰狀態(即完整做完表情的狀態)的多張正面人臉圖像。本文使用其中有明確標注的321個圖像序列的最后3張圖像，共963張圖像，其中840張圖像作為訓練集用于訓練，訓練時按2：1的比例將訓練集拆分為訓練集與驗證集，141張圖像作為測試集用于測試，圖像分辨率為640×490。

本實驗模型基于Pytorch深度學習框架進行訓練和測試，實驗使用的硬件環境為NVDIA GeForce GTX 3090 GPU。訓練時對原始圖像數據進行預處理，首先從大小為640×490的原始圖片中檢測出人臉，并按照人臉檢測框對圖片進行裁剪，隨后采用雙線性插值法將人臉圖像變換為224×224大小。由于數據集量級不足，還需要對數據集進行數據增持操作以擴充數據集，文中使用的數據增強方法主要有隨機裁剪、水平翻轉、旋轉0～30°以及圖像亮度、色度、對比度、飽和度變換。數據增強后，進行器官切割以及關鍵點獲取，最終再次使用雙線性插值法對圖像大小進行變換后，得到4張224×224分辨率的RGB圖像以及68個面部關鍵點坐標信息，并將其分別進行歸一化后作為網絡的初始輸入。訓練過程中，網絡使用Adam作為優化器進行梯度更新，Adam優化器使用默認參數，beta1=0.9，beta2=0.999；初始學習率設置為1×10-4，每經過200個epoch學習率下降5%；批處理大小(batchsize)設置為64，共訓練了1 000個epoch。

2.2 與其他算法的表情識別性能對比

本節選取了近幾年主要的幾種基于深度神經網絡的表情識別算法作為對比算法，包括Rifai等人提出的MSR[6]，Liu等人提出的3DCNN-DAP[7]，Han等人提出的IB-CNN[8]，Meng等人提出的IACNN[9]，Jung等人提出的DTAGN[10]、Zhang等人提出的ST-RNN[11]，以及將經典的圖像分類網絡AlexNet[16]與VGG-19[17]引入至人臉表情識別任務。各算法的人臉表情識別準確率對比如表1所示，表中的結果均是以CK+數據集作為訓練集訓練，并在CK+測試集上測試得到的。

表1的測試結果表明CGNet在CK+測試集上取得了最高的準確率值，說明本文方法最終實現的人臉表情識別效果最好。CGNet的表情預測準確率相較于表中性能最好的ST-RNN算法，準確率高出0.41%，表明本文方法的人臉表情識別效果取得了較好地提升。

表1 CGNet與當前主流算法的準確率對比

為了從主觀的角度評價不同算法的人臉表情別別效果，圖6對比了包括CGNet在內6種效果較好的算法在CK+測試集上的混淆矩陣，即模型將某表情錯認為其他表情的概率。從圖6可以看出，在CK+數據集中，由于“疑惑”“難過”兩個類別的數據量相對較少，大部分算法都容易對這兩個類別進行誤判，但由于CGNet增加了對于面部細節處的關注度，以及對損失函數的改進，對這兩個類別的識別準確率優于其他算法，總體來看，CGNet能夠更準確地對人臉面部表情進行識別。

(a) IB-CNN

2.3 關鍵策略的有效性分析

本節設計了消融實驗來分析評估各結構的有效性。需要說明的是，消融實驗在CK+數據集上進行，實驗結果如表2所示。

表2 CGNet不同組件的消融實驗結果

本文主要測試了關鍵點特征提取模塊中的空間注意力機制，關鍵點特征提取模塊以及特征融合模塊中的通道注意力機制的有效性，其中，在測試不使用通道注意力機制時，將得到的各路特征采用直接求平均的方式進行融合。首先在不使用這3個組件的情況下訓練基線模型(baseline)，得到的平均準確率為93.55%。如表2所示，相較于基線模型，空間注意力機制的使用使得平均準確率提升了1.87%，通道注意力機制的使用則進一步使得平均準確率提升了0.56%，在此基礎上，基于面部關鍵點進行圖卷積特征提取，則使平均準確率進一步提升了1.68%。相較于基線模型，同時使用這3個組件使得平均識別準確率提升了4.11%。實驗結果說明，CGNet中引入的這3個組件均對提升人臉表情識別準確率有著顯著效果。

3 結束語

本文針對現有人臉表情識別方法對于面部細節處的局部特征關注度不足的問題，提出了基于面部關鍵點和圖卷積的人臉表情識別方法CGNet。CGNet將面部圖像按面部器官進行切割后以多尺度信息輸入網絡，輔以空間注意力機制，提升網絡對于面部細節處的關注度；提取人臉關鍵點，利用GCN提取出人臉面部的結構信息，提升網絡對于高維度特征的表示能力。實驗結果表明，相較于ST-RNN、DTAGN等主流人臉表情識別網絡，CGNet在表情平均識別準確率取得了有效提升。