結合多特征和跨連通道加權的面部表情識別

柳 璇，唐穎軍，黃淑英

(江西財經大學 軟件與物聯網工程學院，南昌 330032)

1 引 言

面部表情能夠傳遞人內在的情感信息，是人類表達情感的主要方式.由于人的面部表情比其他情感信號更易獲得，因此面部表情識別一直是備受關注的研究熱點，并且應用到心理分析、臨床醫學、車輛監控、遠程教育等領域.

面部表情識別的過程可分為圖像預處理、特征的提取、表情分類3個步驟.其中特征的提取是面部表情識別過程中的關鍵步驟.傳統的表情特征提取方法主要分為兩類，紋理特征提取和幾何特征提取.紋理特征提取方法有Gabor 小波變換[1]、尺度不變的特征變換(SIFT)[2]和局部二值模式(LBP)[3]等.幾何特征提取方法主要利用面部動作單元變化較大的特征點來描述幾何變化.但是人工提取特征存在識別性能有限，并且泛化能力不足的問題.

隨著深度學習的快速發展，面部表情識別的研究出現了許多新的方法.在大多數情況下，卷積神經網絡CNN需要大量的訓練數據才能提取有效的特征.但是目前面部表情數據集數量有限，而手工特征的提取不需要大規模數據的訓練，因此將手工特征和深度學習結合起來的方法受到關注.Connie等[4]將SIFT特征與CNN 特征相結合取得了較好的性能.但是，對于模糊的圖像而言，SIFT特征檢測出的特征點過少，有可能降低該類方法識別的精度.Yang等[5]提出一個基于面部灰度圖和LBP特征圖的雙通道網絡.將面部灰度圖像輸入預訓練的VGG網絡，LBP特征圖輸入淺層CNN網絡,兩個通道的輸出以加權方式融合成最后的特征進行分類.Kim等[6]提出了一種可以對結果(最常見的2個錯誤情感)進行重新分類的分層深度神經網絡結構.這個結構主要分為基于外觀特征和基于運動特征的網絡.基于外觀特征的網絡使用LBP圖像來學習整體特征，基于運動特征的網絡學習面部特征點的變化.夏添等[7]提出了一種利用面部特征點識別表情序列的方法，該方法將特征點坐標輸入網絡進行訓練，在降低時間復雜度的同時取得了較好的識別效果.神經網絡的分類準確率受訓練樣本的影響，當訓練樣本不充足時會影響最終的識別效果.手工特征與深度學習相結合可以使神經網絡在小樣本數據集上也有較好的表現.

雖然神經網絡依據輸入的樣本可以自動學習表情特征，但是表情特征的提取依然受多種因素的影響.考慮到場景、主體身份、不同尺度和層次等因素影響下表情特征的特點可以提高面部表情識別算法的魯棒性和準確率.Zhang等[8]提出了一種基于多尺度的全局圖像和局部面部圖像的方法,顯著提高了面部表情識別的性能.Jan等[9]提出了一種融合面部不同部分特征的方法，提取眉毛、眼睛、鼻子、嘴4個部分的紋理圖和深度圖，分別通過四個預訓練的VGG網絡最后進行特征融合.該方法在3D表情數據庫上取得了不錯的識別率.李勇等[10]提出了用一種跨層連接的改進LeNet-5模型，該方法將低層次特征與高層次特征進行了結合，但是產生了大量冗余特征.Yang等[11]提出了一種利用條件生成式對抗網絡CGAN生成輸入圖像對應的基本表情圖像，在特征空間判斷輸入圖像與生成圖像距離進而實現分類的方法.但是該方法要求數據集有配對的圖像.Li[12]等提出了一種面部遮擋情況下表情識別的方法，該方法利用注意力機制使網絡關注未遮擋的部分從而提高識別效果.

綜上所述，本文設想提出一種結合手工特征和深度學習特征的方法，首先獲取表情圖像的灰度圖、LBP特征圖和Sobel算子特征圖，合并為三通道特征圖作為網絡的輸入.將灰度圖與兩種手工特征圖合并輸入可以避免完全依賴手工特征的提取進而影響分類效果的問題，也可減輕神經網絡需要大規模訓練數據才能有效提取特征的弊端.此外，本文設想提出一種跨連通道加權模塊，該模塊以深度可分離卷積[13]為基礎，利用通道加權建模不同通道特征之間的關系.通過將不同的層次和不同通道之間權重不同的特征進行連接，更加高效地進行不同卷積層之間和不同通道之間特征的融合.

2 相關工作

2.1 深度可分離卷積

卷積核的主要作用是提取輸入樣本的特征.標準的卷積使用的是三維的卷積核.深度可分離卷積將標準的卷積分為兩個過程，深度卷積和點卷積，如圖1所示.深度卷積首先保持通道之間獨立，在空間維度上進行卷積，從而獲得了每個通道的空間特征.點卷積是按照深度方向進行卷積，得到新的通道空間.

圖1 標準卷積與深度可分離卷積結構Fig.1 Standard convolution and depth separable convolution structure

假設輸入圖的尺寸為H×W×C,卷積核大小為K×K，數量為N，進行標準卷積所需要的參數量為K×K×C×N×H×W，進行深度可分離卷積所需要的參數量為K×K×1×C×H×W+1×1×C×N×H×W，由于輸入圖像H和W相等，則可得出深度可分離卷積與標準卷積參數量之比為

由此可見，深度可分離卷積與標準卷積相比大大減少了參數量，可以提高運算效率，減少訓練和識別的時間.因此，本文設想使用深度可分離卷積代替標準卷積.

2.2 SE模塊

SE(Squeeze-and-Excitation)模塊[14]可以建模特征圖各個通道之間的依賴關系，從而提升網絡的特征學習能力.該模塊結構如圖2所示，首先通過全局平均池化獲得全局信息，其次利用兩個全連接層進行學習并融合各通道的信息，學習每個通道的重要程度，然后經過sigmoid得到各通道的權重，最后與原圖進行相乘輸出，得到最終的通道加權的特征圖.

圖2 SE結構Fig.2 Squeeze-and-excitation module

在網絡中引入SE模塊，可以在增加有限計算量的同時對不同的通道特征按照重要程度分配不同的權重，有選擇性地增強有價值的特征.因此本文設想采用SE模塊來提高對不同通道特征的利用率，通過神經網絡對灰度圖、LBP特征圖和Sobel算子特征圖構成的三通道特征圖進行權值的學習和分配，以實現手工特征和深度學習特征之間的結合.

3 本文工作

神經網絡在學習的過程中會產生不同層次的特征，跨層連接的網絡實現了不同層次特征的有效復用，然而沒有考慮到不同通道之間重要程度的差異，本文設想將不同通道和層次的特征充分利用，同時結合手工特征與深度學習的優勢，設計基于跨連通道加權模塊的深度可分離卷積網絡.首先通過面部檢測去除表情圖片中與主體無關的背景信息.其次對數據集進行增強，從而減輕小數據集產生過擬合現象的可能性.然后對面部表情圖像進行人工特征提取與融合，將灰度圖與兩個手工特征圖合并為三通道特征圖作為最終的網絡輸入.最后將融合的特征圖輸入跨連通道加權網絡，訓練得到最終的面部表情分類模型.

3.1 數據集預處理

3.1.1 面部檢測

面部表情的產生主要由眉毛、眼睛、鼻子、嘴巴及其周圍的動作變化而形成.因此，面部表情的識別主要集中在對這四個部位及其周圍的特征的識別.一張圖像往往包含較多與面部無關的背景信息，直接輸入進網絡會造成對表情識別的效果造成干擾，所以首先對圖片利用多任務卷積神經網絡MTCNN對人臉進行的識別和裁剪，去除與主體無關的信息，如圖3所示.

圖3 面部檢測示例Fig.3 Face detection example

3.1.2 數據集增強

面部表情數據集樣本數量有限，訓練時數據量太小可能造成網絡過擬合，導致在實際測試過程中達不到良好的效果.因而將從模擬真實情景方面著手,對圖像進行預處理提高數據集數量.通過對圖像不同區域裁切生成新圖像，將對比度、亮度以及銳度以特定參數進行縮放，將圖像進行左右翻轉等方法對數據集進行擴充，如圖4所示.

圖4 數據集增強示例Fig.4 Dataset enhancement example

3.2 人工特征提取與融合

面部表情識別的關鍵是特征的提取，特征提取的優劣直接影響著最終的識別結果.不同的特征提取算子具有不同的優點.LBP特征具有灰度不變性，在描述紋理特征方面具有良好的性能.Sobel算子方法簡單，能夠較快地得到光滑且連續的邊緣.單一使用某種特征無法應對亮度、尺度等問題，將表情的不同特征進行融合可以有效的解決這個問題.

在輸入網絡之前，如果表情圖像為RGB圖像，則首先獲得圖像的灰度圖，灰度圖有利于面部整體信息的獲取.在灰度圖的基礎上獲得LBP特征和Sobel算子特征兩個手工特征.LBP特征圖可以使面部與表情相關的區域的特征更加顯著，有利于圖像中面部表情細節信息的獲取.Sobel算子特征補充邊緣信息.將這3個圖像分別作為RGB三個通道后進行合并得到最終的特征圖，如圖5所示，使得網絡更傾向于獲得與表情變化相關的特征.

圖5 人工提取特征的融合Fig.5 Fusion of artificial features

3.3 基于跨連通道加權網絡設計

3.3.1 跨連通道加權模塊

在網絡結構中設計圖6所示跨連通道加權模塊，可以調整通道之間的依賴關系，提高網絡對不同通道特征的表達能力和對不同層次特征學習能力.該模塊以深度可分離卷積和通道加權結構為基礎.首先對輸入圖像進行深度可分離卷積，對通道數進行擴大，假設輸入圖X，大小為W×H，通道數為N，進行深度可分離卷積后得到S，大小為W×H，通道數為C.輸入圖像進行卷積后分為兩個分支，一支為通道加權部分，一支為特征提取部分.

圖6 跨連通道加權模塊Fig.6 Cross-connect weighted channel module

通道加權部分以SE模塊為基礎，首先進行全局平均池化得到各個通道的全局信息，那么對于特征圖上的任意通道C，可得到如公式(1)所示:

(1)

然后通過全連接層1縮小4倍通道數、ReLU激活函數、全連接層2擴大至原來的通道數，通過學習不同通道之間的關系，獲得不同通道之間重要程度的權重.隨后經過sigmoid函數激活，可得到如公式(2)所示，將各個通道的權值范圍控制在0-1范圍內.

M=σ(W2ReLU(W1K))

(2)

最后與原始特征S相乘，得到通道加權后的特征圖，對于任意通道可得到如公式(3)所示:

(3)

經過SE模塊后，進行最大池化，在減小特征的同時保留紋理信息，輸出為如公式(4)所示:

S′(maxpool)=Maxpooling2×2(S′)

(4)

特征提取部分以深度可分離卷積為基礎.對輸入圖像S池化后進行深度可分離卷積，將通道數擴大至原來的兩倍，提高網絡的表達能力，然后利用ReLU函數進行激活.最后輸出Z，大小為W/2×H/2，通道數為2C.

Y=Concatenate[S′(maxpool),Z]

(5)

3.3.2 網絡模型設計

本文所采用模型如圖7所示，其中輸入為面部表情圖像，輸出為每種基本表情的概率，最終確定概率最大的表情為預測表情.該模型主要由跨連通道加權模塊、全連接層以及softmax層構成，網絡共包含4個深度可分離卷積層、5個池化層、2個特征加權模塊(SE模塊)、2個全連接層、1個softmax層.對于不同的表情圖像，均輸入經過人工特征融合的三

圖7 基于跨連通道加權網絡Fig.7 Cross-connect weighted channel network

通道特征圖，大小為256×256.卷積核大小均為3×3，相較于使用大的卷積核可以獲得更多的特征信息.每次進行深度可分離卷積后使用ReLU激活函數進行激活.第一層全連接層共包含512個神經元，第2層全連接層共包含128個神經元.最后一層輸出經由softmax輸出6個網絡節點，即每個基本表情的概率大小.

4 實驗結果分析與比較

4.1 實驗平臺

本實驗在Windows平臺下基于TensorFlow框架對所提出的算法進行實驗分析，計算及配置為Intel i7處理器、16G內存、NVIDIA GeForce MX150顯卡、2G顯存，并安裝有Python3.6.

4.2 數據集

為了使實驗結果更加準確，本文采用CK+數據集[15]和JAFFE[16]數據集進行分析.

CK+數據集：該數據庫包括來自123個被試者的593個圖像序列，其中327個序列有表情標簽.本文選擇有表情標簽的序列中6種基本表情的三個峰值圖像，共927張圖像.采用數據增強策略對樣本擴充至原來的10倍，得到9270張圖像.

JAFFE數據集：該數據庫包括來自10個被試者的6種基本表情以及中性表情，本文選擇6種基本表情中的圖像，共183張圖像.采用數據增強策略，對樣本擴充至原來的60倍，得到10980張圖像.

4.3 實驗結果分析

面部表情識別實驗在訓練過程中采用隨機初始化權重和偏置的方法，初始學習率為0.001.CK+數據庫和JAFFE數據庫都采用了十折交叉驗證的方法，將數據集樣本分為10份，每次取其中的9份作為訓練集，剩下的1份作為測試集，對10次測試的準確率求平均值作為整個數據集的最終結果，以混淆矩陣形式呈現.

由表1可知，在CK+數據集上關于憤怒和高興的識別率達到了100%，而厭惡、恐懼、悲傷和驚訝的識別率則出現了不同程度的下降.由表2可知，在JAFFE數據集上，憤怒的識別率最高，而厭惡、高興和悲傷出現了一定程度的交叉，恐懼的識別率最低.由于JAFFE數據集樣本數量少，進行擴充也容易產生過擬合現象，這可能是導致最終準確率低于CK+數據集的原因.根據混淆矩陣六種基本表情的識別率表明，提出的跨連通道加權網絡能夠很好地學習到CK+數據集和JAFFE數據集的特征，保持了較高的準確率.

表1 CK+數據集混淆矩陣Table 1 CK+ dataset confusion matrix

表2 JAFFE數據集混淆矩陣Table 2 JAFFE dataset confusion matrix

4.4 模塊有效性分析

為了證明將三通道特征圖與跨連通道加權模塊相結合在表情識別方法上的作用，本文做了一組對比實驗，分別為將灰度圖輸入跨連通道加權網絡和三通道特征圖輸入跨連通道加權網絡.訓練步數為1000次，batch大小為100，學習率為0.001，圖8和圖9為兩種方法隨著步數變化的準確率的對比，可以看出，在一定迭代次數內，采用三通道的方法準確率得到了更加快速的提升，說明本文結合三通道特征和跨連通道加權模塊的方法比原來使用灰度圖輸入網絡的方法更加高效.

在CK+數據集上將單通道灰度圖像輸入網絡，進行十折交叉驗證，各個表情分類的最終準確率與三通道特征圖對比如圖10所示.在恐懼和悲傷這兩類易錯表情上，正確分類的概率有了明顯的提高.可以看出，將三通道特征圖輸入跨連通道加權網絡有利于表情分類準確率的提升.

圖8 灰度圖準確率 變化曲線Fig.8 Grayscale accuracy curve圖9 三通道特征圖準確率變化曲線Fig.9 Three-channel feature mapaccuracy curve

圖10 灰度圖與三通道準確率對比Fig.10 Comparison of grayscale and three-channel accuracy

4.5 實驗結果對比

為了證明本文方法具有有效性，將近期不同方法在CK+和JAFFE數據集上的準確率與本文方法進行對比，如表3和表4所示.在CK+數據集上，本文與基于跨連接的LeNet-5網絡[10]和基于Inception結構的網絡[17]相比，識別效果取得了較大的提升.譚小慧等[18]采用多尺度細節增強的方法準確率達98.19%.Connie等人[4]提出CNN和SIFT結合的方法達到99.1%左右.本文方法6類基本表情識別率達99.77%.

表3 CK+數據集準確率對比Table 3 Comparison of CK+ dataset accuracy

表4 JAFFE數據集準確率對比Table 4 Comparison of JAFFE dataset accuracy

在JAFFE數據集上，與基于跨連接的LeNet-5網絡[10]相比，取得了不錯的識別效果.胡敏等人[19]提出的融合局部紋理和形狀特征的方法，準確率達到98.10%.張瑞等[20]基于稀疏特征挑選和概率線性判別分析的方法達到98.57%，He等[21]基于幾何和紋理特征的方法達到98.75%.本文方法6類基本表情識別率達99.48%.由表3和表4可知，本文方法具有一定的優勢.本文方法將手工特征與深度學習特征相結合，通過跨連通道加權模塊實現對特征的有效利用.

5 結束語

本文提出了一種結合多特征和跨連通道加權的表情識別方法.將多通道特征圖作為網絡的輸入，以跨連通道加權模塊為基礎構建網絡，減少了網絡層數.實驗表明，該方法在CK+、JAFFE數據集上識別率實現了提升.然而當前工作中采用的數據集多為正面清晰的表情圖像，在今后的工作中，將利用多尺度信息進一步實現復雜情境下面部表情識別的研究.