基于卷積神經網絡的人臉表情識別研究

李思泉+張軒雄

摘要：隨著人機交互技術和機器學習技術的發展，人臉表情識別技術逐漸成為研究熱點。針對傳統人臉表情識別算法魯棒性差、表情特征提取能力不足的問題，提出一種改進的基于卷積神經網絡的人臉表情識別算法。首先對人臉圖像進行預處理，檢測并分割出人臉關鍵點的部分圖像，然后輸入到包含卷積神經網絡通道和卷積稀疏自編碼（CSAE）預訓練通道的雙通道模型中。其中卷積神經網絡通道部分使用了批量正則化（Batch Normalization）和ReLU激活函數，加快了模型訓練速度，解決了梯度消失問題，同時增加了模型的非線性表達能力。通過引入Dropout技術，解決了網絡的過擬合問題。在另一個通道，對輸入的人臉表情圖像增加了卷積稀疏自編碼進行無監督預處理。實驗結果表明，該算法在JAFFE、CK+人臉表情數據集上均獲得了較好的識別效果。

關鍵詞：人臉表情識別；卷積神經網絡；卷積稀疏自編碼；特征提??；無監督預處理

DOIDOI：10.11907/rjdk.172863

中圖分類號：TP301

文獻標識碼：A文章編號文章編號：16727800（2018）001002804

Abstract：With the development of humancomputer interaction technology and machine learning technology，facial expression recognition technology has gradually become an important field. In this paper， we proposean improved algorithm based on Convolutional Neural Network （CNN） for face expression recognition due to the lack of robustness of traditional facial expression recognition algorithm and availabe feature extraction ability.First of all，we pretrain the facial image and detect， segment face. The segmented face applied to a dualchannel model which， includes a convolutional neural network channel and an extra pretraining channel by sparse convolutional autoencoders. The training speed is improved according to Batch Normalization and the ReLU activation function by convolutional neural network channel， and solve the problem of gradient disappearance.This modelcan increase nonlinear expression ability of the model. At the same time， the introduction of dropout technology also remove the problem of overfitting. Another channel that contains a sparse convolutional autoencoder aims to deal with input facial expression images. Experimental results involved this algorithm demonstratean improved recognition ability on the JAFFE and CK+dataset.

Key Words：facial expression recognition；convolutional neural network；feature extraction；sparse convolutional autoencoders；unsupervised pretraining

0引言

人類的情感認知一直是人機交互技術研究的重要課題，而人臉表情是傳達人類情感和認知的重要方式。面部表情變化能夠準確傳達人類除語言表達之外的心理活動變化。人臉表情識別系統一般包括人臉檢測、圖像預處理、特征提取和表情分類4部分。其中表情的特征提取和分類是人臉表情技術研究的重點，關系著最終的表情判別結果。

目前表情識別特征的提取方法主要包括：①幾何特征提取，如面部的幾何特征：眼睛、嘴巴、眉毛等；②頻率特征提取法，如Gabor小波變換；③運行特征提取，如光流法。表情分類方法主要包括線性分類器、K最近鄰、彈性圖匹配法、支持向量機。Burkert等[6]提出DeXpression深度網絡模型，在MMI數據庫有較好的識別效果，識別率達到98.3%；Chai等[7]提出了結合Gabor小波和深度信念網絡（DBN）的人臉表情識別方法，在遮擋的情況下識別效果較好；Masci[8]提出了基于無監督的堆疊深度卷積自編碼方法應用于層次特征提取。

2006年Hinton[9]在《自然》雜志上發表了利用RBM編碼的深層神經網絡，利用單層的RBM自編碼預訓練使深層的神經網絡訓練變得可能。深度學習方法已成功應用于語音識別、計算機視覺和自然語音處理等領域，其中最具代表性的就是卷積神經網絡（CNN）。endprint

1融合卷積神經網絡與卷積稀疏自編碼的網絡模型

本文針對卷積神經網絡在幾何變換、形變具有一定程度不變性等方面優勢，同時為進一步減少人臉表情圖像易受到光照、遮擋和姿態等外界因素影響，提高自身的魯棒性，提出一種改進的結合了卷積神經網絡和卷積稀疏自編碼的人臉表情識別算法。具體網絡模型如圖1所示。

1.1卷積稀疏自編碼器

卷積稀疏自編碼器是在自編碼器的基礎上改進而來。自編碼是一種基于預訓練階段的無監督學習算法，通過對原始數據添加約束條件進行權重初始化，使hw，b（x）≈x，輸出接近于輸入x。卷積自編碼（CAE）是把之前自編碼中內積的操作轉換為卷積的操作[1]，卷積核的值決定了卷積操作結果，可以設置不同卷積核進行去噪[2]、模糊變換等處理。

本文的卷積稀疏自編碼（CSAE）是在卷積自編碼（CAE）基礎上進行的改進。通過采用WTA（WinnerTakeAll）[3]方法，加入稀疏約束條件后[4]，能夠有效地提取神經網絡特征，計算量較少。對于每一個特征圖，保留RELU激活函數處理的最大值，并把其它值進行置0處理。采取WTA方法進行每一層的稀疏化處理，相比于收縮正則化方法更加有效[5]。WTA方法只適用于訓練階段，網絡訓練完成與權重確定后則消失。網絡則會繼續把圖像的有效信息傳入到下一層，而不是傳入隱藏層的一個非零值進行特征映射。經過預訓練之后，為了減少計算量、減少模型參數，選擇預訓練后固定權重[10]。

由于無監督預訓練數據是人臉圖像，圖像中相鄰像素之間的相關性非常強，可以認為訓練輸入是冗余的，需要進行白化處理來降低輸入數據的冗余。本文采用ZCA進行白化處理，在不降低維數的情況下，可以使處理后的數據更接近原始數據。使用無監督預處理后的卷積稀疏自編碼器，能夠讓模型學習到最佳的濾波器，并用最佳濾波器代替傳統卷積神經網絡的原有濾波器。具體流程如圖2所示。

1.2卷積神經網絡

卷積神經網絡是一個多層感知神經網絡，包含卷積層、下采樣層與全連接層。主要思想包括局部感知、權重共享和子采樣[11]。本文改進的卷積神經網絡有兩個卷積層（C1，C2）和兩個下采樣層（maxpooling），并用ReLU（修正線性單元）激活函數代替傳統的Sigmoid激活函數。在激活前加入Batch Normalization（BN）[12]進行規范化操作，避免梯度消失，最后在全連接處加入Dropout[13]技術防止過擬合。卷積神經網絡通道中，卷積核大小為5×5，采樣核大小為2×2，Dropout系數為0.5。具體網絡模型如圖3所示。

1.2.1卷積層

在卷積神經網絡通道中，C1、C2代表卷積層。通常定義卷積層為特征提取層，通過可訓練的濾波器對輸入圖像或上一層特征圖像進行卷積處理，得到一個二維特征圖。根據輸入圖像大小定義濾波器卷積核大小，通過不同濾波器處理可以得到不同特征圖。每一個卷積后特征圖都對應一個大小相同、方向不同的卷積核。每一個卷積層都有很多特征圖，假設定義當前卷積層為l，則第j個特征圖表達式如下：

神經元x（k）經過（3）、（4）變換，會逐漸形成均值為0、方差為1的正太分布，從而使反向傳播變化區域擴大，收斂速度也會加快。

1.2.4線性單元修正

修正線性單元（Rectified Linear Unit） 來源于2003年Lennie P對人腦神經細胞稀疏性的研究，其優勢在于其具有單側抑制、稀疏激活性、相對寬闊的興奮邊界。實驗結果表明，近似生物神經激活函數ReLU相比于Sigmoid函數效果更好。將ReLU激活函數替代其它激活函數，可有效添加網絡稀疏性，因為ReLU激活函數會使一部分神經元輸出為0。在神經網絡的正確傳播中，ReLU激活函數只需要一個閾值即可得到激活值，而不需要經過復雜的運算，從而加快了計算速度。

1.2.5Dropout技術

Dropout技術最早由Hinton[13]在2012年提出，與L1和L2范式技術不同，其基本思想是在每次訓練時，讓一半的特征檢測器停止工作，可以使其有50%的概率被移除神經元，而不依賴其他神經元。實驗結果表明該做法可以提供網絡泛化能力，防止過擬合。每一次Dropout后，都可以認為訓練后的網絡模型為整個網絡的子網絡，從而進一步減小計算量。

2實驗與結果分析

2.1實驗平臺

實驗的硬件平臺為：聯想R720i77700CPU3.6GHz，軟件平臺為：Keras深度學習框架、Python語言。

2.2JAFFE 數據集

該數據集共有213張人表情圖片，由10位日本女性人臉的共7種人臉表情組成。每種人臉表情有3～4幅圖像，每個圖像的像素為256*256。先將已檢測出的人臉圖像歸一化為64*64像素大小的圖像。

本文采用交叉驗證的方法提高識別結果的可靠性。把所有人臉表情樣本分成兩個子集，一部分是樣本集，另一部分是測試集。使用5次交叉驗證方法，將所有人臉圖像樣本分為5份，其中4份作為訓練樣本，1份作為測試樣本。依次重復5次實驗，求取其平均值作為最終實驗結果。表1給出了JAFFE數據集下7種表情的識別率。

2.3CK+數據集

CK+數據集發布于2010年，由Cohn Kanade表情庫擴展而來，其人臉表情圖像樣本比JAFFE多。本文選取7種表情的共3 200個人臉圖像樣本，其中包括生氣500個樣本、恐懼420個樣本、高興550個樣本、中性430個樣本、悲傷480個樣本、驚訝420個樣本、厭惡400個樣本。

本文首先對人臉圖像進行歸一化處理，檢測出人臉關鍵點部分，得到64*64像素的人臉表情樣本。由于樣本數目較多，為增加準確性，采用10次交叉驗證法對樣本進行統計分析。把人臉數據集中所有的人臉表情樣本分成endprint

10份，輪流將其中9份作為訓練樣本，1份作為測試樣本。依次重復10次實驗，最后把10次實驗結果的平均值作為最終識別結果。表2給出了在CK+數據集下7種表情的識別率。

為了驗證本文提出的改進卷積神經網絡模型的有效性，實驗在CK+數據集下，對基于LBP+SVM、Gabor+SVM、BDBN、CNN、CSAENN的人臉表情識別算法的平均識別率進行了比較。表3結果表明，本文改進的卷積神經網絡算法比傳統卷積神經網絡算法（CNN）平均識別率提高了2.4%。相對于卷積稀疏自編碼的神經網絡人臉表情（CSAENN）算法，識別率也提高了3.1%。

在CK+數據集下，CNN算法和本文的CNN+CSAE算法的各自訓練時間和識別結果如表4所示。實驗結果表明，本文算法比傳統卷積神經網絡算法的訓練時間更短，識別率更高，算法分類效果更為顯著。

3結語

本文提出的改進雙通道卷積神經網絡模型，在JAFFE數據集和CK+數據集上均取得了不錯的識別效果。卷積神經網絡通道部分，首先通過對人臉圖像進行歸一化處理，檢測出人臉的關鍵點部分。接著在RELU激活函數前加入Batch Normalization（BN），加快了模型訓練速度，并解決了梯度消失問題，同時增加了模型的非線性表達能力。雙卷積層能夠更好地提取人臉表情特征，減少了權值數量，降低了網絡的模型復雜度；另一個通道用卷積稀疏自編碼器進行無監督預訓練人臉表情圖像，首先進行白化處理以降低冗余，加入稀疏化約束，優化網絡參數，選出最佳濾波器替代原卷積神經網絡濾波器，并加入卷積神經網絡模型中。最后將兩個通道輸出，連接到Dropout全連接層和Softmax分類器，完成最終的人臉表情分類。下一步研究工作將考慮在遮擋、光照等因素下進行人臉表情識別，進一步研究視頻圖像幀的人臉表情識別，并對人臉視頻圖像進行去噪、去抖動等優化，以期能夠研究出更為實用的人臉表情識別方法。

參考文獻：

[1]牛玉虎. 卷積稀疏自編碼神經網絡[J]. 計算機與現代化， 2017（2）：2229.

[2]李江， 冉君軍， 張克非. 一種基于降噪自編碼器的人臉表情識別方法[J]. 計算機應用研究， 2016， 33（12）：38433846.

[3]MAKHZANI A， FREY B. A winnertakeall method for training sparse convolutional autoencoders[J]. Eprint Arxiv， 2014.

[4]VU T D， YANG H J， NGUYEN V Q， et al. Multimodal learning using convolution neural network and sparse autoencoder[C].IEEE International Conference on Big Data and Smart Computing， 2017：309312.

[5]RIFAI S， VINCENT P， MULLER X， et al. Contractive autoencoders： explicit invariance during feature extraction[C].ICML， 2011.

[6]BURKERT P， TRIER F， AFZAL M Z， et al. DeXpression： deep convolutional neural network for expression recognition[J].Computer Vision and Pattern Recognition，2015， 22（10）：217222.

[7]CHAI R. Face recognition algorithm based on Gabor wavelet and deep belief networks[J]. Journal of Computer Applications， 2014（9）：19381943.

[8]MASCI J， MEIER U， DAN C， et al. Stacked convolutional autoencoders for hierarchical feature extraction[M]. Artificial Neural Networks and Machine Learning –ICANN 2011. Springer Berlin Heidelberg， 2011：5259.

[9]HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science， 2006.

[10]DOI E， INUI T， LEE T W， et al. Spatiochromatic receptive field properties derived from informationtheoretic analyses of cone mosaic responses to natural scenes[J]. Neural Computation， 2003， 15（2）：397417.

[11]LOPES A T， AGUIAR E D， OLIVEIRASANTOS T. A facial expression recognition system using convolutional networks[C].Graphics， Patterns and Images. IEEE， 2015：273280.

[12]IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift[J]. Learning，2015：448456.

[13]HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving neural networks by preventing coadaptation of feature detectors[J]. Computer Science， 2012：212223.

（責任編輯：黃?。〆ndprint