基于遷移卷積神經網絡的人臉表情識別

劉倫豪杰 王晨輝 盧慧 王家豪

摘要：人臉表情識別在計算機視覺領域引起廣泛關注，為了解決實際應用中出現的小數據集和硬件限制問題，引入遷移學習方法，將Image-Net上訓練好的Inception_v3網絡遷移到表情識別任務中，使用FER2013數據集進行參數學習完成表情識別任務，識別率達到了80.4%，且無過擬合現象，網絡泛化效果好?；谶w移網絡處理的是復雜度更大的分類問題，提取的抽象信息并不都對表情識別任務有利，進一步在遷移學習網絡后加入了卷積層和池化層進行表情特征提取和冗余信息篩除，識別率提高到了87.5%。

關鍵詞：表情識別；卷積神經網絡；遷移學習 ；CK+ ；FER2013

中圖分類號：TP18 文獻標識碼：A

文章編號：1009-3044（2019）07-0191-04

Abstract： Facial expression recognition has attracted widespread attention in the field of computer vision， and it has played an important role in applications such as human-computer interaction. At the same time， the convolutional neural network method performs well in the graphics recognition task. Therefore， this paper firstly designs a convolutional neural network to complete the expression recognition task. The experimental results show that the recognition rate of the network on the CK+ dataset reaches 99.6%， but the recognition rate on the generalization set is only 21%， showing strong Fitting the phenomenon. In order to avoid over-fitting， the larger fer2013 database is used for training. Under the constraints of hardware conditions， convergence cannot be achieved， and the recognition rate is only 51.7%. In order to solve the small data set and hardware limitation problems in practical applications， this paper introduces the migration learning method， migrates the trained Inception_v3 network on Image-Net to the expression recognition task， modifies the final fully connected layer， and uses the FER2013 data set to perform parameters. After learning to complete the expression recognition task， the experimental results show that the recognition rate reaches 80.4%， and there is no over-fitting phenomenon， and the network generalization effect is good. However， the migration network deals with a more complex classification problem， and the extracted abstract information is not all beneficial to the expression recognition task. Based on this， the migration convolutional neural network designed in this paper adds the convolutional layer and the pooling layer to the expression feature extraction and redundant information screening after the migration learning network. The experimental results show that the recognition rate is increased to 87.5%.

Key words： Expression recognition； Convolutional neural network； Migration learning； CK+； FER2013

人臉表情識別是人機交互與情感計算研究中的重要組成部分。隨著人工智能的發展和機器人制造體系的成熟，人機交互領域顯現出巨大的市場和應用前景。

最早的人臉表情識別研究方法主要基于幾何特征，對人的眼睛、眉毛、嘴等位置變化特征進行表情識別。Lanitis[1]提取14個臉部特征點，建立可變形模型，通過特征點的位置和形狀對人臉表情進行識別，達到74%的識別率。隨著小波理論在圖像識別逐漸成熟，日本九州大學[2]利用Gabor小波對面部表情信息進行壓縮編碼。美國CMU[3]采用隱馬爾可夫模型（HMM）對人臉表情的細微變化分析，運用了特征點跟蹤、流跟蹤和邊緣檢測實現了面部表情信息的自動識別。以上傳統的表情識別方法都需要人為設定特征，提取特征的信息量相當局限，準確率難以達到應用要求。

隨著高性能服務器的發展，以卷積神經網絡為代表的深度學習算法廣泛應用到了計算機視覺、自動駕駛等領域中，取得了很好的效果。基于卷積神經網絡的表情識別方法[4]通過數據驅動，構建卷積層從表情數據庫中學習提取抽象的特征信息，最后使用全連接層分類。然而，深度卷積網絡依賴于數據驅動，很多數據集中的靜態面部表情圖片太少，在無法得到上百萬大規模數據集時，直接訓練效果不夠理想，容易產生過擬合，識別的泛化效果很差?；诖?，提出了基于遷移卷積神經網絡的人臉表情識別方法，將在Iamge-net大數據集上訓練好的inception_v3圖像分類網絡遷移到人臉表情識別網絡中，并在網絡中加入了一層卷積層和池化層，再對人臉表情數據庫的圖片進行學習，取得了很好的效果。

1 卷積神經網絡

卷積神經網絡（CNN）是一種特殊的前饋神經網絡，因主要功能單元卷積層實現特征提取而與普通全連接神經網絡區分開來。神經元之間的連接模擬了動物的視皮層，在計算機視覺領域表現良好。CNN主要由卷積層、池化層和全連接層組成。

1.1卷積層

卷積層和傳統的全連接層不同，該層包含一組濾波器，又稱為卷積核。卷積核的大小一般為3x3或者5x5，這些卷積核在表示輸入圖像的三維矩陣上面滑動應用卷積，計算出卷積核和輸入矩陣之間的點積，并生成二維激活映射，使得網絡學習到因為偵測到輸入位置空間上特定種類的特征而激活的卷積核。卷積核將通過上述滑動操作對整個圖像進行掃描實現對圖像信息的遍歷，利用共享權值實現對圖像特征的提取，不同的卷積核分別提取圖像的不同特征。

卷積層試圖將神經網絡的每一小塊進行深入的分析而得到抽象程度更高的特征，一般來說，經過卷積處理過的節點矩陣會變得更深，從圖片中學習到的特征信息也更加豐富抽象。

1.2池化層

池化層也稱下采樣層，是對上一層提取的特征進行降維處理，可以在保留最重要特征的同時削減卷積輸出，避免全連接層出現過擬合現象。池化中最經典的操作包括最大池和平均池化，本文采用最大池化，保留窗口中的最大值。最常見的池化大小是2x2，步幅為2，能夠從輸入映射中去除75%的激活，見圖1。

1.3 全連接層

經過多輪卷積層和池化層處理后，圖像中的信息已經被高度抽象為信息含量更高的特征，對于這些特征，利用全連接層完成分類任務。全連接層也稱多層感知機，它的每一個神經節點都與前一層和后一層的所有節點相互連接，在不斷的學習中，優化損失，反饋調節權重。

2 遷移學習

深度卷積神經網絡CNN在每年一度的ImageNet圖像識別大賽上大放光彩，其他傳統機器學習方法逐漸被邊緣化。但是該比賽和眾多神經網絡項目都是基于互聯網產生，樣本數量龐大，足以支撐深度學習的訓練。對于數據集較少的應用領域如人臉表情識別，數據集中包含的標注樣本即使通過圖像增強與補償技術也十分有限，構建大規模人臉數據成本也較高，不具有實際可操作性?；诖?，將在大規模互聯網數據上訓練的CNN遷移到小樣本目標數據集中的遷移學習方法成了圖像研究領域的熱門。

2.1 遷移學習概述

遷移學習的思路是將一個環境中學習到的知識來幫助完成新環境中的學習任務[5]。遷移學習定義為：給定一個源領域Ds和學習任務Ts，一個目標領域Dr和學習任務Tr，遷移學習通過學習任務Ts在源領域Ds中獲取的知識，幫助學習任務Tr在目標領域Dr中的學習[5]。

2.2遷移學習在表情識別的應用

人臉表情識別數據集都十分有限，引入遷移學習將使得基于深度卷積神經網絡的表情識別任務可以在已有的少量人臉數據集中訓練學習到很好的效果。具體地，利用在ImageNet圖像數據集上訓練好的大型神經網絡Inception_v3，修改其輸出層，改用三層全連接網絡，在任務數據集上訓練，實現七分類問題。此外，源網絡的任務是對兩萬多種事物進行分類，比七種表情識別任務復雜程度更高，因此Inception_v3抽象出的大量信息并不是都對表情識別起著積極作用，可能存在負遷移的破壞性影響?；诖?，在全連接層前設計一層卷積層和池化層能夠起到提取表情特征信息，剔除多余信息的作用，學習效果更好。

3 數據準備

3.1 數據來源

本文的實驗數據選用fer2013人臉表情庫和CK+人臉表情庫。

fer2013數據集來自數據科學競賽kaggle，該表情庫由訓練集、測試集與驗證集三部分構成，其中訓練集共包含28，709張48[×48]的灰度圖像，將人臉表情分為生氣、厭惡、恐懼、高興、悲傷、驚訝和中性這7種。其構成如下：

CK+數據集由Cohn Kanade 表情庫擴展而來，與fer2013相比，其類別稍有不同，并且僅包含共988張人臉表情，其構成如下：

此外，選取來自其他數據集的一小部分人臉表情集作為泛化集，用來測試網絡的泛化能力。

3.2 數據處理

相較于fer2013數據集，CK+的數據集太小，容易產生過擬合。對此采用數據增強來對CK+數據集進行拓展，本文利用隨機裁剪的方式，在48x48的圖片上四個角和中心裁剪出5個42x42的圖片，再進行一次鏡像操作，實現了數據集擴增10倍的目的。除此之外，在訓練之前，還應該對數據庫圖像進行尺寸大小和深度調整以符合網絡的輸入條件。本文在tensorflow框架上利用openvc的resize函數將42x42x1的灰度圖像轉化為適合卷積神經網絡輸入的227x227x3的圖像和卷積遷移網絡輸入的229x229x3的圖像。

4 人臉表情識別方法

4.1 卷積神經網絡模型

本文設計一種包含5個卷積層和3個全連接層的卷積神經網絡，其網絡結構如圖x所示。輸入為預處理完成的227*227*3的三通道圖片，卷積層1的卷積核大小為11*11，步長為4，卷積層2的卷積核大小為5*5，步長為1，另外三個卷積層卷積核均為3*3，步長均為1，經過卷積層的輸出特征圖像大小為6*6*256，再通過3個全連接層，最終輸出一個7*1的向量，完整的網絡參數如表3。該網絡設置學習率為0.001，權重衰減率為0.8，迭代次數為2000次。在訓練數據不夠多時，或者過度訓練時，經常會導致過擬合。其直觀的表現為，隨著訓練過程的進行，模型復雜度添加，訓練集上的損失函數逐漸減小。但在驗證集上的準確率卻反而逐漸增大，為解決該問題采取了學習率隨迭代次數衰減的機制，迭代一百次學習率衰減0.01。并選擇Relu激活函數、交叉熵損傷函數和隨機梯度優化器的組合對網絡進行反饋學習，調整網絡權重參數。Relu作為激活函數解決了Sigmoid在網絡較深時的梯度彌散導致迭代一段時間后無法收斂的問題。此外，使用L1正則化，在損失函數后面再加上一個正則化項來不斷削弱權重系數。訓練時還在全連接層采用了Dropout隨時忽略部分神經元，dropout值設置為0.8，每次隨機忽略80%的神經元，一定程度上避免了過擬合。

將處理過的CK+數據集置于該網絡中訓練，使用mini-batch梯度下降算法對損失函數進行優化，該算法先將整個大的訓練集劃分為若干個小的訓練集，稱為 mini-batch，本文中設置為256，再分別對每一個batch進行梯度下降。使用 mini-batch梯度下降算法，一方面更新參數更快，有于更魯棒地收斂，避免局部最優；另一方面，計算效率更高，可以幫助快速訓練模型。

利用Nvidia GTX 1080 GPU在tensorflow框架下進行運算，調參訓練后發現其在測試集中的準確率高達99.6%，而在泛化集中的準確率僅有21%。這是由于數據集中圖片數量過少，網絡參數過多，不可避免地產生了過擬合現象，因而不具備較好的泛化能力。

基于以上原因，采用數據量更大的FER2013訓練該網絡，結果顯示其在測試集中的準確率僅能達到51.7%，并且損失值呈明顯的上下震蕩，無法收斂。

反復調參后發現，小數據集在batch-size為256時便能達到較好的收斂效果和準確率，而對于數據量較大的數據集則需要更大的batch-size，當batch-size到達1024時，計算機內存已達到瓶頸，此時的最高準確率為57.8%，需要尋找新的方法來彌補硬件性能的不足。

4.2 遷移網絡模型

在計算機性能限制網絡訓練能力的情況下，借助遷移學習能夠取得較好的效果?？梢赃x擇一個已經經大量數據訓練好的網絡層數龐大的卷積神經網絡及其參數學習人臉表情集，獲取抽象的、深層的表情特征，通過對輸出特征的進一步提取與分類，更為簡單準確地實現了人臉表情的識別工作。

在ImageNet數據集中訓練好的Inception-v3網絡中可以很好地區分兩萬種類別的圖像，所以有理由認為該網絡中每一個節點可以作為其他任何圖像的一個更加精簡且表達能力更強的特征向量?；诖?，直接利用這個訓練好的Inception-v3網絡對人臉表情圖像進行特征提取，然后再將提取得到的特征向量作為輸入來訓練一個七分類問題。在實際操作中，保留訓練好的Inception-v3模型中所有卷積層的參數，只是替換最后一層全連接層，將輸出神經元由1000個調整為7個。

結果顯示，FER2013測試集中的準確率達到80.4%，在時間和準確度上都有顯著的提升。

4.3 遷移卷積網絡模型

一般來說，遷移學習所需訓練時間與硬件要求遠小于訓練完整模型，但其訓練效果不如完全重新訓練，為進一步提高分類準確率，設計在Inception-v3后連接上新的網絡，見圖2。經過Inception-v3的輸出數據為8*8*2048，通過一個卷積核為3*3，步長為1，全零填充的卷積層對表情特征進行提取，再通過一個過濾器為2*2，步長為2的最大池化層實現冗余信息的篩除，最后通過一個7個神經元的全連接層完成表情分類任務。實驗發現，改進后的遷移卷積神經網絡對人臉表情的分類能力得到明顯提升，測試集準確率達到了87.5%，泛化集準確率也達到了80%以上，不會出現過擬合現象，能夠很好地解決樣本數量較少的圖像數據集分類問題。

4.4 結果分析

使用最初設計的包含5個卷積層與3個全連接層的卷積神經網絡，CK+測試集的準確率高達99.6%，但其泛化能力較差，在泛化集中的準確率僅為21%，這是由于CK+訓練集數據有限，而網絡結構過于復雜，參數過多，出現了過擬合的現象；基于此選擇數據量更大的fer2013作為訓練集，結果顯示，測試集上的準確率受限于計算機性能，最高只能達到51.7%，基于此，最終選擇已經在數據量龐大的數據集Imagenet上訓練完成的Inception-v3進行遷移學習，結果顯示，FER2013測試集的準確率達到80.4%。為避免負遷移的破壞性影響，設計改進的遷移卷積神經網絡進一步將準確率提高到了87.5%，并在泛化集上也取得了很好的效果，說明設計的遷移卷積神經網絡能夠很好地應用于小樣本分類問題，且不會出現過擬合現象，擴大了CNN的應用范圍，具有實際的應用價值。

為了驗證本文提出的遷移卷積網絡的有效性，將本文算法的人臉表情識別準確率與其他已有算法在fer2013數據集上的準確率進行對比，包括隱馬爾可夫模型（HMM）、支撐向量機（SVM）[6]、Gabor小波變換[7]、深度置信網絡（DBN）、只包含一層3*3的卷積層的卷積神經網絡（N1）、包含多層3*3及5*5的卷積神經網絡（N2）、判別學習卷積神經網絡[8]（DLCNN）（見表4）。結果表明，本文改進的遷移卷積神經網絡算法平均識別率提高了8.3%。

5 總結

本文首先利用卷積神經網絡構建出卷積網絡模型完成人臉表情識別任務，在CK+數據集上進行訓練，通過調參，測試集達到了99.6%的準確率，但是由于CK+數據集非常小，容易產生過擬合現象，主要表現在泛化集上的識別率僅有21%?；诖耍x擇了fer2013數據集進行訓練，在硬件設備的制約下，batch-size最大調節到1024，反復調節參數，網絡無法達到收斂，最高僅能達到57.8%。因此，為了使人臉表情識別技術應用于小樣本數據集中采用了遷移網絡的學習方法，將在超大網絡數據集ImageNet上訓練完成的大型網絡Inception_v3的網絡結構和參數遷移到人臉表情識別任務，修改全連接層完成七種表情的分類，實驗結果表明在FER2013數據集上的識別率達到了80.4%。進一步，后設計了遷移卷積神經網絡，在遷移網絡增加設計好的卷積層和池化層提取出和表情識別有關的信息，實驗結果表明識別率提高到了87.5%。

參考文獻：

[1] Lanitis A.，IEEE Trans.PAMI， 1997， 19（7）：743-756.

[2] Bradski G R，IEEE Workshop Application of Computer Vision，1998：214-219.

[3] Lien J J J，CMU- RI- TR- 98- 31，Ph.D.dissertation，1998.

[4] 李思泉，張軒雄. 基于卷積神經網絡的人臉表情識別研究[J].軟件導刊，2018（1）：28-31.

[5] Pan S J，Yang Q.A Survey onTransferLearning[J].IEEETransactions on Knowledge & Data Engineering，2010，22（10）：1345-1359.

[6] 陳偉宏. 基于SVM的人臉表情識別[J]. 科學技術與工程，2008， 8（21）：5850-5853.

[7] 王沖， 李一民. 基于Gabor小波變換的人臉表情識別[J]. 計算機工程與設計，2009，30（3）：643-646.

[8] Li Z.A discriminative learning convolutional neural network for facial expression recognition[C]//2017 3rd IEEE International Conference on Computer and Communications （ICCC）， Chengdu， 2017：1641-1646.

【通聯編輯：唐一東】