一種基于改進VGG16 網絡的人臉表情識別算法?

董 翠 羅曉曙 黃苑琴

（廣西師范大學電子工程學院 桂林 541000）

1 引言

人們情感的表達方式主要有：語言、聲音、肢體行為以及面部表情等。在這些行為方式中，面部表情所攜帶的表達人類內心情感活動的信息最為豐富，據研究表明，人類的面部表情所攜帶的內心活動的信息在所有的上述的形式中比例高達［1］55%。1978 年，Friesen 和Ekman［2］，首次對人臉面部表情做了詳細的定義，包括六種基本面部表情：憤怒、厭惡、恐懼、高興、悲傷、驚訝，同時對不同的面部表情建立了不同的面部表情圖像數據庫。由于不同的面部表情，可以反映出在不同情景下人們的情緒變化以及心理的變化，對于研究人類行為和心理活動，具有極高的意義。隨著計算機視覺的快速發展、深度學習的興起和機器學習等相關理論體系的完善，人臉表情識別作為人機交互的橋梁，引起了國內外越來越多的研究學者的關注。研究學者使用不同的算法來對人臉表情特征進行提取，從而更好的利用情感信息將表情識別技術進行應用，如：圖像分割［3～4］、目標檢測［5～6］、醫療系統［7］、人臉表情識別［8～10］、自然語言處理［11］、智能家居［12］、風格遷移［13］等領域。

對人臉表情的識別最為重要的是如何有效的提取人臉表情特征。傳統的一些人臉表情特征的提取方式主要依靠研究人員進行手工的提取，如Gabor 算法、HOG 算法等，該方法不僅費時費力，而且嚴重依賴于研究人員的經驗。隨著計算機技術的飛速發展、深度學習的興起，出現大批基于卷積神 經 網 絡 的 識 別 架 構（CNN），如VGG-Net［14］、GoogleNet［15］、Resnet［16］等。卷積神經網絡由于其自動提取人臉表情特征、計算迅速、識別率高的優勢，正在逐漸替代傳統的手工提取方式。如何設卷積神經網絡來提取更加全面和更深層次的人臉表情特征，仍是當下人臉表情識別研究的熱點。針對這個問題，本文使用VGG16 網絡作為人臉表情特征提取的基礎網絡，再進行研究改進，以提高網絡對人臉表情的識別率。首先將VGG16 網絡的三個全連接層中的前兩個全連接層改為卷積層，減少網絡模型的參數，在卷積層前添加上下文感知金字塔模塊［17］，擴大網絡模型的感受野，增強人臉表情特征表達，同時引入類別注意力［18］，產生類別損失函數，關注有利于人臉表情識別的特征區域，與交叉熵損失函數一起作為網絡模型訓練的損失函數。實驗表明，在人臉表情數據集FERPLUS 和RAF-DB 上相比于VGG16網絡具有更高的識別率。

2 VGG16網絡

VGG-Nets［14］是由牛津大學VGG（Visual Geometry Group）提出。VGG-Nets 的原始輸入是224×224 彩色三通道圖像，圖像通過一堆卷積（轉換）層，進行特征信息的提取，卷積層使用的是3×3 的卷積（這是捕捉左/右，上/下，中心概念的最小尺寸），步長設置為1 個像素，填充設置為1 個像素。卷積層后有批歸一化層（BN Layer）與激活函數（Relu），池化使用的是最大池化（MaxPool），在2×2像素窗口上執行，步長為2。在卷積層后是三個全連接層（FC Layer），前兩個全連接層每個具有4096個通道，第三個全連接層進行類別的分類。全連接層的參數配置在所有網絡中都是相同的。在網絡的最后連接的是softmax，再接入分類器進行分類。VGG16 網絡共有16 層，其中包括13 個3×3 的卷積層，3 個全連接層。在每個卷積層后面有激活層和BN層，VGG16網絡如圖1所示。

圖1 VGG16網絡結構圖

3 改進網絡

由于現有的卷積神經網絡進行人臉表情識別時，在網絡訓練時僅使用交叉熵損失函數進行訓練，導致網絡對數據集不能很好的擬合，使得卷積神經網絡對人臉表情識別的準確率不高。因此，本文使用VGG16 網絡作為人臉表情特征提取的基礎網絡，引入類別注意力，產生類別損失函數，與交叉熵損失函數一起作為網絡訓練的損失函數，對輸入的人臉表情數據進行訓練，從而更好的擬合人臉表情數據，同時使用上下文感知金字塔模塊，擴大網絡的感受野，增強人臉表情特征表達，提升網絡對人臉表情的識別率。網絡的總體結構如圖2所示。

圖2 改進后的網絡結構

3.1 類別注意力

不同類別、不同特征具有不同的語義值，因此會生成不同的特征關注點。例如對于人臉表情的識別分類，悲傷的表情圖像與開心的表情圖像在面部的嘴角會有比較大的差異性，使用類別注意力機制形成類別的特征映射，有利于網絡關注并提取不同類別的特征關注點，更有利于網絡對人臉表情的識別分類。本文僅使用VGG16 網絡最后一個全連接層進行網絡的分類，將VGG16 網絡的前兩個全連接層改為兩個卷積核大小為L1(xi)的卷積層，如圖3 所示，進一步對人臉表情特征進行提取，在加深了網絡的深度同時，避免了全連接層過多導致網絡參數量增加的問題。

圖3 VGG16卷積層結構

本文將VGG16 網絡的前兩個全連接層（FC Layers）改為上下文感知金字塔和卷積層（Convolution Layers）的結合，用于進一步地對人臉表情特征信息的提取。在卷積層之前，添加上下文感知金字塔模塊，擴大由卷積網絡提取后的特征圖的感受野。如圖2 所示，將一張人臉表情圖像L1(xi)輸入到改進后的網絡中，進入基礎卷積層進行人臉表情特征的提取，得到特征圖L1(xi)，該特征圖的維度為L1(xi)，在提取的特征圖進入全連接層之前，將其送入更改后的卷積層進行進一步的特征提取。為了得到類別注意特征圖L1(xi)，在卷積層后使用L1(xi)卷積將維度L1(xi)的特征圖轉換為維度L1(xi)的特征圖，其中k 為類別數量，得到類別特征映射，之后將輸出分為兩個分支，一個分支使用L1(xi)卷積進行通道的適配，之后再經由自適應池化后經過softmax 函數產生概率值，然后送入網絡中使用交叉熵損失函數進行訓練得到L1(xi)。另外一個分支通過與L2(xi)內核進行卷積，生成L2(xi)特征圖L2(xi)，將通過softmax 函數歸一化的L2(xi)特征圖用作注意機制的注意特征圖，感知分支（Attention branch）通過從特征提取器接收注意力和特征圖來輸出每個類別的最終概率，如式（1）、（2）所示，以殘差的形式先與原始輸入特征相乘，再相加得到新的特征圖L2(xi) ，最后將得到的特征圖通過分類器和softmax 函數得到概率值，得到類別損失函數L2(xi) 。最后得到總體的損失函數g'(xi)=M(xi)?g(xi)，更有利于網絡的訓練，提高了網絡對人臉表情的識別分類可靠性。網絡的總體的損失函數如式（3）所示：

3.2 上下文感知金字塔

圖2 中，上下文感知金字塔特征提取模塊使用多尺度高層次特征映射來獲得豐富的上下文特征信息?，F有卷積神經網絡將多個卷積層疊加起來，逐步增加接收的感受野生成高級語義信息，在分類任務中有著至關重要的作用，然而卷積神經網絡的池化操作，縮小了特征映射的大小，使得提取的特征信息不能夠充分表達。在VGG16 網絡中，原始輸入為224×224 的圖片大小，而大的圖像會增加計算機內存的負擔，但是一味縮減圖像大小會導致圖像的分辨率降低、網絡對圖像的識別率下降。例如，將112×112 大小的人臉表情圖像送入原始VGG16 網絡中進行特征信息的提取，在經過一系列的卷積與池化操作之后，網絡提取出的特征圖的大小逐漸減小，在經過VGG16 網絡的卷積層之后，所輸出的特征圖的大小只有3×3，相對于原始VGG16 網絡在224×224 大小的輸入情況下，特征圖的大小縮減了一半，因此會存在網絡提取的人臉表情特征不夠全面的情況，導致特征信息不能夠充分的表達，最后會使得網絡的人臉表情識別率下降。

本文將下文感知金字塔模塊用于網絡與改進后的卷積層疊加，進一步的提取人臉表情特征信息。由于該模塊由四個擴張卷積率分別為1，3，5，7 的空洞卷積層組成，因此在層次上形成一種類似于金字塔的結構。對于擴張卷積來說，不同的擴張卷積率在不增加多余的計算量的同時可以擴大視覺寬度，即感受野的大小。在卷積神經網絡中，感受野是一個矩形區域，如果卷積核長寬都相等，則對應感受野就是正方形區域。輸出特征圖中每個位置都對應輸入圖像一個感受野區域，所有位置的感受野在輸入圖像上以固定步長進行的方式平鋪。在一般的任務中，要求感受野越大越好，如圖像分類中最后卷積層的感受野要大于輸入圖像，網絡深度越深感受野越大性能越好。在本文使用的上下文感知金字塔模塊中，假設膨脹率為ds，使用的卷積核大小為3×3，則使用膨脹卷積的感受野大小為3+2×2×（ds-1），對應的感受野增大3×3，7×7，11×11。因此該模塊便于捕獲多尺度的感受野，加強網絡提取具有更豐富的上下文信息的人臉表情特征，并且經過該模塊后的特征圖，通過跨通道連接組合來自不同的空洞卷積層的特征映射和1×1 維度減少特征，獲得具有上下文感知信息的不同比例的特征，特征圖的大小不發生改變，但是特征圖所攜帶的信息卻得到了加強，所以該模塊有助于來提取尺度、形狀和位置不變性的特征。上下文感知金字塔模塊的結構如圖4所示。

圖4 上下文感知金字塔模塊

4 數據處理

4.1 數據集

RAF-DB［19］：人臉表情數據集RAF-DB 含有三萬張帶有注釋的面部圖像。有七個基本表情（中性、幸福、驚奇、悲傷、憤怒、厭惡、恐懼）。該數據集中的圖片共12271張用于訓練，3068張用于測試。

FERPlus［20］：人臉表情數據集FERPlus 共有八個類別，分別為驚訝、恐懼、厭惡、快樂、悲傷、憤怒、中性、蔑視。實驗中采用投票機制來選擇訓練集和測試集和它們的基本表情標簽，去掉票數為1 的噪聲投票，若圖像在某基類上得票超過剩余總票數的一半，則歸為該基類，去除未知類和非人臉類，得到24586 張訓練集圖像、3152 張公有、3083 張私有測試圖像。本文在共有測試集上進行實驗。

4.2 數據增強

為了防止網絡過擬合現象的產生，在訓練過程中，對數據進行隨機的翻轉、切割、水平或者角度性的旋轉，這種方式稱作數據增強。對RAF-DB數據集，原人臉表情圖像大小是100×100，實驗中將原100×100 圖像隨機裁減為90×90，進行隨機鏡像處理，處理后的圖像送入網絡進行訓練。在測試階段，采用十倍裁減的方式，將圖像在左上角，左下角，右上角，右下角，中心進行裁減，使得圖片數量擴大了10 倍，同時使用鏡像操作，對處理后的圖片再進行測試，然后對得到的概率取均值，得到一個最大的輸出值為對應的表情，這樣降低了分類錯誤率。對人臉表情數據集FERPLUS，由于圖像的原始大小是48×48，而VGG16網絡的原始輸入圖像大小224×224，為了保持圖片的分辨率，也為了減少網絡訓練時，對計算機內存的運算負擔，先將圖片放大到128×128，再將圖片隨機裁減到112×112，將圖像進行隨機鏡像處理，送入網絡中進行訓練。

5 實驗

5.1 實驗環境

操作系統：Ubuntu16.04，

GPU：GTX 1080TIi顯卡，128g

CPU：E5-2637 v4，GPU

加速庫：CUDA9.0

編程語言：Python3.6

深度學習框架：PyTorch0.4

5.2 實驗結果與分析

5.2.1 在RAF-DB數據集上的實驗結果與分析

由表1得出，原VGG16網絡在人臉表情數據集RAF-DB上的識別率為81.68%，在相同的參數設置與實驗條件下，改進后網絡在人臉表情數據集RAF-DB上的識別率為83.25%，在測試時添加了十倍裁減和訓練時加載在ImageNet 上預訓練過后的網絡參數，再進行實驗，最終改進后網絡在人臉表情數據集的識別率為86.70%。從表2 與其他方法與在該數據集上的識別率的對比得出，改進后網絡在該數據仍有較高的人臉表情識別率。

表1 VGG16網絡與改進后網絡人臉表情識別率對比

表2 改進VGG16網絡與其它網絡的人臉表情識別率對比

表3 VGG16網絡與改進后網絡人臉表情識別率對比

本文在人臉表情數據集RAF-DB 上的實驗的混淆矩陣圖如圖5、6所示。

圖5 VGG16在RAF_DB上的混淆矩陣

圖6 改進后網絡在RAF_DB上的混淆矩陣

5.2.2 在FERPLUS數據集上的實驗結果與分析

由表4 得出，在相同的參數設置下，原VGG16網絡在人臉表情數據FERPLIUS 上的識別率是87.28%，改進后網絡在該數據集上的識別率為88.26%，在測試時添加了十倍裁減和訓練時加載在ImageNet 上預訓練過后的網絡參數，再進行實驗，最終改進后網絡在人臉表情數據集的識別率為89.63%，比原網絡提升了2.4%。由表4與現有方法對該數據集的識別率的對比得出，改進后網絡仍有較高的識別率。本文在人臉表情數據集FERPLUS上的實驗的混淆矩陣圖如圖7、8所示。

表4 改進VGG16網絡與其它網絡的人臉表情識別率對比

圖7 VGG16在FERPLUS上的混淆矩陣

圖8 本文網絡在FERPLUS上的混淆矩陣

6 結語

本文將類別注意力引入VGG16 網絡，產生類別注意力損失函數，將該損失函數與交叉熵損失函數一起作為網絡訓練時的損失函數，同時使用上下文感知金字塔模塊擴大網絡提取的特征的感受野，在不改變網絡結構的情況下、沒有增加網絡的復雜性的同時，提高了網絡在人臉表情數據集RAF-DB和FERPLUS 上的識別率，在這兩個數據集上的識別率分別達到了86.70%和89.63%。實驗結果表明，對比VGG16 網絡，改進后的網絡在一定程度上提升了對人臉表情的識別效果。