一種基于改進(jìn)VGG16 網(wǎng)絡(luò)的人臉表情識(shí)別算法?

董 翠 羅曉曙 黃苑琴

（廣西師范大學(xué)電子工程學(xué)院 桂林 541000）

1 引言

人們情感的表達(dá)方式主要有：語(yǔ)言、聲音、肢體行為以及面部表情等。在這些行為方式中，面部表情所攜帶的表達(dá)人類(lèi)內(nèi)心情感活動(dòng)的信息最為豐富，據(jù)研究表明，人類(lèi)的面部表情所攜帶的內(nèi)心活動(dòng)的信息在所有的上述的形式中比例高達(dá)［1］55%。1978 年，F(xiàn)riesen 和Ekman［2］，首次對(duì)人臉面部表情做了詳細(xì)的定義，包括六種基本面部表情：憤怒、厭惡、恐懼、高興、悲傷、驚訝，同時(shí)對(duì)不同的面部表情建立了不同的面部表情圖像數(shù)據(jù)庫(kù)。由于不同的面部表情，可以反映出在不同情景下人們的情緒變化以及心理的變化，對(duì)于研究人類(lèi)行為和心理活動(dòng)，具有極高的意義。隨著計(jì)算機(jī)視覺(jué)的快速發(fā)展、深度學(xué)習(xí)的興起和機(jī)器學(xué)習(xí)等相關(guān)理論體系的完善，人臉表情識(shí)別作為人機(jī)交互的橋梁，引起了國(guó)內(nèi)外越來(lái)越多的研究學(xué)者的關(guān)注。研究學(xué)者使用不同的算法來(lái)對(duì)人臉表情特征進(jìn)行提取，從而更好的利用情感信息將表情識(shí)別技術(shù)進(jìn)行應(yīng)用，如：圖像分割［3～4］、目標(biāo)檢測(cè)［5～6］、醫(yī)療系統(tǒng)［7］、人臉表情識(shí)別［8～10］、自然語(yǔ)言處理［11］、智能家居［12］、風(fēng)格遷移［13］等領(lǐng)域。

對(duì)人臉表情的識(shí)別最為重要的是如何有效的提取人臉表情特征。傳統(tǒng)的一些人臉表情特征的提取方式主要依靠研究人員進(jìn)行手工的提取，如Gabor 算法、HOG 算法等，該方法不僅費(fèi)時(shí)費(fèi)力，而且嚴(yán)重依賴于研究人員的經(jīng)驗(yàn)。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展、深度學(xué)習(xí)的興起，出現(xiàn)大批基于卷積神 經(jīng) 網(wǎng) 絡(luò) 的 識(shí) 別 架 構(gòu)（CNN），如VGG-Net［14］、GoogleNet［15］、Resnet［16］等。卷積神經(jīng)網(wǎng)絡(luò)由于其自動(dòng)提取人臉表情特征、計(jì)算迅速、識(shí)別率高的優(yōu)勢(shì)，正在逐漸替代傳統(tǒng)的手工提取方式。如何設(shè)卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取更加全面和更深層次的人臉表情特征，仍是當(dāng)下人臉表情識(shí)別研究的熱點(diǎn)。針對(duì)這個(gè)問(wèn)題，本文使用VGG16 網(wǎng)絡(luò)作為人臉表情特征提取的基礎(chǔ)網(wǎng)絡(luò)，再進(jìn)行研究改進(jìn)，以提高網(wǎng)絡(luò)對(duì)人臉表情的識(shí)別率。首先將VGG16 網(wǎng)絡(luò)的三個(gè)全連接層中的前兩個(gè)全連接層改為卷積層，減少網(wǎng)絡(luò)模型的參數(shù)，在卷積層前添加上下文感知金字塔模塊［17］，擴(kuò)大網(wǎng)絡(luò)模型的感受野，增強(qiáng)人臉表情特征表達(dá)，同時(shí)引入類(lèi)別注意力［18］，產(chǎn)生類(lèi)別損失函數(shù)，關(guān)注有利于人臉表情識(shí)別的特征區(qū)域，與交叉熵?fù)p失函數(shù)一起作為網(wǎng)絡(luò)模型訓(xùn)練的損失函數(shù)。實(shí)驗(yàn)表明，在人臉表情數(shù)據(jù)集FERPLUS 和RAF-DB 上相比于VGG16網(wǎng)絡(luò)具有更高的識(shí)別率。

2 VGG16網(wǎng)絡(luò)

VGG-Nets［14］是由牛津大學(xué)VGG（Visual Geometry Group）提出。VGG-Nets 的原始輸入是224×224 彩色三通道圖像，圖像通過(guò)一堆卷積（轉(zhuǎn)換）層，進(jìn)行特征信息的提取，卷積層使用的是3×3 的卷積（這是捕捉左/右，上/下，中心概念的最小尺寸），步長(zhǎng)設(shè)置為1 個(gè)像素，填充設(shè)置為1 個(gè)像素。卷積層后有批歸一化層（BN Layer）與激活函數(shù)（Relu），池化使用的是最大池化（MaxPool），在2×2像素窗口上執(zhí)行，步長(zhǎng)為2。在卷積層后是三個(gè)全連接層（FC Layer），前兩個(gè)全連接層每個(gè)具有4096個(gè)通道，第三個(gè)全連接層進(jìn)行類(lèi)別的分類(lèi)。全連接層的參數(shù)配置在所有網(wǎng)絡(luò)中都是相同的。在網(wǎng)絡(luò)的最后連接的是softmax，再接入分類(lèi)器進(jìn)行分類(lèi)。VGG16 網(wǎng)絡(luò)共有16 層，其中包括13 個(gè)3×3 的卷積層，3 個(gè)全連接層。在每個(gè)卷積層后面有激活層和BN層，VGG16網(wǎng)絡(luò)如圖1所示。

圖1 VGG16網(wǎng)絡(luò)結(jié)構(gòu)圖

3 改進(jìn)網(wǎng)絡(luò)

由于現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉表情識(shí)別時(shí)，在網(wǎng)絡(luò)訓(xùn)練時(shí)僅使用交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練，導(dǎo)致網(wǎng)絡(luò)對(duì)數(shù)據(jù)集不能很好的擬合，使得卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉表情識(shí)別的準(zhǔn)確率不高。因此，本文使用VGG16 網(wǎng)絡(luò)作為人臉表情特征提取的基礎(chǔ)網(wǎng)絡(luò)，引入類(lèi)別注意力，產(chǎn)生類(lèi)別損失函數(shù)，與交叉熵?fù)p失函數(shù)一起作為網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)，對(duì)輸入的人臉表情數(shù)據(jù)進(jìn)行訓(xùn)練，從而更好的擬合人臉表情數(shù)據(jù)，同時(shí)使用上下文感知金字塔模塊，擴(kuò)大網(wǎng)絡(luò)的感受野，增強(qiáng)人臉表情特征表達(dá)，提升網(wǎng)絡(luò)對(duì)人臉表情的識(shí)別率。網(wǎng)絡(luò)的總體結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)

3.1 類(lèi)別注意力

不同類(lèi)別、不同特征具有不同的語(yǔ)義值，因此會(huì)生成不同的特征關(guān)注點(diǎn)。例如對(duì)于人臉表情的識(shí)別分類(lèi)，悲傷的表情圖像與開(kāi)心的表情圖像在面部的嘴角會(huì)有比較大的差異性，使用類(lèi)別注意力機(jī)制形成類(lèi)別的特征映射，有利于網(wǎng)絡(luò)關(guān)注并提取不同類(lèi)別的特征關(guān)注點(diǎn)，更有利于網(wǎng)絡(luò)對(duì)人臉表情的識(shí)別分類(lèi)。本文僅使用VGG16 網(wǎng)絡(luò)最后一個(gè)全連接層進(jìn)行網(wǎng)絡(luò)的分類(lèi)，將VGG16 網(wǎng)絡(luò)的前兩個(gè)全連接層改為兩個(gè)卷積核大小為L(zhǎng)1(xi)的卷積層，如圖3 所示，進(jìn)一步對(duì)人臉表情特征進(jìn)行提取，在加深了網(wǎng)絡(luò)的深度同時(shí)，避免了全連接層過(guò)多導(dǎo)致網(wǎng)絡(luò)參數(shù)量增加的問(wèn)題。

圖3 VGG16卷積層結(jié)構(gòu)

本文將VGG16 網(wǎng)絡(luò)的前兩個(gè)全連接層（FC Layers）改為上下文感知金字塔和卷積層（Convolution Layers）的結(jié)合，用于進(jìn)一步地對(duì)人臉表情特征信息的提取。在卷積層之前，添加上下文感知金字塔模塊，擴(kuò)大由卷積網(wǎng)絡(luò)提取后的特征圖的感受野。如圖2 所示，將一張人臉表情圖像L1(xi)輸入到改進(jìn)后的網(wǎng)絡(luò)中，進(jìn)入基礎(chǔ)卷積層進(jìn)行人臉表情特征的提取，得到特征圖L1(xi)，該特征圖的維度為L(zhǎng)1(xi)，在提取的特征圖進(jìn)入全連接層之前，將其送入更改后的卷積層進(jìn)行進(jìn)一步的特征提取。為了得到類(lèi)別注意特征圖L1(xi)，在卷積層后使用L1(xi)卷積將維度L1(xi)的特征圖轉(zhuǎn)換為維度L1(xi)的特征圖，其中k 為類(lèi)別數(shù)量，得到類(lèi)別特征映射，之后將輸出分為兩個(gè)分支，一個(gè)分支使用L1(xi)卷積進(jìn)行通道的適配，之后再經(jīng)由自適應(yīng)池化后經(jīng)過(guò)softmax 函數(shù)產(chǎn)生概率值，然后送入網(wǎng)絡(luò)中使用交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練得到L1(xi)。另外一個(gè)分支通過(guò)與L2(xi)內(nèi)核進(jìn)行卷積，生成L2(xi)特征圖L2(xi)，將通過(guò)softmax 函數(shù)歸一化的L2(xi)特征圖用作注意機(jī)制的注意特征圖，感知分支（Attention branch）通過(guò)從特征提取器接收注意力和特征圖來(lái)輸出每個(gè)類(lèi)別的最終概率，如式（1）、（2）所示，以殘差的形式先與原始輸入特征相乘，再相加得到新的特征圖L2(xi) ，最后將得到的特征圖通過(guò)分類(lèi)器和softmax 函數(shù)得到概率值，得到類(lèi)別損失函數(shù)L2(xi) 。最后得到總體的損失函數(shù)g'(xi)=M(xi)?g(xi)，更有利于網(wǎng)絡(luò)的訓(xùn)練，提高了網(wǎng)絡(luò)對(duì)人臉表情的識(shí)別分類(lèi)可靠性。網(wǎng)絡(luò)的總體的損失函數(shù)如式（3）所示：

3.2 上下文感知金字塔

圖2 中，上下文感知金字塔特征提取模塊使用多尺度高層次特征映射來(lái)獲得豐富的上下文特征信息。現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)將多個(gè)卷積層疊加起來(lái)，逐步增加接收的感受野生成高級(jí)語(yǔ)義信息，在分類(lèi)任務(wù)中有著至關(guān)重要的作用，然而卷積神經(jīng)網(wǎng)絡(luò)的池化操作，縮小了特征映射的大小，使得提取的特征信息不能夠充分表達(dá)。在VGG16 網(wǎng)絡(luò)中，原始輸入為224×224 的圖片大小，而大的圖像會(huì)增加計(jì)算機(jī)內(nèi)存的負(fù)擔(dān)，但是一味縮減圖像大小會(huì)導(dǎo)致圖像的分辨率降低、網(wǎng)絡(luò)對(duì)圖像的識(shí)別率下降。例如，將112×112 大小的人臉表情圖像送入原始VGG16 網(wǎng)絡(luò)中進(jìn)行特征信息的提取，在經(jīng)過(guò)一系列的卷積與池化操作之后，網(wǎng)絡(luò)提取出的特征圖的大小逐漸減小，在經(jīng)過(guò)VGG16 網(wǎng)絡(luò)的卷積層之后，所輸出的特征圖的大小只有3×3，相對(duì)于原始VGG16 網(wǎng)絡(luò)在224×224 大小的輸入情況下，特征圖的大小縮減了一半，因此會(huì)存在網(wǎng)絡(luò)提取的人臉表情特征不夠全面的情況，導(dǎo)致特征信息不能夠充分的表達(dá)，最后會(huì)使得網(wǎng)絡(luò)的人臉表情識(shí)別率下降。

本文將下文感知金字塔模塊用于網(wǎng)絡(luò)與改進(jìn)后的卷積層疊加，進(jìn)一步的提取人臉表情特征信息。由于該模塊由四個(gè)擴(kuò)張卷積率分別為1，3，5，7 的空洞卷積層組成，因此在層次上形成一種類(lèi)似于金字塔的結(jié)構(gòu)。對(duì)于擴(kuò)張卷積來(lái)說(shuō)，不同的擴(kuò)張卷積率在不增加多余的計(jì)算量的同時(shí)可以擴(kuò)大視覺(jué)寬度，即感受野的大小。在卷積神經(jīng)網(wǎng)絡(luò)中，感受野是一個(gè)矩形區(qū)域，如果卷積核長(zhǎng)寬都相等，則對(duì)應(yīng)感受野就是正方形區(qū)域。輸出特征圖中每個(gè)位置都對(duì)應(yīng)輸入圖像一個(gè)感受野區(qū)域，所有位置的感受野在輸入圖像上以固定步長(zhǎng)進(jìn)行的方式平鋪。在一般的任務(wù)中，要求感受野越大越好，如圖像分類(lèi)中最后卷積層的感受野要大于輸入圖像，網(wǎng)絡(luò)深度越深感受野越大性能越好。在本文使用的上下文感知金字塔模塊中，假設(shè)膨脹率為ds，使用的卷積核大小為3×3，則使用膨脹卷積的感受野大小為3+2×2×（ds-1），對(duì)應(yīng)的感受野增大3×3，7×7，11×11。因此該模塊便于捕獲多尺度的感受野，加強(qiáng)網(wǎng)絡(luò)提取具有更豐富的上下文信息的人臉表情特征，并且經(jīng)過(guò)該模塊后的特征圖，通過(guò)跨通道連接組合來(lái)自不同的空洞卷積層的特征映射和1×1 維度減少特征，獲得具有上下文感知信息的不同比例的特征，特征圖的大小不發(fā)生改變，但是特征圖所攜帶的信息卻得到了加強(qiáng)，所以該模塊有助于來(lái)提取尺度、形狀和位置不變性的特征。上下文感知金字塔模塊的結(jié)構(gòu)如圖4所示。

圖4 上下文感知金字塔模塊

4 數(shù)據(jù)處理

4.1 數(shù)據(jù)集

RAF-DB［19］：人臉表情數(shù)據(jù)集RAF-DB 含有三萬(wàn)張帶有注釋的面部圖像。有七個(gè)基本表情（中性、幸福、驚奇、悲傷、憤怒、厭惡、恐懼）。該數(shù)據(jù)集中的圖片共12271張用于訓(xùn)練，3068張用于測(cè)試。

FERPlus［20］：人臉表情數(shù)據(jù)集FERPlus 共有八個(gè)類(lèi)別，分別為驚訝、恐懼、厭惡、快樂(lè)、悲傷、憤怒、中性、蔑視。實(shí)驗(yàn)中采用投票機(jī)制來(lái)選擇訓(xùn)練集和測(cè)試集和它們的基本表情標(biāo)簽，去掉票數(shù)為1 的噪聲投票，若圖像在某基類(lèi)上得票超過(guò)剩余總票數(shù)的一半，則歸為該基類(lèi)，去除未知類(lèi)和非人臉類(lèi)，得到24586 張訓(xùn)練集圖像、3152 張公有、3083 張私有測(cè)試圖像。本文在共有測(cè)試集上進(jìn)行實(shí)驗(yàn)。

4.2 數(shù)據(jù)增強(qiáng)

為了防止網(wǎng)絡(luò)過(guò)擬合現(xiàn)象的產(chǎn)生，在訓(xùn)練過(guò)程中，對(duì)數(shù)據(jù)進(jìn)行隨機(jī)的翻轉(zhuǎn)、切割、水平或者角度性的旋轉(zhuǎn)，這種方式稱作數(shù)據(jù)增強(qiáng)。對(duì)RAF-DB數(shù)據(jù)集，原人臉表情圖像大小是100×100，實(shí)驗(yàn)中將原100×100 圖像隨機(jī)裁減為90×90，進(jìn)行隨機(jī)鏡像處理，處理后的圖像送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在測(cè)試階段，采用十倍裁減的方式，將圖像在左上角，左下角，右上角，右下角，中心進(jìn)行裁減，使得圖片數(shù)量擴(kuò)大了10 倍，同時(shí)使用鏡像操作，對(duì)處理后的圖片再進(jìn)行測(cè)試，然后對(duì)得到的概率取均值，得到一個(gè)最大的輸出值為對(duì)應(yīng)的表情，這樣降低了分類(lèi)錯(cuò)誤率。對(duì)人臉表情數(shù)據(jù)集FERPLUS，由于圖像的原始大小是48×48，而VGG16網(wǎng)絡(luò)的原始輸入圖像大小224×224，為了保持圖片的分辨率，也為了減少網(wǎng)絡(luò)訓(xùn)練時(shí)，對(duì)計(jì)算機(jī)內(nèi)存的運(yùn)算負(fù)擔(dān)，先將圖片放大到128×128，再將圖片隨機(jī)裁減到112×112，將圖像進(jìn)行隨機(jī)鏡像處理，送入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

5 實(shí)驗(yàn)

5.1 實(shí)驗(yàn)環(huán)境

操作系統(tǒng)：Ubuntu16.04，

GPU：GTX 1080TIi顯卡，128g

CPU：E5-2637 v4，GPU

加速庫(kù)：CUDA9.0

編程語(yǔ)言：Python3.6

深度學(xué)習(xí)框架：PyTorch0.4

5.2 實(shí)驗(yàn)結(jié)果與分析

5.2.1 在RAF-DB數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與分析

由表1得出，原VGG16網(wǎng)絡(luò)在人臉表情數(shù)據(jù)集RAF-DB上的識(shí)別率為81.68%，在相同的參數(shù)設(shè)置與實(shí)驗(yàn)條件下，改進(jìn)后網(wǎng)絡(luò)在人臉表情數(shù)據(jù)集RAF-DB上的識(shí)別率為83.25%，在測(cè)試時(shí)添加了十倍裁減和訓(xùn)練時(shí)加載在ImageNet 上預(yù)訓(xùn)練過(guò)后的網(wǎng)絡(luò)參數(shù)，再進(jìn)行實(shí)驗(yàn)，最終改進(jìn)后網(wǎng)絡(luò)在人臉表情數(shù)據(jù)集的識(shí)別率為86.70%。從表2 與其他方法與在該數(shù)據(jù)集上的識(shí)別率的對(duì)比得出，改進(jìn)后網(wǎng)絡(luò)在該數(shù)據(jù)仍有較高的人臉表情識(shí)別率。

表1 VGG16網(wǎng)絡(luò)與改進(jìn)后網(wǎng)絡(luò)人臉表情識(shí)別率對(duì)比

表2 改進(jìn)VGG16網(wǎng)絡(luò)與其它網(wǎng)絡(luò)的人臉表情識(shí)別率對(duì)比

表3 VGG16網(wǎng)絡(luò)與改進(jìn)后網(wǎng)絡(luò)人臉表情識(shí)別率對(duì)比

本文在人臉表情數(shù)據(jù)集RAF-DB 上的實(shí)驗(yàn)的混淆矩陣圖如圖5、6所示。

圖5 VGG16在RAF_DB上的混淆矩陣

圖6 改進(jìn)后網(wǎng)絡(luò)在RAF_DB上的混淆矩陣

5.2.2 在FERPLUS數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與分析

由表4 得出，在相同的參數(shù)設(shè)置下，原VGG16網(wǎng)絡(luò)在人臉表情數(shù)據(jù)FERPLIUS 上的識(shí)別率是87.28%，改進(jìn)后網(wǎng)絡(luò)在該數(shù)據(jù)集上的識(shí)別率為88.26%，在測(cè)試時(shí)添加了十倍裁減和訓(xùn)練時(shí)加載在ImageNet 上預(yù)訓(xùn)練過(guò)后的網(wǎng)絡(luò)參數(shù)，再進(jìn)行實(shí)驗(yàn)，最終改進(jìn)后網(wǎng)絡(luò)在人臉表情數(shù)據(jù)集的識(shí)別率為89.63%，比原網(wǎng)絡(luò)提升了2.4%。由表4與現(xiàn)有方法對(duì)該數(shù)據(jù)集的識(shí)別率的對(duì)比得出，改進(jìn)后網(wǎng)絡(luò)仍有較高的識(shí)別率。本文在人臉表情數(shù)據(jù)集FERPLUS上的實(shí)驗(yàn)的混淆矩陣圖如圖7、8所示。

表4 改進(jìn)VGG16網(wǎng)絡(luò)與其它網(wǎng)絡(luò)的人臉表情識(shí)別率對(duì)比

圖7 VGG16在FERPLUS上的混淆矩陣

圖8 本文網(wǎng)絡(luò)在FERPLUS上的混淆矩陣

6 結(jié)語(yǔ)

本文將類(lèi)別注意力引入VGG16 網(wǎng)絡(luò)，產(chǎn)生類(lèi)別注意力損失函數(shù)，將該損失函數(shù)與交叉熵?fù)p失函數(shù)一起作為網(wǎng)絡(luò)訓(xùn)練時(shí)的損失函數(shù)，同時(shí)使用上下文感知金字塔模塊擴(kuò)大網(wǎng)絡(luò)提取的特征的感受野，在不改變網(wǎng)絡(luò)結(jié)構(gòu)的情況下、沒(méi)有增加網(wǎng)絡(luò)的復(fù)雜性的同時(shí)，提高了網(wǎng)絡(luò)在人臉表情數(shù)據(jù)集RAF-DB和FERPLUS 上的識(shí)別率，在這兩個(gè)數(shù)據(jù)集上的識(shí)別率分別達(dá)到了86.70%和89.63%。實(shí)驗(yàn)結(jié)果表明，對(duì)比VGG16 網(wǎng)絡(luò)，改進(jìn)后的網(wǎng)絡(luò)在一定程度上提升了對(duì)人臉表情的識(shí)別效果。