基于深度可分卷積神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)人臉表情和性別分類

劉尚旺，劉承偉，張愛(ài)麗

（河南師范大學(xué)計(jì)算機(jī)與信息工程學(xué)院，河南新鄉(xiāng)453007）

（?通信作者電子郵箱shwl2012@Hotmail.com）

0 引言

隨著感知技術(shù)的發(fā)展，人體特征檢測(cè)和識(shí)別成為研究熱點(diǎn)。而人的面部特征是交流的關(guān)鍵因素，能夠表現(xiàn)豐富的情感信息和性別特點(diǎn)，利用圖像處理技術(shù)和深度學(xué)習(xí)對(duì)人臉表情和性別識(shí)別在智慧教育、公共安全監(jiān)控、遠(yuǎn)程醫(yī)療中有著重要的作用。而目前的實(shí)際運(yùn)用中，大多數(shù)模型難以處理背景復(fù)雜、有遮擋的多角度人臉圖像，如Jeon 等［1］使用方向梯度直方圖（Histogram of Oriented Gradients，HOG）特征來(lái)檢測(cè)人臉以減少光照不均勻?qū)Ρ砬樽R(shí)別的影響，利用SVM在FER-2013數(shù)據(jù)集上實(shí)現(xiàn)了70.7%的表情識(shí)別率；但該方法抗干擾能力弱，適應(yīng)性差。張延良等［2］提出通過(guò)面部關(guān)鍵點(diǎn)坐標(biāo)將與微表情相關(guān)的七個(gè)局部區(qū)域串聯(lián)構(gòu)成特征向量來(lái)進(jìn)行微表情識(shí)別，但存在局部區(qū)域微表情識(shí)別率低的缺點(diǎn)。羅珍珍等［3］等利用條件隨機(jī)森林和支持向量機(jī)（Support Vector Machine，SVM）算法來(lái)檢測(cè)人臉微笑情緒特征。戴逸翔等［4］利用智能穿戴設(shè)備來(lái)獲取腦電、脈搏和血壓三類生物信息，利用稀疏自編碼方法對(duì)多模態(tài)情緒進(jìn)行分析與識(shí)別，因?yàn)樾枰o每一位測(cè)試者佩戴設(shè)備，這無(wú)疑存在著成本過(guò)高不能大規(guī)模使用的局限性。

目前，有效解決自然場(chǎng)景下的圖像分類和物體檢測(cè)等圖像相關(guān)任務(wù)的方法主要有傳統(tǒng)機(jī)器學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的方法。傳統(tǒng)機(jī)器學(xué)習(xí)的方法一般采用手工設(shè)計(jì)特征，并利用分類器算法進(jìn)行表情判定。典型的表情特征提取方法有主元分析（Principal Component Analysis，PCA）法［5］、局部二值模式（Local Binary Pattern，LBP）［6］、Gabor 小波變換［7］、尺度不變的特征變換（Scale Invariant Feature Transform，SIFT）［8］等，常用的分類方法主要有隱馬爾可夫模型（Hidden Markov Model，HMM）［9］、K 最近鄰（K-Nearest Neighbor，KNN）算法［10］等。

相比傳統(tǒng)機(jī)器學(xué)習(xí)，深度神經(jīng)網(wǎng)絡(luò)能夠自主學(xué)習(xí)特征，減少了人為設(shè)計(jì)特征造成的不完備性。Tang［11］提出將CNN 與SVM 相結(jié)合，并且放棄了全連接CNN 所使用的交叉熵?fù)p失最小化方法，而使用標(biāo)準(zhǔn)的鉸鏈損失來(lái)最小化基于邊界的損失，在其測(cè)試集上實(shí)現(xiàn)了71.2%的識(shí)別率。MobileNet-V2［12］中采用了多尺度核卷積單元主要以深度可分離卷積為基礎(chǔ)，分支中采用了的線性瓶頸層結(jié)構(gòu)，對(duì)表情進(jìn)行了分類獲得了70.8%的識(shí)別率。Li 等［13］提出了一種新的保持深度局域的CNN 方法，旨在通過(guò)保持局部緊密度的同時(shí)最大化類間差距來(lái)增強(qiáng)表情類別間的辨別力。Kample 等［14］通過(guò)構(gòu)建級(jí)聯(lián)CNN 來(lái)提高表情識(shí)別的精度。徐琳琳等［15］針對(duì)網(wǎng)絡(luò)訓(xùn)練時(shí)間過(guò)長(zhǎng)等問(wèn)題，提出一種基于并行卷積神經(jīng)網(wǎng)絡(luò)的表情識(shí)別方法，獲得了65.6%的準(zhǔn)確率。CNN 常被用作黑盒子，它將學(xué)習(xí)到的特征隱藏，使得在分類的準(zhǔn)確性和不必要的參數(shù)數(shù)量之間難以抉擇。為此Szegedy 等［16］提出利用導(dǎo)向梯度反向傳播的實(shí)時(shí)可視化，來(lái)驗(yàn)證CNN學(xué)習(xí)的特征。

對(duì)FER-2013數(shù)據(jù)集上的“憤怒”“厭惡”“恐懼”“快樂(lè)”“悲傷”“驚訝”和“中性”等表情進(jìn)行識(shí)別［16］，是非常困難的（見(jiàn)圖1），需要表情分析和性別識(shí)別模型具有較強(qiáng)的魯棒性和較高的計(jì)算效率。

圖1 FER-2013情感數(shù)據(jù)集的樣本Fig. 1 Samples in FER-2013 emotion dataset

圖2 IMDB數(shù)據(jù)集的樣本Fig. 2 Samples in IMDB dataset

1 本文方法

完整的實(shí)時(shí)表情和性別識(shí)別模型包括三個(gè)流程:人臉的檢測(cè)與定位、特征提取和分類。針對(duì)實(shí)際應(yīng)用對(duì)于人臉檢測(cè)的準(zhǔn)確度高和響應(yīng)速度快的需求，使用MTCNN（Multi-Task CNN）網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行人臉檢測(cè)，利用KCF（Kernelized Correlation Fiter）跟蹤器進(jìn)行人臉的定位跟蹤，將人臉圖像歸一化輸入深度可分卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。最后，將表情識(shí)別和性別識(shí)別兩個(gè)網(wǎng)絡(luò)并聯(lián)融合。圖3 是實(shí)時(shí)人臉表情和性別識(shí)別模型的總體框架。

圖3 人臉表情和性別識(shí)別框架Fig. 3 Facial expression and gender recognition framework

1.1 多尺度人臉檢測(cè)與跟蹤

MTCNN 算法使用圖像金字塔，可適應(yīng)不同尺度的人臉圖像，網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。該算法由快速生成候選窗口的P-Net（Proposal Netwaork）、進(jìn)行高精度候選窗口過(guò)濾選擇的R-Net（Refine Network）和生成最終邊界框與人臉檢測(cè)點(diǎn)的O-Net（Output Network）三層網(wǎng)絡(luò)級(jí)聯(lián)組成。通過(guò)人臉關(guān)鍵點(diǎn)來(lái)對(duì)齊不同角度的人臉，網(wǎng)絡(luò)由粗到細(xì)，使用降低卷積核數(shù)量和大小、增加網(wǎng)絡(luò)深度和候選框加分類的方式，進(jìn)行快速高效的人臉檢測(cè)。

加入KCF 跟蹤算法不僅能夠解決實(shí)際運(yùn)用中人臉圖像角度多、有遮擋的檢測(cè)問(wèn)題，還能提高人臉檢測(cè)速度。該算法使用目標(biāo)周圍區(qū)域的循環(huán)矩陣采集正負(fù)樣本，利用脊回歸訓(xùn)練目標(biāo)檢測(cè)器，并通過(guò)循環(huán)矩陣在傅里葉空間可對(duì)角化的性質(zhì)將矩陣的運(yùn)算轉(zhuǎn)化為向量的Hadamad積，即元素的點(diǎn)乘，降低了運(yùn)算量。先使用MTCNN算法對(duì)人臉進(jìn)行檢測(cè)，將檢測(cè)的人臉坐標(biāo)信息傳遞給跟蹤算法KCF 中，以此作為人臉檢測(cè)基礎(chǔ)樣本框，并采用檢測(cè)1幀、跟蹤5幀的跟蹤策略，最后更新檢測(cè)人臉的幀，進(jìn)行MTCNN模型更新，防止跟蹤丟失。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)是一個(gè)多層感知機(jī)［17］，包含眾多神經(jīng)元，由輸入層、隱含層和輸出層組成，輸入層是將每個(gè)像素代表一個(gè)特征節(jié)點(diǎn)輸入進(jìn)來(lái)，隱含層的卷積層和池化層是對(duì)圖像進(jìn)行特征提取的核心，在圖像的卷積操作中，每個(gè)神經(jīng)元內(nèi)部把前一層輸入的圖像矩陣與多個(gè)大小不同的卷積核進(jìn)行卷積求和，后跟一個(gè)加性偏置。將加性偏置和乘性偏置作為激活函數(shù)的參數(shù)求解，經(jīng)過(guò)線性整流函數(shù)（Rectified Linear Unit，ReLU）激活函數(shù)后輸出新值，從而構(gòu)成新的特征圖像。卷積層每個(gè)神經(jīng)元的輸出為:

為了跟本文設(shè)計(jì)深度可分卷積神經(jīng)網(wǎng)絡(luò)作對(duì)比，構(gòu)建和使用Bergstra等［18］提出的一個(gè)標(biāo)準(zhǔn)的全連接卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)由9 個(gè)卷積層、線性整流函數(shù)ReLU、批量標(biāo)準(zhǔn)化和最大池化層組成。該模型包含大約600 000 個(gè)參數(shù)。在FER-2013 數(shù)據(jù)集中驗(yàn)證了此模型，實(shí)現(xiàn)了66%的表情識(shí)別準(zhǔn)確度。

圖4 MTCNN網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 Network structure of MTCNN

1.3 深度可分卷積神經(jīng)網(wǎng)絡(luò)

由圖5 可知，該卷積神經(jīng)網(wǎng)絡(luò)主要由6 個(gè)卷積層和3 個(gè)最大池化層構(gòu)成，每一個(gè)卷積層進(jìn)行卷積操作后進(jìn)行一個(gè)same填充，當(dāng)卷積核移動(dòng)步長(zhǎng)為1 時(shí)，圖像尺寸不變，同時(shí)為了固定網(wǎng)絡(luò)層中輸入的均值和方差并避免梯度消失問(wèn)題，將每層神經(jīng)網(wǎng)絡(luò)任意神經(jīng)元的輸入值的分布拉回到均值為0、方差為1 的比較標(biāo)準(zhǔn)的正態(tài)分布，使用批規(guī)范化方法，在每一層加上一個(gè)批規(guī)范化（Batch Normalization，BN）操作，并用ReLU函數(shù)激活，后面連接3 個(gè)全連接層和1 個(gè)輸出層的Softmax 函數(shù)，在全連接層之后使用一個(gè)Dropout 的方法，在訓(xùn)練中隨機(jī)丟棄神經(jīng)元防止過(guò)度訓(xùn)練。本文設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示，其中c為卷積核的大小，n為卷積核的數(shù)量，s為卷積步長(zhǎng)，p 為池化窗口的大小，same 表示使用same 的填充方式，ReLU為激活函數(shù)，Sep-Conv為深度可分卷積。

該網(wǎng)絡(luò)結(jié)構(gòu)由以下部分組成:

1）經(jīng)過(guò)預(yù)處理之后得到的64 × 64 像素的學(xué)生頭部圖片作為輸入層。

2）c1 層使用64 個(gè)大小為11× 11 的卷積核對(duì)圖像進(jìn)行卷積操作，即每個(gè)神經(jīng)元具有一個(gè)11× 11 的感受野，步長(zhǎng)為4，使用same的填充方式，激勵(lì)函數(shù)為ReLU。

3）s1 層采用了128 個(gè)3× 3 大小的池化窗口對(duì)圖像進(jìn)行降維，池化方式為最大池化，步長(zhǎng)為2。

4）c2層采用了192個(gè)大小為5× 5的卷積核，步長(zhǎng)為1。

5）s2 層采用了192 個(gè)大小為3× 3 的池化窗口，池化方式為最大池化，步長(zhǎng)為2。

6）c3層使用256個(gè)3× 3的卷積核，步長(zhǎng)為1。

7）c4使用了256個(gè)大小為3× 3的卷積核，步長(zhǎng)為1。

8）c5使用256個(gè)大小為3× 3的卷積核，步長(zhǎng)為1。

9）c6使用深度可分離卷積塊。

10）s3 采用大小為3× 3 的池化窗口進(jìn)行池化，池化方式為最大池化，步長(zhǎng)為2。

11）使用4 096 個(gè)神經(jīng)元對(duì)256 個(gè)6 × 6 的特征圖進(jìn)行全連接，再進(jìn)行一個(gè)dropout 隨機(jī)從4 096 個(gè)節(jié)點(diǎn)中丟掉一些節(jié)點(diǎn)信息，得到新的4 096個(gè)神經(jīng)元。

該網(wǎng)絡(luò)包含4 個(gè)剩余深度可分離卷積，其中每個(gè)卷積后面是批量歸一化操作和ReLU 激活函數(shù)。最后一層應(yīng)用Softmax 函數(shù)產(chǎn)生預(yù)測(cè)。圖5 顯示了完整的最終網(wǎng)絡(luò)架構(gòu)，將其稱為迷你Xception。該架構(gòu)在性別分類任務(wù)中獲得95%的準(zhǔn)確度。此外，在FER-2013數(shù)據(jù)集中情感分類任務(wù)中獲得了73.8%的準(zhǔn)確度。最終模型的權(quán)重可以存儲(chǔ)在855 KB 的文件中。通過(guò)降低模型的計(jì)算成本使其具有實(shí)時(shí)性，并且能夠連接兩個(gè)模型并在同一圖像中使用。

圖5 深度可分卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)Fig. 5 Deepwise separable convolution neural network structure

1.4 深度可分離卷積單元

本文模型受到Xception［19］架構(gòu)的啟發(fā)，結(jié)合了殘差模塊［20］和深度可分離卷積［21］的使用。殘差模塊修改兩個(gè)后續(xù)圖層之間所需的映射，以便學(xué)習(xí)的特征成為原始特征圖和所需特征的差值。通過(guò)“捷徑鏈接”的方式，直接將輸入的x 傳輸?shù)街虚g，將該中間結(jié)果作為初始結(jié)果H（x），為了使網(wǎng)絡(luò)的參數(shù)更容易學(xué)習(xí)，將網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)從完整殘差塊的輸出F（x）改成新的目標(biāo)值H（x）和x 的差值。因此，后層網(wǎng)絡(luò)訓(xùn)練的目標(biāo)是將輸出結(jié)果逼近于0，使隨著網(wǎng)絡(luò)加深，預(yù)測(cè)準(zhǔn)確率不下降，修改的期望函數(shù)H（x）見(jiàn)式（2）:

深度可分離卷積由兩個(gè)不同的層組成:深度方向卷積和點(diǎn)方向卷積。將傳統(tǒng)的卷積分為兩步:第一步，在每個(gè)M輸入通道上應(yīng)用一個(gè)D × D 濾波器，然后應(yīng)用N 個(gè)1× 1× M 卷積濾波器將M 個(gè)輸入通道組合成N 個(gè)輸出通道；第二步，應(yīng)用1×1×N 卷積將特征圖中的每個(gè)值結(jié)合起來(lái)。Xception 結(jié)構(gòu)增加了每一層網(wǎng)絡(luò)的寬度和深度，同時(shí)也大大減少了網(wǎng)絡(luò)的參數(shù)。深度可分卷積將標(biāo)準(zhǔn)卷積的計(jì)算量減少至1 N + 1 D2。

當(dāng)輸入一個(gè)2維的數(shù)據(jù)，對(duì)于一個(gè)卷積核大小為3×3的卷積過(guò)程，正常卷積的參數(shù)量為2 × 3× 3× 3= 54，深度可分卷積的參數(shù)量為2 × 3× 3+ 2 × 1× 1× 3= 24，可以看到，參數(shù)量為正常卷積的一半。加入該架構(gòu)后模型大約有60 000 參數(shù)，是原始CNN的1/80。

正常卷積層和深度可分離卷積之間的差異如圖6所示。

圖6 不同卷積之間的差異Fig. 6 Difference between different convolutions

2 網(wǎng)絡(luò)的訓(xùn)練

2.1 數(shù)據(jù)預(yù)處理

本文在訓(xùn)練數(shù)據(jù)集之前，先對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理。即，將圖像數(shù)據(jù)歸一化到64 × 64像素的圖像；接著把歸一化后的圖像通過(guò)平移、翻轉(zhuǎn)、灰度等方法進(jìn)行數(shù)據(jù)擴(kuò)充，在訓(xùn)練過(guò)程中以避免過(guò)擬合并提升泛化能力。另外，亦使用Dropout方法來(lái)避免過(guò)擬合。

2.2 引導(dǎo)反向傳播可視化

卷積神經(jīng)網(wǎng)絡(luò)模型會(huì)因?yàn)橛?xùn)練數(shù)據(jù)的偏向性出現(xiàn)偏差，在數(shù)據(jù)集FER-2013中，主要針對(duì)表情分類訓(xùn)練的模型偏向于西方人的面部特征。此外，佩戴眼鏡也可能干擾所學(xué)習(xí)的特征，從而影響表情分類。那么當(dāng)模型出現(xiàn)偏差時(shí)，使用實(shí)時(shí)引導(dǎo)的可視化技術(shù)（如引導(dǎo)反向傳播）就變得很重要。以觀察圖像中的哪些像素激活更高級(jí)別特征圖的元素。對(duì)于只將ReLU作為中間層的激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)，引導(dǎo)反向傳播是輸入圖像中的元素（x，y）對(duì)卷積神經(jīng)網(wǎng)絡(luò)中位于L 層的特征圖fL中元素（i，j）的求導(dǎo)過(guò)程。當(dāng)輸入圖像到某一層時(shí)，設(shè)置這層中想要可視化的神經(jīng)元梯度為1，其他神經(jīng)元的梯度設(shè)置為0，然后經(jīng)過(guò)對(duì)池化層、ReLU 層、卷積層的反向傳播操作，得到輸入空間的一張圖像。因?yàn)镽eLU函數(shù)的導(dǎo)數(shù)為:

所以引導(dǎo)反向傳播后重構(gòu)的圖像R 濾除了所有負(fù)梯度的值。因此，選擇剩余的梯度，使得它們僅增加特征圖的所選元素的值。層L中的ReLU激活的CNN重建圖像由式（4）給出:

在FER-2013 數(shù)據(jù)集中分別提取本文的網(wǎng)絡(luò)和全連接卷積神經(jīng)網(wǎng)絡(luò)最終卷積層中的高維特征進(jìn)行顯示，結(jié)果如圖7所示。通過(guò)對(duì)比兩者高維可視化的特征顯示，本文提出的具有Xception 結(jié)構(gòu)的網(wǎng)絡(luò)學(xué)習(xí)到的人臉特征具有更加清晰的輪廓和更少的顆粒感。

圖7 兩種卷積神經(jīng)網(wǎng)絡(luò)在FER-2013數(shù)據(jù)集上的可視化效果比較Fig. 7 Visualization comparison between two convolutional neural networks on FER-2013 dataset

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

人臉表情分類實(shí)驗(yàn)在FER-2013 數(shù)據(jù)庫(kù)、CK+數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，性別分類實(shí)驗(yàn)在IMDB 數(shù)據(jù)庫(kù)上進(jìn)行訓(xùn)練和測(cè)試。

FER-2013 數(shù)據(jù)集包含35 887 張像素為48×48 的灰度圖，它已被挑戰(zhàn)賽舉辦方分為了三部分:訓(xùn)練集28 709張、公共測(cè)試集3 589 張和私有測(cè)試集3 589 張。其中包含有7 種表情:憤怒、厭惡、恐懼、開(kāi)心、難過(guò)、驚訝和中性。CK+面部表情數(shù)據(jù)集由123個(gè)個(gè)體和593個(gè)圖像序列組成，每個(gè)圖像序列的最后一個(gè)圖像序列都有動(dòng)作單元標(biāo)簽，327 個(gè)圖像序列都有表情標(biāo)簽，被標(biāo)記為7 種表情標(biāo)簽:憤怒、蔑視、厭惡、恐懼、喜悅、悲傷和驚訝。IMDB 性別數(shù)據(jù)集包含460 723 個(gè)RGB 圖像，其中每個(gè)圖像被標(biāo)注屬于“女性”或“男性”類。

3.2 參數(shù)的訓(xùn)練

本文利用上述數(shù)據(jù)集在深度可分卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行訓(xùn)練，神經(jīng)元一開(kāi)始是隨機(jī)而獨(dú)特的，因此它們計(jì)算不同的更新，并將自己整合到網(wǎng)絡(luò)的不同部分。將參數(shù)按高斯分布或者均勻分布初始化成一個(gè)絕對(duì)值較小的數(shù)［20］。絕對(duì)值過(guò)小，容易產(chǎn)生梯度消失問(wèn)題；絕對(duì)值過(guò)大，則容易產(chǎn)生梯度爆炸問(wèn)題。在使用正態(tài)分布初始化參數(shù)時(shí)，參數(shù)量n 越大，方差越大，越可能產(chǎn)生訓(xùn)練速度慢或梯度消失問(wèn)題。所以可以通過(guò)權(quán)重矩陣算法來(lái)降低初始化參數(shù)方差，進(jìn)而提高訓(xùn)練速度，預(yù)防梯度消失［21］。

其中:randn樣本為單位標(biāo)準(zhǔn)高斯分布，均值為0。通過(guò)式（5），將每個(gè)神經(jīng)元的權(quán)向量初始化為多維高斯分布中采樣的隨機(jī)向量，使得神經(jīng)元在輸入空間中指向隨機(jī)方向。在訓(xùn)練過(guò)程中隨機(jī)初始化權(quán)重和偏置，批量大小設(shè)置為120，初始學(xué)習(xí)率設(shè)置為0.01，本文使用了適應(yīng)性矩估計(jì)（Adaptive moment estimation，Adam）算法來(lái)最小化損失函數(shù)，實(shí)現(xiàn)學(xué)習(xí)率的自適應(yīng)調(diào)整，從而保證準(zhǔn)確率的同時(shí)加快收斂。通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)權(quán)重和偏置的調(diào)整，并且使用了訓(xùn)練自動(dòng)停止策略，當(dāng)模型的在驗(yàn)證集和訓(xùn)練集上的預(yù)測(cè)能力提升，而在訓(xùn)練集的誤差值先減小再增大，這時(shí)出現(xiàn)過(guò)擬合現(xiàn)象，訓(xùn)練停止。圖8分別給出了FER-2013 和CK+數(shù)據(jù)集訓(xùn)練過(guò)程中識(shí)別率的變化情況。由圖8 可以看出迭代至105次后，訓(xùn)練的準(zhǔn)確率達(dá)到很高的位置且基本保持穩(wěn)定，說(shuō)明最后的模型已經(jīng)得到充分收斂，訓(xùn)練停止保存模型。

圖8 兩種數(shù)據(jù)集上識(shí)別率變化Fig. 8 Change of recognition rate on two datasets

3.3 表情分類實(shí)驗(yàn)

人臉表情和性別識(shí)別框架中，首先加載已訓(xùn)練好的表情和性別分類模型以及相關(guān)配置文件，而針對(duì)待檢測(cè)人臉圖像，抓一幀圖，找到表情和性別坐標(biāo)信息，將其像素大小調(diào)整為64 × 64。然后，人臉圖像經(jīng)網(wǎng)絡(luò)模型向前計(jì)算，與訓(xùn)練好的模型中的權(quán)重進(jìn)行比較，得到預(yù)測(cè)的每一個(gè)情感和性別分類標(biāo)簽的得分值，最大值即預(yù)測(cè)結(jié)果。面部表情和性別分析視覺(jué)結(jié)果如圖9所示。

圖9 面部表情識(shí)別結(jié)果示例Fig. 9 Facial expression recognition result example

實(shí)驗(yàn)結(jié)果為3 次測(cè)驗(yàn)的平均值。為了比較方便，在該測(cè)試集中種表情的識(shí)別準(zhǔn)確度結(jié)果按照混淆矩陣圖表示，如表1所示。

表1 FER-2013數(shù)據(jù)集上的情感識(shí)別混淆矩陣Tab. 1 Confusion matrix of expression recognition on FER-2013 dataset

從表1 可知，本文方法對(duì)快樂(lè)表情識(shí)別率為87%，主要是因?yàn)榫W(wǎng)絡(luò)在特征提取時(shí)，快樂(lè)表情的面部特征較其他表情更加明顯，在Softmax 函數(shù)分類的過(guò)程中產(chǎn)生概率也越大。驚訝和中性表情識(shí)別率分別為77%和76%；而對(duì)憤怒和恐懼的表情識(shí)別率較低分別為65%和67%，容易出現(xiàn)錯(cuò)誤的識(shí)別，如圖10 所示。其原因是在面部特征提取和學(xué)習(xí)的過(guò)程中，兩種表情的面部動(dòng)作幅度都比較大，可能產(chǎn)生相似的面部特征，在Softmax函數(shù)分類時(shí)產(chǎn)生大小接近的概率值。

圖10 易錯(cuò)誤識(shí)別的表情對(duì)比Fig. 10 Comparison between easily misidentified expressions

在CK+數(shù)據(jù)集上的實(shí)驗(yàn)采用了遷移學(xué)習(xí)的方法，將模型在FER-2013上訓(xùn)練得到的權(quán)重參數(shù)作為預(yù)訓(xùn)練結(jié)果，然后在CK+上進(jìn)行微調(diào)，并采用三折交叉驗(yàn)證對(duì)模型性能進(jìn)行評(píng)估。本文方法在CK+數(shù)據(jù)集上取得了96%的平均識(shí)別率，情感識(shí)別結(jié)果見(jiàn)表2。

表2 CK+數(shù)據(jù)集上的情感識(shí)別混淆矩陣Tab. 2 Confusion matrix of emotion recognition on CK+dataset

各方法在FER-2013 數(shù)據(jù)集上的識(shí)別率結(jié)果如表3 所示。

表3 各方法在FER-2013數(shù)據(jù)集上的識(shí)別率對(duì)比Tab. 3 Comparison of recognition rate among different methods on FER-2013 dataset

3.4 時(shí)間復(fù)雜度實(shí)驗(yàn)

實(shí)驗(yàn)環(huán)境為:64 位Windows 10 操作系統(tǒng)，CPU 為Inter i5 7300HQ，主頻2.5 GHz，顯卡型號(hào)為NVIDIA GTX 1050ti，顯存為4 GB，使用基于Tensorflow 的深度學(xué)習(xí)平臺(tái)。針對(duì)整體模型的實(shí)時(shí)性進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明，通過(guò)引用深度可分卷積的輕量化網(wǎng)絡(luò)結(jié)構(gòu)，組合OpenCV 人臉檢測(cè)模塊，表情分類模塊和性別分類模型處理單幀人臉圖像的時(shí)間為（0.22±0.05）ms，整體處理速度達(dá)到80 frame/s；與文獻(xiàn)［11］所提架構(gòu)的處理速度0.33 ms/frame 相比，相當(dāng)于1.5倍的加速，能夠確保實(shí)時(shí)識(shí)別效果。

4 結(jié)語(yǔ)

針對(duì)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程復(fù)雜、耗時(shí)過(guò)長(zhǎng)、實(shí)時(shí)性差等問(wèn)題，本文提出了一種基于深度可分卷積神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)表情識(shí)別和性別識(shí)別方法。利用MTCNN 加上KCF 的方法進(jìn)行人臉的檢測(cè)、跟蹤。通過(guò)引入深度可分離卷積輕量化網(wǎng)絡(luò)結(jié)構(gòu)，減少模型參數(shù)數(shù)量，將參數(shù)數(shù)量同全連接CNN 相比，僅占其1/80；使用反卷積方法可視化呈現(xiàn)了CNN 模型中學(xué)習(xí)到的高級(jí)特征。最后，模型在FER-2013數(shù)據(jù)集上對(duì)人臉表情的識(shí)別達(dá)到了73.8%的高識(shí)別率，在CK+數(shù)據(jù)集上微調(diào)獲得96%的準(zhǔn)確率，在IMDB 數(shù)據(jù)集上取得96%的識(shí)別率。處理單幀人臉圖像的時(shí)間為（0.22±0.05）ms，整體處理速度達(dá)到80 frame/s。實(shí)驗(yàn)結(jié)果表明，本文模型可以堆疊用于多類分類，同時(shí)保持實(shí)時(shí)預(yù)測(cè)；可在單個(gè)集成模塊中執(zhí)行面部檢測(cè)，進(jìn)行性別分類和情感分類。后續(xù)工作將增加情感識(shí)別類型，擴(kuò)充表情數(shù)據(jù)庫(kù)，在真實(shí)場(chǎng)景下的數(shù)據(jù)集上進(jìn)行訓(xùn)練，進(jìn)一步提高識(shí)別準(zhǔn)確率。