改進(jìn)的EM-Xception人臉情緒識(shí)別研究

南京郵電大學(xué) 尚宇成 林發(fā)學(xué) 陳格恩

現(xiàn)今人類表達(dá)情感的方式極為豐富，包括面部表情、語(yǔ)氣語(yǔ)調(diào)、甚至網(wǎng)上聊天的一個(gè)標(biāo)點(diǎn)符號(hào)都是情感的體現(xiàn)，但是，面部表情是人類表達(dá)情緒最直接、最有效的方式。即使身在異地的二人，視頻通話的方式也可將二人情感表達(dá)地淋漓盡致。深度學(xué)習(xí)實(shí)現(xiàn)人臉情緒識(shí)別一直是研究的熱點(diǎn)方向之一，人臉情緒識(shí)別也可以廣泛的應(yīng)用于教育、輔助治療、人機(jī)交互等領(lǐng)域。

本文的目的是在已有的CNN主流框架Xception模型的基礎(chǔ)上進(jìn)行改進(jìn)，使得模型在減少訓(xùn)練參數(shù)的同時(shí)可以快速準(zhǔn)確地識(shí)別人臉情緒。再結(jié)合Opencv中的人臉檢測(cè)分類器，實(shí)現(xiàn)對(duì)視頻中的人臉提取，完成人臉情緒識(shí)別的實(shí)時(shí)情緒檢測(cè)系統(tǒng)。

1 技術(shù)

1.1 Xception網(wǎng)絡(luò)

Xception是卷積神經(jīng)網(wǎng)絡(luò)的主流框架之一，包括36個(gè)卷積層14個(gè)模塊，使用深度可分離卷積來(lái)替換Inception V3中卷積模塊，且加入Residual learning的結(jié)構(gòu)，除了第一以及最后一個(gè)模塊，中間模塊都有殘差連接。Xception網(wǎng)絡(luò)與Inception網(wǎng)絡(luò)極為相似，但仍略有不同。前者首先執(zhí)行通道空間卷積操作，每一次卷積操作之后加入批歸一化和激活函數(shù)RELU。中間的模塊采用殘差直連結(jié)構(gòu)，可以減少網(wǎng)絡(luò)復(fù)雜性，在數(shù)據(jù)量很大的圖像分類數(shù)據(jù)集上，訓(xùn)練效果顯著優(yōu)于Inception V3。

1.2 Opencv

Opencv是開源的跨平臺(tái)計(jì)算機(jī)視覺庫(kù)，是研究計(jì)算機(jī)視覺的有力工具。本文基于Windows平臺(tái)，使用Python語(yǔ)言進(jìn)行代碼編寫，Opencv主要用于視頻實(shí)時(shí)讀取和人臉檢測(cè)。在Pycharm中安裝Opencv-Python來(lái)調(diào)用。視頻讀取用到了Opencv中的VideoCapture類，其可以實(shí)現(xiàn)讀取本地視頻和讀取攝像頭視頻。關(guān)于人臉檢測(cè)，本系統(tǒng)用到的是基于級(jí)聯(lián)的人臉檢測(cè)方法，運(yùn)行速度較快。

2 整體設(shè)計(jì)

2.1 系統(tǒng)整體框圖

基于改進(jìn)的人臉情緒識(shí)別系統(tǒng)結(jié)構(gòu)框圖如圖1所示，包括視頻數(shù)據(jù)采集、識(shí)別人臉圖像、人臉表情預(yù)測(cè)、結(jié)果顯示四部分。計(jì)算機(jī)通過攝像頭進(jìn)行數(shù)據(jù)采集，并通過Opencv檢測(cè)人臉。將截取到的人臉圖像送入模型預(yù)測(cè)，并將預(yù)測(cè)結(jié)果實(shí)時(shí)顯示在UI界面。

圖1 情緒識(shí)別系統(tǒng)框圖

2.2 改進(jìn)后的EM-Xception模型

Xception網(wǎng)絡(luò)中有超過2285萬(wàn)個(gè)參數(shù)，而FER2013數(shù)據(jù)集較為簡(jiǎn)單，在如此復(fù)雜的網(wǎng)絡(luò)中訓(xùn)練模型有過擬合的風(fēng)險(xiǎn)且對(duì)于本實(shí)驗(yàn)環(huán)境而言過度消耗計(jì)算資源。因此，為了增強(qiáng)模型的泛化能力以及預(yù)測(cè)的準(zhǔn)確性，本文在Xception的基礎(chǔ)上改進(jìn)得到EM-Xception網(wǎng)絡(luò)，減少原網(wǎng)絡(luò)中的殘差模塊數(shù)量，并將殘差模塊中的激活函數(shù)RELU替換為ELU，其與RELU函數(shù)相比，同樣能夠解決梯度消失問題。不同處在于ELU中含有負(fù)值，可以達(dá)到批標(biāo)準(zhǔn)化的效果，減少計(jì)算量，且不存在神經(jīng)元“壞死”的現(xiàn)象。ELU函數(shù)如圖2所示。

圖2 ELU激活函數(shù)

圖3 EM-Xception網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4 準(zhǔn)確率及損失

本文的EM-Xception網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，包含8個(gè)深度可分離卷積以及3個(gè)普通卷積，改進(jìn)后的模型總參數(shù)為50263個(gè)，而訓(xùn)練參數(shù)降為49287個(gè)。輸入圖像先經(jīng)過兩次卷積后送入四個(gè)Xception模塊中，每個(gè)模塊中進(jìn)行深度可分離卷積后用ELU激活函數(shù)激活，再進(jìn)行第二次深度分離卷積后批歸一化，最后經(jīng)過最大池化層送入下一個(gè)Xception模塊，該模塊共有四個(gè)，每一個(gè)模塊都通過殘差直連。最后一個(gè)Xception模塊輸出的數(shù)據(jù)經(jīng)過卷積及全局均值池化后送入Softmax激活函數(shù)進(jìn)行分類。模型中均采用1×1及3×3的小卷積核可以減少參數(shù)數(shù)量，提高網(wǎng)絡(luò)的訓(xùn)練效果。每個(gè)模塊中加入批歸一化層，加快網(wǎng)絡(luò)的訓(xùn)練速度。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集選取

FER2013表情數(shù)據(jù)集在Kaggle人臉表情分析比賽提出。包括28709張訓(xùn)練樣本，驗(yàn)證集與測(cè)試集的樣本數(shù)量相同，為3859張，圖像大小為48×48。有的圖存在缺失標(biāo)簽、標(biāo)簽錯(cuò)誤以及有頭發(fā)等遮擋物的遮擋、傾斜等影響因素，導(dǎo)致數(shù)據(jù)集存在一定的誤差。這個(gè)數(shù)據(jù)庫(kù)人眼判別的準(zhǔn)確率為65%±5%。

FER2013數(shù)據(jù)集完善齊全，符合實(shí)際場(chǎng)景的需要，且圖像大小規(guī)整，利于數(shù)據(jù)處理，因此選用該數(shù)據(jù)集進(jìn)行測(cè)試。

3.2 數(shù)據(jù)處理

本文使用數(shù)據(jù)增強(qiáng)的方式進(jìn)行數(shù)據(jù)預(yù)處理，數(shù)據(jù)增強(qiáng)即人為對(duì)圖像進(jìn)行翻轉(zhuǎn)、切割、旋轉(zhuǎn)，可以防止過擬合現(xiàn)象，本文中利用keras中的圖片生成器ImageDataGenerator，對(duì)圖片進(jìn)行隨機(jī)旋轉(zhuǎn)、變形、歸一化等操作，增強(qiáng)模型泛化能力。本文設(shè)置參數(shù)隨機(jī)旋轉(zhuǎn)度數(shù)范圍為10度，隨機(jī)縮放范圍為0.1，水平及垂直偏移的參數(shù)設(shè)為0.1，設(shè)置隨機(jī)水平翻轉(zhuǎn)，不進(jìn)行去中心化及標(biāo)準(zhǔn)化。

3.3 實(shí)驗(yàn)結(jié)果

將經(jīng)過數(shù)據(jù)增強(qiáng)后的FER2013數(shù)據(jù)集送入EM-Xception中訓(xùn)練，由實(shí)驗(yàn)結(jié)果知EM-Xception訓(xùn)練的總輪數(shù)為134次，在FER2013訓(xùn)練集上準(zhǔn)確率為69.3%，模型訓(xùn)練集和驗(yàn)證集的損失及準(zhǔn)確率變化如圖4所示。說(shuō)明采用EM-Xception可以在簡(jiǎn)化模型的同時(shí)提高模型訓(xùn)練的準(zhǔn)確性，不到50000個(gè)訓(xùn)練參數(shù)便可達(dá)到中等偏上的準(zhǔn)確率，大大減少了模型訓(xùn)練的資源消耗。

人臉情緒識(shí)別系統(tǒng)加載訓(xùn)練好的模型，并通過Opencv調(diào)用攝像頭，將視頻畫面實(shí)時(shí)顯示在UI界面上，截取視頻中每一幀的數(shù)據(jù)，通過Opencv的函數(shù)檢測(cè)人臉，并將檢測(cè)到的人臉數(shù)據(jù)送入模型中預(yù)測(cè)。將預(yù)測(cè)結(jié)果實(shí)時(shí)顯示在UI界面上。也可以通過送入系統(tǒng)的圖片直接進(jìn)行檢測(cè)，本文從網(wǎng)絡(luò)中選取不同類型的圖片送入系統(tǒng)進(jìn)行檢測(cè)，結(jié)果如圖5所示，預(yù)測(cè)結(jié)果正確。

圖5 情緒識(shí)別結(jié)果

結(jié)束語(yǔ)：深度學(xué)習(xí)實(shí)現(xiàn)人臉情緒識(shí)別是當(dāng)下及未來(lái)一段時(shí)間的熱門研究方向，人臉情緒識(shí)別可廣泛應(yīng)用在醫(yī)療、教育、科技等領(lǐng)域，實(shí)現(xiàn)精準(zhǔn)的人臉情緒識(shí)別可以為醫(yī)生及教育工作者提供更多的幫助。本文提出的EM-Xception模型在Xception的基礎(chǔ)上進(jìn)行了精簡(jiǎn)和改進(jìn)，大大減少了參數(shù)數(shù)量，減輕硬件負(fù)擔(dān)，可以在FER2013數(shù)據(jù)集上實(shí)現(xiàn)較高的準(zhǔn)確率。將模型加入情緒識(shí)別系統(tǒng)，可以較準(zhǔn)確預(yù)測(cè)人臉表情。