基于卷積神經網絡的人臉表情識別研究

摘 ?要：人臉表情識別是圖像識別的一個重要領域。由于人臉表情較多，圖像背景復雜，不同類型人臉相似，同類型人臉的差異甚小，人臉表情識別仍存在很大挑戰。傳統人臉識別分類方法主要基于依靠人工提取分類特征，且精度不高。本文構建基于Keras的卷積神經網絡模型，并運用FER2013數據集，結果表明該方法提高了人臉表情識別的精度，為該問題的解決提供了新的思路和方法。

關鍵詞：卷積神經網絡;表情識別;深度學習

中圖分類號：TP389.1;TP391.4 ? ? 文獻標識碼：A 文章編號：2096-4706（2019）14-0081-03

Research on Facial Expression Recognition Based on Convolutional Neural Network

FANG Yan

（School of Mathematics and Computer Science，Quanzhou Normal University，Quanzhou ?362000，China）

Abstract：Facial expression recognition is an important field of image recognition. Face expression recognition still faces great challenges because of the large number of facial expressions，the complex image background，the similarity of different types of faces and the small difference between the same types of faces. Traditional face recognition classification methods mainly rely on manual extraction of classification features，and the accuracy is not high. This paper constructs a convolutional neural network model based on Keras and applies it to FER2013 data set. The results show that this method improves the accuracy of facial expression recognition and provides a new idea and method for solving this problem.

Keywords：convolutional neural network;expression recognition;deep learning

0 ?引 ?言

人臉表情識別作為情感計算研究的一個重要方向，是人機交互的重要組成部分，在醫學、教育以及商業營銷等領域都有著廣泛的應用。美國著名心理學家Mehrabian[1]提出，在人類的日常交流中，通過語言、聲音傳遞的信息分別占全部的信息總量的7%和38%，而通過人臉表情傳遞的信息量則占到了55%。美國心理學家Ekman和Friesen[2]通過大量實驗，定義了人類六種基本表情：高興、生氣、驚訝、害怕、厭惡和悲傷。基于特征的識別方法，是分類器進行表情識別的關鍵，傳統的分類方法需要人為提取特征進行分類，特征選取的好壞直接決定了識別準確率的高低，而特征選擇需要有一定的專業知識，且識別率較低、耗時費力。近年來，深度學習作為機器學習研究的一個新的領域，受到人們的廣泛關注。深度學習在時效性和準確性上有了顯著的提高。卷積神經網絡（Convolutional Neural Network，CNN）是深度學習的一種算法，1989年LeCun等[3]最先提出了它的思想，并于1998年提出了應用卷積神經網絡的算法解決手寫數字的識別。2012年，Alex Krizhevsky等[4]使用卷積神經網絡在ImageNet 2012比賽中獲得冠軍。卷積神經網絡可以在沒有進行數據預處理的情況下直接輸入圖像并得到最終的分類結果。通過搭建具有一定深度的神經網絡模型，結合卷積和池化等非線性操作，從而實現模仿人腦的分級處理和視覺神經的局部感知兩大重要的功能。事實證明，該網絡在人臉識別[5]、語音識別[6]、車輛檢測[7]和目標跟蹤[4]等方面取得了較好的成果。

1 ?卷積神經網絡的結構

隨著計算機計算性能的迅速發展，深度學習在許多領域有了廣泛的應用。本文提出將基于卷積神經網絡的深度神經網絡應用到表情分類問題中。

2 ?數據集

2.1 ?數據集介紹

本文采用的數據集是FER2013人臉表情數據集。FER 2013數據集是目前較大的人臉表情識別公開數據庫。該數據庫包含35887張人臉表情圖片，其中訓練集有28709張圖片，公開測試集和私有測試集各3589張圖片。每張圖片由大小固定的像素為48*48的灰度圖像組成，共有7種表情：生氣、厭惡、害怕、開心、難過、驚訝和中性，分別對應于數字標簽0—6。圖1給出了7種表情圖。

2.2 ?數據集擴增

在訓練深度神經網絡時，小樣本集訓練模型的泛化能力相對不足，在評價網絡性能時說服力不夠，因此考慮人為擴展訓練數據。本文通過運用翻轉變換、平移變換等方法將訓練集擴充了十倍。部分操作效果圖如圖2所示。

3 ?實驗

為了驗證卷積神經網絡模型在人臉情緒識別上的性能，本文構建了基于Keras平臺的卷積神經網絡模型，而后隨機取80%的數據集作為訓練集訓練模型，并將剩余的20%的數據集作為測試集測試性能。表2表示的是本文卷積神經網絡模型在FER2013數據集的識別效率，實驗表明，我們在FER2013數據庫上的識別率為66.38%，達到了在使用人工的情況下對該數據集的平均識別率水平65%±5%。

4 ?結 ?論

本文主要研究基于卷積神經網絡的人臉表情識別方法，通過構建基于Keras平臺的卷積神經網絡模型，能夠有效地對人臉表情進行識別并分類。該人臉表情識別應用可以根據不同的目標表情集調用不同的模型文件進行情緒識別，為人臉表情識別研究做出了一定的理論和實踐的參考。考慮到系統復雜度等問題，本文未對化妝、遮擋等條件進行研究，如何在這些極端條件下進行人臉表情識別還需要進一步研究。此外，對于卷積神經網絡而言，需要盡可能多地收集數據，合理擴增數據集，使得訓練的網絡具有更好的泛化性能，減小過擬合。

參考文獻：

[1] Mehrabian A. Communication without words [J].Psychology Today 2，1968（4）：53-56.

[2] Ekman P. Universals and cultural differences in facial expressions of emotion [C]// Nebraska Symposium of Motivation，1972. University of Nebraska，Press，1972.

[3] Lecun Y，Bottou L，Bengio Y，et al. Gradient-based learning applied to document recognition [C]// Proceedings of the IEEE，1998，86（11）：2278-2324.

[4] Krizhevsky A，Sutskever I，Hinton G. ImageNet Classification with Deep Convolutional Neural Networks [C]// NIPS. Curran Associates Inc. 2012.

[5] Schroff F，Kalenichenko D，Philbin J. FaceNet：A unified embedding for face recognition and clustering [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston，USA，2015.

[6] Ribeiro E，Uhl A，Hafner M. Colonic Polyp Classification with Convolutional Neural Networks [C]// 2016 IEEE 29th International Symposium on Computer-Based Medical Systems （CBMS），Dublin，2016：253-258.

[7] Girshick R，Donahue J，Darrelland T，et al. Rich feature hierarchies for object detection and semantic segmentation [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition，Columbus，2014：580-587.

作者簡介：方彥（1981.10-），女，漢族，福建福清人，講師，碩士，研究方向：機器學習。