卷積神經網絡的分布式訓練在表情識別中的應用

摘 ?要： 為了解決目前流行的人臉識別系統存在問題（如：面部遮擋，姿態改變，光線扭曲等），根據人的表情做出準確情感判斷，提出了如下的卷積神經網絡的分布式訓練識別系統：由兩部分構成：第一部分借鑒YOLO（You Only Look Once）算法實現目標檢測，準確定位復雜背景圖像中人臉的位置;第二部分使用基于VGGnet的改良結構，對已定位到的面部表情進行分類。相比于端到端的模型，可以引入更多的可控的人類學習經驗與有效訓練數據，從而得到更優秀的分類結果。實驗結果表明該系統的可行性，在FER 2013數據集上產生了較優異的結果，總正確率達69.83%。相對于現有算法，具有容易訓練、準確度高、實時性強、魯棒性好與易增添后續功能等優點，未來有很大提升空間。

關鍵詞： 表情識別;卷積神經網絡;分布式訓練;YOLO算法;VGGNet結構

中圖分類號： TP391.41 ? ?文獻標識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2020.01.035

本文著錄格式：董飛艷. 卷積神經網絡的分布式訓練在表情識別中的應用[J]. 軟件，2020，41（01）：160164

【Abstract】： To solve the problems of the current popular face recognition system， such as： facial occlusion， posture change， light distortion， etc. According to the expression of person to make accurate emotional judgment， the following Distributed Training recognition system of convolutional neural network is proposed. It consists of two parts： the first part uses YOLO （You Only Look Once） Algorithm to achieve target detection and precisely locates the position of face in complex background images; the second part refers to the structure of improved VGGnet structure to classify the positioned facial expressions. Compared to the end-to-end model， this model can introduce more controllable human learning experience and obtain more effective training data to obtain better classification consequences. The feasibility of the system can be verified in experimental consequences that has shown the total correct rate at 69.83%， testing on the FER 2013 dataset. Compared with the existing algorithms， it has the merits including easily trained， high accuracy， strong real-time performance， good robustness， easy to add subsequent functions and so on. Thus， there is much room for improvement in the future.

【Key words】： Expression recognition; Convolutional neural network; Distributed training; YOLO algorithm; VGGNet Structure

0 ?引言

隨著計算機技術及其相關學科的快速發展，人們對人機交互的需求日益增加，而面部表情作為計算機理解人類情感的前提，對人機互動技術發展具有重大意義。國內外很多研究機構及學者致力于這方面的研究，并己取得了一些成果：20世紀70年代美國心理學家Ekman和Friesen[1]對現代人臉表情

識別做出了開創性的工作。Ekman定義了人類的6種基本表情：高興、生氣、吃驚、恐懼、厭惡和悲傷，確定了識別對象的類別;其次是建立了面部動作編碼系統（Facial Action Coding System，FACS），使研究者按照系統劃分的一系列人臉動作單元（Action Unit，AU）來描述人臉面部動作;1978年，Suwa[2]等人對一段人臉視頻動畫進行了人臉表情識別的最初嘗試，一系列的研究在人臉表情視頻序列上展開;20世紀90年代，Mase和Pentland [3] 使用光流來判斷肌肉運動的主要方向，然后提取局部空間中的光流值，組成表情特征向量，最后利用表情特征向量構建人臉表情識別系統，該系統可以識別高興、生氣、厭惡和驚奇4種表情，識別率接近80%。

近年來，FER（Facial Expression Recognition，面部表情識別）技術正逐漸從實驗室數據集測試走向挑戰真實場景下的識別。盡管深度學習具有強大的特征學習能力，它在FER中應用還有一些問題。首先，深度神經網絡需要大量訓練數據來避免過擬合。然而，現存的面部表情數據庫不足以訓練出性能完美的深度網絡。除此之外，由于不同人物屬性，例如年齡、性別、宗教背景和表達能力，主體間具有高變化性，姿態、光照和遮擋在不受限的表情場景也十分常見。這些因素和表情之間是非線性關系，因此需要增強深度網絡對類內變化的健壯性，以及學習有效的表情特征表示。

因此本文提出了在深度學習基礎上，結合分布式神經網絡的特點來設計克服以上的缺點的系統并進行相關學習與測試。

本文主要創新點有。

（1）使用分布式訓練結構（如圖1所示）：將表情識別系統分為人臉監測與表情識別2個步驟，從而各自步驟可以引入更多人類先驗知識，降低訓練難度，獲取更高魯棒性。

（2）復現并改進了YOLO和VVGNet算法，并將其運用于人臉識別任務。

（3）確定完整的模型體系結構和數據處理方法，利用FER2013數據集中28709個樣本進行了實驗測試，總準確率達到69.83%。

本文安排內容如下：第一部分引言，第二部分介紹人臉識別模塊的構成原理，第三部分介紹表情分類模塊的構成原理，第三部分介紹實驗結果并進行對比分析，第四部分對本文方法進行總結。

1 ?目標定位：基于YOLO的改進算法

受到YOLO[4]模型的啟發，利用多層卷積層加上兩個全連接層來做人臉位置檢測，前面網絡的卷積層用于從圖像中提取特質，后面的全連接層用于輸出概率以及坐標點。在特征提取部分更多受到了ResNet[5]的啟發，用到了3*3和1*1卷積組合的方式，3*3卷積層用于提取各部分特征，而1*1卷積層用于跨通道的信息整合。最終網絡輸出7*7*30的向量作為預測。具體網絡如圖2所示。

S.Ren[6]等人的工作中證明對網絡進行預訓練可以提高最終的預測表現。將這個復雜的模型在ImageNet 1000-classcompetition dataset上進行預訓練。在預訓練時，網絡的最后兩層用一個Average- pooling layer（平均池化層）和一個Fully connected layer（完全連接層）作為替代。從處理分類問題轉化成探測問題，產生不同的處理輸出，同時大量的數據被用于訓練卷積層的特征提取能力。

最終的算法輸出既包含了概率，也包含了邊界框定的寬與高，并且用圖像的原始尺寸來對其進行歸一化，使得邊界高與寬均在0～1以內。

2 ?表情識別：基于VGGNet網絡的殘差支路

在VGGNet[7]結構上，采用殘差單元（Residual unit）訓練超深層次的神經網絡（如圖3所示）：用3*3、1*1組合的網絡結構，用以高效得提取特征，實驗證明這種網絡結構可以高效的提取圖片信息中的特征很有利于后續的表情分類。

采用Bottleneck Block支路，比傳統的卷積結構多了一個short-cut支路，用于傳遞低層的信息，使得網絡能夠深度訓練。殘差支路上先通過一個1×1的卷積使得中間卷積的通道數減少為1/4;中間的普通卷積做完卷積后輸出通道數等于輸入通道數;第三個卷積用于增加（恢復）通道數，使得Bottleneck的輸出通道數等于Bottleneck的輸入通道數。這兩個1×1卷積有效地較少了卷積的參數個數和計算量。

人臉圖像是高度密集的數據信息，內部包含了很多細微的表情如：眼睛睜大，眼皮拉緊，嘴角上揚，出現褶皺等眾多信息，就是人心情的具象表征，需要先通過卷積神經網絡把這些特征分類提取出來，然后通過訓練線性分類器得到最終的分類結果。具體的網絡設計如圖4所示。

3 ?結果與分析

本章在第2與第3章的原理基礎上對本文設計的檢測算法進行實現測試，并進行評估。從數據的收集，模型參數的選取以及結構優化等方面對算法進行了分析，同時也與同類型的算法進行比較，分析本文算法的優勢和不足。

進行訓練時，沒有直接采用表情數據集，而是先采用通用性更強的圖像分割數據集分別進行預訓練并將兩部分模型分塊調試再組合使用，最終在模型的訓練階段，通過多次的誤差分析進行參數調整，最終得到了較好的效果。

實驗配置如下：硬件平臺：中央處理器（Center Processing Unit，CPU）：Intel（R）Xeon（R）E5- 2687V3，主頻為：2.5 GHz，內存為128 GB;圖像處理器（Graphic Processing Unit，GPU）CUDA加速實現：四路NVIDIA GeForce GTC1080 Ti。軟件平臺：采用PyTorch1.1.0版深度學習框架進行算法 實現。

3.1 ?訓練、測試數據集

（1）表情識別

首先在ImageNet 1000-classcompetition dataset上進行預訓練。最終在測試中，采用WIDER FACE的medium數據集進行測試，learning rate策略如下。

在完成預訓練之后，把模型轉換為目標檢測輸出，采用了難度最大，各種難點比較全面的WIDER FACE數據集再次進行訓練120輪次，將batch設為64，momentum（動量）設為0.9，衰減設為0.005。為了防止過擬合，在最后兩層，利用N Srivastava[8]等人提出的隨機失活（dropout）正則化來提高系統提高泛化能力，將dropout設為0.1，其余層設為0.4。前5輪采用warmup策略，使其在0.0001～0.001之間波動，此后采用0.05的學習率繼續訓練，并用隨機梯度下降法（Stochastic Gradient Descent，SGD）[9-10]優化方式進一步自由優化。

預訓練具有以下特點：圖像分辨率普遍偏高;每張圖像的人臉數據偏多;分訓練集train/驗證集val/測試集test，分別占40%/10%/50%;測試集非常大，結果可靠性極高，而且測試集的標注結果（ground truth）沒有公開，需要提交結果給官方比較，更加公平公正，適合訓練。

（2）表情分類

采用Kaggle Facial Expression Recognition Challenge Database對表情識別網絡進行訓練。任務是根據面部表情中顯示的情緒將每個面部分類為七個類別之一（0=憤怒，1=厭惡，2=恐懼，3=快樂，4=悲傷，5=驚喜，6=中立）。訓練集包含兩列，“情感”和“像素”，共包含28 709個示例。對于圖像中存在的情緒。

本文系統的最終輸出也以七類表情判別為基準，通過閾值法進行面部表情的最終判定。

（3）結合訓練

關于兩部分模型配合使用方面，在選擇檢測并標定人臉后，將輸出圖像存儲在本地后，再作為第二個表情識別網絡的輸入而不是對兩個網絡直接級聯。這樣操作的優點：1. 是防止級聯模型過大難以訓練;2. 兩部分模型需要提取的特征傾向性不同，非級聯組合可以更好的發揮各部分不同的、經過改進的Loss函數的特點;3. 方便調試，方便接入其它功能以及后續開發。

3.2 ?訓練結果及分析

（1）人臉識別部分

網絡訓練結果。

首先對于訓練集訓練部分，圖中行坐標為迭代次數，縱坐標為訓練集Loss函數值，圖7中可以看出Loss函數值一直在穩定下降，說明本文采取的新的Loss函數在數據集上有較好的表征特性，且采用的殘差策略可以很好的讓模型快速訓練擬合數據集特征。

數據集訓練結束之后，計算了模型的Precision Rate（精確率）和Recal（召回率），被廣泛用于信息檢索和統計學分類領域的指標，來對人臉目標檢測結果質量進行評價。

可以看到本文方法較好的預測了人臉的位置并做出精準的框定，同L. Bourdev[11]（圖中Poselets）與N.Dalal[12]（圖中D&T）等人的工作進行橫向對比，均有較好的檢測效果。檢測完成后，本文算法將利用輸出結果變形映射為相同大小的圖片，為下一部分神經網絡做人臉表情識別做準備。

（2）模型級聯訓練結果

擇在FER2013（Kaggle Facial Expression Recognition Challenge Dataset）中的testset內進行測試。完成200輪訓練之后，在共28709張測試數據中，正確預測了其中20047張表情，總準確率達到了69.83%，其中對于高興、驚訝表情的識別準確率較高，而對于恐懼表情識別準確率較低。具體各表情識別結果準確率如下，列標表示實際表情，行標表示本文算法預測表情結果。

由表格可以看出該模型對happy，surprise兩類表情識別準確率相對較高，而對angry，fear，sad類表情識別準確率較低。主要原因為。

①在訓練集中，各類表情數據量占比不統一，導致模型對數據量大的表情類型更有傾向性。

②angry，fear，sad等表情相似點較多，如皺眉，嘴角緊張，眼睛微瞪等等，不利于相互之間做明顯區分。

針對以上兩點，做出以下對策：（1）考慮對數據集進行刪減，讓各個表情的訓練數據保持一致;（2）例如在表情分類模塊采用非標準Loss函數，對相似度大的表情進行針對性優化區分，引入Jiankang Deng[13]等人提出的利用更多角度空間信息的Arcface Loss函數完成進一步的優化。

除了標準數據集外，也利用網上搜索到的表情包進行識別，測試該算法在更貼近生活情況下的識別效果。

結果圖中橫軸7個坐標為本算法可以識別的7種表情：Angry、Disgust、Fear、Happy、Sad、Surprise、Neutral，縱軸值則為判定為該表情的可能性，最終挑選最高可能性的結果進行輸出。由案例可以看出，對于人臉在圖像中占據不同比例、臉部不同朝向、對臉部的遮擋、較濃的妝容、不同光照等情況，均有較好的表情識別效果。

4 ?結論

本文將識別系統網絡分為兩部分，第一部分準確定位復雜背景圖像中的人臉的位置，將實時性高，魯棒性強的YOLO模型做出針對性改進應用于人臉監測;第二部分進行表情分類，利用簡化后的VGGnet結構對定位后的人臉照片的情感表達進行高效率地分類，同時引入新型的附加角度邊緣損失函數，改進網絡的特征提取效率。與直接輸入圖片到輸出分類的簡單端對端模型相比，引入更多先驗知識，獲得更有效的數據，產生了可應用于復雜環境的更優秀的分類系統。

總之，本文中描述的新型人臉表情識別算法，能較好地完成計算機人臉表情識別任務，克服傳統算法的部分缺陷，引入較多的人類知識可控因素，從而達到網絡容易訓練，識別準確度高，系統事實性強，魯棒性好等特優點。可以應用于較多人際交互場景，對計算機系統的人機交互做出高層次的指導。同時，該系統算法也有繼續研究、改進的意義，有較大的提升空間。

參考文獻

[1] Ekman P， Friesen W V. Contacts across cultures in the face and emotion[J]. Journal of personality and social psychology， 1971， 17（2）： 124-129.

[2] Suwa M， Sugie N， Fujimora K. A Preliminary Note on Pattern Recognition of Human Emotional Expression[M]. [S.n]. Proceeding of the Fourth International Joint Conference on Pattern Recognition.1978， 408-410.

[3] Mase K， Pentland A. Automatic lipreading by optical-flow analysis[J]. Systems and Computers in Japan， 1991， 22（6）： 67-76.

[4] Redmon J， Divvala S， Girshick R， et al. You Only Look Once： Unified， Real-Time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2016. IEEE， Las Vegas， 2016： 779-788.

[5] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]//Computer Vision and Pattern Recognition. CVPR， Las Vegas： 2016： 770-778.

[6] Ren S， He K， Girshick R， et al. Object Detection Networks on Convolutional Feature Maps[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 39（7）： 1476-1481.

[7] Simonyan K， Zisserman A. Very deep convolutional networks for large-scale image recognition[C]//International Conference on Learning Representations. San Diego， USA： ICLR， 2015： 1-5.

[8] Srivastava N， Hinton G E， Krizhevsky A， et al. Dropout： a simple way to prevent neural networks from overfitting[J]. Journal of machine learning research， 2014， 15（1）： 1929-1958.

[9] Rie Johnson Tong Z. Accelerating Stochastic Gradient Descent using Predictive Variance Reduction[C]//International Conference on Neural Information Processing Systems. Currant Associates Inc. 2013： 315-323.

[10] Shalev-Shwartz S， Singer Y， Srebro N. Pegasos： Primal estimated sub-GrAdient sOlver for SVM. [C]//Machine Learning， Proceedings of the Twenty-Fourth International Conference （ICML 2007）， Corvallis， Oregon， USA， June 20-24， 2007. ACM， 2007.

[11] Bourdev L D， Malik J. Poselets： Body Part Detectors Trained Using 3D Human Pose Annotations[C]//IEEE 12th International Conference on Computer Vision， ICCV 2009， Kyoto， Japan， September 27-October 4， 2009. IEEE， 2009.

[12] Dalal N， Triggs B. Histograms of Oriented Gradients for Human Detection[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05）. IEEE， 2005.

[13] Deng J， Guo J， Zafeiriou S. Arcface：Additive angular margin Loss for deep face recognition[J]. arXiv preprintarXiv： 1801. 07698， 2018.