基于卷積神經網絡的人臉目標跟蹤及表情檢測

譚 聰 石翠萍* 左 江 趙可新 王功帥 趙捃博

（齊齊哈爾大學通信與電子工程學院，黑龍江 齊齊哈爾161000）

1 概述

面部表情識別是近幾十年來才逐漸發展起來的，由于面部表情的多樣性和復雜性，并且涉及生理學和心理學，表情識別具有較大的難度。因此，表情識別與指紋識別、人臉識別等相比，發展相對較慢，應用還不廣泛。但是表情識別對于人機交互卻有著重要的價值，有待進一步的研究。表情識別研究課分為人臉圖像的獲取與預處理、表情特征提取和表情分類[1]。目前，利用遷移學習研究表情識別的有許多方法[2-3]。同時，傳統的方法中，手工制作的特征，如Gabor 小波系數[4]、局部二值模式（LBP）[5]和梯度直方圖[6]等也對表情識別也有著重要貢獻。本文利用遷移學習的方法在VGG-16 的基礎上進行微調，以VGG-16 網絡作為基礎網絡，對人臉進行跟蹤及表情檢測分類。

2 方法論

本文提出的方法主要是在VGG-16 網絡的基礎之上進行微調，以VGG-16 網絡為基礎網絡，通過展平層將輸入特征壓平為一維，最后利用兩層全連接層加上Softmax 經典分類算法進行分類。該方法的主要原理如下。

2.1 遷移學習

遷移學習，即把現有的神經網絡，進行細微的改造訓練，已得到自己想要的分類器的結果。遷移學習具有很多優點，可以合理利用現有的網絡，利用經典大型網絡的特征提取能力，以經典大型卷積神經網絡作為基礎網絡，在此基礎上進行微調。通過改造現有網絡的輸出層，自己訓練一個Softmax，把前面所有層當做一個整體，不進行訓練，只是用其訓練結果。同時，為了計算速度更快，可以把前面的輸出結果存儲，作為輸入層，這樣只需要訓練2 層卷積神經網絡。利用遷移學習的微調作用，可在Softmax 之前，加入幾層隱藏層，這樣可以使訓練效果更好。通常對于計算機視覺，需要大量的數據，而且運算量很大，所以，合理利用現有訓練好的網絡，進行遷移學習，可以提高卷積神經網絡的工作效率。

2.2 Dropout 正則化

Dropout 正則化，即輸入層與輸出層保持不變，隱藏層神經元按比例隨機失活。Dropout 可以有效的緩解過擬合現象，在一定程度上起到了正則化的效果。當一個復雜的前饋神經網絡被訓練在的數據集時，容易造成過擬合，為了防止過擬合，可以通過阻止特征檢測器的共同作用來提高神經網絡的性能。當Dropout 參數為1 時，保留所有的神經元，若當Dropout 參數為0.5 時，首先隨機刪掉網絡中一半的隱藏層神經元；然后將x 輸入修改后的網絡前向傳播，將得到的損失結果通過修改的網絡反向傳播；一小批訓練樣本執行完這個過程后就按照隨機梯度下降法更新保留的神經元對應參數。如圖1 所示，為Dropout 神經元隨機失活原理圖。本文微調的VGG-16 網絡在Softmax 前的全連接層后加上Dropout 正則化，參數設為0.5，防止微調模型出現過擬合。

圖1 Dropout 隨機失活圖

3 實驗結果及分析

本文將CK+數據集以8：2 的比例劃分為訓練集和驗證集。通過導入預處理的數據集進行訓練，然后分別將VGG-16 模型和微調的模型在該數據集上進行訓練和驗證。表1 是本文利用微調的模型與VGG-16 模型進行對比的結果表。從表1 可知，本文微調的VGG-16 模型比原始VGG-16 模型精度要高，且本文微調模型得到的準確率較高，具有良好的分類性能。

表1 微調模型與VGG-16 模型對比

如圖2 所示，為本文利用微調的VGG-16 模型在CK+數據集上進行訓練過程中的訓練驗證精度曲線圖和訓練驗證損失圖。由圖2(a)可見，隨著訓練次數的增加，訓練精度和驗證精度逐漸提高且逼近于1，同時訓練精度和驗證精度非常貼合，相差不大。由圖2（b）可見，訓練驗證損失逐漸降低且逼近于0。由圖分析可得本文微調的模型擬合程度很好，分類性能好。

圖2 訓練驗證的精度和損失圖

4 結論

基于深度學習技術，本文以人臉為目標進行跟蹤檢測，以VGG-16 網絡作為基礎網絡，進行微調，在基礎網絡后加上兩層全連接層，每層全連接層后加上Dropout 正則化，防止過擬合，最后利用Softmax 經典分類算法進行分類。首先，利用微調的VGG-16 卷積神經網絡模型和原始VGG-16 網絡分別在CK+數據集上進行對比實驗，由對比結果反映本文微調的模型的性能好。然后，通過分析訓練過程中得到的訓練驗證精度和損失曲線圖分析本文模型，可知，本文微調的模型擬合程度好、性能好。

5 下一步工作

目前，在深度學習技術背景下，以人臉為目標進行表情識別檢測具有很重要的地位，但還存在著分類識別率低，受外界干擾等因素，如光照條件、人臉部分遮擋、檢測角度等干擾條件。因此本文下一步工作擬針對外部干擾條件下，打算提出一種在具有較高識別精度、收斂速度快的卷積神經網絡模型。實現跟蹤以人臉為目標的表情識別的智能化。