基于遷移學習VGG-16的微表情識別

魏小明

摘要：為提高微表情識別精度更好地為微表情分類，提出遷移學習技術與VGG-16模型相結合的微表情識別方法。以CASME、CASMEⅡ作為數據集，在預處理階段通過對圖像進行幾何變換、均衡化構建微表情數據集。利用遷移學習后的VGG-16為模型，用數據增強后的數據集，在相同參數環境下，與AlexNet、GooLeNet、ResNet-18模型做對比，探究了不同模型對8種微表情識別的影響，同時探究了不同數據集對模型的性能影響。實驗結果：基于遷移學習的VGG-16模型，訓練精度及訓練損失值均優于參照模型，模型識別精度與數據集數量成正比。

關鍵詞：微表情識別；遷移學習；VGG-16；數據增強

中圖分類號：TP391? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2023）01-0031-04

開放科學（資源服務）標識碼（OSID） ：

微表情是一種一閃而過的面部表情，通常在一個情緒喚起之后快速出現，很難抑制[1]往往能體現出人們的真實想法。由于微表情可應用于醫學、犯罪偵查、安防、測謊等重要領域，微表情識別的研究受到國內外的廣泛關注。

近年來，計算機技術不斷發展，微表情識別技術相比之前有了很大的提高。微表情識別技術主要分為傳統方法和基于深度學習的方法。在傳統方法例如LBP-TOP、LBP-TOP與光流結合等，由于此類方法主要采用手工制作來提取特征，導致識別精度和效率不高[2]，性價比低于深度學習方法。

卷積神經網絡（Convolutional neural network，CNN） 在計算機視覺領域應用得很成功，并相繼推出了幾個經典的網絡模型。其中VGGNet更是在2014年LSVRC2014比賽分類項目的第二名和定位項目的第一名[3]。VGG-16模型，由多組卷積層、池化層、激活層組合而成，有著結構簡潔的特點，它通過增加結構深度，更加有效的提升模型性能，提升拓展性，減少出錯概率。利用遷移學習，能有效地提高識別分類效率及泛化性。本研究擬采用基于遷移學習的VGG-16作為訓練模型，與基于其他網絡模型做對比，探究微表情識別精度。

1 數據集與預處理

1.1 實驗數據

實驗所用到的數據集來源于中國科學院心理研究所的 CASME[4]、CASMEⅡ[5]。

1.2 圖像預處理

1.2.1 數據擴充

為了防止過擬合現象的發生，本研究對已有圖像進行數據增強。通過對圖像進行幾何變換：翻轉（圖d） 、水平鏡像（圖f） ；對比度變化：對比度增強（圖b） 、對比度減弱（圖c） ；設置椒鹽噪聲（圖a） 的方法，實現樣本擴充。為減少因數據樣本來源不同，導致樣本大小及格式的不同，將所有圖像進行大小及格式統一化操作，圖像增強效果如圖1所示。

數據集根據微表情類別劃分為8個微表情標簽，從Fear到Repression分別對應1～8的標簽編號。由表1得知，各個類別的微表情均擴充了8倍。樣本總數由原來的3638張擴充到現在的29104張。

1.2.2 數據均衡化

為盡量消除樣本分布不均的現象，對樣本數據進行均衡化處理。具體做法是將數據增強后的各類樣本數量進行排序，取中位數作為樣本數量的上限值，若樣本數量超過此值則隨機剔除直至滿足條件。樣本未均衡化與均衡化后的分布情況見圖2、圖3。

1.3 搭建訓練模型

1.3.1 VGG-16網絡模型

VGG-16網絡模型結構見圖4。VGG-16網絡模型開始由輸入層（ImageInputLayer） 輸入目標圖像后，分別做兩次卷積（Concolution Layer） 和兩次relu（激活層）后作最大池化（Max pooling） 處理。將上述兩次卷積+兩次relu層+一次最大池化為一組，分別作五組處理，后面經過兩組全連接層（Fully Connected Layer） +relu層+dropout（全連接）層后，進入softmax分類層后，最后由輸出層（Image output Layer） 輸出目標圖像。

1.3.2 圖像分類

全連接層會把卷積、激活、池化后輸出的二位特征圖（feature map） ，串聯在一起轉化為（N*1） 的一個一維向量，然后將向量結果輸入softmax層。

softmax層多用于分類問題的處理，它不再唯一地確定某一個最大值，而是輸出每個分類結果的概率值，表示這個類別的可能性，它將選擇最大概率值對應的微表情種類作為輸出。softmax函數表達式為：

1.3.3 遷移學習

深度學習中在計算機視覺任務和自然語言處理任務中將預訓練的模型作為新模型的起點是一種常用的方法，通常這些預訓練的模型在開發神經網絡的時候已經消耗了巨大的時間資源和計算資源，遷移學習可以將已習得的強大技能遷移到相關的問題上[7]。遷移學習有著：1） 使用不同的測試數據時，不用重復訓練新模型，大大降低工作量；2） 當使用新的數據集時，不需要變更訓練數據，降低工作難度及減少經費支出；3） 不用考慮數據集過期問題；4） 對于快速出現的新領域，能夠快速遷移和應用，體現時效性優勢的優點[8]。因此本文選用VGG-16作為預訓練模型，加入遷移學習方法，研究微表情的分類。

2 實驗結果

本研究實驗方法基于Matlab2020b平臺，操作系統是Windows 10 64位，CPU與GPU分別為intel i7-10700與12G的英偉達RTC3060顯卡并利用Cuda10.1進行加速訓練，以及內存為32GB的微星MAC B460M主板。VGG-16模型的參數設置見表2。

本研究選取AlexNet、GoogLeNet、SqueezeNet、VGG-16四種模型，驗證筆者所用方法的準確性與優異性。將4種模型設置相同參數，在同一條件下進行訓練和驗證。訓練曲線圖見圖5與圖6。

訓練精度曲線表示了隨著迭代次數的增長，預測模型精度的波動情況[9]。由圖5 得知，VGG-16模型收斂速度最快，SqueezeNet收斂速度最慢。在1000次迭代時，只有VGG-16與AlexNet的訓練精度達到了90%以上，4000次迭代后，4種模型趨于收斂。

訓練損失曲線表示了隨著迭代次數的增長，真實模型值與預測模型值的偏差波動情況，損失值越小，表明模型精度越高，出錯概率越小[9]。由圖6得知，在1000次迭代時SqueezeNet損失值為0.5，其余3種模型損失之均在0.5以下，同樣是迭代4000次后4種模型損失值區域收斂。4種模型的具體訓練結果見表2。

由表2 可得，VGG16雖然在訓練時間以及模型大小上沒有明顯優勢，但其訓練精度與訓練損失值的表現均好于其余3種模型，分別為：訓練精度95.02%，訓練損失值0.0121。

為驗證不同數據集下VGG16模型的識別性能，本人分別采用CASME1、CASME2兩組數據集進行訓練、驗證以及測試出模型的精度，見表3。兩組數據集均采用了數據增強操作，其中，圖片數量是指數據增強后用于模型訓練以及測試的樣本數量。由表3 可得，CASME2數據集中，訓練精度、驗證精度、測試精度均在95%以上，分別為95.55%、95.21%、95.02%，全方位高于CASME1數據集的95.02%、94.94%、94.09%。筆者分析，數據集樣本數量越高，其精度及泛化能力越高。

3 結論與不足

筆者在對微表情識別的研究中，采用了VGG16模型與遷移學習相結合的方法，對微表情進行識別與分類。筆者通過此模型與AlexNet、GoogLeNet、SqueezeNet三種模型，在設置了相同參數的環境下，對實驗結果進行比較，實驗結果可知此筆者所提模型無論在訓練精度還是訓練損失值上的表現均好于3種參照模型，其訓練精度達到了95.2%，訓練損失值為0.0121。筆者還在不同數據集下探究了VGG16模型識別性能，實驗結果表明，模型精度與圖片數量成正比，同時，遷移學習技術改善了模型的收斂情況，對提高模型性能提供了幫助。

此模型也有明顯的不足之處，模型識別精度雖略微高于參照模型識別精度，但它的訓練時間，以及模型大小，大大超出了參照模型，效率大打折扣。故此模型在時間及空間上還有很大的優化空間。

參考文獻：

[1] Baron R A，Byrne D.社會心理學[M].黃敏兒，王飛雪，譯.上海：華東師范大學出版社，2004.

[2] 詩雨桐，袁德成.基于深度學習的面部微表情識別[J].沈陽化工大學學報，2021，35（4）：380-384.

[3] 毛志強.視頻序列中人體異常行為分析技術研究[D].唐山：華北理工大學，2019.

[4] Yan W J，Qi W，Liu Y J，et al.CASME database：a dataset of spontaneous micro-expressions collected from neutralized faces[C]//Shanghai，China：2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition （FG），2013.IEEE，2013：1-7.

[5] Yan W J，Li X B，Wang S J，et al.CASME II：an improved spontaneous micro-expression database and the baseline evaluation[J].PLoS One，2014，9（1）：e86041.

[6] 康瀠允，孟凡宇，馮永新.一種面向軍事物聯網的網絡流量異常檢測模型[J].火力與指揮控制，2021，46（2）：120-125，132.

[7] Pratt L Y，Thrun S.Machine Learning-Special Issue on Inductive Transfer[M].Kluwer Academic Publishers，1997.

[8] 張玉立.基于卷積神經網絡的人體姿態估計[D].哈爾濱：哈爾濱工程大學，2018.

[9] 萬軍杰，祁力鈞，盧中奧，等.基于遷移學習的GoogLeNet果園病蟲害識別與分級[J].中國農業大學學報，2021，26（11）：209-221.

【通聯編輯：唐一東】