用于微表情識別的改進雙流淺層卷積神經網絡

李昆侖，陳 棟，王 珺，王怡輝

(河北大學 電子信息工程學院，河北 保定 071000)

E-mail:likunlun@hbu.edu.cn

1 引 言

人類面部表情是人們日常生活交流中傳遞情感的主要手段.心理學家的研究表明，面部表情所傳達的信息量可達人們情感信息傳遞總量的一半[1].微表情是一種短暫的自發式表情，通常持續時間在1/25s-1/5s之間，它本質上是人的一種無意識的舉動，具有無法隱藏和無法改變的特性，因此它能真實地反應人的情感狀態.

微表情的概念是由Haggard和Isaacs于1966年在一次臨床訪談中首次提出[2].1969年，Ekman和Friesen在研究中發現了同樣的特殊表情，他們將其命名為微表情[3].微表情自動識別因其在臨床診斷、測謊、教學輔助和商務談判等領域的良好表現而受到越來越多的關注.

特征提取是微表情自動識別的主要研究內容之一，現有的特征提取方法主要分為基于傳統算法的特征提取和基于深度學習的特征提取.微表情是一段連續的面部運動，對微表情識別需要從三維空間提取有效信息.文獻[4]首先提出了LBP-TOP(Local Binary Patterns from Three Orthogonal Planes)算法，將LBP算法從二維平面擴展到了三維空間.為了能夠更加準確的描述微表情視頻中圖像間的運動信息，一些研究者開始將光流特征應用于微表情識別，如Liu等提出的主方向平均光流特征(Main Directional Mean Optical Flow Feature，MD-MO)和Liong等人提出的雙權重光流算法(Bi-Weighted Oriented Optical Flow，Bi-WOOF)[5,6].還有一些研究者針對微表情運動幅度小的問題，如Li等則使用歐拉視頻放大(Eulerian Video Magnification，EVM)算法將微表情運動放大后再用傳統識別方法對微表情進行識別[7].

近期，深度學習在圖像分類領域取得了顯著的成就.越來越多的學者也將目光從傳統算法轉移到了深度學習上.2016年開始有學者用深度學習來解決微表情識別問題，其中有代表性的是Patel D等人發表在ICPR會議上的文章[8].他們使用在ImageNet圖像數據庫和CK+表情數據庫上訓練好的卷積神經網絡模型來提取微表情的深度特征，對提取的深度特征進行特征選擇后用以分類，分類準確率高于基線方法LBP-TOP算法.不久之后，類似VGG-16，AlexNet和GoogleNet這些在圖像分類中表現較好的深度學習框架被用在微表情自動識別任務中，并且取得了優于傳統算法的識別準確率[9-11].但是這些卷積神經網絡只能處理單張圖片，無法利用視頻中圖像之間的信息[12].而且傳統深度學習網絡需要大量的數據用于訓練模型，微表情數據量小訓練時過擬合現象嚴重，無法直接用于深度網絡訓練模型.所以在微表情識別任務中深度學習往往和遷移學習一起使用，但遷移學習不但需要額外在別的數據庫上先進行訓練，而且訓練使用的數據庫和微表情數據庫間的特征差異大小對最后的訓練結果也會產生影響.針對以上問題一些研究者先對微表情數據庫原始視頻進行預處理提取視頻幀間的關聯信息，再將處理后的圖像直接用于訓練淺層網絡，獲取適合微表情分類的特征.如文獻[13]采用了光流圖像和雙流淺層卷積神經網絡的組合，在文獻[14]中提出了一種關鍵幀框架，即只使用視頻中的起始幀，關鍵幀和結束幀獲取圖像特征，使用光流圖像和淺層卷積神經網絡對微表情分類，文獻[15]中則先用動態成像算法集中原始圖像中的運動信息在一張圖像上，再使用加入了融合層的淺層網絡進行訓練分類.以上方法中淺層的卷積神經網絡雖然改善了網絡訓練產生過擬合的情況，但同時網絡提取有效特征的能力也下降了，文獻[15]注意到了這一點，因此在淺層網絡中加入了融合層以提高網絡性能.但是在對原始圖像提取特征時，以上方法只使用一種特征很難完整的表達原始圖像中的有效信息，而直接輸入原始圖像又會含有大量的冗余信息.

綜上所述淺層網絡雖然比深度網絡可以更好的改善過擬合的情況，并且可以使用微表情數據庫直接訓練，更有利于提取適合微表情分類的特征，但是淺層網絡存在輸入網絡的特征單一和淺層網絡難以有效提取高維特征的問題.針對這些問題：1)本文在微表情預處理階段，采用關鍵幀框架，使用歐拉視頻放大算法和TV-L1光流法生成灰度圖像和光流圖像替代原圖像，預處理后的灰度圖像和光流圖像和原圖像相比不僅含有更少的冗余特征，突出了細節特征，而且包含了視頻的時空信息；2)在特征提取階段，結合空洞卷積和注意力機制，在增強網絡對全局特征提取能力的同時盡可能的保留圖像中的細節信息.

本文的具體工作為首先利用歐拉視頻放大算法和TV-L1光流算法對微表情視頻的起始幀和關鍵幀進行預處理，提取放大圖像的灰度特征和運動特征；然后利用雙流卷積神經網絡和空洞卷積核(Atrous Convolutions)組建了新的網絡結構，提高網絡獲取高維信息的能力；在此基礎上加入了注意力模塊，幫助網絡從輸入特征中篩選出有效的信息.最后在數據增強后的微表情數據庫CASMEⅡ(Chinese Academy of Sciences Micro-expression Database Ⅱ)，SMIC-HS(Spontaneous Micro-expression Database，High Speed)和SAMM(Spontaneous Activity and Micro-Movements Dataset)上進行了實驗，并將提出的方法與現有的幾種方法進行了比較，證明了算法的有效性[16-18].

本文其余部分的內容安排如下：第2節介紹了相關的算法包括EVM算法，TV-L1光流算法，空洞卷積原理，注意力機制模塊和卷積神經網絡結構等內容.第3節介紹了本文提出的EDSSNet(Enhanced Dual-stream Shallow Convo-lutional Neural Network).第4節介紹了實驗設置和實驗結果對比.第5節對論文進行了總結和展望.

2 相關工作

目前微表情自動識別還無法準確識別復雜環境下的微表情，識別的微表情也大多都是單一的表情類別，即每個微表情視頻只對應一種情感狀態.微表情自動識別任務一般包括圖像預處理，特征提取，分類識別3部分，本文在圖像預處理階段采用了歐拉視頻放大算法和TV-L1光流法，前者用于放大微表情的動作幅度，后者用于提取微表情視頻中的運動信息.在特征提取和分類階段使用結合空洞卷積和注意力機制的改進雙流卷積神經網絡進行特征提取和分類.下面是這些理論的詳細介紹.

2.1 歐拉視頻放大算法

2012年，Wu等人基于流體歐拉法提出了一種歐拉視頻放大算法(Eulerian Video Magnification，EVM)[19].流體歐拉法(Euler Method)是描述流場中各空間點流體質點流經時運動狀態的一種方法.EVM算法將視頻中的像素看作空間和時間的函數來研究像素和時間的變化關系.EVM算法可以分為以下3個步驟：空間濾波，時域濾波，放大與合成圖像.

在空間濾波階段，EVM算法使用多分辨率的圖像金字塔把目標視頻分解成不同的空間頻率，然后進行時域濾波提取每個尺度圖像中的感興趣頻帶，人臉微表情的臉部運動主要包括眉毛、眼睛、鼻子和嘴巴的微小運動，面部的大部分區域都保持不變，這些面部的微小運動大多數都集中在低頻區域.接著用泰勒級數近似濾波后的頻帶，給濾波后的頻帶乘以一個放大因子e，放大濾波結果.最后把放大后的信號與原信號重構合成圖像.

2.2 TV-L1光流

光流法是研究動態物體的常用方法，光流圖像也適合描述面部肌肉的微觀運動[20].TV-L1光流(Total Variation-L1 Optical Flow)算法適合相鄰兩幀圖像位移量小的運動分析，它保留了圖像的邊緣特征信息[21].

對于相鄰的圖片I0和I1，X=(x,y)是幀I0上的像素值.則TV-L1光流模型的能量函數如式(1)所示：

(1)

公式中U=(u,v)表示光流場，?u和?v是u和v的二階導數，參數λ是權重常數.公式(1)中的第1項表示相鄰兩幀對應像素的灰度值差，第2項是對運動的正則化約束項.

TV-L1光流采用雙向求解的數值分析機制(Two-way Numerical Analysis Mechanism)最小化光流能量函數，使用一階泰勒展開公式來近似相鄰幀灰度差公式，采用雙向求解的方法交替更新變量來減少線性逼近帶來的誤差：

(2)

將ρU=I1(X+U0)+(U-U0)?I1-I0和變量U′代入公式(2)中可得公式(3)：

(3)

公式中θ是一個常量，U′隨著迭代次數的增加無限逼近U，公式通過迭代更新U′和U來優化函數.它們的閾值函數如下式(4)所示：

(4)

2.3 空洞卷積

空洞卷積(Atrous Convolutions)又被稱為擴張卷積(Dilated Convolutions)，它和傳統卷積方式相比，在擴大了卷積核的感受野范圍同時保證了獲取圖像的分辨率在要求范圍之內，具體操作是在傳統的卷積核中增加了權重為0的卷積參數，在卷積層加入了新的參數擴張率(Dilation Rate)，本文記為r，該參數表示卷積核進行卷積操作時權重值之間的間距，和傳統n×n的卷積核相比，擴張率為r的空洞卷積第i層卷積層的空洞卷積核大小計算公式如式(5)所示[22]：

R=[n+(n-1)×(ri-1)]2

(5)

其中R表示實際卷積核的大小，ri表示第i層的擴張率，n表示原始卷積核的大小.本文使用擴張率為2的卷積核代替普通的卷積核.普通卷積感受野和空洞卷積感受野對比如圖1所示.

圖1 卷積核對比圖Fig.1 Convolution kernel comparison chart

2.4 卷積神經網絡注意力模型

卷積神經網絡注意力模型(Convolutional Block Attention Module，CBAM)是Sanghyun Woo等人提出的一種注意力機制模塊[23].它在通道和空間兩個維度生成注意力映射圖，用以提高網絡對有效特征的獲取能力.注意力模型總體結構如圖2所示.

注意力運算過程可用下式表示：

F′=Mc(F)?F
F″=Ms(F′)?F′

(6)

式(6)中F∈RC×H×W表示輸入特征，MC∈RC×1×1表示通道注意力映射，Ms∈R1×H×W表示空間注意力映射，?表示對應元素相乘.

圖2 注意力模型圖Fig.2 Attention module diagram

通道注意力模塊如圖3所示.

圖3 通道注意力模型圖Fig.3 Channel attention model diagram

圖3中共享層由含有一個隱藏層的多層感知器(MLP)組成.為了簡化運算過程，隱藏層的激活大小設置為RC/a×1×1，其中a是縮減率，通道注意力具體計算公式為式(7)：

(7)

空間注意力模型計算如式(8)：

(8)

圖4 空間注意力模型圖Fig.4 Spatial attention model diagram

2.5 雙流卷積神經網絡

視頻識別和靜止圖像的分類相比，視頻提供了圖像間隨時間變化的信息.為了能夠更好的利用這些信息，文獻[24]提出了一種用于視頻中動作識別的雙流卷積網絡(Two-stream Convolutional Networks).該網絡使用了兩個獨立的卷積網絡分別提取圖像的空間信息和時間信息，隨后融合兩個網絡的分類結果作為最終的識別結果.空間卷積網絡(Spatial Convolutional Networks)使用視頻幀進行訓練，時間卷積網絡(Temporal Convolutional Networks)使用幀間提取的光流圖訓練.網絡模型如圖5所示.

圖5 雙流卷積網絡Fig.5 Two-stream convolutional networks

3 改進雙流淺層卷積神經網絡

本文提出的改進雙流淺層卷積神經網絡(Enhanced Dual-stream Shallow Convolutional Neural Network，EDSSNet)采用了放大灰度圖像和光流圖像雙輸入的方式，融合圖像的灰度信息和運動信息，在網絡中使用了融合層，通過結合兩個通道對圖像的卷積響應來改善卷積通道中圖像細微特征丟失的情況.利用空洞卷積和注意力機制增加網絡提取高維特征和篩選有效特征的能力，最終通過Softmax層對圖像進行分類.本文所構建的網絡中并沒有添加池化層，因為微表情的運動是微小的，池化層的下采樣操作容易丟失這些微小的運動信息，而這些信息的丟失會影響分類精度.本文采用步長為2的卷積來代替池化層的下采樣操作，因為使用步長較長的卷積來代替相對應的池化層可以增加提取特征之間的相關性.同時為了防止網絡過擬合，本文在網絡中加入了L2正則化.EDSSNet結構如圖6所示.EDSSNet用到的網絡層介紹如下：

圖6 EDSSNet框架Fig.6 Framework of EDSSNet

卷積層(Convolution Layer)：卷積層采用卷積核對輸入特征進行卷積操作提取特征，通過反饋更新卷積核的學習權重和偏差.卷積層的計算過程如式(9)所示：

(9)

激活單元(Rectified Linear Unit)：激活單元使用單調函數，將線性輸入轉換為非線性的輸入.本文的網絡結構使用ReLU激活單元，ReLU激活函數表示如式(10)：

f(φ)=max(0,φ)

(10)

ReLU激活函數與tanh和sigmoid激活函數相比，改善了梯度消失的情況，而且具有良好的收斂性.

融合層(Accretion Layer)：融合層結合前面兩層的特征，加強網絡提取特征的能力，具體公式如式(11)：

Aacc(x)=A1(x)+A2(x)

(11)

式中A1和A2表示輸入卷積層的特征.

連接層(Concatenation Layer)：本網絡中使用連接層將4個通道的特征在通道維度融合，保留微表情運動的信息，將其送入到下一層.

批量歸一化(Batch Normalization)：將每層網絡的輸入值規范化到均值為0方差為1的標準分布，加快數據的收斂和訓練速度.

全連接層(Fully Connected Layer)：全連接層中的每個神經元都包含上一層全部神經元的信息，神經元的激活是由上一層的輸出乘以權重系數W再加上偏置決定.神經元的激活公式如式(12)所示：

f(α)=ψ(W×α)

(12)

式(12)中α表示輸入的神經元特征，ψ表示激活函數.

L2正則化：正則化是以增大訓練誤差為代價來減少測試誤差的一種策略.它可以防止模型過擬合.在神經網絡學習中往往決策面越復雜對應的權重值就越大，而L2正則化通過減小權重值使得到的決策面更加平緩.其定義如式(13)所示：

(13)

L2正則化便是在使用的損失函數后面加上L2范數.

丟失層(Dropout Layer)：主要用來緩解卷積神經網絡訓練中出現的過擬合情況，它每次會按照設定好的概率隨機的屏蔽神經元，從而降低神經網絡對某些特定權重的依賴性，提高網絡的泛化能力.

以下是本文算法的詳細步驟：

輸入：微表情樣本F，放大系數e，學習率η，最大訓練次數n_epochs，每次處理的樣本個數batch_size，檢測次數x，訓練停止條件：達到最大訓練次數n_epochs或者經過x次訓練驗證集損失不再發生變化.

Step 1.計算EVM放大后的視頻關鍵幀G；

Step 2.計算視頻起始幀和關鍵幀間的光流特征O；

Step 3.訓練網絡模型；

1. foriin range(k):

2.k-1份數據分為訓練集和驗證集，剩余一份為測試集;

3. forepochin range(n_epochs): or while 經過x次訓練驗證集損 失不再變化:

4. 計算誤差，用隨機梯度下降法更新網絡參數;

5. end

6. 對測試集進行類別預測，計算準確率pi;

7. end

4 實驗與結果

4.1 數據庫介紹

本文選用CASMEⅡ，SMIC-HS和SAMM 3個公開的數據庫進行實驗.CASMEⅡ數據庫是由中國科學院心理研究所建立，本文使用數據庫樣本中“快樂”、“驚訝”、“厭惡”、“壓抑”和“其它”共5類進行分類，對于樣本數量較少的“恐懼”和“悲傷”兩類數據沒有采用.SMIC-HS數據庫是由芬蘭奧盧大學的趙國英等人建立，主要分為“積極”、“消極”和“驚訝”3類.SAMM數據庫由曼徹斯特城市大學和情緒智力學院(Manchester Metropolitan University and the Emotional Intelligence Academy)共同采集.圖像主要分為“高興”、“驚訝”、“生氣”、“厭惡”、“傷心”、“害怕”、“輕蔑”和“其它”共8類.數據庫詳細參數如表1所示.

表1 用于實驗的數據庫基本信息Table 1 Basic information of databases used in experiment

4.2 實驗設置

在EVM算法中，本文在空間濾波階段采用的是拉普拉斯金字塔，金字塔的層數設為3層.進行時域濾波時本文選用的是巴特沃斯帶通濾波器，放大頻率段為1HZ-5HZ.在信號放大階段本文根據不同放大系數對圖像的影響進行比較，由圖7中觀察可以發現當放大倍數e為10時，圖像的放大效果并不明顯，無法清晰地觀察到面部的運動信息.當放大倍數e超過20時，圖像中噪聲的影響較大，面部表情甚至會產生失真現象.本文設置放大倍數e為20.

本文將輸入網絡的圖像統一裁剪為112×112大小，選用放大倍數為20的圖像.對于SMIC-HS數據庫中沒有標記關鍵幀的情況，本文選取視頻的中間幀作為關鍵幀來使用.卷積神經網絡的具體參數如表2和表3所示，梯度下降采用隨機梯度下降算法，初始的學習率設為0.001，訓練次數為1000，丟失層的概率設為0.5，L2正則化的超參數設為0.01，檢查次數為20.因為樣本數量少，本文采用了數據增強技術對樣本進行擴增，采用圖像鏡像反轉和用關鍵幀前后兩幀圖像代替關鍵幀的方法增加數據量，擴增后CASMEⅡ數據庫樣本數為996，SMIC-HS數據庫樣本數為656，SAMM數據庫樣本數為636.本文采用10折交叉驗證法，即將實驗數據分成10份，每次將其中的9份用于訓練，訓練的數據以8∶2的比例分為訓練集和驗證集，剩下的1份作為測試集，取10次試驗的準確率平均值和F1-Score為最終評價結果.

圖7 不同放大倍數下的圖像比較Fig.7 Comparison of images at different magnification factors

表2 注意力模塊通道網絡結構Table 2 Attention module channel network structure

表3 融合層通道網絡結構Table 3 Accretion Layer network structure

4.3 對比算法簡介

本文將提出的算法和9種主流算法進行了對比，以下是對比算法的簡單介紹：

LBP-TOP[4]：LBP算法使用中心像素和周圍像素的對比來反映圖像的局部紋理特征，LBP-TOP將其擴展到了三維空間，豐富了特征信息，使用SVM分類器進行分類.

Bi-WOOF[7]：算法使用視頻的起始幀和關鍵幀計算光流，并將圖像分成不重疊的區域，提取不同區域的光流直方圖并進行兩次加權后連接起來，使用SVM分類器進行分類.

AlexNet[10]:輸入的圖像大小為227×227×3，網絡結構為8層，含有局部響應歸一化層(Local Response Normalization，LRN)和重疊池化層，使用Softmax層分類.

VGG-16[9]：輸入圖像大小為224×224×3，網絡結構為16層，網絡采用3×3卷積核來代替大的如5×5和7×7的卷積核，使用Softmax層分類.

GoogleNet[11]：輸入圖像大小為224×224×3，網絡結構為22層，網絡中采用了inception結構來捕捉不同尺度的信息，使用Softmax層分類.

SSSN[13]：使用光學圖像作為輸入特征，用AlexNet的一部分網絡結構組成淺層網絡提取特征信息，使用Softmax層分類.

DSSN[13]：將SSSN結構由單通道拓展為了雙通道，融合兩個通道的結果對微表情識別分類.

CapsuleNet[25]:使用膠囊網絡對微表情視頻的關鍵幀處理，提取圖片整體和部件間的關系特征識別微表情.

GACN[26]:算法將人臉劃分為不同的興趣單元，使用圖卷積網絡對不同情感建立模型識別微表情.

4.4 實驗結果分析

從表4中可以看出傳統算法中識別率最高的是Bi-WOOF算法，本文算法和其相比在CASMEⅡ數據庫，SMIC-HS數據庫和SAMM數據庫識別準確率分別提高了18.12%，5.33%和13.6%.

表4 準確率對比Table 4 Comparison of accuracy

卷積神經網絡中VGG-16是經典的深度學習網絡，也是深度學習中經常作為對比基線算法的卷積網絡.本文算法和其相比在CASMEⅡ數據庫，SMIC-HS數據庫和SAMM數據庫識別準確率分別提高了5.01%，7.28%和17.06%.

DSSN使用了和本文相似的多通道卷積結構，也是基于雙流卷積網絡的改進網絡.本文算法和其相比在3個數據庫識別準確率分別提高了5.23%，3.51%和7.64%.

對比算法中識別準確率最高的是AlexNet，本文算法在CASMEⅡ數據庫和SMIC-HS數據庫上的表現均優于AlexNet，在SAMM數據庫識別準確率略低于AlexNet.這是因為SAMM數據庫數據量最少，類別最多，訓練容易產生過擬合現象.AlexNet和本文算法卷積層數相近，本文方法為了保留更多的圖像細節信息并沒有采用池化操作，AlexNet則在網絡中使用了重疊池化和最大池化，網絡受過擬合問題影響小一些，所以對SAMM數據庫識別準確率高于本文算法，但池化操作丟失圖像細節信息使得AlexNet對數據量相對豐富的CASMEⅡ數據庫和SMIC-HS數據庫識別準確率低于本文算法.

從實驗數據中可以看出，傳統算法的平均識別準確率要低于卷積神經網絡的平均識別精度，相對于深層的網絡結構VGG-16和GoogleNet，淺層的網絡AlexNet，SSSN，DSSN和本文算法識別準確率更高.淺層網絡比深層網絡更適合數據量小的微表情分類.

3個數據庫中算法普遍對SAMM數據庫的分類準確率是最低的，這是因為SAMM數據庫數據量少，分類任務又是最復雜的.CASMEⅡ數據庫和SMIC-HS數據庫傳統算法和卷積神經網絡卻有著不同的表現.對于傳統算法，SMIC-HS數據庫是三分類任務，CASMEⅡ數據庫是五分類任務.顯然SMIC-HS數據庫分類任務更簡單，對該數據庫的識別準確率也就更高.但是對于卷積神經網絡，SMIC-HS數據庫數據量的不足和簡單的三分類任務，使得網絡在訓練過程中容易訓練出比實際更復雜的模型，模型的泛化能力下降，從而導致在測試集識別準確率下降.因此，卷積神經網絡在CASMEⅡ數據庫的識別準確率最高.

表5 F1-Score對比Table 5 Comparison of F1-Score

從表5中可以看出本文算法在F1-Score指標上比傳統算法Bi-WOOF在CASMEⅡ數據庫，SMIC-HS數據庫和SAMM數據庫上分別高了0.1222，0.0481和0.2177.本文算法與傳統卷積神經網絡算法VGG-16，GoogleNet和AlexNet相比，比它們在CASMEⅡ數據庫，SMIC-HS數據庫和SAMM數據庫上的F1-Score最高值分別高了0.0746，0.0578和0.1163.本文算法和2019年后發表的新的微表情識別算法SSSN，DSSN，CapsuleNet與GACN相比，本文算法也取得了比較好的效果.因為本文采用的淺層網絡結構和可以使用微表情數據庫直接訓練的優勢使得本文算法面對類別數量少的數據也有一定的分類準確率，從而提高了F1-Score評價指標.

本文還給出了EDSSNet在各個數據庫的分類混淆矩陣，在圖8中以CASMEⅡ的混淆矩陣為例，第1行第1列數據為樣本標簽類別為“高興”，同時被本文方法分類為“高興”的樣本所占數據比例，第1行第2列為樣本標簽類別為“高興”，但被本文方法分類為“厭惡”的樣本數據比例.

從圖8中可以看到在SAMM數據庫上算法的準確率最低，因為SAMM數據庫的平均類別數據量是最少的，這些數據難以訓練出有效的模型.在SAMM數據庫中，對“生氣”的識別率是最高的，這和“生氣”類別的樣本在數據庫中占的比例最高有一定的關系.而且在對別的類別進行分類時，如果分錯類別，分為“生氣”類別的可能性也更高.“傷心”類別的樣本少，對該類別的識別率也最低.SMIC-HS數據庫和CASMEⅡ數據庫的分類結果也存在相同的問題.

圖8 數據庫SAMM，SMIC-HS和CASMEⅡ的混淆矩陣Fig.8 Confusion matrix of SAMM,SMIC-HS and CASMEⅡ

綜上所述,可以看出樣本數據的不平衡對分類精度會產生影響，樣本數據多的，網絡越有可能學到有效特征，分類的準確率就高.

5 總 結

本文提出了一種用于微表情識別的改進雙流卷積神經網絡EDSSNet，并且針對單一特征難以表達微表情運動和淺層網絡提取特征能力不足的問題，提出以下改進：1)采用歐拉視頻放大算法對圖像進行放大并提取關鍵幀特征，同時采用TV-L1光流法提取視頻關鍵幀和起始幀的光流特征，用放大后的灰度圖像和光流圖像替代原始圖像；2)在雙流淺層卷積神經網絡中引入空洞卷積和注意力機制，提高網絡獲取有效特征的能力.

本文算法將圖像的灰度信息和運動信息相結合，通過注意力機制引導網絡獲取有效的信息，空洞卷積和融合層提高網絡對高維信息的獲取能力.理論分析和實驗結果表明了改進模型的有效性.本文下一步將針對微表情數據庫樣本數量的不均衡問題作進一步的研究.