基于多尺度特征選擇網絡的人臉表情識別

齊 妙, 閆光友, 徐 慧, 孫 慧

(1. 東北師范大學 信息科學與技術學院, 長春 130117； 2. 長春人文學院 理工學院, 長春 130117)

人臉表情識別的早期研究大多數通過提取手工設計的面部表情特征進行表情分類, 如Soyel等[1]先使用判別尺度不變特征變換構建人臉特征向量, 再利用加權多數投票分類器進行面部表情分類, 取得了較好的識別效果; Tian等[2]提出將面部表情細粒度變化映射為動作單元的自動人臉表情識別系統, 并以此進行表情分類. 隨著卷積神經網絡在圖像識別領域的廣泛應用, 卷積神經網絡也被應用于人臉表情識別研究中. Liu等[3]提出了一種基于語義圖的雙流網絡進行情感特征表達, 該網絡通過設計一個圖表示對關鍵外觀和幾何變化及其語義關系進行建模； Zhu等[4]建立了卷積關系網絡進行野外環境下的人臉表情識別, 該模型通過挖掘充足情感類別樣本之間的特征相似性識別具有少樣本的新類別； Zhao等[5]通過將特征選擇機制嵌入到AlexNet網絡中從而得到特征選擇網絡(feature selection network, FSN), 該網絡根據學習到的人臉表情特征圖自動強調相關特征并過濾無關特征, 從而提高人臉表情識別的準確率, 特征選擇機制進一步提升了AlexNet網絡的識別性能和泛化能力; Liu等[6]提出了一種端到端的動態多通道度量學習網絡進行表情識別, 該網絡使用3個并行多通道卷積網絡從不同的面部區域學習融合的全局和局部特征; 韓興等[7]為解決面部表情類間相似度高、 類內差異性大等問題, 提出了一種高效通道注意力網絡, 該網絡通過設計高效注意力模塊將特征圖的深度與空間信息相結合以提高網絡模型的判別能力.

本文設計一種網絡深度適當、 模型參數適宜的多尺度網絡(multi-scale network, MSN), 該網絡可提取不同尺度的特征, 從而傳遞更準確、 更完整的面部表情特征. 特征選擇機制可精確定位重要特征并忽略無關背景信息, 為進一步提升網絡的識別性能和泛化能力, 本文結合多尺度網絡和特征選擇機制, 提出一種新的多尺度特征選擇網絡(multi-scale feature selection network, MSFSN), 該網絡同時兼備多尺度網絡和特征選擇機制的優勢, 通過在不同的人臉表情識別數據集上實驗, 驗證了多尺度特征選擇網絡的有效性.

1 多尺度特征選擇網絡設計

1.1 多尺度網絡

圖1 多尺度卷積的網絡結構Fig.1 Network structure of multi-scale convolution

在計算機視覺的相關任務中, 網絡模型的深度是優化網絡性能的關鍵因素, 通常認為更深層次的網絡結構才會獲得更好的結果, 但現有人臉表情識別數據集的樣本數量有限, 大量人臉表情識別的實驗結果表明, 適當深度的網絡結構且使用較少網絡參數的網絡模型仍能取得良好的面部表情分類性能. 為減少網絡模型在訓練過程中出現過擬合現象, 本文設計一種網絡深度適中、 模型參數適宜的多尺度網絡結構. 該網絡受GoogLeNet[8]網絡中Inception結構的啟發, 通過結合多個不同尺度的卷積操作, 可以提取輸入面部表情圖像數據中不同尺度的特征信息, 從而獲得更豐富、 更完整、 更準確的輸入數據特征信息, 進而整合局部特征信息和全局特征信息. 本文提出的多尺度卷積網絡結構如圖1所示. 該結構由1×1,3×3,5×5三類卷積核組成, 卷積核的個數分別為16,32,16, 在卷積層后加入可以提高擬合能力和收斂速度的批量歸一化層(batch normalization, BN), 最后將不同卷積操作得到的特征圖進行通道連接(⊕)操作. 因此, 多尺度卷積網絡結構可以很好地保證特征的全面性與完整性.

多尺度卷積網絡結構的計算過程為

其中Xinput表示多尺度卷積網絡結構的輸入數據, *表示卷積操作,Wm,1表示第m層1×1卷積操作的權重,bm,1表示第m層1×1卷積操作的偏置,Xm,1表示第m層經過1×1卷積操作得到的輸出數據,Wm,2表示第m層3×3卷積操作的權重,bm,2表示第m層3×3卷積操作的偏置,Xm,2表示第m層經過3×3卷積操作得到的輸出數據,Wm,3表示第m層5×5卷積操作的權重,bm,3表示第m層5×5卷積操作的偏置,Xm,3表示第m層經過5×5卷積操作得到的輸出數據, concatenate( )表示通道連接操作,Xoutput表示多尺度卷積網絡結構的輸出數據.

疊加卷積層可進一步提高網絡模型的鑒別能力[9], 因此本文設計的多尺度網絡在第一個最大池化層之前疊加兩個多尺度卷積結構, 然后在第二個最大池化層之前疊加兩個卷積核為3×3的卷積層, 最后連接3個全連接層, 神經元的個數分別為512,512,7, 每個全連接層后都加入Dropout層, 用于減小過擬合風險, 最后是Softmax分類器. 多尺度網絡的網絡結構如圖2所示.

圖2 多尺度網絡的結構Fig.2 Structure of multi-scale network

1.2 特征選擇機制

圖3 特征選擇機制的網絡結構Fig.3 Network structure of feature selection mechanism

特征提取是人臉表情識別中最重要的步驟, 特征選取的優劣直接影響人臉表情分類的準確率. 特征選擇機制作為一種針對人臉表情識別而設計的網絡輔助結構,其可以根據學習到的特征圖強調相關特征, 并有效過濾無關特征, 特征選擇機制通常嵌入卷積神經網絡的卷積層和全連接層之間, 如圖3所示.

特征選擇機制具有兩個分支, 將兩個分支得到的輸出結果進行通道連接(⊕)操作可得到最終的輸出結果. 特征選擇機制的第一個分支有3個卷積層, 其所有卷積層的卷積核都是1×1, 可將第三個卷積層的通道數設置為1, 即第三層只有一個特征圖, 從而可強制定位所有重要的面部表情特征, 且可以計算每個位置的影響占比, 不同面部區域具有不同的權重(如前額的重要程度小于臉頰), 從而得到一張特征權重圖. 該分支每次迭代都會更新, 所以對于每張輸入面部表情圖像都會獲得對應的特征權重圖. 然后將特征權重圖與輸入特征圖進行點乘(☉)操作, 以達到放大重要區域、 削弱甚至消除不重要區域的目的, 進而提高網絡模型的識別性能和泛化能力.

本研究通過分析中國云南省南部紅河哈尼族彝族自治州境內，3類喀斯特生態系統中露石、碎石因子和植物因子的變化規律，得出以下結論：

1×1卷積核有3個優點： 1) 可用于保持或壓縮特征圖的通道數量, 實現跨通道的信息組合, 對不同通道上的像素點進行線性組合, 然后進行非線性化操作； 2) 可實現降維, 從而達到減少參數的目的； 3) 在保證特征圖尺度不變的條件下大幅度地增強非線性特性, 從而提高網絡的表達能力. 圖4為特征選擇機制第一個分支的網絡結構, 將第一個分支的輸入特征圖記為U, 其高度、 寬度、 通道數分別記為H,W,C.由圖4可見, 第一個分支的前向傳播過程, 首先通過三層卷積得到特征權重圖X, 然后將特征權重圖X與輸入特征圖U進行點乘(☉)操作, 得到特征選擇后的輸出特征圖V, 計算公式表示為

Vn=X☉Un,n=1,2,…,N,

(5)

其中Un表示輸入特征圖U的第n個通道,Vn表示輸出特征圖V對應同一通道的特征圖.關于第一個分支的后向傳播, 其相應梯度的計算公式表示為

由上述公式可見, 特征權重圖X對輸入特征圖U的N個特征圖的影響相同.

圖4 特征選擇機制第一個分支的網絡結構Fig.4 Network structure of the first branch of feature selection mechanism

第二個分支使用面部掩膜圖像作為輸入限制人臉區域, 其扮演著輔助特征提取的角色. 輸入掩膜圖像的制作過程如圖5所示. 面部掩膜圖像的制作首先通過Dlib工具庫得到68個人臉特征點, 其次選取構成人臉輪廓的27個特征點(圖5(B)), 將這些特征點依次連接得到人臉輪廓(圖5(C)), 然后將人臉輪廓外的像素值標記為0, 將人臉輪廓內的像素值標記為1, 從而得到面部掩膜圖像(圖5(D)), 最后將面部掩膜圖像的大小調整為H×W, 以適應第一個分支得到的特征權重圖尺寸. 通常背景信息對人臉表情識別具有較強的負面影響, 將得到的面部掩膜圖像與輸入特征圖進行點乘(☉)操作, 從而排除所有與面部表情無關的背景信息.

圖5 輸入掩膜圖像的制作過程Fig.5 Production process of input mask image

因此, 特征選擇機制可以有效強調重要特征, 并忽略背景信息的負面影響, 從而提高人臉表情識別的性能.

1.3 多尺度特征選擇網絡

為進一步提高網絡結構的識別性能和泛化能力, 本文在多尺度網絡的卷積層和全連接層之間嵌入特征選擇機制, 提出多尺度特征選擇網絡, 該網絡可以自動提取和過濾面部表情特征, 從而達到精確定位重要特征、 忽略無關背景信息的目的, 該網絡結構如圖6所示.

圖6 多尺度特征選擇網絡結構Fig.6 Structure of multi-scale feature selection network

多尺度特征選擇網絡的第一部分由兩個多尺度卷積結構、 兩個卷積層和兩個最大池化層組成, 第二部分即為特征選擇機制, 如圖6所示. 通過特征選擇機制第一個分支所得到的特征權重圖大小為12×12, 為適應特征權重圖將輸入掩膜圖像的大小也調整為12×12, 第三部分由3個全連接層構成.

2 實 驗

為驗證本文提出的多尺度網絡(MSN)和多尺度特征選擇網絡(MSFSN)的識別性能和泛化能力, 本文將兩個網絡模型分別在真實世界情感人臉數據庫(real-world affective faces database, RAF-DB)[10]和人臉表情識別數據庫(FER2013, http://www-etud.iro.umontreal.ca/～goodfeli/fer2013.html)上進行實驗, 并將兩個網絡與目前一些性能優越的人臉表情識別方法進行對比分析.

人臉表情識別的性能評估一般分為單一數據集評估方法和跨數據集交叉驗證評估方法兩種. 在單一數據集評估方法中, 網絡模型使用某個數據集的子數據集進行訓練, 并使用同一數據集的其他子數據集進行測試評估. 在跨數據集交叉驗證評估方法中, 網絡模型使用某個數據集的子數據集進行訓練, 并使用其他數據集的子數據集進行測試評估. 本文使用上述兩種評估方法評估多尺度特征選擇網絡的識別性能和泛化能力. 多尺度網絡和多尺度特征選擇網絡與其他方法的識別準確率對比結果列于表1.

表1 多尺度網絡和多尺度特征選擇網絡與其他方法的識別準確率對比結果

由表1可見, 本文構建的多尺度網絡(MSN)的網絡參數僅為AlexNet網絡的8.38%. MSN在RAF-DB和FER2013數據集上的準確率比AlexNet網絡分別提高了16.5%和5.21%, 這主要是因為當使用AlexNet等參數規模較大的卷積神經網絡分類面部表情時, 多數算法通常使用的訓練策略是預訓練和微調方法. 即首先使用大型人臉識別數據集作為輔助數據進行預訓練, 然后使用人臉表情識別數據集(如RAF-DB, FER2013等)進行微調, 這樣將導致人臉表情識別的性能下降, 而且這種訓練策略是非端到端的學習方法. 而多尺度網絡是一個端到端的訓練框架, 多尺度卷積結構的使用可提取不同尺度的特征, 從而傳遞更準確、 更完整的面部表情特征信息. 因此相比于層次結構深、 網絡參數多的網絡模型(如VGG[9], AlexNet[19]等), 本文所構建的網絡深度適當、 模型參數適宜的多尺度網絡更適用于人臉表情識別任務. 此外, 本文構建的多尺度特征選擇網絡(MSFSN)可有效結合多尺度網絡和特征選擇機制的優點, 從而能顯著提高其性能. 雖然該網絡的網絡參數僅為AlexNet網絡的16.14%, 但其在RAF-DB和FER2013數據集上的準確率分別為76.79%和71.25%, 識別性能優于其他人臉表情識別方法.

為更直觀地分析數據集各類別的分類結果, 本文繪制了該網絡在RAF-DB和FER2013數據集上的混淆矩陣, 如圖7所示, 其中混淆矩陣對角線上的數據表示每個類別的準確率.

圖7 多尺度特征選擇網絡在兩個數據集上的混淆矩陣Fig.7 Confusion matrix of multi-scale feature selection network on two datasets

由圖7可見, 對于RAF-DB數據集上的7種表情類別, 多尺度特征選擇網絡識別厭惡表情的難度最大, 準確率僅為42%, 厭惡表情最易被誤判為中性表情, 誤判率為19%, 這主要是因為厭惡和中性兩種表情的表情特征均不明顯且識別特征相似. 開心表情相對于其他表情較易識別, 準確率高達90%, 這是因為開心表情具有更易識別的顯著特征, 例如嘴角翹起、 嘴巴微張和眼瞼收縮等. 對于FER2013數據集上的7種表情類別, 多尺度特征選擇網絡同樣識別開心表情的準確率明顯高于其他表情. 但悲傷和恐懼兩種表情的識別準確率較低, 分別為52%和61%, 且這兩種表情相互之間的誤判率較高, 悲傷表情被誤判為恐懼表情的概率為17%, 恐懼表情被誤判為悲傷表情的概率為13%, 這主要是因為悲傷和恐懼這兩種表情本身特征具有一定的相似性, 例如這兩種表情均具有嘴唇下拉、 眉毛收緊等相同特征. 此外, 悲傷表情也易被誤判為中性表情, 誤判率為13%, 這是因為通常中性表情會具有眼角和嘴角略下拉的特征, 這也是悲傷表情的主要特征, 因此這兩種表情在分類時易被混淆. 實驗結果表明, 誤判容易出現在厭惡和中性、 恐懼和悲傷等特定相似表情上, 因此應加大對特定表情的關注, 從而進一步提高分類能力.

為驗證多尺度特征選擇網絡的泛化能力, 本文在RAF-DB和FER2013兩個數據集上進行交叉驗證實驗, 表2為多尺度特征選擇網絡與其他方法在這兩個數據集上交叉驗證實驗的對比結果. 實驗結果表明, 多尺度特征選擇網絡具有更好的泛化能力.

表2 對比多尺度特征選擇網絡與其他方法的跨數據集交叉驗證實驗結果

由上述對比實驗結果可見：

1) 多尺度特征選擇網絡的網絡深度適當、 模型參數適宜, 適用于樣本數量有限的人臉表情識別任務, 且該網絡在使用較少網絡參數的情況下, 其識別準確率優于其他多數網絡模型, 驗證了該網絡對人臉表情識別任務的有效性；

2) 跨數據集交叉驗證實驗結果驗證了多尺度特征選擇網絡具有良好的泛化能力, 適用于分類非受控的自然環境下的面部表情.

綜上所述, 本文通過對現有的基于卷積神經網絡的人臉表情識別方法進行分析, 結合多尺度網絡和特征選擇機制提出了一種新的多尺度特征選擇網絡, 實驗結果驗證了本文提出的多尺度特征選擇網絡具有良好的識別性能和泛化能力.