基于聯合正則化策略的人臉表情識別方法

蘭凌強，李欣，劉淇緣，盧樹華

（中國人民公安大學 警務信息工程與網絡安全學院，北京 102600）

人類表達情感的方式多種多樣，但是最為直觀的即是人臉的面部表情。在人與人的日常交流中，人們可以通過他人的表情，判斷其心理狀態，加深相互間的理解，故人臉表情識別一直受到學者的較多關注。此外，自動人臉表情識別在智能控制、安全防范、輔助醫療、自動駕駛和商業推廣等人機交互領域得到了廣泛的應用，成為計算機視覺領域較為活躍的研究課題。近年來，隨著計算能力的不斷提升以及神經網絡的興起，深度學習技術廣泛應用于人臉表情識別研究，取得了顯著的進展，特別是各種卷積神經網絡的應用，大大提高了識別的準確率［1-3］。文獻［1-3］都引入了卷積神經網絡用于提取更加有效的特征，相對于傳統方法［4］如LBP（Local Binary Pattern）［5］提取底層特征送入SVM（Support Vector Machine）進行分類來說，準確率有大幅度的提升。然而深度學習模型的訓練需要大量的數據樣本和較高的算力，使得自動人臉表情識別的準確率和實時性仍需進一步提高，因此研究加速模型訓練和提高模型性能的方法成為學者關注的熱點之一。

目前，大多神經網絡架構在訓練和測試時使用了批量正則化（Batch Normalization，BN）［6］、實例正則化（Instance Normalization，IN）［7］和組正則化（Group Normalization，GN）［8］或過濾器響應正則化（Filter Response Normalization，FRN）［9］等方法，實踐表明這些方法可以加速模型訓練，防止過擬合和提高模型性能。但是不同的方法仍面臨一定的局限性，例如，BN方法對于batch size數值較為敏感，在其數值較大時，訓練和測試結果較為理想，但是在復雜背景下或輸入圖片像素較大時，由于GPU（Graphics Processing Unit）顯存有限，只能降低batch size，而其數值較小時，模型性能并不理想，為克服此類問題，IN和GN等方法相繼提出，最近，Singh和Krishnan［9］提出FRN方法，克服BN方法的batch size依賴，但是該方法的方差對輸出通道大小較為敏感。

因此，本文提出了FRN+BN、IN+GN、BN+GN等聯合正則化策略，彌補單一優化帶來的不足，盡可能使網絡保留有效的特征信息，改善數據分布，提高模型性能。以ResNet18作為基本框架，在標準公開數據庫（FER2013［10］數據集和CK+［11］數據集）上運行實驗，取得了較高的準確率，實驗結果表明所提方法能夠提高經典網絡結構性能，具有較好的魯棒性。

1 相關工作

傳統的基于圖片的表情識別通常是使用手工設計并提取底層特征，例如LBP、HOG（Histogram of Oriented Gradient）［12］、SIFT （Scale-Invariant Feature Transform）［13］等，在早期，這些方法在一些數據集上都取得了較好的結果［11，14-15］。隨著ILSVRC2013（Large Scale Visual Recognition Challenge 2013）的落幕，深度神經網絡得以迅速的發展，并逐步應用到人臉表情識別中。深度神經網絡特別是深度卷積神經網絡（Convolutional Neural Networks，CNN）是提升機器視覺任務方面（例如人臉識別［16］、屬性識別［17-18］和表情識別［19-20］等）重要方法。卷積神經網絡可進行人臉表情深層特征提取和分類，對于各種干擾更加具有魯棒性，因此更適合分類，使識別準確率得到顯著提高。以下從人臉表情識別的神經網絡架構和數據正則化兩方面簡要介紹。

卷積神經網絡的結構受到學者較多關注。Yu和Salzmann［21］提出了新的網絡，在經過卷積后的特征圖中提取協方差矩陣，計算矩陣參數的二階變換，對矩陣進行參數向量化，由此二階統計特征也開始運用到識別上。Gao等［22］運用全局二階統計特征提出了Gsop（Global second-order pooling）網絡，可以捕獲沿通道尺寸或位置維度的全局二階統計量，充分利用圖像中的上下文信息并且內存和計算復雜度都減小。Huang和Luc［23］提出了新穎的黎曼網絡架構，為黎曼流形上的對稱正定矩陣（Symmetric Positive Definite，SPD）深度非線性學習開辟了新的方向，且把Riemannian結構并入深度網絡體系結構以壓縮數據空間和權重空間。隨著SPD網絡的提出，Acharya等［24］把SPD網絡與VGG網絡相結合，把得到的卷積特征圖先展開計算其協方差矩陣，再把協方差矩陣送入SPD網絡中進行運算。Hamester等［25］提出了一種多通道卷積神經網絡，通過結合卷積神經網絡和自動編碼器的信息來識別面部表情。Mollahosseini等［26］等提出具有Inception層的網絡架構，把Inception運用在人臉表情識別上面，結合面部動作進行表情分析。Chen和Hu［27］提出類間關系學習網絡，同時輸入兩張不同表情的圖片經過幾個Inception層得到特征圖進行融合學習不同表情之間的關系，再用注意力機制送入分類器。Liu等［28］提出了一種具有可變動作部分約束的3D卷積神經網絡，該網絡可以檢測到特定的面部部分動作并且獲取到易區分的表征特征。Nguyen等［29］提出了一個基于殘差網絡為基礎的多特征水平的融合方法，利用底層特征和高層特征的融合來輔助提高其準確率。

深度學習模型的加速和優化發展迅速，2015年，Ioffe和Szegedy［6］提出批量正則化，對經過卷積層之后的數據進行標準化，加速網絡的處理速度，但是批量正則化對于批處理的大小敏感，導致批處理越小其效果越差。2017年，Ulyanov等［7］提出實例正則化，對單個圖片進行處理保留圖像中顏色、風格，虛擬的或現實的不敏感的特征，其效果在圖像風格遷移，高分辨重組等方面具有良好表現。Wu和He［8］在2018年為克服批量正則化的局限提出了組正則化，提高了在批處理較小時的效果，但是在批處理大時并沒有批量正則化的效果好。2019年，谷歌團隊［9］提出了過濾器響應正則化，對于組正則化來說又是進一步的提升，其保留了組正則化的優點，同時保留了批量正則化在批處理大時的效果。

2 基本原理

正則化的基本原理是改善神經網絡學習模型的數據分布情況，若沒有做正則化處理，那么每一批次訓練數據的分布都不一樣，由于每層輸入數據分布都在不斷的變化，這會導致網絡難以收斂。而正則化主要是對輸入的數據進行標準化以提高代碼的處理速度［30］，防止過擬合，進而增強其泛化能力。在深度神經網絡中常用的幾種正則化方法有：批量正則化、實例正則化、組正則化和過濾器響應正則化。然而每一種正則化都應用在不同的領域上，批量正則化主要用于圖像分類和識別問題上；實例正則化主要用于風格遷移、圖像超分辨率上；而組正則化是彌補了批量正則化在批處理過小時表現效果較差而提出，在一些極端條件下可以等價于實例正則化；過濾器響應正則化不僅僅彌補批量正則化對于批處理過小時表現差同時還保持了批量正則化對于批處理大時的效果。

2.1 批量正則化

批量正則化是最早提出，也是效果最好的一種正則化的方式，其主要是通過式（1）計算其均值，再利用式（2）對每個通道進行正則化［6］。

式中：xnhwc為特征張量元素值，x=［N，C，H，W］為特征張量，N為批處理的大小，C為通道數，H和W分別為特征圖的高和寬；μBN為計算后特征圖的均值；ω為常數；^xBN為特征經過正則化操作后的值。

批量正則化主要是針對每一個神經元，使數據在進入激活函數之前，沿著通道計算批處理的均值、方差，強制使得數據保持在均值為0，方差為1的正態分布，減少訓練卷積神經網絡時內部協變量的偏移，避免梯度消失，提高學習速度并且加快收斂速度，這使得批量正則化成為了一些主流的卷積神經網絡架構的一部分，例如ResNeXt［31］、Inception［32］、Dense Net［33］等，批 正 則 化 也 有 一 定 的 缺點，因為均值和方差是根據訓練集預先計算得出，運行通常使用平均值，因此在測試階段沒有進行正則化，當目標數據分布發生變化，訓練計算出的結果也可能會產生變化，這些問題會導致在訓練和測試時產生矛盾。此外，批處理的大小對于合理估計訓練數據的均值和方差有較大大的影響。

2.2 實例正則化

與批量正則化不同的是，批量正則化注重每一次批處理的大小進行正則化，保證數據分布一致，因為判別模型中結果決于數據整體的分布情況。然而實例正則化是對每個批次中的單個圖片進行正則化，所以實例正則化的信息都來自于自身的圖片，相當于對全局信息做了一次整合和調整，但是對于各個通道之間沒有信息的交流，其主要是通過式（3）計算其均值，接著利用式（4）對單個特征圖進行正則化［7］。

式中：μIN為計算后特征圖的均值；^xIN為特征經過正則化操作后的值。

實例正則化主要用于風格遷移和類似的任務上，因為它可以從內容中過濾出特定實例的對比信息。但是把實例正則化主要用于圖像分類的問題上，相比批量正則化的結果來說稍差［34］。

2.3 組正則化

組正則化是為了解決批量正則化中批處理的大小過于小而提出的，組正則化是將通道分成組，并在每組內計算正則化的均值和方差。組正則化的計算與批量大小無關，所以其準確率在各種批量大小下都很穩定，組正則化首先是通過式（5）計算分組的均值，接著通過式（6）對分組進行正則化操作，G為對通道數C的分組大小［8］。

式中：G為通道分組數量；μGN為計算后特征圖的均值；為特征經過正則化操作后的值；g為通道分組后的組標。

2.4 過濾器響應正則化

過濾器響應正則化和實例正則化是在同一個維度進行操作，對每一個樣本的每一個通道：

式中：γ和β為可學習的參數，通過網絡的訓練學習得到；v2為特征圖的二次范數的平均值；為正則化后特征取值；yi為特征經過正則化操作后網絡輸出的值。

2.5 聯合正則化

目前，絕大多數的深度網絡使用的都是單一的正則化策略，該策略只能夠保留其自身的優勢，同時也會帶來一定不足。聯合正則化策略，使用了兩種正則化相結合的優化方法，保存了兩種正則化策略的優點，還互補了兩者的不足。就4種正則化策略來說，批量正則化和組正則化保留了各個樣本之間的區別，但是也使得卷積神經網絡容易受到外觀變換的影響。實例正則化消除了個體的對比，但是同時消減了有用的信息，過濾器響應正則化彌補了批量正則化的缺點，同時還保持了批量正則化的優點，但是不適用于非卷積運算，并且過濾器響應正則化的方差對輸出通道大小敏感。上述方法都有著各自的局限性，綜上考慮，提出聯合正則化策略引入到網絡結構中以保留各自的優勢，并形成互補性。借鑒文獻［35］思路，對ResNet18殘差網絡的基本模塊進行改善，在通過第一個卷積產生64個通道后，將64個通道分成兩個32通道，把這兩個32通道分別送到不同正則化函數如FRN+BN、IN+GN 以 及BN+GN 再 分 別 通 過式（10）～式（12）進行正則化處理，接著把正則化過后的兩個32通道拼接在一起，送到下一個卷積。

3 實 驗

3.1 數據集

為評估所提出的聯合正則化方法的效果和泛化性，本文在2 個典型的國際公開數據集（FER2013和CK+）上進行了實驗。以下將簡要介紹一下這2個數據集。

3.1.1 FER2013數據集

該數據集是由ICML（International Conference on Machine Learning）2013［10］挑戰產生，是表情識別數據集中比較大的數據集，這些圖片都是從谷歌圖片中獲取并且每張圖片是在非限制條件下拍攝，所以這些圖片可能帶有噪聲或者是質量相對較差。所有的圖片都經過預處理過并且裁剪為48×48。包含了28 709張訓練圖片，3589張驗證圖片和3589張測試圖片都帶有7種表情標簽，即生氣、厭惡、害怕、高興、傷心、驚訝和中性。這7種表情分類是基于心理學家Ekman與Friesen［36］對表情做出了定義，將表情分為6種（生氣、厭惡、害怕、高興、傷心和驚訝）適用于不同種族和文化差異的基礎上，后期又添加了中性表情與其中一共構成7 種表情。圖1（a）展示了FER2013各個表情分類的示例，圖1（b）給出了FER2013各個表情數量的分布情況。3.1.2 CK+數據集

圖1 FER2013數據集表情分類示例及表情數量分布Fig.1 Samp les of FER2013 dataset for facial expression and distribution of number of each facial expression

擴展CK+數據集用于評估人臉識別系統最廣泛的實驗室控制數據集。CK+包含了從123個對象中提取的593視頻序列。這些序列持續時間從10幀到60幀不等，展示了從中性臉表情到高峰表情的轉變。在這些視頻中來自118個對象的327個序列帶有7個基礎表情標簽（生氣、蔑視、厭惡、害怕、高興、傷心和驚訝）都是基于面部運動編碼系統。與FER2013不同，CK+中用了蔑視代替中性表情并且CK+沒有提供專門的訓練集、驗證集、測試集，所以算法的評估并沒有統一。基于靜態的圖片方法，大多數人使用的是提取最后1～3幀具有高峰表情的幀和每個序列的第1幀（中性面），然后把這些數據分為n組，進行n倍的交叉驗證實驗，一般n取5、8、10。圖2（a）展示了CK+表情分類的示例，圖2（b）給出了CK+各個表情數量的分布情況。

圖2 CK+數據集表情分類示例及表情數量分布Fig.2 Samples of CK+dataset for facial expression and distribution of number of each facial expression

3.2 網絡結構及其訓練

基于ResNet18網絡架構基礎，提出3種聯合正則化模型對網絡進行優化，并用于表情識別中，把過濾器響應正則化與批量正則化、實例正則化與組正則化、組正則化和批量正則化分別組合。ResNet18包含了4個殘差塊，如圖3中（a）表示使用了單一正則化策略（BN、FRN、GN和IN）作為基礎模塊。筆者把殘差網絡第1層卷積7×7用3×3卷積替代，因為FER2013和CK+都是灰度圖像，于是把這2個數據集的圖片復制成3份使得殘差網絡的輸入為3通道，在最后一個卷積層和全連接層之間加入了丟棄層為了防止過擬合，并且在網絡的最后只加了一個帶有分類器的全連接層，減少了計算量。僅將所提的3種組合優化方式添加到殘差網絡中的前3個殘差塊中，最后一個殘差塊保留不動。對于每一個殘差塊，在第一個卷積層后面的批量正則化改成3種組合模式進行優化，如圖3中（b）、（c）、（d）所示。

之所以不在殘差網絡的恒等路徑上加入優化函數，是基于文獻［37］中提出的對于殘差網絡來說不需要對恒等路徑做過多的處理，否則會導致殘差網絡的效率降低。也不在第2個卷積層后加入組合的優化策略是為了避免匹配的問題，這樣的設計是對模型容量大小來考慮，另一方面可以使用不同優化函數的優點相互結合，具有互補性。如圖3中（b）所示，把過濾器響應正則化與批量正則化相結合，彌補了批量正則化的缺點，同時還繼承了過濾器響應正則化優點。如圖3中（c）所示，把實例正則化和組正則化相結合，這樣可以利用實例正則化學習到對形狀變換，比如顏色，風格，虛擬的或現實的不敏感的特征，利用組正則化對于批處理大小的不敏感性來彌補批量正則化的不足，保留其紋理信息。如圖3中（d）所示，把組正則化與批量正則化相結合，用組正則化來彌補批量正則化對批處理大小敏感問題，利用批量正則化來進行各通道信息交流。

圖3 網絡架構Fig.3 Network architecture

實驗是在Ubuntu16.04系統下利用Pytorch 0.4.1運行并且使用了Nvidia RTX 2070 GPU進行訓練，權重更新使用了隨機梯度下降將其設置動量為0.9，權重衰減為0.000 5。初始的學習率設置為0.01，迭代次數設置為350并且在80次迭代后開始衰減。在訓練過程中，首先對面部表情分類器進行了微調，為了防止過擬合提高其準確率，其次對數據集都采取了數據增強的策略，對每一張數據集的圖片隨機創建了10張大小為44×44的裁剪圖片。此外，還收集了每個面部表情的10張處理過的圖像，通過裁剪圖片的右上角、左上角以及中心等區域來測試，最后通過對這10張處理過后的圖片取平均誤差減少分類錯誤，做出判斷。

在實驗中，運用了所提出的3種聯合正則化方案的基本框架是采用了文獻［37］中的Res-Net18網絡，其中的ResNet18使用單一的批量正則化進行優化。對所提出的每一種正則化方案進行了命名，將FRN+BN聯合正則化稱為Model1；IN+GN聯合正則化稱為Model2；BN+GN聯合正則化稱為Model3。

4 結果與討論

4.1 FER2013數據集實驗結果

表1展示了所提出的聯合正則化方法及基礎框架在數據集FER2013上私有測試集的性能比較，從表1可以看出，本文所提出的3種聯合正則化策略相較于文獻［38］中的殘差網絡框架的準確率都有一定的提高，其中Model1取得了最優的效果。

表1 基礎框架以及添加聯合正則化策略后的實驗結果Table 1 Experim ental results of basic fram ework and adding join t norm alization strategies

為了比較不同數量的聯合正則化對于Res-Net18的效果，在數據集FER2013上進行了測試，結果如表2所示。其中，殘差網絡具有4個殘差塊，0表示不加入聯合正則化，1-2、1-3以及1-4分別表示在前2個殘差塊、前3個殘差塊以及全部殘差塊都加入了聯合正則化。從實驗結果得出，Model1、Model2和Model3加入聯合正則化在淺層時能夠提高網絡性能，其中在前3個殘差塊中使用Model1取得了最優的效果，可能源于在底層中使用聯合正則化能夠最大可能保留了有效特征，輔助提高了準確率。但是加入在最后一個殘差塊時3種聯合正則化模型的性能都開始下降，表明在高層中使用BN保留其抽象信息可能更為重要。

表2 殘差網絡添加聯合正則化數量的效果比較Table 2 Com parison of im pact of adding num ber of join t norm alization based on residual network

此外，筆者對單一優化以及聯合正則化進行了對比，通過對不同數量的聯合正則化的效果實驗，采用前3個殘差塊加入聯合正則化（ResNet18（1-3）），為了進行對比實驗，將聯合正則化部分替換成單一優化，具體實驗結果如表3所示。從表3可以看出，僅單一使用FRN優化的準確率為72.276%，但是Model1（FRN+BN）聯合正則化達到了73.558%，與單一使用FRN相比效果有較為明顯提升。僅使用IN優化與Model2相比，Model2（IN+GN）的效果提升了0.362%，Model2與Model3中都使用了GN與其他正則化函數的結合，其結果與僅使用GN的效果相比也有一定的提高。可見，聯合正則化策略能夠融合2種正則化方法的優點，提高網絡性能。

表3 單一正則化與聯合正則化（在前3個殘差塊中使用）的比較Tab le 3 Com parison between individual norm alization and joint norm alization（used in the first three residual blocks）

為進一步研究所提正則化策略的性能，將本文Model1、Model2以及Model3與目前已有比較新的幾種方法（SHCNN［39］、文獻［40］、IcRL［27］和文獻［41］）在FER2013數據集上進行了比較，結果如表4所示。SHCNN［39］提出了一個3個卷積層（5×5，3×3，5×5）的淺層網絡，為了防止過擬合以及梯度爆炸的問題。在文獻［40］中，對于基礎的Softmax函數進行了研究并進行了改善，通過控制余弦值和輸入特征圖的大小來分析和提高Softmax函數，從而獲得更加具有區分力的特征，以助于提高表情識別的準確率。文獻［27］提出了一個新的網絡架構（IcRL），同時從兩個不同表情的圖像中提取特征，然后將兩個提取的特征以隨機比率進行整合，從而獲得混合特征。還提出了一個關注模塊，為混合特征的每個像素分配權重。最后，將加權后的混合特征輸入到后續的分類模塊中。整個網絡訓練的目的是輸出每個表達式的正確比例，從而學習不同類別的表情之間的相互關系，并擴大類間距離與類內距離之比。文獻［41］是在類感知余量和對人臉表情識別三元組損失具有異常值抑制的基礎上提出了一個新的Triplet損失函數，對于每一對表情例如高興和害怕都分配了自適應的余量參數，并且根據特征距離分布拋棄異常的 Triplet。這些方法都在FER2013數據集上都取得了良好的效果。相比較而言，本文所提Model1取得了最高的準確率，至少提高了約1%。圖4展示了Model1在FER2013上私有測試集和公有測試集的混淆矩陣。

表4 本文方法與目前較新的方法在FER2013數據集上準確率比較Table 4 Com parison of accuracy rate between proposed method and state-of-the-artmethods on FER2013 dataset

圖4 FER2013私有和公有測試集混淆矩陣Fig.4 Confusion matrix for FER2013 private and public test sets

4.2 CK+數據集實驗結果

為了研究所提正則化策略在其他數據集上的性能，選取CK+數據集進行了實驗，并與一些方法的結果進行了比較，具體內容如表5所示。對于CK+數據集使用了十倍交叉驗證法進行驗證。從表5中可以得出，對于CK+數據集來說，所提出的聯合正則化模型相對于文獻［38］的基本框架來說準確率有較為明顯的提高，最多提高了5.6%。此外本文展示了Model1在CK+數據集上的混淆矩陣，如圖5所示。但是其中7種表情中，蔑視使用的訓練樣本只有54張圖片，數量較少導致其識別準確率較低，只有78%，從而影響了平均準確率。從結果可以看出所提出的正則化策略性能較好，優于部分所比較的方法，表明了聯合正則化具有一定的優越性。

表5 本文方法與目前較新的方法在CK+數據集上準確率比較Tab le 5 Com parison of accuracy rate between p roposed m ethod and state-of-the-art m ethods on CK+dataset

圖5 CK+數據集混淆矩陣Fig.5 Confusion matrix for CK+dataset

4.3 結果討論

從4.1節、4.2節結果可以看出，相對于無正則化和單一正則化方法，所提出的聯合正則化策略在非限制條件下和限制條件下兩種數據集上表現較好，表明將聯合正則化引入卷積神經網絡中，可使網絡既能利用單一正則化的優點，又能保留與表情相關的有效特征，從而提高網絡的性能。由于沒有增加通道數量，故聯合正則化策略并沒有增加計算量。

Model1采用FRN+BN策略，FRN彌補了BN批處理大小的問題，同時消除尺度帶來的問題，而BN保留紋理相關的特征，兩者結合盡可能地保留了與表情相關的有效特征，提高了識別準確率。Model2采用IN+GN策略，在底層使用IN保留例如顏色、風格等不敏感的特征，同時結合GN保留紋理信息消除對批處理大小的依賴，改善單一正則化的弱點。Model3采用BN+GN策略，表明對于單一使用BN不如使用BN和GN聯合正則化的效果，在同時使用GN和BN的過程中，部分的特征圖使用了GN消減了僅使用BN時對于批處理大小的過度依賴，提高了其準確率。

此外，使用聯合正則化在底層保留部分除紋理以外的特征能夠輔助提高分類準確率，但在高層，相關內容信息可能更為重要，因此，在底層使用不同的正則化策略利用各自的優點存儲不同的特征能夠更好地提高模型性能。

5 結 論

1）本文提出了3種聯合正則化策略，將過濾器響應正則化與批量正則化、實例正則化和組正則化、組正則化和批量正則化兩兩結合，彌補單一正則化所帶來的不足，盡可能保留有效的特征信息，提高網絡分類的準確性。

2）Model1在國際公開數據集FER2013取得73.558%的準確率，CK+上取得了94.9%的準確率，表現效果比Model2和Model3更好并且優于諸多當前人臉表情識別方法。

3）聯合正則化策略，可以嘗試嵌入到絕大多數的網絡框架中，加速模型訓練，輔助提高其效果以及泛化能力。