基于卷積神經網絡和深度特征融合的學習表情識別

范凌云

(重慶城市職業學院，重慶 402160)

1 概述

學習表情識別是智慧教育系統的關鍵功能，有助于教師判斷學生的學習狀態,進而采取適當措施,進行個性化輔導，提高學習效率。目前，學習表情識別已成為智慧教育領域的研究熱點。但是，不同的學習表情存在局部重疊現象，例如厭惡的皺眉、高興的眉毛下拉動作都會導致眼睛變小。所以，僅通過距離、角度等幾何特征無法有效區分面部變化存在重疊的表情。特征提取是表情識別的關鍵步驟，研究人員對此開展了深入研究，研究表明融合特征具有更好的識別效果。例如，Yuechuan Sun等人使用Gabor、LBP 融合特征向量進行表情識別，達到了比單一特征向量更好的識別效果[1]。Liu Yanpeng 等人利用LBP 和HOG 融合特征實現了更佳的識別效果[2]。除了上述淺層特征的融合，當前主流的深度學習模型CNN（卷積神經網絡）可以根據淺層特征[3]進一步提取到深度特征，從而實現深度特征融合，增強抗噪性和區分能力。因此，本文基于卷積神經網絡提取深度特征，并將深度特征融合，以提升學習表情的識別效果。

2 人臉圖像預處理

人臉圖像預處理是表情識別的首要環節，包括人臉檢測、圖像歸一化處理，其主要目的是分割出人臉部分的圖像，降低噪聲干擾，提高對比度[4]，保留圖像的關鍵信息。

2.1 人臉檢測

人臉檢測通過算法判斷圖像中是否有人臉，并對人臉進行定位，從而分割提取出臉部區域。基于Haar 特征的Adaboost 算法是一種主流的人臉檢測算法，該算法基于特征描述進行人臉檢測[5]，具有速度快、魯棒性好等優點。Haar 特征值反映了圖像的灰度變化情況，Adaboost算法通過弱分類器疊加構成強分類器，再將強分類器級聯，就可利用Haar 特征值實現人臉快速檢測[6]。使用OpenCV 視覺庫可以快速實現基于Haar 特征值的Adaboost 人臉檢測算法，其操作流程如下：（1）調用CascadeClassifier 方法加載已訓練好的Adaboost 聯級分類器。（2） 調用imread 方法加載圖像。（3） 調用detectMultiScale 方法對圖像進行人臉檢測。（4）使用Rect和imwrite 方法實現人臉截取及保存。

2.2 歸一化處理

人臉圖像歸一化可以有效減少干擾信息，并生成標準化的人臉圖像，進而提升表情分類、特征提取算法的效率[7]。本文利用OpenCV 視覺庫實現人臉圖像的灰度歸一化處理，提取灰度特征，并將圖像尺寸幾何歸一化為224*224 分辨率，如圖1 所示，其操作流程如下：（1）調用imread 方法加載圖像，并使用cvtColor 方法實現圖像灰度化；（2）調用equalizeHist 方法進行直方圖均衡化處理，解決圖像光照度不足等問題；（3）創建Mat 對象并指定幾何歸一化后的圖像尺寸和類型；（4）調用resize 方法實現幾何歸一化；（5）調用imwrite 方法保存幾何歸一化后的圖像。

圖1 預處理后的范例圖

3 深度融合特征提取

3.1 LBP 特征提取

LBP（Local Binary Pattern，局部二值模式）能夠有效描述局部圖像紋理空間結構，具有旋轉不變性和灰度不變性[8]，并對光照有較強的魯棒性，是一種主流高效的表情識別特征。其中，均勻模式LBP 是一種改進的LBP 算子，不僅大幅度減少了數據，還有效保存了圖像的完整信息[9]。均勻模式LBP 的基礎是圓形LBP 算法，其核心是判斷二進制編碼的變換次數，算法流程如下：

3.1.1 以某像素點為圓心，在半徑為R 的圓形鄰域內提取P 個采樣點。如圖2 所示，該鄰域以2 為半徑，定義了一個5x5 的鄰域，并在鄰域中提取了8 個采樣點。

圖2 LBP鄰域圖

圖2 中采樣點的提取方法如公式（1）、公式（2）所示，其中，(xt,yt)為某個采樣點的坐標，(xd,yd)為鄰域中心點坐標，p 為第p 個采樣點的編號，P 為采樣點的個數。

3.1.2 將P 個采樣點依次與中心像素點的灰度值相減，如果差大于0，就將該像素點的位置標記為1，否則置為0[10]。由此，得到P 個二進制數，然后按一定順序排列（通常按采樣點順時針組合），得到一個P 位二進制數，該值就是中心像素點的LBP 特征值。

3.1.3 對第2 步得到的二進制LBP 值進行跳變統計，根據跳變次數是否大于2，可將LBP 值分為等價模式類和混合模式類。由此，將二進制模式種類由原來的2p 減少為p(p-1)+2 種，且不會丟失任何信息[11]。

3.1.4 將第3 步得到的二進制等價模式類，按從小到大的順序分別編碼為1～p(p-1)+2，該編號就是相關中心像素點在LBP 特征圖像中的灰度值；而所有的混合模式類全部編碼為0，即所有的混合模式類相關的中心像素點在LBP 特征圖像中的灰度值為0。利用OpenCV 視覺庫可以實現上述算法，從而求解出圖像中每一個像素點的LBP特征值，即整張圖像的LBP 特征表示，如圖3 所示。

圖3 灰度圖像的LBP 描述

3.2 基于CNN 的深度特征提取與融合

卷積神經網絡（CNN）是能夠進行卷積運算的深度前饋神經網絡，一般由卷積層、池化層和全連接層組成[12]，能有效提取深層圖像特征。此外，CNN 的局部感知、權值共享及池化特性能夠大幅降低計算復雜度，提升訓練速度，并實現平移、縮放和旋轉不變性。Alexnet 是一種經典的多特征融合網絡模型，因此，本文選用AlexNet 模型構建卷積網絡以實現深度特征的提取與融合，其具體步驟如下：3.2.1 基于AlexNet 模型實現CNN 網絡；3.2.2 利用AlexNet 網絡提取灰度圖像的深度特征FColor；3.2.3 利用AlexNet 網絡提取LBP 紋理圖像的深度特征FLBP；3.2.4由于FColor特征數據值與FLBP特征數據值的大小差異巨大，導致計算非常耗時。因此，必須對FColor特征和FLBP特征數據進行零均值標準化，如公式（3）所示，相關參數的計算方法如（4）、（5）、（6）表示。

其中，fi代表第i 個數據，μ 是所有樣本數據的均值，σ 是標準差，用于衡量數據的穩定性，n 代表數據的總數量，std 為方差，用于衡量數據的離散程度。3.2.5 對零均值標準化后的FColor特征和FLBP特征數據進行向量拼接（即串聯），從而得到融合后的特征向量Ffuse，見公式（7）。

3.2.6 主成分分析法（PCA）是一種常見的數據分析方式，主要用于高維數據的降維，可提取數據的主要特征分量[13]，從而使用較少的數據維度保留較多的原數據點特性。因此，本文進一步對融合特征進行PCA 降維處理，從而有效減少冗余，提高識別效率。

4 基于深度融合特征的表情識別實驗

支持向量機（SVM）是當前最流行的機器學習分類算法之一，其本質上是一種二分類模型，支持線性與非線性分類。由于線性可分在實際應用中具有一定的局限性，SVM 引入了核函數，將線性不可分的原始數據集從低維映射到高緯空間，從而將其轉換為線性可分[14]。如圖4(a)所示的二維環形原始數據集，當使用核函數將其映射到如圖4(b)所示的三維空間后，不僅可以獲得最優超平面實現兩類數據的分類，還可大幅減少計算量。因此，本文選擇SVM 實現表情分類識別。

圖4

4.1 實驗環境及流程

高興和厭惡是學習過程中的兩種關鍵情感，當學生處于積極學習狀態，就表現出高興表情，而處于消極學習狀態時，則表現出厭惡表情。因此，為驗證深度融合特征的有效性，本文選取了CK+數據集的164 張高興、厭惡表情圖像進行實驗，其中訓練樣本集包括高興表情65張、厭惡表情58 張，測試樣本集包含高興表情23 張、厭惡表情18 張。實驗平臺為PyCharm 2020.1.3(Community Edition)，Python 版本為Python3.8，涉及的相關庫文件包括：tensorflow、Matplotlib、cv2、sklearn、pandas、playsound、scikit-image、h5py、dlib、keras。此外，為驗證融合特征的魯棒性，本文在上述CK+數據集上進行了2 組實驗。實驗1 基于單一的LBP 紋理特征進行學習表情識別，而實驗2 則基于融合特征進行學習表情識別，其實驗流程如下：4.1.1 對CK+數據集的高興、厭惡表情圖片預處理；4.1.2 提取LBP 特征；4.1.3 利用AlexNet 網絡提取灰度圖像的深度特征FColor；4.1.4 利用AlexNet 網絡提取LBP紋理圖像的深度特征FLBP；4.1.5 對FColor特征和FLBP特征數據進行零均值標準化；4.1.6 對歸一化之后的特征FColor和FLBP進行串聯，形成深度融合特征Ffuse；4.1.7 對Ffuse進行PCA 降維；4.1.8 將Ffuse輸入SVM 中進行訓練和分類。

4.2 實驗結果分析

2 組實驗的分類結果如表1 所示，其中基于深度融合特征的平均識別率為92.2%，高興表情識別的正確率為95.6%，厭惡表情識別雖然存在樣本量較少等不利因素，但識別的正確率也達到了88.9%，具有較高的識別率，這說明了深度融合特征在學習表情識別中的有效性。

表1 學習表情分類結果

此外，深度融合特征比單一LBP 紋理特征的平均識別率提高了約10%，高興和厭惡表情識別的準確率也遠高于對方，如圖5 所示，這說明深度融合特征對SVM 分類方法起到了增強作用，具有更好的特征魯棒性。

圖5 識別效率對比圖