基于卷積網絡與特征臉的面部表情聚類

王鴻飛，馬儒寧

南京航空航天大學 數學學院，江蘇 南京 211106

人臉表情識別技術在智能駕駛、人機交互、虛擬現實等領域都有著廣泛應用和發展空間，是近年來機器視覺領域的研究熱點。心理學教授Mehrabian[1]曾提出人類有6 種主要情感，每種情感對應人的一種獨特心理活動。這6 種情感包括憤怒(angry)、高興(happiness)、悲傷(sadness)、驚訝(surprise)、厭惡(disgust) 和恐懼(fear)，后來又增加了中性(neutral)作為第7 種情感。對人臉表情的研究主要圍繞這7 種表情，通過表情特征提取、表情分類達到表情識別的目的。

表情識別通常分為圖像預處理、表情特征提取和特征分類識別3 個步驟。其中，提取出完整、穩健且富有區分性的表情特征是表情識別的關鍵所在。特征提取主要分為傳統研究方法和基于深度學習2 個方向[2]，基于深度學習的特征提取框架包含深度置信網絡(deep belief network, DBP)、自動編碼器方法(denoising autoencoder，DAE)、卷積神經網絡(convolutional neural networks, CNN)和生成對抗網絡(generative adversarial networks,GAN)。由于卷積神經網絡具有對光照條件、圖像的旋轉平移不敏感的特點[3]，利用深度CNN 來實現對圖像的特征提取與識別是目前的主流研究方向。蔡靖等[4]提出將VGG16 卷積網絡模型應用到人臉表情識別中，在FER(face emotion recognition)數據集上準確率達到了79%。表情分類一般通過支持向量機(support vector machine, SVM)、K近鄰算法(K-nearestneighbor, KNN)以及人工神經網絡(artificial neural network, ANN)等方法來實現[5]。劉全明等[6]通過卷積網絡提取圖像的最后一層特征圖，然后使用SVM 和神經網絡分類器對聚類后的特征圖進行分類，在FER2013數據集上達到71.67%的準確率。姚麗莎等[3]通過構建CNN 網絡學習面部眼睛和嘴巴區域的局部特征，然后將局部特征送入到支持向量機（SVM）多分類器中獲取各類特征的后驗概率，再通過優化算法找到各局部特征的最優融合權值實現表情分類，其在CK+和JAFFE 數據集上準確率分別達到94.56%和97.08%。由于聚類算法實現原理簡單且收斂速度快，將傳統聚類算法和卷積網絡結合，對表情圖像提取特征后再聚類，由聚類生成的簇達到表情分類的效果。

1 圖像預處理

本節主要介紹本方法中用到的面部分割和特征臉的生成過程。為了獲得更精準、更具有代表性的特征數據，在執行聚類前往往通過圖像預處理得到有效且合適的數據，從而達到更好的聚類效果[7]。

1.1 表情數據集

實驗以日本女性面部表情數據庫(the Japanese female facial expression database, JAFFE)[8]和CK+數據庫所包含的面部表情圖像作為實驗數據。JAFFE 數據庫[9]由10 名日本女性志愿者每人做出7 種表情，每張表情平均約3 張，共計213 張表情圖像組成。7 種表情標簽分別為憤怒、厭惡、恐懼、高興、悲傷、驚訝和中性。每張圖像中人臉大致對齊，且大小均為256×256 像素的灰度圖像。數據庫中同一人經過人臉提取后的7 種表情圖像如圖1 所示。

圖1 JAFFE 表情庫中同一人的7 種表情

1.2 人臉檢測和分割

本實驗的圖像預處理過程主要包括人臉檢測和面部分割重組。受到姚麗莎等[3]利用卷積網絡學習面部局部區域的特征然后特征融合的啟發，利用Python 和第三方Dlib 工具庫先將人臉面部提取出來，再將面部分割成8 個部分。面部標志檢測器[10-12]通過在大量數據上訓練回歸樹集合，不經過特征提取直接在像素層面估計面部標記所在位置，常用于實時和高效的人臉檢測。如圖2 所示，Dlib 庫利用訓練好的面部標志檢測器產生68 個(x,y)坐標，這些坐標對應面部的特定結構。通過定位這些點的坐標，就能準確地將人臉從圖像中提取出來并分割成不同的部分，圖3 展示了將一幅完整的人臉分割以后的6 個部分，包括左眼( left-eye)、右眼(right-eye)、左眉(left-eyebrow)、右眉(right-eyebrow)、鼻子(nose)和嘴巴(mouth)。

圖2 面部坐標可視化

2 情緒特征臉生成

每幅圖像剪裁后都得到8 個局部圖像，將每個樣本的相同部分放在同一個文件夾下，這樣每個文件夾內有N（樣本數量）個局部圖像。分別對8 個局部圖像進行K均值聚類分析，將調整蘭德系數(adjusted rand index,ARI)、調整互信息(adjusted mutual information, AMI)和標準化互信息(normalized mutual information,NMI)作為聚類評估指標，并記錄每次聚類實驗的結果指標，從中挑選出聚類效果最好的部分來組成情緒特征臉。

如圖4 所示，在ARI、AMI 和NMI 這3 個聚類評估指標中，left-eye、right-eye 和inner-mouth(mouth)得分最為突出，說明面部的眼睛和嘴巴區域最有情緒區分度，將它們按照left-eye + right-eye +in-ner-mouth 的形式組合，這樣就生成了情緒特征臉(expression-eigenface, Eigenface)。指標也比較符合人們的預測和認知，即眼睛、眉毛和嘴巴是人面部最具情緒特征的部分[5]。特征臉能最大程度上以較小的圖像尺寸保留大部分的情緒特征，經過這一處理去除了原數據中無關信息的干擾，提取到與表情更相關的特征。在組合成特征臉的過程中，由于簡單拼接形成的特征臉不是規則的n×n的形狀，則和卷積網絡的輸入大小不匹配，從而也就無法提取特征。

圖4 CK+數據集和JAFFE 數據集人臉各部分的K 均值聚類評估指標

為了順利利用預訓練網絡提取圖像的特征，本文提出了2 種圖片尺度歸一化方法，第1 種采用填充的方式，不改變分割后的各部分圖像，在Eigenface 四周以像素0 填充，直到形成圖像大小為224×224 的特征臉。由于像素0 顯示為純黑色，填充后的特征臉如圖5 所示。第2 種通過拉伸和放縮圖像，改變分割后的圖像的空間結構。如調整mouth 圖像大小為128×64，再和left-eye、right-eye 拼接形成128×128 的規則形狀，進一步拉伸成224×224 大小。填充相比拉伸放縮，更多地保留了原有圖像的空間結構特征，但同時也添加了大量無用信息即圖像周圍的黑色像素點。在不同的數據庫上進行實驗，2 種歸一化方法各有優劣。CK+數據庫使用拉伸的歸一化方法效果更好，而JAFFE 數據庫更適合填充的歸一化方法。

圖5 情緒特征臉生成過程

3 卷積網絡和提取特征

3.1 預訓練卷積網絡

VGGNet[13]是由Google Deep Mind 團隊和牛津大學開發的一種卷積神經網絡，通過不斷增加卷積網絡層數，發現加深神經網絡的深度能提高模型性能。VGG19 網絡的卷積層舍棄了5×5、7×7 的大卷積核，統一采用3×3 的卷積核，從而極大減少了參數量。池化層統一采用步長為2 的最大池化，經過16 層卷積層、5 層池化層和3 個全連接層共同構成了VGG19Net 的網絡結構。

由于重新訓練VGG19 網絡需要占用大量的GPU 資源以及時間，為了提高效率，使用在ImageNet上預訓練好的VGG19 網絡模型及參數。在提取特征前，需要將輸入圖片的大小和模型的輸入接口尺寸匹配，所有輸入圖像統一經過尺寸歸一化為224×224 像素大小。

3.2 提取特征

圖像的特征一般用來描述圖像所攜帶的信息，通常包括形狀特征、顏色特征、紋理特征以及空間關系特征[14]。圖像的形狀特征指輪廓形狀和區域形狀，輪廓形狀表示圖像的邊緣形狀，即圖像整體的外在形狀，區域特征則表示圖像內部的形狀。圖像的顏色特征是圖像最明顯最引人注意的表面特性，同時也是一種基于像素點表示的全局特征。紋理特征同顏色一樣是一種全局的、表面的特征，但紋理特征是在多個像素區域中經過計算后得到的。圖像的空間特征分為相對空間位置和絕對空間位置2 種，前者注重圖像中不同實體間的相對關系，后者則更側重距離及坐標方位。經過對表情數據庫圖像預處理生成Eigenface 后，能更好地提取到表情相關的紋理和形狀以及空間特征。

由于卷積網絡的全連接層特征維度與訓練樣本的類別數目有密切關系[15]，且全連接層特征丟失了卷積層特征的空間信息。為了保留在表情識別中有重要作用的空間特征，選取倒數第2 層即最后一個卷積層的輸出作為特征，在VGG19 網絡結構中是block5-conv4 層。如圖6 所示，這個卷積層所輸出的特征圖大小為14×14×512，即512 個14×14 大小的特征圖。為了盡可能地保留圖像信息，將這個特征送入聚類前，將其展成1 維的列向量。

圖6 VGG19 網絡提取圖像特征

4 表情聚類算法與實驗結果分析

4.1 聚類算法與評估指標

實驗中共用到K-means聚類、Mini-Batch-Kmeans聚類、Birch 算法以及凝聚層次聚類。K-means 聚類算法[16-18]是基于劃分的聚類算法，一般采用歐氏距離作為數據對象之間的相似性度量，相似度與數據對象間的距離成反比，數據對象間的距離越小表示數據相似度越大。算法首先需要指定聚類的簇的數目K以及K個聚類中心，根據相似度計算每個樣本所分配的簇。然后在每個簇中計算整個簇的均值向量作為新的聚類中心，不斷重復這個過程，直到新舊聚類中心的距離小于設定好的閾值則聚類結束。Mini-Batch-Kmeans 聚類是對K-means 聚類的優化，每次采用隨機抽取的一部分數據進行K-means 聚類，在效果略差于標準K-means 聚類的前提下大幅減少計算時間。凝聚層次聚類（agglomerative hierarchical clustering）顧名思義是基于層次的聚類，具有個自底向上的分層樹形結構[19]。算法首先將所有數據放在第1 層，每一個數據對象看作1 個最小的聚類簇。然后計算不同簇之間的相似度，相似度最大的2 個聚類簇合并成1 個大的聚類簇并放在第2 層，隨著層數不斷向上增加，聚類簇的數目不斷減少，直到所有數據合并為1 個簇或者簇的數目達到預先設定的值則停止。綜合層次聚類算法(balanced iterative reducing and clustering using hierarchies, Birch)[20]將數據對象組織成若干組并形成1 個樹結構，即聚類特征樹進行快速聚類。

為了衡量每次聚類結果的好壞，采用ARI、AMI 和NMI 這3 個常用的評估指標來衡量。蘭德系數(rand index, RI)表示“正確決策”的比率，調整蘭德系數( adjusted rand index, ARI）是蘭德系數去均值歸一化的形式，取值范圍是[-1,1]。ARI 的值越大說明聚類效果越好，越接近0 說明該聚類越接近隨機分布。調整互信息(adjusted mutual information, AMI）和標準互信息(normalized mutual information, NMI)都由互信息(mutual information, MI)改進而來，都是為了衡量聚類結果和類別信息的吻合程度，取值范圍分別為[0,1]和[-1,1]，數值越高表明劃分結果越好。

4.2 特征聚類實驗

將生成的情緒特征臉作為輸入，用預訓練好的VGG19 網絡提取出特征，這就是本文所提出的特征聚類(eigenface-feature clustering)方法。由于直接將聚類應用于表情分類上的相關工作很少，因此本文將所提出的特征臉和原圖預處理后的人臉以及各自提取的特征進行聚類做對比，來觀察本文的算法在聚類中是否發揮了作用。圖7 給出了進行聚類分析的4種數據：OriginalFace、EigenFace、OriginalFace-feature 和EigenFace-feature。

圖7 送入聚類分析的4 種數據

表1～表3 和圖8～圖10 是本文的特征臉聚類方法和原圖聚類的評估指標和效果對比，經過特征臉和提取特征的改進，聚類效果有了明顯的提升。圖8（a）是在CK+數據集上的K-means 聚類對比，EigenFace-feature 是特征臉通過VGGNet 提取的特征數據，OriginalFace 是原圖像的面部數據，在ARI 上由0.10 提升到0.33，特別是在AMI 和NMI上分別由0.14 提升到0.44、由0.15 提升到0.45。圖8（b）是在JAFFE 數據集上的聚類結果對比，EigenFace-feature 的K-means 聚類效果相比于對OriginalFace 直接聚類，ARI 由-0.01 提升到0.12，AMI 由-0.03 提升到0.19，NMI 由0.02 提升到0.23。對于無監督的表情聚類來說，這是一個很不錯的結果。

表1 CK+和JAFFE 數據集不同聚類算法的ARI 指標

表2 CK+和JAFFE 數據集不同聚類算法的AMI 指標

圖8 CK+和JAFFE 數據集K-means 聚類對比

圖9 CK+和JAFFE 數據集Birch 算法對比

圖10 CK+和JAFFE 數據集Agglomerative 聚類對比

圖11 給出了JAFFE 數據庫中被本文的算法歸到某一簇的圖片，把它們放在同一個文件夾下。可以看到算法把4 張fear 圖片、4 張happiness 圖片、1 張neutral 圖片和18 張surprise 圖片歸為了同一簇。

5 結論

在現實的人際交往中，面部表情是非常重要的信息載體，而在虛擬現實、智能駕駛等領域人臉表情識別也發揮著重要作用。本文算法嘗試將聚類應用到人臉表情識別領域，通過日本女性表情庫（JAFFE）和CK+表情庫進行相關實驗。相比于直接對表情數據庫中的樣本進行聚類，本文面部表情特征聚類方法提出了2 點改進：

1）對面部圖像預處理，通過人臉對齊以及人臉分割、重組，生成情緒特征臉。過濾與情緒識別無關的信息，減少冗余數據并提高運行效率；

2）采用VGG19 卷積網絡提取圖像特征，進一步提取到情緒識別相關的特征。

先提取特征再對特征進行聚類，比直接對原始圖像聚類效果有較大的提升，從圖9~圖11 可以直觀地看到聚類提升效果，進一步證明本文的特征聚類算法是有效的。聚類算法簡單高效、不需要大量算力和時間的投入也是研究表情聚類的意義所在。當然聚類算法受限于無監督的束縛，聚類準確率難以和有監督的分類算法相提并論。接下來的工作中，將局部特征和整體特征進行融合嘗試，以期達到更好的聚類效果。