非對稱方向性局部二值模式人臉表情識別

黃麗雯，楊歡歡，王 勃

重慶理工大學 電氣與電子工程學院，重慶 400054

1 引言

人臉表情識別是對人臉的表情信息進行特征提取和分析，按照人的認識和思維方式加以歸類和理解，利用人類所具有的情感信息方面的先驗知識使計算機進行聯想、思考及推理，進而從人臉信息中去分析、理解人的情緒的技術[1]。人臉所反映的視覺信息是人類情感表達和交流最直接最重要的載體，表情作為形體語言，是最自然表現情感的形式，在人際交往中，可以通過對方面部表情的變化，精確地揣測出其所處的情感狀態，及時給予恰當的回應，因此表情識別的研究，不僅是實現使計算機理解并表達人類的情感，且是人工智能、計算機圖形學、心理學、計算機視覺、人機交互、生理學等多個學科領域研究的基礎，已逐漸成為當前學者們研究的熱點。

表情識別的流程大同小異，一般包括人臉檢測、預處理、特征提取、特征融合、分類識別這5個步驟，其中特征提取是表情識別的核心所在，目前常用的算法有：基于Gabor小波變換[1]、尺度不變特征變換（SIFT）[2-3]、梯度直方圖變換（HOG）[4-5]、局部二值模式變換（LBP）[6]、融合全局與局部特征[7]、多特征融合[8-10]，其中Gabor小波變換提取的是多尺度多方向的特征信息，整個過程比較耗時，不適合實時應用；SIFT算法雖對尺度縮放、圖像旋轉甚至仿射變換保持不變性，但其過程復雜且運算速度比較慢；HOG特征雖能有效地檢測圖像的邊緣信息，但它卻忽略了局部特征之間的空間排列信息；而LBP由于其具有灰度不變性，旋轉不變性，且具有強大的抗干擾性和紋理判別能力，另外計算簡單，對光照有一定的抑制作用，故近年來已被廣泛應用于紋理分類、圖像檢索和人臉圖像分析等領域，并且在模式識別領域越來越受歡迎[11]。

傳統LBP算子雖有諸多的優點，但也存在缺點：對噪聲、灰度變化比較敏感，只是通過比較中心像素與鄰域像素的差值獲取特征，這樣會丟失部分信息，識別效果不理想。為此Tong等人提出了方向性的局部二值模式（DLBP）[12]，分別從水平、垂直和對角3個方向對鄰域像素進行灰度值比較和二值編碼，這樣不僅可以提取到比較全面的特征信息，也降低了噪聲的干擾，但它并沒考慮到局部器官對表情識別的影響，針對這一不足，本文提出了異或-非對稱方向性局部二值模式（XOR-ARDLBP）表情識別算法，首先，對人臉表情圖像進行預處理。通過人臉檢測算法確定出人臉的位置，分割出人臉及表情關鍵區域（眉、眼、嘴），后進行尺寸歸一化操作，再對其進行去噪處理，消除噪聲的影響；其次，把預處理后的圖像經XOR-AR-DLBP特征提取算法獲取整張表情圖像和局部（眉、眼、嘴）表情圖像的直方圖信息；然后用信息熵來計算局部表情圖像的貢獻度，獲得權值分配，對其進行加權并與整張圖像特征信息融合；最后用SVM分類器進行分類識別。由于此算法在預處理階段對噪聲進行了處理，并較好地融合了整體和局部特征，結果表明此算法不僅實時性好且識別效果也比較理想。

2 預處理

為了更好地提取整體與局部特征，預處理是一個非常必要的過程，它直接影響最終識別效果的好壞。針對光照變化嚴重影響人臉圖像識別的問題，本文在預處理階段進行了光照補償[13]。這里圖像尺寸大小統一為64×64，又由于眉、眼、唇對表情識別的貢獻比較大[14]，故分割出來作為局部特征，眉毛和眼睛、嘴巴尺寸大小分別為64×12，64×30，其預處理過程如圖1所示。

圖1 預處理過程

3 XOR-AR-DLBP特征提取

3.1 基于方向性的局部二值模式（DLBP）

局部二值模式（LBP）是一種能有效提取圖像局部紋理特征的描述子，它通過比較鄰近像素gi與中心像素gc的灰度值大小關系來進行編碼。原始LBP算子規定圖像中每個像素是以其為中心，值為閾值，3×3大小的窗口范圍內，計算鄰域像素與中心像素的二值關系，若gi＞gc，則為1，反之為0。從左上角開始順時針依次計算出相鄰的8個二進制數，得到LBP編碼，再把它們換算成十進制數，得到LBP值。其LBP編碼示意圖如圖2所示。

圖2 LBP編碼示意圖

上面原始LBP特征的計算過程只是針對中心像素與鄰域像素進行了比較，并沒考慮到鄰域像素之間的灰度關系，因此就不能對非局部信息進行提取。針對這個問題，Tong等人[12]提出了基于方向性的局部二值模式（DLBP），分別從水平、垂直、對角3個方向上計算局部像素之間的關系，既簡單有效，又能準確地表達圖像中各個表情區域的變化情況，這里窗口范圍設為3×3，其DLBP編碼示意圖如圖3所示。

圖3 DLBP編碼示意圖

可見，對相同的像素灰度分布，采用不同的編碼算子所得的結果也是不同的。

若用數學公式表達DLBP，其算式如下：

式中的s函數為：

式中的g0～g7為圖4中3×3大小鄰域對應像素的灰度值，其示意圖如圖4所示。

圖4 DLBP 3×3大小鄰域模板的灰度值示意圖

以JAFFE數據庫中的任一表情圖像為例，分別用LBP編碼和DLBP編碼的結果如圖5所示。

圖5 LBP與DLBP編碼圖像

從圖5可知，由于DLBP考慮到了鄰域像素之間的強度關系，故編碼處理后的圖像面部肌肉的褶皺形變以及眼睛、嘴巴等關鍵部位的變化情況相比LBP要清晰得多，這就更有利于最終表情的識別。

3.2 異或-非對稱方向性局部二值模式（XORAR-DLBP）

3.2.1 非對稱方向性局部二值模式（AR-DLBP）

DLBP編碼雖考慮到了鄰域像素間的強度關系，可以很好地提取圖像的紋理特征，但所提算法的模板大小都是3×3的，并不能在高尺度下獲取有效的紋理特征，為此Naika等人[15]提出非對稱局部二值模式（AR-LBP），解決了原始LBP算子不能用于高尺度紋理分析的問題。Cheng等人[16]提出非對稱局部梯度編碼（ARLGC），解決了LGC不能在大尺度下提取圖像紋理特征的不足，并融合了不同尺度不同梯度鄰域間的強度關系。本文在文獻[15-16]的啟發下提出了非對稱方向性局部二值模式（AR-DLBP）。3×3大小，Ri表示每個子鄰域，其結果表示如圖6所示。

這9個子鄰域中，有4個大小為 a×b：R0,R2，R4,R6，2個大小為 b×1：R1,R5，2個大小為 a×1：R3,R7，其中一個中心大小為1×1，為 Rc。

圖6 AR-DLBP的3×3鄰域灰度值示意圖

這里用每個子鄰域內所有像素值的和除以該鄰域內所含像素的個數，所得的結果作為該鄰域的像素值，記為：gRi，數學表達式為：

其中，Ni為第i個子鄰域所含像素的總個數，Pij為第i個子鄰域第j個像素的值。處理后的示意圖如圖7所示。

圖7 處理后的AR-DLBP 3×3鄰域灰度值示意圖

編碼公式如下，這里的s同式（2）：

AR-DLBP算法的模板大小不再是3×3固定不變的，并且可以在高尺度下獲取有效的紋理特征，由上面的編碼過程可知所得的結果依舊是一個8位的二進制數，并沒隨鄰域大小的變化而變化，故所得特征值的維數是不變的。

3.2.2 異或-非對稱方向性局部二值模式（XOR-ARDLBP）

雖然改進后的AR-DLBP可以在高尺度下獲取有效的紋理特征，但由文獻[16]可知，這也帶來了一定的缺點，借鑒文獻[16]的方法給予改進，即用數字電路中的異或運算來解決各個子鄰域值由求取均值得到而造成紋理特征平滑化的不足，以及鄰域大小可變后局部子鄰域內的變化情況常被忽略的問題。改進后算法的基本思想為：對于像素點a，采用3×3和5×5兩個不同大小鄰域的AR-DLBP算子處理，獲得兩個不同的8位二進制數序列，對其進行異或運算，得到最終的一個8位二進制數，再轉換成十進制數，就得到了像素點a的紋理特征值。

用數學公式可表示為：

Ai、Bi為A和B兩個序列的第i位，其編碼示意圖如圖8所示。

圖8 XOR-AR-DLBP編碼示意圖

4 特征融合

4.1 表情局部區域貢獻圖譜

根據香農定理，若離散隨機變量X(x1,x2,…,xn)發生的概率為 p(x1),p(x2),…,p(xn)，則這些變量的信息熵可表示為：

同理，表情圖像 f(x,y)的信息熵可表示為：

式中 pi為表情圖像第i個灰度級發生的概率，n為灰度級的總數。

由于信息熵能夠表述表情相應區域信息量的多少，而信息量多少可反映局部區域貢獻度的強弱，為此本文用文獻[17]已改進的信息熵方法來求眉毛、眼睛、嘴巴這3個局部區域的信息熵，進而得到它們的貢獻度。

若定義每個像素的信息熵為：

ws為可滑動窗口的范圍大小，F(i,j)ws為以(i,j)為中心，ws范圍內的子區域，E∈[ ]0,1。

由于每個像素的信息熵與周圍其他像素的分布是有關的，為此眉、眼、嘴這3個局部區域的貢獻度CMb、CMe、CMm就可通過該區域的平均信息熵來表示：

4.2 特征加權融合

面部表情識別是一個非常復雜的過程，僅僅利用單個特征已不能達到所期望的數值，為此本文提出特征加權融合的方法來提高表情的識別率，其大致步驟為：預處理后，對整張人臉圖像和眉、眼、嘴關鍵區域進行XOR-AR-DLBP特征變換，獲取局部紋理直方圖特征；由信息熵計算出眉、眼、嘴這3個局部區域的貢獻度CMb、CMe、CMm，并對其直方圖特征進行加權和級聯；最后與整張人臉圖像的直方圖特征串聯，構成所需的融合特征直方圖，送入SVM分類器訓練識別。其整個識別過程的流程如圖9所示。

5 表情識別實驗結果及分析

實驗環境：Windows 10，MATLAB R2010b，vs2012。數據庫：JAFFE和Cohn-Kanade。參數選擇：圖像尺寸大小統一為64×64，分割出的眉毛和眼睛的尺寸大小為64×12，嘴巴部分尺寸大小為64×30；XOR-AR-DLBP的兩鄰域大小采用3×3和5×5；在求表情局部區域貢獻度時，滑動窗口ws大小取3，5，7等奇數，由識別率及執行時間可知ws取值較小時，局部圖像的紋理特征能更好地表現[18]；SVM分類器選用多項式核函數，次數d=4。

5.1 本文算法的實驗結果及分析

5.1.1 JAFFE庫實驗

JAFFE數據庫來自10位日本女性在悲傷、高興、驚訝、恐懼、生氣、厭惡、中性這七類情況下自發產生的表情圖像，共213幅。實驗中隨機選取每人每類表情2幅作為訓練樣本，共140幅，在余下的圖像中再隨機選取每人每類表情1幅作為測試樣本，共70幅，循環實驗3次，實驗結果見表1所示，其中a為整張圖像，b為關鍵區域級聯，c為a、b的融合。

圖9 整個表情識別的算法流程

表1 JAFFE庫中（a、b、c）3種情況的實驗結果

表2 Cohn-Kanade庫中（a、b、c）3種情況的實驗結果

由表1 JAEEE庫的實驗結果知，本文算法c的平均識別率達95.71%，比加權局部關鍵區域b高6%，比直接對整張圖像實驗a高15%左右，可見所提算法能取得很好的識別效果。其中誤判比較多的是把恐懼誤判為厭惡、悲傷，由于這3者之間的變化比較細微，容易誤判。

5.1.2 Cohn-Kanade庫實驗

Cohn-Kanade數據庫的表情圖像都來自一個視頻序列，一個表情的變化可以通過一個序列前后圖像的細微變化體現出來，共210個18～30歲的近2 000張表情圖像視頻序列，六類表情為：悲傷、高興、驚訝、恐懼、生氣、厭惡。實驗中隨機選取20個人每類表情1～2幅，共200幅，在余下的圖像中再隨機選取每類表情1～2幅，共200幅，循環實驗3次，實驗結果見表2所示，其中a為整張圖像，b為關鍵區域級聯，c為a、b的融合。

由表2 Cohn-Kanade庫的實驗結果知，本文算法c的平均識別率達97.99%，比加權局部關鍵區域b高7%，比直接對整張圖像實驗a高17%左右，但都比JAFFE庫上的識別效果要好，主要是由于CK庫中的每類表情圖像都來源于一系列的視頻序列，表情特征更容易表達和提取，故識別效果更好。其中誤判比較多的是把厭惡誤判為悲傷，這2者之間的變化屬于微表情，容易誤判。

5.2 不同算法實驗結果比較

5.2.1 不同算法識別率比較

為了驗證本文所提算法的有效性，在上面實驗的基礎上對不同算法做對比實驗，其中a、b為本文算法融合前的情況，c為融合后的情況。與幾種常用表情識別算法在JAFFE庫和CK庫上的平均識別率比較結果見表3所示。

表3 不同算法平均識別率比較 %

5.2.2 不同算法平均識別時間比較

在JAFFE庫和CK庫上，各隨機挑選10幅表情圖像，用不同算法進行識別實驗，其中a、b為本文算法融合前的情況，c為融合后的情況。平均識別時間結果見表4所示。

由表3和表4的實驗結果可知：本文算法c無論是在識別率還是識別時間上都比常用算法的效果要好。如DLBP算法[12]和XOR-AR-LGC算法[16]，都是對整幅人臉圖像進行直方圖分塊提取特征再級聯各子塊直方圖分類，故平均識別時間要比本文a、b、c情況慢許多；在平均識別率方面，本文算法融合前的a、b情況雖沒文獻[12，16]的高，但都在80%～90%左右，還是可接受的，且融合后的c情況在常用幾種算法中效果相對是最好的。另外本文算法c在識別率上雖與HCBP、AAM、XOR-AR-LGC、精確局部特征描述相近，但識別時間都比它們要短。由此表明，本文所提算法較傳統算法既可取得較高的識別率，又可保持比較理想的實時性。

表4 不同算法平均識別時間比較ms

6 結束語

本文提出了非對稱方向性局部二值模式表情識別算法，用XOR-AR-DLBP獲取整張表情圖像和局部（眉、眼、嘴）表情圖像在不同尺度不同方向的特征信息，通過信息熵計算局部表情圖像的貢獻度，獲得權值分配，并與整張圖像加權融合，最后輸入SVM分類器用于識別。與傳統表情識別算法相比，本文算法不僅在識別率上還是在識別時間上都表現出了一定的優越性：

（1）本文算法在預處理階段，對表情圖像進行了光照補償處理，不僅減少了光照、噪聲對后續識別的影響，也增強了圖像的細節信息。

（2）XOR-AR-DLBP算法獲取整張表情圖像和局部（眉、眼、嘴）表情圖像不同尺度不同方向的特征信息，不僅考慮到了中心像素與鄰域像素的關系，也考慮到了鄰域像素間的強度關系，特征維數不變，且對識別具有更好的鑒別能力。

（3）對局部表情圖像通過信息熵計算貢獻度，獲得各子塊直方圖的權值分配，再與整幅圖像融合，即不同尺度不同方向上局部特征與整體特征的融合，這大大地提高了特征的描述和鑒別能力。在與傳統算法相比時，本文算法不僅在識別率還是識別時間上效果都是最好的。