改進的多尺度局部二值模式的表情識別方法

中北大學計算機與控制工程學院 蘆敏 周海英

改進的多尺度局部二值模式的表情識別方法

中北大學計算機與控制工程學院 蘆敏 周海英

針對傳統的局部二值模式(LBP)對局部特征描述不夠充分的特點，提出一種改進的多尺度局部二值模式的人臉面部表情識別方法，在多尺度局部二值模式的基礎上，通過引入一個可調參數α于編碼中以調節局部紋理的細節提取控制。在每個區域圖像中，將每個像素與可調參數α進行比較，計算它的順時針編碼值和逆時針編碼值，并分別形成各自灰度直方圖。上述方法在保留了局部特征的同時，可以有效降低噪聲和光照的影響，增強了特征的魯棒性。采用支持向量機（SVM）進行分類訓練與測試。在三個數據集上進行的實驗結果表明，采用帶有可調參數的紋理細節控制策略可以得到一個較好的控制閾值，與多尺度局部二值模式以及雙向局部二值模式（BLBP）相比較，提高了分類的準確率。

人臉表情識別；多尺度局部二值模式；可調參數；雙向局部二值模式；支持向量機

引言

面部是情感交流的重要區域，人們可以通過面部表情的變化有效表達思想情感，也可以辨識情感狀態，屬于一種有效的非語言信息交流方式。表情識別研究具有重要的學術價值和應用前景，是人機交互、機器視覺、行為科學研究的重要方面，逐漸成為熱點之一。

人臉表情識別（facial expression recognition，FER）系統包括預處理、人臉檢測與區域分割、特征提取和分類四個部分。其中的特征提取是人臉表情識別系統的一個重要環節，可以對圖像進行多尺度、多方向的紋理信息檢測的Gabor小波變換所需時間長，產生的特征維數巨大，選擇不同的降維方法會影響準確性。相比于Gabor小波變換，LBP算法可以快速對特征進行提取，不僅計算簡單，而且紋理識別力強[1]。傳統LBP算子存在不足之處，對灰度變化敏感，受噪聲影響較大，這是由于它是通過比較中心像素與鄰域像素的灰度值的大小獲取特征，因此導致識別效果并不理想。

本文中提出了一種改進的多尺度局部二值模式的人臉面部表情識別方法。基于多尺度局部二值模式，引入一個可調參數α于編碼中，針對每個人臉表情圖像分別拆分形成上下兩個區域圖像，對每個區域中的像素計算它的順時針編碼值和逆時針編碼值，并分別形成各自的兩個灰度直方圖，最后將上述四個直方圖合并連接以得到一個統一的直方圖表達，作為圖像的整體特征。此方法可以更好地表示人臉表情的紋理特征，并減少噪聲和光照的影響。在JAFFE數據集、TFELD數據集以及CK+數據集上的實驗結果均表明，改進的多尺度局部二值模式用于人臉表情識別具有更高的識別準確率。

1 LBP算子理論

1.1 傳統的局部二值模式

傳統局部二值模式（Local BinaryPattern，LBP）用來描述圖像局部的紋理特征，具有灰度不變性和旋轉不變性等優點。傳統LBP算子定義在3×3窗口內[1]，當中心像素值小于鄰域像素值時，就編碼為1，否則編碼為0。從左上角開始沿著順時針方向讀取數值，得到的8位二進制數，就是LBP編碼值。將LBP編碼值轉換為十進制數，則得到該編碼對應的LBP值。一個簡單的傳統局部二值模式編碼過程如圖1所示。

圖1 LBP編碼方式

給定一個像素點（xc，yc），LBP 編碼如公式（1）：

其中，P為鄰域像素的個數，gc是中心像素的灰度值，gp是該像素每個鄰域像素的灰度值。

1.2 多尺度局部二值模式

傳統LBP算子的參考區域和參考點數局限于3×3的區域內，Ojala等人對傳統LBP進行擴展[1]，用于表達不同尺度的圖像特征分布信息。此方法可以對鄰域半徑和參考點數進行改變，將鄰域由矩形變為圓形。由于圓形鄰域的取樣方式不能保證像素點每次都落在整數點上，通常使用雙線性插值的方法對這些沒有完全落在整數點的像素點進行灰度值計算。給定一個像素點（xc，yc），LBP 編碼如公式（2）：

其中，P為等距離分布在圓形邊緣上像素點的個數，R為半徑，gc是中心像素灰度值，gp是該像素每個鄰域像素的灰度值。

1.3 雙向局部二值模式

傳統的LBP中，通過沿順時針方向循環來獲得LBP編碼。由于僅在順時針方向上取得編碼，因此獲得的LBP碼總是不能表示完整的紋理信息，并且對噪聲和光線變化敏感。因此，Talele Kiran等人提出了雙向LBP算子(BLBP)[2]，沿順時針方向以及逆時針方向獲取完整的紋理信息。BLBP是對每個輸入像素都給出兩個LBP碼，即順時針編碼的值和逆時針編碼的值。給定一個像素點（xc，yc），LBP 的反向編碼如公式（3）：

其中，P為鄰域像素的個數，gc是中心像素的灰度值，gp是該像素每個鄰域像素的灰度值。

2 改進的多尺度局部二值模式

改進的多尺度局部二值模式算子是在多尺度局部二值模式的基礎上提出的特征提取方法，由于人臉表情識別主要是對人臉的眼睛、眉毛、嘴巴等灰度變化比較明顯的區域進行識別，而多尺度局部二值模式和BLBP都不能很好地將這些區域的特征突出，并且容易受到光照和噪聲的影響，本文通過引入一個可調參數α，調節控制鄰域像素點和輸入像素進行比較時的閾值，如公式（4）所示，當α=0時就是傳統的LBP算子。

當鄰域像素灰度值與中心像素灰度值之間的差小于或等于給定的可調參數α時，則編碼為0，否則編碼為1。

給定一個像素點（xc，yc），R=1，P=8，為方便理解以 α=10 為例。根據公式（4）進行編碼：

圖2 輸入圖像模板

通過公式（4）計算得到中心像素gc=54的順時針編碼的值：

圖3 順時針編碼方式

如圖3所示進行編碼得到改進的多尺度LBP編碼方式的二進制編碼為(b7，b6，b5，b4，b3，b2，b1，b0)=(11000111)2，改進的多尺度局部二值模式順時針的十進制編碼值=201。

圖5（a）～（g）為選取不同的閾值α時多尺度局部二值模式順時針編碼的實驗結果，α 的值分別為 0，5，10，15，20，25，30。容易看出當α值較小時，可以更多地描述出圖像的細節特征，當α值較大時，則強調了鄰域像素與輸入像素之間的對比度，可以更好地描述灰度變化大的區域。但當α值太小時紋理特征過于詳細，不利于提取本文所需的人臉五官區域的特征，并且容易受到噪聲干擾，如圖 5（a）、（b）、（c）所示。當 α 值太大時，又會丟失一些重要的紋理輪廓信息，如圖 5（e）、（f）、（g）所示。依據圖5(a)～（g）不同取α值時的結果圖像可以看出多尺度局部二值模式順時針編碼時最佳的α值選取范圍在15左右。

為提取到更加明顯的人臉表情紋理特征，我們將每個像素順時針編碼得到的值與逆時針編碼得到的值來表示輸入像素的灰度值，也就是每個像素都用兩個值來表示。順時針編碼方式即公式（4）所示，逆時針編碼方式依據公式（5）進行，編碼方式如圖4所示。

圖4 逆時針編碼方式

如圖4，進行逆時針編碼得到LBP順時針的二進制編碼(b7，b6，b5，b4，b3，b2，b1，b0)=(11100011)2，LBP 順時針的十進制編碼=227。給定像素點（xc，yc）則用順時針編碼的值201和逆時針編碼的值227表示。圖5（h）～（n）為選取不同的閾值α時多尺度局部二值模式逆時針編碼的實驗結果，α的值分別為0，5，10，15，20，25，30。可以看出，多尺度局部二值模式逆時針編碼時最佳的α值選取范圍也在15左右。

圖5 選取不同α值的多尺度局部二值模式順時針編碼圖像

3 基于支持向量機（SVM）的分類算法

SVM主要建立一個超平面作為分類決策面[3]，SVM從根本上講是解決二分類問題[4]，對于6種表情的分類是一個多分類問題，需要將其轉換為二分類問題，通常處理的方式有“一對多”和“一對一”。

本文采用SVM中的“一對一”分類方式，訓練模型時每次只需訓練兩種表情圖片，計算量小，速度快。對于k個類別，構建k（k-1）/2個SVM，將測試樣本輸入由k類中第i類樣本和第j類樣本構造的二分類器中，這樣在輸入測試樣本時，僅需在每個二分類器中判斷屬于其中哪一類而進行識別，無需同時與所有類別的表情進行對比，大大提高了識別準確率。

圖6 JAFFE數據集部分人臉表情圖片

本文針對人臉面部表情的6種表情進行訓練，分別是生氣、厭惡、害怕、開心、傷心、驚訝。如圖6為JAFFE數據集中一個人的部分人臉表情圖像。首先分別對不同類型的表情給定標簽，6種表情的標簽是 1，2，3，4，5，6，分別對應的表情類別是開心、驚訝、生氣、厭惡、害怕、傷心。根據SVM“一對一”分類的原則，6種表情共需構建6（6-1）/2=15個SVM。將開心和驚訝的表情特征作為第一個SVM的訓練數據，得到第一個二分類器；將開心和生氣的表情特征作為第二個SVM的訓練數據，得到第二個二分類器；依次類推，將害怕和傷心的表情特征作為第十五個SVM的訓練數據，得到第十五個二分類器。

測試時，將測試樣本輸入已經構建好的二分類器中，如果SVM的輸出結果為第i類，則第i類得票數加1，如果輸出結果為第j類，則第j類得票數加1，依此類推，最后統計得票最多的類別作為最終的分類結果。

4 結果與分析

4.1 實驗過程

從JAFFE數據庫中選取出180張圖片，生氣、厭惡、害怕、開心、傷心和驚訝的圖片個數均為30張。TFEID是臺灣人臉表情庫，共336張表情圖片，包括8種表情。從中選取180張圖片，生氣、厭惡、害怕、開心、傷心和驚訝的圖片個數均為30張。CK+數據集是由CK數據集擴展來的，是137個人的不同人臉表情視頻幀，共593張表情圖片，包括8種表情。從中選取180張圖片，生氣、厭惡、害怕、開心、傷心和驚訝的圖片數均為30張進行實驗。

圖7 提取特征過程

對于不同鄰域、不同采樣點數的LBP算子，得到的模式數目也不同，并且隨著采樣點數的增加，得到的模式種類越來越多。模式種類數的增加會嚴重影響運算速度和運行效率，在特征描述時也會產生很大影響。因此，在使用LBP提取表情特征時，通常使用LBP統計直方圖來反映圖像的特征信息。

在判斷不同人臉表情圖片的相似性時，用一個直方圖來表示圖像特征，會丟失一些局部差異信息[5]，因此通過分塊的方式將圖片分成多個部分，本實驗中首先將人臉部分提取出來，將每幅人臉表情圖片分成上半部分和下半部分，上半部分包括眉毛和眼睛，下半部分包括鼻子和嘴巴。使用改進的多尺度局部二值模式算子分別統計每個部分各個像素的特征，得到每部分的統計直方圖，將其串接起來得到最終特征。然后，通過第三部分介紹的SVM進行訓練和測試。實驗環境為Matlab R2015b，提取特征過程見圖7。

4.2 實驗結果比較

通過在JAFFE數據集、TFEID數據集上分別使用多尺度局部二值模式算子、BLBP算子和本文改進的多尺度局部二值模式算子相比較，α=0時各算法的識別結果見表1、表2和表3。本文方法的表情識別率相比其他兩種方法都有一定的提高。

表1 在JAFFE數據集上不同算子的識別率表

表2 在TFEID數據集上不同算子的識別率表

表3 在CK+數據集上不同算子的識別率

從表1、表2、表3可以看出在α=0的情況下，本文提出的方法識別準確率最高，其次是多尺度局部二值模式。當α=15時，在兩個數據集上對本文改進的多尺度局部二值模式和多尺度局部二值模式進行實驗，結果如圖8所示。可以清晰地看出，在α=15的情況下，本文的算法在兩個數據集上進行人臉表情識別比多尺度局部二值模式算子識別效果好，但是對于個別表情的識別準確率不佳，而本文改進的多尺度局部二值模式算子準確率均高于多尺度局部二值模式，并且準確率達到100%，充分證明了本文改進的多尺度局部二值模式在人臉表情識別上得到了較好的效果。

圖8 α=15時在各數據集的識別準確

5 結束語

本文針對多尺度局部二值模式對細節特征描述不夠充分并且容易受噪聲和光照影響的特點，提出一種改進的多尺度局部二值模式的人臉面部表情識別方法，為二值編碼的過程引入一個可變參數α，實驗證明此參數對于識別準確率影響很大。在選擇最優參數的情況下，將每個輸入像素的順時針編碼和逆時針編碼得到的值作為此像素的灰度值，使每個像素都用兩個值來表示，增加細節特征，減少噪聲和光照干擾，增強魯棒性。通過SVM中“一對一”的方法進行分類訓練，并且在JAFFE數據集、TFEID數據集上進行測試。實驗結果表明，改進的多尺度局部二值模式與雙向局部二值模式和多尺度局部二值模式相比較，識別率都有提高，充分說明了改進的多尺度局部二值模式可以更好地描述人臉表情識別所需的紋理特征。

[1]童瑩.一種方向性的局部二值模式在人臉表情識別中的應用[N].智能系統學,2015,10(03)∶422～428.

[2]Talele Kiran,Tuckley Kushal.Facial expression classification using support vectormachine based on bidirectional local binary pattern histogram feature descriptor [C].2016 17th IEEE/ACIS International ConferenceonSoftware Engineering, ArtificialIntelligence,Networking and Parallel/Distributed.

[3]劉帥帥,田彥濤,郭冬梅等.基于混合特征和SVM的人臉表情識別算法[C].2009中國智能自動化會議論文集,2009,1395～1400.

[4]李明,陳凡,雷萌等.基于LVQ與SVM算法的近紅外光譜煤產地鑒別[J].光譜學與光譜分析,2016,36(09)2793～2797.

[5]王進,頡小鳳,胡明星等.基于LBP預處理和子圖像特征采樣的人臉識別[N].江蘇大學學報,2016,37(01)∶85～91.

[6]張明恒,鄭雨,趙一兵等.基于SVM的駕駛員面部朝向檢測[N].大連理工大學報,2015,53(06)∶879～884.

蘆敏，女，1992年出生，山西省太原市人，碩士，研究方向：模式識別。