基于HOG與LBP特征的人臉識別方法

孫 玉，劉貴全

（1.安徽職業技術學院信息工程系，合肥230051；2.中國科學技術大學計算機科學與技術學院，合肥230011）

基于HOG與LBP特征的人臉識別方法

孫 玉1，劉貴全2

（1.安徽職業技術學院信息工程系，合肥230051；2.中國科學技術大學計算機科學與技術學院，合肥230011）

針對人臉識別方法在復雜環境下識別性能下降、單一特征表述能力有限的問題，基于梯度方向直方圖（HOG）和局部二值模式（LBP）特征，提出一種人臉識別方法。通過提取人臉的HOG特征和LBP特征，利用主成分分析和線性判別分析方法進行線性降維，給出基于加權的特征融合策略。在環境復雜的人臉數據庫上進行實驗，結果表明，相比于單一的局部特征，該特征融合方法能提高人臉識別的精度與速度。

人臉識別；梯度方向直方圖特征；局部二值模式特征；特征融合；識別率

1 概述

人臉識別是一種主要的生物特征識別技術，應用前景廣泛，可用于公共安全、企業、教育、金融等領域。隨著人臉識別研究的深入和技術的進步，近年來，已有很多產品成功地應用到實際生活中。然而，人臉識別的研究和應用面臨了諸多挑戰，人臉識別的性能受到各種因素的影響，如圖像分辨率低、模態多樣性、光照姿態遮擋等。

傳統的人臉識別方法主要采用特征提取和分類器的結構，并且取得成功應用。經典的人臉識別方法采用主成分分析（Principal Com ponent Analysis，PCA）［1］和線性判別分析（Linear Discrim inant Analysis，LDA）［2］進行人臉識別。另外，特征提取方面包括全局特征和局部特征。針對不同特征，學者提出各種特征表示方法，如Gabor特征［3］、LBP特征［4］、尺度不變特征轉換（Scale-invariant Feature Transform，SIFT）特征［5］、HOG特征［6］等。HOG特征最早被Navneet DA lal等［7］提出并應用于行人檢測，隨后在靜態圖像的目標識別中取得廣泛應用。HOG特征與SIFT特征具有很多相似之處，不同在于HOG特征在一個大小統一的細胞單元上計算，具有更快的計算速度，且具有良好的檢測性能。同時，各種分類器被使用，如貝葉斯方法［8］、AdaBoost方法［9］、線性支持向量機（Support Vector Machine，SVM）［10］等。

基于多特征及特征融合方面的考慮，文獻［11］將LBP特征和Gabor特征相結合并在表情識別上取得較優的識別性能。文獻［12］提出一種利用串并行結合的方式將全局特征和局部特征進行集成，在大規模人臉庫上驗證其精度和速度。文獻［13］提出一種基于特征采樣和特征融合的子圖像人臉識別方法，在多個人臉數據集上的測試結果表明該方法是單純的特征融合方法和特征采樣方法。文獻［14］提出基于子模式的Gabor特征融合方法，對單樣本人臉識別具有較優的性能。文獻［15］將Gabor-like復數小波變換和原始圖像進行特征融合，進一步提高人臉識別的識別率。

HOG特征在目標檢測和跟蹤領域用于描述物體的關鍵點特征，而LBP特征在紋理分析領域也取得成功應用，這2種特征的表述能力都很強，但不能適用較多復雜的人臉環境。在復雜的人臉環境中，單一特征的表述能力有限，因此需要多個不同的特征進行融合，期望得到準確的人臉特征表示。

針對上述問題，本文提出基于HOG和LBP特征融合的人臉識別方法。首先分別提取HOG特征和LBP特征，然后利用PCA和LDA方法進行降維，最終采用特征融合策略進行識別，并在標準人臉庫LFW和FRET上進行實驗。

2 人臉識別方法

2.1 特征表示

2.1.1 HOG特征

梯度直方圖特征在模式識別領域得到成功應用，如人臉識別、行人檢測、目標跟蹤等。HOG特征與SIFT特征類似，其計算量較小。另外，HOG特征的計算是基于一致空間的密度矩陣來提高準確率。HOG的核心思想是所檢測的局部物體外形能夠被光強梯度或邊緣方向的分布所描述。HOG特征主要包括圖像歸一化、計算梯度、基于梯度幅度的方向權重投影、特征向量歸一化等幾個部分，具體計算過程如下：

（1）假定人臉圖片的大小為80×64，設置block塊的大小8×8，則人臉圖片共包含80個不重疊的block。

（2）在每個block上計算其梯度方向和幅值。本文采用簡單的中心對稱算子［-1，0，1］計算梯度，如下式所示：

其中，I（χ，y）是圖片（χ，y）的像素值；θ（χ，y）為該點的梯度方向；m（χ，y）對應為該點的幅度值。

（3）設置cell大小為4×4，在每個block內按cell大小統計梯度直方圖，應用梯度的幅值進行規定權重投影。

（4）對于每個重疊block內的cell進行對比度歸一化，以消除光照的影響。

（5）將所有block內的直方圖向量組合得到最終的HOG特征向量。

通常HOG結構包括矩形HOG、圓形HOG和中心環繞HOG。通過實驗得出矩形HOG的檢測結果更好，故本文采用矩形HOG結構。對于梯度模板，采用一階模板計算梯度和方向，優點是計算速度快且不會削弱人臉的邊緣特征。

HOG特征表示的是邊緣結構特征，能夠有效表述目標的局部信息，屬于局部特征范疇。HOG特征對圖像幾何和光學的形變都能保持很好的不變性。另外，在局部區域進行歸一化直方圖，具有光照不變性。

2.1.2 LBP特征

LBP算子最初用來描述紋理特征，其基本思想是根據中心像素點與其圓形領域內的像素點比較得到的二進制碼來描述局部紋理特征。LBP算子具有高鑒別性、復雜度低、旋轉不變性和灰度不變性等顯著特點。LBP算子通常由（P，R）來表示，其中，P表示領域內包含的像素個數；R表示領域半徑。基本的LBP算子是（8，1）領域。將3×3領域像素值Pi（i=1，2，…，8）與中心像素值P0進行比較，進行閾值化處理，其計算公式為：

將bi（i=1，2，…，8）按順時針方向排列得到一個8位的二進制編碼，再轉換為十進制數，則得到LBP算子對中心像素計算得到后的結果。人臉圖像經過LBP算子運算后，對其做直方圖統計，得到直方圖特征向量，具體可以定義為：

其中，n為LBP算子產生不同標記的數據。本文采用人臉識別大多文獻采用的3×3領域的一致模式算子，即n=256。另外，當χ為真時，I（χ）=1；當χ為真時，I（χ）=0。

為了更好地表示人臉特征，保留人臉的空間結構信息，將圖像分為區域R0，R1，…，Rm-1，各個區域的直方圖可定義為：

將這些子區域直方圖連接起來構成最終的人臉特征向量，采用χ2統計來度量LBP特征之間的距離。

2.2 降維方法

2.2.1 PCA方法

PCA方法的基本思想是從人臉圖像中找出最能代表人臉的特征空間，去除一些不能代表人臉特征的屬性。假定有N個人臉樣本｛χ1，χ2，…，χN｝屬于c個類別｛X1，X2，…，Xc｝，每個樣本的圖像規格為w ×h，則每個樣本圖像的維數為n=w×h。這樣得到所有人臉樣本的N個n維列向量，對訓練樣本求協方差矩陣得到：

PCA的目的是尋找一個最優投影矩陣Wopt，使得：

其中，wi是散度矩陣ST的特征向量，特征值從大到小排列，取前m個最大特征值對應的特征向量來近似表示原來的數據。這樣，人臉樣本經過投影后得到了線性降維，即從n維降到m維，且滿足m＜＜n。

2.2.2 LDA方法

PCA方法是以樣本的最小重建誤差來提取人臉最優特征表示，而LDA方法是以樣本類別可分性來提取人臉最優特征。

LDA方法主要考慮類間散度矩陣和類內散度矩陣。根據2.2.1節的定義，類間散度矩陣和類內散度矩陣的公式分別如下：

其中，μ是樣本的均值。

其中，μi是第i類的均值；Ni是類Xi的樣本數。如果Sw非奇異，可以得到最優正交矩陣，使得投影后的類間散度矩陣和類內散度矩陣之比最大，即：

式（10）可以用下式來計算：

其中，i=1，2，…，m；wi是矩陣SWSb從大到小排列的特征值λi對應的特征向量。

2.3 特征融合

由于單一特征表述能力有限，因此采用加權的方式進行特征融合，融合公式如下：

其中，m表示分類器的數目；wi和ci分別表示第i個分類器的權重和輸出分數；f（C）為特征融合后輸出的分數。權重計算公式如下：

其中，Ei為第i個分類器的等錯誤率。

假定有m個不同的分類器，其人臉圖像特征為χ，在對真實分類判別函數進行估計時，有m個不同的判別函數：

其中，h（χ）表示真實的分類判別函數；gi（χ）表示第i個分類器的判別函數；而εi（χ）則表示為gi（χ）與真實函數之間的誤差函數。

在進行特征融合之后，整個特征融合系統的均方差可以表示為：

加權系數滿足αi＞0

2.4 融合框架

上文分別給出了HOG特征、LBP特征和特征融合的具體過程，本文所提方法的框架如圖1所示。

圖1 基于HOG和LBP特征的融合

從圖1可以看出，融合后的特征可以保留原有特征的優點，人臉的結構信息和關鍵部位可以得到很好的表征。為了加快計算速度，采用經典的PCA和LDA方法進行降維，最終進行特征融合。因此，本文方法充分考慮不同特征之間的特點，利用特征融合策略，且計算速度高效。

3 仿真實驗與分析

3.1 LFW數據集

LFW數據庫［16］是一個最接近真實的大型人臉數據庫，由5 749個人的13 233幅圖像組成。其中，1 680人有2幅及以上的圖像，4 069人只有1幅圖像。圖像大小為250×250，絕大多數為彩色圖，少數為灰度圖。圖2給出LFW人臉庫的人臉示例。

圖2 LFW人臉庫示例

表1給出不同特征在LFW數據集上的識別率，從表中可以看出經過LBP和HOG融合以后的特征識別率有了較大的提升。另外，由于融合特征前進行了降維，因此融合特征的時間性能與單一特征基本一致。

表1 LFW數據集上不同特征的性能比較%

3.2 FRET數據集

FRET人臉數據庫包括14 051個不同光照、姿態、表情、攝像機下的灰度人臉圖片，分為訓練集fa和測試集（fb，fc，dup1，dup2），具體的圖片參數如表2所示。圖3給出FRET人臉庫的人臉示例。

表2 FRET數據庫參數識別說明

圖3 FRET人臉庫圖片

為了驗證本文所提方法的有效性，給出HOG特征［6］、LBP特征［4］和融合特征在FRET測試集上的識別性能，如表3所示，其中，HOG特征和LBP特征的具體參數與相應的參考文獻一致。從表3可以看出，雖然HOG特征和LBP特征適用于不同的測試集合，但融合特征兼顧2種特征的優點，在4個測試集上均取得較優的結果，且明顯優于單一特征。

表3 FRET數據集上不同特征的識別性能比較%

表4給出LBP、HOG、融合特征的特征提取時間性能對比，圖像分辨率為80×64。從表中可以看出，LBP和HOG的特征提取時間基本在相同量級，但是融合特征經過PCA和LDA降維以后，計算復雜度下降，時間性能也略微提升。

表4 FRET數據集上的時間性能對比m s

4 結束語

本文提出基于HOG和LBP特征融合的人臉識別方法，給出了2種特征提取方法及特征融合策略，充分考慮了不同特征之間的特點，計算速度較快。經降維后，計算復雜度下降，時間性能也有所提升，2個大規模人臉數據集上取得了良好的識別性能。后續工作將考慮更多的特征融合，以改進融合策略，并更好地應用于復雜人臉識別問題上。

［1］ Mohammed A A，Minhas R，Wu J，et al.Hum an Face Recognition Based on Multidimensional PCA and Extrem e Learning Machine［J］.Pattern Recognition，2011，44（10）：2588-2597.

［2］ Lu Guifu，Zou Jian，Wang Yong.Incremental Complete LDA for Face Recognition［J］.Pattern Recognition，2012，45（7）：2510-2521.

［3］ Perez C A，Cament L A，Castillo L E.Methodological Improvement on Local Gabor Face Recognition Based on Feature Selection and Enhanced Borda Count［J］.Pattern Recognition，2011，44（4）：951-963.

［4］ Ahonen T，Hadid A，Pietik?inen M.Face Recognition with Local Binary Patterns［M］.Berlin，Germany：Springer，2004：469-481.

［5］ Krizˇaj J，Sˇtruc V，Pavesˇic′N.Adaptation of SIFT Features for Robust Face Recognition［C］//Proceedings of the 7th International Conference on Image Analysis and Recognition.Berlin，Germany：Springer，2010：394-404.

［6］ M eyers E，W olf L.Using Biologically Inspired Features for Face Processing［J］.International Journal of Computer Vision，2008，76（1）：93-104.

［7］ Dalal N，Triggs B.Histograms of Oriented Gradients for Human Detection［C］//Proceedings of International Conference on Computer Vision and Pattern Recognition. Washington D.C.，USA：IEEE Press，2005：886-893.

［8］ Chen Dong，Cao Xudong，W ang Liwei，et al.Bayesian Face Revisited：A Joint Formulation［C］//Proceedings of European Conference on Computer Vision.Berlin，Germ any：Springer，2012：566-579.

［9］ Martínez-Contreras F，Orrite-Urun～uela C，Martínez-del-Rincón J.Adaboost Multiple Feature Selection and Combination for Face Recognition［C］//Proceedings of the 4th Iberian Conference on Pattern Recognition and Im age Analysis.Berlin，Germany：Springer，2009：338-345.

［10］ Wolf L，Hassner T，Taigman Y.Similarity Scores Based on Background Sam p les［C］//Proceedings of Asian Conference on Computer Vision.Berlin，Germany：Springer，2010：88-97.

［11］ Zhao Quanyou，Pan Baochang，Pan Jianjian，et al.Facial Expression Recognition Based on Fusion of Gabor and LBP Features［C］//Proceedings of International Conference on Wavelet Analysis and Pattern Recognition.Washington D.C.，USA：IEEE Press，2008：362-367.

［12］ 蘇 煜，山世光，陳熙霖，等.基于全局和局部特征集成的人臉識別［J］.軟件學報，2010，21（8）：1849-1862.

［13］ 朱玉蓮，陳松燦.特征采樣和特征融合的子圖像人臉識別方法［J］.軟件學報，2012，23（12）：3209-3220.

［14］ 王科俊，鄒國鋒.基于子模式的Gabor特征融合的單樣本人臉識別［J］.模式識別與人工智能，2013，26（1）：50-56.

［15］ 張 強，戚 春，蔡云澤.基于判別改進局部切空間排列特征融合的人臉識別方法［J］.電子與信息學報，2012，34（10）：2396-2401.

［16］ Cao Zhim in，Yin Qi，Tang Xiaoou，et al.Face Recognition with Learning-based Descriptor［C］//Proceedings of International Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA：IEEE Press，2010：2707-2714.

編輯 顧逸斐

Face Recognition Method Based on HOG and LBP Feature

SUN Yu1，LIU Guiquan2
（1.Department of Inform ation Engineering，Anhui Vocational and Technical College，Hefei 230051，China；2.College of Computer Science and Technology，University of Science and Technology of China，Hefei230011，China）

Due to complex environment of face recognition and limited express ability of single feature，a face recognition method based on Histogram of Oriented Gradient（HOG）and Local Binary Pattern（LBP）feature fusion is proposed.HOG and LBP features are extracted，and Principal Component Analysis（PCA）and Linear Discriminant Analysis（LDA）method is used to dimensionality reduction.Detection results are captured by feature fusion strategies. Experimental results on the face database show that the feature fusion method can not only get better recognition performance but also im prove recognition speed compared with single feature.

face recognition；Histogram of Oriented Gradient（HOG）feature；Local Binary Pattern（LBP）feature；feature fusion；recognition rate

孫 玉，劉貴全.基于HOG與LBP特征的人臉識別方法［J］.計算機工程，2015，41（9）：205-208，214.

英文引用格式：Sun Yu，Liu Guiquan.Face Recognition Method Based on HOG and LBP Feature［J］.Computer Engineering，2015，41（9）：205-208，214.

1000-3428（2015）09-0205-04

A

TP391.41

10.3969/j.issn.1000-3428.2015.09.038

國家自然科學基金資助項目（61073110）；安徽省教育廳重點教研基金資助項目（2012 jyxm722）。

孫 玉（1984-），男，副教授、碩士，主研方向：數據挖掘，人工智能；劉貴全，副教授、博士研究生。

2014-09-23

2014-10-22 E-m ail：sunyu127@163.com