LBP與LNMF特征融合的人臉識別

袁寶華，王 歡，任明武

1.南京理工大學 泰州科技學院 計算機系，江蘇 泰州 225300 2.南京理工大學 計算機系，南京 210094

LBP與LNMF特征融合的人臉識別

袁寶華1，王 歡2，任明武2

1.南京理工大學 泰州科技學院 計算機系，江蘇 泰州 225300 2.南京理工大學 計算機系，南京 210094

1 引言

人臉識別是基于生物特征識別技術的身份認證中最主要的方法之一。對人臉識別方法的研究已成為當前模式識別和人工智能領域的一個研究熱點[1]。人臉識別技術從最初的非自動識別階段，已經發展到了現在的自動識別階段，但是由于受光照、表情、年齡等條件變化影響，人臉識別系統只能用于某些識別準確率要求不高的場合。

由于人臉圖像的復雜性，即表面光滑且具有一定的紋理信息，局部像素間又具有很強的相關性，而利用顯示的描述人臉特征的方法進行識別具有一定的困難，利用統計信息進行識別的方法逐漸受到重視。Lee[2]等人提出一種非負矩陣分解（Non-negative Matrix Factorization，NMF）算法，通過對矩陣引入非負性約束，使重建圖像由基圖像非減的疊加組合而成，更符合人類思維中“局部構成整體”的概念。2002年Li等人在標準的NMF目標函數的基礎上增加了局部特征分析（LFA）的限制形成了LNMF[3-4]，該方法更好地實現人臉庫的局部分量或部件的提取。

1999年Ojala等人引入了局部二值模式（Local Binary Pattern，LBP）作為紋理算子來分析圖像紋理特征，利用結構法思想分析固定窗口特征，再利用統計法作整體的特征提取。Timo Ahonen[5]等人將LBP引入人臉識別，將其用于描述人臉圖像的特征，采用 χ2統計作為不相似度量，取得了較好的識別效果。

本文提出一種結合LBP和NMF的人臉識別方法，將人臉圖像進行分塊，然后采用LBP算子提取分塊的直方圖，將每個分塊的直方圖串接成直方圖序列，構成新的人臉特征，因為該特征具有人臉的紋理特征。對此人臉特征，采用局部非負矩陣分解，提取非負子空間和系數矩陣，對于新的人臉特征提取出訓練樣本庫和測試樣本庫，將測試樣本向非負子空間投影，得到一組系數矩陣，對兩組系數矩陣，根據最近鄰距離進行分類，實驗結果表明該方法具有很好的識別效果。

2 相關知識

2.1 LBP

LBP算子用于描述圖像中每個像素值和其領域像素值的關系。在灰度圖像中，像素值為像素的灰度。基本的LBP算子[6-7]作用于一個大小固定為3×3的矩形塊，如圖1所示。

圖1 基本的LBP算子

對3×3的矩形塊，按照一定的順序，周圍的8個像素點依次與中心像素點做比較，如果大于或等于中心像素值，則此像素賦值為1；反之則賦值為0，這樣就將原先的像素值轉化為二進制代碼。然后按照此順序可以得到一個二進制數字以及其對應的十進制數值。最后以直方圖的形式統計出整個掃描區域中的每個值的數量，由此作為對掃描區域中紋理特征的描述。

為了改善原始的LBP算子存在的無法提取大尺寸結構的紋理特征的局限，處理各種不同的紋理，形成擴展LBP算子，該算子使用不同數量的鄰近子塊以及不同尺寸的矩形塊，用尺度(P，R)來表示到中間像素點半徑為R的P個采樣點，即

圖2 擴展的LBP算子

由于LBP算法中，對LBPP，R而言，共有2p種0和1組合的可能性，其中一定可以找到一種組合確切地表示圖像的局部特征，因此提出一種均勻模式LBPuP，R，LBP算子的二進制特征值被視為首尾鏈接的環形時，至多存在兩位由0到1或是1到0的轉換。例如，00000110和01111000包含了2個從0到1的轉換。LBPu2P，R表示一種均勻模式的LBP算子，u2表示均勻模式。

對于圖像 f(x，y)的直方圖可定義如下：

其中，n是LBP算子產生的不同二值模式。

2.2 LNMF

非負矩陣分解[3-4]是在矩陣中所有元素均為非負數約束條件下的矩陣分解方法，矩陣分解形式如下所示：

其中，X是n×m的矩陣，X=(x1，x2，…，xm)，分解為基矩陣Wn×r和系數矩陣Hr×m的乘積。

LNMF[5]在NMF的基礎上增加了三點限制：（1）使權重系數矩陣H盡可能稀疏；（2）使不同基之間的冗余性最小，即盡可能正交；（3）僅僅保留含有最重要信息的基，其目標函數定義如下所示：

其中，a，b是常量，P=(pi，j)=WTW，Q=(qi，j)=HHT

相應的迭代規則如下所示：

3 LBP與LNMF特征融合的人臉識別算法

因為人臉每個部分對于識別的貢獻度是不一樣的，所以定義帶有一個權重的人臉圖[3]，得到帶有權重的二維矩陣，如圖3所示。

圖3 帶有權重的人臉圖

提取人臉每個分塊LBPu2P，R算子直方圖特征后，根據分塊所在位置，將該分塊的直方圖乘上相應的權重，然后將所有直方圖串接為一個序列ψ作為最終人臉的表示，稱之為LBPHS。

式中W為權重的二維數組。

此過程能夠提取出訓練集有效的人臉紋理信息，而且大幅度減少訓練數據量。每個圖像的ψ維數只與分塊的個數和采用的LBP算子有關，而與圖像實際大小無關，然后利用LNMF算法對每個人臉Weight LBPHS進一步降維。由于利用訓練集的紋理信息增加了LNMF特征子空間的類間特征，并且訓練數據量的大幅減少，改善了LNMF迭代速度慢，訓練時間長的問題，因此，這種LBP和LNMF相結合的人臉識別算法不僅有效地提高了人臉識別率，并且在相同識別率下大大提高了訓練速度。

融合LBP與LNMF算法步驟如下：

（1）利用LBP算法，計算訓練集中m張人臉圖像的Weight LBPHS，構成人臉圖像直方圖序列矩陣 X=[ψ1，ψ2，…，ψm]。

（2）根據LNMF分解算法，將矩陣X分解為W和H，其中，W=[w1，w2，…，wr]為基圖像，即特征空間，H=[h1，h2，…，hm]為權重系數。

（3）利用LBP算法，計算測試圖像的權重直方圖序列ψT，然后將其投影到特征空間W，得到權重系數hT：

（4）利用距離度量hT和H中每列向量hi之間的誤差，根據最近鄰準則進行分類。

4 實驗結果

為了驗證算法的有效性，采用ORL人臉庫和YALE人臉庫進行人臉識別仿真實驗。設原始人臉圖像的大小為M×N，分塊數目為 p×q，則把圖像分成 p×q塊，每個子圖像的大小為(M/p)×(N/q)。實驗中方法使用參數如表1所示，權重矩陣如圖4所示，運行環境為Pentium D 3.20 GHz，1 GB內存，Matlab7.0。

表1 處理方法的參數設置表

圖4 分塊人臉的權重矩陣

實驗中首先對人臉圖像進行分塊，采用LBPu21，8算法計算每個分塊圖像權重直方圖序列，然后隨機選取每個人的5幅圖像進行訓練，其余圖像進行測試。在本文中，采用LBP+NMF、LBP+LNMF及Weight LBP+LNMF方法，進行人臉識別仿真實驗，并重復實驗50次，取50次識別率的平均值作為最終結果。

4.1 ORL人臉庫實驗

ORL人臉庫包括40個人，每個人10幅人臉圖像，共400幅，具有不同的光照、表情、發型和有無眼鏡等特征，并且人臉有一定的側轉角度，每幅圖像均為92×112的灰度圖像，ORL人臉庫部分圖像如圖5所示。

圖5 ORL人臉庫部分圖像

將人臉圖像分成4×4，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空間維數的識別率，如圖6所示。

圖6 人臉分塊數4×4下不同方法的識別率曲線（ORL）

將人臉圖像分成2×2，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空間維數的識別率，如圖7所示。

圖7 人臉分塊數2×2下三種方法的識別率曲線（ORL）

4.2 YALE人臉庫實驗

Yale人臉數據庫包含了15個人的165幅的灰度圖像，每個人具有11幅不同的圖像，這11幅圖像具有多種姿態、多光照的特點。實驗中對每幅圖像進行旋轉、剪裁，得到100×100統一大小的校準圖像。

將人臉圖像分成4×4，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空間維數的識別率，如圖8所示。

圖8 人臉分塊數4×4下三種方法的識別率曲線（YALE）

將人臉圖像分成2×2，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空間維數的識別率，如圖9所示。

圖9 人臉分塊數2×2下三種方法的識別率曲線（YALE）

從實驗中發現，對一個圖像的分塊多少會影響到識別率。由于要使得一個分塊既能較好地表達局部細節，又能較好地表達整體特征，是比較困難的，本實驗中采用4×4分塊識別率要高于2×2分塊。

最終實驗結果如表2所示，表中列出了在人臉分塊數為4×4、權重矩陣采用圖4中的矩陣、訓練樣本數為5的情況下，NMF、LBP+NMF、LBP+LNMF及Weight LBP+LNMF算法的比較結果。由于LNMF在NMF基礎上增加了局部特征分析，采用WLBP+LNMF的方法的結果要好于其余幾種方法。

表2 不同識別方法的識別率 （%）

5 結束語

本文在LBP紋理提取的基礎上，對人臉進行分塊，根據分塊部分對識別率的重要性給予相應的權值，將每塊的LBPHS串接起來形成人臉特征，能夠增加了LNMF特征子空間的類間特征，然后采用LNMF對特征進行特征提取，實驗結果驗證了該方法的有效性和正確性。

[1]Zhao W，Chellappa R，Philips P J，et al.Face recognition：a literature survey[J].ACM Computing Surveys，2003，35（4）：399-458.

[2]Ana S，Yoob J，Choi S.Manifold-respecting discriminant nonnegative matrix factorization[J].Pattern Recognition Letters，2011，32（6）：832-837.

[3]Liang Z，Li Y，Zhao T.Projected gradient method for kernel discriminant nonnegative matrix factorization and the applications[J].Signal Processing，2010，90（7）：2150-2163.

[4]Zhi Ruicong，Flierl M，Ruan Q，et al.Graph-preserving sparse nonnegative matrix factorization with application to facial expression recognition[J].IEEE Transactions on Systems，Man，and Cybernetics，PartB：Cybernetics，2011，41（1）：38-52.

[5]Ahonen T，Hadid A.Face description with local binary patterns：application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（12）.

[6]Zhang Baochang，Gao Yongsheng.Local derivative pattern versus local binary pattern：face recognition with high-order local pattern descriptor[J].IEEE Transactions on Image Processing，2010，19（2）：533-544.

[7]Choi J Y，Plataniotis K N，Ro Y M.Using colour local binary pattern features for face recognition[C]//Proceedings of 2010 IEEE 17th International Conference on Image Processing. Hong Kong：[s.n.]，2010.

[8]Jabid T，Kabir M H，Chae O.Facial expression recognition using local directional pattern[C]//Proceedings of 2010 IEEE 17th InternationalConference on Image Processing.Hong Kong：[s.n.]，2010.

[9]Tan Xiaoyang，Triggs B.Enhanced local texture feature sets forface recognition underdifficultlighting conditions[J]. IEEE Transactionson ImageProcessing，2010，19（6）：1635-1650.

YUAN Baohua1,WANG Huan2,REN Mingwu2

1.Department of Computer Science&Technology,Taizhou Institute of Science&Technology,Nanjing University of Science and Technology,Taizhou,Jiangsu 225300,China
2.School of Computer Science&Technology,Nanjing University of Science and Technology,Nanjing 210094,China

A method of face recognition based on Local Binary Pattern（LBP）and Local Non-negative Matrix Factorization （LNMF）is proposed.LBP operator is used to extract the LBP Histogram Sequence（LBPHS）from block face images.According to the contribution of each face block,weight LBP Histogram Sequence（Weight LBPHS）is obtained.LNMF is applied to weight LBPHS for extracting non-negative subspace and the corresponding coefficient matrices.Nearest neighbor principle is utilized in face recognition.The simulation experiments illustrate that this method has better recognition rate on the ORL and YALE face database.

local binary pattern;local non-negative matrix factorization;face recognition

提出一種融合局部二值模式（LBP）和局部非負矩陣分解（LNMF）進行人臉識別的方法，采用LBP算子提取分塊人臉圖像的LBP直方圖序列（LBPHS），根據每塊的貢獻度，得到權重的直方圖序列（Weight LBPHS），采用LNMF方法提取其非負子空間及其系數矩陣，根據最近鄰原則進行識別。在ORL和YALE標準人臉數據庫上的實驗表明，該方法具有較高的識別率。

局部二值模式；局部非負矩陣分解；人臉識別

A

TP391

10.3778/j.issn.1002-8331.1107-0249

YUAN Baohua,WANG Huan,REN Mingwu.Fusing local binary pattern and LNMF of face recognition.Computer Engineering and Applications,2013,49（5）：166-169.

國家自然科學基金（No.60875010）。

袁寶華（1980—），男，講師，主要研究方向：智能控制、圖像處理；王歡（1982—），男，講師，研究方向為計算機視覺、圖像分析與理解、模式識別；任明武（1969—），男，教授，博導，研究方向為圖像分析與理解、模式識別、智能機器人。E-mail：yuanbaohua@sina.com

2011-07-12

2011-08-29

1002-8331（2013）05-0166-04

CNKI出版日期：2011-11-14 http://www.cnki.net/kcms/detail/11.2127.TP.20111114.0950.071.html