基于自適應LBP人臉識別的身份驗證*

朱 黎，胡 濤，羅 鋒，毛 雷，紀忠原

(湖北民族學院信息工程學院，湖北 恩施 445000)

基于自適應LBP人臉識別的身份驗證*

朱 黎，胡 濤，羅 鋒，毛 雷，紀忠原

(湖北民族學院信息工程學院，湖北 恩施 445000)

提出了一種自適應LBP人臉識別算法用于進行身份認證。在身份特征錄入階段，首先采用Harr人臉級聯分類器對人臉樣本庫進行人臉區域檢測，并使用PCA方法對人臉區域進行降維處理；然后通過LBP二值模式的人臉識別算法提取人臉樣本的特征值；最后通過LBP人臉訓練生成人臉數據特征庫。通過多場景人臉圖像庫和閾值隊列，通過多閾值全組人臉匹配，建立人臉閾值特征庫。在身份驗證階段，將登錄用戶人臉與人臉閾值特征庫做粗粒度人臉LBP直方圖匹配，確定當前最優的LBP閾值；然后將登錄用戶人臉與人臉數據特征庫做LBP直方圖匹配，通過匹配結果確定登錄用戶的系統權限。實驗結果表明，在圖像和視頻模式下，基于自適應LBP人臉識別算法的身份驗證具有很高的魯棒性。

自適應LBP；人臉識別；Harr人臉級聯分類器；PCA；身份認證

1 引言

身份驗證作為保證信息安全的重要技術之一，保證系統用戶具備所對應的使用權限。但是，隨著信息技術的發展，傳統的身份驗證技術受到的威脅越來越大。在此背景下，生物驗證技術得到了飛速發展，其中最具代表性的有指紋身份驗證、人臉身份驗證和虹膜身份驗證技術[1]。

其中人臉身份驗證相比其他方式的識別具有的潛在優勢在于它的自然性和隱秘識別的特性。人臉身份驗證的核心技術是人臉識別技術。人臉識別技術可分為基于全局特征和基于局部特征兩大類[2]。目前主流的全局人臉識別技術包括主成分分析法PCA(Principal Component Analysis)[3]、線性鑒別分析法LDA(Linear Discriminant Analysis)[4]。由于人臉局部特征提取對光照、表情、姿態等變化較為敏感，該方法的穩定性不高、識別率低，因此越來越多的研究者將目光轉為全局與局部相結合的方法，如彈性圖匹配方法EBGM(Elastic Banch Graph Matching)[5]、多尺度局部二值模式LBP(Local Binary Pattern)法[6]等。LBP算法的適用面非常廣泛，并且得到了更深層次的發展，如用于3D人臉識別[11]、基于自適應塊的LBP、灰度共生矩陣和形態特征的人臉識別[12]。

Figure 1 Framework of authentication based on adaptive LBP face recognition圖1 基于LBP人臉識別的身份認證框架

基于以上研究成果，本文結合了人臉全局特征和局部特征，設計了一種基于自適應LBP人臉識別的身份驗證模型。首先通過構建注冊用戶平均臉的LBP特征信息庫，然后通過自適應LBP人臉匹配閾值控制和LBP人臉匹配方法提高登錄用戶身份驗證的準確率。

2 系統框架

本文提出了一種基于人臉信息的身份驗證模式，用于鑒別登錄用戶是否具有對應的權限，即通過登錄用戶人臉圖像信息與注冊用戶人臉圖像信息進行匹配，以確定登錄用戶的系統權限。

基于現有的人臉匹配算法，本文提出了一種基于LBP人臉識別的身份驗證算法，該算法結合Harr人臉級聯分類器[7]、PCA降維[8]、LBP人臉匹配[9,10]等關鍵技術，構建了一種快速的人臉身份驗證模型。該模型通過自適應LBP閾值控制模塊提高基于人臉識別的身份驗證準確率。基于自適應LBP人臉識別算法的身份驗證模型的系統框架圖如圖1所示。該人臉身份驗證模式包含以下三大部分：

(1)人臉特征注冊模塊：在用戶身份信息錄入階段，采集多種注冊用戶人臉圖像，通過Harr人臉級聯分類器和LBP二值模式提取注冊用戶人臉特征，并使用PCA方法對人臉數據進行降維處理；然后將處理后的多張人臉特性圖像融合成注冊用戶的平均臉；最后將平均臉的LBP特征值存入到人臉數據特征庫中。

(2)人臉身份驗證模塊：在用戶登錄系統階段，對實時采集的登錄用戶人臉圖像，完成其特征的提取，使用自適應的LBP人臉識別算法與人臉數據特征性進行匹配，確定登錄用戶的系統使用權限。

(3)自適應LBP閾值控制模塊：通過建立多場景人臉圖像庫和初始化LBP閾值序列，將多場景人臉圖像庫中的任一組人臉數據與其他組人臉數據按照LBP閾值序列中的LBP閾值做LBP人臉匹配，比較LBP匹配的正確度，選擇該組人臉數據的最優LBP閾值；按照以上方法與所有組的人臉數據進行LBP匹配，最終建立人臉閾值庫。

3 關鍵技術

3.1 Harr人臉級聯分類器

Harr人臉級聯分類器用于人臉檢測環節，Haar分類器通過Boosting算法中的AdaBoost算法，將AdaBoost算法訓練出的強分類器進行級聯，并且在底層的特征提取中采用了高效率的矩形特征和積分圖方法。

Harr-like 特征作為一種實時的人臉檢測算子，使用檢測窗口中制定位置的相鄰矩形，計算每一個矩陣的像素和并取其差值；然后使用這些差值對圖像的子區域進行分類。

Harr-like特征分為三類：邊緣特征、線性特征和中心特征，共14種基本特征原型。

設檢測窗口尺寸為W×H，矩形使用四元組表示：r=(x,y,w,h,α)，其中(x,y)為矩形頂點坐標，(w,h)為矩形尺寸，α為矩形旋轉角度。使用recSum(r)表示矩形窗口內所有像素值之和。矩形特征定義如下：

(1)

其中，{1,…,N}表示該特征由N個矩形組成，ωi表示矩形i的權值，recSum(ri)表示矩形i內所有像素值的和。

由于計算特征值時需要統計矩形內所有像素值之和，導致訓練和檢測的速度大為降低。通過引入“積分圖”的方法，降低特征值計算開銷。積分圖分為兩種：傾角分別為0°和45°的積分圖。下面以傾角為0°的積分圖為例，簡述recSum(r)的優化過程。對于傾角為0°的特征矩形，積分圖SAT(x,y)的定義如下：

(2)

其中I(x′,y′)為點(x′,y′)的像素值。將SAT(x,y)按公式(3)展開，那么SAT(x,y)只需要按行或列遍歷一次即可得到。

SAT(x,y)=SAT(x,y-1)+SAT(x-1,y)+

(3)

對于特征矩陣r=(x,y,w,h,0)，矩陣內所有像素值之和的計算過程為：

recSum(r)=SAT(x-1,y-1)+

SAT(x+w-1,y+h-1)-SAT(x-1,

(4)

從公式(4)可以看出，矩陣r的recSum(r)只需四次積分圖查找便可得到，運算速度較快，而且與矩陣r的尺寸無關。

Harr人臉級聯分類器通過決策樹的方式在分類器的每個階段檢測人臉，從而提高命中率和降低誤測率。在每個階段都是用離散的Adaboost算法進行樣本訓練，從而通過一組弱分類器構建強分類器。

設人臉的弱分類器為h(x,f,p,θ)，由子窗口圖像x、特征f、指示不等式方向p和閾值θ組成。初始的弱分類器可能只是一個最基本的Haar-like特征，然后將弱分類器訓練成最優的弱分類器。訓練最優弱分類器的過程即為尋找合適的分類器閾值，使得該分類器對所有樣本的判斷誤差最低。通過對所有的最優弱分類器進行組合，得到強分類器。

Harr人臉級聯分類器通過組合多種強分類器不斷地在每一級強分類器中篩選輸入的人臉圖像的子窗口圖像，通過的子窗口圖像進入下一級強分類器中繼續進行篩選，最后得到具有高準確率的人臉子窗口圖像。設每一級強分類器中99%的人臉可以通過篩選，50%的非人臉也可以通過篩選，那么由20個強分類器組成的Harr人臉級聯分類器的總識別率約為98%，錯誤接受率約為0.000 1%。

3.2PCA降維處理

通過Harr人臉級聯分類器獲取人臉圖像的人臉區域信息，由于人臉區域包含了大量的Harr-like特征，為了提高后續人臉匹配的速度，對人臉區域的特征向量進行PCA降維處理，得到低維的特征向量和降維系數；然后對降維后的人臉區域特征向量進行歸一化處理，得到該人的平均臉。人臉區域信息的PCA降維計算過程如下：

PcaFeature=KLT(FeatureI)

(5)

其中KLT為Karhunen-Loeve變換，常用于數據壓縮和PCA降維，其具體步驟如下：

首先構建人臉區域的特征協方差矩陣，接著計算該矩陣的特征向量和特征值；然后按照特征值由大到小進行排列，通過忽略那些重要性很小的成分，最終得到降維后的人臉區域特征信息。

PCA算法的本質就是一種降維工具。為了降低數據處理的復雜度，需要對高維數據進行降維，而PCA算法就是將高維的數據通過一定的線性變換投影到低維空間。同時，這個線性變換必須最能代表原始數據，以保證降維后不丟失太多數據。在降維過程中需要用到協方差矩陣。協方差矩陣的主對角線上的元素是各個維度上的方差，其他元素是兩兩維度間的協方差，可以通過這個特性來進行降維處理。

3.3LBP算子

LBP算子是一種有效的紋理描述算子。它通過對圖像中任意像素點與其鄰域點的灰度值大小關系所形成的二進制編碼來描述圖像局部紋理的空間結構，具有旋轉不變性和灰度不變性的特點。最初的LBP算子定義為:以某個點為中心,以3×3的大小作為窗口,將該中心點的灰度置為閾值,與相鄰的八個點的灰度值進行比較,如果周圍點的像素值比中心點的小,那么此像素位置就定位為0,否則為1；然后,將3×3鄰域內的八個點產生的二進制數按照一定的順序寫成一行編碼形式,即可得到這個點的LBP值,這個數能夠反映該區域的紋理信息。LBP算子的運算過程如圖2所示。

Figure 2 Example of LBP operator圖2 LBP算子運算過程示例

Ojala等人進一步提出了統一模式的LBP紋理描述方法，改進LBP的運算性能，同時采用LBP直方圖使得LBP算法在擁有良好的局部紋理信息的同時也保留了一部分整體信息。LBP特征在紋理分類和分割、圖像檢索和曲面檢測等方面應用廣泛。

AhonenT在文獻[9]中提出合并空間信息，用于人臉識別模型方法，將LBP圖像分成b個塊，對每個塊提取直方圖。通過連接局部直方圖(而不是合并)就能得到空間增強的特征向量。這些直方圖被稱為局部二值模式直方圖。

在本文中，對人臉特征信息進行PCA降維后，其LBP操作定義如下：

LbpFeature(xc,yc)=

(6)

其中,(xc,yc)是圖像的像素點，PcaFeaturec為其降維Harr特征，PcaFeaturep是該點鄰域點的降維Harr特征，S(·)表示當前像素點與其鄰域點的降維Harr特征差，其計算過程如下：

(7)

對人臉特征信息LbpFeature(x,y)進行直方圖統計，得到人臉LBP直方圖E(LbpFeature)。對于人臉注冊模塊，則將LBP直方圖E(LbpFeature)存入對應的人臉特征庫；對于人臉登錄模塊，則將LBP直方圖E(LbpFeature)與人臉特征庫的特征性進行匹配，以確定當前登錄用戶的系統權限。人臉匹配的核心思想是利用登錄用戶的人臉LBP特征與人臉特征庫的所有平均臉的LBP特征的相似度方差，確定登錄用戶是否存在于人臉特征庫中。相似度方差計算公式如下：

(8)

其中,LFc表示登錄用戶人臉信息，LFc(i)表示登錄用戶人臉的LBP直方圖第i塊特征bin的特征，ALFn和ALFn(i)對應平均臉信息和LBP直方圖特征，b為登錄用戶人臉的LBP直方圖的bin。相似度方差d越小，表示登錄用戶的人臉信息與對應的平均臉信息越相似，最終可以將登錄用戶的權限歸為方差最小的平均臉所擁有的系統權限。

在進行人臉的LBP直方圖匹配的過程中，一般性地使用了一個經驗性的閾值進行匹配判斷，即通過判斷相似度方差d與閾值t的關系，確定當前登錄人臉的特征是否為正確的標簽。具體判斷過程如下：

(9)

最終基于LBP特征的人臉匹配的目標方程可以規約為：

faceLable=Lable{

min[du(predictu==1)]},u≤N

(10)

其中,N為人臉特征庫中平均臉的數量，Lable是經過平均臉訓練后的標簽。

3.4 自適應LBP閾值控制

由于在公式(9)中使用的閾值t為確定的經驗值，對于不同場景下的人臉識別率有著非常重要的影響。為了將這種影響降到最低，本文設計了一種自適應LBP閾值控制算法，用于動態確定當前LBP特征匹配的閾值。

考慮到系統應用場景的復雜性，本文首先建立多場景人臉圖像庫FaceLib={P1,L,P2,L,…,Pq,L}，其中Pi,j表示人臉庫中編號為i共有j張不同的人臉，初始化LBP閾值序列Theshold={t1,t2,…,tk}。本文使用公式(1)～公式(5)構建多場景人臉圖像庫中所有人的平均臉AF={af1,af2,…,afq}，選取AF中任一平均臉afi，通過公式(6)～公式(10)在不同的閾值tj下將afi與其余AF平均臉做LBP特征匹配，確定當前平均的最優閾值。即自適應LBP閾值控制的閾值選取目標方程：

bestTi=min{min[dj,u(predictj,u==1),tj]}

(11)

將AF所有的af按照公式(11)做全組人臉匹配，然后將得到的最優bestTi作為編號為i的同一人的LBP匹配閾值。通過bestTi與人臉的一一映射{afi,bestTi}，構建人臉閾值庫。

在用戶登錄過程中，首先將登錄用戶人臉與人臉閾值庫中左右的平均臉af做粗粒度的LBP特征匹配，根據公式(10)識別與登錄用戶人臉最相似的平均臉afv，選擇與afv對應的bestTv。最后利用公式(9)和公式(10)，將登錄用戶人臉LBP特征在閾值為bestTv的條件下，與人臉特征庫進行人臉匹配，最終根據人臉匹配的結果判斷登錄用戶的使用權限。

4 數據測試

人臉特征注冊模塊首先通過攝像頭捕獲10張注冊用戶人臉圖像；然后通過Harr人臉級聯分類器進行人臉區域提取(圖3a)和PCA降維構建注冊用戶的平均臉(圖3b)；最后提取平均臉的LBP特征(圖3c)，并將特征存入人臉特征數據庫。

Figure 3 Example of a registered user’s faces圖3 注冊用戶人臉示例

對于自適應LBP閾值控制模塊，本文使用了ORL人臉數據庫作為多場景人臉數據庫進行測試。ORL人臉數據庫包括400張人臉樣本(其中分為40個人，每人10張人臉樣本)。由于ORL人臉樣本在不同時間、不同光照、不同表情(睜眼閉眼、笑或者不笑)、不同人臉細節(戴眼鏡或者不戴眼鏡)下采集，所以非常適合使用于多場景的LBP閾值控制。

本文使用多組人臉數據用戶測試人臉身份驗證模塊，并且通過多次用戶身份驗證驗證算法的魯棒性。并將自適應LBP人臉識別認證驗證算法與經典LBP人臉識別算法進行比對，比對結果如圖4所示。

Figure 4 Face recognition rate comparison based on ORL圖4 基于ORL庫的人臉識別率比較

Figure 5 Face recognition time based on ORL圖5 基于ORL庫的人臉識別時間比較

從圖4我們可以得到以下結論：自適應LBP人臉識別身份認證算法的人臉識別率優于經典LBP分類器的人臉識別率；雖然自適應LBP人臉識別身份認證算法的耗時高于經典LBP分類器，但是自適應人臉識別身份認證算法的耗時屬于毫秒級的，符合一般身份認證系統對于時間的要求。在多種樣本數量條件下，本文提出的算法都具有很好的魯棒性。

5 結束語

本文提出了一種基于自適應LBP人臉識別的身份驗證算法，采用注冊用戶的人臉特征信息作為身份驗證的標識，提供了一種實用的身份驗證模式。算法首先采集多張注冊用戶人臉圖像，通過Harr人臉級聯分類器提取注冊用戶人臉區域，通過PCA方法對注冊用戶人臉區域的特征進行降維處理，并將同一人多張降維后的人臉特征圖像合成為平均臉；然后使用LBP算子提取平均臉的特征；最后將該注冊用戶平均臉的LBP特征存入人臉特征數據庫。為了提高登錄用戶人臉識別率，本文提出了一種自適應LBP閾值控制算法，通過在多組閾值條件下進行多場景的LBP人臉訓練，尋找不同條件下的最優LBP閾值，并構建人臉閾值庫。對于登錄認證用戶而言，首先通過人臉閾值庫將采集到的登錄認證用戶人臉圖像進行粗粒度的LBP人臉匹配，確定當前登錄認證用戶適合的LBP閾值；然后再通過此閾值將登錄認證用戶人臉圖像與人臉特征數據庫做LBP匹配，通過匹配的結果判定登錄認證用戶所具有的系統權限。

本文提出的算法具有以下特點：

(1)將人臉信息作為系統認證的標識，為傳統的字符密碼系統認證模式提供了新的方法；

(2)在系統認證過程中，是將登錄認證用戶人臉圖像與注冊用戶平均臉圖像做LBP匹配而傳統的人臉匹配，是與注冊用戶的單張人臉圖像進行匹配。

通過系統測試和數據比對，本文提出的基于自適應LBP人臉識別的身份驗證算法具有較好的實用價值和魯棒性。在后續工作中，我們會朝著將人臉認證登錄與傳統認證登錄相結合的方向進行探討，將系統認證的可靠性進一步提高。

[1]SunDM,QiuZD.Asurveyoftheemergingbiometrictechnoloy[J].ACTAElectronicaSINICA, 2001, 29(12):1744-1748.(inChinese)

[2]SuYu,ShanShi-guang,ChenXi-lin,etal.Integrationofglobalandlocalfeatureforfacerecognition[J].JournalofSoftware, 2010, 21(8):1849-1862.(inChinese)

[3]TurkM,PentlandA.Eigenfacesforrecognition[J].JournalofCognitiveNeuroscience, 1991, 3(1):71-86.

[4]EtemadK,ChellappaR.Discriminantanalysisforrecognitionofhumanfaceimages[J].JOSAA, 1997, 14(8):1724-1733.

[5]YangJ,ZhangD,FrangiAF,etal.Two-dimensionalPCA:Anewapproachtoappearance-basedfacerepresentationandrecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2004, 26(1):131-137.

[6]WangWei,HuangFei-fei,LiJian-wei,etal.Facedescriptionandrecognitionusingmulti-scaleLBPfeature[J].OpticsandPrecisionEngineering, 2008, 16(4):696-705.(inChinese)

[7]LuH,LinH.Genderrecognitionusingadaboostedfeature

[C]∥Procofthe3rdInternationalConferenceonNaturalComputation, 2007:646-650.

[8]HuaShun-gang,ZhouYu,LiuTing.ThermalinfraredfaceimagerecognitionbasedonPCAandLDA[J].PatternRecognitionandArtificialIntelligence, 2008, 21(2):160-164.(inChinese)

[9]AhonenT,HadidA,Pietik?inenM.Facerecognitionwithlocalbinarypatterns[C]∥Computervision-eccv2004, 2004:1.

[10]WangWei,HuangFei-fei,LiJian-wei,etal.FacedescriptionandrecognitionbyLBPPyramid[J].JournalofComputerAidedDesign&ComputerGraphics, 2009,21(1):94-100.(inChinese)

[11]TangH,YinB,SunY,etal. 3Dfacerecognitionusinglocalbinarypatterns[J].SignalProcessing, 2013, 93(8):2190-2198.

[12]KarA,BhattacharjeeD,BasuDK,etal.AnadaptiveblockbasedintegratedLDP,GLCM,andmorphologicalfeaturesforfacerecognition[J].arXivPreprintarXiv:1312.1512, 2013.

附中文參考文獻：

[1] 孫冬梅, 裘正定. 生物特征識別技術綜述[J]. 電子學報, 2001, 29(12):1744-1748.

[2] 蘇煜, 山世光, 陳熙霖, 等. 基于全局和局部特征集成的人臉識別[J]. 軟件學報, 2010, 21(8):1849-1862.

[6] 王瑋,黃非非,李見為,等.使用多尺度LBP特征描述與識別人臉[J]. 光學精密工程, 2008, 16(4):696-705.

[8] 華順剛, 周羽, 劉婷. 基于PCA+LDA的熱紅外成像人臉識別[J]. 模式識別與人工智能, 2008, 21(2):160-164.

[10] 王瑋, 黃非非, 李見為, 等. 采用LBP金字塔的人臉描述與識別[J]. 計算機輔助設計與圖形學學報, 2009，21(1):94-100.

ZHULi,born in 1984,MS,lecturer,her research interest includes image processing.

胡濤(1984),男.湖北來鳳人，博士生，講師，研究方向為圖像處理和物聯網。E-mail:Hutao_505@hotmail.com

HUTao,born in 1984,PhD candidate,lecturer,his research interests include image processing, and the Internet of Things.

IdentityauthenticationbasedonadaptiveLBPfacerecognition

ZHU Li,HU Tao,LUO Feng,MAO Lei,JI Zhong-yuan

(School of Information Engineering,Hubei Minzu University,Enshi 445000,China)

An identity authentication method based on adaptive LBP face recognition is proposed.In the identity feature recording phase,Harr face cascade classifier is first employed on face sample library to detect the face area,then PCA method is adopted to reduce dimensionality for face area,an adaptive LBP face recognition algorithm is adopted to extract the feature values of face samples,and at last these feature values are trained to construct the face feature library.The face threshold feature library is constructed by multi-scene face image library,threshold queue,and multi-threshold matching of faces in the whole group. In the identity authentication phase,the LBP matching method is used between the face of the certificating user and face threshold feature in the face threshold feature library so as to determine the best LBP threshold.Using this threshold,the face of the certificating user is matched with the face feature in the face feature library in order to confirm the system permission for the certificating user.The experiments show that the identity authentication method based on adaptive LBP face recognition is of higher recognition rate and robustness.

adaptive LBP;face recognition;Harr face cascade classifier;PCA;authentication

1007-130X(2014)11-2217-06

2014-06-05;

：2014-08-23

湖北省教育廳科研計劃資助項目(Q20131904)；國家文化科技提升計劃資助項目(201307)；湖北民委基金資助項目(HBMW2012006)

TP391.4

：A

10.3969/j.issn.1007-130X.2014.11.027

朱黎(1984),女,湖北咸豐人，碩士，講師，研究方向為圖像處理。E-mail:Lier_zhu@163.com

通信地址：445000 湖北省恩施市湖北民族學院信息工程學院

Address:School of Information Engineering,Hubei Minzu University,Enshi 445000,Hubei,P.R.China