自適應中心對稱局部三值模式的人臉識別

閆　河　王　樸　劉　婕　陳偉棟

(重慶理工大學計算機學院　重慶 400054)

?

自適應中心對稱局部三值模式的人臉識別

閆河王樸劉婕陳偉棟

(重慶理工大學計算機學院重慶 400054)

針對局部三值模式描述人臉圖像紋理特征時直方圖維數過高以及閾值不能自適應選取的缺陷，提出一種自適應中心對稱局部三值模式方法。首先，用具有降低維數的中心對稱局部三值模式算子對人臉圖像編碼，把鄰域像素均值引入編碼中以增強抗噪性能；其次，嵌入統計鄰域均值與鄰域像素的標準差作為閾值以自適應提取人臉特征，并統計特征直方圖；最后用卡方距離度量訓練樣本特征直方圖和測試樣本特征直方圖的相似度，采用最近鄰分類器分類識別。所提算法在YALE、Extended Yale B人臉圖像庫上的最高正確識別率分別達到99.67%，99.33%；識別一張人臉的速度分別達到0.1984和0.3988 s。實驗結果表明，所提算法對光照變化和噪聲更加魯棒，有效提高了人臉識別的精度和速度。

人臉識別中心對稱局部三值模式自適應閾值

0　引　言

近年來，受公共安全、國家安全、人機交互、金融安全等領域大量潛在的需求所驅動，人臉識別技術已經成為模式識別領域的研究熱點[1]，其關鍵問題是如何找出有效描述人臉特征的算子。在實際應用中，人臉易受光照、噪聲等變化的影響，通常使得人臉圖像呈現較強的不穩定性，甚至會造成同一個人的差異比不同人之間的差異還大[2]，因此，增加了人臉識別的難度。局部二值模式LBP(Local Binary Pattern)[3]用于人臉識別[4-11]中是一種有效局部紋理特征描述算子，該方法簡單，對微弱光照變化具有一定的魯棒性，但在編碼時會產生256個不同的二進制，導致形成的直方圖特征維數較高以致不利于分類與識別；其次，當光照劇烈變化時，LBP算子無法描述該變化的劇烈程度，使得LBP特征表征能力和分類能力下降。針對LBP的不足，HeiKKiloi等[12]把中心對稱的思想用到LBP算子上，提出了中心對稱二值局部模式CS-LBP(Center Symmetric LBP)，其思想是不再依次比較鄰域周邊像素與中心像素的灰度值，而是比較中心像素對稱的兩個周邊像素灰度值，該模式降低了LBP特征維數，計算復雜度低、且具有抗噪性。Tan等[13]在LBP基礎上提出了局部三值模式LTP(Local Ternary Patterns)，LTP算子采用0、1、-1三個值進行編碼，并且允許用戶自定義一個閾值，在一定程度上均衡了劇烈光照引起的灰度值變化，解決了光照劇烈變化下的識別問題。LTP特征已在人臉識別領域[14-17]取得了較好的應用效果。然而，由于LTP算子采用0、1、-1三個值進行編碼，使得LTP特征維數更高，其次，LTP算子是事先自定義一個閾值，需要進行大量實驗來尋找最佳閾值，且閾值不能自適應地兼顧不同樣本間的差異，因此LTP還存在普適性問題。

針對上述問題，本文提出了自適應中心對稱局部三值模式方法CS-LTPAT(Center Symmetric LTP with Adaptive Threshold)。該方法首先把文獻[12]的思想應用到LTP算子上，提出了中心對稱局部三值模式(CS-LTP)以降低LTP維數；為了增強所提算子的抗噪性，把鄰域均值加入到算子的編碼中；其次，為了提高算法的普適性，通過統計鄰域均值與鄰域像素的對比度值，將其對比度的標準差作為閾值自適應提取人臉特征。實驗表明，所提算法對光照變化和噪聲更加魯棒，有效提高了人臉識別的精度和速度。

1　LTP算子

LTP算子是在LBP算子基礎上進行擴展，采用三值編碼模式，LTP繼承了LBP對光照不敏感的優點，并且算子本身自定義的一個閾值t在一定程度上能減少劇烈光照的影響。LTP算子量化階段增加了-1碼，通過計算鄰域像素gi與中心像素的gc差值，差值在[-t,t]范圍內則被量化為0，差值大于t則被量化為1，差值小于-t則被量化為-1。LTP的具體計算公式定義如下：

(1)

其中t為用戶自定義的閾值，利用LTP算子進行編碼，權值的編碼方式與LBP算子類似，編碼方式的計算公式如下：

(2)

從LTP算子的編碼過程得出，LTP是一種圖像微量特征、局部形狀以及局部紋理的描述算子，并通過用戶自定義閾值t和增加一位編碼，在一定程度上均衡了劇烈光照變化下的像素值，有效提高了LTP特征的表征能力和分類能力。但LTP直方圖特征維數會隨著半徑R和鄰域像素點P的增大而顯著增大，這將大大增加了計算的復雜度。另外，LTP閾值始終是固定值，不能根據樣本圖像的自身情況自適應選取。因此需要一種自適應樣本閾值，以進一步優化LTP。

2　基于自適應中心對稱局部三值模式的人臉特征描述與識別

2.1CS-LTP算子

使用LBP算子描述圖像紋理時，產生的直方圖特征維數較高，為了降低維數，文獻[12]重新定義像素值之間的比較關系，提出了中心對稱局部二值模式(CS-LBP)。CS-LBP只比較鄰域內基于中心像素中心對稱的像素值對，因此CS-LBP相比LBP統計直方圖的維數更低。考慮LTP的維數問題，本文把中心對稱的思想應用到局部三值模式中，提出了中心對稱局部三值模式(CS-LTP)。CS-LTP的定義如下：

(3)

其中S是權值系數:

(4)

當中心對稱對的灰度差大于某個閾值t時，S為1，否則為0。

從CS-LTP計算公式可以看出，CS-LTP直方圖維數比LTP直方圖維數更低，計算量小很多，能夠適應實時計算的需求。為了降低噪聲的影響，本文把鄰域均值編碼考慮到CS-LTP算子中，則CS-LTP的計算公式如下：

(5)

2.2自適應閾值的選取

針對LTP閾值不能自適應問題，本文提出一種能根據圖像自身情況自適應選取閾值的方法。選取的方式為計算鄰域對比度的標準差，將該標準差設為當前鄰域的閾值。在(P,R)鄰域內，通過計算鄰域均值與鄰域像素的對比度得到該鄰域的標準差δ，δ值較小表明對比度值較為分散，反之，則表明分布較為集中。標準差δ可以直觀地觀察樣本的變化程度。δ具體計算如下：

(6)

(7)

(8)

(4) 根據對比度值及其均值，計算標準差δ

(9)

從標準差δ的計算過程看，δ值會隨著每個鄰域的變化而變化，這說明了標準差對樣本具有自適應性。同時樣本類內的標準差在一般情況變化也不大，說明鄰域均值與鄰域周邊像素對比度的標準差能描述樣本間變化關系。因此把標準差作為閾值不僅能有效解決自定義閾值的局限，同時兼顧不同樣本之間的差異，使得LTP算子能夠提取更有魯棒性的紋理特征。

2.3改進人臉識別算法

將自適應中心對稱局部三值模式應用于人臉識別。首先將人臉圖像進行預處理，再把人臉圖像分成不同子塊，用CS-LTPAT算子提取每個子塊紋理特征，并統計每個子塊的直方圖。然后，按一定的次序聯接各個子塊直方圖生成人臉圖像的特征向量。其具體步驟如下：

步驟1對人臉圖像進行直方圖均衡化等一系列的預處理。

步驟2將預處理后圖像按8×8分塊，并用自適應中心對稱局部三值模式(CS-LTPAT)提取人臉圖像直方圖特征。

步驟3用卡方距離度量訓練集圖像和測試集圖像直方圖特征的相似度?？ǚ骄嚯x的計算公式具體如下：

(10)

式中H1,H2分別為算法提取的特征向量。該值的距離越小，表明兩個人越相似。

步驟4通過最近鄰分類器進行分類識別。

3　實驗結果及分析

通過實驗對幾種性能最好的基于紋理特征人臉描述算子進行性能評估，包括文獻[4]局部二值模式(LBP)、文獻[12]中心對稱局部二值模式(CS_LBP)以及局部三值模式(LTP)[13]和本文提出的自適應中心對稱局部三值模式(CS-LTPAT)。為了公平起見，各類算法均采用了分塊做法，分塊大小8×8，鄰域(P,R)取(8,2)，并使用卡方距離作為特征向量相似度度量，最后通過最近鄰分類器進行分類識別。本實驗分為三部分。第一部分驗證算法提取的特征維低和算法的實時性；第二部分驗證所提算法對光照的魯棒性；第三部分驗證算法的抗噪性。

3.1人臉數據庫

YALE人臉數據庫是由耶魯大學所采集。該人臉庫中包含15個人，每人11幅，總共165幅不同光照條件下的正面頭像。經處理，圖像大小統一為100×100。圖1(a)給出了一個人經過預處理后的11張人臉圖像，其中第4幅和第7幅圖像的光照條件較差。 Extended Yale B人臉數據庫來自38個人的不同光照下采集的 64 幅正面圖像，經處理，圖像尺寸統一為 192 ×168。 根據光照強弱變化，該圖像庫分成 set1 至 set5 五個子集，各子集分別含有 70 幅、120幅、120 幅、140 幅和 190 幅人臉圖像。set1-set5子集的光照條件逐步變差，set 1 光照條件最好，set 5 光照條件最差。圖1(b)給出了其中一個人的8張圖片。

(a) YALE人臉庫部分圖像

(b) Extended Yale B人臉庫部分圖像圖1　YALE和Extended Yale B人臉庫部分圖像

3.2特征維數與時效性實驗

為了驗證所提算法提取的特征不僅維數低且實時性好，表1給出了所提算法在YALE、Extended Yale B人臉圖像庫上識別一張圖像所需要的維數與時間。

表1　識別一張人臉需要的特征維數和時間(s)

由表1可見，雖然CS-LTPAT特征維數比CS-LBP特征維數略高，識別時間也比略長；但是相對LBP和LTP來說，特征維數還是比較低，也能達到實時性要求。下面實驗也將驗證CS-LTPAT特征比CS-LBP特征具有更好的抗光照性和抗噪性。

3.3光照實驗

為驗證本文算法對光照的魯棒性，分別在上述兩個人臉庫數據中進行四組實驗。第一組實驗依次選取YALE人臉庫上每人1幅圖像作為訓練集，其余圖像作為測試集。實驗結果如圖2所示。第二組實驗采用Extended Yale B人臉數據庫中子集set 1 作為訓練集，其余子集作為測試集；第三組實驗把光源較差的子集 set 4作為訓練樣本，其余子集作為測試樣本；第四組實驗選用每個人的一幅光照條件最好的圖片作為訓練樣本，其余圖片作為測試樣本。第二、三、四組實驗結果分別見圖3、圖4、圖5所示。

圖2　YALE人臉庫上不同方法的識別率(%)

從圖2可以看出，CS-LTPAT算子識別率優于LBP、CS-LBP和LTP算子。當測試集光源變化時，LBP，CS-LBP和LTP方法識別性能有較大幅度的波動，而CS-LTPAT波動幅度較小。尤其在4號樣本和7號樣本光照條件較差時，CS-LTPAT仍保持較高的識別率。說明了CS-LTPAT算子對差光源具有較好的魯棒性。圖3-圖5進一步說明了CS-LTPAT算法識別率高于LBP、CS-LBP和LTP算法。當訓練集光照條件較好時，各算法均有較好的識別效果且CS-LTPAT方法識別率最高。當訓練集光照條件較差或者訓練樣本單一時，LBP，CS-LBP和LTP算法出現大幅度下降，而CS-LTPAT算法的識別率保持穩定，體現了CS-LTPAT算法對光照變化的自適應性。

綜合圖2-圖5可以得出，在光照較差時，LBP算法的識別率最低，而CS-LTPAT算法的識別率最高。LBP算法之所以最低的識別率是由于LBP無法描述光照變化所引起的人臉間差異，因而人臉識別效果差。CS-LBP算法的識別率比LBP高，主要原因在于CS-LBP算法通過中心對稱思想增強了對局部紋理描述的能力。LTP方法的識別率也高于LBP是由于LTP算子采用-1、0、1三個值編碼，并且算子本身自定義的一個閾值在一定程度上能夠均衡光照變化的影響。而本文算法的識別率優于其他方法，說明本文算法對光照變化有較強的自適應性。產生這種結果的原因在于CS-LTPAT算子考慮了鄰域間的光照差異，把樣本鄰域像素均值與鄰域像素對比度的標準差作為閾值，使得算法動態生成適應于樣本的閾值，有效解決了因劇烈光照和不同樣本造成人臉差異的問題。

圖3　Extended Yale B 人臉庫上子集set1作為訓練集(%)

圖4　Extended Yale B 人臉庫上子集set4作為訓練集(%)

圖5　Extended Yale B 人臉庫上單樣本圖像作為訓練集(%)

3.4噪聲實驗

為了驗證本文所提算法具有較強的抗噪性，本實驗分別在YALE、Extended Yale B兩個標準人臉數據庫上進行對比實驗。由于，現實中噪聲的來源非常復雜，并且每張圖像受噪聲污染的程度也是千差萬別。因此，實驗中的噪聲圖像是通過模擬噪聲完成。噪聲的模型選擇高斯白噪聲，其均值為0，歸一化標準差為λ，分別取0.01、0.04、0.1。實驗分為原始圖像和噪聲圖像這兩種情況。 在YALE人臉數據庫上，隨機選取每人一幅圖像組成訓練集，剩余圖像為測試集。實驗結果如表2所示。在Extended YALE B中隨機選取每個子集里每人五張圖像組成訓練樣本，其他的圖像做測試樣本，實驗結果如表3所示。

表2　YALE人臉庫上的實驗結果(%)

表3　Extend YALE B人臉庫上的實驗結果(%)

由表2至表3的實驗結果可見，本算法的抗噪聲能力明顯要優于LBP、CS-LBP和LTP方法。CS-LBP的抗噪性要好于LTP，LBP，而LTP要勝于LBP。LBP算法的抗噪性差主要由于LBP算子采用鄰域像素與中心像素的對比度確定二值關系，二值模式易受噪聲的影響。LTP算法的抗噪性要優于LBP算法是因為LTP算子本身定義一個閾值，減小了LTP模式受噪聲干擾的程度。而CS-LBP算法的抗噪性好于LTP是由于CS-LBP算子不再考慮鄰域像素與中心像素的對比度，只比較基于中心像素對稱的像素間對比度，大大地增強算子的抗噪能力。而本文算法的抗噪能力最強原因在于算法不僅應用中心對稱的思想，且引入鄰域均值和動態閾值，極大地增強算法的抗噪性。

綜合上述實驗來看，CS-LTPAT 算子提取的特征不僅維數低，具有良好實效性，而且對光照變化和噪聲變化不敏感。

4　結　語

本文在局部三值模式(LTP)的基礎上，提出了自適應中心對稱局部三值模式(CS-LTPAT)紋理特征提取算法。本文的工作主要包含3個方面：(1)提出了中心對稱局部三值模式，該模式計算復雜度低，能適應實時計算的需求；(2)引入鄰域均值增強算子的抗噪性能；(3)通過統計鄰域均值與鄰域周邊像素對比度的標準差，并將標準差作為動態閾值，提高LTP算法的普適性。在YALE和Extended Yale B兩個標準人臉數據庫上的實驗結果表明，在光照變化不大時，CS-LTPAT特征描述算法的識別精度比經典LBP特征描述算法、CS-LBP特征描述至少高出3.5%，比LTP高出2.1%；在光照劇烈變化時，CS-LTPAT的識別精度比LBP、CS-LBP至少高出10%，比LTP至少高出5%。當人臉圖像存在噪聲時；CS-LTPAT的識別精度比LBP、CS-LBP、LTP分別至少提高了13.85%，5.35%，8.30%。CS-LTPAT識別一張人臉的速度也分別達到了0.1984和0.3988 s。結果充分說明了自適應中心對稱局部三值模式算法描述的人臉特征維數低、鑒別能力強，對光照變化及噪聲干擾具有更強的魯棒性，有效提高了人臉識別的精度與速度。

[1] Zhao W,Chellappa R,Phillips P J,et al.Face recognition:a literature survey[J].Acm Computing Surveys,2003,35(4):399-459.

[2] Adani Y,Ullman S.Face recognition:the problem of compensating for the illumination direction[C]//Proceedings of European Conference on Computer Vision，1994:286- 296.

[3] Ojala T,Pietikainen M,Maenpaa T.Multi-resolution grayscale and rotation invarian texture classification with local binary patterns[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(7)：971-987.

[4] Ahonen T,Hadid A,Pietikainen M.Face descirption with local binary pattenrs：application to face recognition[J].IEEE Trans Of Pattenr Analysis and Machine Intelligence,2006,28(12)：2037-2041．

[5] 王瑋,黃菲菲,李見為,等.使用多尺度LBP特征描述與識別人臉[J].光學精密工程，2008，16(4)：696-705.

[6] Guo Zhenhua，Zhang Lei，David Zhang.A completed modeling of local binary pattern operator for texture classification[J].IEEE Trans．on Image Processing，2010，19(6):1657-1663.[7] Zhang W C，Shan S G，Gao W，et al.Local Gabor Binary Pattern Histogran Sequence(LGBPHS):A Novel Non-statistical Model for Face Representation and Recognition[C]//Proc of the 8th Eurropean Conference on Computer Vision.Prague,Gzech Republic，2004：469-481.

[8] 袁寶華，王歡，任明武.基于完整LBP特征的人臉識別[J].計算機應用研究，2012，29(4)：1557-1559.

[9] 高濤，馬祥，白璘.采用自適應加權擴展LBP的單樣本人臉識別[J]，光電子·激光，2012，23(4):782-790

[10] Jabid T，Kabir M H，Chae O.Local directional patern(LDP)-a robust image descriptor for Obeject Recognition[C]//Proc of 7th IEEE International Conference on Advanced Video and Signal Based Surveillance，2010:482-487.

[11] Z hang B，Gao Y，Zhao S，et a1．Local derivative pattern versus local binary pattem：face recognition with high-order local pattern descriptor[J].IEEE Transactions on Image Processing，2010，19 (2)：533-544.

[12] Heikkila M，Pietikainen,Schmid C ．Description of interest regions with local binary patterns[J].Pattern Recognition,2009，42(3)：425-436.

[13] Tan Xiaoyang，Triggs B.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J]． IEEE Trans．on Image Processing，2010，19(6):1635-1650.

[14] 霍天霖，王瑩.基于LTP子模式的人臉識別研究[J].吉林工程技術師范學院學報，2012,28(5):77-80.

[15] 李偉生，王立逗，周麗芳.一種基于LTP自適應閾值的人臉識別方法[J].小型微型計算機系統,2014，35(9)：2099-2103.

[16] 張軍，張奇志，周亞麗，等.基于局部Gabor三值模式的人臉識別[J].北京信息科技大學學報，2013，28(2):71-75.

[17] 徐楠楠，李嵐，師飛龍.基于漢明約束和CLTP的人臉識別[J].信息通信，2014(4)：45-47.

FACE RECOGNITION BASED ON CENTROSYMMETRIC LOCAL TERNARY PATTERN WITH ADAPTIVE THRESHOLD

Yan HeWang PuLiu JieChen Weidong

(College of Computer Science,Chongqing University of Technology,Chongqing 400054,China)

In this paper we propose a new method called centrosymmetric local ternary pattern with adaptive threshold (CS-LTPAT) to address the shortcomings of local ternary pattern in too high the histogram dimension and not being able to adaptively select threshold when describing the texture features of face image.First,the method encodes the face image with the dimension-lowered centrosymmetric local ternary pattern (CS-LTP) operator,and introduces the neighbourhood pixel mean value to encoding for enhancing the anti-noise performance; Secondly,it embeds the standard deviation of statistical neighbourhood average and neighbourhood surrounding pixel as the threshold to extract the facial feature adaptively,and counts the features histograms.Finally,it uses chi-square to measure the similarity of training sample features histogram and test sample features histogram,and employs the nearest neighbour classifier in recognition.The proposed approach is applied to YALE and Extended Yale B standard face database,result shows that the highest correct recognition rates reach 99.67% and 99.33% respectively,and the speed of identifying a face reach 0.1984s and 0.3988 s respectively.Experimental result demonstrates that the proposed method effectively improves the accuracy and speed of the face recognition,and is more robust on the illumination variation and noise.

Face recognitionCentrosymmetryLocal ternary patternAdaptive threshold

2015-03-24。國家自然科學基金面上項目(61173184);重慶理工大學研究生創新基金項目(YCX2013219)。閆河，教授，主研領域：圖像多尺度幾何分析，目標跟蹤，模式識別等。王樸，碩士生。劉婕，碩士生。陳偉棟，碩士生。

TP391

A

10.3969/j.issn.1000-386x.2016.09.034