基于光照歸一化分塊自適應LTP特征的人臉識別

白小葉，程 勇，曹雪虹,

(1.南京郵電大學 通信與信息工程學院，江蘇 南京 210003；2.南京工程學院 通信工程學院，江蘇 南京 211167)

基于光照歸一化分塊自適應LTP特征的人臉識別

白小葉1，程 勇2，曹雪虹1,2

(1.南京郵電大學 通信與信息工程學院，江蘇 南京 210003；2.南京工程學院 通信工程學院，江蘇 南京 211167)

針對復雜光照人臉識別的問題，文中提出一種基于光照歸一化分塊自適應閾值局部三值模式(Adaptive Threshold Local Ternary Pattern，ATLTP)的人臉識別算法。該方法首先對人臉圖像進行光照歸一化預處理，消除大部分光照影響；然后對處理后的人臉圖像進行ATLTP特征提取。為了更有效地表征人臉特征，進一步將ATLTP特征矩陣劃分為大小相等的子塊，并對各個子塊進行ATLTP特征直方圖統計，最后將所有子塊的直方圖連接起來，構成整幅人臉圖像的鑒別特征。根據最近鄰準則進行分類識別，在Extended Yale B人臉庫和CMU PIE人臉庫上的實驗結果表明，所提算法可以有效提高復雜光照人臉識別的性能。

人臉識別；光照歸一化；自適應閾值；局部三值模式；分塊直方圖

0 引 言

人臉識別技術已經被廣泛應用于智能監控、身份驗證、人機交互等領域。在實際應用系統中，光照變化是影響人臉識別系統性能的一個關鍵因素，光照的變化使面部特征成像存在差異。當前技術條件下即使最好的人臉識別系統，其識別性能也會隨著光照變化急劇下降[1]。國內外研究者們一直在尋求解決光照變化下的人臉識別問題，提出了很多方法，大致分為光照歸一化方法以及光照不變量提取方法[2]。

光照歸一化方法是指利用基本的圖像處理技術對圖像進行預處理，以獲取魯棒的光照圖像。典型的人臉光照歸一化方法包括基于視網膜模型[3]、同態濾波及有向局部直方圖均衡化[4]等。這些方法的共同特點是通過灰度變換調整圖像中灰度的分布，從而間接地校正人臉圖像中不均勻的光照分布，消除大部分光照影響，保留更多的人臉細節特征。

光照不變量提取方法是指從人臉圖像中提取出不隨光照變化或變化較小的圖像特征[5]。主要方法包括自商圖像[6]、梯度臉[7]、對數全變差模型(Logarithm Total Variation，LTV)[8-9]和局部二值模式(Local Binary Pattern，LBP)[10]等。2006年，Ahonen等[11]將LBP應用于人臉識別中，并取得了不錯的效果。2010年，Tan[12]等在LBP算法的基礎上，提出了LTP算法，取得了比LBP算法更好的效果。

文中提出一種基于光照歸一化ATLTP特征與分塊直方圖統計相結合的方法。該方法首先對人臉圖像進行對比度增強處理。由于LTP算子閾值是經驗值，不適用于所有人臉庫，因此引入自適應閾值計算方法，對處理后的圖像提取ATLTP特征。為了能夠有效地表征圖像全局特征，將ATLTP特征矩陣分為大小相等的子塊，分別統計每個子塊特征的直方圖分布。最后將所有子塊直方圖連接起來，并根據最近鄰準則分類識別。ATLTP特征包含了更準確的紋理信息，而分塊直方圖統計特征能夠有效描述人臉特征結構信息，二者互補可以更全面地表示人臉特征。

1 光照歸一化

2007年，Tan等[13]提出了一個簡單高效的光照預處理鏈，消除一部分光照影響以便于后續特征提取。

1.1 伽瑪校正

伽瑪校正就是對圖像的伽瑪曲線進行編輯，以對圖像進行非線性色調編輯，檢出圖像信號中的深色部分和淺色部分，使用伽瑪變換來壓縮高灰度值，同時擴展低灰度值，從而提高圖像對比度效果，減小光照對人臉圖像的影響。伽瑪校正公式如下：

(1)

其中：Iin為輸入圖像的原始灰度值；Iout為校正后的灰度值；maxgray為輸入圖像的最大灰度值；系數γ的值決定了變換后圖像的灰度值范圍，系數γ默認情況下取值為0.2。

1.2 高斯差分濾波

伽瑪校正能在一定程度上改善對比度效果，但是對于人臉邊緣陰影區域的處理仍不理想。高斯差分濾波器作為一種帶通濾波器，可以用來提取人臉邊緣信息，進一步消除光照對人臉邊緣區域的影響。高斯差分濾波器對圖像I(x,y)濾波結果如下所示：

(2)

(3)

其中，式(2)表示高斯差分濾波器，式(3)表示用高斯差分濾波器對圖像做濾波處理的結果。其中，當σ1大于σ2時，高斯差分濾波器就相當于一個帶通濾波器。σ1和σ2默認情況下分別取值為2和1。

1.3 對比度均衡

在經過伽瑪校正與高斯差分濾波后，人臉圖像中仍然會存在少量突出亮點。為了減少這些亮點對人臉識別的影響，對圖像的對比度進行均衡化處理。對比度均衡處理主要包括兩個步驟：首先對伽瑪校正后的圖像進行灰度值壓縮，減少高灰度值的影響；然后進一步對歸一化后圖像的高灰度值進行截斷操作。相應處理公式如下所示：

(4)

其中：α是圖像灰度值的壓縮系數；τ是閾值，用式(4)進行灰度值變換后的截斷值；mean(·)為均值函數。文中默認α=0.1，τ=10。

圖1給出了預處理鏈處理后的效果圖。

圖1 光照歸一化效果圖

從圖中可見，相比原始圖像，使用預處理鏈處理后，消除了大部分光照影響，保留了更多的人臉細節。

2 分塊ATLTP

2.1 ATLTP特征提取

2.1.1 LTP算子

LTP繼承了LBP對光照不敏感的優點，并且本身算子自定義的一個閾值在一定程度上能夠均衡復雜光照引起的亮光、高光的灰度值。LTP算子在LBP算子0、1二值模式的基礎上增加一個-1值構成三值模式，并且設置一個寬度為t的鄰域范圍。鄰域像素gp與中心像素gc的差值若大于t，則被量化為1；若小于-t則被量化為-1；在[-t,t]范圍內則被量化為0。如果三值模式由s(u)表示，則LTP的定義如下：

(5)

其中：gc表示區域內中心位置處的灰度值；gp表示均勻分布在中心處半徑為R的圓周上P個采樣點的灰度值。

LTP編碼的計算公式為：

(6)

2.1.2 自適應閾值

根據LTP定義可知，其三值模式是由鄰域內不同像素點與中心像素點的對比度值(gp-gc)與閾值t作比較得出的。但是由于對比度值(gp-gc)不同，因此，可以根據對比度值之間的離散程度確定一個合適的閾值，增強LTP特征對劇烈光照變化等因素的不敏感性。

標準差反映了整個樣本變量的分散程度。樣本標準差小，說明樣本變量的分布比較密集，在平均數附近，否則，表明樣本的分布比較離散[14]。一個鄰域內對比度值的離散程度可以用標準差反映，因此，可將鄰域內對比度值的標準差作為該鄰域的閾值。在(P,R)鄰域內，計算每個鄰域像素點與中心像素點的對比度值以及這些對比度值的標準差σ，并將σ作為該鄰域LTP算子的閾值。閾值公式為[14]：

(7)

其中:

Δgp=gp-gc

(8)

(9)

式(8)表示對比度值，式(9)表示鄰域內P個對比度值的平均值。

2.1.3ATLTP特征編碼

不同鄰域有不同的閾值t,對比度值在區域[-t，t]之間為0,在區域[t，∞]為1，在區域[-∞，t]內為-1，則三值化操作過程如圖2所示。

圖2 圖像三值化

為了消除LTP編碼過程中生成的負數部分，將LTP編碼計算過程分解為上半部分(LocalTernaryUpperPattern，LTUP)和下半部分(LocalTernaryLowerPattern，LTLP)。LTUP的編碼中-1部分由0代替，LTLP的編碼中1的部分由0代替并且-1部分由1代替。接下來，每個部分的0和1編碼再利用LBP進行單獨編碼即加權處理，得到兩幅加強不同屬性的紋理圖像。編碼過程如圖3所示[15]。

圖3 LTUP和LTLP編碼過程

基于閾值為5的LTP特征提取后的紋理圖像和基于ATLTP特征提取后的紋理圖像如圖4所示。從圖中可看出，圖(c)相對于圖(b)具有更多的、更加精細的紋理分布。

圖4 紋理圖像

2.2 分塊直方圖

ATLTP特征對于圖像局部紋理變化具有較高的鑒別性，而直方圖能夠有效描述圖像特征的結構信息，但直接對整個圖像的特征矩陣統計直方圖分布會丟失很多結構上的細節。為了能夠有效地表征圖像全局特征，將ATLTP特征矩陣進一步劃分為若干不重疊且大小相等的矩形子塊，分別計算每個子塊區域內特征的直方圖分布，最后將所有直方圖分布聯合起來構成人臉鑒別特征。直方圖每個條柱代表相應特征在子塊中出現的次數，一個子塊所對應的直方圖，反映了這一局部區域內整體灰度變化。

2.3 算法步驟

針對復雜光照條件下的人臉識別，文中提出了一種ATLTP特征提取與分塊直方圖統計特征相結合的人臉識別算法。具體步驟如下：

步驟1：對人臉圖像進行光照歸一化；

步驟2：提取人臉圖像的ATLTP特征；

步驟3：將ATLTP特征矩陣分塊并統計每塊直方圖分布；

步驟4：將每塊直方圖特征進行串聯融合；

步驟5：通過最近鄰分類器的判別，統計識別率。

3 實驗結果及分析

3.1 在Extended Yale B人臉庫上的實驗

為了驗證文中算法的性能，接下來在Extended Yale B人臉庫中進行了人臉識別實驗。Extended Yale B人臉庫是光照和姿態變化的典型人臉庫，共包括38人，每人576種條件(9種姿態×64種光照)下的共計21 888幅圖像。由于文中只研究人臉的光照問題，因此在實驗中，僅僅使用正面姿態下的人臉圖像。根據光照入射角度的不同，人臉庫可分為5個子集：子集1為入射光線角度≤12°；子集2為入射光線角度13°～25°；子集3為入射光線角度26°～50°；子集4為入射光線角度51°～77°；子集5為入射光線角度>77°。

在Extended Yale B人臉庫上做兩組實驗。首先測試ATLTP特征矩陣的分塊數目對實驗結果的影響。實驗過程中，圖像ATLTP特征矩陣大小為128×128，分別分成1×1、2×2、4×4、8×8、16×16、32×16、32×32、64×64子塊；然后分別統計特征矩陣每個子塊的直方圖特征，并將統計的各子塊直方圖特征串聯融合成圖像整體直方圖特征；最后根據最近鄰準則進行分類識別。經實驗驗證，當分塊數目為32×16時，識別率最高。

為了測試所提算法的識別性能，在Extended Yale B人臉庫上，子集1和子集5分別作為訓練集，相應的其他4個子集作為測試集。此時，將文中ATLTP特征矩陣的分塊數目都設置為32×16，在Extended Yale B人臉庫中各種方法的實驗結果如表1和表2所示。

表1 子集1作訓練集的識別率 %

表2 子集5作訓練集的識別率 %

由實驗結果可以看出，在各個子集上文中方法識別率高于LTP、ATLTP、Gradientfaces方法的識別率，且ATLTP識別率高于LTP識別率，從而證明了文中方法特征提取的全面性和有效性。尤其當光照變化大的子集5作為訓練集時，更能體現出文中算法的強魯棒性。

3.2 在CMU PIE人臉庫上的實驗

CMU PIE人臉庫包含68個人共計41 368張含有姿態變化、光照變化和表情變化的人臉圖像。CMU PIE人臉庫已成為測試姿態問題、光照問題的人臉識別算法性能的重要人臉庫。CMU PIE人臉庫的人臉圖像大小為640×480，圖像經裁剪圖片大小調整為64×64。

文中為測試光照變化時的算法性能，選擇正臉，無表情變化下不同光照情況的人臉圖像做實驗。在CMU PIE人臉庫上，隨機選取1幅，2幅，3幅，4幅和5幅人臉圖像作訓練，其余的20幅、19幅、18幅、17幅和16幅人臉圖像用于測試，每種隨機選擇方法重復執行5次并取均值作為最后的識別率。在CMU PIE人臉庫中各種方法的實驗結果如表3所示。

表3 隨機選取幾幅圖像作訓練集的識別率 %

在CMU PIE人臉庫的實驗中可以看到，隨著訓練樣本數量的增加，算法的識別率也趨于穩定，尤其在訓練樣本較少的情況下，更能體現出文中算法的優越性。

4 結束語

文中提出一種基于光照歸一化ATLTP特征與分塊直方圖統計相結合的方法。采用的光照歸一化方法能夠很大程度上消除復雜光照變化對人臉識別的影響，利用ATLTP算法提取紋理細節特征，并結合分塊直方圖統計特征的方法，使所提取的ATLTP特征比較全面且具有較強的鑒別能力。在Extended Yale B人臉庫和CMU PIE人臉庫上的實驗結果表明，與其他方法相比，所提算法可以有效提高復雜光照條件下的人臉識別準確率。

[1] Phillips P J,Scruggs W T,O’Toole A J,et al.FRVT 2006 and ICE 2006 large-scale experimental results[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(5):831-846.

[2] 范春年.人臉識別中光照處理算法研究[D].南京:南京大學,2011.

[3] Meylan L,Alleysson D,Susstrunk S.Model of retinal local adaptation for the tone mapping of color filter array images[J].Journal of Optical Society of America A,2007,24(9):2807-2816.

[4] Lee P H,Wu S W,Hung Y P.Illumination compensation using oriented local histogram equalization and its application to face recognition[J].IEEE Transactions on Image Processing,2012,21(9):4280-4289.

[5] 程 勇.人臉識別中光照不變量提取算法研究[D].南京:南京理工大學,2010.

[6] Shashua A,Riklin-Raviv T.The quotient image: class-based re-rendering and recognition with varying illumination[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(2):129-139.

[7] Zhang Taiping,Tang Yuanyan,Fang Bin,et al.Face recognition under varying illumination using gradientfaces[J].IEEE Transactions on Image Processing,2009,18(11):2599-2606.

[8] Chen T,Yin W,Zhou X S,et al.Total variation models for variable lighting face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(9):1519-1524.

[9] Zhang Taiping,Tang Yuanyan,Fang Bin,et al.Multiscale facial structure representation for face recognition under varying illumination[J].Pattern Recognition,2009,42(2):251-258.

[10] Ojala T,Pietik?inen M,M?enp? T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[11] Ahonen T,Hadid A,Pietik?inen M.Face description with local binary patterns:application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(12):2037-2041.

[12] Tan X,Song S,Zhou Z H,et al.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].IEEE Transactions on Image Processing,2010,19(6):1621-1628.

[13] Tan Xiaoyang,Triggs B.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].Lecture Notes in Computer Science,2007,4778:168-182.

[14] 高連如,張 兵,張 霞.基于局部標準差的遙感圖像噪聲評估方法研究[J].遙感學報,2007,11(2):201-208.

[15] 李德寧.改進型LTP特征提取算法在人臉識別中的研究與應用[D].哈爾濱:哈爾濱理工大學,2012.

Face Recognition Based on Illumination Normalization and Block-based Adaptive Local Ternary Pattern

BAI Xiao-ye1,CHENG Yong2,CAO Xue-hong1,2

(1.College of Communications and Information Technology,Nanjing University of Posts and Telecommunications,Nanjing 210003，China；2.School of Communication Engineering,Nanjing Institute of Technology,Nanjing 211167,China)

To solve the problem of face recognition under complex illumination,an effective face recognition method based on illumination normalization and block-based Adaptive Threshold Local Ternary Pattern (ATLTP) is proposed.It first performs illumination normalization,and eliminates most of the light effects on face images.Then ATLTP features are extracted from the processed face images.To represent the face features effectively,the feature matrix is divided into several units,and the histogram of each unit is computed and combined as facial features.According to the nearest neighbor principle for face recognition,the experiment on Extended Yale B face databases and CMU PIE face databases demonstrates that significant recognition rate can be achieved under the complex illumination conditions by the proposed method.

face recognition;illumination normalization;adaptive threshold;local ternary pattern;block histogram

2015-07-25

2015-10-27

時間：2016-05-05

江蘇省自然科學基金(BK20131342)

白小葉(1990-),女,碩士,研究方向為現代通信中的智能信號處理；程 勇,副教授,博士,研究方向為圖像處理與模式識別；曹雪虹,教授,博導,研究方向為現代通信中的智能信號處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160505.0817.052.html

TP391

A

1673-629X(2016)05-0056-05

10.3969/j.issn.1673-629X.2016.05.012