局部二值淘汰模式進行人臉圖像協同表達

袁永順

（江蘇科技大學計算機學院，江蘇鎮江212003）

隨著數學的發展，線性表達學習方法受到了關注并取得了一定的成果。協同表達作為其中的一種策略，已經成功的應用于多個領域，顯示出了稀疏表達學習在實際應用的巨大潛力和優勢。

協同表達的基本思想是用所有類別的所有訓練樣本對測試樣本進行線性表達。通過評估每一類訓練樣本對測試樣本的表達能力，將測試樣本劃分到表達能力最強即貢獻值最大的那一類中。盡管協同表達可以有效的挖掘出樣本集的協同特性，它卻沒法處理由于光照、表情和姿態所導致的同一類樣本圖像間的巨大差異。為了解決這個問題，Rodriguez和Sapiro[1]研究了稀疏表達框架下的鑒別字典并且對圖像編碼后進行分類。Thiagarajan[2]針對有監督和無監督學習提出了多核稀疏表達，與此同時，Yang[3]利用gabor occlusion dictionary來解決人臉遮擋問題，目的在于減少計算量。另外，Yang[4]還將特征的相似性和區別性引入到協同表達中，提出了一種更通用的模型。Liu[5]通過評估測試樣本的重建誤差來提高協同表達的準確率。最近徐勇在[6-10]中提出了一系列簡單但有效的模型來獲得較好的識別效果。

通過上面的研究，我們自然的得出一個結論：傳統的表達學習方法通過對訓練字典的稀疏學習可以獲得有鑒別性的信息。然而，如果這些算法沒有得到不同類別各自的屬性信息的話，可能是因為冗余和不確定度，導致測試樣本沒法被分類器精確的分類。

盡管在表達學習分類模型上的研究較多，然而利用LBP特征挑選有競爭力的樣本然后結合淘汰的策略，卻沒有引起太多的關注。為此，我們提出了LBP特征和表達學習相結合進行人臉識別的一種新的協同表達方法。它可以被視作一種評估方法，將表達學習模型和評估方法的優點結合起來。這篇論文的貢獻體現在4個方面，首先，我們獲取所有訓練樣本的分塊后LBP特征；接著我們利用LBP特征和歐式距離來獲得與測試樣本最相近的訓練樣本，即優質樣本；然后我們利用這些獲得的更有競爭力的樣本來對測試樣本進行線性表達。最后我們回歸到分塊，用一種塊與塊比較然后綜合判斷的方式來給出最終的分類結果。和傳統的表達分類方法相比，該方法采用LBP特征來獲得所有類別中更具競爭力的訓練樣本，據此來減少表達學習中的誤差。在優化樣本中，這可以視作一種有意義的淘汰策略。

1 LBP訓練樣本優化

1.1 原始LBP

局部二值模式（LBP）[11]算子是統計特征的一種，其特點是快速簡單，并且提取的特征魯棒性很強。LBP算子首先應用在紋理提取方面，后來它的應用擴展到了諸多領域。

2004[12]第一次將局部二值模型應用于人臉識別，取得了較好的效果。但是原始的LBP算子面臨一個問題：作為局部特征提取算子，其不包含全局信息，這限制其在人臉識別領域的進一步應用。為了解決這個難題，眾多學者進行了研究。論文[13]采取的是分塊策略：即根據先驗知識，對人臉區域進行劃分。根據區域的不同配以不同的權值，其中有效特征密集的雙目和嘴部的區域權重最大，其余區域權重較小。然后將小塊的特征直方圖進行特征融合，最后分類，大大提高了人臉的識別率。

1.2 統一模式LBP

二值模式的數量與LBP算子的采樣點個數P存在指數關系，模式總數為2p。如果采樣點個數為8，則模式總數為28；如果采樣點個數為32，則模式總數為232。由此可見，LBP模式較多，如果全部使用，則信息將產生冗余，并不利于分類。而且計算量過大，難以在實際中應用。通常的做法是利用直方圖工具來統計各類模式出現的次數。大量的研究表明，代表圖像基本屬性的模式出現的十分頻繁，有時候高達90%以上。將這類模式統一稱為統一模式[14]。公式定義如下

該模式的特點是在一串二值編碼中，0到1的變化最多有兩個。例如11111111有零個碼元變化；00111111有一個碼元變化；00011100、11110001有兩個碼元變化。采樣點為P、半徑為R的統一模式可以用表示。對于P=8，R=1，原始的LBP有256種模式，而只有59種統一模式，運算量大大降低。

根據上文的討論可知，在利用LBP算子提取人臉特征時，首先將人臉圖像劃分為u×v區域，其中u和v都是恰當的正整數。經實驗發現，當u=v=5，即劃分為25塊時，分類效果最好。

每一個小區域利用LBP統一模式進行特征提取。

i=1，2，…，25，Pi代表第i個小區域的LBP特征。

然后將這些小區域的LBP直方圖串聯起來，得到特征融合后的LBP特征。

這樣一個人臉樣本就唯一對應一個LBP向量P（1475*1）。據此我們就可以利用LBP特征進行樣本優化。

m是訓練樣本的總數，pj（j=1，2，…，m）代表每一個訓練樣本xj（j=1，2，…，m）所對應的LBP特征向量。P代表的是測試樣本的LBP特征向量。這樣，在測試樣本和每一個訓練樣本之間我們就產生了m個度量。然后我們對這些得到的m個度量進行降序排列，得到

根據公式（5），借助于歐式距離我們選擇最優的L個度量來優化訓練樣本。所以這些與測試樣本聯系更緊密，更具競爭力的樣本最終被挑選了出來。然后我們利用這些具有更好表達能力的訓練樣本重建測試樣本來進行更有效的分類。

1.3 利用優質樣本進行分類

下一步就是根據所提出的L-CRC算法，用上文得到的L個最近鄰的訓練樣本來線性表示測試樣本。假設以下等式是成立的

β=[β1,…,βL]T，如果X′是非奇異矩陣，可以解出β=X′-1y，否則，β=(X′TX′+μI)-1X′Ty，μ是很小的正常數，I是單位矩陣。

由于測試樣本的最優訓練樣本有可能是來自于不同的類別，在表達測試樣本中我們會計算來自于同一類別的最優訓練樣本貢獻值的和，然后將測試樣本劃分到具有最大貢獻值的那一類中。更具體地說，如果來自于第K類樣本的最優樣本為ξs…ξt，則在表達測試樣本中，它們的貢獻值可以表示為

所以yk和y的偏差可以表示為

2 算法分析

在本章節中，我們將討論所提出算法的特性和原理。算法的基本思想是利用訓練樣本集中具有最優表達能力的子集對測試樣本進行線性表達。目的是找到對測試樣本更好的表達，來達到更好的分類效果。根據特征提取的相關理論，來自同一類的樣本應該具有相似的特征。這啟示我們利用LBP直方圖來直觀的反映樣本的特征。在本方法中，我們利用LBP算子來提取樣本的特征，目的是對訓練樣本進行淘汰。首先，我們對樣本進行分塊。根據我們的實驗結果發現，當樣本分成5*5的區域時，能夠達到最好的效果。然后用統一模式直方圖提取每一個人臉區域塊的特征。這樣我們就得到了25個59*1的向量。每一個向量代表對應小區域的LBP特征。然后將這25個向量串聯起來，就得到了一個1475*1的向量。該向量表示整個圖像的LBP特征。這樣，對圖像樣本的討論自然就轉換到了對其LBP特征的討論。一般來說，兩個樣本間的距離越小，兩者的相似度越大。在前面的章節中，我們已經討論了利用LBP特性來分析樣本之間相似性程度的可行性。在這個階段，我們會更多的闡述我們是如何利用LBP特征直方圖來優化訓練樣本的。具體來說，每個圖像的LBP特征直方圖可以看作一個一維的向量。所以評估兩幅圖像的相似程度可以很容易的轉換成評估他們對用的LBP特征直方圖，也即對兩個一維向量進行評估。和其他的距離度量方式相比，基于LBP特征直方圖的評估在時間消耗和空間復雜度方面獲得了較好的平衡。有兩方面的原因，首先，對于一個1475維的一維向量，其復雜在容忍的范圍內。另一方面，在特征提取方面，我們做了兩個工作，一是分塊，二是特征融合。這就使的該1475*1的向量最大程度的保留了原始的信息，所以在利用該特性進行訓練樣本優化時，能夠極大的減少信息的損失。

3 實驗結果

分別在ORL和FERET人臉庫進行了對比實驗。選取的方法有主成份分析（PCA）、局部二值模式（LBP）、協同表達分類（CRC）。實驗結果呈現在圖1和表1中。

4 結論

文中提出了一種利用LBP特征并結合綜合判定的新的表達學習方法。所提出的方法目的在于利用擁有最佳表達貢獻值的更具競爭力的樣本來對測試樣本進行線性表達。通過LBP算子的特征提取，所有訓練樣本的重要特征信息被提取然后評估。緊接著我們可以配合著歐式距離度量來獲得與測試樣本最近接近的樣本，從而獲得良好的分類效果。我們相信我們優異的分類性能可以激發在特征提取、協同表達和綜合判斷方面更多更有意義的探索，找到更好表達學習分類的解決方案。

圖1 不同方法在ORL上的識別效果

表1 FERET人臉庫上不同樣本、不同方法的識別率

[1]Rodriguez F，Sapiro G.Sparse representations for image classification：Learning discriminative and reconstructive nonparametric dictionaries[R].Minnesota Univ Minneapolis，2008.

[2]Thiagarajan J J，Ramamurthy K N，Spanias A.Multiple kernel sparse representations for supervised and unsupervised learning[J].IEEE Transactions on Image Processing，2014，23（7）：2905-2915.

[3]Yang M，Zhang L.Gabor feature based sparse representation for face recognition with gabor occlusion dictionary[M].Computer Vision ECCV 2010.Springer Berlin Heidelberg，2010.

[4]Yang M，Zhang L，Zhang D，et al.Relaxed collaborative representation for pattern classification[C]//Computer Vision and Pattern Recognition（CVPR），2012 IEEE Conference on.IEEE，2012：2224-2231.

[5]Liu Z，Pu J，HuangT，etal.A novel classification method for palmprint recognition based on reconstruction error and normalized distance[J].Applied Intelligence，2013，39（2）：307-314.

[6]Xu Y，Zhang D，Yang J，et al.A two-phase test sample sparse representation method for use with face recognition[J].Circuits and Systems for Video Technology，IEEE Transactions on，2011，21（9）：1255-1262.

[7]Xu Y，ZuoW，FanZ.Supervised sparse representation method with a heuristic strategy and face recognition experiments[J].Neurocomputing，2012（79）：125-131.

[8]Xu Y，Fang X，Li X，et al.Data uncertainty in face recognition[J]. IEEE transactions on cybernetics，2014，44（10）：1950-1961.

[9]Xu Y，LiX，Yang J，etal.Integrating conventional and inverse representation for face recognition[J].IEEE Transactions on Cybernetics，2014，44（10）：1738-1746.

[10]Xu Y，Zhang B，Zhong Z.Multiple representations and sparse representation for image classification[J].Pattern Recognition Letters，2015（68）：9-14.

[11]Ojala T，Pietik?inen M，Harwood D. A comparative study oftexture measures with classification based on featured distributions[J].Pattern recognition，1996，29（1）：51-59.

[12]Ahonen T，Hadid A，Pietik?inen M.Face recognition with local binary patterns[C]//European conference on computer vision.Springer Berlin Heidelberg，2004：469-481.

[13]Ahonen T，Hadid A，Pietikainen M.Face description with local binary patterns：Application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（12）：2037-2041.

[14]Ojala T，Pietikainen M，Maenpaa T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[15]Zhang L，Yang M，Zhang D，et al.Collaborative representation based classification for face recognition[R].2012.

[16]Yang M，Zhang L，Yang J，et al.Regularized robustcoding for face recognition[J].Image Processing，IEEE Transactions on，2013，22（5）：1753-1766.