一種鑒別稀疏局部保持投影的人臉識別算法

楊藝芳,王宇平

(1.西安電子科技大學數學與統計學院,710071,西安;2.西安電子科技大學計算機學院,710071,西安;3.西安石油大學理學院,710065,西安)

?

一種鑒別稀疏局部保持投影的人臉識別算法

楊藝芳1,3,王宇平2

(1.西安電子科技大學數學與統計學院,710071,西安;2.西安電子科技大學計算機學院,710071,西安;3.西安石油大學理學院,710065,西安)

為解決鑒別稀疏鄰域保持嵌入(DSNPE)算法中類間離散度構造復雜的問題,提出了一個新的維數約簡算法即鑒別稀疏局部保持投影的人臉識別算法(DSLPP)。首先利用樣本集中各類樣本的平均向量構造字典,通過保持各類樣本平均向量的稀疏重構關系,提出一個新的無參數類間離散度;再通過同時最大化類間離散度和同時最小化類內緊湊度的準則來尋找最優投影方向;最后采用最近鄰分類器進行人臉分類識別。由于所采用的類間離散度最大限度地擴大了不同類別中樣本之間的差異,因此DSLPP算法具有更強的類間判別力,其識別率得到了明顯提高;此外,字典的簡化構造降低了算法的計算復雜度。在Yale、UMIST和AR人臉庫上的實驗結果表明:DSLPP算法在Yale、UMIST庫上的平均識別率及AR庫上的最高識別率分別達83.38%、95.72%和83.71%,較其他傳統方法的識別率有明顯提高;在UMIST庫上的實驗結果表明,DSLPP算法較DSNPE算法的平均計算時間減少了81.7%。

人臉識別;維數約簡;稀疏重構;局部保持投影

人臉識別中,往往會遇到“維數災難”問題,因此維數約簡是一種常采用的手段。目前,已經有許多種維數約簡方法,根據不同的標準可以有不同的分類,根據映射函數的形式可分為線性和非線性。主成分分析(PCA)法[1]和線性判別分析(LDA)法[2]因其簡單高效而成為經典算法,但是PCA和LDA算法都是基于歐氏空間的,主要用于處理線性數據集,不能發現復雜非線性數據集的固有結構。為刻畫樣本的非線性流形結構,一些能夠處理非線性數據集的流形學習算法被相繼提出,如等距映射(Isomap)法[3]、拉普拉斯特征映射(LE)法[4]等,但這類方法中非線性映射僅定義在訓練集上,對于新的測試集卻無法通過此映射降維到低維空間。流形學習方法的線性化能夠解決這個問題,代表性的算法有鄰域保持嵌入(NPE)法[5]和局部保持投影(LPP)法[6],然而,NPE和LPP法都是無監督算法,沒有利用數據點的類判別信息。因此,許多有監督的流形學習算法相繼涌現出來,如有鑒別局部保持投影(DLPP)[7]等流形學習算法,然而此類算法的共同缺點是需要人工選擇鄰域大小參數和邊權值參數,而且其性能對這些參數比較敏感。

近年來,基于稀疏表示的方法在人臉識別中得到了廣泛應用。2009年,Wright[8]等人提出了基于稀疏表示分類器的人臉識別方法,將稀疏表示成功引入人臉識別領域。隨后文獻[9-10]也相繼提出基于稀疏表示的人臉識別方法,文獻[10-11]利用稀疏表示的方法自適應構建L1范數圖,無需要任何其他模式參數。稀疏保留投影算法(SPP)[12]是一種以保持數據的稀疏表示結構為目的的較好的維數約簡方法,但它是無監督的,未利用類標信息。對此,文獻[13]通過利用類標信息對SPP進行了改進,提出鑒別稀疏鄰域保持嵌入的算法(DSNPE),獲得了較高的人臉識別率,但DSNPE算法中類間離散度構造較復雜,尤其是稀疏表示字典包含數量很大的樣本,時間復雜度較高。為了改進該算法的性能,本文提出了一個新的有監督的維數約簡算法即鑒別稀疏局部保持投影算法(DSLPP)。該算法用樣本集中各類樣本的平均向量構造字典,結合稀疏表示和DLPP算法中類間離散度的構造方法,提出新的無參數的類間離散度,有效降低了算法的計算復雜度,增強了算法的判別力。在常用的人臉數據集Yale、UMIST和AR上的測試結果表明,該算法相比其他算法具有更好的識別效果。

1 鑒別局部保持投影算法

(1)

(2)

Bij=exp(-‖fi-fj‖2/t)

(3)

DLPP算法的目標是最小化式(1)中的函數,從而求得最優投影矩陣。

2 鑒別稀疏鄰域保持嵌入算法

DSNPE算法是通過最大化類內緊湊度和類間離散度之差來尋找最優投影矩陣。

2.1 類內緊湊度

(4)

(5)

式中:rk-1=n1+n2+…+nk-1。

通過定義下面的目標函數來構造類內緊湊度

tr(ATXMwXTA)

(6)

2.2 類間離散度

(7)

(8)

式中:rk-1=n1+n2+…+nk-1。

通過定義下面的目標函數來構造類間離散度

(9)

LwXTA)。

3 鑒別稀疏局部保持投影算法

DSNPE算法利用求得的稀疏表示系數創建L1范數圖,其近鄰參數可以通過稀疏約束自動產生,從而克服了NPE算法中近鄰參數設置難的問題,但DSNPE算法的類間離散度構造較復雜。對此,本文結合LPP算法,通過最大化類間離散度和最小化類內緊湊度,提出了DSLPP算法,簡化了類間離散度的構造,擴大了不同類數據之間的距離,增強了算法的判別力。

3.1 類內緊湊度

與DSNPE中類內緊湊度相同,Ww表示類內權重矩陣。結合LPP算法,定義類內緊湊度的目標函數為

tr(ATXLwXTA)

(10)

3.2 本文提出的類間離散度

(11)

式中:D=[f1,f2,…,fi-1,fi,fi+1,…,fc]∈Rm×c;

(12)

式中:Wb表示類間離散度矩陣。通過定義下面的目標函數來構造類間離散度

tr(ATFLbFTA)

(13)

3.3 DSLPP算法

聯合考慮類內緊湊度和類間離散度,本文先給出DSLPP算法的目標函數如下

(14)

一般情況下,不能直接得到這個跡比函數的最優解[14]。本文進一步化簡式(14),得到DSLPP算法的目標函數

(15)

在分類問題中,當樣本維數高、可獲得的樣本數少的情況下,矩陣XLwXT總是奇異的。為了避免矩陣XLwXT的奇異性,本文首先用PCA對訓練樣本進行降維。

DSLPP算法的主要步驟可歸納如下。

(2)用式(12)計算類間離散度矩陣Wb。

(3)用式(5)計算類內緊湊度矩陣Ww。

(4)解特征方程FLbFTA=λXLwXTA,則最優投影向量為(XLwXT)-1(FLbFT)的d個最大特征值所對應的特征向量為(a1,a2,…,ad),最優投影矩陣A*=[a1,a2,…,ad]。

(5)DSLPP的最優投影向量ADSLPP=APCAA*。

3.4 時間復雜度分析

DSLPP算法主要是針對DSNPE算法時間復雜度高而提出的新算法。下面是關于這兩種算法時間復雜度的比較。

4 實驗結果及分析

為了驗證算法的有效性,將本文提出的DSLPP算法與其他算法(如LDA、LPP、DLPP、NPE、SPP、DSNPE)在Yale人臉庫[16]、UMIST人臉庫[17]和AR人臉庫[18]上進行實驗,并將實驗結果進行了比較。這3個人臉庫在人臉面部細節、姿態、光照、以及圖片背景等方面均存在很大的差異,因此能夠很好地檢驗算法的魯棒性。為公平比較,將所有相比較的算法首先用PCA方法預處理,對Yale和UMIST人臉庫保持98%的圖像能量,即保持原數據一定信息的前提下降維;對AR人臉庫設置最大約簡維數為300。LDA算法最多投影出c-1特征,c為類別個數。對于LPP、DLPP、NPE算法,以步長為1從K=[1,10]區間中搜索最優近鄰個數K,熱核參數σ為訓練樣本范數的均值。所有實驗都采用最近鄰分類器進行分類。實驗環境:計算機CPU為Intel(R) Xeon(R) W3505 @2.53 GHz,內存3.98 GB,操作系統Windows XP Professional,操作軟件為MATLAB 7.10(R2012a)。

Yale人臉庫共有165張人臉圖片,每人11張。所有圖片被裁剪為64×64像素大小。Yale數據庫用來測試有光照、表情變化及有飾物(眼鏡)條件下算法的識別性能。實驗過程中,對每個人的圖片分別隨機選樣本個數l=4,5,6幅圖像進行訓練,其余樣本用于識別。每個樣本數l下重復進行20組實驗,最后取20次實驗結果的均值作為最終結果進行分析。表1給出了分別采用LDA、LPP、DLPP、NPE、SPP、DSNPE和DSLPP算法在Yale人臉數據庫上的平均識別率。圖1給出了7種算法在Yale人臉庫上的識別結果。

UMIST人臉庫由20個不同的人在不同姿勢下拍攝的575幅圖片組成,每幅圖像的大小為112×92像素。每一組圖片都有從側面到正面的不同姿態,這20個圖像涵蓋了不同種族、性別、面貌特征的情況。實驗過程中,對每個人的圖像分別隨機選取樣本數l=5,7,9幅圖像進行訓練,其余樣本用于識別。每個l重復進行20組實驗,最后取20次實驗結果的均值作為最終結果進行分析。表2給出了LDA、LPP、DLPP、NPE、SPP、DSNPE和DSLPP算法在UMIST人臉數據庫上的最高平均識別率。圖2給出了7種算法在UMIST人臉庫上的識別結果。

AR彩色人臉庫包含超過4 000幅的圖像,126人,其中男性70名,女性56名。AR人臉庫主要包含表情、光照和遮擋等變化,圖像分辨率為165×120像素。同文獻[19]一樣,我們選取一個包含50名男性和50名女性的子庫(僅有光照和表情變化),每人選取14張圖像,其中7張作為訓練樣本,剩余7張作為測試樣本。為了簡化識別過程,將圖像裁剪為60×43像素。圖3給出了對AR人臉訓練的識別結果。表3給出了LDA、LPP、DLPP、NPE、SPP、DSNPE和DSLPP算法在AR人臉庫上的最高識別率和對應的維數。

共 表1 7種算法在Yale數據的最高平均識別率

表2 7種算法在UMIST數據的最高平均識別率

(a)l=4

(b)l=5

(c)l=6圖1 樣本數分別為4、5、6時7種算法在Yale人臉庫上的識別結果

(a)l=5

(b)l=7

(c)l=9圖2 樣本數分別為5、7、9時7種算法在UMIST人臉庫上的識別結果

圖3 7種算法在AR人臉庫上的識別結果

從實驗結果可以看出,DSLPP算法在Yale、UMIST 庫上的平均識別率及 AR 庫上的最高識別率分別達83.38%、95.72%、83.71%,較其他傳統方法的識別率有明顯提高。LDA、LPP、NPE、SPP算法的識別率相對較低一些,這是因為這3種算法均沒有考慮類別信息。雖然DLPP和DSNPE算法均考慮了類別信息,并且都考慮了局部和全局結構信息,但DSNPE算法的識別率高于DLPP算法的,這可能主要因為DSNPE算法是基于稀疏表示法自適應地確定類內類間相似度。與DSNPE算法相比,DSLPP算法獲得了更好的識別率,這主要是因為DSLPP算法中所采用的新的類間離散度最大限度地擴大了不同類別中各個樣本點之間的差異,從而獲得了更好的類間判別力。

表3 7種算法在AR人臉庫上的最高識別率和 對應的維數

在上述所比較的算法中僅有SPP、DSNPE、DSLPP算法采用稀疏表示的方法自適應確定權重矩陣。為了進一步驗證本文算法的有效性,對這3種算法在UMIST人臉庫上進行了計算時間的比較,實驗結果如表4所示。因為SPP算法采用稀疏表示的方法自適應設置了整個樣本集的權重矩陣,而DSNPE算法采用稀疏表示不僅設置了類內權重矩陣,而且設置了類間權重矩陣,因此DSNPE比SPP算法耗時。本文所提DSLPP算法也采用稀疏表示方法自適應確定了類內權重矩陣和類間權重矩陣,但正是DSLPP算法中采用了合理的稀疏表示字典設計,從而大大降低了算法的計算時間。從表4可以看出,與SPP和DSNPE算法相比較,DSLPP算法的運行時間明顯少得多。

表4 算法運行時間的比較

5 結 論

本文提出了一種新的維數約簡的算法,即鑒別稀疏局部保持投影的人臉識別算法(DSLPP)。一方面,DSLPP算法簡化了稀疏表示字典的構造,降低了計算時間的復雜度;另一方面,DSLPP算法保持了不同類平均向量的稀疏重構關系,考慮了全局判別結構,擴大了不同類數據之間的距離,算法具有較好判別力。在Yale、UMIST和AR人臉庫上的實驗表明,DSLPP算法的分類識別結果優于其他方法。今后我們會結合基于概率和Bayesian理論的人臉識別方法對本文方法作進一步的改進。

[1] JOLLIFFE I T. Principal component analysis [M]. Berlin, Germany: Springer-Verlag, 1986: 111-137.

[2] BELHUMEUR P N, HESPANHA J P, KRIENGMAN D J. Eigenfaces vs. fisherfaces: recognition using class specific linear projection [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1997, 19(7): 711-720.

[3] TENENBAUM J B, Silva V D, LANGFORD J C. A global geometric framework for nonlinear dimensionality reduction [J]. Science, 2000, 290: 2319-2323.

[4] BELKIN M, NIYOGI P. Laplacian eigenmaps for dimensionality reduction and data representation [J]. Neural Computation, 2003, 15(6): 1373-1396.

[5] HE X, CAI D, YAN S, et al. Neighborhood preserving embedding [C] ∥Proceedings of the IEEE International Conference on Computer Vision. Piscataway, NJ, USA: IEEE, 2005: 1208-1213.

[6] HE X, YAN S, HU Y, et al. Learning a locality preserving subspace for visual recognition [C] ∥Proceedings of the IEEE International Conference on Computer Vision. Piscataway, NJ, USA: IEEE, 2003: 385-392.

[7] YU W, TENG X, LIU C. Face recognition using discriminant locality preserving projections [J]. Image and Vision Computing, 2006, 24(3): 239-248.

[8] WRIGHT J, YANG A Y, GANESH A, et al. Robust face recognition via sparse representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227.

[9] 陳思寶, 許立仙, 羅彬. 基于多重核的稀疏表示分類 [J]. 電子學報, 2014, 42(9): 1807-1811. CHEN Sibao, XU Lixian, LUO Bin. Multiple kernel sparse representation based classification [J]. Acta Electronica Sinica, 2014, 42(9): 1807-1811.

[10]WRIGHT J, MA Y, MAIRAL J, et al. Sparse representation for computer vision and pattern recognition [J]. Proceedings of the IEEE, 2010, 98(6): 1031-1044.

[11]杜春, 孫即祥, 周石琳, 等. 基于稀疏表示和非參數判別分析的降維算法[J]. 國防科技大學學報, 2013, 35(2): 143-147. DU Chun, SUN Jixiang, ZHOU Shilin, et al. Dimensionality reduction based on sparse representation and nonparametric discriminant analysis [J]. Journal of National University of Defense Technology, 2013, 35(2): 143-147.

[12]QIAO L S, CHEN S C, TAN X Y. Sparsity preserving projections with applications to face recognition [J]. Pattern Recognition, 2010, 43(1): 331-341.

[13]LU G F, JIN Z, ZOU J. Face recognition using discriminant sparsity neighborhood preserving embedding [J]. Knowledge-Based Systems, 2012, 31(7): 119-127.

[14]JIA Y Q, NIE F P, ZHANG C S. Trace ratio problem revisited [J]. IEEE Transactions on Neural Networks, 2009, 20(4): 729-735.

[15]DONOHO D L, TSAIGs Y. Fast solution of L1-norm minimization problems when the solution may be sparse [J]. IEEE Transactions on Information Theory, 2008, 54(11): 4789-4812.

[16]HE Xiaofei. See [EB/OL]. (2012-02-27)[2015-10-29]. http: ∥www.cad.zju.edu.cn/home/dengcai/Data/FaceData.html.

[17]GRAHAM D B, ALLINSON N M. Characterizing virtual eigensignatures for general purpose face recognition[M]. Berlin, Germany: Springer-Verlag, 1998: 446-456.

[18]MARTINEZ A M, BENAVENTE R. The AR face database, compute vision center technical report #24 [R]. Birmingham, AL, USA: University of Alabama at Birmingham, 1998.

[19]GUI Jie, SUN Zhenan, JIA Wei, et al. Discriminant sparse neighborhood preserving embedding for face recognition [J]. Pattern Recognition, 2012, 45(8): 2884-2893.

(編輯 劉楊)

A Face Recognition Algorithm Based on Discriminant Sparse Locality and Preserving Projections

YANG Yifang1,3,WANG Yuping2

(1. School of Mathematics and Statistics, Xidian University, Xi’an 710071, China; 2. School of Computer Science and Technology, Xidian University, Xi’an 710071, China; 3. College of Science, Xi’an Shiyou University, Xi’an 710065, China)

A new face recognition algorithm, i.e. a discriminant sparse locality and preserving projection algorithm (DSLPP), is proposed to solve the problem that the construction between-class scatters is too complex in the discriminant sparse neighborhood and preserving embedding (DSNPE) method. A novel between-class scatter is constructed by using the mean vector of each class as dictionary and preserving the sparse reconstructive relationship of mean face. Then, an optimal projection matrix is obtained by maximizing the between-class scatter and minimizing the with-class compactness simultaneously. The nearest neighbor classifier is finally used for face recognition. The proposed between-class scatter maximizes the difference of samples between different classes and has more discriminant power, so that the recognition rate of the proposed algorithm is markedly improved. Moreover, the computational complex of the DSLPP algorithm is reduced because of the simple design of the dictionary. Experimental results show that the DSLPP algorithm achieves average recognition rates 83.38% and 95.72% on Yale, and UMIST face database respectively, and a maximal recognition rate 83.71% on AR face database, and that the recognition rates are obviously higher than the recognition rates of some conventional methods. The experimental results on UMIST face databases also show that the average computation time of the DSLPP algorithm is less 81.7% than that of the DSNPE algorithm.

face recognition; dimension reduction; sparse reconstructive; local preserving projections

2015-11-19。 作者簡介:楊藝芳(1976—),女,博士生;王宇平(通信作者),男,教授,博士生導師。 基金項目:國家自然科學基金資助項目(61503082,61472297)。

時間:2016-04-03

10.7652/xjtuxb201606009

TP391.41

A

0253-987X(2016)06-0054-07

網絡出版地址:http:∥www.cnki.net/kcms/detail/61.1069.T.20160403.1823.008.html