王族 閆德勤 何陽 婁雪



摘 要:鄰域保持嵌入(NPE)算法與極端學習機結合后應用到人臉識別中沒有達到令人滿意的識別效果,為找到更優的解決方案,提出一種改進的鄰域保持嵌入算法(SNPE)。在SNPE算法中將NPE目標式子與帶有類間判別信息的式子做減法,通過極小化目標函數,達到最小化同一類別領域距離且最大化不同類別領域距離的目的。通過Yale人臉數據庫、Yale B人臉數據庫、ORL人臉數據庫等實驗結果表明,改進后的算法大幅提高了人臉識別率。
關鍵詞:鄰域保持嵌入算法;流行學習;人臉識別
DOI:10. 11907/rjdk. 182389
中圖分類號:TP301文獻標識碼:A文章編號:1672-7800(2019)002-0009-04
Abstract: The combination of the neighborhood persistence embedding (NPE) algorithm and the extreme learning machine does not achieve a satisfactory recognition effect when applied to face recognition. In order to find a better solution, this paper proposes an improved neighborhood persistence embedding (SNPE) algorithm. In the SNPE, we subdivide NPE object subtypes with equations with inter-class discriminant information, minimize the distance between the same category and maximize the distance between different categories by minimizing the objective function. Through experiments such as the general Yale face database, Yale B face database, and ORL face database, the improved algorithm is proved to greatly improve the recognition rate in face recognition.
Key Words: neighborhood persistence embedding algorithm;manifold learning;face recognition
0 引言
人臉識別作為信息鑒別的一種常用手段,在公安、遙感、銀行等部門及領域均有相當廣泛應用,但在實踐中大多數數據均為高維數據,且存在分布不均勻的現象,因此對研究數據進行有效維數約減十分重要。
基于現有維數約減方法發展出很多數據降維改進算法。Kirby & Turk等[1-2]將主元分析法(Principal Component Analysis,PCA)引入到人臉識別降維算法中,后續還包括線性判別分析(Linear Discriminant Analysis,LDA)[3-5]。這兩種算法共同缺點是沒有考慮數據幾何結構,即人臉圖像易受表情、臉部姿態、人臉形狀和皮膚及光照等內外在因素影響,為了避免該問題,研究者相繼提出了幾種非線性流行結構降維方法[6]:等距映射法(Isometric Feature Mapping,Isomap)[7]、局部線性嵌入算法(Locally Linear Embedding,LLE)[8]及LE(Laplacian Eigenmaps)[9]算法,但由于以上算法會出現樣本外問題,無法直接用于人臉識別。之后有學者提出域保持嵌入算法(Neighborhood Preserving Embedding,NPE)[10-12],該算法在選取近鄰點時采用歐式距離計算方法,造成重構誤差[13-14],且在進行線性重構時NPE算法沒有考慮到樣本點間的判別信息。
針對上述問題,本文在NPE基礎上進行改進, 改進后算法不僅繼承了傳統NPE方法的優點, 而且因目標函數中加入類間判別信息,并用極端學習機(ELM)分類器[15]進行分類,該方法能增強樣本點間的判別能力,更加準確地實現數據降維。為了證明本文SNPE算法有效性,將其與LMMDE、RAF-GM、NPE算法在人臉數據集上進行比較,實驗結果證明本文算法優于其它對比算法,并在降維問題上取得了良好效果。
2 鄰域保持嵌入算法
鄰域保持嵌入(NPE)算法是一種局部特征提取算法,與其它算法相比主要有兩個優點:一是能夠充分挖掘高維數據的局部信息,二是可解決數據非線性特性。假設高維數據由[X=x1,x2,?,xd,xi/xi?Rn]空間降到相對低維空間[X=y1,y2,?,yd,yi/yi?Rm(m (1)選取數據樣本點[xi]的k個歐式距離最近的近鄰點[xj],連接[xi]和[xj]。 (2)計算權重W。高維[Rn]空間中權重系數矩陣可以通過[φ(W)=ixi-jWijxj2](約束條件為[jWij=1,][j=1,][2?N])求得,[Wij]既能在[Rn]空間中重構[xi],也能在[Rm]空間中重構[yi],因此有[φ(y)=iyi-jWijyj2],又由于NPE假設每個局部近鄰是線性的,則有[yi=ATxi],經過代數運算可化簡為[φ(y)=ATXMXTA],其中[M=(I-W)T(I-W),][I=][diag(1,1?1)],約束條件變為[ATXMXTA=1]。 (3)求解特征映射。利用拉格朗日乘子法可將求解[φ(y)]的最優化問題轉化為求解特征值的問題,即[XMXTA=μXXTA] ,設按[μ0<μ1<?<μm-1]從小到大排列所對應的特征向量為[α0,α1,?,αm-1],最終求得由[Rn]空間映射到[Rm]空間的坐標為[yi=ATxi],式中[A=(α0,α1,?αm-1)]。 3 基于NPE改進的鄰域保持嵌入算法 由于人臉圖像數據存在信息冗余及噪音,會對ELM泛化能力造成影響,因此本文提出一種改進的稀疏鄰域保持嵌入算法(SNPE)。SNPE算法主要特點包括:①該方法不僅能在固定權重的情況下使類內局部鄰域線性重構誤差最小,而且能增強樣本點之間的判別能力,使得在[Rm]空間內的數據集具有最大的類間距離;②應用到人臉識別時,會遇到小樣本問題,即未經處理的人臉數據維數較高且訓練樣本數又很少,可能造成類間離散度矩陣[S]是奇異矩陣,為避免該類問題本文算法采用減式而非除式。 將給定的N個訓練樣本集[X=(x1,x2,?,xN)∈Rn]分為c類,記為[X=(x1,x2,?,xc)]。則[Y=(y1,y2,?,yc)]代表嵌入映射數據集[Y=(y1,y2,?,yN)∈Rm]的c類低維數據集。[xci]表示第[c]類第[i]個數據樣本,第[c]類數據樣本個數為[nc]。 基于上述假設,SNPE理論框架可由優化公式(1)得到。 其中,[yci]和[ycj]分別為第[c]類樣本的第[i]個和第[j]個低維嵌入向量,[Wcij]為[yci]和[ycj]的重構權重系數,[ωc]和[ω]分別為第[c]類樣本低維均值向量和總體樣本低維均值向量,再通過代數運算對目標函數進行簡化。SNPE繼承了NPE在降維時能保持數據集固有的局部鄰域結構不變的優點,因此假設線性變化向量為[α],則[YT=αTX]。 (1)被減數化簡。 (2)減數化簡。 (3)求解嵌入映射向量矩陣A。為達到降維時同類樣本點內部幾何結構不變,不同類樣本點間信息盡可能映射得比較遠的目的,可以將其理解為極小化目標函數被減數項及極大化目標函數減數項,所以求解嵌入映射向量矩陣A可通過極小化目標函數達到,即: 4 實驗結果與分析 為證明SNPE算法與極端學習機(ELM)有更好的人臉識別率,本文主要考慮兩個變量因素:一是ELM分別采用Agauss 、Sig、Hardlim、Gauss、PCA、Sin六大函數在Yale人臉數據庫、Yale B人臉數據庫及ORL人臉數據庫上進行對比實驗,最終由于Sin函數性能的突出表現被選為統一的激活函數應用于實驗當中;二是實驗在每個樣本中隨機選取L={3,4,5,6}個訓練集,其余部分為測試集。 對比SNPE和LMMDE、RAF-GM、NPE算法降至不同維數下的識別率,不同數據庫參數設置如表1所示,不同人臉庫圖像如圖1所示。 從圖2-圖4和表2-表4可看出,訓練樣本個數和維數不同值均可帶來不同結果。對于Yale人臉數據,訓練樣本為6、維數為40和90時最好; 對于Yale B人臉數據,訓練樣本為6、維數為90最好;對于ORL人臉數據,訓練樣本為6、維數為40和90時最好。SNPE性能可通過改變參數進行調整。 圖2-圖4分別給出ELM運用不同降維算法在Yale、Yale B及ORL人臉數據集上的識別率曲線,從中可以看出SNPE算法的識別率與LMMDE、NPE、RAF-GE算法相比有大幅度提升,在Yale B 人臉數據集上表現極為明顯,但在不同維數上的識別率不是很穩定。ELM運用于Yale及ORL人臉數據集上的識別率相對穩定,且準確率接近100%。表2-表4進一步證明了以上結論,并充分說明:①SNPE算法較原始的NPE算法有更好的識別率;②在Yale和ORL人臉數據集上的識別率基本達到90%以上且較穩定,在Yale B人臉數據集上識別率較低但也明顯高于其它算法。因SNPE結合ELM算法充分考慮樣本點之間的結構信息,NPE算法更能準確地在復雜環境下實現人臉識別, 5 結語 人臉識別自提出以來受到廣泛關注,并且在實際生活中得到了很好的普及。本文算法將類間離散度矩陣作為判別信息加入到目標函數中,進行了一次有意義降維算法嘗試。SNPE算法能夠有效地對人臉識別數據維數進行約減,減少了計算量,提高了ELM泛化性能。通過SNPE與LMMDE、RAF-GM、NPE的對比實驗表明,本文方法在人臉圖像實驗中取得了良好的分類效果。下一步研究重點是將SNPE應用于其它圖像分類任務中,進一步驗證本文算法泛化性能。 參考文獻: [1] LLC Member Representatives Committee. Digital Cinema Initiatives, LLC Digital Cinema System Specifications V1.0[EB/OL]. http://www.dcimovies.com. [2] ADAMS M,WARD R. JasPer:a portable flexible open-source software tool kit for image coding/processing[C]. Montreal: International Conference on Acoustics, Speech, and Signal Processing,2004. [3] 李瑞敏,陸化普. 基于WebGIS的智能交通管理指揮調度系統[J].? 計算機工程,2007,33(21):232-234. [4] SCHMITT E J,JULA H. Vehicle route guidance systems: classification and comparison[C]. Proceedings of IEEE Intelligent Transportation Systems Conference, 2006: 242-247.