基于局部信息融合的正交稀疏保留投影分析

袁安鼎，荊曉遠，吳 飛

(1.南京郵電大學 自動化學院，江蘇 南京 210023；2.南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

基于局部信息融合的正交稀疏保留投影分析

袁安鼎1，荊曉遠1，吳 飛2

(1.南京郵電大學 自動化學院，江蘇 南京 210023；2.南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

模式識別領域對于樣本分類判別的準則有很多，近期運用比較多的是將原始數據樣本的稀疏重構關系保持到投影變換后的樣本空間中，從而增加分類的準確性。稀疏保留投影算法(SPP)就是基于該思想發展起來的典型算法。該算法在尋找最佳投影變換時是從樣本的全局角度出發，沒有考慮到樣本總體呈現非線性而局部線性的空間結構，樣本間的局部信息對識別率同樣有很大的提升作用，同時SPP算法獲取的投影變化是非正交的，特征變換之間存在冗余信息，特征信息之間存在冗余的情況對于樣本分類過程存在很大的干擾項。基于以上不足之處，提出基于局部信息融合的正交稀疏保留投影，將正交性以及樣本間的局部結構信息融入SPP算法之中，同時在AR以及CAS-PEAL人臉庫上對所提算法進行驗證。

稀疏保留投影；局部近鄰信息；正交性；迭代終止準則

0 引 言

在圖像特征提取和識別技術中，子空間學習方法使用最為廣泛[1-2]，其中最經典的有主成分分析(Principal Component Analysis，PCA)和線性鑒別分析(Linear Discriminant Analysis，LDA)。子空間相關方法能夠很好地解決樣本“維數災難”這一難題，該類方法的總體流程是把在高維空間中分布不是太密切的原始圖像樣本通過非線性或線性投影變換到一個由投影變換矩陣張成的低維子空間中，進而使得變換后的圖像樣本在子空間中分布較之于變換前更加緊湊，從而簡化分類過程中的計算復雜度等一系列問題[3-4]。ULDA[5]是基于LDA算法在投影變換中添加正交約束，使得獲取的投影變換具有去冗余信息的特征。

流形學習是一個數學模型概念，在模式分類的應用中代表的是一種空間表示形式，運用流形結構可以輕松準確地解釋事物的內在本質結構[6]。對于高維原始圖像樣本，一般降維算法都是從全局結構對圖像樣本進行操作，但該做法忽視了圖像樣本的內在結構，而流形學習算法是從圖像樣本的局部結構出發，注重的是局部而非全局特性。代表性的算法是LPP，該算法主要通過建立近鄰結構圖矩陣保留樣本的局部結構信息，并在此基礎上尋找可以保持樣本流形結構的投影變換[7]。

稀疏表示最初是運用在信號處理領域，在過去的信號處理發展中，稀疏表示被成功地應用并解決了很多數字信號領域問題。

在機器學習和模式識別領域，稀疏表示很好地解決了圖像分類問題[8]，同時發展出了新的基于稀疏表示的從全局出發的稀疏保留投影算法。

稀疏保留投影(Sparsity Preserving Projections，SPP)參照流形學習思想，核心思想是通過對原始數據樣本進行稀疏重構，通過獲取的稀疏權重矩陣將樣本重構過程中出現的誤差控制在最小范圍內，以此獲取最佳的投影變換矩陣組[9]。

但SPP算法是從樣本全局角度出發，并且獲取的投影變換是非正交形式的，而樣本的局部結構包含更多的鑒別信息，并且投影處于正交形式下可以去除特征中的冗余信息[10]。基于此，文中將稀疏保留投影算法與流形學習和正交投影相融合，提出一種新的人臉特征提取方法，即基于局部信息融合的正交稀疏保留鑒別分析。該算法主要是從樣本的局部近鄰結構出發，同時考慮投影向量間可能存在有冗余信息的可能性并通過正交性以及局部結構信息保留的做法提高算法的識別率。在AR[11]和CAS-PEAL[12]人臉數據庫上的實驗結果驗證了所提方法的有效性。

1 基于局部信息融合的正交稀疏保留投影分析

1.1 稀疏表示模型

對于給定離散信號b∈iN，以及基本矩陣D，D={d∈iN/i∈I}，可以看出D是由K個基本單位向量組建而成，在對信號進行稀疏表示中，矩陣D是經過原始基信號離散化后重新組建的字典矩陣。對于字典矩陣D中的所有單個列向量，稱之為字典原子(Atom)，則字典矩陣的維度大小為K，字典矩陣中字典原子的個數為N。且對于矩陣D，必然有K≥N，那么對于原始給定的離散信號b，通過字典矩陣的替換，則有如下利用字典原子對離散信號的等價表達式：

(1)

其中，x表示對應字典原子的對離散信號稀疏表示過程中所做出貢獻的加權稀疏；εT表示該項字典原子逼近后所出現的誤差項。

對于字典矩陣D，當張成的空間的字典原子個數與空間的維數相當時，也就是K=N時，在此情況下，字典的維數與原子個數相等[13]，則稱此字典為完備字典矩陣(complete)；當K>N時，此時比較原子個數與字典矩陣的維數，由于字典原子個數大于字典的維度，則此時字典是以冗余形式存在的，此字典矩陣稱之為過完備稀疏表示字典(over-complete)。對于過完備稀疏表示字典，由于字典中的字典原子是線性相關的，則原始離散的稀疏表示[14]的組合形式肯定遠遠不止一種。

1.2 稀疏保留投影

SPP算法核心思想是獲取原始數據樣本間的稀疏重構關系并保持到低維投影空間中，以此增加樣本鑒別維度。

(2)

s.t.xi=Xsi

1=eTsi

其中，si=[si1,…,si,i-1,0,si,i+1,…,sin]T是一個n維向量，第i個元素值為零，這表示在向量重構過程中，自身不參與自身的重構流程，sij(j≠i)表示的是xj為了重構xi而所占的比重；e∈Rn是一個元素全為1的向量。

依據上述求解函數計算出每一個xi所對應的權重向量si,i=1,2,…,n，即可獲取稀疏權重矩陣s=(sij)n×n。

s=[s1,s2,…,sn]T

(3)

其中，si為式(2)的最優解。

將稀疏表示與SPP的目標函數相對比，根據稀疏表示后所得出的稀疏矩陣，可以看出SPP在對原始圖像樣本進行稀疏重構時，使用的稀疏構造字典采用的就是原始空間中的所有原始數據集，所以在稀疏重構中，單個數據向量本身是不參與對本身的重構過程的，這也解釋了列向量si中第i個向量數據為0的原因。

實際圖像樣本信息中一般存在角度、光照、遮擋等噪音因素，目標函數中的約束條件一般難以達到，對此問題的解決方式是在允許條件范圍下，對最優化問題(2)的約束條件進行如下修改：

(4)

s.t. ‖Xsi-xi‖<ε

1=eTsi

從目標函數(4)中可以看出，約束中對重構誤差閾值進行固定設置，并對上述最優化問題進行求解即可獲取SPP所需要的稀疏重構矩陣S，其形式如下:

S=sij(n×n)=[s1,s2,…,sN]

(5)

基于獲取的稀疏表示系數，通過算法對原始樣本空間數據進行降維時，希望能夠保留對分類有用的信息，為此定義目標函數：

s.t.wTXXTw=1

(6)

對上式最優化函數進行求解，等同于求解如下問題：

XSβXTw=λXXTw

(7)

其中，Sβ=S+ST-STS。

最終對此目標函數進行求解，并將前d個最大的特征值所對應的特征向量構成系數保留算法最終所需的投影變換矩陣W=[w1,w2,…,wd]。

1.3 目標函數的描述求解

基于SPP算法思想，將近鄰結構圖矩陣以及正交性約束添加到SPP目標函數中，目標函數如下：

對于原始數據樣本X={x1,x2,…,xn}，該樣本空間中共有n個圖像樣本，通過如下最優化問題首先獲取樣本的稀疏系數si：

min‖si‖1

(8)

1=eTsi

其中，ε為事先設定的誤差閾值。

基于樣本的類標簽信息，可對稀疏重構進行同類樣本表示優化，如下形式：

(9)

經過優化后的向量稀疏表示系數即為：

(10)

式(10)表明，經優化的樣本稀疏重構只有同類的其他樣本進行稀疏表示。則最終的稀疏權重矩陣P∈Rn×n為：

(11)

其中，Pk∈Rnk×nk，k=1,2,…,c。

樣本的類標簽信息通過如下形式添加到近鄰結構中：

(12)

基于以上描述，將樣本的類標簽信息融入到近鄰結構中，同時與稀疏權重矩陣相結合[15-17]。

在此假設vl即為所求解的最優投影變換向量組，定義所提算法目標函數如下：

(13)

s.t.vTXDXTv=1

(14)

目標函數(10)經過推導可轉化為如下等價求解形式：

由約束條件中可以看出，約束中添加了正交性以確保對冗余信息的去除。

1.4 投影變換向量求取終止準則

對投影變換向量的求取直接通過目標函數很難得到，在此采取迭代的方式進行，迭代的終止判斷條件通過Fisher值進行判斷，Fisher值函數表示如下：

(16)

其中，vl表示求解的投影變換向量；J(vl)表示相對應的變換向量的Fisher值；SB和SW分別表示類間散度矩陣和類內散度矩陣，形式如下：

(17)

(18)

迭代終止條件設定如下，特征向量對應的Fisher值大于1時保留，特征向量對應的Fisher值小于1時停止迭代操作。

算法流程總結為：

(1)依據式(9)和式(12)分別計算出原始樣本的稀疏權重矩陣P和近鄰結構圖矩陣w。

(2)通過目標函數(10)經推導化簡后求解出等價特征式X(D+PDPT-wPT-PTw)XTv1=λ1XDXTv1，求解第一個投影向量v1。

(3)初始化矩陣V1=[v1]以及M1=[V1]T(XDXT)-1V1。

(4)通過特征等式依次迭代求解投影變換向量，并且更新矩陣Vl=[Vl-1,vl]Vl=[Vl-1,vl]和M1=[V1]T(XDXT)-1V1。

(5)對步驟(4)中求解得到的特征向量通過式(16)進行Fisher值計算，如果J(vl)<1則迭代終止。

2 實 驗

對文中所提算法在AR以及CAS-PEAL人臉庫上進行驗證，將所提算法與LPP、SPP、FSLDA典型算法在識別率效果上進行對比。

2.1 圖像數據庫介紹

AR庫中圖像的原始分辨率為768×576，為節約計算成本以及存儲空間，選取庫中110人，每人有26張圖片，并且對圖像進行初始化操作，通過降維，每幅圖片分辨率大小為60×60。圖1顯示了AR中一個人的所有圖像樣本。

CAS-PEAL人臉數據庫包含106個人，每人有10幅人臉圖像。該數據庫的特點是同一個人的不同人臉圖像樣本受光照影響很大。同樣為節約計算成本，實驗前將圖像處理成60×48大小。圖2顯示了該庫中一個人的所有圖像樣本。

圖1 AR數據庫的部分樣本圖像

圖2 CAS-PEAL數據庫的樣本圖像

2.2 實驗結果及分析

在AR和CAS-PEAL人臉數據庫中對文中所提算法、LPP、SPP、LDA和FSLDA進行實驗對比。在AR數據庫上，隨機選取每類中的12幅圖像用作訓練集，剩余圖像用作測試集；在CAS-PEAL人臉數據庫中，每類隨機挑選5個樣本組成訓練樣本集，其余組成測試樣本集。

圖3和圖4分別給出了所有方法在AR和CAS-PEAL人臉圖像庫中隨機30次實驗的識別效果圖。表1給出了其識別率對比數據。

從表1中可以看出，在AR庫中，所提算法比LPP的識別率高12.26%，比SPP高7.57%，比LDA高4.70%，比FSLDA高2.82%。在CAS-PEAL庫中，所提算法比LPP的識別率高9.92%，比SPP高7.08%，比LDA高7.72%，比FSLDA高6.81%。從實驗對比數據可以看出，與相關方法相比,文中所提算法明顯提高了識別的準確性。

圖3 所有方法在AR人臉庫上的識別率

圖4 所有方法在CAS-PEAL人臉庫上的識別率

方法名稱平均識別率/%AR庫CAS-PEAL庫LPP77．47±3．0486．92±1．64SPP82．16±1．9789．76±1．51LDA85．03±2．7589．12±1．79FSLDA86．91±1．5390．03±1．54LIFOSPD89．73±1．6496．84±1．03

3 結束語

基于SPP算法的不足，文中將局部結構信息以及正交性引入到SPP算法中，即從樣本數據的空間結構出發，同時通過正交性將特征中的相關性去除，通過在人臉庫上與相關算法進行對比，驗證了所提算法的有效性。

[1] 王李冬.一種新的人臉識別算法[J].計算機技術與發展,2009,19(5):147-149.

[2] 趙振勇,王保華,王 力,等.人臉圖像的特征提取[J].計算機技術與發展,2007,17(5):221-224.

[3] Turk M,Pentland A.Eigenfaces for recognition[J].Journal of Cognitive Neuroscience,1991,3(1):71-86.

[4] Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs. Fisherfaces:recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711-720.

[5] Foley D H,Sammon J W.An optimal set of discriminant vectors[J].IEEE Transactions on Computers,1975,24(3):281-289.

[6] Law M H C,Jain A K.Incremental nonlinear dimensionality reduction by manifold learning[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2006,28(3):377-391.

[7] Yajing A N. Improved local preserving projection algorithm based on exponential diagonal matrix[J].Computer Engineering & Applications,2011,47(36):197-202.

[8] Hu Zhengping,Liu W,Xu Chengqian.Image inpainting based on non-local sparsity representation with muti-region learning dictionary[J].Mathematics in Practice & Theory,2011,41(7):98-108.

[9] Xiang F,Wang Z,Yuan X.Dissimilarity sparsity-preserving projections in feature extraction for visual recognition[J].Applied Optics,2013,52(20):5022-5029.

[10] Qiao L,Chen S,Tan X.Sparsity preserving projections with applications to face recognition[J].Pattern Recognition,2010,43(1):331-341.

[11] Wang R,Chen X.Manifold discriminant analysis[C]//Proceedings of IEEE conference on computer vision and pattern recognition.Miami,USA:IEEE,2009:429-436.

[12] Wright J,Yang A Y,Ganesh A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[13] Sui G R，Cheng L，Chen B X,et al.Research on gait recognition technology based on fiber array sensor[J].Journal of Optoelectronics Laser,2011,22(3):359-362.

[14] Zhang D,Kong W K,You J,et al.Online identification[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(9):1041-1150.

[15] 楊榮根,任明武,楊靜宇.基于稀疏表示的人臉識別方法[J].計算機科學,2010,37(9):267-269.

[16] 李 映,張艷寧,許 星.基于信號稀疏表示的形態成分分析:進展和展望[J].電子學報,2009,37(1):146-152.

[17] Donoho D L,Elad M,Temlyakov V N.Stable recovery of sparse overcomplete representations in the presence of noise[J].IEEE Transactions on Information Theory,2006,52(1):6-18.

Analysis of Orthogonal Sparse Preserving Projection Based on Local Information Fusion

YUAN An-ding1,JING Xiao-yuan1,WU Fei2

(1.College of Automation,Nanjing University of Posts and Telecommunications,Nanjing 210023,China; 2.College of Telecommunications & Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

There are many sample classification criterion in the field of pattern recognition,and the mostly used one recently is to maintain the sparse reconstruction relationship of original data samples to the sample space after projection transformation so as to increase the accuracy of classification.SPP is a typical algorithm based on the idea.In finding the optimal projection transformation,SPP is based on the global point view,however the spatial structure of the sample is nonlinear and the local linear structure is not considered.At the same time,the SPP algorithm is not orthogonal,and there is redundant information between the feature transform.Based on the above shortcomings,orthogonal sparse preserving projection based on local information fusion is proposed,and the orthogonality and the local structure information of samples are merged into the SPP algorithm.At the same time,the proposed algorithm is validated on the AR and CAS-PEAL face database.

sparsity preserving projections;local neighbor information；orthogonality;iterative stopping criterion

2016-03-25

2016-06-29

時間：2017-01-04

國家自然科學基金資助項目(61272273)；江蘇省普通高校研究生科研創新計劃(CXLX13_465)

袁安鼎(1991-)，男，研究生，研究方向為生物特征識別；荊曉遠，教授，博士生導師，研究方向為模式識別、圖像處理、機器學習。

http://www.cnki.net/kcms/detail/61.1450.TP.20170104.1039.066.html

TP301

A

1673-629X(2017)01-0061-04

10.3969/j.issn.1673-629X.2017.01.014