I-VLDNS：一種改進的線性判別子空間模式識別算法

莫京蘭　朱廣生　呂躍進

1(廣西科技大學鹿山學院　廣西 柳州 545616)2(廣西科技大學　廣西 柳州 545616)3(廣西大學數學與信息科學學院　廣西 南寧 530004)

?

I-VLDNS：一種改進的線性判別子空間模式識別算法

莫京蘭1,3朱廣生2呂躍進3

1(廣西科技大學鹿山學院廣西 柳州 545616)2(廣西科技大學廣西 柳州 545616)3(廣西大學數學與信息科學學院廣西 南寧 530004)

摘要針對現有模式判別分析方法中普遍存在的子空間優化與“小樣本”問題，首先剖析總體、類內以及類間三種散布矩陣的零空間的物理含義，深入闡釋有效零空間與有效線性判別零空間核心原理；其次，研究始空間中總體、類間散布矩陣與有效零空間、有效值域空間上的總體、類間散布矩陣關于特征值與特征向量之間的關聯關系，并且獲取類內散布矩陣零空間、值域空間上關于Fisher線性判別率的關鍵結論；最后，基于有效線性判別零空間理論，設計出一種改進的線性判別子空間模式識別算法，即I-VLDNS。通過相關數據集模擬實驗表明，I-VLDNS算法在模式識別分析性能、精確度以及魯棒性上均得到進一步優化與提高。

關鍵詞模式識別線性判別分析有效零空間值域空間I-VLDNS

0引言

隨著科技信息化進程的不斷推進，模式識別作為熱點研究方向，得到了越來越多地關注，并在人工智能、數據挖掘等領域得到深入應用。模式分析是模式識別的核心技術之一，作為模式分析的一個關鍵研究點，子空間分析技術依靠不同映射方式對應的不同優點，已普遍應用于模式識別、計算機視覺分析、生物特征與數據識別，并在數據挖掘領域具有無限廣闊地應用前景。因此，如何有效選取與處理大規模海量數據信息中的有效判別數據信息，深入研究子空間分析技術具有非常重要的意義。

近年來，國內外學者對子空間分析技術進行了深入研究，文獻[1]揭示了模式分析中普遍存在的“小樣本”問題，其常常存在于THz-TDS模式識別問題中。為了有效處理“小樣本”問題，改進并提高模式分析中的優化性能，專家學者們重點研究線性判別分析技術。文獻[2,3]通過摒棄總體散布矩陣的零空間，從值域空間中選取有效的特征向量，設計出相對應的線性判別分析方法。然而，該方法選取范圍較狹窄，僅選取了總體類內散布矩陣的零分量。文獻[4,5]通過一系列方法，從零空間與值域空間中得到了最優判別向量，但是，對應于零特征值與較小特征值的特征向量敏感度較高，易受到訓練樣本數量影響，從而發生變化。文獻[6]在文獻[4,5]的基礎上，設計出一種廣義零空間不相關Fisher判別分析方法。此方法盡管在線性判別分析上有所改進與優化，但是仍受到零空間維度大小影響，具有一定局限性。文獻[7]提出一種主分量零空間分析方法，該方法通過獲取整體數據信息的主分量子空間。依次得到每個子類近似零空間，但是，該方法易造成一定風險，如丟失相關主分量判別數據信息等。文獻[8]提出一種可并行處理Fisher最大與最小的判別準則的最佳對稱零空間準則，對“小樣本”問題得到了進一步優化，然而其方法對計算處理能力要求較高，對模式識別分析性能造成一定影響。除了上述研究之外，文獻[9-12]同樣從總體散布矩陣、類內散布矩陣以及類間散布矩陣的零空間著手，對模式判別分析方法進行深入改進與研究，然而均存在一定應用局限性。

針對現有模式判別分析方法中普遍存在的子空間優化與“小樣本”問題，本文首先剖析總體、類內以及類間三種散布矩陣的零空間的物理含義，深入闡釋有效零空間與有效線性判別零空間核心原理，證明相關理論命題；其次，研究不同子空間中類間散布矩陣相互之間的關聯關系；最后，基于有效線性判別零空間理論，設計出一種改進的線性判別子空間模式識別算法，即I-VLDNS。通過相關數據集模擬實驗表明，I-VLDNS算法均比同類型的幾種算法更加優秀，在模式識別分析性能、精確度以及魯棒性上得到了進一步優化與提高。

1零空間物理含義

(1)

(2)

(3)

其中μi表示ωi類的的均值向量，μ0表示整個數據信息的均值向量，可知：

(4)

定理1類間散布矩陣SB滿足如下等式：

(5)

證明：首先依據式(2)，有：

其次導入式(1)中，可知：

從而獲取總體類間散布矩陣SB與各自子類的類間散布矩陣SBi相互之間的關聯關系，如式(5)。定理1揭示了SB與SBi相互之間的關聯關系。

假定φ1,φ2,…,φd,…,φn表示ST的特征向量，且保證前半部分φ1,φ2,…,φd對應于非零特征值，后半部分φd+1,φd+2,…,φn對應于零特征值，其中d=Rank(ST)。可知，前半部分φ1,φ2,…,φd形成ST的值域空間，使用Φn×d表示，后半部分φd+1,φd+2,…,φn形成對應的零空間。

圖1　總體、類內散布矩陣的零空間物理含義分析結構圖

2有效判別零空間性質分析

2.1有效子空間

假定總體訓練測試樣本N滿足n>N-1，對于SW、SB、ST的秩滿足以下結論，可知：rank(ST)≤N-1;rank(SW)≤N-C;rank(SB)≤C-1。其中SW、SB、ST均屬于奇異矩陣[13]。實際運用過程中滿足N>C，則各個散布矩陣的秩關系如下：rank(ST)>rank(SW)>rank(SB)。此時參照推論1可知各個散布矩陣零空間滿足如下關系：

Null(SB)∩Null(SW)=Null(ST)

(6)

因為Null(ST)上的類間與類內相隔長度等于零，滿足分類無效性質，定義為無效零空間。與之對應，正交補空間Range(ST)=L(Φ)定義為有效子空間，其中正交基由Φn×d=[φ1,φ2,…,φd]表示。

2.2有效零空間

Null(SW)=L(Φa1,…,Φai)⊕Null(ST)

(7)

2.3有效判別零空間

證明：

(8)

(9)

(10)

(11)

證明：V1、V2與V3上的類內相隔長度依次屬于{0}，/{0}與，并且類間相隔長度依次是γj1，τj2與。因γj1≥0,τj2≥0，且。那么引理2得證。

V1、V2與V3依次是d×i，d×(d-i)與d×d的散布矩陣。因為d>d-i>i，V1、V2與V3在其子空間上的計算性能逐漸降低。零空間L(V1)具有計算性能以及無窮大Fisher判別率等優點，定義為有效判別零空間。

3I-VLDNS算法

通過對有效判別零空間的深入研究，提出一種改進的線性判別子空間模式識別算法，即I-VLDNS，該算法的詳細步驟如下：

步驟1計算ST在零特征值上與之對應的特征向量φ1,φ2,…,φd。

步驟6將測試樣本向量x投影于特征空間上，獲取對應的投影向量z=(ΦP)Tx，參照最近鄰分類準則判別其投影向量z的歸屬類型。

若x投影于ST的值域空間上，可獲取一個低維度的測試樣本向量，即y=ΦTx。因為任何一個測試樣本都覆蓋于ST的零空間中心點，那么在模式分類作用上，此零空間具有無效性。雖然此零空間對模式分類精確性零干擾，然而選擇值域空間L(Φ)得到了降維，并優化了計算性能。

4模擬實驗與結果分析

分別從Oracle數據庫、THz-TDS數據集兩個環境下對I-VLDNS算法進行模式實驗，如下：

4.1Oracle數據庫

在時間選擇、拍照條件、人臉表情細節等方面處于各不相同的情況下，選擇50個不同人物，對每個人物提取15人臉精確圖像(精確度：136×96像素、灰度：0～255)，并存入Oracle數據庫中。模擬實驗中，保證圖像的原始性。隨機提取所有人物的k張圖像信息作為模擬實驗的訓練樣本，剩余50-k張作為測試樣本。模擬實驗過程中，利用最近鄰分類方法，依次對k值進行選取(k=3,4,5,6)，最終數據是10次模擬實驗數據的平均值。

若訓練樣本大小超過整體實驗樣本大小的一半，那么V=[V2,V1]，不然V=[V1,V2]。雖然類內散布矩陣的零空間具有多樣化的Fisher判別數據，但是其子空間易受外界影響，從而發生變化。在訓練樣本大小逐漸提升的情況下，此類內散布矩陣的零空間逐漸退化。因此，在優化性能方面，L(V2)比L(V1)更佳。如圖2所示。

圖2　Oracle數據庫上的模式識別誤差對比

從圖2中可知，在平均、最大模式識別率方面，I-VLDNS算法比同類型的其他幾種算法更好。當不斷添加訓練樣本數量大小時，文獻[6]算法、文獻[7]算法以及I-VLDNS算法的模式識別誤差下降，且誤差的標準偏差均有降低，其中I-VLDNS算法的標準偏差是最小的。實驗表明，與文獻[6]算法、文獻[7]算法相比，I-VLDNS的算法魯棒性最優。與此同時，對比文獻[6]算法，若子空間維度越低，I-VLDNS算法的模式識別率也越高，當訓練樣本數量大小是3時處于最優狀態。

4.2THz-TDS數據集

本次實驗依次選取水杯、牛奶、花生、衣服、毛巾、咖啡、茶葉、桌子、塑料、手機、皮鞋、樹木等12種各不相同的樣本物體，采用THz-TDS系統獲取與樣本物體相對應的THz-TDS信號。THz-TDS系統可發射0.1 THz至4.0 THz的THz波，將其系統設置于透射模式，采樣步長選擇44.4飛秒，時間參數設置為40毫秒。如表1所示，實驗采用0.2 THz至2.22 THz波長區域之間的透射譜，其長度是144。訓練樣本數量大小依次選取實驗樣本數量大小的1/5，1/4，1/3與1/2。最終數據是10次模擬實驗數據的平均值，如圖3所示。

表1　THz-TDS數據集中各類樣本的透射譜數據表

圖3　THz-TDS數據集上模式識別誤差對比

首先，數據集I上的THz-TDS信號處于次優化狀態，并且伴有一定的噪聲干擾；其次，數據集II上的THz-TDS信號的各類樣本的透射譜質量得到明顯提升，并且具有相對不錯的分辨率。

從圖3中可知，在THz-TDS數據集I中，文獻[6]算法、文獻[8]算法與I-VLDNS算法上的測試結果近似一致。然而當子空

間維度處于更低狀態時，I-VLDNS算法依然達到相同的模式識別性能。在THz-TDS數據集II中，特別是當訓練樣本數量大小占實驗樣本數量大小的1/2時，I-VLDNS算法能夠達到100%的模式識別率。

因為整體數據信息覆蓋于總體散布矩陣的零空間中心點，所以，在總體散布矩陣的值域空間中，存在有訓練樣本數據中的判別信息。從而更深入分析了在較低維度大小的子空間內，可依據類內散布矩陣獲取原始空間中的判別信息。I-VLDNS算法正是基于這一點，在模式識別分析性能、精確度以及魯棒性上具有良好效果。

5結語

本文針對現有模式判別分析方法中普遍存在的子空間優化與“小樣本”問題，首先闡述并分析證明了總體、類間以及類內散布矩陣的零空間物理含義；其次，研究了原始空間中總體、類間散布矩陣與有效零空間、有效值域空間上的總體、類間散布矩陣關于特征值與特征向量之間的關聯關系；最后，基于有效線性判別零空間理論，設計出一種改進的線性判別子空間模式識別算法，即I-VLDNS。在小樣本情況下，該算法可提取更加多樣化的判別信息，與同類型的其他算法相比，I-VLDNS算法在模式識別率、精確度以及魯棒性上具有更大優勢。

參考文獻

[1] 邊肇棋,張學工.模式識別[M].2版.北京:清華大學出版社,2000.

[2] Nikolaos Gkalelis,Vasileios Mezaris,Ioannis Kompatsiaris.Mixture Subclass Discriminant Analysis[J].IEEE Signal Processing letters,2011,18(5):319-322.

[3] Xiaoning Song,Jingyu Yang,Xiaojun Wu,et al.An optimal symmetrical null space criterion of Fisher discriminant for feature extraction and recognition[J].Soft Computing-A Fusion of Foundations,Methodologies and Applica- tions,2011,15(2):281-293.

[4] Vaswani N,Chellappa R.Principal components null space analysis for image and video classification[J].IEEE Trans on Image Processing,2006,15(7):1816-1830.

[5] 楊健.線性投影分析的理論與算法及其在特征抽取中的應用研究[D].南京,南京理工大學,2002.

[6] 謝維信,蒲莉娟,裴繼紅.基于值域空間中類零子空間分析的模式判別[J].信號處理,2012,28(10):1315-1360.

[7] Jiang X D.Linear subspace learning-based dimensionality reduction[J].IEEE Signal Processing Magazine,2011,28(2):16-26.

[8] Safayani M,Manzuri Shalmani M T.Heteroscedastic Multilinear Discriminant Analysis for Face Recognition[C]//2010 International Conference on Pattern Recognition,2010:4287-4290.

[9] Connie T,Jin A,Ong M.An automated palmprint recognition system[J].Image and Vision Computing,2005,23(5):501-515.

[10] Michael Schmuker,Gisbert Schneider.Processing and classification of chemical data inspired by insect olfaction[J].Proceedings of the National Academy of Sciences,2007,104(51):20285-20289.

[11] 楊健,楊靜宇,葉暉.Fisher線性鑒別分析的理論研究及其應用[J].自動化學報,2003,29(4):482-493.

[12] John Wright,Allen Y Yang,Arvind Ganesh,et al.Robust Face Recognition via Sparse Representation[J].IEEE Trans On Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[13] 蒲莉娟.模式判別中的子空間分析方法研究[D].西安,西安電子科技大學,2013.

收稿日期：2015-01-28。國家自然科學基金項目(70861001)；廣西高等學校立項科研項目(2013LX095)。莫京蘭，講師，主研領域：粗糙集，數據挖掘，運籌學與控制論。朱廣生，碩士。呂躍進，教授。

中圖分類號TP391.4

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.040

I-VLDNS: AN IMPROVED LINEAR DISCRIMINATIVE SUBSPACE PATTERN RECOGNITION ALGORITHM

Mo Jinglan1,3Zhu Guangsheng2Lü Yuejin3

1(LushanCollegeofGuangxiUniversityofScienceandTechnology,Liuzhou545616,Guangxi,China)2(GuangxiUniversityofScienceandTechnology,Liuzhou545616,Guangxi,China)3(SchoolofMathematicsandInformationSciences,GuangxiUniversity,Nanning530004,Guangxi,China)

AbstractIn light of the problems of subspace optimisation and “small sample size” commonly existed in current pattern discriminative analysis methods, in this paper we first analyse the physical meaning of null-space of total scatter matrix, between-class scatter matrix and within-class scatter matrix, and thoroughly explain the core principles of valid null-space and valid linear discriminative null-space. Secondly, we study the association relationship of eigenvalues and eigenvectors with regard to the total scatter matrixes and between-class scatter matrixes of both the original space and the valid null-space and valid range-space, and obtain the key conclusions about Fisher linear discriminative probability of within scatter matrix null-space and within scatter matrix range-space. Finally, based on effective linear discriminative null-space theory, we design an improved linear discriminative subspace pattern recognition algorithm (I-VLDNS). It is demonstrated through correlated dataset simulation experiments that the I-VLDNS gains further optimisation and improvement in analysis performance of pattern recognition, accuracy and robustness.

KeywordsPattern recognitionLinear discriminative analysisValid null-spaceRange-spaceI-VLDNS