結合顯性與隱性空間光滑的高效二維圖像判別特征抽取

朱快快 田 青 陳松燦

(南京航空航天大學計算機科學與技術學院 南京 210016)(zkk1992@nuaa.edu.cn)

結合顯性與隱性空間光滑的高效二維圖像判別特征抽取

朱快快 田 青 陳松燦

(南京航空航天大學計算機科學與技術學院 南京 210016)(zkk1992@nuaa.edu.cn)

圖像具有固有的二維空間結構，空間上鄰近的像素點通常具有相近的灰度值，意味著圖像具有局部光滑性.為對其特征抽取，傳統方法常將原始圖像拉成向量，造成空間結構的破壞，由此直接基于圖像的2D特征抽取法應運而生.典型的如2DLDA，2DPCA，相比向量方法，計算復雜度顯著降低，但其操作針對的是圖像整行(或整列)，導致空間光滑度過粗.為此，空間正則化通過在向量化空間中顯式地施加局部空間光滑彌補這一不足，由此獲得了比2D抽取法更優的分類性能，但其遺傳了向量法的高計算代價.最近，隱性空間正則化方法(implicit spatial regularization, ISR)提出利用圖像劃分與重組隱性地體現圖像局部光滑性，而后再利用現有2D方法抽取特征，使典型雙邊2DLDA性能優于SSSL(一種典型的顯性空間正則化方法)，但是，僅隱性地光滑缺乏顯式的強制約束力，其特征空間依然欠光滑，同時雙邊2DLDA由非凸問題獲得，計算耗時卻不能保證解的全局最優性.鑒于此，提出一種結合顯性與隱性空間光滑的高效二維圖像判別特征抽取框架(2D-CISSE).其關鍵步驟是預先對圖像顯性地全局光滑，緊接著進行ISR，既繼承了ISR的隱性光滑又強化了圖像局部光滑的顯式約束力，不僅可直接獲得全局最優投影，同時該框架具有一般性，即現有大部分圖像光滑方法與2D特征抽取法均可嵌入其中.最后，通過在人臉數據集Yale，ORL，CMU PIE，AR以及手寫數字數據集MNIST和USPS上的對比實驗驗證了2D-CISSE框架性能的優越性與計算的高效性.

空間光滑；圖像歐氏距離；隱性空間正則化；特征抽取；基于矩陣模式

盡管深度學習已在圖像分類[1-2]、自然語言理解[3-4]等領域取得了幾乎無可比擬的進展，其成功的關鍵在于利用了大量的訓練樣本，但現實中依然存在僅有少量訓練樣本的分類問題，而提升此種情況下分類性能的關鍵之一是如何充分利用數據內在的結構信息.針對圖像分類問題，則是如何充分利用圖像的二維空間結構信息.傳統的特征抽取方法[5-7]通常先按一定順序將r×c的圖像拉成rc維向量后用向量方法處理，導致空間結構信息缺失，影響后續學習任務的性能.因此，如何充分利用空間結構信息成為了研究關注點.

針對結構信息利用策略，Tian等人[8]將其歸納為3類，即結構嵌入的歐氏度量法、面向估計器學習的結構正則化方法和直接圖像操作方法.傳統的歐氏距離在用于衡量2幅圖像的相似度時，包含在圖像中的空間信息未能充分體現，對圖像分類產生不利影響.鑒于此，Wang等人[9]將空間結構信息嵌入歐氏距離提出一種圖像歐氏距離法(IMage Euclidean distance, IMED)，在手寫數字識別與人臉識別的實驗中獲得了比傳統歐氏距離更優的識別效果.而Li等人[10]拓展了IMED，將其用于多角度的性別分類并獲得了更高的分類精度，隨后文獻[11]又提出了一種自適應的圖像歐氏距離度量法.這些結構嵌入的歐氏度量法本質在于通過對圖像像素點施加權重顯性地對圖像作全局空間光滑，有效補償了空間信息的損失，但其基于向量模式，不可避免要面對維度過高帶來的高計算復雜度和小樣本問題.

為盡可能保持像素點間的空間結構信息，一個自然的做法是直接對圖像(或重組圖像)矩陣操作.因而很多2D特征抽取法相繼被提出，代表性的有Chen等人[12-16]通過對圖像雙線性投影所發展出的一系列分類器，例如MatMHKS[12]和MatFE+MatCD[16]，并在人臉識別與手寫數字識別的任務中獲得比基于向量模式更優的識別性能.迄今為止，大部分基于向量子空間的方法已被成功地拓展到2D或張量的版本，如主成分分析(PCA)的2D版本2DPCA[17]和廣義低秩近似矩陣(GLRAM)[18]等，線性判別分析(LDA)的2D版本單邊2DLDA[19]和雙邊2DLDA[20]等，支持向量機的2D版本，即支持矩陣機[21](support matrix machines, SMM).與傳統向量法相比，2D特征抽取法具有3點優勢：

1) 直接基于圖像矩陣定義的離散矩陣維度很低，這能有效緩和小樣本問題，也避免了原有類內散度矩陣的奇異問題；

2) 能顯著降低特征抽取的時間和空間計算復雜度；

3) 可部分利用像素點間的空間結構信息.

眾多實驗結果表明2D特征抽取法比其對應的1D向量法更優，但文獻[22]中指出2D方法僅部分利用了圖像在同一行或列的空間信息，并沒有充分利用整個圖像中的空間信息，其空間光滑度仍較粗.

鑒于此，有學者嘗試將空間光滑正則化用于懲罰相關目標函數，從而使優化結果盡可能空間光滑[22-24].代表性方法為Cai等人[22]提出的空間光滑子空間學習模型(spatial smooth subspace learning, SSSL).在SSSL中，通過引入拉普拉斯懲罰使投影系數在空間上保持光滑.Zuo等人[23]進一步對拉普拉斯懲罰函數做高斯加權來實現多尺度圖像光滑.Lotte等人[24]利用拉普拉斯懲罰對欠光滑濾波器光滑約束提出空間正則化的共同空間模式，在腦電波濾波分類實驗中獲得更優分類性能.通過顯性地光滑圖像空間的投影向量，空間正則化使向量特征抽取法獲得了比2D特征抽取法更優的分類性能.但是，這種空間正則化策略依然存在2點不足：1)它遺傳了原向量法固有的高計算代價；2)選取正則化參數的交叉驗證耗時且參數選取依然是一個開放性問題.

在圖像分類領域，隨著空間信息利用策略的不斷深入研究，很多綜合策略相繼被提出.如2013年，Gao等人[25]將結構嵌入的歐氏度量法結合到圖像直接操作法中，通過將傳統歐氏距離替換成IMED來實現像素點間空間關系的融合利用，提出了一種基于圖像歐氏距離的2維最大局部變化(two-di-mensional maximum local variation, 2DMLV)人臉識別方法，并在人臉識別實驗中獲得比2DLDA，2DLPP，2DPCA等更高的分類精度.然而，2DMLV缺失了與SSSL的性能比較，且由于Kronecker積的計算導致較高的空間復雜度.2016年，Zhu等人[26]提出了一種不同于SSSL顯性空間正則化的隱性空間正則化策略(implicit spatial regularization, ISR)，基于SSSL的假設：局部圖像區域(也稱作空間窗口，如3×3)通常是光滑的，以重疊和非重疊方式將原圖像劃分成同大小的空間窗口，再依次將各空間窗口拉成向量作為新矩陣的列，從而重新組裝成新的矩陣作為后續特征抽取的對象，具體操作如3.2節圖2所示.重組的本意在于使新矩陣每列能保持自然的光滑和局部空間關系.由此結合現成的2D特征抽取法所提出的ISR+雙邊2DLDA(ISR-b)方法獲得了優于ISR+單邊2DLDA(ISR-s)和SSSL的分類精度.但其仍然存在2點不足：

1) 盡管其中的雙邊2DLDA達到了同類方法當前最好的結果，但其目標函數非凸，只能采用交替迭代優化算法求解，計算代價大，同時也不能保證解的全局最優性；

2) 劃分重組的隱性方法盡管直覺上較好地保持了圖像的局部空間光滑，但因其缺乏顯性光滑的強制，其空間仍欠光滑.

為克服上述方法的不足，提出了一種結合顯性與隱性空間光滑的高效二維圖像判別特征抽取框架(2D-CISSE).2D-CISSE框架主要包含3個步驟，如圖1所示，其關鍵步驟體現在步驟1中，即對原圖像預先顯性空間光滑，而后2個Step等同上述ISR.盡管2D-CISSE僅簡單地在非重疊ISR基礎上施加顯性空間光滑約束，但令人驚訝的是其僅需結合單邊2DLDA即可獲得比ISR-b(非重疊ISR中最優)顯著更優的分類性能，由此不僅大大降低了計算復雜度，同時還保證了解的全局最優性.最后利用最近鄰分類器分別在人臉數據集ORL，Yale，CMU PIE，AR以及手寫數字數據集MNIST和USPS上的分類實驗結果顯示2D-CISSE框架獲得了比SSSL，2DMLV，ISR更優的分類性能和更高的計算效率.

Fig. 1 2D-CISSE framework圖1 結合顯性與隱性空間光滑的2D圖像判別特征抽取框架

1 相關工作

1.1 空間光滑的子空間學習模型SSSL

空間光滑的子空間學習(SSSL)[22]是一種典型的基于向量的顯性空間正則化方法，其利用離散的Laplacian光滑算子對投影向量顯式地約束使其局部光滑，在圖嵌入框架[27]中其目標函數為

(1)

其中，a是待優化的投影向量，正則化因子0≤β≤1控制光滑度，J是一個離散的Laplacian正則化函數：

(2)

其中二維Laplacian算子的離散近似Δ∈rc×rc可以表示為

Δ=D1?I2+I1?D2，

(3)

其中，I1與I2分別是r×r和c×c的單位矩陣，?表示Kronecker積，D1(D2)是在圖像行(列)方向一個r×r(c×c)二階梯度光滑算子或矩陣：

(4)

其中，h1(h2)是樣本矩陣在水平(豎直)方向的寬度.

1.2 二維最大局部變化法2DMLV

基于圖像歐氏距離的二維最大局部變化法(two-dimensional maximum local variation, 2DMLV)[25]將包含圖像的差異性與判別性信息的局部變化混合到目標函數中來降維，利用圖像歐氏距離替換傳統歐氏距離，從而將圖像像素點間的空間關系運用到2D特征抽取法中.對于任意圖像矩陣Aj∈r×c，目標是通過線性變換y=Aα得到一個低維的特征向量y∈c，α為待優化的投影向量.

首先，定義鄰接關系矩陣V，當Aj是Al的k近鄰或者Al是Aj的k近鄰時，Vjl=1，否則Vjl=0.實際上，近鄰空間的圖像可能來自不同的類別，為了保持圖像多樣性，保證距離較大的2張圖像在降維后依然保持較大的距離，可分別定義類內鄰接關系矩陣Vw與類間鄰接關系矩陣Vb：

(5)

(6)

定義矩陣版本的圖像歐氏距離[25]：

(7)

(8)

(9)

其中，p，p′=1，2，…r；q，q′=1，2，…c；σ為寬度參數，用于調整光滑度.

分別最大化類內和類間的局部方差，目標函數可以定義為

(10)

之后可利用線性和將其轉換為單目標的優化問題，可以通過特征分解求出優化目標.

2 2D-CISSE框架

針對結合顯性與隱性的空間光滑的二維圖像判別特征抽取框架(2D-CISSE)所包含如圖1所示的3個步驟(Step1～Step3)，本節將分別對其詳細地展開介紹.

2.1 原始圖像顯式光滑

2.1.1 全局圖像歐氏距離光滑

圖像歐氏距離(IMED)[9]巧妙地將像素點間的空間關系嵌入歐氏距離成為有效的圖像相似性度量.

定義1[9]. 圖像歐氏距離IMED.假設有2幅圖像Aj∈r×c，Al∈r×c，其距離可表示為

(11)

(12)

ii=(p-1)c+q,
jj=(p′-1)c+q′，
p，p′=1，2，…,r,q，q′=1，2，…,c.

由于矩陣G維度過高，通常計算困難，幸運的是能利用簡單變換將其改寫為

G=G1?G2，

(13)

對稱矩陣G1∈r×r與G2∈c×c同式(8)(9).利用式(13)，有如下定理：

根據定理1可變換得到圖像歐氏距離的矩陣版本如1.2節式(7)所示.因此即得圖像歐氏距離對原始圖像的光滑操作：

(14)

算法1. 全局圖像歐氏距離光滑算法GIMED.

① 分別利用式(8)(9)計算G1，G2；

② fori=1 toNdo*對每個圖像矩陣*

④ end for

2.1.2 局部圖像歐氏距離光滑

除了對圖像矩陣全局空間光滑，本文將IMED結合到第2階段的圖像矩陣劃分重組(詳見3.2節)之中，提出局部圖像歐氏距離光滑算法(LIMED).

假設有2個原始圖像Aj∈r×c，Al∈r×c，選擇尺寸為m×n的空間窗口，利用如圖2方式將其劃分重組為

其中,K=(rc)(mn).

(15)

用式(7)中矩陣圖像歐氏距離替換傳統歐氏距離：

(16)

對于每個原始圖像矩陣Aj，式(16)即為對其每一個空間窗口進行空間光滑操作，稱為局部圖像歐氏距離光滑算法LIMED.

2.1.3 雙邊濾波光滑

Tomasi等人[29]提出的雙邊濾波(bilateral filter, BLF)在處理相鄰像素點的灰度值時，兼顧了幾何空間上的臨近關系和灰度值上的相似性，對兩者非線性組合，自適應濾波后得到光滑圖像，優點在于圖像光滑的同時模糊的邊緣信息能夠得以保持.這里將其用作原圖像全局光滑.

(17)

其中，Si，j表示以空間坐標(i，j)為中心點大小為(2M+1)×(2M+1)的鄰域(或窗口)，M為濾波器的半寬，M值越大，平滑作用越強，實驗中取M=5.式(17)實際就是對中心像素點鄰域內像素點灰度值的加權平均，w(p,q)為空間坐標(i，j)處的加權系數，由2部分因子的乘積組成：

w(p,q)=ws(p,q)wr(p,q)，

(18)

其中，空間臨鄰近度因子ws(p,q)與灰度值相似度因子wr(p,q)分別表示為

(19)

(20)

其中，參數σs與σr分別控制空間鄰近度因子與灰度值相似度因子的衰減程度.

雙邊濾波光滑算法詳細過程如下.

算法2. 雙邊濾波光滑算法BLF.

① fori=1 toNdo*每個訓練圖像樣本*

② for (p,q)=(1,1) to (r,c) do*對每個像素點*

③ 利用式(19)(20)計算(p,q)處的ws，wr；

⑤ end for

⑥ end for

2.2 圖像劃分重組

圖像重組技術在人臉識別中已有廣泛應用，如我們此前的工作MatPCA與MatFLDA[30]將向量模式重組為相應矩陣后再利用2DPCA與2DLDA特征抽取.SSSL[22]中分析了2D特征抽取方法只能整行或整列利用空間信息.實際上圖像整行(或列)并不光滑，故這些2D嵌入函數的空間光滑度仍較粗.以此為動機的隱式正則化[19]將原始圖像劃分重組以體現列向量的光滑度，隱式地利用圖像空間結構信息.

本文借鑒了ISR[19]的非重疊的劃分策略，如圖2所示，將給定的大小為r×c的光滑圖像劃分為K個相同尺寸(m×n)的空間窗口，K=(rc)(mn)，依次將每個空間窗口拉成向量從而組成維度為mn×K的新矩陣.直觀上，通過劃分重組，新矩陣的列(相應空間窗口)通常是光滑的，隱含的局部空間關系得以高度充分地保留.

Fig. 2 An illustration of smoothed image reshaping in non-overlapping way圖2 光滑圖像的非重疊重組圖示

2.3 單邊2DLDA特征抽取

(21)

本文采用基于線性判別分析(LDA)的2D版本，單邊2DLDA抽取特征.LDA通過最小化類內散度的同時最大化類間散度以將不同類別盡可能分開，在圖嵌入框架中定義LDA準則，權重矩陣W′為

(22)

(23)

通過簡單的公式變換，式(23)重寫為

(24)

投影矩陣V的優化可通過解決下式(25)的特征分解問題求得，具體算法參考算法3中Step3.

(25)

2.4 分 類

(26)

算法3. 2D-CISSE.

輸出: 投影矩陣V.

Step1. 原始圖像空間光滑.

① ifchoice=GIMED，執行算法1；

② 轉到Step2；

③ end if

④ ifchoice=BLF，執行算法2；

⑤ 轉到Step2；

⑥ end if

Step2. 劃分重組.

① fori=1 toNdo*對每張圖像*

③ ifchoice=LIMED；*若選擇LIMED算法*

④ forj=1 toKdo*K=rcmn*

⑤ 用式(16) 對每個空間窗口空間光滑；

⑥ end for

⑦ end if

⑨ end for

Step3. 單邊2DLDA.

③V←(φ1，φ2，…，φd).

算法3分別將全局圖像歐氏距離光滑算法GIMED、局部圖像歐氏距離光滑算法LIMED和雙邊濾波算法BLF嵌入2D-CISSE框架中，得到3種算法：GIMED-ISR-S，LIMED-ISR-S，BLF-ISR-S.

2.5 算法復雜度分析

假設有N個訓練樣本，每個圖像樣本維度為r×c，空間窗口大小為m×n.本文利用的GIMED，LIMED，BLF三個光滑算法的計算復雜度分別為O(Nrc(r+c))，O(Nrc(m+n))，O(NrcM2)，其中M為BLF的窗口半寬.本文2D-CISSE框架中圖像劃分重組與特征抽取2個步驟的計算復雜度同ISR-s，均為O((r3c3)(m3n3))，而ISR-b是由非凸問題獲得，若其交替迭代優化選取的迭代次數為Ite，則其計算時間復雜度為O((m3n3+(r3c3)(m3n3))×Ite)，SSSL與2DMLV的計算時間復雜度分別為O(r3c3)和O(N2rc+r3c3).因此可以發現：盡管需要付出Step1中對原始圖像空間光滑的計算代價，但2D-CISSE框架在整體上依然具有最低的計算復雜度.

3 實 驗

為驗證2D-CISSE框架在現實數據集上的分類性能，將利用其所提出的GIMED-ISR-S，LIMED-ISR-S，BLF-ISR-S三個算法分別在4個人臉數據集(Yale，ORL，CMU PIE，AR)、3個手寫數字數據集(MNIST350，MNIST2k2k，USPS)上與SSSL、非重疊ISR+雙邊2DLDA(簡記為ISR-b)、非重疊ISR+單邊2DLDA(簡記為ISR-s)和2DMLV四個代表性的空間信息利用算法進行比較.表1為本文所用7個數據集的詳細介紹.

Table 1 Introduction of Datasets表1 數據集介紹

Note:“*” means each class has different numbers.

SSSL與2DMLV均采用5折(5-fold)交叉驗證選取參數.本文算法和ISR在圖像劃分重組時均將空間窗口大小設為3×3(文獻[26]中驗證為最優)，為了對圖像完整地非重疊劃分，利用近鄰差值法將一些數據集的維度進行了調整，如表1所示.本文的BLF-ISR-S算法通過5折交叉驗證獲得不同訓練樣本量的參數σr與σs，基于圖像歐氏距離的GIMED與LIMED的參數σ對訓練樣本數目弱敏感，因此每個數據集交叉驗證獲得的σ可運用于對其不同的訓練劃分.實驗中，每個訓練集均是從完整數據集隨機采樣獲得.

Fig. 3 Sample images from Yale， ORL and CMU PIE datasets圖3 來自Yale， ORL， CMU PIE數據集的樣本圖像

3.1 人臉數據集

表2為在圖3所示的人臉數據集Yale，CMU PIE，ORL上的實驗結果，表2中結果為20次隨機采樣訓練的均值與標準差.可以發現：1)本文的3種算法均優于ISR-s，意味著對原始圖像的光滑策略(Step1)確實提升了分類性能；2)2種全局光滑算法GIMED-ISR-S與BLF-ISR-S均獲得比ISR-b，ISR-s，SSSL，2DMLV更優的分類性能；3)局部光滑策略LIMED-ISR-S的分類性能比起2種全局策略稍低，但在大部分訓練集中能得到不低于4種對比算法的分類與穩定性能.

Table 2 Recognition Accuracy on Yale， CMU PIE， ORL Datasets表2 在Yale，CMU PIE，ORL數據集上分類識別率

Notes: The best performance in each line has been bolded;“#Nt”means number of samples for training in each class;“*”means out of memory (similarly hereinafter).

圖4是AR人臉數據集，用于檢測分類算法在有遮擋人臉集上的性能.圖5中50次隨機采樣實驗的結果顯示：1)本文框架下3個算法均獲得比ISR-b等方法更優的性能；2)局部光滑的LIMED-ISR-S所有訓練劃分中獲得最優分類性能.

Fig. 4 Sample images from AR dataset圖4 AR數據集的樣本圖像

Fig. 5 Error rate (err) comparison on AR dataset圖5 AR數據集上的錯誤率比較

3.2 手寫字母數據集

手寫數字數據集MNIST中常用的MNIST2k2k含有2000訓練樣本與2000測試樣本，包含手寫數字0～9共10個類別，一些圖像樣本如圖6所示.為便于劃分訓練樣本，本文從MNIST中每類隨機抽取350個樣本組成數據集MNIST350，并對其50次隨機采樣訓練.如圖7所示的USPS數據集將前7 291個樣本作為訓練集，余下用于測試.表3的實驗結果表明：1)GIMED-ISR-S與BLF-ISR-S均能獲得比ISR與SSSL更優的分類性能，且識別率比ISR-b分別提高10和15個百分點，前者在USPS數據集獲得最優，后者在MNIST350與MNIST2k2k上獲得最優識別率和最高的穩定性；2)LIMED-ISR-S穩定地優于ISR方法，略低于SSSL.

Fig. 6 Sample images from MNIST圖6 MNIST數據集的圖像示例

Fig. 7 Sample images from USPS圖7 USPS數據集的圖像示例

Table 3 Recognition Accuracy on MNIST350， MNIST2k2k， USPS Datasets表3 在MNIST350，MNIST2k2k，USPS數據集上分類識別率

Notes: The best performance in each line has been bolded;“#Nt”means number of samples for training in each class;“*”means out of memory (similarly hereinafter).

3.3 實驗結果分析

上述一系列實驗結果表明：1)無論GIMED -ISR-S，BLF-ISR-S還是LIMED-ISR-S在7個數據集上的分類識別率大部分優于ISR-s，ISR-b，SSSL，2DMLV.其中，GIMED-ISR-S與BLF-ISR-S在所有數據集中均顯著優于其他方法，這表明本文的框架在隱性利用局部空間信息的同時對圖像顯性全局光滑能夠更加充分且有效地利用圖像的空間結構信息，提升分類性能.2)LIMED-ISR-S在7個數據集中的4個數據集上性能優于對比方法，在有遮擋人臉數據集AR上的分類性能顯著最優，故在Step1采用局部光滑的策略相比全局光滑策略對一般圖像分類性能提升較弱，但對于有遮擋的圖像分類提升效果顯著.

4 結 論

本文兼顧考慮圖像空間結構信息的充分利用和計算代價的降低，提出了1種結合顯性與隱性空間光滑的高效二維圖像判別特征抽取框架(2D-CISSE).在2D-CISSE中，僅需簡單地在ISR策略上融合原圖像的顯性光滑，圖像的局部光滑性得到了充分保持和學習利用，結果僅需結合單邊2DLDA即可獲得比ISR結合雙邊2DLDA顯著更優的性能.由3種圖像光滑策略嵌入該框架得到的3個算法在標準數據集的實驗結果驗證了本文框架的有效性和性能的優越性，同時也體現了其一般適應性.相比其他方法，2D-CISSE具有3點優勢：1)與SSSL相比，本文的框架是基于圖像的2D方法，性能優于SSSL的同時降低了計算復雜度；2)與2DMLV相比，2D-CISSE不局限于圖像歐氏距離單一光滑，其雙重空間光滑使得空間信息得以更充分地利用，性能顯著更優，其次，2DMLV的計算空間復雜度依賴于樣本數量，2D-CISSE則避免了其訓練樣本數量較大導致的超出內存問題；3)與非重疊ISR相比，2D-CISSE使單邊2DLDA即可獲得比ISR+雙邊2DLDA更好的分類性能，計算復雜度得到顯著降低.盡管2D-CISSE需要在Step1中付出圖像空間光滑的計算代價，但這種代價相對于整體計算復雜度的降低很小.在對光滑圖像劃分重組后，并非每個空間窗口都能對分類起判別作用.因此，下一步工作一是重組矩陣的稀疏化，二是設計判別準則篩選空間窗口.

[1]Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C] //Proc of the Advances in Neural Information Processing Systems 25. Cambridge, MA: MIT Press, 2012: 1097-1105

[2]Sun Yi, Wang Xiaogang, Tang Xiaoou. Deeply learned face representations are sparse, selective, and robust[C] //Proc of the 28th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 2892-2900

[3]Dahl G E, Yu Dong, Deng Li, et al. Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition[J]. IEEE Trans on Audio, Speech, and Language Processing, 2012, 20(1): 30-42

[4]Collobert R, Weston J. A unified architecture for natural language processing: Deep neural networks with multitask learning[C] //Proc of the 25th Int Conf on Machine Learning. New York: ACM, 2008: 160-167

[5]Belhumeur P N, Hespanha J P, Kriegman D J. Eigenfaces vs fisherfaces: Recognition using class specific linear projection[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 1997, 19(7): 711-720

[6]Turk M, Pentland A. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience, 1991, 3(1): 71-86

[7]Murase H, Nayar S K. Visual learning and recognition of 3-D objects from appearance[J]. International Journal of Computer Vision, 1995, 14(1): 5-24

[8]Tian Qing, Chen Songcan, Tan Xiaoyang. Comparative study among three strategies of incorporating spatial structures to ordinal image regression[J]. Neurocomputing, 2014, 136: 152-161

[9]Wang Liwei, Zhang Yan, Feng Jufu. On the Euclidean distance of images[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2005, 27(8): 1334-1339

[10]Li Jing, Lu Baoliang. A framework for multi-view gender classification[C] //Proc of ICONIP’07. Berlin: Springer, 2008: 973-982

[11]Li Jing, Lu Baoliang. An adaptive image Euclidean distance[J]. Pattern Recognition, 2009, 42(3): 349-357

[12]Chen Songcan, Wang Zhe, Tian Yongjun. Matrix-pattern-oriented Ho-Kashyap classifier with regularization learning[J]. Pattern Recognition, 2007, 40(5): 1533-1543

[13]Wang Zhe, Chen Songcan. New least squares support vector machines based on matrix patterns[J]. Neural Processing Letters, 2007, 26(1): 41-56

[14]Tian Yongjun, Chen Songcan. Matrix-pattern-oriented Ho-Kashyap classifier with regularization learning[J]. Journal of Computer Research and Development, 2005, 42(9): 1628-1632 (in Chinese)(田永軍, 陳松燦. 面向矩陣模式的正則化Ho-Kashyap算法[J]. 計算機研究與發展, 2005, 42(9): 1628-1632)

[15]Wang Zhe, Zhu Changming, Gao Daqi, et al. Three-fold structured classifier design based on matrix pattern[J]. Pattern Recognition, 2013, 46(6): 1532-1555

[16]Wang Zhe, Chen Songcan, Liu Jun, et al. Pattern representation in feature extraction and classifier design: Matrix versus vector[J]. IEEE Trans on Neural Networks, 2008, 19(5): 758-769

[17]Yang Jian, Zhang D, Frangi AF, et al. Two-dimensional PCA: A new approach to appearance-based face representation and recognition[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131-137

[18]Ye Jieping. Generalized low rank approximations of matrices[J]. Machine Learning, 2005, 61(1/2/3): 167-191

[19]Li Ming, Yuan Baozong. 2D-LDA: A statistical linear discriminant analysis for image matrix[J]. Pattern Recognition Letters, 2005, 26(5): 527-532

[20]Ye Jieping, Janardan R, Li Qi. Two-dimensional linear discriminant analysis[C] //Proc of the Advances in Neural Information Processing Systems 17. Cambridge, MA: MIT Press, 2004: 1569-1576

[21]Luo Luo, Xie Yubo, Zhang Zhihua, et al. Support matrix machines[C] //Proc of the 32nd Int Conf on Machine Learning. New York: ACM, 2015: 938-947

[22]Cai Deng, He Xiaofei, Hu Yuxiao, et al. Learning a spatially smooth subspace for face recognition[C] //Proc of the 20th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2007: 1-7

[23]Zuo Wangmeng, Liu Lei, Wang Kuanquan, et al. Spatially Smooth Subspace Face Recognition Using LOG and DOG Penalties[M]. Berlin: Springer, 2009: 439-448

[24]Lotte F, Guan C. Spatially regularized common spatial patterns for EEG classification[C] //Proc of the 20th Int Conf on Pattern Recognition. 2010. Piscataway, NJ: IEEE, 2010: 3712-3715

[25]Gao Quanxue, Gao Feifei, Zhang Hailin, et al. Two-dimensional maximum local variation based on image Euclidean distance for face recognition[J]. IEEE Trans on Image Processing, 2013, 22(10): 3807-3817

[26]Zhu Yulian, Chen Songcan, Tian Qing. Spatial regularization in subspace learning for face recognition: Implicit vs. explicit[J]. Neurocomputing, 2016, 173: 1554-1564

[27]Yan Shuicheng, Xu Dong, Zhang Benyu, et al. Graph embedding and extensions: A general framework for dimensionality reduction[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2007, 29(1): 40-51

[28]Franklin J N. Matrix Theory[M]. New York: Dover, 2000

[29]Tomasi C, Manduchi R. Bilateral filtering for gray and color images [C] //Proc of the 6th Int Conf on Computer Vision. Piscataway, NJ: IEEE, 1998: 839-846

[30]Chen Songcan, Zhu Yulian, Zhang Daoqiang, et al. Feature extraction approaches based on matrix pattern: MatPCA and MatFLDA[J]. Pattern Recognition Letters, 2005, 26(8): 1157-1167

A Fast Discriminant Feature Extraction Framework Combining Implicit Spatial Smoothness with Explicit One for Two-Dimensional Image

Zhu Kuaikuai, Tian Qing, and Chen Songcan

(College of Computer Science & Technology, Nanjing University of Aeronautics & Astronautics, Nanjing 210016)

Images have two-dimensional inherent spatial structures, and the pixels spatially close to each other have similar gray values, which means images are locally spatially smooth. To extract features, traditional methods usually convert an original image into a vector, resulting in the destruction of spatial structure. Thus 2D image-based feature extraction methods emerge, typically, such as 2DLDA and 2DPCA, which reduce time complexity significantly. However，2D-based methods manipulate on the whole raw (or column) of an image, leading to spatially under-smoothing. To overcome such shortcomings, spatial regularization is proposed by explicitly imposing a Laplacian penalty to constrain the projection coefficients to be spatially smooth and has achieved better performance than 2D-based methods, but sharing the genetic high computing cost with 1D methods. Implicit spatial regularization (ISR) constrains spatial smoothness within each local image region by dividing and reshaping image and then executing 2D-based feature extraction methods, resulting in a performance improvement of the typical bi-side 2DLDA over SSSL (a typical ESR method). However, ISR obtains the spatial smooth implicitly but has lack of explicit spatial constraints such that the feature space obtained by ISR is still not smooth enough. The optimization criteria of bi-side 2DLDA are not jointly convex simultaneously, resulting in high computing cost and globally optimal solution cannot be guaranteed. Inspired by statements above, we introduce a novel linear discriminant model called fast discriminant feature extraction framework combining implicit spatial smoothness with explicit one for two-dimensional image recognition (2D-CISSE). The key step of 2D-CISSE is to preprocess spatial smooth for images, then ISR is executed. 2D-CISSE not only retains spatial smooth explicitly, but also reinforces the explicit spatial constraints. Not only can it achieve globally optimal solution, but it also have generality, i.e. any out-of-shelf image smoothing methods and 2D-based feature extraction methods can be embedded into our framework. Finally, experimental results on four face datasets (Yale, ORL, CMU PIE and AR) and handwritten digit datasets (MNIST and USPS) demonstrate the effectiveness and superiority of our 2D-CISSE.

spatial smooth; image Euclidean distance; implicit spatial regularization(ISR); feature extraction; matrix-based pattern

Zhu Kuaikuai, born in 1992. Master candidate. His main research interests include machine learning and pattern recognition.

Tian Qing, born in 1984. PhD candidate. Student member of CCF. His main research interests include machine learning and pattern recognition.

Chen Songcan, born in 1962. Professor and PhD supervisor. Senior member of CCF. His main research interests include pattern recognition, machine learning and neural networks.

2016-03-11；

2016-05-05

國家自然科學基金項目(61472186)；高等學校博士學科點專項科研基金項目(20133218110032) This work was supported by the National Natural Science Foundation of China (61472186) and the Specialized Research Fund for the Doctoral Program of Higher Education (20133218110032).

陳松燦(s.chen@nuaa.edu.cn)

TP391.41； TP751