半監(jiān)督稀疏近鄰保持投影

吳振宇, 侯冰洋, 王輝兵, 劉勝藍, 馮　林

(大連理工大學創(chuàng)新創(chuàng)業(yè)學院, 遼寧 大連 116024)

0　引　言

隨著信息技術的發(fā)展,圖片、音頻等信息采集處理技術進一步提高,人們在日常生活中獲得的數(shù)據(jù)信息維度越來越高,給算法帶來難以解決的“維數(shù)災難”問題。在過去的幾年中,研究人員構建了很多高效的子空間學習算法,旨在維數(shù)約簡的過程中,盡可能保持高維數(shù)據(jù)的某些分布特征,以提高后續(xù)分類、聚類以及檢索等應用的精度。

傳統(tǒng)的線性維數(shù)約簡方法,如主成分分析(principal component analysis,PCA)[1]、線性鑒別分析(linear discriminant analysis,LDA)[2]易于應用在實際問題中,但這些算法僅僅考慮了樣本的全局結構而忽略了不同樣本間的局部特征。鑒于此,文獻[3-4]提出了局部保持投影方法(locality preserving projections,LPP)和近鄰保持嵌入(neighborhood preserving embedding,NPE)等算法,有效地保持了樣本之間的局部近鄰關系,然而這些無監(jiān)督算法忽略了全局特征的獲取和保持,且不能利用樣本標簽信息,導致低維子空間判別性能不足。

近年來,基于稀疏表示的稀疏子空間學習已經成為一個重要的研究熱點。文獻[5]提出了一種稀疏保持投影(sparsity preserving projection,SPP)的降維算法,提高了算法的魯棒性且降低了算法復雜度。文獻[6]提出了一種基于鑒別稀疏保持嵌入(discriminant sparsity preserving embedding,DSPE)的降維算法,通過引入標簽鑒別信息,有效地對高維數(shù)據(jù)進行降維。文獻[7]認為稀疏學習有很強的魯棒性。然而,大多數(shù)基于傳統(tǒng)稀疏子空間學習方法的問題在于,對高維樣本進行稀疏重建時僅考慮了全局信息,沒有利用樣本的局部特征,不能利用樣本的標簽信息,容易造成誤學習、出現(xiàn)構建樣本間錯誤的相似度關系等問題,這對數(shù)據(jù)降維十分不利[8-9]。傳統(tǒng)監(jiān)督降維算法通過提取樣本的標簽信息,避免了無監(jiān)督算法中的誤學習等問題,在分類、識別等實際應用中可取得較好的效果,但標記不足或沒有標記的情況下,算法的泛化能力會大大降低,導致分類率急劇下降。在真實世界中,獲取有標簽樣本的代價很高,無標簽的數(shù)據(jù)相對更容易獲取,非常容易出現(xiàn)標簽數(shù)據(jù)不足的情況,因此如何改善監(jiān)督降維算法的泛化性能就變得十分重要。

對于監(jiān)督學習和無監(jiān)督學習各自存在的問題,半監(jiān)督學習技術逐漸成為的研究熱點[10-16],半監(jiān)督學習能夠充分地同時利用所有樣本(標記樣本和無標記樣本),改善了監(jiān)督學習的泛化能力以及提高無監(jiān)督學習的高效性?；诎氡O(jiān)督學習的思想,并針對傳統(tǒng)稀疏子空間學習方法存在的問題,提出了一種半監(jiān)督稀疏近鄰保持投影(semi-supervised sparsity neighbouring preserving projections,SSNPP)算法。該算法在保持樣本間全局和局部結構關系的同時,又充分利用部分樣本的標簽信息,大幅提高了子空間的判別能力,在Extended Yale_B、ORL人臉數(shù)據(jù)集(Olivetti research laboratory，ORL)、AR人臉庫上的實驗結果驗證了該算法的有效性和魯棒性。

1　SPP算法介紹

1.1　稀疏相關性重構

對于給定的訓練集X=[x1,x2,…,xm],其中,xi∈Rn;m>n,每一列是一個樣本,稀疏相關性重構希望用訓練集中最少的樣本來線性重構每一個樣本xi,考慮到實際問題中樣本存在噪聲及數(shù)學求解困難等情況,通常在稀疏相關性構造的過程中使用l1約束[10,17],并引入重構誤差ε,可通過凸優(yōu)化進行求解,其目標函數(shù)為

s.t. ‖xi-Xsi‖<ε

1=1Tsi

(1)

式中,1=[1,1,…,1]T∈Rm×1;稀疏重構向量si是一列向量，si=[si,1,si,2,…,si,i-1,0,si,i+1,…,si,m]T,其第i個元素是0(表示xi被從X中移除)。

由于約束條件‖xi-Xsi‖<ε的限制,si具有旋轉和縮放的不變性;由于1=1Tsi的約束,si具有平移的不變性[5]。另外,由于si中的非零元素大部分對應于同類別的樣本,這說明在沒有類別標簽信息的情況下,si包含了自然的判別信息[6]。

計算每一個xi的稀疏重構向量si之后,可以定義稀疏重構權值矩陣為

(2)

1.2　SPP算法

xi=si,1x1+…+si,i-1xi-1+si,i+1xi+1+…+si,mxm

(3)

(4)

(5)

式中,S由式(2)得到。

為了得到更加緊湊的表達式,且為了獲得數(shù)值穩(wěn)定性更高的解,式(5)最小化問題可以變換成等價的最大化問題,即

(6)

式中,Sβ=S+ST-STS。

通過拉格朗日乘子法,式(6)進一步轉化為廣義特征值求解問題，即

XSβXTw=λXXTw

(7)

求前d個特征值的特征向量[w1,w2,…,wd],則SPP的投影矩陣為W=[w1,w2,…,wd]。

2　SSNPP算法介紹

由于稀疏相關性重構的全局特性,導致重構反映出一些錯誤的樣本間關系,為解決此問題,在其基礎上利用樣本間的局部關系和部分樣本的標簽信息,構造了稀疏近鄰相關性重構,并基于此產生了稀疏近鄰保持投影(sparsity neighboring preserving projections,SNPP)。但是SNPP本質上仍屬于無監(jiān)督學習,不能充分利用樣本的標簽信息,容易造成誤學習等,為了進一步提高算法的性能,利用半監(jiān)督學習的思想,對標簽判別信息和稀疏近鄰相關性重構信息進行融合,提出了SSNPP算法。

2.1　稀疏近鄰相關性重構

由于稀疏表示的全局特性,無法充分利用樣本間的局部結構信息,導致傳統(tǒng)稀疏降維算法(如SPP等)的重構權值矩陣反映出一些樣本間錯誤的關系。為了解決上述問題,在稀疏重構中的過程中,充分提取樣本間的局部結構信息,并利用部分樣本的標簽信息,把訓練集X=[x1,x2,…,xm]∈Rn×m用XDi來代替,其中,Di∈Rm×m是一個對角矩陣,對角元為0或1,Di的引入使得XDi中只包含樣本xi的近鄰樣本和屬于同類的樣本,其他對于重構無關的樣本和噪聲樣本將被忽略。

為了得到Di,首先計算xi與訓練樣本集X中的其他樣本的歐氏距離,然后從中選出k個最近鄰的樣本,得到由xi的k個最近鄰樣本組成的集合為

G(xi)={xi1,xi2,…,xik}

(8)

由于距離近的樣本更可能來自同一類,參與重構的相關性會較高,所以在矩陣Di中對應于這些樣本的對角元置為1;而與原屬于同一類的樣本,參與重構的相關性也較高,在矩陣Di中相應的對角元也置為1;其余對角元均為0,表示為

Di=diag(di1,di2,…,dim)

(9)

其中

j∈(1,m)且j≠i

用XDi中的樣本來重構xi,通過最小化問題尋找樣本xi的最優(yōu)稀疏近鄰相關性重構向量si,表示為

s.t. ‖xi-XDisi‖<ε

1=1Tsi

(10)

2.2　SNPP算法

類似于SPP利用稀疏相關性保持進行降維,SNPP基于稀疏近鄰相關性保持進行降維,為了將高維空間中的稀疏近鄰重構關系以最優(yōu)的結果保持到低維嵌入子空間中,使得在低維空間中樣本的稀疏重構誤差最小,假設w是SNPP的投影向量,則wTXDisi表示樣本xi經過稀疏近鄰重構并降維后的低維表示,定義求解出能最優(yōu)保持si的投影向量w的目標函數(shù)為

(11)

式中，X=[x1,x2,…,xm]∈Rn×m是訓練集；Di由式(9)求得；si由式(10)求得。

為了便于計算和降低空間復雜度,將式(11)通過代數(shù)變換和分塊矩陣的乘法處理,得到緊湊的表達形式為

(12)

其中

(D1s1,D2s2,…,Dmsm)∈Rm×m

同樣為了防止解的退化,并獲得唯一的最優(yōu)解,引入約束條件wTXXTw=1,則式(12)可以改寫為最優(yōu)化問題，即

(13)

同樣為了得到更加緊湊的表達式,且獲得更為穩(wěn)定的數(shù)值解,將式(13)最小化問題轉化成等價最大化問題,即

(14)

式中,Pα=P+PT-PTP。

式(14)可轉化為廣義特征分解問題，即

XPαXTw=λXXTw

(15)

求前d個特征值的特征向量[w1,w2,…,wd],組成最優(yōu)的投影矩陣W=[w1,w2,…,wd]。

2.3　SSNPP算法

在真實世界中,高維數(shù)據(jù)通常只有一少部分是標記樣本,大部分是無標記的數(shù)據(jù),無監(jiān)督維數(shù)約簡方法很難利用標簽信息,導致算法性能低于監(jiān)督或半監(jiān)督算法,而SNPP本質上也是無監(jiān)督降維算法,這就限制了SNPP算法的性能和適用范圍。因此,為了充分利用樣本的標簽信息,本小節(jié)利用半監(jiān)督技術把SNPP算法拓展到SSNPP算法。

對于訓練集X=[x1,x2,…,xm]∈Rn×m中分別屬于k類的n個有標簽的樣本組成的子集合XcX,Ai表示第i類樣本構成的集合,Ni表示屬于第i類樣本的個數(shù),mi表示第i類樣本的均值,m表示所有樣本的均值,計算類間離散度矩陣Sb和類內離散度矩陣Sw為

(16)

(17)

利用最大間距準則(maximum margin criterion,MMC)算法的最大邊界思想,使得高維數(shù)據(jù)降維后,在低維流形中相同類別的樣本盡可能靠近,不同類樣本盡可能遠,從而低維空間的樣本為分類做了很好的預處理,使數(shù)據(jù)具有最大的可分性,目標函數(shù)為

max(tr(Sb)-tr(Sw))

(18)

SSNPP算法一方面保持全部樣本間的稀疏近鄰相關性(式(14)),另一方面提取部分樣本的標簽信息(式(18)),假設投影向量為w,可以構造出多目標優(yōu)化函數(shù)為

s.t.wTXXTw=1

(19)

為了獲得緊湊的形式,把多目標優(yōu)化問題轉換成正則化優(yōu)化問題來求解,即

(20)

式(20)通過正則化參數(shù)λ來融合稀疏近鄰重構信息和標簽判別信息,使得算法在保持樣本間稀疏相關性的同時,充分提取了部分樣本的標簽信息。

式(20)可以進一步轉化為廣義特征分解問題，即

(XPαXT+λ(Sb-Sw))w=λXXTw

(21)

通過求式(21)的廣義特征分解,得到最大的d個特征值對應的特征向量[w1,w2,…,wd],組合后得最優(yōu)的投影矩陣W=[w1,w2,…,wd]。

2.4　算法基本步驟

2.4.1SNPP算法步驟

對于兼有標簽樣本和無標簽樣本的訓練集,基于稀疏近鄰相關性重構,求出其最優(yōu)投影矩陣的SNPP算法步驟歸納如下:

步驟1根據(jù)式(8)和式(9)構建出對應于訓練集X的對角陣Di=diag(di1,di2,…,dim)。

步驟2利用式(10)計算出對應于各個樣本xi的最優(yōu)稀疏近鄰相關性重構向量si。

步驟3矩陣P=(D1s1,D2s2,…,Dmsm)由式(12)計算得出,矩陣Pα=P+PT-PTP由式(14)計算得出。

步驟4求解式(15)的廣義特征分解問題,選取最大的d個特征值對應的特征向量,構成最優(yōu)的投影矩陣W=[w1,w2,…,wd]。

2.4.2SSNPP算法步驟

對于兼有標簽樣本和無標簽樣本的訓練集,基于稀疏近鄰相關性重構,并利用半監(jiān)督學習技術融合標簽樣本的判別信息和無標簽樣本中判別信息,求出最優(yōu)投影矩陣的SSNPP算法步驟歸納如下:

步驟1根據(jù)式(8)和式(9)構建出對應于訓練集X的對角陣Di=diag(di1,di2,…,dim)。

步驟2利用式(10)計算出對應于各個樣本xi的最優(yōu)稀疏近鄰相關性重構向量si。

步驟3矩陣P=(D1s1,D2s2,…,Dmsm)由式(12)計算得出,矩陣Pα=P+PT-PTP由式(14)計算得出。

步驟4對有標簽的訓練樣本集Xc,由式(16)和式(17),計算出類間離散度矩陣Sb和類內離散度矩陣Sw。

步驟5求解式(21)的廣義特征分解問題,選擇前d個最大的特征值對應的特征向量,構成最優(yōu)的投影矩陣W=[w1,w2,…,wd]。

3　實驗結果及分析

為驗證算法的有效性,在Extended、Yale_B、ORL和AR數(shù)據(jù)集上進行了實驗,同時為客觀的評價本文提出的SNPP和SSNPP算法的有效性,引入PCA、NPE、LPP、SPP作為對比算法,利用這6種降維算法分別對3個數(shù)據(jù)集進行降維,然后統(tǒng)一用最近鄰分類器對降維后數(shù)據(jù)進行分類,以分類的準確率為指標來衡量降維算法的性能。

3.1　實驗數(shù)據(jù)集

本文選擇了3個高維人臉數(shù)據(jù)集,分別是:

(1) Extended Yale_B人臉數(shù)據(jù)集,含有38組正面的人臉圖像,每組包括59副人臉圖像,共2242副人臉圖像,圖像的像素是32×32,這些圖像之間的區(qū)別是不同的光照條件和面部表情等。

(2) ORL含有40組正面的人臉圖像,每組包括10副人臉圖像,共400副人臉圖像,圖像的像素是32×32,這些圖像之間的區(qū)別是不同的光照條件、面部表情(是否閉眼、是否微笑)和面部細節(jié)(是否戴眼鏡)等。

(3) AR人臉數(shù)據(jù)集,含有120組人臉圖像,每組包括14副人臉圖像,共1680副人臉圖,圖像的像素是50×40,這些圖像之間的區(qū)別是不同的光照條件和面部表情(是否微笑、是否大幅張口)等。

圖1給出了Extended Yale_B,ORL和AR人臉數(shù)據(jù)集中的人臉樣例。

圖1　Extended Yale_B、ORL和AR人臉數(shù)據(jù)集的圖像

3.2　實驗設置

實驗數(shù)據(jù)集是在上述標準人臉數(shù)據(jù)集中構造的,每個數(shù)據(jù)集被分成3部分:每一組人臉圖像先抽取一部分樣本(無標簽)作為無監(jiān)督訓練數(shù)據(jù),再抽取一部分樣本(有標簽)作為監(jiān)督訓練數(shù)據(jù),剩下的樣本作為測試數(shù)據(jù)。

對于基于稀疏重構的3種算法(SPP、SNPP、SSNPP),在進行降維之前先將訓練樣本的像素值歸一化到[0,1]的范圍,同時為避免樣本數(shù)遠小于特征維數(shù)而導致XXT出現(xiàn)奇異,也為了加快算法運行,將訓練樣本投影到PCA的子空間進行數(shù)據(jù)預處理,保留訓練樣本98%的主成分。

設置各算法的運行參數(shù)如表1所示。

表1　各算法的參數(shù)

實驗按相同的步長遞減保留特征的維數(shù),經過降維后的數(shù)據(jù),均通過最近鄰分類算法計算出識別準確率,以分類的準確率來衡量降維算法的性能。

3.3　結果及分析

3.3.1Extended Yale_B數(shù)據(jù)集實驗

實驗中,從Extended Yale_B人臉庫隨機抽取每組人臉的前40幅圖像作為半監(jiān)督中無標簽樣本,再抽取10幅圖像作為訓練樣本,剩下的9幅圖像作為測試集。參數(shù)設置為:NPE算法的近鄰樣本個數(shù)k=3,SNPP算法的近鄰樣本個數(shù)k=20,SSNPP算法的近鄰樣本個數(shù)k=20,融合參數(shù)λ=3.5。表2為各算法的最大識別率和平均識別率的比較,圖2為不同子空間學習算法的識別準確率與維數(shù)的關系曲線。

表2　Extended Yale_B人臉庫上不同算法的最大識別率和平均識別率

圖2　Extended Yale_B人臉庫上不同算法的識別準確率

從表2可看出,在最大識別率方面,SSNPP比SPP高5.85%,SNPP比SPP高2.92%;在平均識別率方面,SSNPP比SPP高21.95%,SNPP比SPP高15.16%,這是由于在稀疏近鄰相關性重構的時候，利用樣本間的局部信息和部分標簽信息引入了矩陣Di,使得在稀疏相關性重構樣本時,不同類的樣本和噪聲樣本被忽略,保留了更為準確的自然判別信息,提高了降維性能和后續(xù)分類的準確率,從而驗證了稀疏近鄰相關性重構的有效性。

從圖2和表2可以看出,SNPP算法的最大識別率為89.18%,比PCA、NPE、LPP、SPP算法中的最高識別率高2.92%,且SNPP算法的整體識別性能均大幅優(yōu)于這4種算法,這說明稀疏近鄰相關性重構充分提取了樣本間的局部結構信息和部分樣本的標簽信息,從而使算法性能得到較大提升。而SNPP算法在65維時識別率達到最高,且隨著維數(shù)升高,識別率很難再上升,這表明降維后的特征空間能很好地描述原來的特征空間,這說明了稀疏近鄰相關性重構在提取判別信息時具有良好的穩(wěn)定性。

從圖2可以看出,SSNPP算法在投影軸維數(shù)為55維時識別率達到最大值,最大識別率達到92.11%,比其他5種算法的最高識別率高2.93%。而在全部維度上,SSNPP算法的性能在SNPP的基礎上均有提升,這說明SSNPP算法有效地融合了稀疏近鄰重構信息和部分樣本的標簽判別信息,通過判別特征的融合,增強了特征的表示和判別能力,得到了判別能力更強的低維子空間,提高了分類和識別準確性,驗證了SSNPP算法的有效性和魯棒性。

3.3.2ORL數(shù)據(jù)集實驗

實驗中,從ORL人臉庫中選擇每組人臉的前5幅圖像作為半監(jiān)督學習中無標記的訓練樣本,選擇近鄰的3副圖像作為有標記訓練樣本,剩下的2幅圖像作為測試集。參數(shù)設置為:NPE算法的近鄰樣本個數(shù)k=31,SNPP算法的近鄰樣本個數(shù)k=97,SSNPP算法的近鄰樣本個數(shù)k=96,融合參數(shù)λ=0.5。表3為各算法最大識別率和平均識別率的比較,圖3為在不同子空間學習算法的識別準確率與維數(shù)的關系曲線。

表3　ORL人臉庫不同算法的最大識別率和平均識別率

圖3　ORL人臉庫上不同方法的識別準確率

從圖3和表3可以看出,SSNPP算法在投影軸維數(shù)為55維時識別率達到最大值,最大識別率達到了92.11%,比其他5種算法的最高識別率高2.93%,平均識別率為88.33%也均高于其他5種算法。而在全部維度上,SSNPP算法的性能在SNPP的基礎上均有較大提升,這說明SSNPP算法實現(xiàn)了判別信息的有效融合,增強了特征的判別能力,提高了分類和識別準確率,驗證了SSNPP算法的有效性和魯棒性。

3.3.3AR數(shù)據(jù)集實驗

實驗中,從AR人臉庫中選擇每組人臉的前5幅圖像作為半監(jiān)督學習中無標記的訓練樣本,選擇近鄰的4幅圖像作為有標簽訓練樣本,剩下的5幅圖像作為測試樣本。參數(shù)設置為:NPE算法的近鄰樣本個數(shù)k=160,SNPP算法的近鄰樣本個數(shù)k=77,SSNPP算法的近鄰樣本個數(shù)k=77,融合參數(shù)λ=0.365。表4為各算法的最大識別率和平均識別率的比較,圖4為不同子空間學習算法的識別準確率與維數(shù)的關系曲線。

表4　AR人臉庫上不同算法的最大識別率和平均識別率

圖4　AR人臉庫上不同方法的性能比較

從表4可以看出,在最大識別率方面,SSNPP比SPP算法高4.00%,SNPP比SPP高2.16%;在平均識別率方面,SSNPP比SPP算法高9.71%,SNPP比SPP高6.58%,這也驗證了稀疏近鄰相關性重構比稀疏相關性重構更為有效。

從圖4和表4可以看出,SNPP算法的最大識別率為94.83%,比PCA、NPE、LPP、SPP算法中的最高識別率高2.00%,且SNPP算法的整體識別性能均高于這4種算法,這也說明了稀疏近鄰相關性重構能充分利用樣本間局部結構信息和部分樣本的標簽信息,使得算法性能得到較大提升。SNPP算法在60維時識別率達到最高,且隨著維數(shù)升高,識別率很難再上升,這也驗證了稀疏近鄰相關性重構在提取判別信息時具有良好的穩(wěn)定性。

從圖4可以看出,SSNPP算法在投影軸維數(shù)為60維時識別率達到最大值96.67%,比其他5種算法的最高識別率高2.93%,而在全部維度上,SSNPP的性能均優(yōu)于SNPP,這同樣說明了SSNPP能在標記樣本不足的情況下依然能夠取得較高的識別率,驗證了SSNPP算法的有效性。

4　結　論

本文通過提取樣本間的局部結構信息和部分樣本的標簽信息,對傳統(tǒng)稀疏相關性重構方法進行了改進,提出了稀疏近鄰相關性重構方法,該方法使得重構保留了更為準確的判別信息,基于此方法得到了SNPP算法。但SNPP算法本質上仍屬于無監(jiān)督學習,不能像MMC算法一樣充分利用樣本的標簽信息。為了進一步提高降維算法的性能,本文利用半監(jiān)督學習的思想將SNPP算法和MMC算法進行結合,通過引入正則化參數(shù)對標簽判別信息和稀疏近鄰相關性重構信息進行融合,將SNPP算法拓展至SSNPP算法,增強了特征的判別能力。在Extended Yale_B、ORL和AR人臉庫上的實驗結果表明,SNPP算法的分類和識別性能與傳統(tǒng)降維算法相比取得大幅提升,這驗證了稀疏相關性重構的有效性和提取判別信息時具有的良好穩(wěn)定性;而SSNPP算法的性能在3個人臉庫上與SNPP算法相比均有較大提升,這說明SSNPP算法具有很好的魯棒性,但對于稀疏表示誤差較大的樣本,和一些非線性分布比較復雜的數(shù)據(jù),本文算法還是難以處理,這也是今后值得研究的方向。

參考文獻：

[1] JOLLIFFE I. Principal component analysis[M]. New York: Wiley, 2002.

[2] MIKA S, RATSCH G, WESTON J, et al. Fisher discriminant analysis with kernels[C]∥Proc.of the IEEE Signal Processing Society Workshop, 1999: 41-48.

[3] HE X, NIYOGI P. Locality preserving projections[C]∥Proc.of the Advances in Neural Information Processing Systems, 2004: 153-160.

[4] HE X, CAI D, YAN S, et al. Neighborhood preserving embedding[C]∥Proc.of the 10th IEEE International Conference on Computer Vision, 2005: 1208-1213.

[5] QIAO L, CHEN S, TAN X. Sparsity preserving projections with applications to face recognition[J]. Pattern Recognition, 2010, 43(1): 331-341.

[6] 馬小虎,譚延琪. 基于鑒別稀疏保持嵌入的人臉識別算法[J]. 自動化學報, 2014, 40(1): 73-82.

MA X H, TAN Y Q. Face recognition based on discriminant sparsity preserving embedding[J]. Acta Automatica Sinica, 2014, 40(1): 73-82.

[7] WRIGHT J, YANG A Y, GANESH A, et al. Robust face recognition via sparse representation[J]. IEEE Trans.on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227.

[8] HUI K, LI C, ZHANG L. Sparse neighbor representation for classification[J]. Pattern Recognition Letters, 2012, 33(5): 661-669.

[9] ELHAMIFAR E, VIDAL R. Robust classification using structured sparse representation[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition,2011:1873-1879.

[10] ZHANG D, ZHOU Z H, CHEN S. Semi-supervised dimensionality reduction[C]∥Proc.of the International Conference on Data Mining of the Society for Industrial and Applied Mathematics, 2007: 629-634.

[11] CAI D, HE X, HAN J. Semi-supervised discriminant analysis[C]∥Proc.of the 11th IEEE International Conference on Computer Vision, 2007: 1-7.

[12] GAO Q, HUANG Y, GAO X, et al. A novel semi-supervised learning for face recognition[J]. Neurocomputing,2015,152(C): 69-76.

[13] 劉建偉, 劉媛, 羅雄麟. 半監(jiān)督學習方法[J].計算機學報, 2015, 38(8): 1592-1617.

LIU J W, LIU Y, LUO X L. Semi-supervised learning methods[J].Chinese Journal of Computers,2015,38(8):1592-1617.

[14] ZHANG X, HU Y N, Zhou N, et al. Semi-supervised sparse dimensionality reduction for hyperspectral image classification[C]∥Proc.of the IEEE Region 10 Conference, 2016: 2830-2833.

[15] WANG X, GAO Y, CHENG Y. A non-negative sparse semi-supervised dimensionality reduction algorithm for hyperspectral data[J]. Neurocomputing, 2016, 188: 275-283.

[16] SHEIKHPOUR R, SARRAM M A, GHARAGHANI S, et al. A survey on semi-supervised feature selection methods[J]. Pattern Recognition, 2017, 64(C): 141-158.

[17] DONOHO D L. Compressed sensing[J]. IEEE Trans.on Information Theory, 2006, 52(4): 1289-1306.