L2,1范數正則化的廣義核判別分析及其人臉識別*

傅俊鵬，陳秀宏，葛驍倩

江南大學 數字媒體學院，江蘇 無錫 214122

L2,1范數正則化的廣義核判別分析及其人臉識別*

傅俊鵬+，陳秀宏，葛驍倩

江南大學 數字媒體學院，江蘇 無錫 214122

FU Junpeng,CHEN Xiuhong,GE Xiaoqian.Face recognition by generalized kernel discriminant analysis viaL2,1-norm regularization.Journal of Frontiers of Computer Science and Technology,2017,11(1)：124-133.

特征選取和子空間學習是人臉識別的關鍵問題。為更準確選取人臉中豐富的非線性特征，并解決小樣本問題，提出了一種新的L2,1范數正則化的廣義核判別分析（generalized kernel discriminant analysis based onL2,1-norm regularization，L21GKDA）。利用核函數將原始樣本隱式地映射到高維特征空間中，得到廣義核Fisher鑒別準則，再利用一種有效變換將該非線性模型轉化為線性回歸模型；為了能使特征選取和子空間學習同時進行，在模型中加入了一種L2,1范數懲罰項，并給出該正則化方法的求解算法。因為方法借助于L2,1范數懲罰項的特征選取能力，所以它能有效地提高識別率。在ORL、AR和PIE人臉庫上的實驗結果表明，新算法能有效選取人臉的非線性特征，提高判別能力。

人臉識別；特征選取；子空間學習；L2,1范數；核判別分析

1 引言

近幾十年來，人臉識別技術得到了很大的發展，子空間學習是人臉識別中的關鍵步驟，其中最具代表性的無監督算法和有監督算法分別為主成分分析（principal component analysis，PCA）[1]和線性判別分析（linear discriminant analysis，LDA）[2]。

3.由于招標代理機構對有關政策規定把握不住，業務能力不強引起的不規范行為。一是招標采購文件存在以不合理的條件對供應商實行差別待遇或者歧視待遇條款。二是采購文件未體現政府采購促進中小微企業發展之政策。三是采購公告內容信息不完整。四是采用綜合評分法時評審標準中的分值未與評審因素的量化指標相對應。五是采購需求中的技術要求指向特定產品。六是采購文件將非進口投標產品生產廠家授權函原件及售后服務承諾函原件作為資格條件。

PCA以重構為目的，將訓練樣本投影到低維的子空間中，使投影后樣本的方差最大，最大程度地去除噪聲和冗余，達到降維的目的。LDA以分類為目的，基于Fisher準則尋找一組最佳鑒別矢量，將高維樣本投影到低維空間中，使投影后樣本的類內離散度趨于最小，而類間離散度趨于最大。對于人臉識別問題，LDA方法更為有效。然而，Fisher準則經常會遇到小樣本問題[2]，即訓練樣本過少，導致類內離散度矩陣奇異。

為更準確選取特征，并解決小樣本問題，許多LDA相關的方法被提出。這些方法大致分為兩類：特征選取和子空間學習。特征選取，指的是在樣本的原始特征中選取一組最具代表性或者區分度的特征。子空間學習，指的是通過學習得到投影矩陣，將高維數據投影到低維子空間中。子空間學習中較具代表性的有主成分分析[1]、線性判別分析[2]、局部保持投影（locality preserving projections，LPP）[3]、不相關判別分析（uncorrelated linear discriminant analysis，ULDA）[4-5]等。然而，上述方法得到的低維特征是基于所有原始特征的，未能區分各個特征的重要程度。因此，一些稀疏子空間學習算法被提出來，如稀疏判別分析（sparse discriminant analysis，SDA）[6]、稀疏張量判別分析（sparse tensor discriminant analysis， STDA）[7]和稀疏主成分分析（sparse principal component analysis，SPCA）[8]等。然而，這些稀疏子空間學習算法，其子空間的各個維度所選取的特征均不相同。

假設一投影矩陣，它的每一行對應著選取樣本某一特征的權重，每一列為子空間的一個基底。將樣本投影到該子空間，希望拋棄原始樣本中無用的特征，保留重要的特征。由此，需要算法能學習到一個行稀疏的投影矩陣，把這些無用的特征對應的權重置為0，使特征選取和子空間學習同時進行。

信息化管理是以信息化帶動業務產業鏈上的每一個工作流程，通過信息技術的引進管理，實現企業管理現代化的過程，有利于重新整合企業內外部資源，提高企業效率和效益、增強企業競爭力的過程，對于周轉材料租賃業務，有利于集中管理優勢，主要體現在以下幾點。

考慮到在人臉識別問題中，由于表情、姿態、光照等的變化，導致人臉圖像分布是非線性的，因此線性算法在進行人臉等圖像識別時，通常不能取得令人滿意的效果。Mika等人[13]利用核方法將LDA擴展到了非線性的情況，提出了核判別分析（kernel discriminant analysis，KDA）。隨后，Yang[14]又提出了Kernel Eigenfaces和Kernel Fisherfaces，然而KDA同樣面臨著小樣本問題。

基于上述問題的啟發，考慮到聯合特征選取和子空間學習方法以及核技術的優越性，提出了一種新的L2,1范數正則化的廣義核判別分析（generalized kernel discriminant analysis based onL2,1-norm regularization，L21GKDA)。該方法首先利用核函數將樣本映射到高維特征空間中，將求解廣義核Fisher鑒別準則的問題轉化為求解線性回歸的問題；再加入L2,1范數懲罰項，并對該優化問題進行求解，從而在高維特征空間中進行聯合特征選取和子空間學習，同時也解決了小樣本問題。最后在ORL、AR和PIE人臉庫上進行實驗，驗證了算法的有效性。

2 核判別分析

3 L2,1范數正則化的廣義核判別分析

對于矩陣A∈RN×(C-1)，將樣本投影到C-1維的子空間中。若將它的第i行、第j列分別記為ai和aj，則它的L2,1范數定義為，即所有行向量的二范數之和。

假設非線性映射φ:x→φ(x)將樣本映射到高維空間，并得到核矩陣K=φ(X)Tφ(X)，是一個半正定對稱矩陣。基于廣義核Fisher鑒別準則函數[15]，經推導可得：

其中，E=diag(E1,E2,…,EC)∈RN×N，是一個塊對角矩陣。矩陣中的所有元素值為1/Ni。

2.3 蟲種變化 原清遠縣歷史為以間日瘧為主、惡性瘧和三日瘧高度混合流行［1］。20世紀90年代流行蟲種間日瘧占99.60%（2 250/2 259），惡性瘧占0.13%（3/2 259），其他占0.27%（6/2 259）；2006年以來共報告輸入病例13例，其中惡性瘧占69.23%（9/13）、間日瘧占23.08%（3/13）、其他占7.69（1/13）。

令y=Ka，有：

那么使J(a)最大化的問題可轉化為，先求使J(y)最大化的一組最佳鑒別矢量，再通過y=Ka求解a。對J(y)按變量y求導并使之為0得：

進而得到：

令J(y)=λ，則：

[6]Clemmensen L,Hastie T,Witten D,et al.Sparse discriminant analysis[J].Technometrics,2011,53(4):406-413.

船舶儀表設備在安裝中通常應用橡膠減振器進行安裝操作，具體分析主要的應用原因為：橡膠減振器在應用彈性模量較之金屬減振器較小，可在較大的振動力下保持穩定，有利于保障設備運行中的安全穩定性。儀表設備在應用中其控制船舶的動力裝置，因此對于儀表裝置的穩定性要求較高。一般情況下在實際落實儀表設備安裝中，主要通過安裝固定模塊，以及結合橡膠減振器的方式進行安裝應用，以此保障設備安裝應用質量的合格性，并且提升設備的實際應用效果。

其中，d=1,2,…,C。

由于1是E的重復特征值，需要在yd所限定的空間內，提取另外C個相互正交的向量作為特征向量。很明顯，e=[1,1,…,1]T∈RN處在該空間內，可令e作為E的第一個特征向量，對剩下的特征向量進行斯密特正交化，使它們兩兩正交，最后移除e，得到C-1個特征向量，表示為：

求得向量組Y=[y1,y2,…,yC-1]后，接下來就是求解投影矩陣A=[a1,a2,…,aC-1]。然而，K是一個半正定對稱矩陣，可能是奇異的，即小樣本問題。為解決該問題，對于方程Y=KA，通常用最小二乘法來求解：

同時，為提高系統魯棒性，常用的一種方法是加入懲罰項（正則化），對模型參數添加先驗信息進行約束，使最終的解傾向于符合先驗知識。那么對式（13）加入懲罰項μΩ(A)，其中μ為正則化參數，則該優化問題變為：

通常，的部分元素（也就是特征）和yd沒有關系或不提供特征信息。將樣本投影到子空間的表達式為KA，為了特征選取，A中某些行的所有元素應盡可能約等于0（即行稀疏），以便投影后去除樣本中無用的特征；同時為了降維，需要選取一組最具判別性的基（最佳鑒別矢量），即同時進行特征選取和子空間學習。

加入L2,1范數懲罰項能夠實現投影矩陣行稀疏，使其具有特征組選取能力。因為矩陣的L2,1范數是其所有行向量的二范數之和，最小化目標函數，能使投影矩陣行稀疏，即使解傾向于符合先驗知識，滿足特征選取與子空間學習同時進行的需求。

將式（14）中的Ω(A)替換為||A||2,1，得：

2011年3月，《中共貴州省委 貴州省人民政府關于加快水利改革發展的意見》（黔黨發 〔2011〕2 號）提出：從土地出讓收益中提取12%用于農田水利建設，省級統籌比例為20%，合理調整水資源費征收標準，擴大征收范圍，水利建設基金征收年限延長到2020年，力爭今后10年全社會水利投入年平均比2010年高出一倍。

對上式求關于A的偏導數，且令它為0得：

其中，G是一個對角矩陣，它的對角元素為：

當gii=0時，矩陣G奇異，此時可對gii增加一個小的擾動ε使之非奇異。

為了便于求解，應用Woodbury公式將式（16）表示為：

為了能直觀地給出特征選取的作用，圖3分別選取了L21GKDA、KDA和SDA算法得到的部分投影矩陣。其中列為子空間的基，即子空間的一個維度；行對應著選取特征的權重，即特征選取。

綜上所述，求解該問題的算法表述如下：

算法1L21GKDA算法

4 實驗與結果分析

為了驗證L21GKDA算法的有效性，分別在ORL、AR和PIE人臉庫上進行仿真實驗，并將其結果與KDA[13]、SDA[6]及Fisherfaces[2]進行比較。此外，為了便于說明L21GKDA算法的優越性，也將其與L21FLDA算法[12]的實驗結果進行比較。實驗中將L21GKDA和L21FLDA的最大迭代次數設為50。算法中的核函數均采用多項式核函數k(x,x′)=(xTx′+1)b，此處的x,x′∈X，為使效果最佳，通過實驗驗證，將參數b取為2。Fisherfaces在PCA預降維階段將類內離散度矩陣降到N-C維，而當N-C大于樣本維數時則不采用PCA進行預降維。本文所有實驗均獨立隨機地進行50次，采用最近歐氏距離分類器進行分類，計算其人臉識別率，取平均值。運行環境為Windows 7，Pentium?Dual-Core E6700 3.20 GHz CPU，內存為2 GB，編程環境為Matlab R2012b，以識別率作為主要的性能評價標準。

4.1 人臉庫

（1）ORL人臉庫（http://www.cl.cam.ac.uk/research/dtg/ attarchive/facedatabase.html），包含了40人的400幅面部圖像，每人10幅。圖像均在不同時間拍攝，人的面部細節和表情有不同程度的變化（如戴不戴眼鏡、眼睛的睜閉、笑或嚴肅等)；人臉尺度最高可達10%的變化；人臉的姿態也有很大的變化，平面旋轉或深度旋轉最高可達20°。

（2）AR人臉庫[16]，采集了126人的4 000多幅人臉圖像。這些圖像分兩次采集（間隔兩周以上），包含了人臉正面不同表情、不同光照和不同遮擋等變化。在本文的實驗中，使用了其中120人的圖像，每人26張，共3 120張。

（3）PIE人臉庫[17]，包含了68人的41 368幅不同光照、表情、姿態下的圖像。從中選取了包括光照、表情、姿態變化的5個子集（C05，C07，C09，C27，C29）的正面人臉圖像共68人，每人170幅。

實驗中，所有圖像均壓縮成32×32大小的灰度圖，將其每列相連構成大小為1 024維的向量，并做歸一化處理。3種人臉庫的示例圖像如圖1所示。

Fig.1 Samples from ORL,AR and PIE face databases圖1 ORL、AR、PIE人臉庫的示例圖像

4.2 實驗結果

4.2.1 正則化參數μ對實驗的影響

為研究聯合特征選取和子空間學習中正則化參數μ對L21GKDA算法識別性能的影響，分別在3個人臉庫上進行實驗，并用L21FLDA算法作為對比。其中在ORL人臉庫上每人隨機取5幅圖像作為訓練樣本，AR人臉庫上每人取9幅，PIE人臉庫上每人取20幅，余下圖像作為測試，特征維數均保留C-1維（識別性能最佳的特征維數一般為C-1）。實驗得到的平均識別率與正則化參數μ的關系如圖2所示。

從圖2可知，L21GKDA算法的識別率在大多情況下均高于L21FLDA，且效果更穩定。當μ=0時，識別率并不是最高的，隨著正則化參數μ的增加，識別率有不同程度的增加。當μ=0.01時，從總體上看，兩種算法的識別率達到最高，然后開始下降。這是因為，μ用于控制投影矩陣行稀疏的程度，取到合適的值時，能有效選取特征，提高識別率。而μ取值過大，矩陣會過于稀疏，對應于聯合特征選取和子空間學習方法所選取到的特征過少，拋棄了部分對分類有用的特征，導致識別率下降。為更好地比較算法性能，以下實驗均取μ=0.01。

Fig.2 Relationship between average recognition accuracy andμ圖2 平均識別率與正則化參數μ的關系圖

Fig.3 Examples of projection matrixes learned by L21GKDA,KDAand SDA圖3 L21GKDA、KDA和SDA的投影矩陣實例圖

4.2.2 特征選取的作用

葉建春：2011年，太湖局將貫徹落實中央1號文件、中央水利工作會議精神作為工作重點，按照水利部的部署，制定并印發了《太湖局貫徹落實中央1號文件任務分工實施方案》，提出了加強河湖管理、依法履職的各項舉措，明確了加快推進流域水利改革發展的目標任務、質量要求和時間節點，并把實施方案作為開展流域水利工作的重要依據。2011年流域水利工作成效顯著，為《條例》實施創造了有利局面。

其中，I為單位矩陣。

（7）利用好所有現有的自然景觀，按照公路美學以及和周圍自然環境相協調的原則進行設計，保證公路能夠和自然環境融為一體。

當巷道達到極限平衡時，滑移面GF與水平線的夾角是(45°+φ/2)，滑動面EF與水平線的夾角是(45°-φ/2)，φ為松散巖體的折算摩擦角，φ=arctan (σc/10)，其中：σc為巖體的單軸抗壓強度。五陽煤礦巷道底板煤層強度9 MPa，得出φ=40.1°。

從圖3可知，圖（a）第3、4行的權重約等于0（該兩行的其他元素在完整的矩陣中也約等于0）。將樣本投影到該子空間的表達式為KA，那么樣本的第3、4兩個特征沒有被選取，即這兩個特征自動被丟棄。而圖（b）得到的低維特征是基于所有原始特征的，沒有進行特征選取。圖（c）完整的投影矩陣中，每行的元素并不全為0，各個維度上所選取的特征均不相同，未能區分樣本的哪些特征應該選取，哪些特征該丟棄，實際應用中不一定能達到理想效果。由此可見，加入L2,1范數懲罰項能使特征選取和子空間學習同時進行，自動選取有用的特征，從而提高識別性能。

4.2.3 算法的收斂性實驗及分析

為研究L21GKDA算法的收斂性，在ORL、AR和PIE人臉庫上進行實驗，并與L21FLDA算法進行對比。實驗在ORL人臉庫上每人隨機取5幅圖像作為訓練樣本，AR人臉庫上每人取9幅，PIE人臉庫上每人取20幅，研究目標函數式（15）的值與迭代次數的關系，實驗結果如圖4所示。其中，橫坐標表示迭代次數，縱坐標表示目標函數的值。為了便于比較，圖中目標函數的值已進行了歸一化處理。最大迭代次數設為50。

由圖4可知，得益于聯合特征選取和子空間學習方法的收斂性[10]，兩種算法均能快速地收斂到均衡點。圖中也可以看出，L21GKDA算法的收斂速度快于L21FLDA，這是因為L21GKDA應用了核方法，將數據映射到新的特征空間，數據在該高維空間中的分布更加規則，使算法收斂更快。某種程度上也體現了L21GKDA算法的效率比L21FLDA的高。當迭代次數大于10時，目標函數的值在圖中趨于平穩，已不再有明顯的變化。

本節通過實驗討論訓練樣本數對識別率的影響。在ORL人臉庫中，每人隨機選取3、4、5、6、7幅圖像進行訓練；在AR人臉庫中，每人隨機選取3、6、9、12、15幅圖像進行訓練；在PIE人臉庫中，每人隨機選取5、10、20、30、40幅圖像進行訓練。特征維數均保留C-1維，余下的圖像作為測試樣本。表2～表4給出了3個人臉庫上的平均識別率、標準差以及計算最佳鑒別矢量集所消耗的時間。

實驗計算最近兩次迭代中，兩個目標函數值的差值，若該差值的絕對值小于0.01，則判定為收斂，結束迭代，并記錄迭代次數。表1給出了不同人臉庫中算法迭代次數的均值。

由表1可知，L21GKDA算法的平均迭代次數要少于L21FLDA算法，L21GKDA算法的收斂速度更快。另外，從實驗中觀察到，實驗在同一人臉庫不同訓練樣本數時，算法的迭代次數差異不大。也就是說，表中的平均迭代次數能基本反映算法的收斂速度，即L21GKDA算法收斂速度比L21FLDA的快，進一步反映了L21GKDA算法的優越性。

Table 1 Average number of iterations表1 平均迭代次數

4.2.4 訓練樣本數對實驗的影響

為更全面地分析算法的收斂性，在每種人臉庫上取5種不同的訓練樣本數進行實驗。每次實驗均獨立隨機地進行50次。

Fig.4 Relationship between the value of object function and iteration number圖4 目標函數的值與迭代次數的關系圖

從表2～表4可以看出，總體上看，L21GKDA算法的識別率最高且整體上相對穩定。基于L2,1范數正則化方法的識別率優于對應的未正則化方法，因為加入了L2,1范數懲罰項，使得到的投影矩陣行稀疏，自動拋棄了一些對分類沒用的特征，有利于特征的選取，同時也能防止過擬合問題，提升模泛化能力。如L21GKDA算法的識別率在多數情況下明顯高于KDA，L21FLDA算法的識別率明顯高于Fisherfaces，這都得益于L2,1范數正則化方法。而SDA算法，由于在子空間的各個維度上所選取的特征均不相同，故識別效果并不理想。

從表2～表4中也可以看出，非線性方法的識別率優于線性方法，因為非線性方法能發現圖像高階非線性信息，所以識別率較高。如L21GKDA與L21FLDA相比，也就是非線性方法與線性方法相比，核方法有效提高了算法性能，并且核方法中核矩陣的維數等于訓練樣本總數，當訓練樣本總數小于原始樣本特征維數時，算法中特征分解所用時間也大大減少。

Table 2 Average recognition accuracies,standard deviations and running time on ORL face database表2 ORL人臉庫上各算法的平均識別率、標準差和時間

Table 3 Average recognition accuracies,standard deviations and running time onAR face database表3 AR人臉庫上各算法的平均識別率、標準差和時間

Table 4 Average recognition accuracies,standard deviations and running time on PIE face database表4 PIE人臉庫上各算法的平均識別率、標準差和時間

4.2.5 特征維數對實驗的影響

目前，國內普遍采用預處理+生化處理+膜深度處理工藝處理垃圾滲瀝液。其中，生化處理一般采用硝化-反硝化+MBR工藝，以保證脫氨效果。生物處理反硝化單元中主要為異養菌，異養菌脫氮過程主要是針對硝化過程中產生的硝氮進行反硝化脫氮。整個過程中典型的硝化反應過程如公式（1）所示，氨氮在自養菌作用下硝化形成硝氮，硝氮在異養菌作用下反硝化形成氮氣，如公式（2）所示，從而完成脫氮。反硝化過程需要消耗有機物［1］，因此，需要保證廢水中有足夠的有機碳源。

該小節通過實驗討論特征維數與平均識別率的關系。其中在ORL人臉庫上每人隨機取5幅圖像作為訓練樣本，AR人臉庫上每人取9幅，PIE人臉庫上每人取20幅，余下圖像作為測試樣本。特征維數從1取到C-1維，其關系如圖5所示。

Fig.5 Relationship between average recognition accuracy and dimensions圖5 平均識別率與特征維數的關系圖

由圖5可知，算法的識別率均隨著特征維數的增加而增加，加入L2,1范數懲罰項的算法識別率增加較快，在較低特征維數時就能達到良好的識別效果。如L21GKDA與KDA相比，在絕大多數維度下，L21GKDA算法的識別率比KDA高；同樣，L21FLDA算法的識別率在取不同維度時也比Fisherfaces高。且當維度取到C-1時，L21GKDA算法識別率最高，這說明聯合特征選取和子空間學習方法能有效選取特征，提高算法的識別率。同時，也可以看出，基于核方法的算法相對于線性方法在處理人臉識別問題上顯得更為有效。

5 結束語

[1]Turk M,Pentland A.Eigenfaces for recognition[J].Journal of Cognitive Neuroscience,1991,3(1):71-86.

本文提出了L2,1范數正則化的廣義核判別分析，首先給出了核方法的原理及KDA的求解方法，然后針對如何加入L2,1范數懲罰項，使特征選取和子空間學習同時進行，給出了具體的解決方法，同時也解決了KDA算法的奇異性問題。最后在標準人臉庫上的實驗結果表明，當人臉的表情、姿態、光照等發生變化時，本文算法具有良好的識別性能，從而說明該算法既能有效地對高維數據降維，消除冗余信息，又能選取數據的有用特征，提高鑒別能力。將聯合特征選取和子空間學習方法應用于其他具有代表性的判別分析算法中，如直接線性判別分析，值得進一步的研究。

[2]Belhumeur P N,Hespanha J P,Kriegman D.Eigenfaces vs. Fisherfaces:recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711-720.

[3]He Xiaofei,Niyogi P.Locality preserving projections[J]. Advances in Neural Information Processing Systems,2005, 45(1):186-197.

機器學習中常用正則化方法來約束模型的特性，而加入不同的懲罰項帶來的特性也不同。例如，加入L1范數能使模型稀疏，加入L2范數能避免出現過擬合問題，提升模型的泛化能力。文獻[9]提出了一種聯合特征選取和子空間學習的方法，通過加入L2,1范數懲罰項，使學習到的投影矩陣行稀疏。文獻[10]證明了該算法的收斂性。文獻[11]給出了一個提高人臉判別能力的框架。隨后，Shi等人[12]首次將其應用于Fisher判別分析，一定程度上提高了人臉識別的性能。

[4]Jin Zhong,Yang Jingyu,Hu Zhongshan,et al.Face recognition based on the uncorrelated discriminant transformation [J].Pattern Recognition,2001,34(7):1405-1416.

[5]Jin Zhong,Yang Jingyu,Tang Zhenmin,et al.A theorem on the uncorrelated optimal discriminant vectors[J].Pattern Recognition,2001,34(10):2041-2047.

下面對Ey=λy進行特征分解。通過特征分解的基本知識可以得到，矩陣E是塊對角矩陣，那么它的特征值和特征向量由其對應對角塊的特征值和特征向量組成。可以發現，對角塊的特征值1所對應的特征向量為，并且rank(Ei)= 1，即Ei只有唯一的非零特征值1。最終得到E有C個特征向量，其特征值均為1。這些特征向量yd如下所示：

[7]Lai Zhihui,Xu Yong,Yang Jian,et al.Sparse tensor discriminant analysis[J].IEEE Transactions on Image Processing, 2013,22(10):3904-3915.

三是學校排課更輕松。傳統會計教學模式下，由于受班級數量、學生人數、學習地點、上課時間等限制，以及任課教師數量、能力、精力等影響，學校在編排課表時煞費苦心、焦頭爛額，也不一定能達到預期目的。在網絡課堂情況下，這些問題都不復存在，迎刃而解，不但大大節省了學校辦學成本，還解放了一部分會計專業教師，使他們有更多精力從事更深入的教學研究或教學實踐活動，以進一步提高會計教學質量，增強學生就業能力。

[8]Zou Hui,Hastie T,Tibshirani R.Sparse principal component analysis[J].Journal of Computational and Graphical Statistics,2006,15(2):265-286.

[9]Obozinski G,Taskar B,Jordan M I.Joint covariate selection and joint subspace selection for multiple classification problems[J].Statistics and Computing,2010,20(2):231-252. [10]Nie Feiping,Huang Heng,Cai Xiao,et al.Efficient and robust feature selection via joint ? 2,1-norms minimization [C]//Advances in Neural Information Processing Systems 23:Proceedings of the 24th Annual Conference on NeuralInformation Processing Systems,Vancouver,Canada,Dec 6-9,2010.Vancouver,Canada:Curran Associates,2010: 1813-1821.

[11]Gu Quanquan,Li Zhenhui,Han Jiawei.Joint feature selection and subspace learning[C]//Proceedings of the 22nd International Joint Conference on Artificial Intelligence,Barcelona,Spain,Jul 16-22,2011.Menlo Park,USA:AAAI, 2011:1294-1299.

[12]Shi Xiaoshuang,Yang Yujiu,Guo Zhenhua,et al.Face recognition by sparse discriminant analysis via joint L2,1-norm minimization[J].Pattern Recognition,2014,47(7):2447-2453.

1.2.2.2 溶栓過程中的護理[4] 。患者病發3 h內需盡快進行靜脈溶栓治療，需注意阿替普酶不能使用葡萄糖、滅菌注射用水進行稀釋和混合。治療過程中需安排專業的護師對患者生命體征和病情變化進行監測，維持血壓穩定，若血壓過高需配合醫生進行降壓治療。若患者出現口舌、喉頭、血管源性水腫癥狀，以及呼吸困難、煩躁不安、發紺時，需立即停止用藥，并給予抗過敏治療，同時準備好呼吸機和氣管切開工具，給予面罩大流量吸氧。此外，還需注意患者意識狀態和肢體障礙、新發生的惡心、頭痛、嘔吐、顱內出血等癥狀。

[13]Mika S,Ratsch G,Weston J,et al.Fisher discriminant analysis with kernels[C]//Proceedings of the 1999 IEEE Signal Processing Society Workshop,Neural Networks for Signal Processing IX,Madison,USA,Aug 25,1999.Piscataway, USA:IEEE,1999:41-48.

常見抗病毒治療藥物因為其藥物代謝途徑、毒副作用等特點，與很多其他種類藥物產生藥物相互作用。臨床中要密切關注患者合并用藥情況，并參考其他相關指南或藥物說明書及時調整藥物方案或調整藥物劑量。

[14]Yang M H.Kernel eigenfaces vs.kernel fisherfaces:face recognition using kernel methods[C]//Proceedings of the 5th IEEE International Conference on Automatic Face and Gesture Recognition,Washington,May 21-21,2002.Piscataway,USA:IEEE,2002:215-220.

[15]Baudat G,Anouar F.Generalized discriminant analysis using a kernel approach[J].Neural Computation,2000,12(10): 2385-2404.

[16]Martinez AM,Benavente R.The AR face database,CVC technical report 24[R].1998.

[17]Sim T,Baker S,Bsat M,The CMU pose,illumination,and expression database[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(12):1615-1618.

輔導班是另一種學習方法，它是在學習書本知識之后進行的課后輔導，一般通過老師的講解，自己的多次練習去學習，對掌握的知識進行再次鞏固。這種現象也最常見在我們的學生當中，學生們從剛開始上學就開始被安排上各種輔導班，有學舞蹈，有學畫畫，到了大學畢業后，通過各種專業的考研輔導、國家公務員考試等輔導班，來強化各種能力。尤其在現在的社會中競爭激烈，輔導班的學習也逐漸成為潮流。

FU Junpeng was born in 1991.He is an M.S.candidate at Jiangnan University.His research interests include image processing and pattern recognition,etc.

傅俊鵬（1991—），男，浙江義烏人，江南大學碩士研究生，主要研究領域為數字圖像處理，模式識別等。

CHEN Xiuhong was born in 1964.He received the Ph.D.degree from East China University of Science and Technology in 2000.Now he is a professor and M.S.supervisor at Jiangnan University,and the member of CCF.His research interests include image processing and pattern recognition,etc.

陳秀宏（1964—），男，江蘇泰州人，2000年于華東理工大學獲得博士學位，現為江南大學教授、碩士生導師，CCF會員，主要研究領域為數字圖像處理，模式識別等。發表學術論文100余篇，先后參加國家自然科學基金3項、江蘇省自然科學基金1項，主持省部級研究項目3項，省博士后基金1項等。

GE Xiaoqian was born in 1990.She is an M.S.candidate at Jiangnan University.Her research interests include image processing and pattern recognition,etc.

葛驍倩（1990—），女，江蘇南通人，江南大學碩士研究生，主要研究領域為數字圖像處理，模式識別等。

Face Recognition by Generalized Kernel Discriminant Analysis viaL2,1-Norm Regularization*

FU Junpeng+,CHEN Xiuhong,GE Xiaoqian
School of Digital Media,Jiangnan University,Wuxi,Jiangsu 214122,China
+Corresponding author:E-mail:fujunpeng2@163.com

Feature selection and subspace learning are two key problems in face recognition.To select the rich nonlinear features more accurately in face image and solve the small sample size problem,this paper proposes a new generalized kernel discriminant analysis based onL2,1-norm regularization(L21GKDA).The proposed method implicitly maps the original samples into feature space by using kernel function,and obtains the generalized kernel Fisher criterion. Then it presents an efficient transformation,transforming its nonlinear model into linear regression model.In order to perform feature selection and subspace learning simultaneously,anL2,1-norm penalty term is added to the objective function,and the solution algorithm of the regularization method is also obtained.Due to the feature selection capability ofL2,1-norm penalty term,the recognition performance is greatly improved.Experiments on ORL,AR,PIE standard face databases illustrate that the new method can effectively select the nonlinear features of the face data,and improve the discriminant ability.

face recognition;feature selection;subspace learning;L2,1-norm;kernel discriminant analysis

A

：TP391

10.3778/j.issn.1673-9418.1510052

*The National Natural Science Foundation of China under Grant No.61373055(國家自然科學基金).

Received 2015-10,Accepted 2016-01.

CNKI網絡優先出版:2016-01-13,http://www.cnki.net/kcms/detail/11.5602.TP.20160113.0933.002.html