基于稀疏表示和支持向量機的人臉識別算法

徐靜妹，李 雷

(南京郵電大學，江蘇 南京 210023)

0 引 言

自動人臉識別技術是近年來學術界一直關注的焦點，廣泛應用于身份認證系統、視頻監控系統以及圖像檢索應用，比如現場監控、城市安全、休閑娛樂等[1]。

人臉識別的基本步驟包括圖像預處理，特征選擇和提取，分類和評價。從圖片或視頻傳感器中采集的原始圖像首先要經過預處理，以便適合于特征提取。特征選擇和提取主要分為兩種方法：整體方法和局部方法。一般來說，整體方法包括基于主成分分析的方法(PCA)[2-4]、線性判別分析(LDA)[5-7]等；局部方法包括基于小波分析的方法[8-9]、保投影(LPP)[10]等。在關鍵特征提取完成后，再通過分類獲得識別結果。分類識別根據是否學習可分為三種方法：監督學習、半監督學習以及無監督學習[11]。目前監督和無監督聚類方法已被開發應用于人臉識別。其中基于監督學習的分類主要有兩種方法，一種是基于貝葉斯理論的方法，包括有參數和無參數兩種類型。高斯混合模型、隱馬爾可夫模型、主成分分析、多元判別分析(MDA)等都屬于參數化方法；最近鄰估計(NN)、K-鄰近估計(KNN)[12]、最近子空間(NS)等都屬于無參數方法。另一種方法是判別分析，又分為線性和非線性方法。針對線性問題，Fisher判別技術和支持向量機(SVM)是已知比較好的方法[13]。近年來，隨著壓縮感知理論的誕生，Wright等[14]也提出了一種人臉識別中典型的全局線性方法-基于稀疏表示的分類算法(SRC)。

可以看出用于人臉識別的方法有多種，理論上說，一些方法可以組合應用于人臉識別。例如，Gabor，PCA，LPP等往往會與分類方法相結合，比如神經網絡、支持向量機、核函數方法等。文中即采用這種組合，由于基于稀疏表示的人臉識別準則是重構殘差最小，對于一個測試樣本，需要計算其與其他每一個樣本的相似度，識別效率低。針對這個缺點，提出將支持向量機作為最后分類的工具，這樣就將SRC和SVM組合形成一種新的人臉識別方法，并且，文中對選用的SRC算法又做了一定的改進。

1 基于SRC的人臉識別

1.1 基于稀疏表示的人臉識別模型

SRC是人臉識別中一種典型算法。該算法不考慮樣本的局部信息而是考慮整體信息，假設測試樣本可近似表示為所有訓練樣本的線性組合，每個訓練樣本的像素信息轉換成列向量從而組成訓練矩陣。由于CS的非自適應性，投影訓練矩陣的正交基可以得到稀疏矩陣，并且不會影響原問題的解決。這個稀疏矩陣就是對訓練圖像的稀疏表示，也稱為測量矩陣。SRC算法的步驟如下：

(1)訓練樣本矩陣A=[A1,A2,…,Ak]∈Rm×n，測試樣本y∈Rm作為算法的輸入。

(2)對矩陣A的列進行規范化，得到L2范數。

(3)求解L1范數問題。

(1)

或者作替換求解：

(2)

(4)計算殘差。

(3)

(5)輸出(y)=argminiri(y)。

上述算法是在理想的情況下得到的，而在測試圖像被部分損壞或遮擋的情況下，將式(1)修改為：

(4)

其中，e0∈Rm為一個具有非零元素的誤差向量。這個誤差不可忽略。通常，e0可假設為對一些基Ae∈Rm×n的一個稀疏表示。那么式(4)可修改為：

(5)

方程(5)可以轉換為一個擴展的L1范數最小化問題：

(6)

式(3)修改為：

(7)

1.2 SRC的求解方法

1.2.1梯度投影法(GPSR)

梯度投影法[15]屬于凸優化方法，采用拉格朗日算法解決式(1)中的最小L1范數問題，其中λ是拉格朗日乘數。則問題可以轉化為：

λ‖x‖1

(8)

運用截斷牛頓內點方法(TNIPM)即L1LS算法，求解這個二次規劃問題。那么，式(8)可以轉化為一個不等式約束的二次規劃問題：

(9)

其中，通過對數柵欄函數構造約束條件-ui≤xi≤ui的誤差部分：

(10)

在(x,u)域上，可以得到最小值(x*(t),u*(t))的凸函數為：

(11)

其中，參數t∈[0,∞)。

利用最小化標準的內點法來計算上式優化后的搜索梯度方向。

(12)

從而可以很容易根據這個優化后的搜索梯度方向再求得稀疏表示的稀疏系數。

1.2.2正交匹配追蹤法(OMP)

正交匹配追蹤法[16]屬于貪婪算法，其主要思路為：在每次迭代過程中，從觀測矩陣Φ的列向量中選出與當前冗余向量最相關的列，并將其從測量向量中減去，然后進行下一次迭代，直到迭代次數達到所需的稀疏度為止。在此過程中，所選擇的列要盡可能正交。OMP這一特點加速了殘差值收斂的速度，并減少了算法迭代的次數。

算法步驟如下：

輸入：測量矩陣Φ，采樣向量y，稀疏度K

(2)更新索引集Λt=Λt-1∪{λt}，記錄找到的測量矩陣中的重建原子集合Φt=[Φt-1,φλt]；

(5)判斷是否滿足t>K，若滿足，則停止迭代；若不滿足，則執行(1)。

在具體實現中，OMP算法的運行速度要比基于最小L1范數的凸優化算法的運行速度快，因此文中選取OMP算法求解人臉圖像的稀疏表示。

2 基于SVM的多分類方法

2.1 二分類支持向量機

假設已知訓練樣本為{xi,yi}，其中yi=±l,i=1,2,…,l，xi為向量機輸入，l為樣本數，yi=1時為正常，yi=-1時為異常。SVM目標就是尋求這樣一個最優分類超平面使其w·x+b=0，對于訓練樣本需要滿足：

yi[w·x+b]-1≥0

(13)

式(13)可以轉化為二次規劃問題：

(14)

其中，C為懲罰因子；ξi為松弛因子。

利用拉格朗日乘數法可將式(14)轉化為求它的對偶問題：

(15)

(16)

其中，K(x,xi)表示一個核函數；sgn(g)表示符號函數。

2.2 一對多分類法

“一對多”算法，即第n個分類器為解，由第n類樣本集合和剩下的n-1類樣本集合全體構成兩類問題得到，這樣就需要構造n個分類器，然后對于一個測試樣本進行分類識別。

該算法的數學模型如下[17]：

(18)

決策函數為：

fi(x)=[(ωi)Tφ(x)+bi],i=1,2,…,M

(19)

2.3 一對一分類法

該算法的數學模型如下：

(20)

決策函數為：

Fij(x)=[(ωij)Tφ(x)+bij],i=1,2,…,M,

j=i+1,…,M

(21)

3 文中方法-基于SRC和SVM的人臉識別

基于稀疏表示分類的人臉識別是將人臉圖像數據直接作為稀疏表示的過完備字典，計算量大、冗余信息多。針對這個缺點，文中提出用KPCA提取后的人臉特征信息作為稀疏表示的過完備字典，大大降低了計算成本，但是求解稀疏表示模型的方法選取的是梯度投影方法,發現求得的測試樣本稀疏系數中，非零系數會出現在非樣本所在類，影響了識別效果。針對這個缺點，提出用正交匹配追蹤法(OMP)求解稀疏表示模型。該算法可以通過設置稀疏閾值來控制稀疏系數的稀疏度，在非樣本對應類出現的就都是零了；此外，基于稀疏表示分類的人臉識別的識別準則是重構殘差最小，對于一個測試樣本，需要計算其與其他每一個樣本的相似度，識別效率低。針對這個缺點，提出將支持向量機作為最后分類的工具，實驗結果表明，可以提高人臉識別的速度和準確率。

綜上，提出了結合稀疏表示和支持向量機的人臉識別方法，具體實現流程如圖1所示。

圖1 人臉識別實現流程

具體步驟如下：

(3)訓練：將訓練集中的每個樣本用A稀疏表示，通過OMP算法求解稀疏系數，作為訓練數據集train-s，然后使用Libsvm工具箱中的svmtrain函數進行訓練；

(4)測試：將測試集中的一個樣本通過上述步驟得到測試樣本特征y,用步驟(3)訓練得到的SVM，使用函數svmpredict進行預測，得到分類識別結果。

4 實 驗

4.1 實驗數據及預處理

選取的人臉數據庫為ORL數據庫，它包含40個不同的人，每個人取十幅不同的圖像。分別在不同的時間、不同的照明情況，面部表情(睜/閉眼，笑/不笑)，面部細節(眼鏡/無眼鏡)下進行圖像采集。所有的人臉圖像都是在一個黑暗的均勻背景下拍攝的，拍攝的人要坐直，并拍攝他們的正面圖像(可以接受一點點側向移動)。實驗環境為64位Win7系統，使用的工具是MATLAB。選取的多分類支持向量機模型為Libsvm工具箱中的一對一分類支持向量機。

采用MATLAB中的小波工具箱，將原來112*92的圖片壓縮成為28*23的圖片，壓縮后的部分人臉如圖2所示。

根據之前的實驗基礎，在KPCA特征提取時，選取高斯核函數的效果較好，選取的參數σ2=104。

圖2 ORL庫壓縮后部分人臉圖像

4.2 實驗結果及分析

實驗中，將文中方法與單純使用SRC方法、單純使用SVM方法的人臉識別正確率進行對比分析。

(1)特征值數量L對識別率的影響。

理論上說，在KPCA特征提取過程中，提取的L越多，代表的人臉信息就越豐富，人臉識別率也就越高。所以實驗選取了不同的L值來觀察其對人臉識別率的影響，結果如圖3所示。

圖3 識別率與特征值數量關系曲線

觀察圖3發現，從橫向上來看，L越大，識別率越高，但是在L=150之后的上升趨勢減小，而在125到150之間，識別率有明顯的上升，雖然150到200之間的識別率仍有上升，但綜合考慮實驗運行時間，選取L=150繼續后面的實驗；而從縱向上來看，可以發現文中方法明顯優于稀疏表示分類和支持向量機分類。因此，實驗證明文中方法可以提高人臉識別的效率。

(2)稀疏閾值K對識別率的影響。

理論上說，求解稀疏表示模型所得到的稀疏系數中，非零系數應該出現在樣本所在類，其他類對應的系數中應該都為零。在選取求解稀疏系數方法時就要考慮這個問題，文獻[6]中選取的方法為GPSR法，但在求得的稀疏系數中，非零系數不止出現在樣本所在類，這就影響了識別效果。所以文中選取OMP算法求解稀疏表示模型，優點就是可以設置稀疏系數的稀疏度K，使得非零系數盡量只出現在對應類中。這個K值實際上就是所選取的訓練樣本數，K不同，過完備字典的大小就不同，識別率也就有所不同。因此實驗設置了不同的K值來觀察稀疏度對識別率的影響，結果如表1所示(此時L=150)。

表1 稀疏度與識別率關系

觀察表1可以發現，隨著K的增大，過完備字典也越來越大，識別效果也是越來越好。這是因為隨著訓練樣本的增多，過完備字典中的原子也隨之增加，每個樣本能更充分地表示成過完備字典的線性組合，訓練出來的支持向量機識別率更高；因此表明文中方法的識別率有了一定的提高。

5 結束語

文中提出了一種結合稀疏表示和支持向量機的人臉識別方法，探究了特征值數量和稀疏系數的稀疏度與人臉識別率的關系，并與傳統的稀疏表示分類方法和支持向量機方法進行了對比。實驗結果表明，該方法具有一定的優越性。由于選取的人臉都為靜態圖像，而實際操作中大多為動態圖像或者視頻流，因此下一步將對此作進一步的研究。

[1] TIAN Q,WU J.A review on face recognition based on compressive sensing[J].IETE Technical Review,2013,30(5):427-438.

[2] AKBARI R, MOZAFFARI S. Performance enhancement of PCA-based face recognition system via gender classification method[C]//6th Iranian machine vision and image processing.Isfahan:IEEE,2010.

[3] ZHENG M,XU Z,YU T,et al.New modified algorithm of PCA face recognition[C]//IEEE international conference on oxide materials for electronic engineering.Lviv,Ukraine:IEEE,2012:121-124.

[4] MALLIPEDDI R,LEE M.Ensemble based face recognition using discriminant PCA features[C]//IEEE congress on evolutionary computation.Brisbane:IEEE,2012.

[5] LIAO P, LIU J,WANG M, et al. Ensemble local fractional LDA for face recognition[C]//IEEE international conference on computer science & automation engineering.Zhangjiajie:IEEE,2012.

[6] ZHAO X,EVANS N,DUGELAY J C.Semi-supervised face recognition with LDA self-training[C]//IEEE international conference on image processing.Brussels:IEEE,2011.

[7] LI Y.2D face recognition based on RL-LDA learning from 3D model[C]//International conference on uncertainty reasoning & knowledge engineering.Jalarta:IEEE,2012.

[8] 閆 河,王 樸,劉 婕,等.自適應加權多尺度LTP的人臉識別[J].計算機工程與設計,2016,37(4):1027-1031.

[9] 余 嘉,方 杰,許 可.基于加權小波的DCT人臉識別算法研究[J].計算機工程與應用,2012,48(17):199-202.

[10] 劉 君,黃燕琪,熊邦書.融合核主成分分析和最小距離鑒別投影的人臉識別算法[J].計算機工程,2016,42(4):221-225.

[11] 馮 姝.無監督局部特征學習的魯棒性人臉識別[J].計算機應用,2017,37(2):512-516.

[12] 夏佩佩，張 莉.一種相似性學習算法及其在人臉識別中的應用[J].計算機工程,2014，40(6)：175-179.

[13] 吳 青,梁 勃,王 婉,等.多分類光滑支持向量機的人臉識別方法[J].計算機應用,2015,35:122-126.

[14] WRIGHT J,YANG A Y,GANES H A,er al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[15] 尹賀峰,吳小俊,陳素根.改進的局部稀疏表示分類算法及其在人臉識別中的應用[J].計算機科學,2015,42(8):48-51.

[16] 石光明,劉丹華,高大化,等.壓縮感知理論及其研究進展[J].電子學報,2009，37(5):1070-1081.

[17] 蘇曉偉.基于多分類支持向量機的模式識別研究[J].計算機與數字工程,2015,43(7):1202-1206.