一種基于半監督學習的2DPCA人臉識別方法

李凱，徐治平

(河北大學 數學與計算機學院，河北 保定 071002)

一種基于半監督學習的2DPCA人臉識別方法

李凱，徐治平

(河北大學 數學與計算機學院，河北 保定 071002)

結合半監督學習中的自學習技術以及二維主成分分析 (two-dimensional principal component analysis-2DPCA)方法，提出了一種基于半監督學習的人臉識別方法.在二維主成分分析的基礎上，利用少量具有類別標簽的樣本訓練分類器，然后利用半監督學習中的自學習技術，對未知類別標簽的人臉樣本進行分類，并將具有高置信度的人臉樣本加入到訓練集中，以此增加訓練集中的人臉樣本數量.在ORL人臉庫和Yale人臉庫的實驗結果，表明了提出方法的有效性.

人臉識別；半監督學習；二維主成分分析法(2DPCA)；特征提取

人臉識別是模式識別領域的重要應用之一，與其他的生物特征識別技術相比，人臉識別具有直觀、識別速度快、非侵擾性等特點，在視頻監控、門禁考勤系統、犯罪調查等領域都有著重要的應用.人臉識別技術的關鍵步驟是人臉特征提取，到目前為止，研究者們提出了很多特征提取方法，其中主成分分析(principal components analysis, PCA)[1]是最為經典的特征提取方法之一，不但可以有效地降低人臉圖像的維數，同時也能保留主要的識別信息，目前仍然被廣泛地應用在人臉識別等模式識別領域.但在PCA方法中，為了提取人臉圖像的特征，需要將人臉圖像轉化為一維向量，從而導致出現高維數據所無法避免的小樣本問題和運算復雜度高的問題[2]；實際上，人臉圖像的本質是一個二維矩陣，矩陣的行(列)向量間的相互關系也蘊含著一定的特征信息，而PCA方法在將圖像矩陣轉換成一維向量的過程中，將每個像素作為一個獨立點來看待，這就丟失了圖像的部分空間特征[3].針對這些問題，研究者們提出了一些新的基于張量表示的特征提取方法，如二維主成分分析(2DPCA)[4]方法.該方法利用原始圖像的二維像素矩陣直接計算協方差矩陣，然后對其特征分解以求取特征空間，它不需要將圖像矩陣轉化為一維向量，有效降低了協方差矩陣的維數，并且減少了計算復雜性；同時，由于該方法對整個原始圖像直接映射到特征空間，所以在特征提取過程中，這種方法的特征信息損失較小，并且具有較高的識別率.最近，研究人員開始將半監督學習方法用于模式識別問題[5-7]，以便充分利用實際問題中大量無類別標簽的數據，并獲得了好的識別效果.本文對半監督學習的人臉識別方法進行了研究，結合二維主成分分析方法，提出了一種半監督學習的2DPCA人臉識別方法，它不僅能夠利用已知類別標簽的人臉樣本數據，而且更能充分利用大量未知類別標簽的人臉數據對分類器進行學習，從而使得該方法具有了自學習能力.

1 二維主成分分析(2DPCA)方法

2DPCA的基本思想是通過求解目標函數為廣義離散度準則的優化問題，獲得d個特征軸Xk(k=1，2，…，d)，其中特征軸Xk為n維單位列向量；然后，將訓練集中的每個人臉圖像A通過線性變換Yk=AXk(k=1，2，…，d)投影到特征軸X1，X2，…，Xd上，從而獲得每幅人臉的特征圖像B=[Y1,Y2,…,Yd]；最后利用最近鄰方法確定被測人臉Bj的類別.下面給出有監督2DPCA的人臉識別的算法：

步驟1 利用訓練集求解特征軸

2)計算矩陣S的M個最大特征值所對應的標準正交特征向量X1，X2，…，XM，即為所求的特征軸.

步驟2 將訓練集圖像投影到特征軸得到特征圖像

1)將樣本集中的每個人臉圖像Ai(i=1，2，…，l)利用線性變換Yk=AXk(k=1，2，…，M)投影到各個特征軸，其中投影特征向量Y1，Y2，…，YM稱為圖像樣本A的主成分；

2)將圖像的每個主成分Y1，Y2，…，YM組合在一起，獲得訓練樣本中每個人臉的特征圖像F=[Y1,Y2,…,YM]，假設通過此方法獲得的特征圖像分別為F1，F2，…，Fl.

步驟3 確定被測試人臉圖像B∈Du所屬類別

1)使用Yk=AXk(k=1，2，…，M)對被測試人臉圖像進行線性變換，以此獲得該人臉的特征圖像B′=[Y1,Y2,…,YM]；

2 具有半監督學習的2DPCA算法

假設給定具有類別標簽的數據Dl和無類別標簽的數據Du，通常l<

在本文中，提出了一種基于半監督學習的2DPCA人臉識別方法，主要將自學習技術引入到2DPCA方法中，使人臉識別系統能夠同時利用少量有類別標簽的人臉圖像Dl和大量易于獲取的無類別標簽人臉圖像Du對分類器進行訓練，從而提高人臉的識別率，特別是在訓練樣本不足的情況下能夠取得較好的識別效果.下面給出半監督學習的2DPCA人臉識別算法，并將此算法命名為SS2DPCA(self-trainingsemi-supervised2DPCA)：

步驟1 根據訓練數據集Dl，計算訓練樣本的散度矩陣S及該矩陣的特征值和特征向量，然后選取矩陣S的前M個最大特征值所對應的標準正交特征向量X1，X2，…，XM，并將這些向量組成特征矩陣W=[X1,X2,…,XM].

步驟4 對獲得的每類模式Pk(k=1,2,…,c)，從中選取置信度最高(即距離該類人臉模板最近)的樣本，并將其偽類別標簽Ik置信，也就是將其類別標簽Ik賦予Du中相對應的的樣本Bi，同時將Bi從無類別標簽集Du中移至具有類別標簽的人臉數據集Dl中，即Dl=Dl∪{Bi}且Du=Du-{Bi}.

步驟5 判定是否滿足結束條件？若滿足結束條件，則對Pk中的所有偽類別標簽置信，并輸出識別結果；否則，將擴展的數據集Dl作為訓練集，返回步驟1執行.

為了使得算法能夠正常結束，通常事先指定半監督學習算法的迭代執行次數，或規定其他的結束條件，例如全部測試樣本是否已被置信等.在每次迭代過程中，通過選取每一類的置信度最高的測試樣本來逐漸擴大訓練數據集；另外，為了提高算法的執行效率，也可以一次性選擇每一類中置信度最高的多個測試樣本來擴大訓練數據集.

3 實驗結果與分析

為了驗證提出的人臉識別算法SS2DPCA的有效性，選取了ORL與Yale人臉數據庫進行了實驗，并與常用的人臉識別算法PCA與2DPCA進行了實驗比較.

ORL(olivetti research laboratory)人臉數據庫是由劍橋大學Olivetti 研究所創建，主要用于人臉識別算法的性能測試.該數據庫共有400幅分辨率為112×92的256個灰度級的人臉圖像，包含40個人，每人都有10幅不同的圖像，這些圖像分別是在不同的時間、不同的視角下采集的，且包含了各種不同的變化，如睜眼與閉眼、戴眼鏡與不戴眼鏡、張嘴與閉嘴以及笑與不笑等，該數據庫中的部分人臉圖像如圖1所示；而Yale人臉數據庫由耶魯大學計算視覺與控制中心創建，共有15個人的165張灰度圖像(每人具有11張不同的人臉圖像)，這些圖像反映了光源的不同光照變化、不同的表情變化以及是否佩戴眼鏡等情況，該數據庫中的部分圖像如圖2所示.

圖1 ORL人臉數據庫中的部分人臉圖像

圖2 Yale人臉數據庫中的部分人臉圖像

首先，針對人臉圖像庫中的每類選取一個樣本進行實驗，為此，從每個人的Q幅人臉圖像中選取一幅人臉作為訓練樣本，將剩余的Q-1幅人臉圖像作為測試樣本，其中迭代學習次數N的值選為(Q-1)-1，實驗結果如圖3和圖4所示.可以看到，當在每類樣本中只取一個訓練樣本時，PCA和2DPCA算法的識別效果并不理想.特別是在光照、姿態與表情有較大變化的Yale庫中，PCA方法的識別率只有40%～50%，說明了該方法易受光照、姿態與表情的影響，在人臉識別時并不能獲得滿意的結果；對于2DPCA方法，其識別率很不穩定，尤其是選取s4(左側光源方向樣本)和s7(右側光源方向樣本)作為訓練樣本時，其識別率只有30%左右，可見該方法對光照過于敏感，并不能滿足人臉識別的要求；而本文提出的方法SS2DPCA的識別率保持在80%左右，其識別性能優于2DPCA方法，幾乎是PCA方法識別率的2倍，并且提出的方法SS2DPCA的識別率浮動范圍較小，說明SS2DPCA方法能充分適應各種光照、姿態與表情變化的樣本圖像，具有較好的魯棒性.并且，由于該算法能有效的利用無類別標簽的測試樣本中所包含的信息，單樣本條件下其識別率要遠大于PCA和2DPCA算法.

圖3 ORL人臉數據庫中依次選取第k個訓練樣本時的識別率

圖4 Yale人臉數據庫中依次選取第k個訓練樣本時的識別率

然后，分別從每個人的Q幅人臉圖像中隨機選取k(k=1,2,3,…,9)幅人臉圖像作為訓練樣本，剩余的Q-k幅人臉作為測試樣本，實驗結果如圖5和圖6所示，其中在SS2DPCA算法中的迭代學習次數N選為(Q-k)-1.

圖5 ORL人臉數據庫中隨機選取不同數量的訓練樣本時的識別率

圖6 Yale人臉數據庫中隨機選取不同數量的訓練樣本時的識別率

可以看到，當測試人臉圖像的數量大于訓練人臉圖像時，SS2DPCA算法的識別率要遠大于PCA和2DPCA算法.當測試樣本越多，訓練樣本越少時，這種優勢就表現的越明顯；而隨著訓練人臉圖像樣本的增加和測試圖像樣本的減少，SS2DPCA算法的識別率逐漸與PCA和2DPCA算法的識別率開始接近，最后與2DPCA算法的識別率相等.實際上，當訓練圖像樣本數為9，測試圖像樣本數為1時，SS2DPCA方法與2DPCA方法是沒有差別的.

為了進一步分析迭代學習次數的變化對算法SS2DPCA的影響，在ORL和Yale人臉數據庫中隨機選取每個人的1至4幅圖像作為訓練樣本，以每個人的剩余圖像作為測試樣本，在算法SS2DPCA中選取不同的迭代次數，將該實驗重復5次，并計算它們的平均識別率，實驗結果如圖7和圖8所示.可以看到，當選取的自學習迭代次數較小時，在2個數據庫上的識別率普遍較低，而隨著迭代次數的增加，SS2DPCA算法的識別率有了顯著的提高.這是因為在自學習過程中，隨著訓練樣本的增加，則分類器的性能將會有所提升；當迭代次數接近于每類的無標簽數據個數時，已加入到訓練集的無標簽數據增多，用于識別的人臉樣本數據有所減少，所以分類器的識別率逐漸趨于穩定.

圖7 ORL人臉庫中使用不同訓練樣本數的迭代次數與識別率間的關系

圖8 Yale人臉庫中使用不同訓練樣本數的迭代次數與識別率間的關系

4 結論

針對人臉識別中典型的小樣本問題，將半監督學習技術引入到2DPCA方法中，提出一種半監督學習的2DPCA人臉識別方法.該方法充分利用大量無類別標簽的樣本所蘊含的信息對分類器進行訓練，彌補了傳統的人臉識別方法由于樣本不足帶來的缺陷.通過在ORL人臉庫和Yale人臉庫上的實驗，表明了本文提出的方法優于傳統的PCA和2DPCA，且具有抗光照、姿態與表情的變化，特別是在訓練樣本數量較少的情況下，能夠提高人臉識別系統的性能.

[1]TURK M A, PENTLAND A P. Face recognition using eigenfaces[Z]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Maui, HI, 1991.

[2]曾岳, 馮大政. 一種基于加權變形的2DPCA 的人臉特征提取方法[J]. 電子與信息學報, 2011, 33(4)：769-774.

ZENG Yue, FENG Dazheng. An algorithm of feature extraction of face based on the weighted variation of 2DPCA[J]. Journal of Electronics&Information Technology, 2011, 33(4):769-774.

[3]KWAK K C, PEDRYCZ W. Face recognition using an enhanced independent component analysis approach [J]. IEEE Transactions on Neural Networks, 2007, 18(2)：530-541.

[4]YANG Jian, ZHANG D, FRANGI A F, et al. Two-dimensional PCA: a new approach to appearance-based face representation and recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1):131-137.

[5]HUANG Hong, LI Jianwei, LIU Jiamin. Enhanced semi-supervised local Fisher discriminant analysis for face recognition [J]. Future Generation Computer Systems, 2012, 28(1):244-253.

[6]ZHANG Tianzhu, LIU Si, XU Changsheng, et al. Boosted multi-class semi-supervised learning for human action recognition [J]. Pattern Recognition, 2011, 44(10-11):2334-2342.

[7]ZHANG Shanwen, LEI Yingke, WU Yanhua. Semi-supervised locally discriminant projection for classification and recognition [J]. Knowledge-Based Systems, 2011, 24(2):341-346.

[8]ZHU Xiaojin. Semi-supervised learning literature survey[R]. Madison: University of Wisconsin-Madison, 2008.

Asemi-supervisedlearningbased2DPCAfacerecognitionmethod

LIKai，XUZhiping

(College of Mathematic and Computer Science, Hebei University, Baoding 071002, China)

By combining self-training method of the semi-supervised learning with two-dimensional principal component analysis (2DPCA), a semi-supervised learning based face recognition method was proposed. On the basis of two-dimensional principal component analysis, few labeled samples were used to obtain classifier. Then unlabeled samples were classified through the classifier. And according to the self-training method of semi-supervised learning, the face samples with the highest confidence were added to the training set in order to increase the number of face samples in training set. Experimental results on ORL face database and Yale face database showed the effectiveness of the presented method.

face recognition; semi-supervised learning; two-dimensional principal component analysis(2DPCA);feature extraction

10.3969/j.issn.1000-1565.2013.04.014

2012-09-26

國家自然科學基金資助項目(61073121);河北省自然科學基金資助項目(F2012201014)

李凱(1963-)，男，河北滿城人，河北大學教授，博士，主要從事機器學習、數據挖掘、模式識別等方向研究.

E-mail:likai@hbu.edu.cn

TP391

A

1000-1565(2013)04-0413-07

(責任編輯孟素蘭)