圖像多模態擾動的人臉識別方法

張國慶，王正群，王穎靜，徐 偉

ZHANG Guoqing1，2,WANG Zhengqun2,WANG Yingjing2,XU Wei2

1.南京理工大學 計算機科學與工程學院，南京 210094

2.揚州大學，信息工程學院，江蘇 揚州 225127

圖像多模態擾動的人臉識別方法

張國慶1，2，王正群2，王穎靜2，徐 偉2

ZHANG Guoqing1，2,WANG Zhengqun2,WANG Yingjing2,XU Wei2

1.南京理工大學 計算機科學與工程學院，南京 210094

2.揚州大學，信息工程學院，江蘇 揚州 225127

為了克服因人臉圖像檢測引起的配準不穩定性和小樣本引起的維數災難，由一副二維人臉圖像通過上下左右平移生成4個圖像，把生成的圖像與原來的圖像一起加入訓練樣本集，構成新的訓練圖像集。基于二維圖像，結合圖像局部結構信息，設計了準則函數，獲得雙投影矩陣，抽取人臉特征。對待識別人臉圖像，由它的擾動圖像設計識別方法。與傳統的人臉識別方法相比，該方法的識別效果更好；Yale和ORL人臉數據庫上的實驗結果驗證了該方法的有效性。

二維線性判別分析（2DLDA）；小樣本問題；圖像擾動；特征抽取

1 引言

特征提取主要達到兩個方面的目的：一是尋找針對模式最具鑒別性的描述，以使此類模式的特征能最大限度地區別彼類;二是在適當的情況下實現模式的數據描述的維數壓縮。特征提取成為人臉識別最基本的問題之一，提取有效的鑒別特征是解決該問題的關鍵。

在人臉特征提取技術的發展過程中，人臉圖像的向量表示方法一直占據著重要的地位。在這些方法中，主成分分析PCA[1]、線性判別分析LDA[2]、局部保持投影LPP[3]是代表性的特征提取方法，它們將高維向量空間的圖像X映射到低維向量空間的圖像Y，即求出變換矩陣A，滿足投影方程Y=ATX。A中的向量分別稱為Eigenfaces[1]、Fishefaces[2]和Lapfcianfaces[4]。但是，二維圖像本身是矩陣形式的數據，基于向量子空間的特征提取方法均需將矩陣轉化為向量后才能處理，而這種轉化破壞了圖像像素之間的空間關系，容易造成圖像局部空間信息的損失，圖像自身所包含的信息絕不是向量的表示形式可以完全替代的，而且轉換后的向量維數一般過高，給特征提取帶來很大的困難，極易造成“小樣本問題”的出現，增加算法的復雜度。

正是由于以上的原因，促使子空間特征提取方法尋找新的數據表示形式，因而基于圖像自身表現形式的子空間方法得到發展，從而擴大了許多已有算法的使用范圍，使其不僅僅局限于向量空間。Yang等人首先將圖像矩陣的思想引入到主成分分析，提出了有名的二維主成分分析（Two-Dimensional Principle Component Analysis，2DPCA）[5]，直接對二維圖像矩陣提取特征。2DPCA使用圖像矩陣計算協方差，最佳投影方向由對應協方差矩陣的最大特征值集的正交特征向量集構成，明顯縮短了特征提取的時間，取得了更好的識別率。隨后Ye等人提出了圖像矩陣的低秩分解算法（Generalized Low Rank Approximation Matrix，GLRAM）[6]，尋找左乘和右乘的兩個正交矩陣，使投影后特征矩陣有最大協方差。

Ye又提出了二維線性判別分析（Two-Dimensional Linear Discriminate Analysis，2DLDA）[7]，直接使用圖像矩陣構建類內散度矩陣和類間散度矩陣。這些基于二維圖像矩陣的方法直接在圖像矩陣上計算協方差或散度矩陣，所得矩陣的維數等于圖像的行數和列數，計算起來簡單方便。另外，矩陣投影到每個特征向量得到一個向量，而不是一個單獨的值，這樣獲得的特征個數多于基于向量的方法。

2DPCA和2DLDA都注重在歐氏空間中保持流形的全局結構，而忽視了流形的局部結構，類似算法[8-9]往往注重單一目標，而忽視了整體考慮。TSA致力于保持流形的局部幾何結構，可是忽視了流形的全局判別結構，尤其是對判別信息沒有充分利用，算法仍然存在提高性能的潛力。

文獻[10]提出了二維局部敏感判別分析（Two-Dimensional Locality Sensitive Discriminate Analysis，2DLSDA），它是局部敏感判別分析（Locality Sensitive Discriminate Analysis，LSDA）[11]的推廣算法，把基于向量的LSDA算法推廣應用到圖像矩陣，但是2DLSDA的變換矩陣增加了過多的約束，算法的內涵沒有完全挖掘出來。

本文提出一種二維圖像擾動的人臉識別方法（Two-Dimensional Disturbing Face Recognition，2DDFC）。由一副二維人臉圖像通過上下左右平移生成4個圖像，把生成的圖像與原來的圖像一起加入訓練樣本集，構成新的訓練圖像集。基于二維圖像，結合圖像局部結構信息，設計準則函數，獲得雙投影矩陣。該方法一定程度上消除了小樣本問題，擴大了人臉圖像表示的多樣性，并且有利于克服因位移帶來的圖像不穩定性。算法保持了流形的局部幾何結構和流形判別結構，劃分了類內和類間的類別信息，并且根據數據樣本的類別信息分別構建類內和類間緊鄰圖。由圖像的擾動，設計了人臉圖像識別方法；在Yale和ORL人臉數據庫上的實驗結果驗證了該人臉識別方法的有效性和魯棒性。

2 多模態擾動的人臉識別方法

2.1 二維局部判別分析（2DLDA）

因為2DPCA沒有利用樣本的類別信息，不能保證得到的投影向量是分類意義上最優的。2DLDA[9]利用了類別信息，算法對分類更加有利。2DPCA只是重視圖像矩陣的行的相關性，忽視了列的相關性；而2DLDA既重視行的相關性，也重視列的相關性，實現了從行和列兩個方向對圖像信息進行壓縮。

設有圖像樣本 Xi∈Rm×n(i=1，2，…，N)，樣本的類別數目為l，類別分別為C1，C2，…，Cl，類別Ci共有ni個樣本圖像。設為Ci類的樣本均值矩陣，i=為全局樣本均值矩陣。

2DLDA算法尋找兩個變換矩陣P和Q，滿足P∈Rm×k, Q∈Rn×l,將圖像矩陣 Xi映射為Yi∈Rk×l(i=1，2，…，N)，滿足方程Yi=PTXiQ。

原始圖像經過變換矩陣P和Q的映射后，在低維空間中類內距離的平方Dw和類間距離的平方DB可以表示為：

那么，2DLDA的優化問題為：

從上式可以看出，最優化轉換矩陣P和Q即在最大化DB的同時最小化Dw。

2.2 人臉圖像擾動和特征抽取

設有圖像樣本Xi(1，2，…，N)∈Rm×n，X=[X1，X2，…，XN]，對每副圖像 Xi作相應擾動。取 Xi1=[Xi-1，j]（行方向左移一個像素），Xi2=[Xi+1，j]（行方向右移一個像素），Xi3=[Xi，j-1]（列方向上移一個像素），Xi4=[Xi，j+1]（行方向下移一個像素），在移動時，行列不足部分由0像素值補足，生成后4個圖像后，包括Xi共5幅圖像，它們的外圍行列像素全部去掉。由 Xij(j=1，2，3，4)和 Xi（重新表示為 Xi0）構成新的訓練圖像集：X′=[X10，X11，X12，X13，X14，…，Xi0，Xi1，…]，X′共有5N個樣本，尋找m×k的轉換矩陣P和n×l的轉換矩陣Q，使得映射滿足Y=PTXQ。

因為人臉圖像空間可以看做是嵌入高維圖像空間中的非線性子流形M，通過M上的散點可以估計它的全局和局部特征，為此構造類內圖Gw和類間圖GB，并對二者進行數學建模。 Xij(i=1，2，…，N，j=0，1，…，4)是 M 上

定義Gw的權重矩陣SW和GB的權重矩陣SB。

SW，ij和SB，ij分別表示SW和SB第i行和第 j列的元素。

假設Xi和Xj在子空間的映射分別為Yi和Yj。如果Xi和 Xj相距很近且具有相同類別標記，Yi和Yj應相距很近；如果 Xi和Xj相距很近但具有不同類別標記，Yi和Yj應相距很遠。根據上述思想，為了獲得投影變換矩陣P、Q，同時解如下優化問題：

至此，同時優化式（6）、（7）問題可以轉化為求P、Q，使得tr(PTSWQP)和tr(PT(DBQ-SBQ)P)同時最大，且滿足約束tr(PTDWQP)=1。

其中，μ是合適的調節參數，且滿足0≤μ≤1。

同理：由式（6）知，優化問題可以轉化為

由式（6）和（7）知，優化問題可以轉化為tr(QTSWPQ)和tr(QT(DBP-SBP)Q)同時最大，且約束 tr(QTDWPQ)=1。因而有：

由式（8）和（11）知，P是(μ·(DBQ-SBQ)+(1-μ)·SWQ，DWQ)的廣義特征向量矩陣，Q是 (μ·(DBP-SBP)+(1-μ)·SWP，DWQ)的廣義特向量矩陣。直接計算P和Q比較困難，根據文獻[9]的迭代計算方法，首先令 P為單位矩陣，由式（12）解出廣義特征向量矩陣Q：

解出Q后，由式（13）解出廣義特征向量矩陣P并使它得到更新：然后按照設定的迭代次數計算得到最后的P和Q。

算法

步驟1由一副人臉圖像X通過上下左右平移一個像素，構造成另外四副圖像Xi(1，2，3，4)。

步驟2把Xi(1，2，3，4)）與X一起加入訓練圖像集，構成新的訓練圖像集。

步驟3構造類內圖GB和類間圖GW。

步驟4計算廣義特征向量矩陣P和Q。

2.3 人臉圖像擾動和識別

3 實驗結果與分析

為了驗證本文算法的有效性，采用YALE和ORL人臉數據庫進行實驗測試，將本文算法與LDA、二維線性判別分析（2DLDA）進行比較；設置參數μ=0.1。由訓練樣本圖像計算得到人臉的張量子空間，將測試樣本圖像投影到張量子空間中，用最近鄰分類器進行分類識別。

3.1 實驗1與分析

ORL庫包含40個人，每個人10幅圖像，圖像的分辨率為112×92，這些圖像有些拍攝于不同時期；人臉臉部表情與臉部細節有變化，例如：笑或不笑，睜眼或閉眼，帶與不帶眼鏡；人臉姿態有變化，旋轉可達20°；人臉尺度也有最多10%的變化。

實驗中，選擇每個人的第1、3、5、7共4幅圖像作為訓練樣本，其余6幅圖像作為測試樣本。訓練過程近鄰對數K取為30。選取5到60個投影軸進行特征抽取，比較LDA、2DLDA和本文方法在最近鄰分類器下的分類識別效果。圖1描述了這幾種方法在ORL人臉庫上的識別性能；表1描述了這幾種方法在ORL人臉庫上的最大識別率。

圖1 最近鄰分類器下LDA、2DLDA和本文方法在ORL庫上的性能比較

表1 LDA、2DLDA和本文方法在ORL人臉庫上的最大識別率比較

由圖1可以看到，本文方法在最近鄰離分類器下的識別性能明顯優于LDA、2DLDA，并且隨著投影軸數的增多，本文方法的性能會逐漸提高。

由表1可以看到，本文方法在投影軸為25時識別率最大，且都超過了其他兩種方法的最好識別率。

3.2 實驗2與分析

Yale人臉圖像庫包括15個人，每人11幅圖像構成。這11幅圖像分別為正常光照條件下，是否戴眼鏡，不同光源，不同表情下的圖像。每幅圖像的分辨率為100×80。

實驗中，選擇每個人的后6幅圖像作為訓練樣本，前5幅圖像作為測試樣本。訓練過程近鄰參數K取為5。選取5到60個投影軸進行特征抽取，比較LDA、2DLDA和本文方法在最近鄰分類器下分類識別效果。圖2描述了最近鄰分類器下這幾種方法在Yale人臉庫上的識別效果；表2描述了這幾種方法在Yale人臉庫上的最大識別率。

圖2 最近鄰分類器下LDA、2DLDA和本文方法在Yale庫上的性能比較

表2 LDA、2DLDA和本文方法在Yale人臉庫上的最大識別率比較

由圖2可以看到，本文方法在最近鄰分類器下的識別性能明顯優于LDA、2DLDA。當投影軸數達到40到60的階段時，識別率趨于穩定且達到最大值。

由表2可以看到，本文方法在投影軸為60時識別率為99.03%，且都超過了其他兩種方法；特別是，與基于二維圖像信息的人臉識別算法2DLDA相比，識別性能得到很大提升。

4 結論

提出了一種二維圖像擾動的人臉識別方法2DDFC，該方法由特征抽取和識別兩部分構成。由一副人臉圖像生成4個圖像，把生成的圖像與原來的圖像一起加入訓練樣本集，構成新的訓練圖像集。基于二維圖像，結合圖像局部結構信息，設計準則函數，獲得雙投影矩陣。該方法一定程度上消除了小樣本問題，擴大了人臉圖像表示的多樣性，有利于克服因位移帶來的圖像不穩定性。對待識人臉圖像，由擾動圖像設計識別方法，使識別結果更可靠。與傳統的人臉識別方法相比，該方法的識別效果更好，Yale和ORL人臉數據庫上的實驗結果驗證了本文方法的有效性。

[1]Turk M，Pentland A.Eigenfaces for recognition[J].Journal of Cognitive Neuroscience，1991，3（1）：71-86.

[2]Belhumeur P N，Hepanha J P，Kriegman D J.Eigenfaces vs fisherfaces：recognition using class specific linear projection[J]. IEEE Trans on Pattern Analysis and Machine Intelligence，1997，19（7）：711-720.

[3]He X，Yan S，Hu Y，et al.Face recognition using laplacianfaces[J].IEEE Trans on Pattern Anal Mach Intell，2005，27 （3）：328-340.

[4]He X F，Yang S C，Han J W，et al.Face recognition using lapalacianfaces[J].IEEE Trans on Pattern Anal and Machine Intell，2005，27（3）：1-13.

[5]Yang J，Zhang D，Frangi A F，et al.Two-dimensional PCA：a new approach to appearance-based face representation and recognition[J].IEEE Trans on Pattern Anal and Machine Intell，2004，26（1）：131-137.

[6]Ye J P.Generalized low rank approximation matrices[J]. Machine Learning Journal，2005，61：167-191.

[7]Ye J P，Janardan R，Li Q.Two-dimensional linear discriminate analysis[C]//Procof Advancesin Neural Information Processing Systems，Vancouver，Canada，2004：1-7.

[8]He X F.Locality preserving projections[D].Chicago：the University of Chicago，2005.

[9]Niu B，Yang Q，Shiu S C K，et al.Two-dimensional Laplacianfaces method forface recognition[J].Pattern Recognition，2008，41：3237-3243.

[10]Guo G，Li S Z，Chan K.Face recognition by support vector machines[C]//Procofthe4th Conferenceon Auto Face and Gesture Recognition，2000：196-201.

[11]Deng C，He X F.Locality sensitive discriminate analysis[C]// Proc of the International Conf on Artificial Intell，Hyderabad，India，2007：708-713.

1.School of Computer Science and Engineering,Nanjing University of Science and Technology,Nanjing 210094,China

2.School of Information Engineering,Yangzhou University,Yangzhou,Jiangsu 225127,China

In order to overcome the instability caused by face detection and curses of dimensionality resulted from small sample size,four new images from one two-dimensional image is generated by horizontal and vertical translation,and a new image database is formed by adding these new images to original image database.Combined with local structure information,this paper designs objective function and obtains dual projection matrix based on two-dimensional images.The proposed method is carried out on disturbing image database.Compared with the traditional face recognition method,it has a better recognition performance,and the experimental results on Yale and ORL face image database show that it is effective and robust.

Two-Dimensional Linear DiscriminateAnalysis（2DLDA）;small sample set problem;disturbing image;feature extraction

A

TP391.4

10.3778/j.issn.1002-8331.1108-0346

ZHANG Guoqing,WANG Zhengqun,WANG Yingjing,et al.Muiti-modal disturbing face recognition algorithm.Computer Engineering and Applications,2013,49（7）：204-207.

國家自然科學基金（No.60875004）；江蘇省自然科學基金（No.BK2009184）；江蘇省高校自然科學基金（No.10KJB510027）。

張國慶（1986—），男，博士研究生，主要研究方向：機器學習；王正群（1965—），男，博士，教授，主要研究方向：人工智能，機器學習；王穎靜（1987—），女，碩士研究生，主要研究方向：機器學習；徐偉（1988—），碩士研究生，主要研究方向：機器學習。

2011-08-24

2011-10-15

1002-8331（2013）07-0204-04

CNKI出版日期：2011-12-09 http://www.cnki.net/kcms/detail/11.2127.TP.20111209.1000.019.html