類內(nèi)子流形局部間隔對(duì)齊的人臉圖像判別方法

蒲曉蓉，樊 科，黃 東

(電子科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 成都 611731)

類內(nèi)子流形局部間隔對(duì)齊的人臉圖像判別方法

蒲曉蓉，樊 科，黃 東

(電子科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 成都 611731)

提出利用類內(nèi)子流形對(duì)高維人臉圖像進(jìn)行判別分析的新方法，沿對(duì)齊的類間局部間隔法向擴(kuò)展類內(nèi)子圖，獲得一系列線性投影，并正交化線性投影得到一組子空間的正交基向量。使用局部相鄰關(guān)系增大類間差異，并將類內(nèi)結(jié)構(gòu)保存到與類間間隔區(qū)域?qū)R的子空間中，能有效降低因人臉圖像拍攝角度、姿態(tài)、光照、眼鏡和性別等因素導(dǎo)致的數(shù)據(jù)多模態(tài)或低維流形的高曲率對(duì)識(shí)別性能的影響。在Yale Face Database B和UMIST face database上進(jìn)行的實(shí)驗(yàn)證明，較之LPP和FDA等方法，該方法能更加可靠地保留類內(nèi)和類間的子流形結(jié)構(gòu)，且有更高的識(shí)別準(zhǔn)確率。

判別分析; 人臉識(shí)別; 特征提取; 圖像分類

人臉圖像數(shù)據(jù)在原輸入空間中具有極高的維度(常高于104)。盡管如此，圖像數(shù)據(jù)中通常存在隱含的非常低維的子流形[1]。將局部信息用于高維圖像數(shù)據(jù)的判別分析是目前非常重要的研究方向[2]。

傳統(tǒng)的分析方法以主元分析(PCA)[3]和Fisher線性判別分析(FDA)[4]為代表。由于它們只關(guān)心全局的歐氏子空間結(jié)構(gòu)，因此處理多模態(tài)或者非高斯分布的數(shù)據(jù)比較困難?？紤]局部結(jié)構(gòu)的流形學(xué)習(xí)[1]是處理上述問(wèn)題的一種有效方法。流形方法可以分為線性和非線性投影方法。本文主要關(guān)注在人臉識(shí)別中適用的線性方法，該類方法可以得到明確的投影矩陣，便于計(jì)算新樣本在特征空間的投影。

文獻(xiàn)[5]提出局部保持投影(LPP)對(duì)拉普拉斯特征映射進(jìn)行線性逼近。LPP用于人臉識(shí)別(laplacianface)[6]獲得了優(yōu)于PCA和LDA的效果。局部Fisher判別分析(LFDA)[7]有效地結(jié)合了FDA和LPP的思想，通過(guò)局部變尺度方法(local scaling method)[8]構(gòu)建帶權(quán)重的連通圖，將類內(nèi)結(jié)構(gòu)分成多模態(tài)簇，而其最優(yōu)投影通過(guò)同時(shí)最小化局部類內(nèi)差異和最大化剩下的差異得到。間隔Fisher判別分析(MFA)[9]將LPP擴(kuò)展到類內(nèi)和類間子圖。MFA構(gòu)建一個(gè)本征圖和一個(gè)懲罰圖分別刻畫(huà)類內(nèi)的緊密性和類間的可分性。LFDA和MFA都得到了較好的識(shí)別準(zhǔn)確率，但LFDA在子流形呈多模態(tài)的情況下非常有效，MFA更適用于子流形連通且非凸的情況。

本文提出一種新的判別方法——局部間隔對(duì)齊(LMA)。LMA的類內(nèi)表示基于LPP方法；類間間隔的結(jié)構(gòu)描述為一種局部化的、類似FDA的類間方差。LMA方法能沿著對(duì)齊的類間局部間隔法向擴(kuò)展類內(nèi)子圖，并獲得一系列線性投影，通過(guò)正交化線性投影能得到一組子空間的正交基向量。最終，LMA的投影可以表示為一個(gè)保留原空間尺度結(jié)構(gòu)的旋轉(zhuǎn)映射。LMA參考了許多已存在算法的結(jié)構(gòu)保持特性，使其對(duì)多模態(tài)和非凸的子流形的判別分析都有較好的效果。

1 局部間隔對(duì)齊算法

圖1 兩類問(wèn)題的幾何結(jié)構(gòu)示意圖。

假設(shè)光滑的間隔區(qū)域Fb位于c類d維輸入數(shù)據(jù)間，如圖1b所示。對(duì)第i類數(shù)據(jù)，希望通過(guò)間隔區(qū)域獲取所有類之間的差異，找到局部的方向向量能將其與其他c-1類數(shù)據(jù)盡量分開(kāi)。注意到所有的類間鄰居都處于c-1類的靠近第i類的邊界上，因此所有的間隔區(qū)域Fb可以看作一個(gè)橫跨這些局部方向的子空間。通過(guò)對(duì)齊這些局部方向可以得到該子空間，就能最大分離所有的c類數(shù)據(jù)。

另外，真實(shí)世界的圖像和視頻數(shù)據(jù)中，類內(nèi)數(shù)據(jù)也有自身的低維結(jié)構(gòu)Fw，如圖1c所示。例如，人臉圖像不同的姿態(tài)、光線和表情的變化都能通過(guò)基于類內(nèi)鄰接圖的流形學(xué)習(xí)算法學(xué)習(xí)。因此允許預(yù)測(cè)新的輸入數(shù)據(jù)在特征空間的位置，從而進(jìn)一步提高投影的泛化能力。本文算法力求在輸入數(shù)據(jù)投影到特征空間時(shí)保留類內(nèi)的局部幾何結(jié)構(gòu)，完全不同于采用Fisher判別式最小化類內(nèi)變化的傳統(tǒng)方式。本文算法的主要思想為：(1)通過(guò)對(duì)齊類間局部間隔來(lái)最大化類間的可分性；(2)通過(guò)對(duì)齊類內(nèi)結(jié)構(gòu)保證類內(nèi)的泛化能力。

1.1 類間局部間隔

首先，對(duì)數(shù)據(jù)點(diǎn)xt(t=1,2,…,n)進(jìn)行局部間隔建模。不失一般性，考慮k局部線性可分的情況。

定義 如果存在線性分類器將數(shù)據(jù)點(diǎn)x與k個(gè)最近的類間鄰居分開(kāi)，則稱x是k局部線性可分的。

圖2 局部線性可分的幾何解釋

1.2 類內(nèi)局部結(jié)構(gòu)

1.3 線性局部間隔對(duì)齊

非線性映射可以使高維數(shù)據(jù)的潛在幾何結(jié)構(gòu)在可視化的低維子空間顯示出來(lái)。但是，在實(shí)際使用中，尤其是聚類和圖像識(shí)別等情況下，需要在輸入新數(shù)據(jù)進(jìn)行樣本外擴(kuò)展時(shí)進(jìn)行全局鄰居搜索。而線性投影由于具有閉合解析解，計(jì)算復(fù)雜度大大降低，所以具有相當(dāng)?shù)膽?yīng)用優(yōu)勢(shì)。

經(jīng)過(guò)投影，類內(nèi)鄰近的一對(duì)數(shù)據(jù)在特征空間也是相互靠近的，而不同類的數(shù)據(jù)則相互分離。另外，本文算法還具有相隔較遠(yuǎn)同類數(shù)據(jù)不會(huì)被強(qiáng)迫靠近在一起的特性。

2 實(shí)驗(yàn)與討論

為了驗(yàn)證本文局部間隔對(duì)齊算法的有效性，使用如圖3和圖4所示的Yale Face Database B[10]和UMIST face database[11]數(shù)據(jù)庫(kù)與LPP、FDA、LFDA和MFA算法進(jìn)行對(duì)比。

圖3 Yale B數(shù)據(jù)庫(kù)中的兩個(gè)被試的部分樣本

圖4 UMIST中的某被試的部分樣本

由于輸入的高數(shù)據(jù)維數(shù)帶來(lái)的矩陣病態(tài)，實(shí)驗(yàn)數(shù)據(jù)統(tǒng)一使用線性PCA進(jìn)行預(yù)處理(選取特征值總和的前99.99%)。另外，由于局部方法的性能和選取的鄰居個(gè)數(shù)有關(guān)，在實(shí)驗(yàn)中使用統(tǒng)一的鄰居數(shù)k(簡(jiǎn)化起見(jiàn)MFA和LMA中kw=kbk)。每一個(gè)圖片集被分成測(cè)試集(R)和訓(xùn)練集(E)兩部分。以“R4Ek3”為例，表示對(duì)每一個(gè)人隨機(jī)地選取4張訓(xùn)練圖片，所有沒(méi)有用于訓(xùn)練的圖片作為測(cè)試集，鄰居數(shù)k=3。分類算法使用k近鄰分類器。

2.1 Yale B人臉數(shù)據(jù)集

該數(shù)據(jù)庫(kù)包含10個(gè)對(duì)象的各576張圖像，共計(jì)9種姿態(tài)×64種光照條件的5 760張灰度圖片，圖像尺寸被統(tǒng)一為100×100像素點(diǎn)。其中姿態(tài)的不連續(xù)變化使得數(shù)據(jù)潛在的子流形呈多簇，而光照的連續(xù)變化使得數(shù)據(jù)分布連通非凸。所有算法選取不同的隨機(jī)訓(xùn)練集20次，平均識(shí)別準(zhǔn)確度(%)比較結(jié)果見(jiàn)表1和表2。表1中的類根據(jù)對(duì)象標(biāo)記，隨機(jī)選擇10人每人576張圖片中的1 000張(100張/人)作為訓(xùn)練集，剩余的4 760張作為測(cè)試集。表2中的類根據(jù)姿態(tài)標(biāo)記，隨機(jī)選擇的9×100張圖片作為訓(xùn)練集，剩余的4 860作為測(cè)試集。表1和表2的實(shí)驗(yàn)結(jié)果表明LMA的性能優(yōu)于所對(duì)比的其他算法。

表1 Yale B上識(shí)別被試身份的比較結(jié)果

表2 yaleB上識(shí)別被試姿態(tài)的比較結(jié)果

2.2 UMIST人臉數(shù)據(jù)集

該數(shù)據(jù)集包含20個(gè)對(duì)象共564張人臉圖像，每個(gè)對(duì)象都包含從正面到側(cè)面的連續(xù)姿態(tài)變化，類內(nèi)結(jié)構(gòu)隨著訓(xùn)練集的增加由多模態(tài)變?yōu)檫B通的單模態(tài)。所有算法選取不同的隨機(jī)訓(xùn)練集50次，平均識(shí)別準(zhǔn)確度(%)比較結(jié)果如表3所示。隨著訓(xùn)練集的增加，F(xiàn)DA和LPP的準(zhǔn)確率與LFDA、MFA和LMA逐步接近。這是由于訓(xùn)練集越大，類內(nèi)局部結(jié)構(gòu)越趨于連通非凸而非多模態(tài)，于是LPP、LFDA、MFA和LMA的局部保持作用被減弱。另外，LFDA和MFA在投影維度較小時(shí)都有穩(wěn)定的識(shí)別率。LFDA在訓(xùn)練集稀疏時(shí)表現(xiàn)優(yōu)秀，而MFA更適合訓(xùn)練集稠密的情況。從表3可見(jiàn)LMA的準(zhǔn)確率和穩(wěn)定性優(yōu)于所對(duì)比的算法。

表3 UMIST數(shù)據(jù)集上相關(guān)算法比較結(jié)果

3 結(jié) 論

本文提出了一種將局部信息結(jié)合進(jìn)線性判別分析的局部間隔對(duì)齊算法，該方法使用局部的相鄰關(guān)系來(lái)增大類間差異，并且類內(nèi)結(jié)構(gòu)被保存到與類間間隔區(qū)域?qū)R的子空間中，使得該方法比LPP、FDA、LFDA和MFA更可靠地保留了類內(nèi)和類間的子流形結(jié)構(gòu)。在人臉數(shù)據(jù)集上的實(shí)驗(yàn)證明，本文方法比相關(guān)算法有更高的識(shí)別準(zhǔn)確率。下一步將改進(jìn)算法來(lái)以解決欠采樣數(shù)據(jù)或不完整的數(shù)據(jù)分類問(wèn)題，擬引入自適應(yīng)的鄰居選擇策略。

本文研究工作得到電子科技大學(xué)青年科技基金(L08010601JX0674)的資助，在此表示感謝。

[1]TENENBAUM J B, SILVA V D, LANGFORD J C. A global geometric framework for nonlinear dimensionality reduction[J]. Science, 2000, 290: 2319-2323.

[2]蒲曉蓉, 鄭自明, 周 偉. 基于子空間投影的殘缺人臉圖像識(shí)別新算法[J]. 電子科技大學(xué)學(xué)報(bào), 2006, 35(2):208-220.

[3]TURK M, PENTLAND A. Eigenfaces for recognition[J].Journal of Cognitive Neuroscience, 1991, 3(1): 71-86.

[4]BELHUMEUR P N, HEPANHA J P, KRIEGMAN D J.Eigenfaces vs fisherfaces: Recognition using class specific linear projection[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 1997, 19(7): 711-720.

[5]HE X, NIYOGI P. Locality preserving projections[C]//Proceedings of Neural Information Processing Systerm.Vancouver, Canada: MIT Press, 2003: 153-160.

[6]HE X, YAN S, HU Y, et al. Face recognition using laplacianfaces[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2005, 27(3): 328-340.

[7]SUGIYAMA M. Dimensionality reduction of multimodal labeled data by local Fisher discriminant analysis[J]. Journal of Machine Learning Research, 2007, 8: 1027-1061.

[8]ZELNIK M L, PERONA P. Self-tuning spectral clustering[C]//Advances in Neural Information Processing Systems.Cambridge: MIT Press, 2005: 1601-1608.

[9]YAN S, XU D, ZHANG B, et al. Graph embedding and extensions: a general framework for dimensionality reduction[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2007 , 29(1): 40-51.

[10]GEORGHIADES A S, BELHUMEUR P N, KRIEGMAN D J. From few to many: Illumination cone models for face recognition under variable lighting and pose[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2001, 3(6):643-660.

[11]GRAHAM D B, ALLINSON N M. Face recognition: from theory to applications[M]. [S.l.]: Springer, 1998: 446-456.

編 輯 蔣 曉

Discriminant Analysis of Face Images by Local Margin Alignment

PU Xiao-rong, FAN Ke, and HUANG Dong

(School of Computer Science and Engineering, University of Electronic Science and Technology of China Chengdu 611731)

This paper proposes a new approach to perform the discriminant analysis on the labelled high dimensional image data with intra-class sub-manifolds. Real world images are usually taken from the different camera views. Pose, illumination, glasses and gender of the persons taking the facial images usually lead to multi-modality or high curvature of the underlying manifold structures. These variations result in the degraded performance of many existing algorithms. This paper proposes to preserve the within-class local structure, while imposing constrain on the variances only in the directions normal to the between-class margin. The experiments on Yale-B and UMIST face database show that the proposed algorithm outperforms many approaches such as LPP(locality preserving projections)and FDA (fisher discriminant analysis).

discriminant analysis; face recognition; feature extraction; image classification

TP39

A

10.3969/j.issn.1001-0548.2010.06.023

2009- 04- 15;

2010- 03- 28

國(guó)家自然科學(xué)基金 (60973070); 四川省產(chǎn)業(yè)技術(shù)與開(kāi)發(fā)項(xiàng)目

蒲曉蓉(1969- )，女，博士，主要從事生物特征識(shí)別、計(jì)算智能等方面的研究.