一種基于視覺(jué)詞袋模型的人臉識(shí)別方法

王 玲，呂江靖，程 誠(chéng)，周 曦

(中國(guó)科學(xué)院 重慶綠色智能技術(shù)研究院 智能多媒體中心，重慶 400714)

一種基于視覺(jué)詞袋模型的人臉識(shí)別方法

王 玲，呂江靖，程 誠(chéng)，周 曦

(中國(guó)科學(xué)院 重慶綠色智能技術(shù)研究院 智能多媒體中心，重慶 400714)

針對(duì)人臉圖像因受表情、光照、角度等因素影響，導(dǎo)致人臉識(shí)別率較低的狀況，提出了一種基于視覺(jué)詞袋模型的人臉識(shí)別方法。該方法首先對(duì)圖像進(jìn)行分塊并提取局部特征，其次利用訓(xùn)練樣本的所有局部特征訓(xùn)練全局的混合高斯模型，然后以此為初始化訓(xùn)練單張圖像的混合高斯模型，生成該圖像全局特征向量，最后用PLDA進(jìn)行人臉識(shí)別。通過(guò)在LFW數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，結(jié)果顯示該方法的識(shí)別率高于傳統(tǒng)的特征提取方法，證明其具有更強(qiáng)的識(shí)別性能。

視覺(jué)詞袋模型；人臉識(shí)別；混合高斯模型；特征提取

1 詞袋模型簡(jiǎn)介

人臉識(shí)別作為計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域的一個(gè)重要研究方向，已經(jīng)在身份認(rèn)證、視覺(jué)監(jiān)控以及自動(dòng)通關(guān)等方面得到了廣泛應(yīng)用。雖然近年來(lái)人臉識(shí)別取得了長(zhǎng)足的進(jìn)步，但是仍受到一些因素的制約，如人臉角度、光照條件、表情以及年齡變化等主客觀因素。為了減少這些因素對(duì)人臉識(shí)別準(zhǔn)確率的影響，需要持續(xù)的算法研究作為支撐。

詞袋模型[1]作為文本建模中的經(jīng)典模型，因其簡(jiǎn)單、有效的優(yōu)點(diǎn)被廣泛應(yīng)用于文本處理領(lǐng)域，用來(lái)對(duì)文檔進(jìn)行分類和識(shí)別。目前，詞袋模型已被應(yīng)用到圖像處理領(lǐng)域[2]，用來(lái)進(jìn)行圖像分類，即通過(guò)將一幅圖像看成是由一系列視覺(jué)單詞組成的文章，實(shí)現(xiàn)圖像的高速分類，是一種有效的基于圖像語(yǔ)義特征提取與描述的圖像分類算法。人臉識(shí)別的主要思想是對(duì)人臉圖像進(jìn)行分類判別，將同一個(gè)人的圖片歸為一類，屬于經(jīng)典的圖像分類問(wèn)題。基于詞袋模型的人臉特征編碼過(guò)程如圖1所示：首先，對(duì)圖片庫(kù)里所有的人臉圖像進(jìn)行分塊；其次，對(duì)每塊區(qū)域提取特征(如LBP、HOG、SIFT)形成局部特征描述子；然后，對(duì)所有局部特征進(jìn)行量化形成字典(如k-mean，GMM)；最后，通過(guò)用字典對(duì)單張人臉圖像的所有局部特征進(jìn)行編碼，形成該人臉圖像的全局特征向量。

圖1 基于詞袋模型的人臉特征編碼過(guò)程

2 相關(guān)研究

基于經(jīng)典的詞袋模型結(jié)構(gòu)，研究者們提出了很多種基于詞袋模型的特征編碼方法。Hu等人提出了基于矢量量化(VQ)編碼方法[3]，該編碼方法先對(duì)圖庫(kù)中所有圖像提取局部特征，利用k均值算法聚類得到包含K個(gè)聚類中心(μ1,μ2,…,μK)的視覺(jué)字典。當(dāng)給定一幅新圖像時(shí)，提取N個(gè)局部特征x1,x2,…,xN，將N個(gè)局部特征硬量化編碼分配到聚類中心得到相應(yīng)的系數(shù)qki，最后統(tǒng)計(jì)屬于每個(gè)聚類中心的局部特征的個(gè)數(shù)，形成局部特征的統(tǒng)計(jì)直方圖。Wang等人提出了局部約束線性編碼方法(LLC)[4]，該方法是加入局部線性約束的空間金字塔匹配算法。LLC同樣使用k均值聚類得到K個(gè)聚類中心，構(gòu)成視覺(jué)字典；然后，對(duì)給定圖像的每一個(gè)局部特征，計(jì)算與其相似的k個(gè)空間相鄰的視覺(jué)關(guān)鍵詞來(lái)稀疏表示；最后，通過(guò)空間金字塔匹配算法(Spatial Pyramid Matching，SPM)[5]，將圖像劃分為不同大小的區(qū)域進(jìn)行池化(pooling)，形成LLC特征。Simonyan 等人提出了Fisher 編碼方法[6]，該方法首先對(duì)圖庫(kù)中所有圖像分塊并提取局部特征；再使用EM算法訓(xùn)練全局的GMM；最后，計(jì)算一幅圖像所有局部特征與全局GMM中每個(gè)高斯中心的一階、二階差分的平均值，拼接形成Fisher特征向量。Jégou 等人提出的VLAD編碼方法[7]與Fisher編碼方法類似，只是在最后生成基于圖像的特征向量時(shí)，利用了局部特征與全局混合高斯模型聚類中心的殘差信息。然而，這些編碼方法對(duì)局部特征進(jìn)行簡(jiǎn)單硬量化或利用差異信息進(jìn)行特征編碼，無(wú)法對(duì)局部特征的分布進(jìn)行精確描述，使得人臉識(shí)別的準(zhǔn)確率降低。

針對(duì)這些問(wèn)題，本文提出了基于混合高斯模型(GMM)的特征編碼方法，在下文中簡(jiǎn)稱為GMMC。GMM作為概率密度估計(jì)中最常用的統(tǒng)計(jì)模型，其主要特性是只要擁有足夠數(shù)量的高斯個(gè)數(shù)就能對(duì)任意復(fù)雜的分布進(jìn)行精確的量化，因此被廣泛用來(lái)描述各種復(fù)雜分布。因此，GMMC能在一定程度上解決上述方法在編碼過(guò)程中的信息丟失或者失真的問(wèn)題。

3 GMMC的基本原理

GMMC同F(xiàn)isher編碼一樣，首先對(duì)人臉圖像進(jìn)行分塊，提取局部特征，再訓(xùn)練圖庫(kù)的混合高斯模型。其創(chuàng)新點(diǎn)是在對(duì)單張圖片的局部特征進(jìn)行編碼的過(guò)程中，F(xiàn)isher編碼只是求取每個(gè)局部特征與高斯中心的一階、二階差分的平均值，拼接形成圖片的全局特征向量，而GMMC卻用單張圖片所有的局部特征來(lái)求基于圖片的全局GMM，然后提取該圖像的全局特征向量。在此過(guò)程中，GMMC充分利用了混合高斯模型的優(yōu)勢(shì)，更準(zhǔn)確地描述了圖像的局部特征。

3.1 局部特征提取

在詞袋模型中，圖像的局部特征被稱為視覺(jué)單詞(visual words)，對(duì)圖庫(kù)中所有視覺(jué)單詞進(jìn)行聚類量化形成的聚類中心被稱為視覺(jué)關(guān)鍵字(visual keywords)，所有視覺(jué)關(guān)鍵字組成視覺(jué)字典(visual codebook)。

3.1.1 人臉圖像預(yù)處理

對(duì)給定的人臉圖像通過(guò)人臉檢測(cè)器定位人臉位置，再根據(jù)人臉檢測(cè)框的位置，使用SDM算法[8]進(jìn)行關(guān)鍵點(diǎn)檢測(cè)定位，最后利用關(guān)鍵點(diǎn)信息對(duì)人臉進(jìn)行對(duì)齊，生成160×160大小的灰度圖像，人臉對(duì)齊流程如圖2所示。

圖2 人臉對(duì)齊流程

3.1.2 局部特征提取

方向梯度直方圖(Histogram of Oriented Gradient，HOG)特征[9]是通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征，對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化等具有較強(qiáng)的穩(wěn)定性，因此選用HOG描述子來(lái)提取圖像的局部特征。人臉局部特征提取的具體過(guò)程如圖3所示：首先，把對(duì)齊后的每幅圖像以步長(zhǎng)為8邊長(zhǎng)分別為16，25，31的方形劃分成若干個(gè)子區(qū)域，并對(duì)每個(gè)子區(qū)域提取128維的HOG特征；然后，用PCA把128維HOG局部特征降到50維；最后，為了保留每個(gè)局部特征的空間位置信息，在每個(gè)降維后的局部特征中加入該區(qū)域的中心坐標(biāo)和邊長(zhǎng)[x,y,s]，形成53維的局部特征向量。

圖3 人臉局部特征提取過(guò)程

3.2 全局混合高斯模型的生成

全局混合高斯模型的訓(xùn)練對(duì)應(yīng)于經(jīng)典詞袋模型中的字典生成階段。

(1)

隨機(jī)初始化參數(shù)為

(2)

1)E-step

計(jì)算每一個(gè)訓(xùn)練樣本xt屬于第k個(gè)高斯的后驗(yàn)概率

(3)

式中：n表示第n次迭代。

2)M-step

計(jì)算新的一組參數(shù)

(4)

(5)

(6)

不斷迭代E-step和M-step直到參數(shù)收斂。

當(dāng)給定一個(gè)新樣本xi時(shí)，可以通過(guò)式(7)計(jì)算樣本xi屬于各個(gè)高斯的后驗(yàn)概率

(7)

3.3 基于圖像的混合高斯模型的生成

訓(xùn)練單幅圖像的混合高斯模型對(duì)應(yīng)于經(jīng)典詞袋模型中的特征編碼階段。由于單幅圖像擁有的局部特征數(shù)量相對(duì)較少，不能有效地對(duì)GMM進(jìn)行參數(shù)估計(jì)，因此利用全局的GMM作為初始化。最后，通過(guò)式(8)、式(9)計(jì)算圖像各個(gè)局部特征向量出現(xiàn)的最大后驗(yàn)概率(Maximum A Posteriori，MAP)，從而求解單幅圖像的GMM的參數(shù)

(8)

圖4 LFW庫(kù)中經(jīng)過(guò)關(guān)鍵點(diǎn)對(duì)齊的人臉圖像示例

其中

(9)

(10)

1)E-step

(11)

(12)

2)M-step：

(13)

(14)

3.4 全局圖像特征生成

當(dāng)求得基于單幅圖像的GMM參數(shù)后，圖像I的描述用以下向量表示

(15)

4 實(shí)驗(yàn)結(jié)果及分析

本文在LFW[11](Labeled Faces in the Wild)人臉數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)以驗(yàn)證所提出算法的可行性。

LFW數(shù)據(jù)庫(kù)是由美國(guó)馬薩諸塞大學(xué)阿姆斯特分校計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室整理完成，共收集5 749人共13 233張人臉圖像，提供了10組交叉驗(yàn)證集用于人臉識(shí)別性能評(píng)測(cè)，每組包含600對(duì)人臉，其中300對(duì)為同一個(gè)人的人臉圖像，另300對(duì)則不是。該數(shù)據(jù)庫(kù)由于包含了復(fù)雜光照、角度、表情等因素下的人臉，主要用于研究非限制條件下的人臉識(shí)別問(wèn)題，已成為學(xué)術(shù)界和工業(yè)界評(píng)測(cè)識(shí)別性能的基準(zhǔn)數(shù)據(jù)庫(kù)。本文在實(shí)驗(yàn)時(shí)，采用其中1組作為測(cè)試集，剩下的9組作為訓(xùn)練集，計(jì)算測(cè)試集的分類正確率，最后選取10次交叉驗(yàn)證結(jié)果的平均值作為每個(gè)方法的識(shí)別率。圖4為L(zhǎng)FW庫(kù)中經(jīng)過(guò)關(guān)鍵點(diǎn)對(duì)齊的人臉圖像示例。

本文對(duì)提取的全局人臉特征均使用概率線性判別分析(PLDA)[12-13]進(jìn)行人臉識(shí)別。PLDA主要通過(guò)計(jì)算類內(nèi)和類間的協(xié)方差矩陣，計(jì)算給定兩個(gè)人臉特征向量屬于同一個(gè)人和不同人的后驗(yàn)概率進(jìn)行分類判別。

為了評(píng)測(cè)本文提出的算法，在相同的實(shí)驗(yàn)設(shè)置下，對(duì)GMMC、VQ、LLC、Fisher和VLAD等方法在LFW上進(jìn)行了實(shí)驗(yàn)。

4.1 各種編碼方法在LFW庫(kù)上的識(shí)別結(jié)果

表1給出了各種編碼方法在LFW數(shù)據(jù)集上的識(shí)別率，其中字典大小均設(shè)定為256。實(shí)驗(yàn)結(jié)果顯示，在相同的實(shí)驗(yàn)設(shè)定下，GMMC的識(shí)別率最高，達(dá)到90.88%，證明了在這種情況下GMMC的識(shí)別性能優(yōu)于其他特征編碼方法。

表1 各種編碼方法在LFW數(shù)據(jù)集上的識(shí)別率

編碼方法評(píng)價(jià)精度±標(biāo)準(zhǔn)差GMMC09088±00002Fisher08935±00005VLAD08898±00005LLC08420±00002VQ08073±00006

4.2 比較不同局部特征對(duì)識(shí)別性能影響

為了評(píng)測(cè)不同局部特征對(duì)不同編碼方法識(shí)別率的影響，使用了其他兩種常用的局部特征描述子SIFT[14]和LBP[15]來(lái)做實(shí)驗(yàn)。其中，SIFT對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性；LBP特征是一種用來(lái)描述圖像局部紋理特征的算子，它具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點(diǎn)。

表2給出了各種編碼方法在不同特征特征下的識(shí)別率，字典大小仍然為256。結(jié)果顯示，除VQ外其他編碼方法均在使用HOG局部特征情況下的識(shí)別率為最高，但是GMMC的最佳識(shí)別率仍然是最高的。

表2 各種編碼方法在不同局部特征下的識(shí)別率

編碼方法HOGSIFTLBPGMMC090880889007480Fisher089350852707453VLAD088980885207705LLC084200835307700VQ080730825707797

4.3 比較不同字典大小對(duì)識(shí)別性能影響

為了評(píng)測(cè)不同字典大小對(duì)識(shí)別性能的影響，比較了各種編碼方法在不同字典大小下的識(shí)別率，其結(jié)果如表3所示。其中，GMMC、Fisher和VLAD均在字典大小為256時(shí)識(shí)別率最好，而LLC和VQ隨著字典增大，識(shí)別率顯著提升，當(dāng)字典大小為2 048時(shí)，LLC的識(shí)別率高于Fisher和VLAD。

表3 各種編碼方法在不同大小字典下的識(shí)別率

編碼方法字典大小12825651210242048GMMC0898309088090670901308812Fisher0891008935088850873208517VLAD0892208898087930869308435LLC0833808420085230867708795VQ0802808073082380825708298

5 小結(jié)

本文提出了一種新的基于詞袋模型的特征編碼方法。該方法在用字典對(duì)局部特征編碼階段并非使用簡(jiǎn)單的硬量化或者一些簡(jiǎn)單差分計(jì)算，而是通過(guò)生成基于圖像混合高斯模型的方式對(duì)圖像局部特征進(jìn)行編碼，能夠?qū)D像局部特征信息的分布進(jìn)行更精確的描述，提高了人臉識(shí)別率。另外，由于LFW數(shù)據(jù)庫(kù)中人臉的表情、角度以及光照等條件變化都很復(fù)雜，從表2和表3中也可以看出GMMC的最佳識(shí)別率高于其他幾種基于詞袋模型的編碼方法，說(shuō)明了GMMC具有較穩(wěn)定的識(shí)別性能，具有實(shí)用性。

[1] SIVIC J，ZISSERMAN A. Efficient visual search of videos cast as text retrieval[J].IEEE Trans. Pattern Analysis and Machine Intelligence，2009，31(4)：591-606.

[2] HUANG Y，WU Z，WANG L，et al. Feature coding in image classification：a comprehensive study[J].IEEE Trans. Pattern Analysis and Machine Intelligence，2014，36(2)：493-506.

[3] HU Y C，WEN C H，LO C C，et al. Image vector quantization using geometric transform and lossless index coding[J].Optical Engineering，2013，52(3)：402-410.

[4] WANG J，YANG J，YU K，et al. Locality-constrained linear coding for image classification[C]//Proc. 2010 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).[S.l.]:IEEE Press，2010：3360-3367.

[5] LAZEBNIK S，SCHMID C，PONCE J. Beyond bags of features：spatial pyramid matching for recognizing natural scene categories[C]//Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006.[S.l.]:IEEE Press，2006(2)：2169-2178.

[6] SIMONYAN K，PARKHI O M，VEDALDI A，et al. Fisher vector faces in the wild[C]//Proc. 13th European Conference on Computer Vision，2014.Zurich，Switzerland：Springer，2014：470.

[7] JéGOU H，DOUZE M，SCHMID C，et al. Aggregating local descriptors into a compact image representation[C]//Proc. 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).[S.l.]：IEEE Press，2010：3304-3311.

[8] XIONG X，TORRE F. Supervised descent method and its applications to face alignment[C]//Proc. 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).[S.l.]：IEEE Press，2013：532-539.

[9] DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Proc. 2005 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).[S.l.]：IEEE Press，2005：886-893.

[10] KOCH K R. Robust estimation by expectation maximization algorithm[J].Journal of Geodesy，2013，87(2)：107-116.

[11] HUANG G B，RAMESH M，BERG T，et al. Labeled faces in the wild：a database for studying face recognition in unconstrained environments[EB/OL].[2015-02-10].https://hal.archives-ouvertes.fr/inria-00321923/.

[12] LI P，F(xiàn)U Y，MOHAMMED U，et al. Probabilistic models for inference about identity [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(1)：144-157.

[13] LI Z，CHANG S，LIANG F，et al. Learning locally-adaptive decision functions for person verification[C]//Proc. 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).[S.l.]：IEEE Press，2013：3610-3617.

[14] LOWE D G. Object recognition from local scale-invariant features[C]//Proc. the 7th IEEE International Conference on Computer Vision，1999. [S.l.]：IEEE Press，1999：1150-1157.

[15] AHONEN T，HADID A，PIETIKAINEN M. Face description with local binary patterns：application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(12)：2037-2041.

王 玲(1989— )，女，碩士生，主要研究領(lǐng)域?yàn)槿四樧R(shí)別；

呂江靖(1990— )，博士生，主要研究領(lǐng)域?yàn)槿四樧R(shí)別、深度學(xué)習(xí)；

程 誠(chéng)(1982— )，助理研究員，主要研究領(lǐng)域?yàn)槿四樧R(shí)別、深度學(xué)習(xí)；

周 曦(1981— )，教授，博士生導(dǎo)師，主要研究領(lǐng)域人臉識(shí)別。

責(zé)任編輯：任健男

Face Recognition Method Based on Bags of Visual Words

WANG Ling, Lü Jiangjing, CHENG Cheng, ZHOU Xi

(DepartmentofIntelligentMultimediaTechnologyResearchCenter,ChongqingInstituteofGreenandIntelligentTechnology,ChineseAcademyofSciences,Chongqing400714,China)

In order to improve the state of low recognition rates because face images are affected by the factors of expression, light, pose，et al, a new encoding method based on bags of visual words is proposed. Firstly, all training images are sampled into local areas in a dense and local appearance feature descriptors are gained from the local areas. Next, global GMM is obtained from local feature descriptors of all training images. Then, using global GMM as initialization of every image from the test database, image-specified GMM is gotten from which the face feature vector generates. Finally, PLDA is used for face recognition. The experiments are carried on the databases of LFW and the results show that the recognition rates of the proposed method are higher than the other traditional feature extracting method, it proves that the proposed method has a stronger recognition performance.

bags of visual words; face recognition; GMM; feature extracting

中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)基金項(xiàng)目(XDA06040103)；國(guó)家自然科學(xué)基金項(xiàng)目(61472386)；重慶市科委科技攻關(guān)重大項(xiàng)目(cstc2012gg-sfgc4001)

TP391

A

10.16280/j.videoe.2015.17.027

2015-03-10

【本文獻(xiàn)信息】王玲，呂江靖，程誠(chéng)，等.一種基于視覺(jué)詞袋模型的人臉識(shí)別方法[J].電視技術(shù),2015，39(17).