基于卷積神經網絡和PCA的人臉識別

邢 玲，馮 倩，穆國旺

（河北工業大學 理學院，天津 300401）

基于卷積神經網絡和PCA的人臉識別

邢 玲，馮 倩，穆國旺

（河北工業大學 理學院，天津 300401）

主要研究了在基于深度學習的人臉識別算法中，對于由深度卷積神經網絡提取得到的人臉特征進行降維處理是否有助于提高人臉識別的準確率．利用VGG網絡模型提取人臉圖像的深度特征，然后利用主成分分析（PCA）對提取到的深度特征進行降維，最后利用余弦分類器進行分類識別，并在LFW人臉庫上進行實驗．實驗結果表明通過PCA降維后的深度特征具有較高識別率．

模式識別；人臉識別；深度學習；卷積神經網絡；主成分分析

0 引言

人臉識別作為一種生物特征識別技術，是近年來模式識別、圖像處理、機器視覺、神經網絡以及認知科學等領域研究的熱點課題之一．同時人臉識別作為一種高穩定性、難以復制、精度高、易于被人接受的生物特征識別技術，在身份認證、安防監控、人機交互等領域具有廣泛的應用前景．目前人臉識別算法主要可以分為以下幾類：

1）基于幾何結構的方法．基本思想是利用一組幾何特征矢量來表示人臉面部拓撲結構的幾何關系，從而將識別過程轉換為特征矢量之間的匹配，并采用歐式距離進行相似性度量．這種方法對特征點對齊的準確性要求較高，因此這種方法的實用性具有一定的限制．

2）基于子空間的方法．將高維的人臉圖像特征通過空間變換壓縮到一個低維的子空間中，使原始樣本特征在這個低維子空間中更易于分類是基于子空間方法的基本思想．代表算法有主成分分析（PCA）[1]、線性鑒別分析（LDA）[2]、獨立分量分析（ICA）[3]等．子空間方法是目前人臉識別的主流算法．

3）基于局部特征的方法．該方法用局部特征組成的拓撲結構描述人臉的整體特征，通過統計所有局部特征的相似度來完成最終識別．典型的局部特征有LBP特征[4]，HOG特征[5]和Gabor[6]特征等．

近年來，深度學習成為了機器學習領域的一個研究熱點，并且在計算機視覺、圖像識別、語音識別、自然語言理解等領域得到了廣泛的應用，取得了非常好的效果．基于卷積神經網絡的深度學習方法在人臉識別方面也受到了人們的重視，并得到了應用[7-10]．

卷積神經網絡是一種帶有卷積結構的深度神經網絡．1989年，LeCun等人[11]在手寫數字識別中采用神經網絡誤差反向傳播算法，在網絡結構設計中加入特征圖像與權值共享．1998年，LeCun等人[12]提出用于文檔識別的卷積神經網絡（Convolutional Neural Networks，CNN），為了保證一定程度的平移、尺度、畸變不變性，CNN設計了局部感受野，共享權重以及空間和時間下采樣，提出用于字符識別的卷積神經網絡LeNet-5．2012年，Krizhevsky等人[13]采用稱為A lexNet的CNN在ImageNet競賽圖像分類任務中取得了最好的成績，是CNN在大規模圖像分類中的巨大成功．在A lexNet之后，研究者又進一步改善網絡性能，提出能有效分類檢測的R-CNN[14]，SPP-net[15]GoogLeNet[16]和VGG[17]等模型．

在利用深度學習方法進行人臉識別時，一般的做法是直接利用訓練好的神經網絡得到識別結果，或者利用訓練好的深度神經網絡提取圖像特征，然后利用分類器進行識別．因為一般認為通過深度學習得到的圖像特征已經具有很好的稀疏性和特征表達能力，因而一般不對其進行降維處理．

本文將研究在基于深度學習的人臉識別中，對于由深度網絡提取得到的特征向量進行降維處理是否能夠進一步提高識別率．本文采用VGG網絡提取人臉特征，然后分別對其進行PCA降維處理，并在LFW人臉數據庫上進行了實驗．

1 卷積神經網絡

卷積神經網絡（Convolutional Neural Networks，CNN）是一種為了處理二維輸入數據而特殊設計的多層人工神經網絡，網絡中的每層都由多個二維平面組成，而每個平面由多個獨立的神經元組成，相鄰兩層的神經元之間存在連接，而同一層中的神經元沒有連接關系．CNN是深度神經網絡的一種，它的底層主要提取一些與邊緣、角度、輪廓相關信息，具有一定的通用性．它的高層逐漸提取出一些圖像的結構信息．通常而言，層數越多，提取到的信息越全面．CNN和其它網絡的主要區別在于，一方面，相鄰兩層之間的神經元之間的連接是非全連接的，另一方面，同一層上的神經元同其它層的神經元的連接是權值共享的．這樣CNN能夠有效降低網絡模型的學習復雜度，由于具有更少的網絡連接數和權值參數，從而更容易訓練．

CNN是一個多層的神經網絡，由多個卷積層和子采樣層交替組成，而每層由多個獨立神經元組成,圖1所示是一個簡單的CNN網絡結構．

圖1 一個簡單的CNN網絡的結構Fig.1 A simple CNN network

1.1 卷積層

圖1中的CNN由2個卷積層和2個子采樣層交替組成．C標識的為卷積層，也稱為特征提取層，每個神經元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部的特征被提取后，它與其他特征向量間的位置關系也隨之確定下來．

1.2 子采樣層

S標示層為子采樣層，也稱為特征映射層，負責將C層獲得的特征圖進行子采樣，使提取的特征圖具有縮放、旋轉、平移等不變性．子采樣層能降低特征圖的維度，減少網絡訓練參數、加快網絡收斂速度，防止過擬合．本文所用的VGG網絡的子采樣層采用最大值采樣，采樣大小為2×2，即把輸入的特征圖分割成不重疊的2×2大小的矩形，對每個矩陣取最大值，所以輸出特征圖的長和寬均是輸入特征圖的一半．比如卷積層大小為3×24×24，則在子采樣層的大小就成為3×12×12，如圖2所示.

圖2 子采樣示例Fig.2 Exampleof sub-sampling

1.3 全連接層

為增強網絡的非線性映射能力，同時限制網絡規模的大小，網絡在卷積層與子采樣層交替提取特征后，接著進入一個全連接層，該層的每一個神經元與前一層的所有神經元互相連接，同層神經元之間不連接．數學表達式[18]為

總之，卷積神經網絡相比于一般神經網絡在人臉識別中有突出的優點：1）網絡結構能夠較好的適應圖像的結構；2）同時進行特征提取和分類，使得特征提取更加有效，有助于下一步的特征分類；3）非全連接以及權值共享可以減少網絡的訓練參數，使得神經網絡結構變得簡單、適應性更強．

2 VGG網絡模型

VGG網絡[17，19]是一種深度卷積神經網絡，深層的網絡能提取圖像中更深層的特征，有較高的特征提取能力．本文利用的VGG網絡配置如下：

卷積層濾波器的尺寸為3×3，卷積的間隔為s=1．這樣設置的目的是因為多個3×3的卷積層可以代替大的濾波器的尺寸，同時比一個大尺寸的濾波器有更少的參數，而且有更多的非線性，使得判決函數更加具有區分能力．然后通過激活函數對卷積層所提取的特征進行非線性處理，增加網絡的非線性表達能力．下采樣層的濾波器大小為2×2，間隔s=2．VGG網絡的結構參數如圖3.

這個模型有5個max-pooling層，所以是5階段卷積特征提取．每層的卷積個數從首階段的64個開始，每個階段增長一倍，直到達到最高的512個，然后保持．

基本結構A：

B：在A的stage2和stage3分別增加一個3×3的卷基層，10個卷積層，總計13層．

C：在B的基礎上，stage3，stage4，stage5分別增加1×1的卷積層，13個卷基層，總計16層．

D：在C的基礎上，stage3，stage4，stage5分別增加3×3的卷積層，13個卷基層，總計16層．

E：在D的基礎上，stage3，stage4，stage5分別增加3×3的卷積層，16個卷基層，總計19層．

本文將網絡第35層的輸出向量作為特征向量，特征維數為4 096維，然后對提取得到的特征分別進行PCA降維．

3 實驗結果與分析

由于早期的人臉數據庫，例如Yale，ORL，AR等人臉庫，或者圖像數量太少，或者是在可控的實驗室環境采集，光照、表情、姿勢變換不大，隨著人臉識別算法的成熟，在這些庫上識別率已經很高．人臉識別的挑戰主要是當光照、表情、姿勢、年齡變換比較大時，識別率還不是很理想．為此，近些年人們將研究的重點轉向了非約束的自然環境下人臉識別的研究．另外，近年來國內外研究者提出了很多人臉識別算法．為了研究在自然環境下拍攝得到的人臉圖像的識別問題，并且對各種不同的人臉識別算法進行比較，馬薩諸塞大學（University of Massachusetts）計算機視覺組采集了一個用于人臉識別的數據庫-LFW人臉數據庫[20]．本文采用LFW（Labeled Faces in the Wild）人臉庫[20]進行實驗．該數據庫包含了從網絡上收集得到的5749個人的13 000多幅圖像，其中，1 680人有2張以上的圖片．LFW包括2個視圖，視圖A用于算法設計階段，視圖B用于算法的評估．其中，視圖B由100個子集構成，每個子集包含600對人臉圖像，其中300對屬于正樣本（每一對圖像來自同一個人），另外300對屬于負樣本（每一對圖像來自不同的人）．

圖3 VGG模型網絡結構示意圖Fig.3 VGG model of network structure diagram

圖4給出了經過歸一化后的部分LFW圖像示例．

基于LFW的人臉識別實驗有多種協議，包括無監督（unsupervised）方式，限制（Restricted）的方式，和非限制（Unrestricted）方式等．本文采用非限制方式等，即：在訓練樣本中，假設圖像對（A,B）和（B, C）都是正樣本，則可以將（A,C）作為正樣本添加到訓練集中．和所有LFW的實驗相同，本文采用10折交叉驗證的方法．即：首先提取所有圖像的深度特征，然后，每次用視圖B中的9個子集作為訓練樣本進行基于PCA或者LDA的子空間學習和余弦分類器訓練，并確定最佳的距離閾值，用剩下的一個子集進行測試，重復10次，最后計算10次的正確識別率，用于對算法進行評價．

圖4 歸一化的LFW圖像示例Fig.4 Examples of normalized LFW images

利用VGG模型對LFW數據庫中的人臉圖片進行深度特征提取，選擇該模型中第35層的輸出作為特征，接著對提取到的深度特征分別進行PCA降維，最后利用余弦距離進行分類，實驗結果如表1所示．

表1 PCA不同維數下識別率Tab.1 PCA under different dimensions recognition rate

從表1中可以看出，將得到的深度特征直接進行分類識別，識別率為92.73%；將深度特征先進行PCA降維，再進行分類識別，則識別率隨著維數的不同而不同，但是都高于不降維的結果．當將維數降為800時識別結果最好，為93.28%．

4 結論

本文首先通過卷積神經網絡VGG模型提取了圖像的深度特征，接著對提取到的特征分別進行PCA降維，最后通過余弦分類方法進行人臉識別．將提出的方法在LFW人臉庫上進行實驗，結果表明將提取到的深度特征先進行PCA降維再進行識別，可以提高識別率．

[1]Perlibakas V．Measures for PCA-based Face Recognition[J]．Pattern Recognition Letters，2004，25（6）：711-724．

[2]Highleyman W H．Linear decision functions，with application to pattern recognition[J]．Proceedings of the IRE，1962，50（6）：1501-1514．

[3]Jutten C，Herault J．Blind separation of sources，Part I：Anadaptive algorithm based on neuromimetic architecture[J]．Signal processing，1991，24（1）：1-10．

[4]Ahonen T，Hadid A，Pietikainen M．Face Recognition With Local Binary Patterns[C]//Proc European Conf computer Vision，2004：469-481．

[5]Monzo D，Albiol A，Sastre J．HOG-EBGM vs Gabor-EBGM[C]//International conference on Image Processing．San Diego，2008：12-15．

[6]Yang M，Zhang L．Gabor feature based sparse representation for face recognition with gabor occlusion dictionary[C]//Proceedings of Computer Vision-ECCV 2010．Crete，Greece：Springer Berlin Heidelberg，2010：448-462．

[7]Taigman Y，Yang M，Ranzato M，et al．DeepFace:Closing the Gap to Human-Level Performance in Face Verification[C]//Proceedings of the IEEE Interna-tional Conference on Computer Vision and Pattern Recognition．Columbus，OH，USA，2014：1701-1708．

[8]Sun Y，Wang X，Tang X．Deeply learned face representations are sparse，selective，and robust[J]．Computer Science，2014：2892-2900．

[9]Szegedy C，Liu W，Jia Y，et al．Going deeper with convolutions[C]//IEEE Conference on Computer Vision&Pattern Recognition．IEEE，2015：1-9．

[10]Schroff F，Kalenichenko D，Philbin J．FaceNet:A unified embedding for face recognition and clustering[C]//IEEE Conference on Computer Vision&Pattern Recognition．IEEE，2015：815-823．

[11]Lecun Y，Boser B，Denker J S，et al．Backpropagation applied to handwritten zip code recognition[J]．Neural Computation，1989，1（4）：541-551．

[12]Lecun Y，Bottou L，Bengio Y，et al．Gradient-based learning applied to document recognition[J]．Proceedings of the IEEE，1998，86（11）：2278-2324．

[13]Krizhevsky A，Sutskever I，Hinton GE．Image Net Classification with Deep Convolutional Neural Networks[J]．Advances in Neural Information Processing Systems，2012，25（2）：2012．

[14]Girshick R，Donahue J，Darrell T，et al．Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]．Computer Science，2014：580-587．

[15]He K，Zhang X，Ren S，et al．Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J]．IEEE Transactions on Pattern Analysis&Machine Intelligence，2014，37（9）：1904-1916．

[16]Szegedy C，Liu W，Jia Y，et al．Going deeper with convolutions[C]//IEEE Conference on Computer Vision&Pattern Recognition．Boston，IEEE，2015：1-9．

[17]Simonyan K， Zisserman A．Very deep convolutional networks for large-scale image recognition[EB/OL]．[2016-03-16]．http://arxiv.org/ abs/1409.1556．

[18]Syafeeza A R，Khalil-Hani M，Liew S S，et al．Convolutional Neural Network for Face Recognition with Pose and Illumination Variation[J]．International Journal of Engineering&Technology(0975-4024)，2014，6（1）：498-519．

[19]Parkhi O M，Vedaldi A，Zisserman A．Deep Face Recognition[C]//British Machine Vision Conference．2015．

[20]Huang G B，Ramesh M，Berg T，et al．Labeled faces in thew ild:A database for studying face recognition in unconstrained environments[R]．Technical Report07-49，University of Massachusetts，Amherst，2007．

[責任編輯 楊 屹]

Face recognition based on convolution neural network and PCA

XING Ling，FENG Qian，MU Guowang

(School of Science,Hebei University of Technology,Tianjin 300401,China)

The paper mainly discusses whether dimension reduction is useful for improving the accuracy of face recognition when the features are extracted using deep neural network in face recognition.The deep features of facial images are extract with pre-trained VGG network,and then the dimension of the features is reduced with principal component analysis (PCA)method,finally,cosine classifier is used for face recognition.Experiments on LFW face database are conducted. Experimental results show that the deep feature after dimension reduction with PCA has a high recognition rate.

pattern recognition;face recognition;deep learning;convolutional neural network(CNN);principle component analysis(PCA)

TP387

A

1007-2373(2015)05-0044-06

10.14081/j.cnki.hgdxb.2015.05.007

2016-08-10

邢玲（1990-），女（漢族），碩士生．通訊作者：穆國旺（1970-），男（漢族），教授．