基于卷積神經(jīng)網(wǎng)絡(luò)和PCA的低分辨率人臉識(shí)別

毛雅棋，樸燕，孟竹，崔煒

（長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022）

人臉識(shí)別（FR）由于其巨大的應(yīng)用價(jià)值，一直是被廣泛研究的領(lǐng)域［1-2］。盡管FR模型在受約束的高質(zhì)量圖像上取得了令人滿意的準(zhǔn)確率，但在例如視頻監(jiān)控之類的實(shí)際應(yīng)用中，由于相機(jī)與對(duì)象之間的距離較大，捕獲的人臉圖像通常是低分辨率（LR）。這極大地降低了那些針對(duì)高質(zhì)量圖像開發(fā)的人臉識(shí)別系統(tǒng)的準(zhǔn)確性［3］。同時(shí)數(shù)據(jù)庫(kù)中的圖像通常具有高分辨率（HR），因此，面臨的主要挑戰(zhàn)是解決分辨率不匹配問題和提高低分辨率人臉識(shí)別的準(zhǔn)確率。

本文針對(duì)實(shí)際應(yīng)用中人臉小尺寸和低質(zhì)量問題，對(duì)低分辨率人臉識(shí)別算法進(jìn)行系統(tǒng)研究，大致分為兩種方法［4］。（1）基于超分辨率（SR）的人臉識(shí)別算法。基于SR的算法通過分辨率重構(gòu)提升原圖像分辨率，將LR圖像轉(zhuǎn)換為HR圖像。但是大多數(shù)SR技術(shù)目的是產(chǎn)生視覺性能高的HR人臉圖像，并不是針對(duì)LR識(shí)別目的提供更好的識(shí)別精度。（2）基于子空間的方法，通常從LR和HR圖像提取特征向量并映射至同一空間中，再基于向量間距離預(yù)識(shí)別出分辨率圖像對(duì)應(yīng)類別。

本文對(duì)已有的方法做出改進(jìn)，并提出了一種全新的低分辨率人臉識(shí)別（LRFR）算法。首先訓(xùn)練SRCNN模型重建LR圖像；再訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型提取低分辨率和高分辨率人臉圖像的特征，投影到一個(gè)公共空間中。并使用PCA，對(duì)提取后的特征進(jìn)行篩選，去除特征向量中的噪聲和冗余，提高了該空間中的分類精度；最后使用SVM、向量間距離來預(yù)測(cè)圖像所屬類別。本文在兩個(gè)公開人臉數(shù)據(jù)集（LFW和FERET）上進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，與其他最先進(jìn)的算法相比，所提出的方法顯著改善了模型性能，并且提高了識(shí)別準(zhǔn)確率。本研究的主要貢獻(xiàn)如下：

（1）提出一個(gè)新穎的人臉識(shí)別算法，提供高分辨率版本的低分辨率輸入圖像，適用于低分辨率人臉識(shí)別；

（2）改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型，優(yōu)化損失函數(shù)，提升識(shí)別準(zhǔn)確率；

（3）使用PCA篩選特征，去除特征中的噪聲與冗余，提高運(yùn)算速度。

1 相關(guān)研究

為了解決探測(cè)圖像和圖庫(kù)圖像之間的不匹配問題，大部分研究者研究超分辨率技術(shù)重構(gòu)圖像，使用基于重構(gòu)、樣列、深度學(xué)習(xí)方法優(yōu)化SR重構(gòu)效果。

文獻(xiàn)［5］使用馬爾科夫網(wǎng)絡(luò)分別對(duì)高低分辨率圖像對(duì)之間，相鄰HR圖像塊之間進(jìn)行建模，對(duì)輸入的LR圖像搜索拼接得到對(duì)應(yīng)的HR圖像。文獻(xiàn)［6］將同一尺度下圖像自相似性和跨尺度的圖像相似性相結(jié)合，通過搜索—粘貼的方式逐級(jí)放大圖像，填充高頻細(xì)節(jié)，實(shí)現(xiàn)高分辨率重建。文獻(xiàn)［7］可通過稀疏分解將圖像變換到稀疏域，并假設(shè)樣本庫(kù)中LR-HR圖像對(duì)共享同一稀疏系數(shù)。對(duì)輸入的LR圖像利用LR字典計(jì)算其稀疏系數(shù)，將同樣的系數(shù)應(yīng)用于HR字典上生成HR特征，得到最終的重建HR圖像。文獻(xiàn)［8］首次將深度學(xué)習(xí)用于圖像SR，提出一個(gè)含三個(gè)卷積層網(wǎng)絡(luò)—SRCNN。ESPCNN和FSRCNN直接將LR圖像送入網(wǎng)絡(luò)提取特征，并學(xué)習(xí)HR特征圖。雖然這些方法生成的HR圖像視覺上效果良好，但引入了噪聲。因此，基于超分辨率的人臉識(shí)別算法結(jié)果難以滿足實(shí)際需求。

關(guān)于LRFR的另一類工作是基于子空間方法，通常采用耦合映射將LR和HR人臉圖像投影到一個(gè)相同特征子空間中。文獻(xiàn)［9］提出多維縮放方法（MDS），將HR和LR圖像投影到一個(gè)公共空間中。文獻(xiàn)［10］提出了一種基于圖像塊對(duì)齊框架的LR人臉圖像識(shí)別的新算法。文獻(xiàn)［11］提出大邊距耦合映射（LMCM），該算法同時(shí)考慮了訓(xùn)練數(shù)據(jù)的識(shí)別信息和人臉圖像對(duì)的局部幾何關(guān)系。文獻(xiàn)［12］提出了兩種更具判別性的MDS方法（DMDS和LDMDS），不僅考慮了不同特征之間的距離，同時(shí)還有不同分辨率圖像之間的關(guān)系。由于卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)良表現(xiàn)，在GenLR-Net中，作者提出了一種新穎的深度CNN架構(gòu)，在架構(gòu)的不同階段引入不同類型的約束，以克服LR人臉識(shí)別中的性能下降。文獻(xiàn)［13］提出由一個(gè)主干網(wǎng)絡(luò)和兩個(gè)分支網(wǎng)絡(luò)組成的深度耦合-Resnet模型（DCR），分支網(wǎng)絡(luò)被訓(xùn)練去學(xué)習(xí)特定分辨率的耦合映射。

2 算法介紹

本文提出的算法流程圖如圖1所示。首先對(duì)低分辨率圖像進(jìn)行分辨率重構(gòu)，其次使用卷積神經(jīng)網(wǎng)絡(luò)從人臉圖像中提取特征，然后對(duì)提取后的特征進(jìn)行特征篩選，并投影到一個(gè)公共空間，最后預(yù)測(cè)人臉圖像所屬類別。

圖1 算法框圖

2.1 分辨率重構(gòu)

本文采用基于深度學(xué)習(xí)的超分辨率模型［14］，它直接學(xué)習(xí)低分辨率圖像和高分辨率圖像之間的端到端映射。該映射表示為深度卷積神經(jīng)網(wǎng)絡(luò)，將低分辨率圖像作為輸入并輸出高分辨率圖像。SRCNN網(wǎng)絡(luò)包含三個(gè)模塊：Patch extrac‐tion and representation（塊析出與表示）、Non-lin‐ear mapping（非線性映射）、Reconstruction（重構(gòu)）。這三個(gè)模塊對(duì)應(yīng)三個(gè)卷積操作，其中符號(hào)γ表示插值后的圖像；將真實(shí)的高分辨率圖像用X表示；將網(wǎng)絡(luò)記為映射函數(shù)Fn（）。

第一層的結(jié)構(gòu)為圖像塊特征提取和表示（9×9×64卷積核）。圖像恢復(fù)中的流行策略是密集地提取圖像塊，然后通過一組預(yù)先訓(xùn)練的基礎(chǔ)來表示它們。這相當(dāng)于通過一組濾波器對(duì)圖像進(jìn)行卷積，每個(gè)濾波器都是基礎(chǔ)。在表述中，將這些基礎(chǔ)的優(yōu)化包含在網(wǎng)絡(luò)的優(yōu)化中。第一層操作為：

其中，W1和B1表示濾波器（卷積核）的權(quán)值和偏置；max對(duì)應(yīng)ReLU激活函數(shù)，實(shí)際上就是卷積加激活操作。

第二層為非線性映射，將一個(gè)高維向量映射到另一個(gè)高維向量，每一個(gè)映射向量表示一個(gè)高分辨率塊，這些向量組成另一個(gè)特征映射。第二層將n1維的向量映射到n2維，這相當(dāng)于使用n2個(gè)濾波器，第二層的操作為：

其中，W2和B2依舊表示濾波器（卷積核）的權(quán)值和偏置，也可以增加更多的卷積層，但會(huì)增加網(wǎng)絡(luò)的計(jì)算開銷。

第三層進(jìn)行重建，聚集所有的高分辨率塊構(gòu)成最高分辨率圖像，期望重建圖像與X相似，第三次操作為：

如果高分辨率塊都在圖像域，這個(gè)濾波器可以當(dāng)做均值濾波器；如果這些高分辨率塊在其他域，則W3首先將系數(shù)投影到圖像域然后再做均值，無論哪種情況，W3都是一個(gè)線性濾波器。

不同于如今的深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN），SRCNN 只有六個(gè)需要學(xué)習(xí)的參數(shù)（W1，B1，W2，B2，W3，B3），損失的計(jì)算僅需要網(wǎng)絡(luò)的輸出F（γ）與真實(shí)高分辨率圖像X。因此選擇MSE作為損失函數(shù)，計(jì)算公式如下：

2.2 特征提取

本文使用預(yù)訓(xùn)練VGG16模型，再用評(píng)估數(shù)據(jù)庫(kù)對(duì)其進(jìn)行微調(diào)，從每張人臉圖像中提取出一維特征向量，將高、低分辨率圖像映射至同一子空間中。VGG16是一種成熟的卷積神經(jīng)網(wǎng)絡(luò)模型，廣泛應(yīng)用于圖像分類領(lǐng)域。

VGG16包含13個(gè)卷積層和3個(gè)完全連接層，它最后一層完全連接層用于特定的分類任務(wù)。本文將每張圖像的結(jié)果在VGG16第一層完全連接層輸出。框架如圖2所示。輸出維度為4 096特征向量。

圖2 vgg框架圖

傳統(tǒng)的softmax損失函數(shù)并不要求類內(nèi)緊湊和類間分離。為了擴(kuò)大決策邊界，本文直接在角度空間中最大化分類界限，公式如下：

其中，xi表示第i個(gè)樣本的深度特征，屬于第yi類；Wj表示第j列的權(quán)重；θj是權(quán)重Wj和特征xi之間的角度；N表示批大小；n是類數(shù)量。本文實(shí)驗(yàn)中，m和s分別取值為0.5和64.0。

為了更好地利用類別信息，縮小類內(nèi)差異，使相同類別的特征之間更緊湊，本文采用了center loss，公式如下：

2.3 特征篩選

特征提取后的向量存在噪聲和亢余，本文將使用PCA對(duì)提取后的4 096維向量進(jìn)行特征篩選。PCA能夠減少圖像特征中的無用信息和噪聲，降低特征向量維度［14］，減少后續(xù)步驟計(jì)算量，同時(shí)使降維后的數(shù)據(jù)仍保留原有數(shù)據(jù)的特征。根據(jù)相關(guān)特征，特別是重要特征更能在數(shù)據(jù)中明確的顯示出來。而通常的方法是通過保留數(shù)據(jù)的低階主成分去除高階主成分，從而能夠保留數(shù)據(jù)中的核心部分去除亢余和噪聲。

PCA將n維輸入數(shù)據(jù)縮減為r維，其中r

本文使用SVD方法進(jìn)行PCA降維，假定有m×n維數(shù)據(jù)樣本X，共有m個(gè)樣本，每行n維，m×n實(shí)矩陣可以分解為：

其中，正交陣U的維數(shù)是m×n；正交陣V的維數(shù)是n×n；∑是n×n的對(duì)角陣。接下來，將∑分割成r列，記作∑r；利用U和V便能夠得到降維數(shù)據(jù)點(diǎn)Yr：

2.4 分類器識(shí)別

本文使用SVM、向量間距離預(yù)測(cè)LR圖像所屬類別。SVM是一個(gè)強(qiáng)大的分類器，可以在很多分類問題中給出水準(zhǔn)很高的分類結(jié)果。SVM經(jīng)常應(yīng)用于二分類問題，它的基本模型是定義在特征空間上的間隔最大的線性分類器，間隔最大使它有別于感知機(jī)；SVM還包括核技巧，這使它成為實(shí)質(zhì)上的非線性分類器。本文將本地圖庫(kù)用作訓(xùn)練集，測(cè)試圖庫(kù)用作測(cè)試集，訓(xùn)練一個(gè)多分類的SVM模型。SVM的學(xué)習(xí)策略就是向量距離最大化，可形式化為一個(gè)求解凸二次規(guī)劃的問題，也等價(jià)于正則化的合頁損失函數(shù)的最小化問題。SVM的學(xué)習(xí)算法就是求解凸二次規(guī)劃的最優(yōu)化算法。

傳統(tǒng)的基于CNN的人臉識(shí)別方法為：利用CNN的siamese網(wǎng)絡(luò)來提取人臉特征，然后利用SVM等方法進(jìn)行分類。還可以直接學(xué)習(xí)圖像到歐式空間上點(diǎn)的映射，兩張圖像所對(duì)應(yīng)的特征的歐式空間上的點(diǎn)的距離直接對(duì)應(yīng)著兩個(gè)圖像是否相似。本文計(jì)算每張測(cè)試圖像特征向量與本地圖庫(kù)圖像特征向量的距離，以預(yù)測(cè)測(cè)試圖像所屬類別。測(cè)距離度量用于衡量個(gè)體在空間上存在的距離，距離越遠(yuǎn)說明個(gè)體間的差異越大，常有距離度量有歐氏距離、曼哈頓距離、切比雪夫距離等。本文實(shí)驗(yàn)選擇歐式距離計(jì)算特征向量間距離，計(jì)算公式如下：

3 實(shí)驗(yàn)結(jié)果與分析

關(guān)于低分辨率人臉識(shí)別的研究，由于缺少公開的低分辨率人臉圖像數(shù)據(jù)集，大部分研究都是基于高分辨率數(shù)據(jù)集（LFW、FERET），通過下采樣將高分辨率圖像轉(zhuǎn)換為低分辨率圖像。本文深度學(xué)習(xí)框架使用Tensorflow，λ設(shè)置為0.001，初始學(xué)習(xí)率設(shè)置為0.02，總迭代輪數(shù)為150，輸入批次大小為32，優(yōu)化器為Adam。本文實(shí)驗(yàn)平臺(tái)配置為Intel Xeon（R）W-2123，3.6 GHz CPU，GeForce GTX TITAN顯卡以及Ubuntu16.04操作系統(tǒng)。

3.1 FERET數(shù)據(jù)集驗(yàn)證

本文使用FERET數(shù)據(jù)集驗(yàn)證提出的算法，F(xiàn)ERET是用于人臉識(shí)別的標(biāo)準(zhǔn)數(shù)據(jù)集，包含不同表情，照明條件和姿勢(shì)變化。采用數(shù)據(jù)集中的一個(gè)子集進(jìn)行驗(yàn)證，其中包含200類，每類七張圖片。隨機(jī)抽取150類用于訓(xùn)練VGG模型，剩余50類進(jìn)行測(cè)試。訓(xùn)練結(jié)束后，每類選取三張低分辨率圖像為待測(cè)圖，剩余四張高分辨率和低分辨率圖像作為圖庫(kù)。通過VGG模型和PCA，從每一張圖像中提取出1×512的特征向量。本文設(shè)置與其他算法相同的低分辨率圖像進(jìn)行驗(yàn)證，高分辨率圖像為32×32，低分辨率圖像為8×8，并使用SVM和向量間距離預(yù)測(cè)圖像類別。與現(xiàn)有算法對(duì)比，準(zhǔn)確率均有所提升，如表1所示。

表1 FERET上準(zhǔn)確率對(duì)比

本文對(duì)VGG16模型進(jìn)行優(yōu)化，調(diào)整模型參數(shù)，改進(jìn)損失函數(shù)，最大化類間距離同時(shí)最小化類內(nèi)距離，提取出最恰當(dāng)?shù)奶卣飨蛄俊１疚脑赩GG上采用了最先進(jìn)的四種損失函數(shù)，并統(tǒng)計(jì)識(shí)別準(zhǔn)確率。如圖3所示，損失函數(shù)依次為Soft‐maxloss，centerloss，ArcFace［3］，ArcFace+centerloss。可以看出隨著損失函數(shù)的改進(jìn)，模型性能不斷優(yōu)化，識(shí)別準(zhǔn)確率逐漸提高。

圖3 不同損失函數(shù)準(zhǔn)確率對(duì)比

3.2 LFW數(shù)據(jù)集驗(yàn)證

LFW數(shù)據(jù)集被廣泛應(yīng)用于人臉識(shí)別研究之中，從不受約束的環(huán)境中捕獲，其面部圖像包含不同的姿勢(shì)、表情、種族、服裝、發(fā)型、燈光和其他變量。考慮到該數(shù)據(jù)集中樣本分布不均勻，每類人臉圖像從五百?gòu)埖綆讖埐坏龋疚倪x取數(shù)量最多的五十類圖像進(jìn)行測(cè)試。低分辨率圖像通過原始圖像下采樣到20×20然后使用雙線性插值上采樣到原始分辨率獲得的。如表2所示，本文與先進(jìn)的算法在LFW數(shù)據(jù)集上進(jìn)行對(duì)比，每個(gè)算法都從VGG16的FC7層輸出特征向量，本文提出的算法仍保持最高的準(zhǔn)確率。

表2 LFW上準(zhǔn)確率對(duì)比

4 結(jié)論

本文提出了一種新穎的基于卷積神經(jīng)網(wǎng)絡(luò)和PCA的人臉識(shí)別算法，以解決低分辨率圖像與圖庫(kù)中高分辨率圖像難以匹配的問題，也可以用來解決傳統(tǒng)的圖像分類問題。本文使用SRCNN重建低分辨率圖像、改進(jìn)VGG模型提取人臉特征并優(yōu)化損失函數(shù)、使用PCA篩選人臉特征，獲得最合適的人臉特征向量，使不同類別之間的特征向量更稀疏，從而提高識(shí)別準(zhǔn)確率。并且在FERET、LFW兩個(gè)公開數(shù)據(jù)集上進(jìn)行驗(yàn)證，與現(xiàn)有方法對(duì)比準(zhǔn)確率更高、運(yùn)算時(shí)間更低。下一步將進(jìn)一步優(yōu)化超分辨率重構(gòu)模型，并對(duì)圖像進(jìn)行去噪，減少周圍環(huán)境對(duì)識(shí)別結(jié)果的影響。