一種用于細(xì)粒度人臉識別的眼鏡去除方法

毛 亮 薛月菊 魏穎慧 朱婷婷

①(深圳職業(yè)技術(shù)學(xué)院粵港澳大灣區(qū)人工智能應(yīng)用技術(shù)研究院 深圳518055)

②(華南農(nóng)業(yè)大學(xué)電子工程學(xué)院 廣州510642)

③(西安電子科技大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院 西安710071)

1 引言

人臉識別一直是模式識別和計(jì)算機(jī)視覺領(lǐng)域最活躍的研究方向之一。在過去的二十年中，人臉識別技術(shù)盡管已經(jīng)取得了長足的進(jìn)展，但面向現(xiàn)實(shí)的人臉識別系統(tǒng)仍然面臨著諸多挑戰(zhàn)。這些挑戰(zhàn)主要來自于人臉圖像中可能存在的多種多樣的難以預(yù)測的變化，如表情、姿勢、光照、分辨率和遮擋等。這些變化可能導(dǎo)致訓(xùn)練圖像和待識別圖像之間發(fā)生嚴(yán)重的數(shù)據(jù)偏移，從而導(dǎo)致人臉識別率降低[1]。其中眼鏡是常見的遮擋物體，一般可分為全框、半框和無框3類，如圖1所示，從左到右表示戴全框、戴半框和戴無框眼鏡的人臉圖像，這里指的眼鏡不包括太陽鏡、運(yùn)動眼鏡等。實(shí)際應(yīng)用中，由于相似人臉這類細(xì)粒度特性和眼鏡遮擋的影響，人臉識別的準(zhǔn)確率會出現(xiàn)顯著的下降。因此，本文以如何去除眼鏡作為主要研究對象。

圖1 戴不同類型眼鏡的人臉圖像

近年來，研究人員提出了一些從人臉圖像中提取特征和去除眼鏡的方法，如2004年，Wu等人[2]提出一種自動去除眼鏡的方法，利用戴眼鏡的人臉圖像與不戴眼鏡的對應(yīng)部分之間的統(tǒng)計(jì)映射去除眼鏡，但對于一些無框眼鏡，很難去除；2005年，Du等人[3]提出了一個從正面人臉圖像中提取并摘除眼鏡的方法。首先利用自適應(yīng)二值化檢測正面人臉圖像中眼鏡遮擋的部分，然后使用基于PCA重構(gòu)的遞歸誤差補(bǔ)償方法，雖然對人工合成戴眼鏡人臉圖像可進(jìn)行眼鏡去除，但對光照變化較敏感；2005年，Park等人[4]提出了一種從人臉正面圖像中去除眼鏡的方法。首先檢測被眼鏡遮擋的區(qū)域，然后通過PCA重構(gòu)的遞歸誤差補(bǔ)償方法，生成一幅自然的無眼鏡人臉圖像，有效地解決了眼鏡遮擋問題，提高了人臉識別系統(tǒng)的性能；2007年，Heo等人[5]采用多視覺主動外觀模型進(jìn)行擬合的方法，將非正面圖像轉(zhuǎn)換為正面人臉，并選擇一組正面人臉作為基向量，對被遮擋的人臉圖像進(jìn)行重建，較好地去除了人臉圖像中的眼鏡遮擋；2010年，Jia等人[6]提出了一種基于相位一致性和漸進(jìn)修補(bǔ)的眼鏡檢測與去除算法。該方法利用相位一致性對強(qiáng)度和對比度不敏感的特點(diǎn)，較好地提高了人臉識別率；2010年，Wang等人[7]提出了一種基于主動外觀模型的眼鏡去除方法。首先利用主動外觀模型粗略地檢測出遮擋區(qū)域，然后采用橢圓模型來擬合眼睛的位置并提取眼睛區(qū)域，最后通過迭代誤差補(bǔ)償生成合成圖像，有效地解決了厚邊眼鏡遮擋人臉后人臉識別率低的問題；2013年，Cheng等人[8]提出了一種去除眼鏡的疲勞檢測方法。首先檢測人臉區(qū)域，通過形態(tài)學(xué)操作去除眼鏡，然后檢測眼睛區(qū)域，并采用模板匹配方法進(jìn)行跟蹤，確定眼睛的開閉狀態(tài)，最后根據(jù)眼睛的連續(xù)狀態(tài)確定疲勞狀態(tài)，準(zhǔn)確率達(dá)100%；2014年，李根等人[9]提出了基于思維進(jìn)化的機(jī)器學(xué)習(xí)與局部特征結(jié)合的方法，首先根據(jù)遮擋與無遮擋人臉圖像的局部特征進(jìn)行對比，記錄對比相似度作為局部區(qū)域的得分，然后對所有局部區(qū)域進(jìn)行趨同過程和異化過程的演化，得到無遮擋區(qū)域及遮擋物體區(qū)域，實(shí)現(xiàn)遮擋人臉條件下的人臉識別，取得較好的識別效果，但驗(yàn)證的數(shù)據(jù)集較小，且不具備相似人臉這類細(xì)粒度特性；2014年，Guo等人[10]提出了一種新的眼鏡自動去除方法，利用SVM進(jìn)行眼鏡檢測，然后采用PCA重構(gòu)的遞歸誤差補(bǔ)償方法處理人臉圖像，最后通過定量測量，較好地提升了人臉識別的性能；2015年，吳從中等人[11]提出基于稀疏表達(dá)分類的去除遮擋的方法。首先求出有遮擋人臉圖像在無遮擋人臉圖像訓(xùn)練集上的稀疏系數(shù)，然后根據(jù)稀疏系數(shù)進(jìn)行恢復(fù)重建，得到去遮擋的人臉圖像，但該方法非常依賴眼鏡的先驗(yàn)知識；2015年，F(xiàn)ernández等[12]提出一種基于局部二進(jìn)制模式和對準(zhǔn)的自動眼鏡檢測算法，取得了較好的效果，但該方法對于不同類型的眼鏡，包括運(yùn)動眼鏡、太陽眼鏡、安全眼鏡、閱讀眼鏡等檢測的魯棒性較差；2017年，Sandhan等人[13]通過對眼鏡鏡片反射特性的分析，得到約束條件，并將反射層的梯度調(diào)整為高度系數(shù)，在幾次迭代中會消除反射的影響，最后在正面人臉圖像上具有較好的去除反射效果，提高了虹膜的檢測率；2018年，曹志義等人[14]提出了一種改進(jìn)的生成對抗網(wǎng)絡(luò)模型的人臉還原算法，在已有網(wǎng)絡(luò)的基礎(chǔ)上增加一個還原層，使得測試圖像可以通過改進(jìn)的對抗網(wǎng)絡(luò)生成對應(yīng)的高置信度圖像，極大地縮短了網(wǎng)絡(luò)的收斂時間；2019年，毛亮等人[15]提出了一種用于細(xì)粒度人臉識別的眼鏡去除方法的中國發(fā)明專利。綜上所述，在近幾年的發(fā)展歷程中，傳統(tǒng)的眼鏡去除方法由簡單的PCA不斷向更復(fù)雜的算法演變，但眼鏡去除效果始終無法達(dá)到較為理想的狀態(tài)，而以上方法都是在較少的未戴眼鏡和戴眼鏡人臉數(shù)據(jù)上進(jìn)行試驗(yàn)，沒有大規(guī)模的戴眼鏡和未戴眼鏡人臉對數(shù)據(jù)，無法很好地分析眼鏡遮擋對人臉識別算法的影響，尤其是細(xì)粒度人臉識別。

隨著深度學(xué)習(xí)的快速發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)不論是在解決高層次視覺問題，還是解決低層次視覺問題上都取得重大的突破。2014年，Dong等人[16]提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像的超分辨率重構(gòu)方法，只需做很少的預(yù)處理和后處理，可得到低分辨率和高分辨率圖像之間映射關(guān)系，實(shí)現(xiàn)端到端的處理。但是，如果利用該方法直接進(jìn)行戴眼鏡區(qū)域的重構(gòu)，無法得到較理想的效率。

基于上述算法的啟發(fā)，本文提出一種端到端的用于細(xì)粒度人臉識別的眼鏡去除方法，簡稱ERCNN(Eyeglasses Removal CNN)。首先，在文獻(xiàn)[17,18]方法的基礎(chǔ)上，對本文所有數(shù)據(jù)集進(jìn)行人臉檢測和人臉對齊，形成128×128和128×96的歸一化人臉圖像，然后對處理后的人臉，劃分3個局部區(qū)域，如圖2所示，分別標(biāo)記為Part1,Part2和Part3，其中Part1和Part3為人臉的未處理區(qū)域，作為重構(gòu)人臉圖像的局部區(qū)域；Part2為包含戴眼鏡或未戴眼鏡的的眼睛區(qū)域，作為眼鏡去除算法處理輸入輸出圖像。同時利用卷積層、池化層、MFM特征選取模塊和反卷積層設(shè)計(jì)ERCNN網(wǎng)絡(luò)，將Part2區(qū)域輸入到網(wǎng)絡(luò)中進(jìn)行自動學(xué)習(xí)戴眼鏡和未戴眼鏡人臉圖像對之間的映射關(guān)系，實(shí)現(xiàn)端到端的眼鏡去除。最后，在自建的SLLFW測試集上進(jìn)行眼睛去除驗(yàn)證，并利用現(xiàn)有的人臉識別方法在戴有全框、半框和無框3種不同類型眼鏡的人臉圖像上驗(yàn)證算法對人臉識別率的影響程度。

2 試驗(yàn)數(shù)據(jù)

2.1 試驗(yàn)數(shù)據(jù)采集及預(yù)處理

試驗(yàn)數(shù)據(jù)來源于監(jiān)控場景、互聯(lián)網(wǎng)和證件照等人臉圖像。其中監(jiān)控場景的人臉圖像采集于2016年11月至2017年12月間，設(shè)備的安裝高度距離地面200～250 cm處，圖像分辨率為1920×1080像素，采集時間分為上午，下午和晚上3個時間段。為保證人臉的多樣性，收集到的人臉數(shù)據(jù)包括未戴眼鏡、不同姿態(tài)、不同性別和年齡等，總共35975張。對于所收集到的人臉圖像，采用人工合成的方法，將全框、半框和無框3種眼鏡，合成到原始的人臉圖像上，得到61105張戴眼鏡的人臉圖像。如圖2(a)所示，第1列為原始人臉圖像，第2列為人工合成戴眼鏡人臉圖像。

為了得到更好的眼鏡去除效果，本文利用文獻(xiàn)[17,18]中人臉檢測和人臉對齊方法，將收集到的數(shù)據(jù)進(jìn)行預(yù)處理，利用提取到的人臉眼鏡關(guān)鍵點(diǎn)對圖像進(jìn)行水平旋轉(zhuǎn)，從而克服視場角的姿態(tài)變化影響[19]，進(jìn)而歸一化到128×128像素和112×96像素兩種不同尺度的人臉圖像，如圖2(a)所示，第3列為原始人臉圖像對齊后的結(jié)果，第4列為戴眼鏡人臉圖像對齊后的結(jié)果。

為了驗(yàn)證眼鏡去除算法的有效性，本文在細(xì)粒度人臉識別數(shù)據(jù)FGLFW[20]的基礎(chǔ)上，通過人工篩選剔除姿態(tài)較大的人臉圖像，形成SLLFW數(shù)據(jù)集。SLLFW數(shù)據(jù)集由8901張人臉圖像構(gòu)成，其中6091張人臉圖像來自互聯(lián)網(wǎng)，余下的2810張人臉圖像中，有2232張未戴眼鏡的人臉圖像，578張真實(shí)戴眼鏡的人臉圖像。為了驗(yàn)證本文方法的性能，采用人工合成的方法，將全框、半框和無框3種眼鏡，合成到SLLFW數(shù)據(jù)集中未戴眼鏡的人臉圖像上。如圖2(b)所示，第1列為原始人臉數(shù)據(jù)，第2列為戴全框眼鏡人臉圖像，第3列為戴半框眼鏡人臉圖像，第4列為戴無框眼鏡人臉圖像。

2.2 訓(xùn)練集和測試集準(zhǔn)備

圖2 人臉數(shù)據(jù)集

本文收集的原始人臉圖像共35975張，經(jīng)過人工預(yù)處理后，形成與之對應(yīng)的戴不同類型眼鏡的人臉圖像，總共61105張，作為訓(xùn)練集。在訓(xùn)練前需進(jìn)行垂直鏡像翻轉(zhuǎn)以及順時針30°和45°旋轉(zhuǎn)的數(shù)據(jù)擴(kuò)增，形成擴(kuò)增后的訓(xùn)練樣本集，共計(jì)183315張人臉圖像。SLLFW數(shù)據(jù)集中未戴眼鏡人臉圖像和與之對應(yīng)的人工合成戴眼鏡人臉圖像作為眼鏡去除方法的驗(yàn)證集，其余578個真實(shí)戴眼鏡的人臉圖像作為眼鏡去除的測試集，進(jìn)一步驗(yàn)證本文方法的性能。同時，SLLFW數(shù)據(jù)集還可作為人臉識別測試集，驗(yàn)證眼鏡去除后對人臉識別性能的影響。

3 眼鏡去除方法

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

借鑒SRCNN[16]的思路上，本文設(shè)計(jì)了一種新的眼鏡去除深度卷積神經(jīng)網(wǎng)絡(luò)(Eyeglasses Removal CNN,ERCNN)，通過端對端的學(xué)習(xí)，自動構(gòu)建戴眼鏡的人臉圖像和不戴眼鏡的人臉圖像之間的映射關(guān)系，實(shí)現(xiàn)戴眼鏡人臉圖像的自動去除，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。首先，以戴眼鏡的人臉圖像作為輸入，大小為128×128，將輸入圖像切分為20×128,64×128和64×128 3個圖像區(qū)域，分別為Part1,Part2和Part3，其中Part2包含完整的戴眼鏡的眼睛區(qū)域；然后，將Part2區(qū)域作為卷積層的輸入，用于網(wǎng)絡(luò)中MFM(Max Feature Map)單元進(jìn)行特征選擇和最大元素操作，再利用反卷積、平均池化和逐個元素加權(quán)求和的操作，對Part2區(qū)域?qū)崿F(xiàn)重構(gòu)，進(jìn)而得到去除眼鏡后的眼睛區(qū)域Part2_new；最后，將輸出的Part2_new區(qū)域與原始的Part1區(qū)域和Part3區(qū)域進(jìn)行合并，得到完整的去除眼鏡的人臉圖像。

具體地，ERCNN網(wǎng)絡(luò)中使用卷積核大小為9×9,padding為4，步長為1的Conv1來提取Part2的高維特征，輸出256維通道的特征圖，然后通過最大池化層Pool1,MFM1(由切片層Slice1和取最大的元素操作層Eltwise1實(shí)現(xiàn))和激活函數(shù)ReLU1處理后，輸出大小為32×64,128維通道的特征圖。緊接著，繼續(xù)使用和Conv1相同參數(shù)的Conv2堆疊卷積，再經(jīng)過MFM2(由切片層Slice2和取最大的元素操作層Eltwise2實(shí)現(xiàn))和激活函數(shù)ReLU2處理后，將輸入的高維特征圖非線性映射到另一個高維特征圖，輸出大小為32×64,128維通道的特征圖。然后，利用卷積核大小為4×4,padding為1，步長為2的反卷積結(jié)構(gòu)Dconv3將高維特征圖上采樣2倍到原圖大小的64×128像素，輸出128維通道的特征圖；通過平均池化層Pool2對該特征圖進(jìn)行處理，并將其特征值乘以權(quán)重0.2，與自身特征值進(jìn)行元素求和操作(Eltwise3)，輸出大小為64×128像素，128維通道的特征圖；對輸出的特征圖，使用卷積核大小為1×1，步長為1的Conv4將高維特征圖降維重構(gòu)得到去除眼鏡的眼睛區(qū)域Part2_new。最后將去除眼鏡后的眼睛區(qū)域Part2_new與Part1和Part3合并，輸出去除眼鏡人臉圖像。

相比更深層的網(wǎng)絡(luò)VGG[21]、GoogLeNet[22]和ResNet[23]等，本文設(shè)計(jì)的ERCNN在網(wǎng)絡(luò)層數(shù)和參數(shù)方面都較少，模型占用內(nèi)存較小，運(yùn)行效率較高，具有很好的實(shí)時性。

3.2 MFM單元

ERCNN網(wǎng)絡(luò)使用的MFM單元結(jié)構(gòu)，采用Wu等人[18]提出Maxout Activation作為網(wǎng)絡(luò)的卷積層激活函數(shù)，輸出MFM作為特征選擇單元，對卷積層神經(jīng)元添加了競爭關(guān)系，抑制低激活的神經(jīng)元，使網(wǎng)絡(luò)適用于不同的數(shù)據(jù)，擁有更好的泛化能力。同樣，ERCNN網(wǎng)絡(luò)在卷積層后使用MFM層，可以起到增強(qiáng)模型性能的作用。

假定輸入MFM的卷積層為x n∈R H×W，其中n={1,2,···,2N}為特征圖通道，輸入通道數(shù)為2N,W和H分別為特征圖的寬度和高度。MFM操作將輸入的兩個特征圖取對應(yīng)元素最大值輸出一個特征圖，計(jì)算公式為

3.3 損失函數(shù)

ERCNN網(wǎng)絡(luò)模型采用Euclid Loss[18]監(jiān)督信號來構(gòu)建損失函數(shù)

圖3 ERCNN的網(wǎng)絡(luò)結(jié)構(gòu)

4 試驗(yàn)與分析

4.1 試驗(yàn)平臺

試驗(yàn)訓(xùn)練及測試采用32 GB內(nèi)存、2塊Nvidia Geforce GTX 1080型號的GPU,Intel I7-7700型號CPU的硬件平臺和Ubuntu16.04操作系統(tǒng)。在Caffe深度學(xué)習(xí)框架[24]上，采用Python作為編程語言實(shí)現(xiàn)本文算法。

4.2 評價標(biāo)準(zhǔn)

本文對于眼鏡去除處理后的人臉圖像質(zhì)量評價，采用均方誤差MSE(Mean Squared Error)、峰值信噪比PSNR(Peak Signal-to-Noise Ratio)、結(jié)構(gòu)相似度SSIM(Structural SIMilarity)、信息保真度準(zhǔn)則IFC(Information Fidelity Criterion)4個指標(biāo)評價。其中，MSE是比較原圖與處理后圖像的可視誤差；PSNR近似于人對重建質(zhì)量的感知；SSIM用于比較參考信號和失真信號的結(jié)構(gòu)。作為結(jié)構(gòu)相似性理論的實(shí)現(xiàn)，SSIM從圖像組成的角度將結(jié)構(gòu)信息定義為獨(dú)立于亮度、對比度的，反映場景中物體結(jié)構(gòu)的屬性，并將失真建模為亮度、對比度和結(jié)構(gòu)3個不同因素的組合。IFC則是將圖像質(zhì)量評價問題作為信息保真問題來處理。

具體計(jì)算公式為：

4.3 模型訓(xùn)練

本文使用隨機(jī)梯度下降法，對ERCNN以端到端的聯(lián)合方式進(jìn)行訓(xùn)練，其中設(shè)置mini-batch大小為64，沖量為0.9，權(quán)值的衰減系數(shù)為5×10–4，最大迭代次數(shù)為5×106次。在1×106次迭代后，每隔1×106次保存一個模型，在迭代3.18×106時停止，最終獲取精度最高的模型。

5 結(jié)果與分析

5.1 去除眼鏡的結(jié)果

利用ERCNN方法，在SLLFW數(shù)據(jù)集上采用不同人臉對齊方式分別對不同類型的眼鏡，如全框、半框和無框3種眼鏡進(jìn)行去除，如圖4所示。其中第1列為原始人臉圖像；第2列第1行為戴全框眼鏡的人臉圖像，第2行為眼鏡去除后的效果；第3列第1行為戴半框眼鏡的人臉圖像，第2行為眼鏡去除后的效果；第4列第1行為戴無框眼鏡的人臉圖像，第2行為眼鏡去除后的效果。由圖可知，全框眼鏡和半框眼鏡的去除效果較好，相比原始人臉圖像的差異較小；無框眼鏡的去除效果一般，去除的人臉圖像上仍然有比較明顯的眼鏡殘留痕跡，但對眼部區(qū)域的遮擋影響較小。

相比傳統(tǒng)的PCA方法處理的結(jié)果，本文方法ERCNN在各項(xiàng)評價指標(biāo)上具有一定的優(yōu)勢，如表1所示，其中采用ERCNN和PCA方法[2]利用128×128的對齊方式在全框、半框和無框3種類型的眼鏡去除后與不戴眼鏡的原始人臉圖像，按照指標(biāo)PSNR,SSIM,MSE和IFC得到的平均值為35.3,0.98,19.01和7.2。特別在MSE指標(biāo)上，ERCNN相比PCA提高了10.4倍；在SSIM,IFC和PSNR指標(biāo)上，ERCNN方法比PCA分別高出0.12,0.1和10.1。因此，從各項(xiàng)指標(biāo)分析，利用ERCNN處理的人臉圖像有較好的效果。如果利用112×96的對齊方式，在全框、半框和無框3種類型的眼鏡去除后與不戴眼鏡的原始人臉圖像的各項(xiàng)指標(biāo)均值為36.0,0.99,16.37和7.5，相比128×128的人臉對齊方式，每項(xiàng)指標(biāo)都有一定程度的提升，說明112×96的對齊方式更適合ERCNN的眼鏡去除方法。

圖4 人臉眼鏡去除的結(jié)果

表1 不同方法以及不同類型的眼鏡去除性能對比

為了更好的說明本文方法的性能，從SLLFW數(shù)據(jù)集中選取真實(shí)戴眼鏡人臉圖像作為ERCNN的測試集，如圖5所示。圖5(a)和5(b)中，第1列和第3列為真實(shí)戴不同類型眼鏡的人臉圖像，第2列和第4列為經(jīng)過本文方法進(jìn)行眼鏡去除后的人臉圖像。

利用主觀評價的方法，圖5(a)和圖5(b)中全框、半框和無框眼鏡的去除效果都較好，不僅保持了戴眼鏡區(qū)域原有的信息，還沒有明顯的殘留眼鏡信息。因此，利用本文方法對以上3種不同類型的眼鏡得到較好的效果。但對于墨鏡和帶有顏色的眼鏡的人臉圖像，利用本文方法進(jìn)行處理后，獲得的效果較差，如圖6所示，第1列為戴墨鏡的人臉圖像，無法利用本文方法進(jìn)行眼鏡去除；第2列是戴全框眼鏡的人臉，由于邊框較細(xì)，眼鏡去除的效果不太明顯；第3列為戴無框眼鏡的人臉圖像，由于眼鏡帶有顏色，通過ERCNN方法處理后，仍然無明顯變化。

圖5 真實(shí)戴眼鏡人臉的眼鏡去除的結(jié)果

圖6 真實(shí)戴眼鏡人臉的眼鏡去除效果不佳的結(jié)果

5.2 去除眼鏡后對細(xì)粒度人臉識別結(jié)果的影響

為了驗(yàn)證本文方法對細(xì)粒度人臉識別的影響，選擇4種公開的人臉識別算法，標(biāo)記為①，②，③，④[17,25–27]，對LFW人臉數(shù)據(jù)集、文獻(xiàn)[10]的細(xì)粒度人臉數(shù)據(jù)集和本文的戴全框眼鏡的人臉數(shù)據(jù)集、戴半框眼鏡的人臉數(shù)據(jù)集和戴無框眼鏡的人臉數(shù)據(jù)集，分別標(biāo)記F-SLLFW，H-SLLFW和RSLLFW進(jìn)行驗(yàn)證。本文中人臉識別的評價指標(biāo)采用TAR(True Accept Rate)和FAR(False Accept Rate)[26]，其中TAR表示正確接受的比例，即相同人的分?jǐn)?shù)大于設(shè)定閾值的數(shù)量除以相同人比較的次數(shù)；FAR表示錯誤接受的比例，即不同人的分?jǐn)?shù)大于設(shè)定閾值的數(shù)量除以不同人比較的次數(shù)，如表2所示。

如表2所示，在FAR為1%的情況下，①,②,③和④算法在LFW數(shù)據(jù)集上的TAR，比在SLLFW數(shù)據(jù)集上分別下降了5.86%,19.7%,6.54%和3.29%；同樣，在FAR為0.1%的情況下，①,②,③和④算法的TAR分別下降了11.17%,29.04%,10.47%和5.66%，說明在細(xì)粒度人臉數(shù)據(jù)集上，在FAR的越小時，不同的人臉識別算法都未達(dá)到較高的準(zhǔn)確率。在實(shí)際應(yīng)用中，人臉識別中不僅存在相似人臉，還會存在眼鏡遮擋情況。因此，利用本文方法對3種不同類型的眼鏡進(jìn)行去除后，再利用公開的人臉識別算法進(jìn)行驗(yàn)證。表2中，當(dāng)FAR為1%時，在F-SLLFW數(shù)據(jù)集上算法④的TAR為86.13%，比其他算法分別提高了5.26%,30.36%和2.93%；當(dāng)FAR為0.1%時，算法④的T AR為71.13%，比其他算法分別提高了3.46%,30.36%和2.93%，說明算法④在未去除眼鏡時，人臉識別準(zhǔn)確率優(yōu)于其他算法。當(dāng)利用本文方法對F-SLLFW數(shù)據(jù)集進(jìn)行眼鏡去除后，在FAR為1%的情況下，算法④的TAR為90.05%，比未去除眼鏡時提高了3.92%；在FAR為0.1%的情況下，算法④的TAR為81.79%，比未去除眼鏡時提高了10.06%。同樣，利用本文方法對H-SLLFW和R-SLLFW數(shù)據(jù)集進(jìn)行眼鏡去除后，在FAR為1%的情況下，算法④的TAR為分別為91.14%和92.33%，比未去除眼鏡時提高了3.08%和1.26%；在FAR為0.1%的情況下，算法④的TAR提高了4.29%和2.13%。說明對人臉進(jìn)行眼鏡去除后，在不同的FAR條件下，都有助于提升人臉識別的準(zhǔn)確率。

5.3 實(shí)時性測試結(jié)果

在處理速度上，本文方法在Intel Core i7-7700CPU 3.60 GHz、內(nèi)存16GB、顯卡為GTX1080的設(shè)備上，對128×128像素人臉圖像的處理時間為3 ms，模型占用內(nèi)存大小為11.9 MB，說明使用該方法在不會增加太多計(jì)算資源和內(nèi)存資源的情況，滿足實(shí)際應(yīng)用的需求。

表2 不同人臉識別的識別性能對比(%)

6 結(jié)論

本文設(shè)計(jì)了一種用于細(xì)粒度人臉識別的眼鏡去除網(wǎng)絡(luò)ERCNN，適用于對全框、半框和無框3種眼鏡的去除。具體地：(1)利用大量的監(jiān)控場景、互聯(lián)網(wǎng)和證件照的人臉圖像構(gòu)建數(shù)據(jù)集，保證了人臉圖像的多樣性，作為研究對象，設(shè)計(jì)了一種ERCNN網(wǎng)絡(luò)，利用常用的網(wǎng)絡(luò)結(jié)構(gòu)，融合MFM單元和反卷積層，很好地實(shí)現(xiàn)了眼鏡去除。在眼鏡去除精度方面，本文方法在PSNR,SSIM,MSE和IFC上的平均值為35.3,0.98,19.01和7.2，相比PCA方法分別提高了10.4倍，0.12,0.1和10.1，在各項(xiàng)指標(biāo)上都具有一定優(yōu)勢。在識別速度上，本文方法的處理速度僅為3 ms，也具有良好的實(shí)時性。(2)在細(xì)粒度人臉識別測試集上進(jìn)行對比試驗(yàn)，當(dāng)FAR為1%時，本文方法對F-SLLFW,H-SLLFW和R-SLLFW數(shù)據(jù)集的人臉圖像進(jìn)行眼鏡去除后，SphereFace算法的TAR分別達(dá)到90.05%,91.14%和92.33%，比未去除眼鏡的識別率分別提高了3.92%,3.08%和1.26%；同樣，當(dāng)FAR為0.1%時，比SphereFace算法的TAR分別提高了10.06%,4.29%和2.13%，說明本文方法有助于提升細(xì)粒度人臉識別的識別精度。