基于深度神經網絡的有遮擋身份驗證

董艷花 張樹美 趙俊莉

摘要：為解決人臉被部分遮擋也能完成身份驗證的問題，提出一種基于深度神經網絡的有遮擋身份驗證方法。對人臉圖像進行檢測分塊，將VGGNet-16三個全連接改為一個全連接，將其最后兩個最大池化層改為平均池化層，用來提取人臉塊的特征;并在PCANet的基礎上添加并行模塊，不僅提高網絡提取特征能力，而且改善了PCANet對遮擋人臉特征丟失造成判別精度不夠的缺點。研究結果表明，基于深度神經網絡的有遮擋人臉平均識別精度達到96.62%。

關鍵詞：新型冠狀病毒;特征提取;遮擋判別;身份驗證

中圖分類號：TP391.41

文獻標志碼：A

收稿日期：2020-11-10

基金項目：

國家自然科學基金（批準號：61702293， 41506198）資助。

通信作者：張樹美，女，博士，教授，主要研究方向為時滯非線性系統的分析與控制，圖形圖像識別與處理。E-mail： 15865578215@163.com

由于人臉圖像含有豐富的特征信息，近年來人臉識別[1-2]被廣泛應用在身份驗證、人機交互、罪犯識別和智能視頻監控等領域。但在自然真實的環境下，人臉圖像采集往往受口罩、圍巾、墨鏡等多種遮擋方式的影響，導致通用的目標檢測算法遠遠不能滿足實際需求。國內外研究者一直致力于有遮擋人臉有效識別問題的研究，提出許多有效的算法[3-7]。如Sun等為了提取遮擋人臉圖像魯棒的深度特征識別多張人臉圖像是否屬于同一人，先后提出DeepID（deformable deep convolutional neural network for generic object detection，DeepID）[8]、DeepID2[9]及DeepID2+[10]網絡結構，通過自下往上和不同大小黑塊對人臉進行多尺度遮擋實驗，驗證了遮擋在20%以內，DeepID2+對遮擋人臉識別有較好的魯棒性，為處理有遮擋人臉識別提供了新思路。但DeepID、DeepID2及DeepID2+等網絡在人臉檢測及深度特征學習時均過度依賴大量的訓練樣本和較多參數，所以Chan等[11]將卷積神經網絡與局部二值模式（local binary patterns，LBP）的特征提取框架相結合，提出一種主成分分析的網絡（principal components analysis network，PCANet），通過局部零均值化預處理和PCA濾波器提取主成分特征，極大的過濾掉圖像中的遮擋特征，對遮擋人臉識別具有魯棒性。基于上述有遮擋人臉識別算法的研究，在保證身份驗證準確度的基礎上，盡可能降低網絡復雜度，本文提出一種基于深度神經網絡的有遮擋身份驗證，通過VJ（Viola-Jones）算法[12]訓練一個級聯分類器進行人臉檢測，利用CFAN （coarse-to-fine auto-encoder networks）[13]定位人臉特征點實現人臉特征分塊，通過改進（visual geometry group network-16，VGGNet-16）[14]對每個特征塊進行特征提取，訓練出對應的人臉特征塊模型，然后通過改進的PCANet網絡進行口罩遮擋判別，最后根據特征提取及口罩遮擋判別的結果進行口罩遮擋身份驗證。

1 基于深度神經網絡的有遮擋身份驗證

有遮擋身份驗證就是利用計算機對人臉圖像或視頻進行人臉檢測，將遮擋信息去除，從中提取有效的識別信息。基于已有的人臉數據庫來驗證一個或多個人身份的一項技術，本文提出一種基于深度神經網絡的有遮擋身份驗證方法，在已有遮擋和無遮擋的數據集上，利用VJ算法進行人臉檢測，然后利用CFAN定位人臉特征點。因為本文主要研究的是口罩遮擋下的身份驗證，所以根據定位的人臉特征點圖像將一張人臉圖像分為眼睛+眉毛、鼻子+嘴巴的特征塊，然后通過改進的VGGNet-16對每個特征塊進行特征提取，最后為了去除遮擋對人臉識別產生的不利影響，利用改進的PCANet網絡進行遮擋判別，把判別出的未遮擋人臉特征塊保留，丟棄遮擋人臉特征塊，并用零向量填充丟失的特征部分，來保證遮擋下獲得的人臉特征也能通過兩個眼睛及眉毛的特征進行分類識別，最后分類器根據遮擋判別的結果進行遮擋人臉識別。基于深度神經網絡的有遮擋身份驗證流程如圖1所示，主要分為人臉分塊、特征提取、遮擋判別及人臉分類識別四部分。

1.1 人臉分塊

本文使用VJ算法檢測人臉，對訓練集通過水平翻轉、隨機裁剪、多尺度等方式進行數據增強，利用由粗到精的自編碼網絡CFAN進行人臉特征點定位，根據特征點定位的結果對圖像進行裁剪：將圖像大小設置為260×260，以VJ算法檢測到的左右眼及眉毛、鼻子及嘴巴的關鍵點為中心，分別裁剪出眼睛+眉毛特征塊和鼻子+嘴巴特征塊，裁剪示例圖如圖2所示。實驗表明，每個人臉的特征塊大小調整見表1，可以保證人臉紋理特征不變性的情況下進行便捷計算，這種分塊的裁剪方式可以將人臉具有區分度的信息全部保留下來，并將這些特征塊作為基于分塊有遮擋身份驗證的原圖輸入到后續改進的VGGNet-16特征提取及PCANet遮擋判別中，通過人臉圖像分塊的方式在特征提取過程中減少遮擋的干擾，并提取人臉更為精細的特征，有效提高有遮擋人臉識別的效率。

1.2 人臉特征塊特征提取

近年來針對人臉識別的深度學習網絡模型不斷更新迭代，許多網絡識別干凈人臉的準確度甚至超越人眼的感知能力，但基于深度學習的網絡模型的訓練和調優需要借助超大規模的數據集及強大的硬件平臺，所以本文需要選擇一個識別速度和分類精度都較高的神經網絡用來提取人臉特征塊的特征。表2展示的是目前常用的卷積神經網絡各項參數對比。從常用卷積神經網絡的復雜度和分類識別精度進行分析，可知，相對于分類識別精度較高的ResNet-101（Residual Network-101）[15]和DenseNet（Dense Convolutional Network）[16]，VGGNet-16的網絡層數更少且運行速度更快;由于VGGNet-16采用16層的深層網絡結構，可有效提取深層特征，相比于速度較快的AlexNet（Alex Network）[17]和SqueezeNet（Squeeze Network），VGGNet-16的分類識別精度高出10%左右，由此，本文選擇VGGNet-16作為人臉特征塊的特征提取網絡。為使其在較小規模的訓練數據和有限計算能力的條件下也能有效提取人臉高層特征，且單一的人臉區塊相對于整個人臉來說需要提取的特征區域較小且更精細，本文對VGGNet-16網絡結構、參數及損失函數做了微調，優化的網絡結構稱為IVVGNet（Improve Visual Geometry Group Network， IVGGNet）如圖3所示。

根據深度學習神經網絡特征提取的經驗，網絡越深的層越能提取有效的特征，且VGGNet-16網絡通過使用3×3的卷積核和2×2的池化核不斷加深網絡深度進而提升了網絡提取特征的性能，所以特征提取效果顯著，IVGGNet為了維護VGGNet-16底層提取特征的有效性，參照DeepID和GoogLenet（Goog Le Network）[18]網絡模型，由圖3可知，將VGGNet-16三個全連接層改為一個全連接層，相比于提取整張人臉特征的VGGNet-16減少了網絡參數量，提高該網絡人臉特征提取的速度。同時將全連接層前的兩個最大池化層改為3×3的平均池化層，能最大程度地保留圖像提取的特征，提高VGGNet-16提取人臉特征的能力。

表3展示了IVGGNet和VGGNet在計算量和參數量上的區別。IVGGNet網絡通過減少全連接層和利用平均池化層代替最大池化層，使參數量由原來的138 M減少到15 M，同時計算量從620 M減少到492 M不僅大大縮減了計算時間，而且節省了網絡計算量所需空間。

由于VGGNet-16采用SoftMax分類器進行訓練，得到的特征的類內距離較大，將導致錯誤識別人臉，而Center損失函數可以增加類間距離，同時縮小類內距離，因此本文通過SoftMax+Center損失函數來增強分類效果。SoftMax損失函數為

Ls= -∑mi = 1logewTyi xi+ byi∑nj = 1ewTyi xi+ byi （1）

Center損失函數為

Lc=12∑mi=1xi-cyi22（2）

SoftMax+Center損失函數為

L=LS+λLC（3）

其中，m表示mini-batch包含的樣本數量，n表示類別數， cyi表示yi個類別的特征中心，xi表示全連接層之間的特征，λ用來控制SoftMax及Center的比重。Center損失函數在訓練過程中，逐步減少某類成員到該類的特征中心的距離，并增大其他類成員和該中心的距離，從而得到更好的分類結果。

為得到具有區分度的人臉特征，本文將兩種特征塊的訓練數據集分別輸入到IVGGNet網絡模型中進行特征提取，將分別獲得眼睛+眉毛、鼻子+嘴巴區域的人臉特征，通過這兩部分特征能夠完整地組合成一張人臉的所有特征。

1.3 基于PCANet遮擋判別

本文主要是為了解決新冠疫情下口罩遮擋時員工打卡上班的身份驗證問題，為此研究對比近年來用于遮擋人臉識別的卷積神經網絡，各參數如表4所示。可知PCANet相比于DeepID2、DeepID2+、Inception-ResNet-v1[19]的識別率較低，但其網絡層數最少，結構簡單，且對遮擋人臉識別自帶魯棒性，所以本文選擇PCANet判別輸入的人臉特征塊是否存在口罩遮擋，輸出人臉特征或有口罩遮擋兩類判別結果，實現對有口罩遮擋的人臉判別。

但PCANet只有兩個卷積濾波層進行不同信息的特征表示，且該網絡在構建卷積核時均是利用PCA的前k個最大的特征值對應的特征向量來完成的，卻丟棄了剩余的特征向量。實際上，被丟棄的特征向量中也存在一部分有用的辨別信息，丟棄后會損失這部分辨別信息。所以為簡單有效的提高遮擋判別效率，并受GoogleNet網絡中的Inception模塊的啟發，將PCANet網絡進行改進，提出并行卷積池化處理模塊，可以提取不同的特征并融合起來輸出給下一層。改進的PCANet網絡稱為In_PCANet（Inception principal components analysis network），結構設計如圖4所示。

該網絡模型設置了不同的層結構，不同層結構將產生不同的特征向量，其中并行模塊包含三個不同的并行路徑，用來分別提取三種不同的特征，并在out中進行組合，通過實驗發現，并行模塊是創建抽象特征表示的有效方法，能夠創建多條不同路徑提取不同的特征，從而有效地改善對遮擋人臉特征丟失造成判別精度不夠的缺點，通過采用1×1或3×3的小卷積核，加強了對遮擋人臉特征的表征能力且大大縮短了神經網絡的訓練時間。與PCANet相比，該網絡結構首先通過并行結構的三個不同路徑進行特征提取，并將提取的特征進行融合，然后將提取的特征送到含有K1個卷積核的卷積層中進行零均值化及PCA濾波卷積操作，得到前K1個最大特征值所對應的特征向量來構建卷積核，為了保證每層映射后的特征均能重構原圖像，在卷積操作前對樣本均做了邊緣填充，接著將得到的映射輸入到含有K2個卷積核的卷積層進行零均值化及PCA濾波卷積操作，得到前K1×K2個最大特征值所對應的特征向量來構建卷積核，為獲得更強表達性的特征，采用Heaviside階躍函數對得到的特征進行二值化及哈希編碼。同PCANet一樣，In_PCANet最后也是通過SVM分類器做最后的遮擋判別分類。

本文In_PCANet中的并行模塊是由卷積層、池化層和激活函數ReLU組成，并在3×3的卷積核之前采用1×1的小卷積核來實現降維，從而降低特征圖像的計算量。通過實驗發現，使用一個并行模塊可以提取充分的特征，識別率得到提高，且不會增加較多的運算成本，而使用多個并行模塊會增加特征提取的時間，但識別率達到一定水平就不再增加，所以根據識別率和時間的最優規劃，本文選擇使用一個并行模塊。該模塊的結構如圖5所示。

為有效區分鼻子及嘴巴特征點是否存在口罩遮擋，本文將無口罩遮擋人臉的特征點圖像及有口罩遮擋人臉的特征點圖像作為遮擋判別的訓練集，則輸入的圖像只有屬于人臉特征塊和有口罩遮擋特征塊兩種類別，因此本文在In_PCANet網絡的基礎上添加多分類器用于人臉區塊的二分類上，經過In_PCANet的處理后只能輸出未被遮擋的人臉特征塊或有遮擋的人臉特征塊兩類判別結果。輸入圖像經In_PCANet遮擋判別示例圖如圖6（a）、圖6（b）所示。可知，輸入眼睛+眉毛圖像及含口罩遮擋的圖像后，In_PCANet及多分類器將對輸入圖像進行口罩遮擋判別，分別輸出其特征塊對應眼睛+眉毛、鼻子+嘴巴及口罩遮擋的概率，通過設定每類特征塊輸出概率的閾值為90%，大于該閾值的概率為有效判別概率，然后取有效判別概率中最大的概率類別作為最終輸出判別結果的依據，如圖6（a）所示，眼睛+眉毛概率超過閾值，且其概率最高，所以判別出輸入的圖像是屬于人臉眼睛+眉毛的特征，最終判別輸出結果為人臉特征塊;而圖6（b）所示口罩遮擋的概率最高，所以判別出輸入的圖像是有遮擋的人臉圖像，最終判別輸出結果為遮擋特征塊。綜上所述，數據集通過In_PCANet及多分類器的遮擋判別網絡進行分類判別，可以獲得一張完整人臉圖像中哪個特征塊被遮擋，哪個未被遮擋，為后面人臉分類識別奠定基礎。而整個遮擋判別網絡通過對輸入的人臉分塊特征圖利用In_PCANet學習適合各個特征塊的濾波器，并將多分類器完成二分類問題，也極大地降低了遮擋判別的時間復雜度，同時提高了分類效率。

1.4 身份驗證

本文結合IVGGNet對人臉特征塊的特征提取及In_PCANet對人臉特征塊的遮擋判別結果，使用最近鄰分類器對人臉特征塊進行分類識別，將IVGGNet提取的各個未被遮擋的特征塊進行順序拼接，最終生成一張人臉的特征如下：F=（ feye，fnose+mouse），分別表示眼睛+眉毛、鼻子+嘴巴特征塊提取的特征，然后將In_PCANet遮擋判別的遮擋特征塊丟棄，用零向量填充丟失的特征部分，保證口罩遮擋下獲得的人臉特征也能通過眼睛+眉毛的特征進行人臉分類識別。身份驗證對測試輸入的特征塊及數據庫已存的特征塊進行比較時，若其中一個特征塊是被零填充的，則另外一個特征塊也被置為零，利用歐式距離的方法對兩個特征塊進行特征相似度度量，取最相似的特征表示人臉身份驗證的結果。

2 實驗結果與分析

2.1 實驗數據集

武漢大學國家多媒體軟件工程技術研究中心收集了大量口罩人臉數據集MFRD，包括經網絡爬取，整理清洗和標注處理的真實口罩人臉識別數據集和在Webface、LFW公開數據集上人工添加口罩的模擬口罩人臉識別數據集。真實口罩人臉識別數據集包含525人的5千張口罩人臉和9萬張不戴口罩人臉，分別存放在各自名字的文件夾下;模擬口罩人臉識別數據集包含1萬人的50萬張圖片，但沒有標注參與者的名字。由于本文要實現身份驗證，所以采用MFRD中真實口罩人臉數據集，選擇其中100人對應的戴口罩和不戴口罩圖片，其中不戴口罩的圖片相對充足，但圖像尺寸不統一或姿態多樣性不利于本文實驗的模型訓練，且戴口罩的數據相對較少，所以需要對這100人的人臉數據進行批量數據增強，通過水平翻轉、隨機裁剪、多尺度及顏色渲染等方式，最后分別得到每人300張無口罩遮擋圖片和300張戴口罩圖片用于實驗。選擇數據集的80%做訓練集，剩余20%做測試集，數據增強示例圖如圖7所示。本文所有算法均在Windows10 64位操作系統下基于Tensorflow深度學習框架用Python語言編寫，使用CUDA10.0版本的GPU加速器，在訓練模型時均采用隨機梯度下降（Stochastic Gradient Descent，SGD）優化模型。

2.2 實驗結果分析

本文通過CFAN算法將人臉圖像數據集裁剪為指定的眼睛+眉毛、鼻子+嘴巴特征區塊，利用IVGGNet對特征塊進行特征提取，然后將提取的特征輸入In_PCANet網絡進行特征塊遮擋判別，最后利用最近鄰分類器實現人臉分類識別。為對比分析IVGGNet、VGGNet人臉識別的性能，利用數據集中100個人的6萬張干凈人臉圖像對IVGGNet、VGGNet實驗對比，獲得實驗分析如表5所示。可知在相同閾值及數據集的條件下，IVGGNet人臉識別比VGGNet具有明顯的優勢，識別準確率提高了14.2%，運行幀率也提高了1.7FPS。其主要原因在于將VGGNet16中全連接前的兩個最大池化層改為平均池化層，最大程度地保留了提取的圖像特征，進而提高了人臉識別率;又將三個全連接層改為一個全連接層，極大地減少了網絡的參數量，使人臉識別速度也得到相應的提高，進一步驗證了IVGGNet在人臉識別上的可行性，為后續提高分塊有遮擋人臉識別效率奠定基礎。

由于本文在In_PCANet口罩遮擋判別時利用多分類器實現人臉二分類問題，且每個判別模型都保留兩個以上的人臉特征點進行判別，可以在較短的時間內達到較高的判別效果，所以在人臉特征塊及分辨率足夠充足的條件下，本文訓練的In_PCANet網絡模型可以對有口罩遮擋的人臉進行準確的判別，結果如表6所示。基于In_PCANet口罩遮擋判別對眼睛+眉毛、鼻子+嘴巴都能達到98%以上的判別結果，而基于PCANet遮擋判別對特征塊的判別效率均低于97%，表明通過添加并行模塊的PCANet有利于提取人臉特征并提高識別效率，且對口罩遮擋的識別也高達96.7%，表明該方法對有遮擋人臉判別的有效性，為存在有口罩遮擋的人臉識別提供較高的判別效果，促進戴口罩下的人臉高效率識別。

為進一步驗證基于深度神經網絡的口罩遮擋人臉識別的有效性，利用有口罩遮擋人臉數據集對IVGGNet在人臉分塊思想下進行實驗，為對比分析，利用IVGGNet網絡對全局人臉進行口罩遮擋人臉識別，并設置相同參數bach_size=16，iteration=1 200，learning_rate=0.005，epoch=300的情況下進行模型訓練，然后通過對后期人臉分類識別中設置閾值0.85，來判別該人臉是否是數據庫中已經存在的人臉，大于該閾值就認為已存在，直接識別出是誰，小于該閾值就認為不存在，被存入數據庫中，基于分塊的IVGGNet有口罩遮擋人臉識別和基于全局的IVGGNet有口罩遮擋人臉識別效果如表7所示。可知，在相同閾值的控制下，基于全局的IVGGNet口罩遮擋人臉識別的效果無論是在戴口罩還是不戴口罩情況下的人臉識別都明顯低于基于人臉分塊的IVGGNet人臉識別效果，進一步驗證了基于人臉分塊的IVGGNet有口罩遮擋人臉識別高效性。主要原因來自于人臉分塊能夠提取面部的局部特征，從感受野的范圍考慮，基于分塊的人臉識別感受野會大于基于全局的人臉識別感受野，雖然可以通過加深網絡層次來擴大感受野的范圍，但將導致網絡參數增多，從而降低識別的速度;在數據有限的情況下，需要描述的特征越簡單，網絡參數的優化越容易，相對于全局人臉識別，基于分塊的人臉識別可以更簡單的學習不同區域的特征，進而提高口罩遮擋人臉識別效果。

3 結論

本文提出一種基于深度神經網絡的有遮擋身份驗證方法，在保證身份驗證準確度基礎上，盡可能降低了網絡的復雜度。利用人臉特征塊，并結合遮擋判別結果提取的特征，對遮擋身份驗證具有較強的魯棒性，經實驗表明該方法可高效識別有遮擋人臉。實驗結果表明，人臉特征塊經過In_PCANet遮擋判別網絡處理后對口罩遮擋的判別率達到96.7%，對有口罩遮擋和無遮擋識別率分別為95.73%和97.52%。在相同實驗環境下，基于全局的IVGGNet有遮擋身份驗證對有口罩遮擋和無遮擋識別率分別為84.62%和91.84%，表明基于分塊的有遮擋身份驗證效果顯著，為員工上班戴口罩也能順利完成打卡任務提供了理論基礎，總之，基于深度神經網絡的有遮擋身份驗證，不僅可以應用在新冠疫情下人臉佩戴口罩進行人臉識別的場景，對于平時人們不戴口罩進行人臉識別時也同樣適用。

參考文獻

[1]衣柳成，魏偉波，劉小芳.基于GoogLeNet的智能錄播系統中站立人臉的檢測與定位[J].青島大學學報（自然科學版），2019，32（4）：91-95.

[2]李明生，趙志剛，李強，等.基于改進的局部三值模式和深度置信網絡的人臉識別算法[J].青島大學學報（自然科學版），2019，32（4）：79-84.

[3]ZAFEIRIOU S， TZIMIROPOULOS G， PETROU M. Regularized kernel discriminant analysis with a robust kernel for face recognition and veri-fication[J].IEEE Transactions on Neural Networks and Learning Systems，2012，23（3）：526-534.

[4]LI X X， DAI D Q， ZHANG X F. Structured sparse error coding for face recognition with occlusion[J]. IEEE Transactions on Image Pro-cessing，2013，22（5）：1889-1900.

[5]WEI X， LI C T， HU Y. Robust face recognition with occlusions in both reference and query images[C]//2013IEEE Conference on Computer Vision and pattern recognition workshops（CVPRW）.Inst Super Tecnico，lisbon，PORTUGAL，2013.

[6]LI X X， LIANG R， FENG Y. Robust face recognition with occlusion by fusing image gradient orientations with markov random fields[C]//International Conference on Intelligent Science and Big Data Engineering. Springer International Publishing，2015： 431-440.

[7]周孝佳，朱允斌，張躍.基于分塊的有遮擋人臉識別算法[J].計算機應用與軟件，2018，35（2）：183-187.

[8]SUN Y， WANG X， TANG X. Deep learning face representation from predicting 10，000 classes[C]// 27th IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Columbus， 2014： 1891-1898.

[9]SUN Y， CHEN Y， WANG X. Deep learning face representation by joint identification-verification[C]// 28th Conference on Neural Information Processing Systems （NIPS）. Montreal， 2014，27： 1988-1996.

[10] SUN Y， WANG X G， TANG X O. Deeply learned face representations are sparse， selective， and robust[C]// IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，2015：2892-2900.

[11] CHAN T H， JIA K， GAO S. PCANet：A simple deep learning baseline for image classification？[J]. IEEE Transactions on Image Processing，2015，24（12）：5017-5032.

[12] VIOLA P A， JONES M J. Rapid object detection using a boosted cascade of simple features[C]//IEEE Computer Vision and Pattern Recognition（CVPR）， 2001：511-518.

[13] ZHANG J， SHAN S G， KAN M. Coarse to fine auto-encoder networks （cfan） for real-time face alignment[J].Electronic Journal of Qualitative Theory of Diferential Equations.2014，（50）：1-15.

[14] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science，2014：1409-1556.

[15] HE K M， ZHANG X Y， REN S Q. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle，2016：770-778.

[16] HUANG G， LIU Z， LAURENS V D M. Densely connected convolutional networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.2017：2261-2269.

[17] KRIZHEVSKY A， SUTSKEVER I， HINTON G. ImageNet classification with deep convolutional neural networks[J]. Communications of the Acm.2017，60（6）：84-90.

[18] SZEGEDY C， LIU W， JIA Y. Going deeper with convolutions[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston，2015：1-9

[19] 徐迅，陶俊，吳瑰.基于卷積神經網絡的帶遮蔽人臉識別[J].江漢大學學報（自然科學版），2019，47（3）：246-251.

Authentication with Occlusion Based on Deep Neural Network

DONG Yan-hua， ZHANG Shu-mei， ZHAO Jun-li

（School of Data Science and Software Engineering， Qingdao University， Qingdao 266071， China）

Abstract：

In order to solve the problem that authentication can be completed even if the face is partially occluded， a occlusion authentication method based on deep neural network is proposed. The face image is detected and divided into blocks， the three full connections of VGGNet-16 are changed to one full connection， and the last two maximum pooling layers are changed to average pooling layers to extract the features of the face block; and add parallel module on the basis of PCANet， which not only improves the ability of the network to extract features， but also improves the PCANet's shortcomings of insufficient discrimination accuracy due to the loss of occluded facial features. The research results show that the average recognition accuracy of occluded faces based on deep neural networks reaches 96.62%.

Keywords：

COVID-19; feature extraction; occlusion discrimination; identity verification