面向人臉識別的口罩區域修復算法

李悅，錢亞冠，關曉惠，李蔚，王濱，顧釗銓

（1.浙江科技學院大數據學院，浙江 杭州 310023；2.浙江水利水電學院信息工程與藝術設計學院，浙江 杭州 310027；3.杭州海康威視網絡與信息安全實驗室，浙江 杭州 310051；4.廣州大學網絡空間先進技術研究院，廣東 廣州 510006）

1 引言

基于深度學習的人臉識別技術已被廣泛應用于金融、公安、教育等領域，其中 DeepFace[1]是應用深度學習的經典人臉識別算法，在 LFB（lable2 +aces in the wil2）[2]數據集上取得了97.35%的識別率，已經接近人類的水平。最近提出的ArcFace[3]算法，則達到了99.8%的識別率。但目前的人臉識別算法在實際應用中易受一些外部因素（如人臉遮擋、光照、面部表情、面部朝向等）的影響。其中，遮擋的影響最為顯著，可導致識別率降低10%左右[4]。

2020年年初，新型冠狀病毒肺炎疫情突然爆發，要求人們必須佩戴口罩進入公共場所。尤其在機場、火車站等需要計算機人臉識別的場所，口罩對人臉的遮擋必然會影響識別的效率和準確率，而摘下口罩又會增加交叉感染的風險。因此，如何在戴口罩的情況下實現高精度的人臉識別成為當前急迫需要解決的問題。

事實上，遮擋條件下的人臉識別一直是該領域的研究熱點[5-6]。Bang等[7]提出了兩階段的重建方法：先檢測遮擋再恢復遮擋部分，這種聯合遮擋檢測和恢復方法可以產生有利于分類的良好全局特征。Zhang等[8]用去遮擋的自編碼網絡恢復被遮擋區域。Yuan等[9]利用3D重建修復人臉遮擋部位，但該方法需要與目標身份相同的參考數據。Zhao等[6]以相同身份的人臉圖片為基礎，使用生成對抗網絡（generative a2versarial network，GAN）[10]生成無遮擋的人臉。Duan等[4]提出了 BoostGAN（boosting generative a2versarial network）先粗略后精細地恢復人臉。He等[11]提出一種人臉圖片編輯方法，通過屬性分類約束更加精確地修改人臉屬性。Iizuka等[12]和Li等[13]利用GAN，結合全局判別器與局部判別器，從整體以及局部區域判斷修復圖片的語義一致性。以全局判別器與局部判別器同時使用為基礎，ID-GAN（i2entity-2iversity generative a2versarial network）[14]將基于深度學習的識別器和基于GAN的判別器相結合，修復真實且保留身份的人臉。這類方法的缺陷是在生成遮擋區域邊緣時會失真。

但是這些方法并沒有專門針對口罩遮擋，因而去除口罩遮擋的效果不佳。口罩遮擋面積較大，鼻子以下的面部特征被掩蓋，可利用的特征關鍵點減少。考慮人臉邊緣包含了大量的人臉結構信息，如果以邊緣為基礎修復人臉，有可能產生更好的效果。因此，本文提出新的人臉口罩區域修復算法ID-EFCGAN（ID-e2ge to +ace con2itional generative a2versarial network），利用條件生成對抗網絡（con2itional generative a2versarial network，CGAN）[15]生成邊緣圖，在此基礎上再利用CGAN恢復被遮擋區域的人臉。為提升 ID-EFCGAN的性能，提出空間加權對抗損失和身份一致性損失訓練上述網絡，其中身份一致性損失通過約束生成人臉與真實人臉有相似的特征表示，使生成人臉與真實人臉的身份信息一致，從而保證人臉識別效果。利用關鍵點信息構建了兩個佩戴口罩的人臉數據集進行實驗，結果表明，佩戴口罩的人臉經過本文的去遮擋處理后，可使 ArcFace的識別準確率達到98.39%。

2 口罩遮擋下的人臉識別

針對佩戴口罩的人臉，本文不改變現有人臉識別算法，采取修復口罩遮擋部分的思路，提高人臉識別準確率，具體過程如圖1所示。本文提出端到端的人臉修復模型ID-EFCGAN（以下簡稱ID-EFC），由邊緣生成網絡和區域填充網絡構成，分為兩步去除口罩遮擋：（1）恢復人臉邊緣。對于戴口罩的人臉圖片，利用人臉關鍵點信息定位口罩，并生成口罩掩碼。借助口罩掩碼獲得口罩區域缺失的人臉圖像。利用邊緣生成網絡恢復口罩缺失區域的邊緣。（2）口罩缺失區域填充。基于恢復的邊緣圖，區域填充網絡還原遮擋區域的人臉。最后，利用已有的人臉識別算法對去除口罩遮擋的人臉進行識別。

圖1 去除口罩遮擋實現人臉識別的流程

邊緣生成網絡和區域填充網絡均采用 CGAN的結構，由生成器和判別器組成。為方便后續描述，將邊緣生成網絡的生成器和判別器分別記為G1和D1，區域填充網絡的生成器和判別器分別記為G1和D1。用C表示人臉邊緣圖，X表示人臉圖，將戴口罩的人臉圖片記為Xwear，借助口罩掩碼獲得的口罩區域缺失的人臉圖記為Xmask，真實的無遮擋人臉圖記為Xgt，其灰度圖和邊緣圖分別記為Xgray和Cgt。

2.1 邊緣生成網絡

為了生成口罩區域的人臉邊緣，需先定位口罩并獲得口罩區域缺失的人臉圖。利用人臉關鍵點信息，結合先驗知識初步獲取口罩的位置和形狀。由于每張圖片中的頭部姿勢和臉部大小不同，在算法中對口罩形狀的大小以及角度進行自動調整。根據獲取的口罩位置和形狀信息，生成與人臉圖片同樣大小的口罩掩碼，記為M。該掩碼口罩區域像素值為1，其余區域像素值為0。相比用矩形框定位口罩，本文方法更加精準，不會過度擴大遮擋面積。利用式（3）獲得口罩區域缺失的人臉圖Xmask。

其中，⊙為Ha2amar2乘積。

在獲得Xmask后，進一步利用邊緣生成網絡還原缺失區域的人臉邊緣，通過生成器G1與判別器D1的動態博弈，生成盡可能真實的無遮擋邊緣圖（如圖2所示）。具體步驟為：

圖2 邊緣生成網絡的結構

（1）獲取Xmask的灰度圖和邊緣圖，分別記為Xgray_mask和Cmask，其中，邊緣圖利用Canny邊緣檢測器[16]獲取；

（2）將獲得的灰度圖Xgray_mask輸入生成器G1，邊緣圖Cmask作為生成器G1的條件，生成無遮擋的邊緣圖Cpre2；

（3）獲得無遮擋邊緣圖Cpre2后，判別器D1不僅判斷Cpre2是來自真實數據還是生成器G1，而且判斷生成的Cpre2與灰度圖Xgray是否匹配；

（4）利用式（4）獲得原始的無遮擋邊緣圖Cgt和Cpre2的組合，記為Ccomp：

Ccomp中的無遮擋區域的邊緣來自Cgt，遮擋區域的邊緣來自生成器的預測Cpre2。

2.2 區域填充網絡

在獲得組合邊緣圖Ccomp后，進一步利用區域填充網絡填充Ccomp生成人臉，通過生成器G2和判別器D2的動態博弈，生成盡可能真實的無遮擋人臉圖（如圖3所示）。具體過程為：

圖3 區域填充網絡的結構

（1）將缺失的人臉圖Xmask和組合邊緣圖Ccomp輸入生成器G2，其中Ccomp作為生成器G2的條件，生成無遮擋的人臉圖片Xpre2；

（2）獲得無遮擋人臉圖Xpre2后，判別器D2不僅辨別出生成器G2“偽造”的Xpre2，而且判斷生成的Xpre2與邊緣圖Ccomp是否匹配；

（3）借助式（5）獲得原始的無遮擋人臉圖Xgt和Xpre2的組合，記為Xcomp：

Xcomp中的無遮擋區域來自Xgt，遮擋區域來自G2生成的Xpre2。在獲得無遮擋人臉圖片Xcomp后即可進行識別。

2.3 空間加權對抗損失

圖4（a）展示了遮擋區域與未遮擋區域對抗損失函數的分布，可以看到兩個區域的分布存在差異，無差別地對待這兩個區域可能會影響生成圖片的質量。為此，本文引入空間加權對抗損失。考慮遮擋可看作大面積空間連續噪聲[5]，本文對口罩遮擋區域和未遮擋區域的對抗損失賦予不同的權重，定義空間加權對抗損失為：

其中，W稱為空間權重，大小為N×N的矩陣，其中每個元素表示相應區域損失的權重。W中的元素僅有兩種取值，分別為口罩區域對應的權重取值和未遮擋區域對應的權重取值（如口罩區域對應的權重均為 0.75，未遮擋區域對應的權重均為1），該部分的具體取值將在實驗部分討論。引入空間加權對抗損失后，兩個區域的分布更加接近，如圖4(b)所示，這表明空間加權對抗損失更加合理地對待這兩個區域。

圖4 被口罩遮擋區域與無遮擋區域對抗損失函數的分布

2.4 身份一致性損失

去除人臉口罩遮擋后的人臉識別準確率取決于：

（1）生成的人臉要盡可能真實；

（2）生成人臉Xpre2與真實人臉Xgt的身份要一致。

為此，本文在GAN的結構中引入一個訓練好的識別網絡，用于計算身份一致性損失，度量生成人臉與真實人臉的身份特征之間的距離，使生成人臉與真實人臉在語義上更加相似：

其中，F為預訓練好的人臉識別模型，提取身份判別所需的人臉特征；Xg′t和Xp′re2分別是經過人臉檢測器MTCNN（multi-task convolutional neural network）[17]裁剪對齊后的真實人臉和生成人臉。通過最小化身份一致性損失，真實人臉的身份特征引導著人臉的生成，使得生成人臉在身份特征空間中逼近真實人臉，從而保留大量身份信息。

為了實現邊緣圖到人臉圖這兩種不同風格圖像之間的轉換，本文引入感知損失[18]與風格損失[19]，與本文設計的身份一致性損失、空間加權對抗損失加權求和作為總的損失函數訓練區域填充網絡。風格損失通過計算預訓練網絡不同層特征圖之間的距離，衡量兩張圖片之間高級感知及語義差別：

其中，Ni是第i層激活映射的元素個數，φi是VGG-19網絡的第i層激活映射。風格損失利用表示風格特征的 Gram矩陣[20]，計算風格特征之間的絕對誤差，衡量兩張圖片的風格差異。風格損失可以有效避免棋盤效應，對于大小為Ci×Hj×Wj的特征映射，風格損失函數定義為：

其中，是由激活映射iφ構造的大小為jj C×C的Gram矩陣。

為了提高生成圖片的質量，在區域填充網絡的損失函數中引入本文提出的空間加權對抗損失函數，對口罩區域的損失賦予與其他位置不同的權重。區域填充網絡的空間加權對抗損失：

最終得到區域填充網絡生成器G2和判別器D2的損失分別如下：

利用LG2訓練區域填充網絡生成器G2，利用LD2訓練區域填充網絡判別器D2。

3 實驗設置和效果評估

首先，定性和定量地分析生成圖片的質量；然后，分析空間加權對抗損失的有效性；最后，從人臉識別的準確率角度評估本文模型是否更好地保留了身份信息。

3.1 實驗設置

目前用于人臉識別的公共數據集主要有CASIA-BebFace[21]和 LFB[2]。CASIA-BebFace用于身份鑒定和人臉識別模型的訓練和測試，包含10 575個身份的494 414張圖像，每張圖片的大小為250 2pi×250 2pi。LFB用于人臉識別模型的測試，包含5 749個身份的13 233張人臉圖像，絕大部分人僅有一張圖片，每張圖片的大小為250 2pi×250 2pi。但以上兩個數據集中的人臉均未戴口罩，為此本文借助關鍵點信息，將口罩添加到人臉圖片上，合成了兩個戴口罩的數據集 CASIABebFace mask和 LFB mask。CASIA-BebFace mask包含約42萬張圖片，其中34萬張用于訓練，4萬張用于驗證，其余用于測試；LFB mask包含 13 170張人臉圖片，用于測試。測試集中的人臉身份均沒有在訓練集中出現。

本文所有實驗均在4×GeForce RTX 2 080ti服務器上進行，生成器以參考文獻[18]為基礎構建，判別器使用PatchGAN[22]，網絡的所有層都使用實例歸一化（instance normalization，IN）。實驗使用的人臉識別模型為ArcFace。

設置Can2y邊緣檢測器的參數σ為2，損失函數的權重分別為λa2v,1=1，λa2v,2=λp=0.1，λs=250，λi2=1。分兩個階段訓練：第一階段，分別訓練生成器G1和G2直到收斂，設置生成器G1和判別器D1的學習率分別為10-4和10-5，使用A2am優化器優化，設置參數β1=0，β2=0.9。第二階段，聯合訓練生成器G1和G2，設置生成器和判別器的學習率分別為10-5和10-6。

3.2 生成圖片的質量

本文分別展示邊緣生成網絡和區域填充網絡修復的邊緣圖（如圖5所示）和人臉圖（如圖6所示）。圖5中從左往右各列依次為真實的人臉圖Xgt、戴口罩的人臉圖Xwear、口罩區域缺失的人臉灰度圖Xgray_mask、口罩區域缺失的人臉邊緣圖Cmask、預測的人臉邊緣圖Cpre2、組合邊緣圖Ccomp和真實的人臉邊緣圖Cgt。圖6中從左往右各列依次為真實的人臉圖Xgt、戴口罩的人臉圖Xwear、口罩區域缺失的人臉圖Xmask、組合邊緣圖Ccomp、預測的人臉圖Xpre2和組合人臉圖Xcomp。從圖5和圖6可以看出，基于人臉邊緣圖恢復了被口罩遮擋的區域，并保留了原圖中未被遮擋的區域。

圖5 邊緣生成網絡生成的人臉邊緣圖示例

圖6 區域填充網絡生成的人臉圖示例

本文從視覺效果定性分析去除口罩后的圖片質量。圖7和圖8展示了人臉頭部姿勢、光照和口罩樣式不同的人臉圖片。第一行是姿勢和光線不同的戴口罩人臉圖片，第二行是未戴口罩的真實人臉，第三行是 ID-EFC去除口罩后的人臉圖片，接近第二行的真實人臉。實驗結果表明，ID-EFC的有效性不受頭部姿勢、光照和口罩樣式的影響。盡管測試數據集和訓練數據集中的人物身份無一相同，包括頭部姿勢、臉部大小和口罩的遮擋形狀也不相同，但ID-EFC仍能生成沒有虛假邊緣和區域的人臉圖片，恢復大部分細節，取得良好的視覺效果。

圖7 ID-EFC在CASIA-BebFace mask數據集上去口罩遮擋人臉示例

圖8 ID-EFC在LFB mask數據集上去口罩遮擋的人臉示例

本文以未引入空間加權對抗損失和身份一致性損失的模型為基準模型，命名為EFCGAN（e2ge to +ace con2itional generative a2versarial network），簡稱為EFC，將其與ID-EFC進行實驗對比。圖9給出了各種模型在CASIA-BebFace mask數據集上去除口罩遮擋后的部分結果。圖9中第一行和最后一行分別為戴口罩的人臉Xwear和真實人臉Xgt，中間三行中從上往下依次為使用矩形掩碼訓練的模型 EFCroc、使用本文口罩掩碼訓練的模型EFCmask和ID-EFC去除口罩后的人臉。可以看出，使用 EFCroc得到的人臉不夠真實，容易產生虛假區域。使用EFCmask去遮擋的效果明顯提升，人臉變得真實，表明本文生成口罩掩碼的有效性。但EFCmask修復的人臉在嘴巴和鼻子等關鍵部位有些失真，因為該模型未充分考慮身份信息。相比之下，ID-EFC修復的鼻子和嘴巴部位更真實、自然，這是因為引入了身份一致性損失，有利于身份細節的恢復。

圖9 不同模型在CASIA-BebFace mask數據集上去除口罩的人臉示例

本文進一步用PSNR和SSIM這兩個常用的圖像質量評價指標定量分析修復圖片的質量。各模型去除口罩遮擋后的圖片對應的PSNR和SSIM見表1。從表1中的結果看，EFCroc的兩項指標均為最低，ID-EFC的兩項指標最高，而EFCmask的兩項指標居中，說明ID-EFC生成的人臉圖片質量最好，這與之前的定性分析結論是一致的。

表1 不同模型生成圖片的PSNR和SSIM

3.3 空間加權對抗損失的效果

下面將進一步驗證空間加權對抗損失對提升圖片質量的效果，對比引入空間加權對抗損失La2v（包括La2v_1和La2v_2）前后 EFCmask模型在CASIA-BebFace mask和LFB mask上的PSNR和SSIM 值（見表2）。表2中引入La2v的 EFCmask模型修復圖片的PSNR和SSIM值均較高，說明La2v對提升圖片質量有較好的效果。為了進一步研究口罩區域損失的權重取值對生成圖片質量的影響，固定無遮擋區域的權重均為1，口罩區域的權值wmask分別取0.5、0.75、1、1.25和1.5，實驗結果如圖10所示。權重wmask取值為1時，表示模型 EFCmask的對抗損失沒有引入空間權重。從圖10可以看出，權重小于1時的PSNR高于權重大于1時的PSNR，并且在權重為0.75時，PSNR最高。因此，本文選取口罩區域對抗損失的權重為 0.75，無遮擋區域對抗損失的權重為1。

表2 空間加權對抗損失使用前后的結果對比

圖10 口罩區域對抗損失權重取值對PSNR的影響

3.4 人臉識別效果

通過對比添加身份一致性損失Li2和空間加權對抗損失La2v（包括La2v_1和La2v_2）前后模型對遮擋下人臉識別的影響，證明ID-EFC能更好地保留身份信息。首先將人臉對齊裁剪成尺寸為112 2pi×112 2pi的圖片，用ArcFace提取裁剪對齊后的人臉特征，然后驗證成對人臉圖片是否屬于同一身份。成對圖片中一個是圖庫中未戴口罩的人臉，另一個是戴口罩的人臉或去除口罩遮擋的人臉。使用模型去除口罩后的人臉進行識別的準確率見表3。

表3中最后一列，ArcFace在LFB數據集上的準確率高達99.82%，但是當人臉存在口罩遮擋，對遮擋人臉不進行任何處理，直接基于整張遮擋人臉進行識別時，其在LFB mask數據集上的準確率只有94.26%，下降了5.56%，說明口罩遮擋的確會影響人臉識別準確率。以ArcFace在LFB mask數據集上的準確率94.26%為比較基準，從左往右對比：ArcFace在EFCroc修復的人臉數據上的準確率只有93.87%，低于直接識別整張遮擋人臉的準確率（94.26%）；ArcFace在EFCmask修復的人臉數據上的準確率為97.98%，較遮擋下人臉識別準確率提高了 3.72%；EFCmask加入La2v后，準確率提高了 3.8%；加入Li2后，準確率提高了3.88%。而同時引入La2v和Li2后，ID-EFC將遮擋下人臉識別準確率提升了 4.13%，最終準確率為98.39%，說明 ID-EFC的模型能更好地保留身份信息。

表3 不同模型在LFW mask數據集上的人臉識別準確率

圖11更直觀地展示了ArcFace在各個模型去除口罩后的人臉數據上進行人臉識別的 ROC曲線。GT和OCC分別表示無口罩遮擋和口罩遮擋下人臉識別的ROC曲線。隨著空間加權損失與身份一致性損失的加入，AUC值不斷增大，說明人臉識別的效果變好。通過AUC值可以發現，遮擋條件下，ID-EFC（EFCmask+La2v+Li2）對提高識別準確率的效果最好。

圖11 在LFB mask數據集上人臉識別ROC曲線

本文通過比較不同模型修復的人臉的身份特征，進一步分析ID-EFC取得較好效果的原因。利用t-SNE[23]將512維的身份特征降至2維，觀察屬于同一身份特征的聚集性與可分性，可視化結果如圖12所示。圖12(a)(b)(c)分別表示口罩遮擋下的人臉、EFCmask修復的人臉和ID-EFC修復的人臉的身份特征。圖中同一形狀的點表示屬于同一個身份的特征。由圖12(a)可發現，口罩遮擋下不同身份的人臉在身份特征上存在重疊，因此即使性能優良的 ArcFace也無法在遮擋的情況下保持高精度的準確率。用EFCmask（如圖12(b)所示）去除遮擋后的人臉特征也仍然存在部分重疊。而ID-EFC（如圖12(c)所示）修復的人臉特征實現了最大的聚集度，容易根據身份特征對其進行分組，顯示了身份一致損失對提高口罩遮擋下人臉識別準確率的有效性。

圖12 身份特征可視化

3.5 口罩類型對識別效果的影響

為了進一步研究不同類型的口罩遮擋對人臉識別的影響，本文分別測試不同類型口罩遮擋下的識別準確率，結果見表4。本文使用黑、白和藍3種口罩，對人臉的遮擋面積分別約為40%、39%和37%，在這3種口罩遮擋下，ArcFace的識別準確率分別為91.23%、95.77%和93.18%，見表4。其中遮擋面積為 40%的黑色口罩遮擋下的識別準確率最低，說明該種口罩對人臉識別效果的影響較大。

表4 不同類型口罩遮擋下的人臉識別準確率

為了進一步分析遮擋面積和口罩顏色對識別效果的影響，本文分別測試不同顏色和不同面積的口罩遮擋下的識別準確率，結果見表5。

表5 不同面積和顏色的口罩遮擋下人臉識別準確率

可以發現，在口罩顏色相同的條件下，識別準確率隨著遮擋面積增加而逐漸下降，這說明遮擋面積對識別效果有一定的影響。除此之外，在遮擋面積相同的情況下，黑、白、藍3種口罩遮擋會對識別效果產生不同程度的影響，以 35%遮擋面積為例，黑、白、藍3種口罩遮擋下的識別準確率分別為92.61%、96.24%和93.68%，說明黑色口罩遮擋對人臉識別模型性能的影響最為嚴重，藍色次之，白色最小。

4 結束語

本文提出了一個人臉口罩區域修復深度學習模型ID-EFC，并設計了空間加權對抗損失和身份一致性損失對其訓練。實驗表明，空間加權對抗損失的引入能有效提升生成圖片的質量；身份一致性損失的引入能更好地保留生成圖片的身份信息，這兩種損失在口罩區域的修復中起著重要作用。ID-EFC的應用，可提高口罩遮擋下的人臉識別準確率。此外，ID-EFC能夠處理不同頭部姿勢、光照和口罩樣式的人臉圖片，具有良好的泛化性能。下一步的工作是優化現有模型，推廣到多種遮擋類型的人臉識別任務中。