基于對比學習的多特征融合戴口罩人臉識別

陳岸明 林群雄 劉偉強

摘 要：隨著計算機視覺技術應用的發展和智能終端的普及，口罩遮擋人臉識別已成為人物身份信息識別的重要部分。口罩的大面積遮擋對人臉特征的學習帶來極大挑戰。針對戴口罩人臉特征學習困難這一問題，提出了一種基于對比學習的多特征融合口罩遮擋人臉識別算法，該算法改進了傳統的基于三元組關系的人臉特征向量學習損失函數，提出了基于多實例關系的損失函數，充分挖掘戴口罩人臉和完整人臉多個正負樣本之間的同模態內和跨模態間的關聯關系，學習人臉中具有高區分度的能力的特征，同時結合人臉眉眼等局部特征和輪廓等全局特征，學習口罩遮擋人臉的有效特征向量表示。在真實的戴口罩人臉數據集和生成的戴口罩人臉數據上與基準算法進行了比較，實驗結果表明所提算法相比傳統的基于三元組損失函數和特征融合算法具有更高的識別準確率。

關鍵詞：戴口罩人臉識別； 對比學習； 特征融合； 口罩生成

中圖分類號：TP391.1?? 文獻標志碼：A?? 文章編號：1001-3695（2024）01-044-0277-05

doi：10.19734/j.issn.1001-3695.2023.06.0266

Multi feature fusion for masked face recognition based on contrastive learning

Abstract：With the development of computer vision technology and the popularization of intelligent terminals， facial recognition under mask occlusion has become an important part of character identity information recognition. The large area occlusion of masks poses great challenges to the learning of facial features. To solve this problem， this paper proposed a multi feature fusion based masked face recognition algorithm based on contrastive learning. This algorithm improved the traditional face feature vector learning loss function based on the triple relationship. It proposed a loss function based on the multi-instance relationship， which fully excavated the intra-modal and inter- modal correlation between multiple positive and negative samples of the masked face and the full face. Then， the features with high discrimination ability were learnt from the face. Meanwhile， it combined the local features such as eyebrows and eyes， as well as global features such as contours， to learn the effective feature vector representation of the masked face. This paper compared it with the benchmark algorithm on real masked face datasets and generated masked face data. The experimental results show that the proposed algorithm has higher recognition accuracy than the traditional triple loss function and feature fusion model.

Key words：masked face recognition; contrastive learning; feature fusion; mask generation

0 引言

隨著計算機視覺技術和硬件設備的快速發展，人臉識別在許多行業和領域都已得到了廣泛的應用，尤其是人臉識別作為一種重要的身份驗證手段，在許多場景和應用中都發揮了重大作用。傳統的人臉識別方法受環境與人為因素的影響，例如被遮擋、光照不強、姿態變化等，其識別性能有待提高，應用效果也受到制約。因此，提高人臉識別方法在有遮擋物的情況下識別的準確性，仍然是當前人臉識別的研究重點。在許多需要進行身份驗證的場合，戴口罩人臉識別已經成為一項基礎的驗證手段，提高戴口罩人臉識別的性能也成為了當前有遮擋人臉識別的一個研究重點。

在無遮擋物的情況下，當前的人臉識別方法已經達到了非常高的準確率。例如ArcFace［1］、CosFace［2］等在 LFW［3］數據集上的準確率已經達到 99.5%以上。然而，針對有遮擋物，尤其是戴口罩的情景，人臉識別的準確率還有較大的提升空間，相關的研究相對傳統人臉識別也較少。遮擋物對人臉識別算法帶來了極大的挑戰，現有的有遮擋人臉識別算法主要面向臉部飾品、眼鏡等面積較小的遮擋物［4～6］。口罩是一種面積較大的遮擋物，戴上口罩后鼻梁以下大半個人臉的生物特征信息被遮擋。因此，傳統的有遮擋人臉識別算法用于戴口罩人臉識別時，其效果會受到很大影響。戴口罩人臉識別算法需要根據人臉未遮擋局部特征和其他信息進行身份驗證。當前，已經產生了一些戴口罩人臉識別算法。這些方法主要分為三類：第一類方法主要研究新型的損失函數用于學習人臉表征向量［7～9］，其主要思想是同一個人的人臉特征表示向量應該盡量相似，而不同人之間的人臉特征表示向量應該具有較大的差距；第二類方法從人臉圖像中定位口罩區域或者關聯的特征元素［10，11］，然后將其從圖像中裁剪或者從特征域移除，目的在于消除口罩對人臉識別的影響;第三類方法試圖修復被口罩遮擋的人臉信息［12，13］，這類方法主要利用對抗神經網絡等模型，生成被遮擋部分的人臉特征，然后結合生成的特征和人臉局部特征識別人臉身份。

雖然這些方法已經取得了一定的成功，但是還存在一些問題。首先，當前的損失函數主要考慮單個人臉圖像對之間的距離關系，忽略了同一類圖像之間的關系。例如對于同一個人來說，其戴口罩的圖像可以是多個角度、多種光線下的多張圖像，未戴口罩情況也是一樣。因此，不僅需要不同人之間的圖像特征向量具有較大的距離，還需要確保同一個人不同的戴口罩圖像特征向量之間的距離較小。同時，通過學習同一人的不同圖像特征，可以挖掘出具有較大辨別能力的人臉特征。其次，基于口罩移除和人臉修復的方法很難學習出被遮擋部分的細節特征，從而導致人臉特征向量學習的效果不理想，進而影響人臉身份識別的準確率。在實際中，口罩的形狀多樣，不同人臉的局部特征有時還會非常相似，這些特點對人臉的修復提出了極大的挑戰，進而影響人臉識別的準確率。

針對這些問題，本文提出了一種基于對比學習的多特征融合戴口罩人臉識別方法（CLMF）。對比學習是一種自監督學習方法［14］，該方法能有效學習數據集中具有重要辨別能力的隱含特征，尤其是學習跨模態、跨領域數據中的一般特征。本文利用對比學習方法從每個人的不同戴口罩人臉圖像以及完整人臉圖像中學習出對人臉特征具有重要辨別能力的特征。多個實例對的學習克服了傳統的基于單個圖像對之間距離的向量學習方法的缺點。同時，為了提高人臉的表征能力，本文方法結合眉眼等未遮擋局部特征和人臉輪廓等全局特征來識別人物身份。針對訓練數據稀疏的問題，利用基于對抗網絡的風格遷移方法為人臉圖像生成戴口罩圖像，該方法可減少數據集人工標注的代價，提高訓練數據的規模。實驗結果表明，本文方法能有效提高戴口罩人臉識別的準確率等指標。

1 相關工作

目前已經有許多關于遮擋人臉識別的研究［15，16］，而口罩這種面積較大的遮擋物，對人臉識別提出了更大的挑戰，且相關研究還相對較少，主要分為三類。第一類方法通過設計特殊的損失函數來學習具有高區分度的人臉特征，基于學習出的特征向量來判斷人臉身份。例如，ArcFace［1］是較早提出的基于深度學習的人臉識別方法，MTArcFace［7］通過結合ArcFace和口罩人臉分類損失函數實現了無遮擋與戴口罩兩種情景下的人臉識別。balanced curricular loss ［8］損失函數用于在模型訓練的過程中自動發現困難樣本，以提高人臉特征的區分程度。self-restrained triplet［9］損失函數是在已有的人臉識別模型之上構建的，目的是為戴口罩人臉學習一個與未戴口罩時相似的人臉表征向量。DCR［13］提出了一種域約束的排序算法，該算法把戴口罩人臉圖像和未戴口罩人臉圖像當作兩個域，通過跨域排序來學習人臉特征向量表示。

第二類方法通過感知遮擋的圖像區域或特征來降低口罩對人臉識別的影響。例如，LPD［10］利用spatial Transformer network［17］定位人臉未遮擋區域，將其裁剪出來并投影至圖像原始大小，替代原圖像參與模型的訓練。DFL ［11］利用 滑動窗口匹配的方法匹配未遮擋部分人臉與完整人臉的特征實現身份識別。PDSN［18］提出了一種掩碼學習策略，通過查找人臉遮擋部分在特征中的關聯元素并將其丟棄，以降低遮擋部分特征在人臉識別過程中的干擾。DGR［19］提出一個動態圖方法，把人臉建模成圖結構，然后從圖中移除代表口罩信息的圖特征，進而減少口罩對人臉識別的影響。

第三類方法嘗試修復被口罩遮擋的人臉部分。文獻［12］提出了基于半監督學習的人臉遮擋修復方法。文獻［20］提出了一種基于對抗網絡模型的口罩恢復算法。GFC［21］使用深度生成模型恢復遮擋人臉， 分別使用全局和局部損失來約束生成結果的全局語義一致性和局部語義一致性。雖然這些方法取得了一定的效果，但是主要還是基于單個或者一對圖像的特征學習，不能有效學習人臉圖像中具有高區分度的特征。

2 本文模型

本文基于對比學習方法來學習人臉中具有高區分能力的特征。人臉特征學習的主要目的是使得同一個人物目標人臉圖像之間的特征表示向量相似，而不同人的人臉圖像特征表示向量之間具有較大的距離。目前，許多方法采用基于正負樣本的三元組損失函數［9，18］來學習人臉圖像特征向量。如圖1（a）所示，在三元組關系中，針對給定的錨樣本，從數據集中選取一個和它同標簽的樣本作為正樣本，另選一個不同標簽的樣本作為負樣本，特征學習的目的就是使得學習出的錨樣本向量和正樣本向量距離盡量小，而與負樣本向量的距離盡量大。這種學習方法僅考慮了單個樣本對的關系信息。在實際中，由于不同的拍攝角度和拍照光線，人臉的變化形式多樣，僅靠單個圖像對之間的關系，很難全面反映不同人物人臉圖像之間的關系。因此，基于三元組關系學習出的向量難以有效刻畫對象的本質特征。本文的對比學習方法能夠同時從錨圖像的多個正樣本實例和負樣本實例中挖掘人臉內在特征，提高了特征學習的能力。如圖1（b）所示，本文把戴口罩人臉圖像和完整人臉圖像當做兩種模態的數據，屬于同一個人的其他圖像當做正樣本，而屬于其他人的人臉圖像當做負樣本。對于給定的某個模態的錨樣本，從數據集中選取同模態的多個正樣本和負樣本，同時從另一個模態的數據中選取多個正樣本和負樣本。然后，挖掘同一模態內的多個樣本實例之間的關系和跨模態樣本之間的關系，進而基于這些關系提高人臉圖像特征向量的學習質量。

本文提出的基于對比學習和多特征融合戴口罩人臉識別算法框架如圖2所示，其中MLP表示多層感知機、linear layer表示全連接層、masking image classifier表示戴口罩人臉圖像分類器、full image classifier表示完整人臉圖像分類器。該框架主要包括兩個重要的模塊。第一個模塊為人臉圖像編碼器，包括戴口罩人臉圖像編碼器和完整人臉圖像編碼器。戴口罩人臉圖像編碼器分別為眉眼區域局部圖像和戴口罩全局圖像學習兩個向量表示，然后融合這兩個向量得到戴口罩人臉圖像特征向量表示。完整人臉圖像編碼器可以采用當前的人臉識別系統的編碼器，通過人臉特征提取網絡得到完整人臉圖像的初始特征向量表示。第二個模塊為基于對比學習的人臉圖像向量學習。該模塊將戴口罩人臉圖像和完整人臉圖像當做兩種模態的數據，同時學習同一人物多張戴口罩人臉圖像和不同人物完整人臉圖像的多實例關系，包括模態內（intra-modality）和模態間（inter-modality）的關系，從而得到具有較強表示能力的戴口罩人臉圖像特征向量。最后，學習到的人臉圖像特征向量用于分類器學習，以進一步提高人臉圖像特征的人物辨別能力。

本文的主要符號定義如下：人臉圖像數據集為D=Xm∪Xf，其中Xm={xmi|i=1，…，|Xm|}表示戴口罩人臉數據部分、Xf={xmi|i=1，…，|xf|}表示完整人臉數據部分、上標m和f分別是戴口罩和未戴口罩的標簽；y∈{1，…，k}表示第i個人臉圖像的身份標簽。

2.1 人臉圖像編碼器

如圖3所示，對于戴口罩的人臉圖像，本文分別為眉眼區域局部圖像和全局戴口罩圖像學習兩個向量表示，然后對兩種向量進行融合，以形成表示戴口罩人臉圖像的整體向量。該整體向量既能反映人臉的局部特征，也能反映整體臉部信息，因此，能夠有效地識別戴口罩人臉身份。

首先采用Dlib（http：//dlib.net/）工具檢測人臉圖像的68個landmarks，人工選擇鼻子上部的landmark作為監督信息，為戴口罩人臉數據學習口罩位置檢測器，然后采用反向采樣的方法［10］提取戴口罩人臉的眉眼區域。之后，利用ResNet-50［22］的CNN骨干網絡學習眉眼區域圖像的特征向量aei。其次，對于戴口罩人臉，采用同樣的CNN骨干網絡提取其特征向量awi，兩個CNN骨干網絡共享參數以降低模型復雜度。得到眉眼區域圖像向量和戴口罩人臉圖像向量后，采用仿射變換（biaffine attention）對兩者進行融合，得到戴口罩人臉圖像的特征表示zmi：

zmi=aeiTWawi（1）

對于完整人臉圖像，可以采用現有的人臉特征編碼器。與上述方法一樣，利用ResNet-50的CNN骨干網絡提取完整人臉圖像的特征向量zfi;然后，通過MLP和L2_Normarization將戴口罩人臉圖像特征向量和完整人臉圖像特征向量映射到同一空間中。

rmi=Norm（MLP（zmi））（2）

rfi=Norm（MLP（zfi））（3）

2.2 基于對比學習的人臉特征學習

如前所述，本文將戴口罩人臉圖像和完整人臉圖像當做兩種模態的數據，然后根據兩種模態數據的多個實例的模態內（intra-modality）和模態間（inter-modality）關系來學習人臉圖像的特征向量。

1）模態內關系學習

模態內的關系主要是通過同種模態的多個實例來學習戴口罩人臉圖像和完整人臉圖像中能反映其本質的特征，其主要思想是錨圖像應和正樣本具有更相似的向量表示，而和負樣本之間的相似度應盡量小。因此，可以利用同一人的不同角度、不同光線等多張圖像來學習人臉的基本特征。模態內的損失函數Lintra包括戴口罩人臉圖像損失項LMintra和完整人臉圖像損失項LFintra。

Lintra=Lmintra+Lfintra（6）

因此，通過最小化Lintra可以使得模型從多個相關的和不相關的實例中學習模態內人臉圖像的不變特性。

2）模態間關系學習

模態內的關系學習只考慮了相同模態數據之間的關系，其目的是使同模態內相似的人臉圖像具有相似的向量表示。然而，戴口罩人臉圖像識別的主要目的是驗證人的身份，還需要同一個人的戴口罩人臉圖像和完整人臉圖像具有相似的向量表示。因此，需要通過跨模態樣本實例之間的關系來學習戴口罩人臉和完整人臉圖像之間共同的高區分度特征。本文在同一空間中為戴口罩人臉圖像和完整人臉圖像學習其特征，從而建立起這兩種圖像之間的關聯。同樣地，跨模態損失函數Linter包括戴口罩圖像到完整人臉圖像的關聯損失項Lminter和完整人臉圖像到戴口罩圖像的關聯損失Lfinter。

其中：M、υ和〈，〉和前述公式中的參數一樣。整體的跨模態學習損失函數如下：

Linter=Lminter+Lfinter（9）

通過最小化Linter可以學習戴口罩人臉圖像表示向量和完整人臉圖像表示向量之間內在的一致特征，進一步提高戴口罩人臉圖像表示向量表達人臉的性能。

3）特征學習函數

為了學習能夠反映人物身份的特征，本文基于前述多實例關系學習的圖像表示向量進行人物標簽分類學習，分類器學習采用交叉熵損失函數。

這個分類損失函數的一個重要目的是使從戴口罩人臉圖像學習的向量和完整人臉圖像學習的向量能正確識別任務身份，且兩者的識別結果應該一致。然后，完整的分類損失函數為

Lclass=Lmclass+Lfclass（12）

最終，整個圖像向量學習的損失函數包括了多實例模態內關系和模態間關系學習損失以及分類損失。

Lclass=αLclass+（1－α）（Lintra+Linter）（13）

3 實驗分析

3.1 數據集

本文采用現有常用的人臉識別數據集CASIA-WebFace［24］作為模型的訓練，由于該數據集不包含戴口罩的人臉圖像，所以本文利用基于對抗網絡的圖像翻譯方法［25］為完整人臉圖像生成戴口罩人臉圖像，通過人工方法去掉生成的噪聲圖像。CASIA-WebFace中生成的戴口罩人臉圖像如圖4所示。這種生成方法不需要戴口罩人臉圖像和相應完整人臉圖像的成對訓練數據，只需要戴口罩人臉和完整人臉兩個數據集就可以學習出戴口罩人臉圖像的生成模型。測試數據集包含IJB-C［26］和Masked WHN［23］兩個數據集。第一個數據集IJB-C也不包含戴口罩人臉，本文為其生成戴口罩人臉數據；第二個數據集Masked WHN為真實的戴口罩人臉數據集，其中質量不高的圖像被過濾掉。各數據集信息如表1所示。

3.2 測試方法

本文的對比方法包括以下幾種：

a）ArcFace［1］，該方法為傳統的人臉識別方法，直接以 ResNet50 為主干特征提取網絡提取人臉圖像特征。

b）EUM［9］，該方法基于三元組關系提出了一種新的損失計算函數，為完整人臉圖像學習一個與同一個人戴口罩圖像向量相似的向量，該向量同時與其他人的戴口罩人臉圖像的向量具有更小的相似度。

c）LPD［10］，該方法分別為戴口罩人臉圖像和眉眼區域部分圖像學習兩個向量，通過分類器學習兩個向量之間的關系，然后利用簡單的線性方法直接合并兩個向量得到戴口罩人臉圖像的完整向量。

d）ViT［27］，該方法直接基于ViT（vision Transformer）和數據增強實現戴口罩人臉圖像的分類。

測試方法包括兩種：

a）驗證。給定一張戴口罩人臉圖像和一張完整人臉圖像，判斷兩張圖像是否表示同一人，該測試利用準確度accuracy指標來評價。為實現該測試，對圖2中戴口罩人臉圖像分類器學習的向量和完整人臉圖像分類器學習的向量計算一個相似度值，如果相似度值大于設定的閾值，則認為兩張圖像表示同一人。

b）識別。給定一張戴口罩人臉圖像，對候選數據集中完整人臉圖像按照相似度進行降序排序，該測試利用排序評價指標rank-1、rank-5、rank-10和mAP來評價。為實現該測試，利用如圖2所示的模型對戴口罩人臉圖像和完整人臉圖像分別學習其向量表示。給定戴口罩人臉查詢圖像后，計算該圖像和數據集中的候選完整人臉圖像的相似度值，按照相似度值對完整人臉圖像進行排序。

3.3 比較實驗

各方法在IJB-C和Masked WHN數據集上的比較實驗結果分別如表2和3所示。從表中數據可以得出以下結論。首先，ArcFace性能低于其他算法，表明傳統的人臉識別算法在戴口罩人臉識別中，識別性能在一定程度上受到遮擋物的影響。其次，EUM直接基于傳統的人臉識別網絡結構，再結合三元組關系損失函數學習戴口罩人臉圖像和完整人臉圖像的特征向量表示。該方法雖然提高了人臉圖像特征向量的表示能力，但是僅靠三元組無法有效學習人臉多個角度、多個實例之間的共現特征，造成特征向量對人臉的區分能力不高。LPD融合人臉圖像的多種特征進行人臉識別，包括戴口罩人臉全局特征和完整人臉局部特征，然后基于分類損失函數來學習人臉圖像特征向量。ViT雖然利用預訓練模型提高了圖像特征學習的性能，但是該方法直接基于預訓練模型的輸出進行圖像分類，對戴口罩人臉圖像的局部特征學習能力有限。CLMF融合了人臉的局部特征和全局特征，并且通過對比學習人臉圖像的多個實例來挖掘具有高區分度的特征，從而提高戴口罩人臉識別的性能。

3.4 消融實驗

為了分析本文模型CLMF各模塊的有效性，設計了CLMF的變異模型。首先，將特征融合模塊從CLMF中移除以構建一個新的模型CLMF-f，該模型以戴口罩人臉的全局特征代替原模型中的融合特征，主要用于測試特征融合對戴口罩人臉識別的貢獻。另一方面，為了測試對比學習模塊在CLMF中的作用，將對比學習模塊從CLMF中移除，形成另一個模型CLMF-c，該模型利用三元組損失函數［8］代替原有的多實例學習損失函數。同時，為了驗證多實例模態內關系和模態間關系對于人臉特征學習的作用，分別設計了另外兩個模型CLMF-cintra和CLMF-cinter，用于移除模態內損失函數Lintra和模態間損失函數Linter。

這些變異模型的實驗結果如表4和5所示。從表中的數據可以看出，當移除特征融合模塊和對比學習模塊后，CLMF的性能都存在不同程度的下降。而且，即使是基于戴口罩全局人臉特征進行對比學習，也比傳統的人臉識別模型具有更好的性能。同時，多特征融合加上三元組損失函數也比單純的三元組損失函數模型具有更好的性能。因此，特征融合和多實例對比學習都對戴口罩人臉識別作出貢獻。從表中的數據還可以看出，加入同模態實例間關系學習和跨模態實例間關系學習也會提高模型的特征學習能力。這進一步說明，通過同一個對象的不同角度、不同模態的多個實例間內在關系的學習，可以挖掘出區分度較高的特征，從而提高戴口罩人臉識別的準確性。

3.5 實驗案例分析

為了進一步說明本文模型CLMF的性能，表6給出了兩個實驗結果案例。表中第二行每個樣例左側標識為“戴口罩人臉測試圖像”為查詢圖像，右側圖像表示數據集中戴口罩人臉測試圖像所對應的人物ID圖像。系統針對提供的查詢圖像返回與之相似的完整人臉圖像，并按照相似度值進行排序。表中下面的每一列表示模型返回的戴口罩人臉圖像最相似的5張完整人臉圖像。從表中兩個例子可以看出，本文模型能夠在返回列表的第一位就找到正確結果，而LDP則分別在第3位和第2位才返回正確結果。該案例說明CLMF模型通過多實例關系信息的學習，能提高戴口罩人臉圖像向量的表示能力，進而能更有效地反映其與完整人臉圖像之間的相似度，提高了戴口罩人臉識別的準確性。

4 結束語

針對口罩遮擋人臉圖像有效特征稀疏的問題，本文提出了一個融合人臉眉眼等局部特征與全局特征的口罩遮擋人臉編碼學習器。針對單個實例圖像特征難以學習、不同人臉圖像之間關聯復雜的問題，提出了基于對比學習的人臉特征向量學習方法，充分挖掘戴口罩人臉不同圖像以及完整人臉不同圖像之間的內在關聯信息，從而更有效地學習人臉圖像的高區分度特征。針對口罩遮擋人臉圖像訓練數據不足的問題，構建了基于圖像翻譯模型的口罩產生器，生成虛擬口罩遮擋人臉數據。在真實戴口罩人臉數據集和虛擬口罩遮擋數據集上，與傳統的人臉識別方法、基于三元組損失函數和特征融合的戴口罩人臉識別方法進行了比較，實驗結果表明，融合局部特征與人臉全局特征以及多實例間關系學習可以提高戴口罩人臉識別的性能。在后續研究中，可加入人臉視覺特征的預訓練學習模型，充分利用人臉圖像數據提高人臉特征學習的性能。

參考文獻：

[1]Deng Jiankang， Guo Jia， Yang Jing， et al. ArcFace： additive angular margin loss for deep face recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：4690-5274.

［2]Wang Hao， Wang Yitong， Zhou Zheng， et al. CosFace： large margin cosine loss for deep face recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：5265-5274.

［3]Huang G B， Mattar M， Berg T， et al. Labeled faces in the wild： a database for studying face recognition in unconstrained environments［C］//Proc of Workshop on Faces in ‘Real-Life Images： Detection， Alignment， and Recognition.Piscataway，NJ：IEEE Press，2008：1-8.

［4]Jia Hongjun， Martinez A M. Support vector machines in face recognition with occlusions［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2009：136-141.

［5]Wu C Y， Ding J J. Occluded face recognition using low-rank regression with generalized gradient direction［J］.Pattern Recognition，2018，80： 256-268.

［6]朱孟剛，鄭廣海.遮擋人臉識別算法改進方法綜述［J］.計算機科學與應用，2022，12（6）：1569-1579.（Zhu Menggang， Zheng Guanghai. A survey of improved methods of occlusion face recognition algorithms［J］.Computer Science and Application，2022，12（6）：1569-1579）.

［7]Montero D， Nieto M， Leskovsky P， et al. Boosting masked face re-cognition with multi-task ArcFace［EB/OL］.（2021）.https：//arxiv.org/abs/2104.09874.

［8]Feng Tao， Xu Liangpeng， Yuan Hangjie， et al. Towards mask-robust face recognition［C］//Proc of IEEE Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1492-1496.

［9]Boutros F， Damer N， Kirchbuchner F， et al. Self-restrained triplet loss for accurate masked face recognition［J］.Pattern Recognition，2022，124：108473.

［10]Ding Feifei， Peng Peixi， Huang Yangru， et al. Masked face recognition with latent part detection［C］//Proc of the 28th ACM International Conference on Multimedia.New York：ACM Press，2020：2281-2289.

［11]He Lingxiao， Li Haiqing， Zhang Qi， et al. Dynamic feature learning for partial face recognition［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：7054-7063.

［12]Cai Jiancheng， Han Hu， Cui Jiyun， et al. Semi-supervised natural face deocclusion［J］.IEEE Trans on Information Forensics and Security，2020，16：1044-1057.

［13]Geng Mengyue， Peng Peixi， Huang Yangru， et al. Masked face re-cognition with generative data augmentation and domain constrained ranking［C］//Proc of the 28th ACM International Conference on Multimedia.New York：ACM Press，2020：2246-2254.

［14]He Kaiming， Fan Haoqi， Wu Yuxin， et al. Momentum contrast for unsupervised visual representation learning［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：9726-9735.

［15]Damer N， Grebe J H， Chen Cong， et al. The effect of wearing a mask on face recognition performance： an exploratory study［C］//Proc of the 19th International Conference on Biometrics Special Interest Group.2020：1-10.

［16]王羿，姚克明，姜紹忠.基于口罩佩戴情況下的人臉識別方法［J］.計算機科學與應用，2022，12（3）：739-745.（Wang Yi， Yao Keming， Jiang Shaozhong. Face recognition method under the condition of wearing a mask［J］.Computer Science and Application，2022，12（3）：739-745）

［17]Jaderberg M， Simonyan K， Zisserman A， et al. Spatial Transformer networks［C］//Advances in Neural Information Processing Systems.2015：2017-2025.

［18]Song Yi， Zhen Lei， Liao Shengcai， et al. Occlusion robust face re-cognition based on mask learning with pairwise differential siamese network［C］//Proc of IEEE Conference on Computer Vision.Pisca-taway，NJ：IEEE Press，2019：773-782.

［19]Ren Min， Wang Yunlong， Sun Zhennan， et al. Dynamic graph representation for occlusion handling in biometrics［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2020：11940-11947.

［20]Din N U， Javed K， Bae S， et al. A novel GAN-based network for unmasking of masked face［J］.IEEE Access，2020，8：44276-44287.

［21]Li Yijun， Liu Sifei， Yang Jimei， et al. Generative face completion［C］//Proc of IEEE Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2017：3911-3919.

［22]Dosovitskiy A， Beyer L， Kolesnikov A， et al. An image is worth 16×16 words： transformers for image recognition at scale ［EB/OL］.（2020）.https：//arxiv.org/abs/2010.11929.

［23]Wang Zhongyuan， Wang Guangcheng， Huang Baojin， et al. Masked face recognition dataset and application［EB/OL］.（2020）.https：//arxiv.org/abs/2003.09093.

［24]Dong Yi， Zhen Lei， Liao Shengcai， et al. Learning face representation from scratch［EB/OL］.（2014）.https：//arxiv.org/abs/1411.7923.

［25]Zhu Junyan， Taesung P， Phillip I， et al. Unpaired image-to-image translation using cycle-consistent adversarial network［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：2223-2232.

［26]Bansal A， Nanduri A， Castillo C D， et al. UMDFaces： an annotated face dataset for training deep networks［EB/OL］.（2016）.https：//arxiv.org/abs/1611.01484v2.

［27]Donato J H， Yudistira N， Sutrisno. Mask usage recognition using vision Transformer with transfer learning and data augmentation［EB/OL］.（2022）.https：//arxiv.org/abs/2203.11542v1.