有遮擋人臉識別進展綜述

摘 要：人臉識別技術水平不斷提升，在身份認證、人機交互等應用上得到了較為理想的識別率，市場規模不斷增長。然而真實場景下的遮擋問題并沒有被徹底解決，如何抑制或消除遮擋對人臉關鍵性特征的負面影響是當前人臉識別領域的熱點之一。針對遮擋導致的人臉結構信息缺失問題，對有遮擋人臉識別數據集和有遮擋人臉識別方法進行綜述，首先介紹分析了一些重要的新型有遮擋人臉識別數據集；其次，歸納分析了用于解決遮擋問題的傳統方法和深度學習方法，重點介紹了基于深度學習的特征魯棒性提取方法和遮擋部位信息恢復方法;最后，總結分析了相關方法的優缺點，指出有遮擋人臉識別研究存在的問題和挑戰，對未來研究方向進行了展望。

關鍵詞：人臉識別； 有遮擋人臉數據集； 深度學習； 魯棒性特征提??； 遮擋信息恢復

中圖分類號：TP391.41 文獻標志碼：A

文章編號：1001-3695（2023）08-002-2250-08

doi：10.19734/j.issn.1001-3695.2022.12.0830

Review of progress of face recognition with occlusion

Zhang Qinghui， Zhang Yuan， Zhang Mengya

（College of Information Science amp; Engineering， Henan University of Technology， Zhengzhou 450001， China）

Abstract：The level of face recognition technology continues to improve， and has achieved an ideal recognition rate in identity authentication， human-computer interaction and other industrial applications， and the market scale keeps growing. However， the occlusion problem in real scenes has not been completely solved. How to restrain or eliminate the negative impact of occlusion on key facial feature， is one of the hot spots in the field of face recognition. Aiming at the problem of lack of face structure information caused by occlusion， this paper reviewed the occluded face recognition datasets and the occluded face recognition methods. Firstly， it introduced and analyzed some important new occluded face recognition datasets. Secondly， it summarized the traditional learning methods and deep learning based methods to solve occlusion problems， and emphasized the deep lear-ning based robustness feature extraction and occluded facial information recovery. Finally， this paper summarized and analyzed the advantages and disadvantages of relevant methods， pointed out the problems and challenges of occluded face recognition， and prospected the future research directions.

Key words：face recognition; occluded face datasets; deep learning; robustness feature extraction; occluded information recovery

0 引言

人臉識別［1］通過抽取并對比分析人臉特征來進行身份驗證及識別，是生物識別領域的重要技術之一，得到了廣泛的實際應用。然而，受光線、姿態、分辨率、遮擋等現實不可控因素的影響，人臉識別算法并不能總發揮積極作用［2，3］。其中遮擋的存在會掩蓋人臉上大部分特征，造成較大的信息損失，導致人臉識別算法性能大幅下降。

有遮擋人臉識別是研究在遮擋情況下人臉識別方法的一個領域，用于抑制或消除遮擋的影響，主要研究遮擋導致的人臉結構信息缺失問題，抑制或消除遮擋對人臉關鍵性特征的負面影響，包含遮擋下的人臉特征魯棒性提取和針對有遮擋部位的人臉信息有效恢復兩個重要研究內容。相比于約束場景下無遮擋的人臉識別高精度性能，無約束場景下佩戴口罩、圍巾、眼鏡等造成的遮擋會混淆面部特征，造成人臉特征點被破壞和面部特征大量缺失，不僅影響著人臉識別的精度，也會間接造成人臉檢測階段的目標誤檢、漏檢。現實世界的遮擋不可提前預知，遮擋可能出現在人臉面部區域的任何位置，以任意大小或形狀的形式呈現，遮擋帶來的人臉關鍵性特征缺失是人臉識別領域無法回避并且亟待解決的一個重要問題［4～7］。

有遮擋人臉識別的研究具有廣泛的應用場景，可應用于安全防護、金融商務、交通監控、娛樂社交等多個領域，例如一些受安全保護的現實場景小區需要通過人臉識別辨識身份方可進入。人臉識別系統可用于企業、住宅安全管理，如人臉識別防盜門、門禁考勤系統等；還可在公共場所對不法分子進行監視，如在機場通過監控系統對通過遮擋進行偽裝的不法分子識別身份，防止恐怖分子登記。另外，在理論層面可以幫助解決人臉識別遇到的遮擋等問題，對圖像合成、圖像修復領域具有一定的啟發［8～12］。特別地，疫情常態化防控下的口罩遮擋對面部的特征提?。ㄈ缱彀?、鼻子、下巴等）產生了極大的負面影響，促使人臉識別應用需進一步考慮遮擋問題。

有遮擋人臉識別的研究主要包括遮擋下的人臉特征魯棒性提取和針對有遮擋部位的人臉信息有效恢復兩個重要研究內容。本文從有遮擋人臉識別的關鍵問題和研究內容出發，綜述了新型有遮擋人臉數據集及最新有遮擋人臉識別研究方法。

1 有遮擋人臉數據集

1.1 人臉遮擋構造

一個數據充足、標注良好且種類多樣的數據集是訓練模型、提升模型性能的必要條件。目前常用的人臉數據集有CASIA-WebFce［13］、VGGFace2［14］、MS-Celeb-1M［15］、Glint360K［16］、LFW［17］、MegaFace［18］等，然而，這些數據集多數面向人臉識別應用主動配合環境，并非針對人臉遮擋問題專門設計，遮擋條件不足、缺乏非配合環境下的遮擋情況，不滿足有遮擋人臉識別研究的迫切需求。通過使用模擬遮擋和數據增強的方法可以構建滿足研究需求的有遮擋人臉數據集。

a）數據合成方法。Mare等人［19］基于SparkAR Studio將創建的合成口罩融合進人臉圖像的面部區域，增強無遮擋人臉數據集中的遮擋條件；Wang等人［20］提出一種FMA-3D模塊，利用106個面部特征點和3D人臉重建方法PRNet［21］合成大量遮擋人臉圖像；Wang和Huang等人［22，23］開發了基于Dlib庫的口罩佩戴軟件；Anwar等人［24］開源了遮擋添加工具MaskTheFace；Yin等人［25］提出了一種可以對每張圖像各個類別（眼、鼻、配飾等）分別遮擋的方法。

b）數據增強方法。Wang等人［26］提出一種稱做MaskOut的數據增強方法，MaskOut采用隨機遮擋模板代替鼻子下方的移除區域，利用區域數據增強方法，使用了剪切、隨機擦除、Cutmix及DropBlock等技術，可有效用于任何網絡架構，并構建了真實蒙面人臉數據集MCPRL-Mask，包含246個人的14 023張蒙面圖像。與FMA-3D相比，MaskOut產生的內存和訓練成本可忽略不計。

1.2 新型有遮擋人臉數據集

a）RMFRD。文獻［22，23］提出了三種特殊類型的遮擋人臉數據集：口罩遮擋人臉檢測數據集MFDD、真實口罩遮擋人臉識別數據集RMFRD和模擬蒙面人臉識別數據集SMFRD。其中，MFDD的一部分樣本來自相關研究，另一部分來源是通過爬蟲抓取的，該數據集包括24 771個有遮擋人臉圖像；RMFRD包括525名有遮擋者的5 000張圖片和525名不戴口罩的90 000張圖片，這是目前世界上較大的真實口罩人臉數據集；SMFRD包括10 000個人的500 000張人臉圖像。文獻指出，可以同時使用模擬口罩數據集和原始未遮擋人臉數據集來提高有遮擋人臉識別的準確性。真實遮擋和模擬遮擋的樣例如圖1所示。

b）MFR2。針對目前遮擋數據集存在面部不一致或未對齊、識別難度大、缺乏無遮擋身份信息、數據多樣性低等問題，Anwar等人［24］使用開源工具MaskTheFace創建了真實世界的遮擋人臉識別數據集MFR2，該數據集包括蒙面和未蒙面的身份圖像。MFR2是一個經過人臉對齊處理的真實小型數據集，包含53個名人和政治家身份的共269張圖像，每個身份平均有5張圖像，圖像尺寸為160×160×3。MFR2是目前數據多樣性高，可用于訓練遮擋人臉識別系統的數據集之一，如圖2所示。

c）FaceOcc。當前的人臉分割數據集存在數據量小、遮擋類型少、分辨率低和注釋不精確等問題，限制了基于數據驅動的算法的性能。CelebAMask-HQ［27］最接近滿足該要求，但該數據集是為基于GAN的面部圖像編輯任務而設計，忽略了人臉圖像上的各種遮擋（頭發和眼鏡除外）。Yin等人［25］提出一種新的高質量人臉遮擋數據集FaceOcc，該數據集包含30 000多張圖片，具有太陽鏡、手、口罩等多種類型，是目前較大的最全面的面部遮擋數據集，如圖3所示。其中第一行是原始圖像，第二行是數據增強圖像。

表1主要介紹了口罩人臉數據集的具體內容和下載網址，表2通過分析各數據集，總結了數據集的數據集來源、數據集大小、數據任務以及發布年份，為之后口罩遮擋的人臉識別任務奠定了一定的基礎。

2 有遮擋人臉識別傳統方法

傳統學習方法主要利用遮擋區域的面部特征和人臉的全局結構特征對人臉的遮擋區域進行表示、抑制或去除，以此來減少遮擋對目標檢測的影響，提升人臉識別算法的效果，其主要方法有基于子空間的方法、稀疏表示法和局部特征分析方法等。基于子空間和稀疏表示方法強化有遮擋人臉的全局特征判別信息，基于局部特征的遮擋弱化方法降低遮擋區域的權重或者直接舍棄遮擋區域，均聚焦遮擋下的人臉特征魯棒性提取這一關鍵問題。

2.1 基于子空間的方法

基于子空間的方法在保持特征區分性約束下，利用空間變換算法將人臉圖像高維向量投射到低維度的子空間，使用數據中最主要的方面進行人臉特征提取。任安虎等人［28］提出一種PCA結合AdaBoost算法的方法，基于有降噪處理、直方圖和歸一化進一步提高了子空間算法的準確率以及抗干擾的能力；Fan等人［29］使用多個相似性度量，通過一種弱機器單元構建子空間學習框架MPCA，實驗表明MPCA在分類精度和聚類結果方面都優于其他基于PCA的方法；趙雯等人［30］針對遮擋圖像中噪聲影響的問題，提出基于鑒別性低秩表示及字典學習的算法DLRR。對這三類方法的總結及對比如表3所示。

2.2 稀疏表示法

稀疏表示法將人臉表示為訓練樣本的加權組合，用于克服遮擋的影響，學習出有區分度的人臉特征表示，是處理人臉識別各種挑戰傳統方法中的主流方法，在解決噪聲方面魯棒性很好［31～33］。

王明沂［34］提出一種基于誤差加權和協同表示的遮擋人臉識別方法，通過融合LBP、HOG、Gabor等多個特征增強了有遮擋數據集Extend Yale B和LFW上的人臉識別效果?；诖搜芯浚煽紤]將基于CNN的結構模型與常用分類器相結合來 解決圖像大面積遮擋的問題。Yu等人［35］提出了一種區分性多尺度稀疏編碼（DMSC）來解決單人單樣本人臉識別場景下具有不同類型遮擋情況的識別問題。該方法通過學習輔助字典，基于PCA對外部數據中可能的遮擋變化進行建模。DMSC模型具有很好的區分性，但不能完全忽略遮擋引起的異常像素。Zheng等人［36］提出了一種基于結構元素的特征提取方法，結合局部和上下文信息，可將少鏡頭稀疏表示學習應用于有限訓練樣本下的少鏡頭遮擋人臉識別。當數據樣本較少時，可考慮少鏡頭識別方法。相關方法的總結及對比如表4所示。

2.3 局部特征分析方法

不同于稀疏表示法學習使用人臉全局信息學習字典對可能的遮擋進行建模，局部特征分析方法從另一個角度出發考慮人臉局部信息的作用。

一種思路是在特征提取以及分類過程中完全丟棄一些遮擋區域，減弱或者去除遮擋部分在面部區域中的作用。這類方法思路相對大膽奇特，不屬于人臉識別主流方法，因此研究較少。Priya等人［37］提出一種基于均值加權矩陣方法進行局部特征處理，先使用支持向量機分類器對人臉分塊進行檢測過濾掉遮擋部位，然后在剩余的非遮擋能反映人臉微小特征變化的區域使用均值加權矩陣刻畫人臉信息。

另一種思路是結合人臉全局信息和局部信息的優勢，通過增加特征的多樣性來解決遮擋帶來的人臉特征缺失問題。岳震等人［38］提出一種基于雙屬性模型的HOG特征人臉識別算法。首先使用線性回歸分類重構獲取誤差圖像，然后與PCA全局信息相融合得到雙屬性信息，最后使用HOG算子提升效果。該方法將全局信息與局部信息相結合，對光照、遮擋等不可控因素造成圖像失真有較好的特征表征能力，具有一定的抗干擾能力，但特征維度大、計算量大。

結合上文，表5分析了傳統方法在有遮擋人臉識別方法中的優缺點?？傊?，傳統方法在傳統數據集上有良好性能，但無約束場景下遮擋的識別效果并不好且魯棒性較差，在識別性能上有很大的提升空間。

3 有遮擋人臉識別深度學習方法

基于子空間、稀疏表示、局部特征分析的傳統學習方法，在傳統無遮擋數據集上有較好的表現能力，然而不滿足大規模無約束數據的識別需求。與傳統學習方法相比，深度學習的重點是特征學習，它可以通過優化CNN學習更具有判別性的深度人臉特征，如DeepID［39］、ArcFace［40］、CosFace［41］等。受有遮擋人臉數據集發展及遮擋人臉識別挑戰賽的推動（如ICCV 2021［42，43］和CSIG FAT-AI 2021），可將深度學習的方法應用到解決有遮擋下的人臉識別問題［1，3，44～48］。

3.1 基于深度學習的人臉特征魯棒性提取

基于深度學習的人臉特征魯棒性提取方法可以通過遷移學習和特征融合、局部特征分析、使用注意力機制、優化損失函數，結合紅外熱成像技術等強化人臉的關鍵性特征，從而挖掘遮擋人臉中的人臉身份信息，抑制或消除遮擋的影響［49，50］。

a）遷移學習和特征融合。Mandal等人［51］使用口罩遮擋數據對ResNet-50模型進行遷移學習，得到富含口罩信息的人臉身份特征，并通過在圖像上裁剪人臉的遮擋區域模擬遮擋后人臉呈現不均勻特征映射。該方法與VGGNet19和DenseNet121［52］相比，具有時間最佳、高內存、魯棒性高等特點。由于簡單的CNN遇到人臉遮擋，識別效果會變差，不能達到預期效果，所以需要更多新技術來提高其性能，可以嘗試裁剪人臉的遮擋區域或者3D學習等方法來提高實驗效果。

Zhang等人［53］從網絡的層次特性角度出發，提出了一種基于淺層特征、中層特征和深層特征，主要使用每個卷積層來獲取圖像特征，適用于端到端網絡特征提取的通用特征融合方

法，能夠提升人臉識別在光照和遮擋下的識別精度。由于端到端的CNN結構過于重視人臉的深層特征，忽略了淺層和中層特征，而該特征融合方法可提取各層特征，彌補了提取部分特征的缺陷［48］。

b）局部特征分析。Hariri ［54］首先定位和去除面部遮擋區域，然后使用三種預訓練模型VGG-16、AlexNet和ResNet-50獲得眼睛、額頭的深度特征，最終使用多層感知器應用于分類。此外，該方法將bag-of-features范式應用于最后卷積層的特征圖，可獲得全連接層的輕量表示，能夠提高遮擋情況下人臉識別的通用性。Song等人［55］挖掘遮擋區域與損毀特征元素之間的對應關系，設計了特殊的網絡結構PDSN（pairwise differential siamese network），結合針對遮擋區域的掩膜生成器FDM（feature discarding mask）交互，可以建立基于卷積特征差異的掩膜字典并實現有遮擋人臉特征魯棒性提取。該方法目前存在的問題是，由于掩碼未知，只保留最后的卷積層特征，對于大型數據圖像，卷積層特征占用空間太大。并且，比對時需要進行特征提取，以及計算相似度，增加了一定的時間成本和計算難度。

c）改進注意力機制。Chang等人［56］設計了ResSaNet將CNN與self-attention模塊集成到同一網絡，使用遮擋和非遮擋數據集進行訓練可以捕獲人臉區域的全局和局部信息用于有遮擋下的人臉識別。袁慧潔［57］關注遮擋部位的信息缺失問題，采用區域注意力模塊定位未遮擋人臉，設計了基于雙注意力機制的深度學習網絡DA-Net，可集中處理人臉圖像中非遮擋區域對人臉特征進行嵌入。該方法驗證了雙注意力結合的有效性且不會明顯增加計算量。同時，位置注意力機制能夠讓模型更有效地處理未被遮擋的部分，降低遮擋對人臉的影響，而通道注意力機制可以增強網絡學習通道特征。

張博等人［49］首先估計人臉遮擋區域位置，然后基于掩碼字典尋找遮擋位置所對應的掩碼，最后基于注意力模塊實現人臉不同區域權重更新，提取具有魯棒性的人臉特征進行識別。葉子勛等人［58］融合注意力機制改進GhostNet，兼顧了戴口罩和未戴口罩兩種場景下的人臉識別任務。此外，針對口罩遮擋情況下識別率低下的問題，結合注意力機制進一步提出專注于人臉未遮擋區域（眼睛、眉毛等）的FocusNet，結合兩種尺度的特征層融合人臉關鍵部位信息，該方法極大地降低了復雜度，實現了輕量級效果，有效提升了速度與準確度。

基于注意力機制的方法關注相關信息而忽略不相關信息［59～62］，引發學術界關注，可結合局部特征分析的方法進一步提升深度人臉特征的魯棒性。表6對相關方法進行了對比分析。

d）優化損失函數。Montero等人［63］提出MTArcFace損失函數，該函數由ArcFace［40］和mask-usage分類器損失相結合，使網絡學習人臉何時佩戴口罩。Wang等人［64］提出包括口罩生成模塊（mask generator）和損失函數搜索模塊的遮擋感知網絡（mask aware network，MAN）來獲得更真實可靠的遮擋人臉。ICCV MFR挑戰賽中出現的損失函數搜索模塊，使用LFS［65］搜索最適合遮擋人臉識別任務的損失函數，具有一定的魯棒性和通用性。Qian等人［66］將ArcFace和pairwise loss相結合增強類內緊密性和類間差異性來提高遮擋人臉識別任務的性能；Yu等人［67］提出一種結合ArcFace損失和Circle損失的新損失函數，通過數據重采樣來平衡數據分布生成口罩數據集并進行模型訓練優化，可以實現在不同種族人臉識別上的公平效果。

e）結合紅外線成像技術。近紅外—可見光遮擋人臉識別的類內多樣性較大，基于深度學習的方法［68～72］可以解決這個問題。Du等人［73］提出一種用于NIR-VIS的異構訓練方法HSST（heterogeneous semi-siamese training），使用Semi-Siamese網絡［74］提升兩個域的人臉表示共享信息效果，也結合3D人臉重建方法提供域不變的人臉表示，該方法對遮擋具有一定的魯棒性和跨數據泛化能力。Lian等人［75］提出了一種基于紅外熱成像定位的部分遮擋人臉識別方法。首先通過算法判斷人臉的遮擋狀態，然后自適應地引入紅外熱成像技術，最后利用BP神經網絡對人臉穴位進行定位，對局部遮擋的人臉進行有效識別。實驗結果表明，當人臉遮擋率達到50%以上時，傳統方法已無法實際應用，而紅外熱成像方法仍具有一定的準確性。

3.2 基于深度學習的遮擋部位人臉信息恢復

基于深度學習的遮擋部位人臉信息恢復方法從數據增強角度考慮，可通過人臉圖像修復、人臉特征遷移、遮擋部位人臉信息重建等方式挖掘人臉圖像的語義信息，降低有遮擋人臉和非遮擋人臉的身份信息差異，抑制或消除人臉自遮擋和外部遮擋導致的人臉結構信息缺失和人臉信息不全等問題［76，77］。例如，Duan等人［78］提出BoostGAN方法合成和識別非遮擋圖像，解決大姿勢和遮擋下的人臉合成和識別問題；Ge等人［79］通過將GAN與預訓練的CNN人臉識別器集成，引入了身份多樣性修復方法，約束生成器的輸出圖像在身份空間中具有相似的表示。

a）人臉圖像修復。姜藝等人［80］提出一種邊緣指導圖像修復的方法，通過訓練邊緣修復模型生成缺失部分的邊緣信息，訓練內容生成模型填充缺失部分的內容信息，最終實現對結構缺失較復雜的圖像細節上的模糊修復，在CelebA和ParisStreet-View數據集上被驗證有較好的修復效果。但該方法在修復細節上有所欠缺，且缺少一點真實性。劉微容等人［81］提出多級解碼網絡（multi-stage decoding network，MSDN），使用多個解碼器對編碼過程各層特征進行解碼并聚合，增大編碼器對 不同特征的利用率，最終得到更能反映受損區域的特征映射。該方法是主流的圖像修復方法之一，試圖利用編碼階段壓縮后的信息在解碼階段恢復出原始圖像，在多個數據集上有較好的實驗效果。MSDN整體性能穩定，可有效生成完整圖像，但該方法不能完全避免信息丟失。

基于深度學習的圖像修復技術在計算機視覺、圖像處理等領域受到了廣泛關注，早期的圖像修復方法只能在小區域缺失區域取得良好效果，目前提出的許多方法可解決大面積缺失區域的問題，且有待進一步深究。

b）人臉特征遷移。Li等人［82］提出將非對稱完成機制遷移到端到端去遮擋的蒸餾框架中。首先利用生成對抗網絡（GAN）［83］構造去遮擋模塊執行人臉補全，然后恢復遮擋下的人臉內容并消除外觀模糊，最后使用蒸餾模塊強化學生模型中的人臉真實身份信息。這種使用GAN方法結合蒸餾學習的方法被證明可以用于處理合成數據集及真實數據集上的遮擋人臉識別任務。

c）遮擋部位人臉信息重建。李琨劍［84］提出基于GAN的兩階段遮擋人臉圖像恢復模型，使用多分支編碼器進行人臉遮擋恢復，可以生成無遮擋的人臉圖像，提高人臉區域特征的質量，強化人臉身份信息。王晨博［85］提出一種基于多模態的雙階段人臉恢復算法，提取人臉圖像、幾何特征和屬性特征，在特征融合的基礎上使用人臉修復網絡對較粗略細節進行精細化提升，能夠抑制口罩遮擋帶來的區域信息丟失問題。Yang等人［86］提出深層網絡模型LaFIn，通過添加一些卷積模塊以及DFMB模塊加強缺失區域的感受力，用于更好地對面部的缺失部分進行恢復。胡渲 ［87］提出基于改進LaFIn網絡的深度學習方法，首先判定遮擋的位置將其定為缺失位置，然后進行人臉修復，最后進行人臉判定，被驗證能有效修復缺失區域，并具有良好的魯棒性。

遮擋部位人臉信息重建的方法從挖掘人臉圖像的語義信息出發，能夠學習遮擋區域被遮擋的人臉信息或模擬出遮擋區域真實的人臉細節信息，是一種邏輯上自洽的方法，近年來研究熱度不斷增加。相關方法優劣及分析如表7所示。

4 總結與展望

4.1 存在的問題及挑戰

從人臉識別技術誕生至今，遮擋條件下的精準識別就是一個技術難點。基于深度學習的方法相比傳統方法在大數據時代硬件加持下更具有優勢，能夠在一些遮擋條件下進行有效人臉識別，然而它們都不能完全解決遮擋帶來的信息缺失問題。有遮擋下的人臉識別依然存在諸多研究難點［88］：

a）合成數據與真實數據上有差異。現實場景中的人臉識別有許多主動或非主動的遮擋因素，例如衣帽遮擋、發飾遮擋、眼鏡遮擋及口罩遮擋等。現有遮擋數據集規模較小，并不適用于主流的深度網絡模型；利用生成的方法可以合成遮擋人臉數據集，然而合成數據與真實數據在時域、頻域上存在較大的差距，也會潛在影響真實場景下人臉識別的效果。

b）遮擋部位人臉信息恢復效果不理想?；谏疃葘W習的遮擋信息恢復依賴GAN對抗學習的效果，此類方法在非成對數據下難以有效訓練，在去除遮擋時易導致人臉身份判別信息的丟失、局部判別器較難判別全局的空間信息，恢復出的無遮擋效果與真實圖片有一定的差距。遮擋下人臉本身包含的人臉身份信息有限，外加無約束場景較多因素的限制，很難將復雜遮擋下的人臉圖像恢復至無遮擋情況。

c）對抗場景下的遮擋問題考慮不夠。普通無約束環境的人臉遮擋可能受光照、姿態、行人復雜運動等疊加因素影響，這些都可以通過限制目標主動配合或調節采集設備參數得到解決，但無法在對抗性場景下發揮作用。近年來對抗性方法發展迅速，一些專家打印出能隱藏身份或模仿假身份的針對性圖片，這些圖片作為一種新的遮擋能夠欺騙人臉識別系統，導致人臉識別系統漏檢、誤檢，給人臉識別內生安全帶來巨大挑戰。

4.2 未來研究方向

隨著疫情常態化的不斷深入，遮擋場景下的人臉識別應用也不斷增加，遮擋人臉識別算法的研究更加迫切，亟待使用更好的模型和方法來解決遮擋帶來的人臉關鍵性特征缺失的問題。針對以上的問題和挑戰，可以通過多角度分析探索遮擋人臉識別未來可行的研究方向。

a）研究泛化性更好的識別算法。遮擋人臉識別算法需要大量的數據樣本，目前的數據集大多通過算法合成制作，缺少自然場景下拍攝的有遮擋真實數據。很多新穎算法的性能取決于特定的專用合成數據集，造成現有模型在特定數據集上效果出色而在其他數據集上效果較差的問題，模型的泛化性不足。結合腦機制解析建模和類腦算法，模仿大腦在遮擋下的識別機制，設計算法強化現有模型對不同數據集的泛化能力是一個有價值的研究方向。

b）研究魯棒性更好的識別算法?，F有遮擋場景下人臉識別算法較少考慮未識別目標被噪聲擾動的識別精度，近年來，基于手動梯度或自動梯度的方法可以給原始樣本加上微小的噪聲擾動形成身份信息與原始樣本類似的對抗樣本，這些對抗樣本能夠以肉眼可見或肉眼難辨的遮擋形式出現，輕易干擾基于深度學習的人臉識別系統。亟待研究魯棒性更好的人臉識別算法應對日益迭代的對抗樣本攻擊技術。

c）研究基于3D空間幾何信息的算法。有遮擋人臉識別的研究集中在2D圖像上，利用3D人臉空間信息強化身份信息的研究較少，缺乏3D人臉識別數據集、缺乏針對遮擋問題的3D人臉識別數據集。構建適應問題的3D數據集、適合3D人臉特征提取的模型方法，結合2D算法的優勢進一步解決遮擋的問題，是未來研究遮擋人臉識別的有價值研究方向之一。

d）研究基于紅外熱成像技術的算法。結合紅外熱成像技術的有遮擋人臉識別打破以往只利用可見光人臉特征的思維定勢，不僅可以結合3D人臉重建方法提供域不變人臉表示，也可以結合神經網絡的方法實現人臉遮擋狀態下的穴位定位，為遮擋人臉提供更多特征信息，被證實能夠在遮擋率較高的實驗設置下提高局部遮擋人臉的識別效果，為解決人臉識別下的遮擋問題提供一種新思路。

e）研究更適應輕量級應用的算法。人臉識別深度模型的卓越性能依賴較深的網絡模型結構，其帶來的模型參數多、計算量大等影響會加重現實場景人臉識別應用設備的負擔。算法輕量化是遮擋人臉識別未來要解決的重要問題之一。對現有網絡模型的改進和優化，設計輕量級網絡模型，考慮模型的壓縮，減少模型的復雜度以及計算資源的成本是一個有價值的研究方向。

f）研究更合適的算法評價標準。遮擋人臉識別的數據集種類較多，一些是利用合成的方法對現有常規人臉識別數據集進行遮擋構造，一些是根據特定設計的遮擋進行圖片拍攝，一些是收集真實場景下的自然遮擋圖片。不同數據集上的算法評價標準各有特點，導致無法快速有效地比對不同方法的識別性能，對于新提出方法的不易快速評估和對比分析，阻礙了人臉識別算法更新迭代。規范對算法的評價標準以及數據集的使用，是一個有價值的研究方向。

5 結束語

本文針對后疫情時代有遮擋人臉識別應用需求，綜述用于抑制或消除遮擋對人臉識別影響的數據集及方法;重點介紹了一些新型的遮擋人臉數據集，對比分析了基于深度學習的人臉特征魯棒性提取方法和針對有遮擋部位的人臉信息的有效恢復方法；指出了該領域研究難點和未來發展方向，旨在推動有遮擋人臉識別研究的進一步發展，為現實場景應用提供指導和參考。

參考文獻：

[1]Wang Mei， Deng Weihong. Deep face recognition：a survey［J］.Neurocomputing，2021，429（3）：215-244.

［2]Zeng Dan， Veldhuis R， Spreeuwers L. A survey of face recognition techniques under occlusion［J］.IET Biometrics，2021，10（6）：581-606.

［3]Damer N， Grebe J H， Chen Cong， et al. The effect of wearing a mask on face recognition performance： an exploratory study［C］//Proc of International Conference of Biometrics Special Interest Group.Piscata-way，NJ：IEEE Press，2020：1-6.

［4]謝郭蓉，曲毅，蔣镕圻.抗遮擋目標跟蹤的模型學習綜述［J］.計算機工程與應用，2022，58（2）：43-56.（Xie Guorong， Qu Yi， Jiang Rongqi. Survey of model learning for anti-occlusion object tracking［J］.Computer Engineering and Applications，2022，58（2）：43-56.）

［5]鐘陳，王思翔，王文峰.面向疫情防控的人臉識別系統與標準研究［J］.信息技術與標準化，2020（6）：11-13.（Zhong Chen， Wang Sixiang， Wang Wenfeng. Research on face recognition system and standards for epidemic prevention and control［J］.Information Technology amp; Standardization，2020（6）：11-13.）

［6]徐遐齡，劉濤，田國輝，等.有遮擋環境下的人臉識別方法綜述［J］.計算機工程與應用，2021，57（17）：46-60.（Xu Xialing， Liu Tao， Tian Guohui， et al. Review of occlusion face recognition methods［J］.Computer Engineering and Application，2021，57（17）：46-60.）

［7]Hemathilaka S， Aponso A. A comprehensive study on occlusion invariant face recognition under face mask occlusion［EB/OL］.（2022-01-22）.https：//arxiv.org/abs/2201.09089.

［8]劉倩穎，劉季.生物特征識別技術在身份驗證領域發展趨勢［J］.電子世界，2020（5）：23-24.（Liu Qianying， Liu Ji. Development trend of biometric identification technology in the field of identity verification［J］.Electronic World，2020（5）：23-24.）

［9]李小薪，梁榮華.有遮擋人臉識別綜述：從子空間回歸到深度學習［J］.計算機學報，2018，41（1）：177-207.（Li Xiaoxin， Liang Ronghua. Review for face recognition with occlusion： from subspace regression to deep learning［J］.Chinese Journal of Computers，2018，41（1）：177-207.）

［10]劉瑞明，徐春融，周韜.局部遮擋的人臉識別方法研究綜述［J］.江蘇海洋大學學報：自然科學版，2022，31（3）：63-71.（Liu Rui-ming， Xu Chunrong， Zhou Tao. Review of face recognition methods under local occlusion［J］.Journal of Jiangsu Ocean University：Natural Sciences Edition，2022，31（3）：63-71.）

［11]謝郭蓉，曲毅，蔣镕圻.基于抗遮擋目標模型的跟蹤算法綜述［J］.激光與光電子學進展，2022，59（8）：315-328.（Xie Guorong， Qu Yi， Jiang Rongqi. Tracking algorithms based on antiocclusion object models［J］.Laser amp; Optoelectronics Progress，2022，59（8）：315-328.）

［12]連澤宇，田景文.基于掩膜生成網絡的遮擋人臉檢測方法［J］.計算機工程，2021，47（11）：292-297，304.（Lian Zeyu， Tian Jingwen. Occluded face detection method based on mask generation network［J］.Computer Engineering，2021，47（11）：292-297，304.）

［13]Yi Dong， Lei Zhen， Liao Shengcai， et al. Learning face representation from scratch［EB/OL］.（2014-11-28）.https：//arxiv.org/abs/1411.7923.

［14]Cao Qiong， Shen Li， Xie Weidi， et al. VGGFace2：a dataset for recognising faces across pose and age［C］//Proc of the 13th IEEE International Conference on Automatic Face amp; Gesture Recognition.Piscataway，NJ：IEEE Press，2018：67-74.

［15]Guo Yandong， Zhang Lei， Hu Yuxiao， et al. MS-Celeb-1M： a dataset and benchmark for large-scale face recognition［C］//Proc of the 14th European Conference on Computer Vision.Cham：Springer，2016：87-102.

［16]An Xiang， Zhu Xuhan， Gao Yuan， et al. Partial FC： training 10 million identities on a single machine［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1445-1449.

［17]Huang G B， Mattar M， Berg T， et al. Labeled faces in the wild： a database forstudying face recognition in unconstrained environments［C］//Proc of Dans Workshop on Faces in ′Real-Life′ Images：Detection，Alignment，and Recognition.2008.

［18]Kemelmacher-Shlizerman I， Seitz S M， Miller D， et al. The MegaFace benchmark： 1 million faces for recognition at scale［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：4873-4882.

［19]Mare T， Duta G， Georgescu M I， et al. A realistic approach to gene-rate masked faces applied on two novel masked face recognition data sets［EB/OL］.（2021-10-25）.https：//arxiv.org/abs/2109.01745.

［20]Wang Jun， Liu Yinglu， Hu Yibo， et al. Facex-Zoo：a PyTorch toolbox for face recognition［C］//Proc of the 29th ACM International Conference on Multimedia.New York：ACM Press，2021：3779-3782.

［21]Feng Yao， Wu Fan， Shao Xiaohu， et al. Joint 3D face reconstruction and dense alignment with position map regression network［C］//Proc of the 15th European Conference on Computer Vision.Cham：Springer，2018：534-551.

［22]Wang Zhongyuan， Wang Guangcheng， Huang Baojin， et al. Masked face recognition dataset and application［EB/OL］.（2020-03-23）.https：//arxiv.org/abs/2003.09093.

［23]Huang Baojin， Wang Zhongyuan， Wang Guangcheng， et al. Masked face recognition datasets and validation［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1487-1491.

［24]Anwar A， Raychowdhury A. Masked face recognition for secure authentication［EB/OL］.（2020-08-25）.https：//arxiv.org/abs/2008.11104.

［25]Yin Xiangnan， Chen Liming. FaceOcc： a diverse， high-quality face occlusion dataset for human face extraction［EB/OL］.（2022-01-20）.https：//arxiv.org/abs/2201.08425.

［26]Wang Weiqiu， Zhao Zhicheng， Zhang Hongyuan， et al. MaskOut：a data augmentation method for masked face recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1450-1455.

［27]Lee C H， Liu Ziwei， Wu Lingyun， et al. MaskGAN： towards diverse and interactive facial image manipulation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：5548-5557.

［28]任安虎，王磊.PCA人臉識別算法的優化［J］.計算機與數字工程，2016，44（11）：2110-2112，2143.（Ren Anhu， Wang Lei. Improvement of human face recognition algorithm based on PCA［J］.Computer amp; Digital Engineering，2016，44（11）：2110-2112，2143.）

［29]Fan Zizhu， Xu Yong， Zuo Wangmeng， et al. Modified principal component analysis： an integration of multiple similarity subspace models［J］.IEEE Trans on Neural Networks and Learning Systems，2014，25（8）：1538-1552.

［30]趙雯，吳小俊.基于鑒別性低秩表示及字典學習的魯棒人臉識別算法［J］.計算機應用研究，2017，34（10）：3157-3161.（Zhao Wen， Wu Xiaojun. Robust face recognition of discriminative low-rank representation with dictionary learning［J］.Application Research of Computers，2017，34（10）：3157-3161.）

［31]王慧星，黃勃，高永彬，等.部分遮擋人臉識別的方法綜述［J］.武漢大學學報：理學版，2020，66（5）：451-461.（Wang Huixing， Huang Bo， Gao Yongbin， et al. Review of face recognition methods with partial occlusion［J］.Journal of Wuhan University：Natural Science Edition，2020，66（5）：451-461.）

［32]王海.基于分塊稀疏表示的部分遮擋人臉識別［J］.信息與電腦，2019，31（22）：64-65.（Wang Hai. Face recognition about partial occlusion based on block sparse representation［J］.China Computer amp; Communication，2019，31（22）：64-65.）

［33]孫雨浩，陶洋，胡昊.基于判別低秩矩陣恢復和協同表示的遮擋人臉識別［J］.計算機工程與科學，2020，42（12）：2199-2207.（Sun Yuhao， Tao Yang， Hu Hao. Occlusive face recognition based on discriminant low-rank matrix recovery and collaborative representation［J］.Computer Engineering and Science，2020，42（12）：2199-2207.）

［34]王明沂.局部遮擋下的人臉識別方法研究［D］.重慶：重慶郵電大學，2020.（Wang Mingyi. Research on face recognition method under partial occlusion［D］.Chongqing：Chongqing University of Posts amp; Telecommunications，2020.）

［35]Yu Yufeng， Dai Daoqing， Ren Chuanxian， et al. Discriminative multi-scale sparse coding for single-sample face recognition with occlusion［J］.Pattern Recognition，2017，66（6）：302-312.

［36]Zheng Wenbo， Gou Chao， Wang Feiyue. A novel approach inspired by optic nerve characteristics for few-shot occluded face recognition［J］.Neurocomputing，2020，376（2）：25-41.

［37]Priya G N， Banu R S D W. Occlusion invariant face recognition using mean based weight matrix and support vector machine［J］.Sadhana，2014，39（2）：303-315.

［38]岳震，陳凱勇.局部遮擋條件下的人臉識別［J］.計算機應用與軟件，2018，35（5）：224-228，241.（Yue Zhen， Chen Kaiyong.Face recognition under local occlusion［J］.Computer Application and Software，2018，35（5）：224-228，241.）

［39]Sun Yi， Chen Yuheng， Wang Xiaogang， et al. Deep learning face representation by joint identification-verification［C］//Proc of the 27th International Conference on Neural Information Processing Systems.2014：1988-1996.

［40]Deng Jiankang， Guo Jia， Yang Jing， et al. ArcFace： additive angular margin loss for deep face recognition［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2022，44（10）：5962-5979）.

［41]Wang Hao， Wang Yitong， Zhou Zheng， et al. CosFace： large margin cosine loss for deep face recognition［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：5265-5274.

［42]Deng Jiankang， Guo Jia， An Xiang， et al. Masked face recognition challenge： the insight face track report［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1437-1444.

［43]Zhu Zheng， Huang Guan， Deng Jiankang， et al. Masked face recognition challenge： the WebFace260M track report［EB/OL］.（2021-08-16）.https：//arxiv.org/abs/2108.07189.

［44]Qi Delong， Hu Kangli， Tan Weijun， et al. Balanced masked and stan-dard face recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1497-1502.

［45]Boutros F， Damer N， Kolf J N， et al. MFR 2021： masked face re-cognition competition［C］//Proc of IEEE International Joint Confe-rence on Biometrics.Piscataway，NJ：IEEE Press，2021：1-10.

［46]董艷花，張樹美，趙俊莉.有遮擋人臉識別方法綜述［J］.計算機工程與應用，2020，56（9）：1-12.（Dong Yanhua， Zhang Shumei， Zhao Junli. Review of occlusion face recognition method［J］.Computer Engineering and Application，2020，56（9）：1-12.）

［47]劉穎，張藝軒，佘建初，等.人臉去遮擋新技術研究綜述［J］.計算機科學與探索，2021，15（10）：1773-1794.（Liu Ying， Zhang Yixuan， She Jianchu， et al. Review of new face occlusion inpainting technology research［J］.Journal of Frontiers of Computer Science amp; Technology，2021，15（10）：1773-1794.）

［48]孫方偉，李承陽，謝永強，等.深度學習應用于遮擋目標檢測算法綜述［J］.計算機科學與探索，2022，16（6）：1243-1259.（Sun Fang-wei， Li Chengyang， Xie Yongqiang， et al. Review of deep learning applied to occluded object detection［J］.Journal of Frontiers of Computer Science amp; Technology，2022，16（6）：1243-1259.）

［49]張博，趙巍，段鵬松，等.具有遮擋魯棒性的監控視頻人臉再識別算法［J］.信號處理，2022，38（6）：1202-1212.（Zhang Bo， Zhao Wei， Duan Pengsong， et al. Surveillance video re-identification with robustness to occlusion［J］.Journal of Signal Processing，2022，38（6）：1202-1212.）

［50]唐嫻，黃軍偉.低秩魯棒性主成分分析的遮擋人臉識別［J］.南京理工大學學報，2017，41（4）：460-465.（Tang Xian， Huang Junwei. Occlusion face recognition based on robust principal component analysis and low rank［J］.Journal of Nanjing University of Science amp; Technology，2017，41（4）：460-465.）

［51]Mandal B， Okeukwu A， Theis Y. Masked face recognition using ResNet-50［EB/OL］.（2021-04-19）.https：//arxiv.org/abs/2104.08997.

［52]Yapc"M M， Tekerek A， Topalogˇlu N. Performance comparison of convolutional neural network models on GPU［C］//Proc of the 13th IEEE International Conference on Application of Information and Communication Technologies.Piscataway，NJ：IEEE Press，2019：1-4.

［53]Zhang Jiwei， Yan Xiaodan， Cheng Zelei， et al. A face recognition algorithm based on feature fusion［J］.Concurrency and Computation：Practice and Experience，2022，34（14）：e5748.

［54]Hariri W. Efficient masked face recognition method during the COVID-19 pandemic［J］.Signal， Image and Video Processing，2022，16（3）：605-612.

［55]Song Lingxue， Gong Dihong， Li Zhifeng， et al. Occlusion robust face recognition based on mask learning with pairwise differential Siamese network［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：773-782.

［56]Chang W Y， Tsai M Y， Lo S C. ResSaNet：a hybrid backbone of residual block and self-attention module for masked face recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1468-1476.

［57]袁慧潔.基于深度學習的局部遮擋人臉識別方法研究［D］.長沙：長沙理工大學，2019.（Yuan Huijie. Research on local occlusion face recognition method based on deep learning［D］.Changsha：Chang-sha University of Science amp; Technology，2019.）

［58]葉子勛，張紅英，何昱均.融合注意力機制的輕量級戴口罩人臉識別算法［J］.計算機工程與應用，2023，59（3）：166-174.（Ye Zi-xun， Zhang Hongying， He Yujun. Lightweight masked face recognition algorithm incorporating attention mechanism［J］.Computer Engineering and Application，2023，59（3）：166-174.）

［59]Wang Jianfeng， Yuan Ye， Yu Gang. Face attention network： an effective face detector for the occluded faces［EB/OL］.（2017-11-22）.https：//arxiv.org/abs/1711.07246.

［60]Wang Kai， Peng Xiaojiang， Yang Jianfei， et al. Region attention networks for pose and occlusion robust facial expression recognition［J］.IEEE Trans on Image Processing，2020，29：4057-4069.

［61]Wang Kai， Peng Xiaojiang， Yang Jianfei， et al. Suppressing uncertainties for large-scale facial expression recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：6896-6905.

［62]徐旸，史金光，鄭子玙，等.融合圖像修復的遮擋目標檢測算法［J］.電光與控制，2023，30（1）：21-28，86.（Xu Yang， Shi Jinguang， Zheng Ziyu， et al. Occluded target detection algorithm with image restoration［J］.Electronics Optics amp; Control，2023，30（1）：21-28，86.）

［63]Montero D， Nieto M， Leskovsky P， et al. Boosting masked face re-cognition with multi-task ArcFace［C］//Proc of the 16th International Conference on Signal-Image Technology amp; Internet-Based Systems.Piscataway，NJ：IEEE Press，2022：184-189.

［64]Wang Kai， Wang Shuo， Yang Jianfei， et al. Mask aware network for masked face recognition in the wild［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1456-1461.

［65]Wang Xiaobo， Wang Shuo， Chi Cheng， et al. Loss function search for face recognition［C］//Proc of the 37th International Conference on Machine Learning.2020：10029-10038.

［66]Qian Hanjie， Zhang Panpan， Ji Sijie， et al. Improving representation consistency with pairwise loss for masked face recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Pisca-taway，NJ：IEEE Press，2021：1462-1467.

［67]Yu Jun， Hao Xinlong， Cui Zeyu， et al. Boosting fairness for masked face recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1531-1540.

［68]Liu Xiaoxiang， Song Lingxiao， Wu Xiang， et al. Transferring deep representation for NIR-VIS heterogeneous face recognition［C］//Proc of International Conference on Biometrics.Piscataway，NJ：IEEE Press，2016：1-8.

［69]He Ran， Wu Xiang， Sun Zhenan， et al. Learning invariant deep re-presentation for NIR-VIS face recognition［C］//Proc of the 31st AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2017：2000-2006.

［70]Lezama J， Qiu Qiang， Sapiro G. Not afraid of the dark： NIR-VIS face recognition via cross-spectral hallucination and low-rank embedding［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：6807-6816.

［71]Yu Junchi， Cao Jie， Li Yi， et al. Pose-preserving cross spectral face hallucination［C］//Proc of the 28th International Joint Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2019：1018-1024.

［72]Duan Boyan， Fu Chaoyou， Li Yi， et al. Cross-spectral face hallucination via disentangling independent factors［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：7927-7935.

［73]Du Hang， Shi Hailin， Liu Yinglu， et al. Towards NIR-VIS masked face recognition［J］.IEEE Signal Processing Letters，2021，28：768-772.

［74]Du Hang， Shi Hailin， Liu Yuchi， et al. Semi-Siamese training for shallow face learning［C］//Proc of the 16th European Conference on Computer Vision.Cham：Springer，2020：36-53.

［75]Lian Yangyang， Wang Zhihui， Yuan Hanqing， et al. Partial occlusion face recognition method based on acupoints locating through infrared thermal imaging［C］//Proc of International Conference on Wireless Communications and Mobile Computing.Piscataway，NJ：IEEE Press，2020：1394-1399.

［76]武文杰，王紅蕾.基于生成對抗網絡的遮擋人臉圖像修復的改進與實現［J］.計算機應用與軟件，2021，38（1）：217-221，249.（Wu Wenjie， Wang Honglei. Improvement and implementation of occlusion face image inpainting based on generative adversarial network［J］.Compu-ter Application and Software，2021，38（1）：217-221，249.）

［77]張典，汪海濤，姜瑛，等.基于輕量級網絡的實時人臉識別算法研究［J］.計算機科學與探索，2020，14（2）：317-324.（Zhang Dian， Wang Haitao， Jiang Ying， et al. Research on real-time face recognition algorithm based on lightweight network［J］.Journal of Frontiers of Computer Science amp; Technology，2020，14（2）：317-324.）

［78]Duan Qingyan， Zhang Lei. Look more into occlusion： realistic face frontalization and recognition with BoostGAN［J］.IEEE Trans on Neural Networks and Learning Systems，2021，32（1）：214-228.

［79]Ge Shiming， Li Chenyu， Zhao Shengwei， et al. Occluded face recognition in the wild by identity-diversity inpainting［J］.IEEE Trans on Circuits and Systems for Video Technology，2020，30（10）：3387-3397.

［80]姜藝，胥加潔，柳絮，等.邊緣指導圖像修復算法研究［J］.計算機科學與探索，2022，16（3）：669-682.（Jiang Yi， Xu Jiajie， Liu Xu， et al. Research on edge-guided image repair algorithm［J］.Journal of Frontiers of Computer Science amp; Technology，2022，16（3）：669-682.）

［81]劉微容，米彥春，楊帆，等.基于多級解碼網絡的圖像修復［J］.電子學報，2022，50（3）：625-636.（Liu Weirong， Mi Yanchun， Yang Fan， et al. Generative image inpainting with multi-stage decoding network［J］.Journal of Electronics，2022，50（3）：625-636.）

［82]Li Chenyu， Ge Shiming， Zhang Daichi， et al. Look through masks： towards masked face recognition with de-occlusion distillation［C］//Proc of the 28th ACM International Conference on Multimedia.New York：ACM Press，2020：3016-3024.

［83]徐潤昊，程吉祥，李志丹，等.基于循環生成對抗網絡的含遮擋人臉識別［J］.計算機工程，2022，48（5）：289-296，305.（Xu Runhao， Cheng Jixiang， Li Zhidan， et al. Face recognition with occlusion based on cyclic generative adversarial networks［J］.Computer Engineering，2022，48（5）：289-296，305.）

［84]李琨劍.基于深度學習的遮擋人臉圖像恢復方法研究［D］.成都：四川大學，2021.（Li Kunjian. Research on occluded face image restoration method based on deep learning［D］.Chengdu：Sichuan University，2021.）

［85]王晨博.基于深度學習的口罩遮擋人臉識別算法研究與實現［D］.北京：北京交通大學，2021.（Wang Chenbo. Research and implementation of face recognition algorithm for mask occlusion based on deep learning［D］.Beijing：Beijing Jiaotong University，2021.）

［86]Yang Yang， Guo Xiaojie， Ma Jiayi， et al. LaFIn： generative landmark guided face inpainting［EB/OL］.（2019-11-26）.https：//arxiv.org/abs/1911.11394.

［87]胡渲.非限制場景下人臉識別方法的研究［D］.成都：四川大學，2021.（Hu Xuan. Research on face recognition methods in unrestricted scenarios［D］.Chengdu：Sichuan University，2021.）

［88]Zheng Wenbo， Yan Lan， Wang F Y， et al. Learning from the Web： webly supervised meta-learning for masked face recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2021：4299-4308.