改進人臉特征矯正網絡的遮擋人臉識別方法

摘要：現有人臉識別模型受口罩等遮擋因素影響導致準確率無法提升。當前主流研究方法將有無遮擋場景分開訓練后，整合應用于多場景。針對遮擋人臉識別模型的局限性，提出一種改進人臉特征矯正網絡（FFR-Net）模型。該模型可同時用于有無遮擋人臉識別并應用于口罩與眼鏡遮擋兩種識別場景中。人臉特征矯正網絡模型提出了一種人臉特征矯正模塊，為保證充分利用無遮擋區域特征信息，在該模塊中的空間分支引入involution算子擴大圖像信息交互區域，增強在空間范圍內面部特征信息；在通道分支引入坐標注意力機制，捕獲跨通道信息以增強特征表示，利于模型準確地定位識別目標區域；將Meta-ACON作為該模塊新的動態激活函數，通過動態調整線性或非線性程度以提高模型泛化能力和計算準確度。最后，利用改進的人臉特征矯正網絡模型在CASIA-Webface經處理的有無口罩遮擋人臉數據集上進行訓練，其在LFW經處理的有無口罩遮擋數據集、Meglass數據集上的測試結果準確率分別達到了82.50%和89.75%，優于現有算法，驗證了所提方法的有效性。

關鍵詞：遮擋人臉識別；involution算子；坐標注意力機制；動態激活函數

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695（2023）05-039-1535-07

0引言

人臉識別模型因受到多種因素諸如遮擋、姿態、光照、表情等綜合影響，近年來其準確率與理想環境相比相差較大。對遮擋人臉進行準確高效的人臉識別依然是一項艱巨的挑戰。在實際生活中，尤其是新冠肺炎疫情期間，由于人們需要佩戴口罩進行防護，日常生活中人們也經常佩戴眼鏡、帽子、圍巾等造成人臉圖像中的關鍵特征缺失，進而導致無法完整提取人臉特征，所以充分利用已有的人臉特征是提升遮擋環境下人臉識別準確率的關鍵。在遮擋場景下進行人臉識別主流方法是將提取到的遮擋人臉特征與無遮擋人臉特征庫進行比對，被遮擋的人臉數據一般由真實遮擋圖像或者合成遮擋圖像組成。遮擋人臉識別包括五種研究場景，從最真實到最不真實依次為：真實遮擋、部分人臉圖像、合成遮擋圖像、矩形遮擋、不相關圖像遮擋［1］?；谡趽鯒l件下的人臉識別技術存在兩種常用思路：其一是注重人臉未被遮擋的特征，減少或忽略遮擋部分造成的影響，利用人臉可見部分進行人臉識別，稱為遮擋感知人臉識別；其二是利用圖像修復技術對人臉遮擋區域的特征進行修復補充，進而對人臉圖像進行識別，稱為遮擋修復人臉識別［2］。

基于深度學習的遮擋感知人臉識別技術在識別過程中，僅使用未被遮擋的人臉可見區域，而排除遮擋區域，可在一定程度上解決遮擋問題。Song等人［3］提出了PDSN模型，通過學習有無遮擋圖像的特征差異，組成包含不同遮擋位置的掩碼字典，利用該字典生成每張測試圖像對應的特征丟棄掩碼，用來消除受遮擋部分影響的圖像特征，但由于將人臉圖像分成K×K塊，對應訓練K2個模型，導致在訓練階段的計算量較大，效率低且耗時長。Qiu等人［4］提出了一種單一網絡遮擋人臉識別FROM模型，能夠學習準確的特征掩碼以有效丟棄遮擋區域的人臉特征。模型使用掩模解碼器學習“遮擋到特征掩?！钡挠成洌獯a器將金字塔特征作為輸入，捕獲局部和全局信息來學習精確的掩模，并針對遮擋的鄰近特性設計了遮擋預測器來增強模型穩定性和準確率。

基于深度學習的遮擋修復人臉識別技術是對人臉圖像的遮擋區域進行恢復，使用恢復后的完整人臉圖像應用于已有的人臉識別算法中。Cai等人［5］提出了一種生成對抗網絡模型OA-GAN，在未配對的自然面部圖像上執行半監督的面部去遮擋。其生成器包括遮擋感知模塊和人臉修復模塊兩部分，分別用于檢測遮擋和去遮擋恢復圖像。鑒別器用于判斷恢復后的人臉真偽，以及是否能夠維持原人臉圖像中包含的屬性。該模型通過交替訓練實現了更好的網絡收斂，減少了模型的訓練難度。Dong等人［6］提出了一種兩階段遮擋感知GAN，兩個生成器分別用于分離遮擋、合成去遮擋的圖像，將一個生成器的輸出作為另一個生成器的輸入，在對抗的過程中生成更真實的原始完整人臉圖像。Guo等人［7］提出了一種新的雙流網絡，以耦合的方式對結構約束紋理合成和紋理引導結構重建進行建模，通過交換和組合結構進而對紋理信息細化，生成人臉圖像。

對于上述兩類遮擋條件下人臉識別方法，基于深度學習的遮擋感知人臉識別能夠只針對未被遮擋的人臉區域進行識別，在僅注重未被遮擋區域的前提下，能夠充分利用已有的人臉關鍵面部信息進行人臉識別，若遮擋區域面積較大時該類方法的可行性及準確程度將受到極大的影響；基于深度學習的遮擋修復則是從不完整的圖像中學習出有效的上下文語義信息，再據其恢復出合理真實的完整圖像，該類方法能夠還原出在圖像紋理結構和視覺上較為真實的人臉圖像，而該種方法的局限性在于填充紋理仍然高度依賴于缺失區域周圍的局部相關性，并且復原出的人臉圖像并不是百分百真實。在數據集方面，遮擋人臉圖像數據集由于遮擋圖像缺少無遮擋人臉圖像與其對應，而多用于遮擋人臉檢測，遮擋人臉識別的研究多數使用矩形遮擋人臉圖像作為實驗數據集，使用真實人臉遮擋圖像研究有所欠缺，且現有遮擋人臉數據集圖像數量普遍較少，測試應用場景單一，實驗難度較低。在技術發展方面，目前大部分遮擋人臉識別方法僅使用遮擋人臉數據集作為測試集，來與無遮擋人臉庫進行人臉比對。人臉特征矯正網絡模型［8］在遮擋感知人臉識別基礎上，可同時用于遮擋人臉和無遮擋人臉識別，即使用無遮擋人臉對、無遮擋與遮擋人臉對、遮擋人臉對的圖像進行比對。作者考慮到有無遮擋圖像間人臉特征的一致性，設計了一種人臉特征矯正模塊用于在空間和通道維度上進行人臉特征矯正，能夠最大化遮擋人臉特征和無遮擋人臉特征的相似性，但模型仍存在無遮擋信息未被充分利用的局限性。針對上述遮擋人臉識別技術中的局限性，本文提出了一種改進人臉特征矯正網絡的遮擋人臉識別方法，本文的貢獻如下：

a）針對數據集方面數據規模小、種類單一［9］，且實驗中使用合成矩形遮擋情況居多，不貼合實際應用場景的局限性，本文在數據處理階段，自建真實口罩遮擋人臉數據集。

b）針對測試應用場景單一的問題，本文在測試階段將模型擴充于口罩遮擋、眼鏡遮擋兩種場景下。對于口罩遮擋，在公開數據集LFW上，形成無遮擋與口罩遮擋混合數據集，具體方法與上述相同。本文實驗測試所使用LFW無遮擋與口罩遮擋混合數據集中包含5749個身份，26227張人臉圖像，包含無遮擋人臉圖像13233張，遮擋人臉圖像12994張。對于眼鏡遮擋，本文使用人臉佩戴眼鏡數據集Meglass。對原數據集處理后，本文實驗測試所使用Meglass數據集中，包含1565個身份，17812張人臉圖像，眼鏡遮擋圖像和無遮擋圖像各8906張。

c）針對模型未充分利用人臉圖像中未被遮擋區域特征的問題，在模型訓練階段，提出一個改進的人臉特征矯正網絡模型。人臉特征矯正網絡模型提出了一種特征矯正模塊，用于矯正遮擋或無遮擋人臉在空間和通道維度上的特征。改進的人臉特征矯正網絡模型針對特征矯正模塊進行創新改進，具體包括在人臉特征矯正模塊中的空間分支引入involution算子，擴大圖像信息交互區域，增強在空間范圍內更豐富的面部特征信息；在人臉特征矯正模塊中的通道分支引入坐標注意力機制，捕獲跨通道信息以增強特征表示，利于模型更準確地定位并識別目標區域；將Meta-ACON作為特征矯正模塊新的動態激活函數，通過動態調整線性或非線性程度，以提高模型泛化能力和計算準確度。將改進模型在上述兩個測試數據集上測試，最終所提方法分別達到了82.50%和89.75%的準確率，優于大多數主流算法。

1本文方法

1.1改進的人臉特征矯正網絡模型

人臉特征矯正網絡模型［8］用于解決遮擋和無遮擋人臉識別問題，該模型提出了人臉特征矯正模塊，用于矯正遮擋或無遮擋人臉在空間和通道維度上的特征，并在模型中融合三種損失函數，實現對遮擋特征的矯正，保證未被遮擋部分的特征不受破壞。該模型可用于遮擋和無遮擋人臉識別。為提升人臉識別準確率，本文從引入involution算子、引入坐標注意力機制、使用Meta-ACON作為動態激活函數三個方面對人臉特征矯正網絡模型的矯正階段進行改進，編碼、融合與分類階段與原模型一致。改進的人臉特征矯正網絡模型（圖1）的具體流程如下。

1.2involution算子

involution算子［11］是一種新的神經網絡算子，比卷積更輕量、更高效，比自注意力更為簡潔。傳統的卷積核具有空間不變性及通道特異性。空間不變性是指在特征圖上所有空間位置共享使用同一卷積核參數，能夠有效節省模型的參數并維護平移的等變性。但提取的特征比較單一，不能根據空間位置靈活調整卷積核參數。由于卷積核在計算量和參數量上較大，一般對卷積核大小進行限制，卷積核過小不易捕捉長距離的視覺關系。通道特異性是指每個通道信息是由輸入特征的所有通道信息聚合而來，并且參數不共享，所以不同的通道上蘊涵更多的語義信息，理論上通道數越多則蘊涵的語義信息越多。但通道間可能存在冗余問題，多個通道上的語義信息近似，卷積核在通道維度上可以縮減且不削弱表達能力。

involution是基于計算高效性的前提下，實現長距離以及自適應提出的一種新的神經網絡算子，具有與卷積相反的性質：通道不變性和空間特異性。對于輸入特征圖，把所有通道分成G個組，每個組內共享同一involutionkernel，而在空間維度采用空間特異的kernel進行更靈活的建模。

針對輸入特征圖的一個坐標點上的特征向量，先通過核生成函數和channel-to-space重排列變換展開成對應的involution核（大小為K×K×1），再進行multiply-add計算，involution核先沿通道與輸入特征圖回乘生成K×K×C，再將同通道的所有元素聚合相加至輸入數據初始位置。最終得到輸出的特征圖，與輸入的特征圖大小一致。

通過involution所得的特征圖中每個元素各不相同，能夠在更廣的空間中聚合上下文語義信息，學習更多的全局信息，在不同位置上自適應地分配權重，對空間域中信息最豐富的視覺元素進行優先排序。而通道層面核參數共享使得參數量和計算量更少，增大involution核大小能夠擴大信息交互的空間范圍，但也存在著無法靈活改變通道數的不足。相比傳統靜態convolution，動態的involution算子可以在使用更少的參數量和計算量的條件下提升計算精度，速度基本一致。

1.3坐標注意力機制

現有的注意力機制大多數采用通道注意力模塊，對于提升模型性能具有顯著效果，但僅考慮了通道間信息，而忽略了位置信息。一些注意力機制如CBAM通過卷積運算將跨通道信息和空間信息混合在一起，提高提取信息特征的能力，但仍缺乏長距離關系提取的能力。相比而言，一種新穎的坐標注意力機制CA［12］（coordinateattention）將位置信息嵌入到通道注意力中，能夠同時考慮通道間信息和位置信息，使得網絡能夠更準確地定位到并識別目標區域，增強網絡模型性能，并且足夠靈活和輕量化。CA模塊的具體結構如圖3所示。

CA模塊有著增強特征表示的作用，可以將輸入轉換為強特征表示的同尺寸輸出。其中的關鍵兩個步驟為coordinate信息嵌入以及coordinateattention合成。

1.3.1coordinate信息嵌入

在信息嵌入階段，分解了原始的全局池化操作，轉換成兩個1維特征編碼過程。具體為：對于輸入，使用尺寸為（H，1）或（1，W）的池化核分別沿著水平和垂直坐標對每個通道進行編碼，得到一對方向感知的特征圖。

1.4激活函數Meta-ACON

在神經網絡中添加激活函數可以為其引入非線性屬性，幫助模型更好地執行反向傳播的優化策略，進而提高模型的學習能力。神經網絡通常使用sigmoid激活函數，但存在傾向于梯度消失問題，且執行指數運算增加耗時。ReLU函數解決了深層網絡中出現的梯度消失問題，具有梯度不飽和、收斂速度快的優點，但易存在梯度爆炸和神經元“壞死”問題且對參數初始化和學習率極敏感。動態激活函數DY-ReLU通過分段，增大了參數量和運算成本，在深度網絡中效果不顯著。PReLU函數在ReLU函數的基礎上進行改進，在負值域上通過線性運算解決神經元“壞死”問題，但由于設置參數而增大網絡計算量。

為了彌補激活函數存在的不足，本文使用新型激活函數Meta-ACON。ACON［13］（activateornot）對于ReLU及其變體函數進行改進，提出的ACON家族能夠學習并決定是否要激活神經元，其中包括ACON-A、ACON-B和ACON-C；Meta-ACON能夠明確地學習優化非線性和線性之間的參數切換，模型均能夠更有效地提高其準確率和泛化性能。Meta-ACON在ACON的基礎上添加了可計算平滑因子的自適應函數，該函數的設計空間包含層（layer-wise）、通道（channel-wise）、像素（pixel-wise）三種空間?；趯蛹壗Y構，每層元素共享相同因子；基于通道結構，每個通道中的元素共享相同因子；基于像素結構，每個像素之間有獨自的因子。本文中，Meta-ACON選擇通道結構，使每個通道所有像素共享一個因子。Meta-ACON能夠動態學習激活函數的線性或非線性，控制網絡每一層的非線性程度，顯著提高模型表現及計算精度。

2仿真實驗及結果分析

2.1數據集

實驗使用公開數據集CASIA-WebFace［14］作為訓練集，數據集中的人臉圖像具有多姿態、光照條件不同、化妝和多角度等特點，一共10575個身份，494144張人臉圖像。

MaskTheFace［15］使用基于dlib的人臉標志檢測器來識別人臉傾斜度和應用口罩所需的人臉六個關鍵特征，將模板口罩進行轉換貼合在面部，模擬人臉口罩遮擋的真實情形。MaskTheFace支持為人臉添加醫用口罩、N95、KN95等多類型、多顏色的口罩。本實驗中使用MaskTheFace為CASIA-WebFace數據集中的人臉圖像添加較常見的醫用口罩，分別使用藍色、白色、綠色三種顏色口罩訓練以提高模型魯棒性，生成口罩遮擋人臉數據集。如圖4所示，分別為原始人臉圖像與經處理后的口罩遮擋人臉圖像。本文實驗訓練所使用CASIA-WebFace無遮擋與口罩遮擋混合數據集中包含10575個身份，862859張人臉圖像，其中無遮擋人臉圖像494144張，遮擋人臉圖像368715張。

實驗使用的測試數據集為LFW［16］、Meglass數據集［17］。LFW數據集是在非限制條件下進行采集的，包含不同背景、角度、面部表情，一共5749個類別，13233張世界知名人士的圖像。同理，對原始數據集進行預處理及人臉對齊，使用MaskTheFace為LFW數據集生成對應口罩遮擋人臉數據集作為測試集。經處理后，本文實驗測試所使用LFW無遮擋與口罩遮擋數據集中包含5749個身份，26227張人臉圖像，其中無遮擋人臉圖像13233張，遮擋人臉圖像12994張。Meglass數據集是人臉佩戴眼鏡數據集，包括1710個身份，47917張人臉圖像，分別為14832張黑框眼鏡人臉圖像和33085張無眼鏡人臉圖像，每個身份至少有兩張戴眼鏡的人臉圖像和兩張不戴眼鏡的人臉圖像。經處理后，本文實驗測試所使用Meglass無遮擋與眼鏡遮擋數據集中包含1565個身份，17812張人臉圖像，其中眼鏡遮擋圖像和無遮擋圖像各8906張。實驗使用數據集匯總如表1所示。

2.2實驗設置

本實驗環境采用Ubuntu16系統，GPU為NVIDIAGeForceRTX3090，使用PyTorch深度學習框架完成。模型的編碼器使用SENet50，SENet50預訓練模型是在Arcface［18］人臉識別模型框架下添加SENet［19］，達到更高的準確率。對CASIA-WebFace數據集進行預處理，調整圖像大小為128×128，經MaskTheFace處理后將原數據集和遮擋數據集共同輸入到網絡中；模型使用Adam優化器對學習率進行動態調整，初始學習率設置為1E-1，當迭代次數為1.25k、5k、10k、15k時，學習率衰減為原來的0.5，batchsize設置為256，總共訓練150個epoch。

2.3評價指標

對于人臉識別問題可看做二分類問題，本文實驗所使用的評價指標為識別準確率（acc），計算公式為

其中：right表示識別結果準確的數量，即正人臉對識別為同一人的數量與負人臉對識別為非同一人的數量之和；all表示數據總量。

2.4實驗結果及分析

2.4.1模型改進前后可視化比較

本文實驗使用t-SNE［20］可視化原始和矯正后的特征空間，結果如圖5所示。本文隨機選取了五個身份進行可視化，圖中每種顏色代表同一個身份，正方形和圓形分別表示無遮擋人臉與遮擋人臉，圖5（a）表示原始無遮擋和遮擋人臉圖像的特征空間，圖5（b）表示經原模型矯正后的無遮擋和遮擋人臉圖像的特征空間，圖5（c）表示經改進模型矯正后的無遮擋和遮擋人臉圖像的特征空間。由圖中可看出，對于未經矯正前，正方形與圓形間距離較大，相互遠離。經矯正后，類內正方形與圓形的間距縮短，然而不同類間間距增大。經改進矯正后，正方形與圓形幾乎可以重合，相較于原矯正模型同一身份的間距更小，不同身份間間距更大。這可以說明經改進的人臉特征矯正網絡可以更加注重遮擋人臉圖像和原始無遮擋人臉圖像的相似性，并且使不同身份間的差異最大化，體現了模型的先進性能。

2.4.2模型改進前后特征圖比較

為更直觀地展現改進策略產生的模型性能增益效果，本文使用模型改進前后提取的矯正后的空間特征圖和通道特征圖進行對比，結果如圖6、7所示，識別過程中人臉圖像被分割成7×7的小區域，每張圖片由隨機的144張區域特征圖組成。

1）模型改進前后矯正的空間特征圖變化

圖6（a）（b）分別表示對于改進前后，在模型的矯正階段中，經過人臉特征矯正模塊的空間分支進行矯正后輸出的空間特征圖。在空間分支，改進模型中添加了involution算子以及Meta-ACON激活函數，可以直觀地看出，圖6（b）相較于圖6（a）的特征圖中斑塊的亮暗區分更為明顯，說明模型對于圖像有無遮擋區域的權重分布更細致，從而驗證了改進后的模型能夠最大化地學習到已有區域信息，減少無遮擋區域人臉信息的丟失。

2）模型改進前后矯正的通道特征圖變化

圖7（a）（b）分別表示對于改進前后，在模型的矯正階段中，經過人臉特征矯正模塊的通道分支進行矯正后輸出的通道特征圖。在通道分支，改進模型中添加了坐標注意力機制以及Meta-ACON激活函數。圖7（a）的特征圖中存在一些較暗的斑塊以及較亮的點，這表明原模型的區域區分度較低，并在某幾塊識別區域基本全部分配權重，不利于尋找特定特征表示，而圖7（b）中大部分特征圖的亮暗顏色變化突出，這表明模型能夠更準確地定位到目標區域，提取信息的能力更強，能準確地定位感興趣的目標區域，網絡模型性能更強。

2.4.3模型改進前后準確率比較

為驗證所提方法的有效性，在經處理的LFW與Meglass數據集中進行測試。對于LFW數據集，識別過程使用正負人臉對作為標簽，并利用十折交叉驗證的方法來表示最終的識別精度。十折交叉驗證是常用的精度測試方法，具體策略為將數據集分成10份，輪流將其中9份作為訓練集，剩余一份作為測試集，計算十次結果的均值做算法精度估計。本文實驗中將口罩遮擋和無口罩遮擋人臉圖像同時作為測試集，模型可同時檢測無遮擋人臉對、遮擋與無遮擋人臉對、遮擋人臉對的人臉識別準確率并分別記做acc_mask_oc0、acc_mask_oc1、acc_mask_oc2。對于Meglass數據集，數據預處理過程中按照身份將人臉圖像分類并調整圖像大小為120×120作為測試數據集，并按照十折交叉驗證的方法原理，隨機生成正負人臉對，作為測試標簽文件。同理，本文實驗中眼鏡遮擋與無眼鏡遮擋人臉圖像同時作為測試集，檢測無遮擋人臉對、遮擋與無遮擋人臉對、遮擋人臉對的人臉識別準確率并分別記做acc_glass_oc0、acc_glass_oc1、acc_glass_oc2。

由表2、3結果可知，改進人臉特征矯正網絡在LFW測試集上無口罩遮擋人臉對的識別準確率提升了5.70%，口罩遮擋與無遮擋人臉對的識別準確率提升了6.57%，口罩遮擋人臉對的識別準確率提升了5.20%；在Meglass測試集上無眼鏡遮擋人臉對的識別準確率提升了6.18%，眼鏡遮擋與無遮擋人臉對的識別準確率提升了5.89%，眼鏡遮擋人臉對的識別準確率提升了4.82%。根據結果可看出，改進后的人臉特征矯正模型對于人臉大面積口罩遮擋的人臉識別或者人臉小面積眼鏡遮擋的人臉識別，所提方法在準確性和魯棒性方面有顯著提高。這表明所提改進方法對識別效果具有積極影響。人臉識別準確率受網絡模型提取到的人臉特征的影響，在遮擋條件下，人臉圖像中未被遮擋區域的特征尤為重要，準確率的提升說明模型人臉特征提取效果更優，更深層次地處理圖像特征信息能力更強。

2.5消融實驗

在測試的遮擋人臉識別過程中，需要對于兩張對比圖像中的人臉特征信息進行提取，但由于存在遮擋而導致臉部的特征信息并不完整，如佩戴口罩會缺失鼻子、嘴部區域的特征信息，佩戴眼鏡會缺失眼部區域的特征信息。為此本文在人臉特征矯正網絡的基礎上進行了引入involution算子、引入坐標注意力機制、使用Meta-ACON激活函數三個組分的改進，為驗證改進網絡中每個組分的有效性，分別在上述兩個數據集上進行了消融實驗。

2.5.1引入involution算子

分別將一個involution算子、兩個involution算子引入FFR-Net模型中，模型在兩個數據集上的準確率均有所提升。實驗結果如表4、5所示。

當引入一個involution算子時，在LFW測試集上的三項識別準確率提升了0.84%、0.28%、0.47%，在Meglass測試集上的三項識別準確率提升了1.24%、0.50%、0.77%；當引入兩個involution算子時，在LFW測試集上的三項識別準確率提升了1.79%、0.63%、0.89%，在Meglass測試集上的三項識別準確率提升了2.49%、1.99%、1.54%。這表示引入involution算子能夠不斷提升模型性能，進而說明involution算子能夠使網絡在較大的空間范圍中捕獲更多人臉信息，提升圖像空間特征提取能力，幫助矯正網絡學習到更多未被遮擋區域的信息，在未被遮擋的區域上分配更多的權重，提高識別準確率，使得模型取得更好的效果。

2.5.2引入坐標注意力機制

驗證引入坐標注意力機制（CA）對于模型的作用效果，在原模型中的通道特征矯正模塊中引入坐標注意力機制模塊，并對比添加坐標注意力機制與CBAM在模型上的測試效果。根據實驗結果如表6、7可知添加坐標注意力機制后，相比原模型在LFW測試集上的三項識別準確率提升了4.30%、3.95%、2.41%，在Meglass測試集上的三項識別準確率提升了3.78%、3.52%、2.32%；相比CBAM，在LFW和Meglass測試集上的三項識別準確率也均有提升。實驗結果說明添加坐標注意力機制可以有效提升網絡模型的識別準確率，并且效果優于CBAM注意力機制，坐標注意力機制可以捕獲跨通道信息以增強特征表示，利于模型更準確地定位到并識別目標區域，增強網絡模型性能。

2.5.3使用Meta-ACON激活函數

驗證Meta-ACON激活函數對于模型的作用效果，將原模型使用的PReLU激活函數替換為Meta-ACON激活函數，結果如表8、9所示，在LFW測試集上的三項識別準確率提升了5.00%、5.33%、3.44%，在Meglass測試集上的三項識別準確率提升了4.78%、5.60%、4.07%。根據結果可以看出，使用自適應的動態激活函數Meta-ACON，可以學習并決定是否要激活神經元來控制網絡每一層的線性或非線性程度，相對于PReLU非線性激活函數顯著提高了模型計算精度，能夠保證網絡模型訓練過程更優，且在兩個數據集上均有明顯提升效果也保證了模型的魯棒性。

2.6參數優化

本文實驗中對FFR-Net模型的學習率參數進行了改進對比，模型的學習初始學習率設置為1E-1，將當迭代次數為5k、10k、15k時，學習率衰減為原來的0.5調整為當迭代次數為5k、10k、15k、20k、25k、30k時，學習率衰減為原來的0.5，對比結果如表10所示。調整后的結果準確率更高，這表示動態調整學習率對于結果是具有提升效果的，在訓練初始階段需要使用較大的學習率對模型進行優化，而后學習率逐漸減小接近模型最優解，僅在初期調整迭代次數會導致在訓練后期學習率較大，無法得到最優解。

2.7對比各個模型

對比其他遮擋人臉識別算法在LFW測試集上的識別結果，由表11可見，改進FFR-Net模型在無遮擋人臉對、遮擋與無遮擋人臉對上的表現優于現有表現較好的PDSN模型和FROM模型。相較于PDSN模型，識別準確率分別提高了11.27%、22.16%。相較于FROM模型，識別準確率分別提高了10.40%、13.94%。同時可以看出，改進人臉特征矯正模型是一個統一的遮擋與無遮擋人臉識別框架，具有能夠對比有遮擋人臉對的優勢，模型的可應用場景更廣泛，泛化能力更強。

對比各個模型的參數量與計算量，由表12可知，模型的計算量約為7.44G，FFR-Net模型參數量為29.95M，改進的FFR-Net模型參數量為30.38M，提高了0.43M，其中添加坐標注意力機制基本不會增加模型參數量，引入involution算子使得模型參數量提高0.09M，使用Meta-ACON激活函數使得模型參數量提高0.35M。由此可見，改進后的人臉特征矯正模型并不會大幅度增大模型的計算量與參數量。由于PDSN模型將圖像分割為3×3個不同區域，需單獨訓練九個不同的模型，這也就大大增加了模型的計算量和參數量。相較于FROM模型，改進的FFR-Net在計算量與參數量上也具有優勢。

3結束語

為進一步提高遮擋條件下人臉識別的準確率，本文針對現階段存在的問題進行了解決，對模型進行優化改進。針對數據集方面數據規模小、種類單一，且實驗中使用合成矩形遮擋情況居多，不貼合實際應用場景的局限性，本文自建真實口罩遮擋人臉數據集，用于訓練及測試，解決對真實遮擋圖像人臉識別研究較少、數據集不豐富的問題；針對識別場景單一的問題，本文在測試階段將模型擴充于口罩遮擋、眼鏡遮擋兩種場景下；針對網絡模型未能夠充分利用無遮擋區域信息的問題，本文在人臉特征矯正網絡的基礎上進行改進，提出一種改進人臉特征矯正網絡的遮擋人臉識別方法。通過向人臉特征矯正模塊的空間分支引入involution算子使網絡在空間范圍內學習更豐富的面部特征信息；向人臉特征矯正模塊中的通道分支引入坐標注意力機制，捕獲跨通道信息以增強特征表示，幫助模型更精準定位到并識別目標區域；將Meta-ACON作為特征矯正模塊新的動態激活函數，通過動態調整線性或非線性程度以提高模型泛化能力和計算準確度。改進的人臉特征矯正網絡模型在LFW原始無遮擋與口罩遮擋數據集、Meglass數據集上的實驗測試結果表明改進后的模型能夠更注重人臉非遮擋區域，充分利用未被遮擋區域信息，進而提高人臉識別準確率，同樣在口罩遮擋與眼鏡遮擋兩種場景下測試，證明具有良好的泛化性能。

目前針對遮擋人臉識別技術的研究仍處于發展階段，遮擋環境下的人臉識別準確率相較于無遮擋環境仍相對較低，因此還需繼續結合深度學習技術研究如何提高遮擋環境下的人臉識別準確率。而涉及數據集方面的問題包括專門用于研究真實遮擋數據集較少、遮擋的種類單一，因此豐富遮擋人臉數據集依舊是未來需解決的問題之一。在實際生活的應用場景中，可以考慮將遮擋檢測與遮擋人臉識別技術融合起來，實現自動的遮擋人臉識別系統。

參考文獻：

［1］ZengDan，VeldhuisR，SpreeuwersL.Asurveyoffacerecognitiontechniquesunderocclusion［J］.IETBiometrics，2021，10（6）：581-606.

［2］徐遐齡，劉濤，田國輝，等.有遮擋環境下的人臉識別方法綜述［J］.計算機工程與應用，2021，57（17）：46-60.（XuXialing，LiuTao，TianGuohui，etal.Reviewofocclusionfacerecognitionmethods［J］.ComputerEngineeringandApplications，2021，57（17）：46-60.）

［3］SongLingxue，GongDihong，LiZhifeng，etal.Occlusionrobustfacerecognitionbasedonmasklearningwithpairwisedifferentialsiamesenetwork［C］//ProcofIEEE/CVFInternationalConferenceonComputerVision.Piscataway，NJ：IEEEPress，2019：773-782.

［4］QiuHaibo，GongDihong，LiZhifeng，etal.End2endoccludedfacerecognitionbymaskingcorruptedfeatures［J］.IEEETransonPatternAnalysisandMachineIntelligence，2022，44（10）：6939-6952.

［5］CaiJiancheng，HanHu，CuiJiyun，etal.Semi-supervisednaturalfacede-occlusion［J］.IEEETransonInformationForensicsandSecurity，2021，16：1044-1057.

［6］DongJiayuan，ZhangLiyan，ZhangHanwang，etal.Occlusion-awareGANforfacede-occlusioninthewild［C］//ProcofIEEEInternatio-nalConferenceonMultimediaandExpo.Piscataway，NJ：IEEEPress，2020：1-6.

［7］GuoXiefan，YangHongyu，HuangDi.Imageinpaintingviaconditionaltextureandstructuredualgeneration［C］//ProcofIEEE/CVFInternationalConferenceonComputerVision.Piscataway，NJ：IEEEPress，2021：14114-14123.

［8］HaoShaozhe，ChenChaofeng，ChenZhenfang，etal.Aunifiedframeworkformaskedandmask-freefacerecognitionviafeaturerectification［C］//ProcofIEEEInternationalConferenceonImageProces-sing.Piscataway，NJ：IEEEPress，2022：726-730.

［9］王慧星，黃勃，高永彬，等.部分遮擋人臉識別的方法綜述［J］.武漢大學學報：理學版，2020，66（5）：451-461.（WangHuixing，HuangBo，GaoYongbin，etal.ReviewofFacerecognitionmethodswithpartialocclusion［J］.JournalofWuhanUniversity：NaturalScienceEdition，2020，66（5）：451-461.）

［10］WangHao，WangYitong，ZhouZheng，etal.CosFace：largemargincosinelossfordeepfacerecognition［C］//ProcofIEEE/CVFConfe-renceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2018：5265-5274.

［11］LiDuo，HuJie，WangChanghu，etal.Involution：invertingtheinhe-renceofconvolutionforvisualrecognition［C］//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2021：12316-12325.

［12］HouQibin，ZhouDaquan，FengJiashi.Coordinateattentionforefficientmobilenetworkdesign［C］//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2021：13708-13717.

［13］MaNingning，ZhangXiangyu，LiuMing，etal.Activateornot：learningcustomizedactivation［C］//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2021：8028-8038.

［14］YiDong，LeiZhen，LiaoShengcai，etal.Learningfacerepresentationfromscratch［EB/OL］.（2014-11-28）.https：//arxiv.org/abs/1411.7923.

［15］AnwarA，RaychowdhuryA.Maskedfacerecognitionforsecureauthentication［EB/OL］.（2020-08-25）.https：//arxiv.org/abs/2008.11104.

［16］HuangGB，MattarM，BergT，etal.Labeledfacesinthewild：adatabaseforstudyingfacerecognitioninunconstrainedenvironments［C］//ProcofDansWorkshoponFacesin‘Real-Life’Images：Detection，Alignment，andRecognition.2008：617-624.

［17］GuoJianzhu，ZhuXiangyu，LeiZhen，etal.Facesynthesisforeyeglass-robustfacerecognition［C］//ProcofChineseConferenceonBiometricRecognition.Berlin：Springer，2018：275-284.

［18］DengJiankang，GuoJia，XueNiannan，etal.Arcface：additiveangularmarginlossfordeepfacerecognition［C］//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2019：4690-4699.

［19］HuJie，ShenLi，SunGang.Squeeze-and-excitationnetworks［C］//ProcofIEEE/CVFConferenceonComputerVisionandPatternRe-cognition.Piscataway，NJ：IEEEPress，2018：7132-7141.

［20］VanderMaatenL，HintonG.Visualizingdatausingt-SNE［J］.JournalofMachineLearningResearch，2008，9（11）：2579-2605.