基于深度殘差網絡模型壓縮的局部遮擋人臉識別

劉瑞明，徐春融，周 韜，陳倫奧

（江蘇海洋大學電子工程學院，江蘇 連云港 222005）

0 引 言

卷積神經網絡的成熟讓人臉識別技術取得了突破性的進展，而人臉識別也被廣泛應用在日常生活中的各個領域。 但是在現實環境中，人臉識別往往會受到各種因素的影響或限制，如光照、遮擋及面部姿態和表情等，其中遮擋人臉識別問題仍是當前所面臨的一大挑戰［1］。 特別是在疫情影響下，人們在公共場所必須佩戴口罩，因此，簡單、高效的遮擋人臉識別方法的研究顯得尤為重要。

在深度學習之前，遮擋人臉識別主要停留在人臉“淺層”特征的提取，主要分為2 個方面：未遮擋特征魯棒提取和遮擋區域的修復。 第一種方法主要是利用未遮擋區域的局部特征進行識別，如HOG、SIFT、LBP 等，He 等學者［2］受到相關熵的啟示，提出基于最大相關熵準則的魯棒人臉識別方法，讓訓練樣本遮擋部分離群值相對應的像素對相關熵的貢獻很少，遮擋像素賦予的權重很小，對未遮擋區域賦予較大的權重。 對于第二種方法，Wright 等學者［3］首次將稀疏表示分類（Sparse Representation based Classification，SRC）算法應用到遮擋人臉識別中，利用稀疏表示的區別性對有遮擋的人臉圖像進行分類，隨后，為了解決真實環境下人臉遮擋的對齊和光照問題，應用類內變異字典表示測試樣本與訓練樣本間的變化，利用稀疏系數對人臉進行重構，提出魯棒SRC 和擴展SRC 方法。 這些方法需要大量的同類圖像，然而協同表示把待識別圖像看作是所有訓練數據的線性組合，基于正則最小二乘的協同表示分類（CR based classification with regularized least square，CRC＿RLS）算法，采用最小L2 范數回歸代替了SRC 中的L1 范數，大大降低了算法的復雜度。

隨著深度學習的快速發展，在人臉識別領域取得一系列可觀的成果，主要體現在深度神經網絡結構的設計［4－9］、損失函數的改進［10－13］以及人臉數據增強［14－15］三個方面。 Sun 等學者［16］首先提出DeepID2神經網絡并在此基礎上增加隱藏層的表示維數和卷積層的監督，進一步提出了DeepID2＋網絡結構，提取的人臉特征具有較強的魯棒性。 隨后，由于卷積神經網絡的盛行，基于卷積神經網絡的Deep－Face［17］、Google－Net［18］以及Face－Net［19］等模型被相繼提出。為了緩解遮擋對臉部特征的影響，Li 等學者［20］以GAN 為基礎提出了一種遮擋人臉修復的深度生成網絡，針對人臉圖像的遮擋區域，該網絡可以從隨機噪聲中合成面部關鍵部位，并對恢復后的人臉進行識別，但是卻只限于原始人臉圖像的修復，特定妝容的隨機遮擋則會影響修復效果。 除了對遮擋人臉進行修復，還有另一種方法是忽略被遮擋破壞的元素，利用未遮擋特征進行識別。 Song 等學者［21］采用一個掩膜學習策略并忽略被遮擋區域的特征進行人臉識別，利用遮擋圖像和無遮擋圖像對應特征間的差異獲取掩碼特征來建立掩膜字典，在識別過程中對遮擋導致特征信息有偏差的部分進行消除，該方法需要大量的圖片訓練多個模型建立掩膜字典，占用空間較大，在測試時進行特征提取和掩膜字典對比，大大增加了時間成本。

總之，傳統方法對有遮擋人臉圖像的識別有一定的效果，但是都停留在人臉的“淺層”特征上，這些特征在處理過程中容易丟失人臉的細節信息，特別是出現混合遮擋時，人臉識別的效果會大大降低。深度學習有自主學習的優點，能夠獲得更具有表達性的高階特征，提高人臉識別的準確率，但為了學習人臉圖像中的被遮擋區域和未遮擋時的對應關系，使得深度卷積神經網絡的結構更加復雜，在不同的通道特征和濾波器之間存在冗余造成很大的計算量。 因此，本文提出一種基于深度殘差網絡模型壓縮的遮擋人臉識別方法，對復雜的網絡結構中卷積層濾波器進行修剪，實現網絡結構的稀疏表達，大大降低了網絡的計算成本。 與以上方法相比，本文的方法將有效提高遮擋人臉識別的速度。

1 相關工作

目前遮擋人臉識別算法中能取得較好識別效果的網絡模型，其網絡參數計算量大，結構一般比較復雜。 為簡化網絡結構提高人臉識別速度，本文采用包含50 層網絡的ResNet－50 模型作為主干網絡，以殘差塊中的卷積層為基本單位，對每一層中的濾波器進行修剪，然后將部分無需配對的遮擋和無遮擋的人臉圖像輸入到稀疏化的神經網絡結構中獲取特征掩碼，利用掩碼將遮擋人臉圖像的損壞特征清除以實現最終的人臉識別，其總體流程如圖1 所示。

圖1 人臉識別流程圖Fig. 1 Flow chart of face recognition

1.1 殘差網絡基本原理

深度卷積網絡被廣泛應用于人臉識別領域并取得突破性成果，但隨著識別準確率的提高，網絡層數不斷增加，而過深的網絡會出現梯度爆炸或消失和識別性能退化的問題，因此He 等學者［4］提出殘差學習的思想，在傳統的卷積網絡中引入殘差單元能夠很好地避免網絡退化問題。 殘差是指輸入與輸出之間的差異，殘差單元則采用跳躍連接的方式在輸入和輸出之間增加了一條快捷通道，實現輸出與輸入相同的恒等映射層。 殘差網絡結構如圖2 所示。圖2 中，X為卷積神經網絡上一層的輸入，通過快捷通道將參數傳遞到下一層的同時保留原來的輸入信息，假設期望得到的結果為H（X），讓堆疊的非線性層來擬合另一個映射F（X）＝H（X）－ X。 那么原來的映射可以轉化為F（X）＋X，使每層的輸出為映射和輸入的疊加，其中F（X）表示殘差函數，當F（X）＝0 時，則表示網絡訓練為最佳狀態，需要建立恒等映射即H（X）＝X。

圖2 殘差網絡結構Fig. 2 Residual network structure

殘差網絡包含一系列不同層數的網絡結構模型，目前常見的有：ResNet－18，ResNet－34，ResNet－50，ResNet－101，ResNet－152，其后數字代表不同模型的網絡層數。 本文采用殘差網絡ResNet－50 模型，該模型總共有50 層網絡，其中包含1 個單獨的卷積層、1 個全連接層和4 組不同的殘差塊，每組殘差塊包含不同數量的卷積層，網絡中每個模塊的具體卷積層參數見表1。

表1 網絡模型參數Tab. 1 The parameters of network model

1.2 深度殘差網絡模型壓縮

隨著網絡深度的增加，模型性能也不斷提升，殘差網絡不僅解決了準確率飽和后的退化問題，還在一定程度上提高了圖像特征的提取能力。 但復雜的殘差網絡也會存在不足，在追求網絡性能的同時，模型參數量增加，訓練時間變長。 因此，本文在改進的ResNet50 基礎上進行結構化剪枝實現網絡模型的壓縮，簡化網絡結構復雜度的同時提高人臉識別速度。 對于一些結構簡單的CNN，如VGGNet、AlexNet等，可以對任何卷積層中的濾波器進行修剪，而殘差網絡中的跳躍連接要保證其輸入和輸出的尺寸相同才能相加限制了剪枝的規則。 文中根據卷積層中濾波器的敏感程度給每一個殘差塊設置特定的剪枝比例對卷積層中的濾波器進行結構化剪枝，并且選用與快捷連接相同的剪枝標準如圖3 所示。

圖3 ResNet50 網絡剪枝原理Fig. 3 The pruning principle of ResNet50

遮擋人臉識別不僅需要設計深度卷積神經網絡，為了提高學習特征的區分能力，損失函數的改進也是必不可少的，雖然Softmax被廣泛應用于分類任務中，但是人臉特征存在類間距離小、類內距離大的特點對人臉識別準確率有很大的影響。 基于最大化類間方差和最小化類內方差，主流的SphereFace、CosFace 和ArcFace 中的損失函數有了很大的改進。其中，SphereFace 首次將人臉識別的特征空間轉換到超球面角度特征空間。 CosFace 將Softmax損失重新表述為余弦損失，進一步最大化決策余量。ArcFace 提出一種加性角邊距損失，與超球面上的測地距離對應，直接在角度空間中對分類邊界進行懲罰約束，并給出了清晰的幾何解釋。 以上3 種方法分別加入了不同的超參數m1、m2、m3并且可以用統一的公式表達見式（1）：

而SphereFace、ArcFace 和CosFace，分別表示為（m1，0，0）、（0，m2，0）和（0，0，m3）。 在本文中，采用CosFace 作為研究的訓練人臉識別損失函數。

2 實驗及分析

2.1 實驗環境

本文中所有實驗均在Ubuntu20.04 操作系統、1 塊NVIDIA GTX1060 顯卡、顯存為4 GB 的筆記本上進行。在Visual Studio Code 上使用Python3.8.3和Pytorch1.6.0深度學習框架進行網絡模型的訓練和測試。

2.2 數據集介紹

（1）CASIA－Webface： CASIA－Webface 數據集由中科院自動化研究所李子青團隊于2014年創建，采用半自動的方式從互聯網上搜集而得來，包含了10 575個人的494 414 張圖像。

（2）LFW： LFW（Labled Faces in the Wild）人臉數據集中提供的人臉圖片均來源于生活中的自然場景，包含了不同姿態、表情、光照、年齡以及遮擋等因素影響的人臉圖像。 該數據集共有13 233 張人臉圖像，每張圖像均給出對應的人名，共有5 749 人，且絕大部分人僅有一張圖片，每張圖片的尺寸為250×250。

（3）RMFD：由于疫情的影響，在公共場所必須佩戴口罩。 武漢大學國家多媒體軟件工程技術研究中心創建口罩遮擋人臉數據集（Real－World Masked Face Dataset），其中包括真實口罩和模擬口罩兩種類型，給公開數據集中的人臉佩戴口罩，包含10 000人的50 000 張人臉模擬口罩數據集。

（4）動態遮擋人臉數據集：采用文獻［22］中的方法選擇CASIA－Webface 數據集和LFW 人臉數據集與遮擋物合成遮擋人臉圖像，遮擋物包括太陽鏡、圍巾、杯子和書等日常生活中經常出現在臉上的物品如圖4 所示。 遮擋人臉圖像是把遮擋物隨機地遮擋在干凈的人臉圖像上，遮擋位置的大小可以按照一定的比例調節。

圖4 常見遮擋面部物體Fig. 4 Common occlusion of facial objects

文中使用CASIA－Webface 和CASIA－Webface 遮擋人臉數據集作為實驗的訓練數據集，選用LFW、LFW 遮擋人臉數據集和RMFD 這3 個數據集作為測試數據集，部分人臉圖像如圖5 所示。 由于數據集中每類的樣本數量有差別，先對樣本數量進行統一的處理以減少訓練樣本不平衡問題對網絡的影響。 然后，采用MTCNN［23］對人臉進行檢測并提取人臉標志位，通過檢測到的5 個關鍵點（左眼、右眼、鼻子、左右嘴角）進行相應的相似度變換，得到對齊的人臉圖像。最后，將對齊的人臉圖像進行剪裁，得到尺寸大小為112×96 的人臉圖像。 在訓練和測試時，圖像的像素值均歸一化為［－1.0，1.0］。

圖5 人臉數據集圖像Fig. 5 Face dataset images

2.3 模型訓練

訓練過程可以分為3 個階段，首先，對改進ResNet50 中的殘差塊進行結構化剪枝，每個殘差塊按照一定的比例修剪其卷積層濾波器；然后，把剪枝后的網絡結構在CASIA－Webface 數據集上進行周期為40 的訓練；最后，將之前訓練的剪枝模型作為預訓練模型在CASIA－Webface 數據集和CASIAWebface 遮擋數據集按1 ∶2 的比例混合組成的訓練數據集上進行再訓練以減少識別誤差，并生成特征掩碼清除損壞特征，利用CosFace 損失函數進行遮擋人臉分類識別。 在模型訓練過程中使用隨機梯度下降優化，初始學習率為0.1，動量為0.9，權重衰減為0.000 5，批的大小為8。

文中考慮了2 個基準模型。 第一個是只用改進ResNet50 網絡模型在CASIA－Webface 數據集上進行周期為40 的訓練，稱為基準1。 第二個基準選擇CASIA－Webface 數據集和CASIA－Webface 遮擋數據集按1 ∶2 的比例混合組成的訓練數據集，把第一個準則作為預訓練模型，同樣進行40 個周期的訓練，稱為基準2。

2.4 實驗結果分析

為了研究不同的剪枝比例對該網絡模型性能的影響，考慮設計5 組不同剪枝率、即R∈（0.1，0.2，0.3，0.4，0.5）的對比實驗，其實驗結果分別與未修剪的網絡模型進行比較。 不同修剪比例下模型參數的趨勢如圖6 所示，實驗結果表明，使用文中方法對選用的2 個基準網絡結構進行訓練，其模型的參數呈顯著下降的趨勢。 為了分析在不同修剪比率下訓練的網絡模型對人臉識別魯棒性的影響，選擇使用LFW 數據集和LFW 模擬口罩數據集作為測試集對網絡模型的性能進行驗證。 表2 中給出了不同剪枝比例的人臉識別準確率。 通過對比結果可知，隨著修剪比率的增加，人臉識別準確度有所降低，但是在簡化網絡參數的情況下對識別性能的影響是微不足道的。

表2 不同剪枝比例的人臉識別準確率Tab. 2 Face recognition accuracy under different pruning ratios

圖6 模型參數變化趨勢Fig. 6 Trend of the model parameters

為了進一步評估所提出的方法在遮擋人臉識別方面的性能，采用2.2 節中描述的遮擋人臉數據集作為測試集，其中“Occ－LFW”表示LFW 數據集上40%的區域被隨機遮擋，“Mask－LFW”表明將模擬口罩自動地添加到LFW 數據集。 文中方法與2 個基準模型在3 個不同數據集上的識別準確率和速度的對比結果見表3。 實驗結果表明，文中的壓縮模型在測試集上的識別速度均有很大提升，雖然識別精度有所損失，但是識別速度提升和模型參數減少的優勢遠超于誤差增長。 尤其是在原始LFW 數據集上有較好的效果，在準確率下降0.76 個百分點的情況下，識別速度提升了43.54%。

表3 不同模型實驗結果對比Tab. 3 Experimental results comparison of different models %

此外，基于模型的性能和網絡參數，對遮擋人臉識別誤差增長和識別速度增長比做進一步分析，實驗均是在相同的配置下進行，以不同修剪比例對網絡模型進行訓練，實驗結果如圖7 所示。 本文提出的壓縮模型在確保識別精度受影響最小的基礎上，提高了遮擋人臉的識別速度，對網絡規模進行精簡優化的同時，大大提高了人臉識別的時效性，使網絡的復雜度和識別速度得以平衡。

圖7 人臉識別性能比較Fig. 7 Comparison of face recognition performance

3 結束語

本文提出了一種基于深度殘差網絡模型壓縮的遮擋人臉識別方法，該方法將改進后的殘差網絡作為主干網絡，采用結構化剪枝策略縮減模型中卷積層的冗余濾波器，實現模型的壓縮，提高識別效率。在原始LFW 和遮擋人臉數據集上的綜合實驗表明，該模型在顯著減少人臉識別時間的同時，保證了識別精度降低的最小限度。 此外，文中提出的方法在一般人臉識別上具有很好的廣泛性。