基于殘差網絡的非限定條件人臉識別研究

劉慧穎 孫玉國

摘? 要： 針對非限制人臉識別中人臉圖像的尺寸和角度影響識別精度的問題，本文根據漸進校準的思想，設計出一種以具有漸進校準功能的卷積神經網絡為分析算法的人臉識別方法。首先在非限制環境下對人臉圖像進行幾何歸一化處理，并且利用主成分分析法進行降維;然后基于仿射變換和局部人臉分割理論，提出基于細節變換與特征融合的方法對人臉進行矯正;最后利用殘差卷積神經網絡構建人臉識別模型，在LFW數據集上對模型參數進行訓練，并對訓練后的模型進行仿真和檢驗。實測表明，通過矯正得到的正面人臉圖像雖然存在輕微的扭曲現象，但其提取的特征信息能夠有效提高非限制條件下多姿態人臉的識別準確率。

關鍵詞： 人臉識別;人臉矯正;非限定條件;漸進校準;卷積神經網絡

【Abstract】： Aiming at the problem that the size and angle of face image in non-restricted face recognition affect the recognition accuracy， this paper designs a face recognition method based on progressive calibration to construct a convolutional neural network with progressive calibration function. Firstly， the face image is geometrically normalized in an unrestricted environment， and the principal component analysis method is used to reduce the dimension. Then based on the affine transformation and the local face segmentation theory， a method based on detail transformation and feature fusion is proposed. The face is corrected. Finally， the residual recognition convolutional neural network is used to construct the face recognition model. The model parameters are trained on the LFW dataset， and the trained model is simulated and tested. The actual measurement shows that although the positive face image obtained by the correction has slight distortion， the extracted feature information can effectively improve the recognition accuracy of multi-pose face under unconstrained conditions.

【Key words】： Face recognition; Face correction; Unqualified condition; Progressive calibration; Convolutional neural network

0? 引言

人臉識別作為生物特征識別領域的重要方法之一，因其具有非接觸性和不易竊取性的特點，已經被廣泛應用于安全監控、人機交互、人工智能以及電子商務安全中[1]。人臉識別技術似乎是一個新興的學科，但對相關技術的研究在19世紀末就已經開始[2]。從判斷人臉的幾何結構到特征臉方法的提出，再到深度神經網絡在人臉識別領域的應用，人臉識別技術在數據測試上的識別精度得到很大提高，但是在應用環節時仍存在許多問題。在姿態變換和動態場景下即非限制條件下，進行人臉識別受到環境和人臉圖像采集設備的因素的影響，導致人臉識別的準確性不好[3]。

針對上述問題，本文基于神經網絡搭建出一個非限定條件人的臉識別方法。該系統基于漸進校準網絡的人臉圖像歸一化方法，對完全平面中的旋轉人臉圖像進行預處理。利用仿射變換原理和局部分割融合技術設計了一種細節變換方法對人臉姿態進行矯正，來提高多姿態人臉圖像識別的準確性。并用殘差卷積神經網絡搭建了用于本文人臉識別研究中的網絡模型。

1? 漸進校準網絡的人臉圖像歸一化

在非限制性條件下獲取的人臉圖像大多數會出現背景、人臉有偏轉角度、面部姿態和表情存在明顯差異的情況，這些圖像不適合直接作為訓練樣本[4]。所以在人臉識別之前，需要先進行人臉圖像的幾何歸一化，主要包括人臉對齊和尺寸歸一化。其中人臉對齊問題也被稱為完全平面旋轉（Rotation-in- plane， RIP）[5]問題。

本文在人臉檢測階段采用漸進校準網絡（Pro g ressive Calibration Networks， PCN）[6]。通過漸進校準網絡逐步校準輸入人臉圖像的RIP方向，使其垂直，以便更好地進行人臉特征提取。

其中，漸進校準網絡在設計的過程中，為達到最好的效果，本文將其設計為三層，如圖一所示。PCN第一層分類網絡計算人臉朝向，對人臉圖像的邊框進行預測，進行第一次粗略定向和調整;第二層網絡進一步對人臉圖進行定向，對人臉圖的邊界框進行回歸，并且將RIP角度的范圍從 減小到。第三層網絡是基于第二層網絡的運算后，直接計算尺人臉圖像的精確RIP角度，然后對人臉圖像進行最終的精確調整。最終輸出得到的調整好的圖像。

2? 非限定條件下人臉圖像的姿態矯正

由于我們生活在三維空間中，所以人臉的旋轉方向也分為三個維度，分別是繞X軸旋轉、繞Y軸旋轉和繞Z軸旋轉[7]。而人臉姿態估計就是在二維平面中近似的計算出二維人臉圖像對應于三維直角坐標系XYZ的偏轉角度[8]。

根據人臉圖像在二維空間中的成像慣例，一共有三種情況：以X軸為中心旋轉的;以Y軸為中心旋轉;以Z軸為中心旋轉。因為以X軸為中心的人臉圖的旋轉，只會導致在二維平面中方向上的變化，而不會產生人臉信息的缺失，但繞Y、Z軸旋轉，會產生人臉信息缺失。

2.2? 人臉姿態矯正

仿射變換矩陣可以通過對人臉圖像進行旋轉、平移、縮放來修正較為輕微的人臉姿態變化。但在旋轉角度比較大的情況下，通過仿射矩陣得到的人臉圖像會因為旋轉角度過大，導致特征信息不準確和失真。所以在仿真變換的基礎上，采用細節變換與特征融合的姿態矯正方法，使特征信息得到最大的保留。

首先建立圖2所示的標準人臉模板。模板的建立是以數據庫中的圖像為基準生成的。先根據數據庫中的無偏轉的圖像確定人臉圖像的尺寸，選定關鍵點位置，本文的關鍵點分別選取雙眼、鼻尖、嘴唇兩角，然后對圖像進行Procrustes分析，得到標準人臉的特征位置，進而生成標準人臉模板。

然后對人臉區域進行劃分并會進行人臉矯正，將補齊的局部人臉映射到標準模板的對應位置，得到校正后的正面人臉。矯正后的人臉因為放射變化和人臉切分存在一定程度上的變形，但通過參數調整和網絡訓練可以減輕其對人臉識別準確率的影響。

3? 網絡模型的設計與訓練

圖3是本文人臉識別的流程圖。通過對采集到的人臉圖像進行漸進校準歸一化和姿態矯正后獲得待識別的人臉圖像，此時，對人臉識別圖像進行降維，通過已經建立的人臉識別庫訓練基于殘差網絡

人臉識別模型，然后利用訓練好的模型對待識別的人臉圖像進行識別。如果識別未成功，判斷該待識別人臉圖像里的人員在數據庫中是否有記錄，如果有記錄，則直接存入該人員的圖像子庫中，如果沒有，則建立新的子庫并存入。

3.1? 基于殘差學習的網絡結構

本文中將標準人臉圖像的尺寸設置為，網絡模型如下圖4所示，共有18個卷積層，卷積尺寸統一為，卷積步長為1，每個卷積層后面跟一個修正線性單元層（Rectified Linear Unit，ReLU）。網絡中有三個最大的池化層，池化層窗口大小為，步長為2，一個窗口大小為平均池化層。每經過一次池化，卷積核的數量翻倍，最后一次池化后通過全連接層后輸出人臉特征信息，利用SoftMax分類器對人臉特征信息進行分類，輸出人臉類別。

其中，是將被學習到的殘差映射，為殘差塊的輸入，為殘差塊的輸出。殘差塊是一個兩層神經網絡，經過兩次激活后，得到公式4。

3.2? 模型的初始化

對于神經網絡模型，其網絡權值對模型的收斂有很大的影響。所以在神經網絡模型進行訓練之前，會對其進行合適的初始化，通過該方式可以降低梯度下降算法收斂于局部極小值的概率。

在深度學習中，常用的激活方式主要有：sigmoid函數、tanh函數、ReLU函數、Leaky ReLu函數。Sigmoid函數是將取值為的數映射到之間，作為激活函數在權值接近于0時斜率接近于1，神經網絡可以近似看作線性函數，此時基本不會產生局部極值;tanh函數較sigmoid函數要常見一些，該函數是將取值為的數映射到之間;ReLU函數是一種分段線性函數，當輸入值大于0時不存在梯度消失的問題，彌補了sigmoid函數和tanh函數的不足，并且計算速度要快很多，因為該函數只有線性關系，不管是前向傳播還是反向傳播，計算速度都要比其他方法快很多。Leaky ReLU函數是ReLU函數改進的函數，又稱為PReLU函數，但其并不常用。

本文采用ReLU函數來對模型進行初始化。初始學習率固定為0.001，迭代3000次后學習率設置為0.0001，得到如表1所示不同負半軸斜率所對應的準確率，最終選擇負半軸斜率的Leaky ReLU激活函數。

3.3? 對數據庫進行補充

因為本文中的人臉識別環境時非限制的，所以采集到的人臉圖像會在光照、角度等情況下有很? 多差異，此時為使建立的人臉識別模型對不同環境和情況的適應性更好，對待識別的圖像進行以下 操作：

識別未成功時：判斷識別未成功的圖像中的人在人臉庫中是否已建立子數據庫，如果已建立，則將人臉圖像存入子數據庫中;若為建立子數據庫，則建立新的自數據庫，將人臉圖像存入子數據庫中。識別成功時：退出系統或繼續識別。

4? 實驗結果與分析

下面是有遮擋情況下和人臉帶一定偏轉角度情況下的人臉識別情況：

圖5左列為實時采集到的人臉圖像，右圖為經過人臉識別模型識別后從數據庫匹配到的圖像。從上圖可以看出，本文采用的人臉識別模型對于半遮擋和帶有一定偏轉角度的的人臉像具有優良的識別效果。非限定條件包括很多條件、環境、人臉狀態。本文將測試重點放在人臉姿態變化和人臉遮擋情況。

人臉姿態變換情況下的識別率如表2所示，使用的人臉數據庫是LFW人臉庫。實測情況主要根據人臉角度的變化進行測試和分析。可見，隨著人臉的左右偏轉角度變化，人臉識別的正確率也在變化，并隨著偏轉角度的增加，識別率逐漸降低。但對比其他識別模型，本文構建的人臉識別模型具有顯著優勢。

由表3可以看出本文的人臉識別模型對左右臉有遮擋情況下，識別正確率是比較令人滿意的，但對于上下半張臉50%的遮擋率，識別效果不是很理想，針對這一部分還需要繼續改進。

5? 結論

本文在人臉圖像預處理中采用漸進校準，并通過仿射變換進行人臉姿態矯正，為后期的模型識別提供了更加標準的人臉圖像。通過PCA對矯正后的人臉圖像盡行降維，提取主成分，提高后面的殘差學習網絡模型的識別速度和效率。本文構建的人臉識別模型較傳統的人臉識別模型，具有更高的適應性，在非限制環境下也可以達到相當可觀的識別精度。

參考文獻

[1]林椹尠， 李相羽， 惠小強. 一種非限制性條件下人臉識別的方法[A]. 西安郵電大學學報， 2018， 23（2）： 49-57.

[2]張敏， 徐啟華. 基于改進BP 的神經網絡模型參考自適應控制[J]. 軟件， 2015， 36（7）： 118-123

[3]葉詩韻， 黃志成. 基于人臉識別的考生身份識別應用研究[J]. 軟件， 2018， 39（12）： 37-39

[4]KRIVOV S， ULANOWICZ R E， DAHIVA A. Quantitative measures of organization for multiagent systems[J]. Bio- systems， 2003， 69（1）： 39-54.

[5]徐雪， 張藝， 余開朝. 基于 BP 神經網絡的智能制造能力評價研究[J]. 軟件， 2018， 39（8）： 162-166

[6]趙文可， 孫玉國. 彈性RBF神經網絡在人臉識別中的應用研究[J]. 軟件， 2018， 39（5）： 203-206

[7]王聰興， 劉寶亮. 一種基于圖像處理的表面故障裂紋檢測系統[J]. 軟件， 2018， 39（5）： 144-150

[8]陳希彤， 盧濤. 基于全局深度分離卷積殘差網絡的高效人臉識別算法[J]. 武漢工程大學學報， 2019， 41（3）： 276-282.

[9]周麗芳， 杜躍偉， 李偉生， 李宇. 一種基于分治策略的Huffman-LBP多姿態人臉識別[J]. 小型微型計算機系統， 2018， 8： 1835-07.

[10]Dong Li， Huiling Zhou and Kin-Man Lam “High Resolution Face Verification Using Pore-Scale Facial Features” IEEE transactions on image processing， Vol. 24， No. 8， pp 2317-2327， 2015.