基于人臉分塊近似對稱性預處理的人臉識別算法

朱 葉，李 琳，張佳鵬

（上海理工大學光電信息與計算機工程學院，上海 200082）

0 引言

人臉識別技術是當前人工智能領域研究熱點之一。隨著電子科技的發展，人臉識別技術在生活中應用日趨廣泛，人臉圖像的唯一性、易于采樣等優點，使得人臉識別技術發展迅速，如手機面部識別、視頻監控、電子門禁等都應用了人臉識別技術。隨著人臉識別技術的不斷發展，其準確率和穩定性也在不斷提升，人臉識別技術日趨完善。

人臉識別是一個典型的圖像模式分析、理解與分類計算問題，涉及多個交叉學科。傳統的人臉識別方法有主成分分析法（Principal Components Analysis，PCA）［1］、拉普拉斯特征圖法［2］、局部保值映射［3］、卷積神經網絡（Convolutional Neural Networks，CNN）［4］以及Wright 等［5］提出的稀疏表示（Sparse Recognition based Classification，SRC）方法等。近幾年，人臉識別技術在不同場景下應用越來越廣，人們對其要求也不斷提升。隨著傳統人臉識別方法的不斷改進，人臉識別在可控場景下已經有了極高的準確率。但是人臉識別應用往往是處于非限制場景下［6］的，在真實場景下［7］進行人臉識別時，獲取的人臉圖像往往受到光照、姿勢、表情和遮擋等因素影響［8］，如果使用傳統的人臉識別方法，識別準確率會大大降低。如何提高在非限制場景下的人臉識別準確率問題成為研究熱點。研究人員已經提出一些減少照明對面部識別的影響方法［9］，如Xie 等［10］提出整合人臉圖像的大小特征將人臉圖像標準化；Zhang 等［11］提出一種基于非局部均值的歸一化方法作為用于魯棒人臉識別的圖像預處理技術等。

針對非限制場景下有遮擋的人臉識別問題，2016 年Xu 等［12］提出一種人臉近似對稱性預處理的人臉識別方法。該方法根據人臉左右近似對稱，采用梯度下降迭代算法，將被遮擋的半張人臉進行對稱恢復，從原始面部圖像生成對稱的虛擬面部圖像，減少姿勢和光照變化對人臉識別的影響，該算法大大提高了遮擋條件下人臉識別的準確率。但在真實情況下被遮擋部分可能為人臉較小區塊，并且人的左右臉不可能完全一致，存在一定差異。如果進行整個左右臉恢復，其恢復的人臉圖像與原始人臉圖像會有一定差別，其對識別準確率有一定影響。

針對上述問題，本文在人臉近似對稱性預處理算法上作相應改進。首先將人臉部分采用特征點定位算法［14］進行分塊，將分塊后的人臉進行遮擋判斷，對于有小部分遮擋的人臉塊利用人臉近似對稱性預處理，將遮擋部分的人臉塊進行恢復，恢復后的人臉面部圖像與真實人臉面部圖像的幾何形狀更加一致。恢復后的人臉用SRC 算法進行人臉識別，得到的結果魯棒性較好，識別速度較快，識別率有所提高。

1 基于人臉分塊的識別算法

1.1 MTCNN 算法

MTCNN 算法［13］采用三級聯的網絡P-Net（Proposal Network）、R-Net（Refine Network）和O-Net（Output Network），由粗到細，通過減少濾波器數量、設置小的卷積核和增加網絡結構深度，在較短時間內獲得很好性能［14］。

第一級網絡模型稱為推薦網絡P-Net，主要功能是獲得臉部區域的窗口與邊界Box 回歸，對獲得的臉部區域窗口與邊界Box 回歸的結果進行校正，然后使用非最大壓制（Non-Maximum Suppression，NMS）合并重疊窗口。

第二級網絡模型稱為優化網絡R-Net，通過一個能力更強的CNN 網絡過濾掉絕大部分非人臉候選窗口，然后繼續校正Bounding Box 回歸結果，使用NMS 合并重疊窗口。

第三級網絡模型稱為輸出網絡O-Net，對輸入第二階段數據進一步提取，通過一個能力更強的網絡找到人臉上面的5 個標記點。

MTCNN 算法能檢測出人臉的5 個關鍵點，其網絡結構如圖1 所示，網絡訓練流程如圖2 所示。

Fig.1 MTCNN network structure圖1 MTCNN 網絡結構

Fig.2 MTCNN training process圖2 MTCNN 訓練流程

1.2 人臉分塊

MTCNN 算法進行人臉特征點定位，定位結果包括左眼中心、右眼中心、鼻尖、左側嘴角、右側嘴角，如圖3 所示。

Fig.3 Location of feature points圖3 特征點定位

左眼中心坐標為(xleye,yleye)，右眼中心坐標為(xreye,yreye)，鼻尖中心坐標為(xnose,ynose)，左側嘴角坐標為(xlmouse,ylmouse)，右側嘴角坐標為(xrmouse,yrmouse)。

根據這5 個定位點從人臉圖像裁切出6 個人臉區塊［15］，包括左眼區塊、右眼區塊、左鼻區塊、右鼻區塊、左嘴區塊、右嘴區塊6 個部分［16］，具體裁切方法如下：

（1）將圖像調整為256×256 大小。

（2）根據左右眼坐標裁剪出64×64 大小的左眼區塊和右眼區塊，裁剪區域為：

左眼區塊：

右眼區塊：

（3）根據鼻尖坐標裁剪出64×64 大小的左鼻區塊和右鼻區塊，裁剪區域為：

左鼻區塊：

右鼻區塊：

（4）根據左右側嘴角坐標裁剪出64×64 大小的左嘴區塊和右嘴區塊，裁剪區域為：左嘴區塊：

右嘴區塊：

區塊裁剪樣例如圖4 所示，對裁剪的6 個人臉區塊進行遮擋判斷。

Fig.4 Example of face block results圖4 人臉分塊結果示例

1.3 遮擋判斷

將剪裁出的6 個人臉塊分為Vleye、Vreye、Vlnose、Vrnose、Vlmouse、Vrmouse。其中，Vleye表示左眼區塊特征，Vreye表示右眼區塊特征，Vlnose表示左鼻區塊特征，Vrnose表示右鼻區塊特征，Vlmouse表示左嘴區塊特征，Vrmouse表示右嘴區塊特征。分別對6 個區塊進行特征提取。為了處理遮擋問題，本文基于InceptionV3［17］網絡進行fine-tune，訓練一個用于判別人臉區塊是否被遮擋的網絡。因為左右眼、左右鼻、左右嘴的區別較小，所以在分類訓練集構造時，將左右眼合并為眼睛，左右鼻合并為鼻子，左右嘴合并為嘴巴，即構造出的訓練集分為4 類：眼睛類、鼻子類、嘴巴類和背景類。測試集經過運算后輸出每個類的“得分”，最終選取得分最高的類別作為人臉塊類別。若最終測試結果為背景類得分最高，則該人臉塊為有遮擋的人臉。遮擋判別示例如圖5、圖6 所示。

Fig.5 Occlusion discrimination example 1圖5 遮擋判別示例1

Fig.6 Occlusion discrimination example 2圖6 遮擋判別示例2

1.4 人臉近似對稱性預處理

用V1、V2、V3、V4、V5、V6向量表示原始面部圖像各個區塊的矢量，V1、V2、V3、V4、V5、V6都為列向量。

Vleye區塊為V1向量，Vreye區塊為V2向量，Vlnose區塊為V3向量，Vrnose區塊為V4向量，Vlmouse區塊為V5向量，Vrmouse區塊為V6向量。

V1、V2、V3、V4、V5、V6向量定義如下：

V1、V3、V5通過第1 列到第64 列逐一連接，V2、V4、V6通過第64 列到第1 列逐一連接。

上述程序的簡單例子如圖7、圖8 所示。

Fig.7 Example of converting an image into V1，V3，V5vectors圖7 將圖像轉化為V1、V3、V5矢量的示例

使用梯度下降算法迭代更新［12］。函數f(x) 為梯度下降函數：

其中，η為學習比率，xt、xt+1分別為時間t 和t+1 的x值。通過梯度下降算法可以快速得到f(x) 的最小值和對應的x最佳值。定義L(V1,V2)=表示為L(V1,V2)的最小值。

迭代更新V1、V2得：

為了使解值穩定，將η設置為η=為迭代次數，因此η隨著t 增加而減小，得到了最優的后連接它們，新合成的近似軸對稱人臉圖像就生成了。同理，V3、V4、V5和V6都可以照此進行操作。

Fig.8 Example of converting an image into V2，V4，V6vectors圖8 將圖像轉化為V2、V4、V6矢量的示例

具體步驟為：

（1）得到人臉分塊的特征向量V1、V2、V3、V4、V5、V6，其初始值為

（2）通過迭代梯度下降算法更新V1、V2、V3、V4、V5、V6，直至滿足下面條件中的任何一個才終止迭代更新。①迭代次數大于預設最大值；②‖V1-V2‖＜ε，表示時間t 處的V1值，ε表示盡可能小的正數。

原始人臉圖像和恢復的人臉圖像示例如圖9、圖10、圖11 所示。

Fig.9 Image after the original image is restored to the right eye block圖9 原始圖像與恢復右眼區塊后的圖像

Fig.10 Original image and image after restoration of right nose block圖10 原始圖像與恢復右鼻區塊后的圖像

Fig.11 Original image and image after restoration of left eye and left nose block圖11 原始圖像與恢復左眼和左鼻區塊后的圖像

1.5 SRC 算法

將所有類別的訓練樣本組合成一個矩陣X=[X1,X2…Xc]，其中Xi∈是第i類的數據矩陣，每列Xi表示第i類的訓練樣本。給定測試樣本y∈Rm，將其表示為y≈Xβ，其中β=[β1;…,βi;…,βC]。βi是與第i類相關聯的系數向量。通常，如果y 來自第i類，則y≈Xi βi，表明βj,j≠i中的大多數系數幾乎為零。

2 實驗結果

2.1 六部分人臉區塊遮擋判斷實驗

實驗選取AR 數據庫，從中隨機抽1 000 張人臉，將人臉分成6 部分人臉區塊，共6 000 張，將各個人臉區塊圖作為數據集。背景類數據集的采集包括真實被遮擋的人臉區塊圖，因為左右眼、左右鼻和左右嘴的區別較小，因此在做分類訓練構造時，將左眼和右眼的類別合并為眼睛類，左鼻和右鼻的類別合并為鼻子類，左嘴和右嘴的類別合并為嘴巴類。真實背景圖和人工加入遮擋的人臉區塊圖共1 000 張，隨機選取每個人臉區塊4 800 張和背景800 張圖作為訓練集，剩下的每個人臉區塊1 200 張和剩余背景圖200 張作為測試集。

使用fine-tune 方法和Hard Negative Mining 的負類選擇方法，二分類器在較短的訓練后取得不錯的效果。在人臉區塊分辨率足夠的情況下，訓練的局部人臉區塊遮擋判別模型都可以進行準確預測。判別結果見表1。

Table 1 Occlusion discrimination results of local face blocks表1 局部人臉區塊遮擋判別結果

2.2 單區塊有遮擋的人臉識別實驗

根據人臉分塊和遮擋判斷可以實現局部有遮擋的人臉識別算法。

實驗選取Yale B 數據庫，包含38 個人的2 432 張人臉圖像，含人臉的不同表情、不同光照條件和不同遮擋情況。選取30 張人臉，從每人36 張無人臉圖像中隨機選取20張作為訓練集，其他每人兩張遮擋左眼、兩張遮擋右眼、兩張遮擋左鼻、兩張遮擋右鼻、兩張遮擋左嘴、兩張遮擋右嘴，作為測試集。首先將原始圖像標準化，使得兩只眼睛在同位置對準，并將面部區域剪裁成256×256 像素圖像。將圖像標準化后進行人臉圖像分塊，分塊后的人臉訓練按人臉區塊遮擋判別模型進行，如果輸入的人臉區塊被二分類器判別為遮擋，則該局部特征用近似對稱預處理進行恢復。恢復后的人臉用SRC 算法進行分類實驗。本文對比實驗采用經典的RSC［19］、SRC［5］、近似對稱預處理［12］算法，實驗結果如表2 所示。

Table 2 Comparison of recognition rate of one block occlusion with eye，mouth and nose表2 眼睛、嘴巴、鼻子遮擋一類區塊中的識別率對比 （%）

由表2 可知，在遮擋眼睛區塊時，本文算法識別率為95.4%，遮擋嘴巴區塊時，本文算法的識別率為96.6%，遮擋鼻子區塊時，本文算法識別率為97.6%。與RSC 算法、SRC算法和近似對稱性預處理算法相比，本文算法取得了非常好的識別效果，這是因為SRC 算法和RSC 算法識別時其遮擋的部分會影響其識別率，而近似對稱性預處理算法直接恢復半張人臉，恢復后的人臉雖然沒有遮擋，但人臉會略微失真，影響識別率。本文算法對人臉小區塊進行恢復，恢復的人臉完整性較強，其識別率高于其它算法，本文算法在小區塊遮擋情況下取得了很好的效果［20］。

2.3 多區塊有遮擋人臉識別實驗

多區塊有遮擋人臉識別實驗仍然選擇Yale B 數據庫，從每人36 張人臉圖像中隨機選取8 張作為訓練集，其余分別選取每人的人臉圖片遮擋兩類區塊中的各兩張作為訓練集，具體情況如表3 所示。由于本文算法依賴于MTCNN 算法結果，在多區塊遮擋情況下，本文加入了一定的人工進行輔助定位工作。實驗結果與RSC 算法、SRC 算法、近似對稱預處理算法進行對比，結果如表3 所示。

Table 3 Comparison of recognition rate of one eye，one mouth and one nose block表3 眼睛、嘴巴、鼻子遮擋兩類區塊各一個的識別率對比 （%）

本實驗延續上一個實驗中所用的訓練集，將每人兩張人臉圖片遮擋三類區塊各一個作為測試集。與RSC、SRC、近似對稱預處理算法進行對比，實驗結果見表4。

Table 4 Comparison of recognition rates of one eye，one mouth and one nose block表4 眼睛、嘴巴、鼻子遮擋三類區塊各一個的識別率對比 （%）

由表3、表4 可知，遮擋眼睛和嘴巴各一個區塊時，本文算法的識別率為93.4%，遮擋嘴巴和鼻子各一個區塊時，本文算法的識別率為90.9%，遮擋鼻子和眼睛各一個區塊時，本文算法的識別率為92.9%。在大面積人臉區塊被遮擋的情況下，本文算法的識別率仍優于其它算法的識別率。隨著遮擋區塊的增加，當遮擋部分為半張人臉時，SRC和RSC 算法的識別準確率都下降得很快，近似對稱性預處理本身就是恢復半張人臉，所以其識別的準確率沒有太大變化，而本文算法識別率為81.3%，雖然隨著遮擋區塊的增加識別準確率有所下降，但較其它算法仍舊有較高的識別率。當遮擋3 個區塊時，情況類似于近似對稱性預處理，所以識別的準確率也與之相似。綜上，本文所提出的算法在一個或兩個人臉區塊遮擋的情況下，識別準確率較其它算法有所提高。

3 結語

本文提出一種基于人臉分塊的近似對稱預處理算法，用特征點定位進行人臉分塊，分塊后的人臉進行遮擋判斷后用區塊近似對稱預處理進行恢復。本文算法在單個區塊遮擋情況下有較高的識別準確率。在多區塊遮擋情況下，本文算法仍能保持較高的識別準確率。通過對人臉分塊的近似對稱預處理算法研究，對有遮擋的人臉識別技術有一定提高。但是本文算法只適用于有遮擋條件下的人臉圖像，且人臉圖像為正面單樣本圖像，對其它條件下的人臉識別還需繼續研究。同時，本文實驗中所用數據庫的人臉圖像已對齊，對于真實場景中的非對齊樣本還需作進一步的處理與分析。