基于多區域融合的表情魯棒三維人臉識別算法

桑高麗 閆超 朱蓉

摘 要：為了實現三維人臉識別算法對表情變化的魯棒性，提出一種基于語義對齊的多區域模板融合三維人臉識別算法。首先，為了實現三維人臉在語義上的對齊，將所有三維人臉模型與預定義標準參考模型做稠密對齊。然后，根據人臉表情具有區域性的特點，為了不受限于區域劃分的精準度，提出基于多區域模板的相似度預測方法。最后，采用多數投票法將多個分類器的預測結果融合得到最終識別結果。實驗結果表明，在FRGC v2.0表情三維人臉數據庫上所提算法可以達到98.69%的rank-1識別率，在含有遮擋變化的Bosphorus數據庫上該算法達到84.36%的rank-1識別率。

關鍵詞：表情變化;三維人臉識別;多區域模板;多數投票

中圖分類號： TP391.4

文獻標志碼：A

Abstract： In order to realize the robustness of three-Dimensional （3D） face recognition algorithm to expression variations， a multi-region template fusion 3D face recognition algorithm based on semantic alignment was proposed. Firstly， in order to guarantee the semantic alignment of 3D faces， all the 3D face models were densely aligned with a pre-defined standard reference 3D face model. Then， considering the expressions were regional， to be robust to region division， a multi-region template based similarity prediction method was proposed. Finally， all the prediction results of multiple classifiers were fused by majority voting method. The experimental results show that， the proposed algorithm can achieve the rank-1 face recognition rate of 98.69% on FRGC （the Face Recognition Grand Challenge） v2.0 expression 3D face database and rank-1 face recognition rate of 84.36% on Bosphorus database with occlusion change.

Key words： expression variation; three-Dimensional （3D） face recognition; multi-region template; majority voting

0 引言

人臉識別在公安刑偵、國家安全、市場金融等諸多領域具有廣泛的應用前景。然而，鑒于三維（three-Dimensional， 3D）人臉本身的可形變特性以及易受不同表情變化的影響，研究對表情魯棒的人臉識別算法一直都是三維人臉識別領域的研究熱點和難點問題[1]。

目前，表情魯棒的三維人臉識別方法主要分為統計模型方法（Statistical methods） [2-4]、同等形變模型方法（Isometric deformation modeling）[5-8]和基于區域的方法（region-based methods）[9-13]。統計模型方法即通過構建統計模型對表情變化引起的面部軟組織形變關系進行刻畫，算法的精度和魯棒程度受訓練統計模型所采用的三維人臉庫的表情變化多樣性、數據質量等影響。同等形變模型方法即將表情變化引起的三維人臉形變轉化為等距形變問題建模[4]，將表情變化近似為等距形變，用等距形變特征近似表情變化特征。同等形變的方法通過弱化表情變化引起的三維形變達到表情魯棒;然而，同等形變一定程度上也弱化了人臉原有三維結構。由于表情變化呈現局部性，相較上述整體類方法，基于區域類方法表現出更多的靈活性和穩定性。基于區域的表情不變三維人臉識別方法即結合人臉表情的分布特點，將人臉區域劃分為表情易變和表情不變區域，然后分別針對表情不變和表情易變區域設計不同的相似度匹配策略。傳統基于區域類方法[9-13]如依據關鍵特征點位置進行人臉區域劃分。此類方法將表情不變區域和表情易變區域分開處理，對表情變化具有較強的適應性，但是前提是表情不變和表情易變區域的劃分要準確，否則將直接影響此類方法的整體準確度。

針對基于區域算法存在的比較依賴區域劃分精準度以及沒有充分利用整個人臉區域的問題，本文提出了基于語義對齊的多區域融合三維人臉識別方法。相較于以往基于區域類表情不變人臉識別方法，首先，本文提出的基于多模板區域劃分方法不需要面部特征點輔助，同時多模板區域相互獨立進行相似度預測，也緩解了算法對單一區域精準劃分的依賴性;另外，基于多區域模板共同投票策略，不光對表情魯棒，對其他受區域影響因素（如遮擋）也具有一定的魯棒性。

1 三維人臉模型的自動預處理

人臉識別主要針對人臉區域，因此，首先要獲得精準的人臉區域。為了獲得較為可靠的人臉區域，首先介紹本文采用的三維人臉模型的預處理過程，如圖1所示，主要包括鼻尖點自動檢測、三維人臉切割，以及姿態矯正和點云稠密對齊等。

針對三維人臉鼻尖點的自動檢測算法有很多。早期，采集三維人臉模型多為正面姿態，可根據采集對象與三維掃描儀之間的位置關系，將距離掃描儀最近的點即人臉上最高的點視為鼻尖點，如Chang等[14]、Sang等[15]。對于更一般的情況，Chew等[16]提出了基于曲率的鼻尖點自動檢測方法。該鼻尖點檢測方法[17]不依賴某一點的曲率，對鼻尖數據偶有缺失具有較強的魯棒性。本文采用Chew等[16]提出的方法自動檢測鼻尖點。

以鼻尖點為中心，計算任意點（x，y，z）與鼻尖點（x0，y0，z0）的測地線距離d，若d≤100mm，則保留該點到人臉區域;若d>100mm，則丟棄該點，依次剪切出整個人臉區域。利用測地線距離剪切得到的人臉，既包括盡可能多的人臉表面信息，同時又包括較少的背景信息。

為了對所有人臉數據在相同坐標系下進行比對，本文借助參考模型（Reference model）進行實現。參考模型應具備平均人臉的基本形態[15]，本文采用北京工業大學三維人臉數據庫BJUT（BeiJing University of Technology）-3D[18]中已對齊的中性三維人臉數據的平均人臉表示。然后，將所有注冊三維人臉和待測試三維人臉與該參考模型通過最近點迭代（Iterative Closest Point， ICP）法[18]進行姿態矯正。

由于姿態、遮擋、三維掃描儀計算錯誤等原因，姿態矯正后的三維人臉可能存在部分數據缺失。本文采用對稱填補的方法對缺失人臉數據進行填補，即假設人臉是對稱的，缺失的部分數據使用相應的對稱進行填補。

最后，為了確保三維人臉模型與參考模型間具有嚴密的語義對應關系，便于后續比對，本文采用基于ICP的公開代碼包——非剛性對齊（nonrigid registration）方法[19]將所有三維人臉模型與參考模型進行稠密對齊。此對齊方法只需要初始對齊點（鼻尖點），對人臉模型其他部分區域存在遮擋等魯棒。

2 本文算法

以往基于區域劃分的表情魯棒三維人臉識別算法很難將表情不變區域與表情易變區域準確劃分，主要有兩方面原因：首先，人臉區域的劃分通常依賴面部特征點的準確定位，而三維人臉特征點的定位又是一個尚未完全解決的問題;其次，對于不同對象三維人臉，很難嚴格界定表情不變和表情易變區域。因此，針對上述分析，為了解決以往算法對區域劃分敏感的問題，本文根據先驗，提出將人臉區域預劃分為多個可重疊的模板區域，通過預先定義多模板區域的方法，不但有效緩解了區域難定義以及區域劃分不準確的問題（最后結果由多數投票結果決定，對少數受表情影響較大區域導致錯誤投票結果具有一定的魯棒（容忍）性），本文提出的多區域模板共同投票機制，對其他諸如遮擋因素也表現出良好的魯棒性;然后，針對每個模板區域，在人臉的三維結構上直接計算模板區域間的相似度并獨立給出匹配結果;最后，綜合多個區域匹配結果，采用多數投票的方式確定最終的匹配結果。本文所提出的基于語義對齊的多區域融合表情魯棒三維人臉識別算法總的算法流程如圖2所示。

2.1 多區域模板設計

不同于以往方法根據面部特征點將三維人臉劃分為多個表情不變和表情易變區域[9-11]，本文提出基于語義對齊的多區域人臉劃分方法。如前文預處理部分所述，所有注冊和待識別三維人臉模型都與參考模型進行了稠密對齊，即對齊之后的三維人臉擁有相同的點數、相同的拓撲結構，并且各點之間存在語義上的一一對應關系。

受表情、遮擋等因素的影響，即使經過語義對齊的三維人臉模型，也無法避免由于局部形變導致的同一對象（類內）的相似度差異大于不同對象（類間）間的相似度的問題。為了減小局部區域形變嚴重進而影響整體區域相似度計算的問題，以往算法大多將人臉劃分為互不重疊的多個局部區域。考慮一般局部區域的區分度也小，即使融合多個局部區域對整張人臉識別能力依然有限，因此本文提出基于易受表情影響區域特性，將人臉區域劃分為多個不含表情影響的模板區域再分別進行匹配，即基于多模板區域的投票策略。依據易受表情影響區域設計的多表情影響區域去除的模板，既有效避免了以往依賴特征點的區域劃分問題，同時也得到了多個相對可靠的區域分類器。本文在參考模型上采用的三維模板區域投影如圖3 所示，共計24個模板，白色代表模板包含數據，黑色代表模板不包含數據，其中模版（1）為全臉模版。

人臉主要包括眼睛、額頭、鼻子、嘴巴、臉頰等區域，不同區域受表情影響程度不同，如通常認為額頭、鼻子受表情影響較小，但額頭易受帽子、頭發等遮擋的影響;眼睛區域易受表情或眼鏡遮擋的影響;嘴巴和臉頰受表情影響最大。但是，考慮不同對象受表情影響區域不同，不同表情影響人臉區域亦不同，因此，本文提出了基于局部區域的不同區域模板劃分方法。模板設計思想為：將人臉按照易受表情影響區域劃分為多個不同的模板區域，對于某一對象的某種表情，顯然，受表情影響小的同一對象區域之間具有較大的相似度，而部分受表情影響較大的區域則傾向具有較小的相似度;最終的投票結果由多數相似度較大區域投票得到最終識別結果，即受表情影響較小區域決定，因此，該多區域模板融合方法不但對表情遮擋有一定的魯棒性，同時對區域劃分具有很強的容忍性。

2.2 區域相似度分類

區域相似度就是將待測試三維人臉與注冊庫中三維人臉之間進行相似度比較，相似度值最大的最相似。本文共使用24個區域模板，針對每個模板區域內的三維人臉信息，都獨立進行相似度計算。為了保證算法整體的運行速度以及避免損失三維人臉結構信息，本文定義人臉區域語義對應坐標點的歐氏距離平方和作為兩人臉區域的相似度值，即：

2.3 多模板區域分類融合

關于多分類器融合的方法有很多，如分數級融合、決策級融合等。本文選用后者，并按照多數投票機制對多模板分類器投票結果進行融合。主要基于以下兩方面考慮：首先，根據人臉特性將人臉劃分為不同的區域，每個區域之間是相互獨立的，因此，分類結果也應該相互獨立;其次，當人臉受表情、遮擋等因素影響比較嚴重時，受影響嚴重的這些區域必然具有較小的相似度，而受影響較小的人臉區域仍然可以得到較高的相似度，每個區域分別單獨投票的好處是少數受影響區域的投票結果并不影響其他不受影響的區域獲得準確的分類。

1）確定三維人臉數據庫的注冊人臉和測試人臉數據集，其中注冊人臉數據集包含每人1個中性表情三維人臉數據。

2）對所有注冊人臉和測試人臉數據集進行預處理，并執行稠密對齊。

3）計算測試人臉與注冊人臉多區域模板的相似度及投票結果。

4）對多區域模板投票進行多數投票融合。

3 實驗與結果分析

3.1 數據庫及實驗設置

為了測試所提出算法的有效性，分別在FRGC（the Face Recognition Grand Challenge） v2.0和Bosphorus兩個三維人臉數據庫上對算法進行評估。

FRGC v2.0三維人臉數據庫[20]：包含不同表情（六種表情變化）、姿態、年齡共466人的4007個三維人臉模型。

Bosphorus數據庫[21]：含有姿態、表情、遮擋變化的105人，共4666個三維人臉模型。每人包括13種不同姿態、除中性表情以外的6種不同表情以及4種不同程度的遮擋。

實驗中所有用到的三維人臉模型首先按照第1章介紹的預處理過程進行鼻尖點檢測、切割人臉區域、姿態矯正、數據填補以及稠密對齊。

為了便于與其他方法進行比較，本文的評價指標選用rank-1識別率，即在識別測試過程中，第一次命中（最相似人臉即為正確人臉）正確人臉的概率之和。

3.2 閾值確定

衡量人臉識別算法性能常用的指標是EER（Equal Error Rate），即當FAR與FRR（False Rejection Rate）相等時的取值。EER值越小，表明識別算法性能越好、越穩定。本文共有Ti（i=1，2，… ，24）和Tv共25個閾值需要確定。

從圖4（a）不難看出，模板6性能最差（對應最大的EER值），模板18性能最好（對應最小EER值）。這是由于：模板6包括了人臉的嘴巴和臉頰區域，而嘴巴和臉頰是受表情影響最大區域;而模板18則包含人臉的額頭和鼻子區域，這部分是受表情影響較小區域。分析其他區域也不難發現，一般模板區域較小，達到的EER值也較小，如區域13、14、22、23、24，即是受表情變化較小的鼻子區域，這也是本文預定義有重疊多區域模板的合理之處;而包含臉頰或嘴巴區域的，一般達到的EER都相對較大，如區域6、8、21等。

3.3 FRGC v2.0數據庫實驗結果

注冊集包含466人的第一個中性表情三維人臉數據，其余3541（包括1984個中性表情，1557個非中性表情）個人臉數據組成該實驗的測試集。

為了便于與當前最新的基于區域類方法如EI3D（Expression-Invariant 3D）[12]、Spherical[13]、A-SRC（Adaptive Sparse Representation-based Classifier）[22]，以及基于同等形變類方法如3DWW（3D Weighted Walkthroughs） [6]、Curvature-based [10]等方法進行比較，本文僅計算本文算法的rank-1識別率，即在識別測試過程中，第一次命中（最相似人臉即為正確人臉）正確人臉的概率之和。

圖6給出了本文算法在FRGC v2.0上的CMC（Cumulative Match Characteristic）曲線，可以看出，該算法達到了98.69%的rank-1識別率。表1給出了不同算法分別在FRGC v2.0數據庫中含具有表情變化的三維人臉識別庫上分別達到的rank-1識別率。

由表1不難看出，同等條件下，不管是相較于基于同等形變的方法3DWW[6]、Curvature-based[10]，還是基于不重疊多區域方法EI3D[12]、 Spherical[13]、A-SRC[22]，本文算法都取得了最高的人臉識別率。原因是：基于同等形變方法將人臉表情的變化通過等距變化來刻畫，對于非剛性區域，顯然表情引起的三維形變不是等距的，因此，很難得到滿意的效果;相較其他基于區域的方法，本文算法不依賴特征點定位進行區域分割，同時，本文采用多數投票機制對區域劃分體現了較強的容忍度和魯棒性。

3.4 Bosphorus數據庫上實驗結果

為了更進一步驗證本文算法對遮擋因素的有效性，本文還選擇在包含遮擋變化的Bosphorus三維人臉數據庫上進行驗證。注冊集包含105人的一個中性表情三維人臉數據，其余每人4個含有遮擋（分別為手、頭發和眼鏡遮擋）的三維人臉數據組成該實驗的測試集。

對于三維人臉模型存在遮擋的問題，通常的處理是首先檢測出人臉遮擋區域，然后再利用其他先驗模型重建出遮擋區域人臉。如文獻[23]算法，首先將三維人臉轉換為二維深度圖，在深度圖上通過檢測最亮的點及閾值范圍內的連通區域法檢測遮擋區域，然后對遮擋區域使用主成分分析（Principal Component Analysis， PCA）對遮擋區域進行重建。而文獻[24]算法，則將遮擋人臉與平均人臉對齊，對齊后的人臉區域如果大于某以固定閾值就被認為是遮擋區域并丟棄，然后采用切線PCA以及Gaussion模型相結合對遮擋區域進行重建。這兩個對比方法在檢測遮擋人臉區域時，都需要確定閾值，閾值的大小直接影響檢測遮擋區域的多少，而且，固定的閾值也很難適應實際應用種的各種遮擋情況，缺乏靈活性。本文提出的算法不需要檢測遮擋區域，而是通過預定于多模板區域共同投票，最后選擇多區域數投票統計法決定最終的識別結果。類似于表情情況，不難發現：模板中受遮擋影響嚴重的區域必然具有較小的相似度，而受遮擋影響較小的區域則具有較高的相似度，多數投票機制使得受遮擋影響較小區域更有發言權，從而提出的算法對遮擋也表現出一定的魯棒性。

表2給出了本文算法法及對比算法[23-24]在Bosphorus數據庫存在遮擋情況下達到的rank-1識別率。由表2可以看出，本文算法取得了84.36%的rank-1識別率，比現有較好的文獻[24]算法提高了5.73個百分點。表2結果表明，本文算對遮擋因素也具有很強的魯棒性，而且本文算法不需要對遮擋區域檢測和重建，具有良好的靈活性。

4 結語

針對表情對三維人臉模型的影響而導致人臉識別算法性能下降的問題，本文提出了基于語義對齊的多區域融合的表情魯棒三維人臉識別算法。該算法借助一個參考模型實現所有三維人臉模型的預處理及模型之間的語義對齊;然后，依據表情對人臉影響，設計多個獨立的有重疊的人臉區域，在每個模板區域內分別計算區域相似度并投票;最后，采用多數投票法決定最終的識別結果。在FRGC v2.0和Bosphorus兩個三維人臉數據庫上的實驗結果表明，本文算法不但對表情變化魯棒，對遮擋也有很好的魯棒性。我們的下一步工作將研究設計更加有效的區域模板，并在更多、更復雜三維人臉數據庫上進行驗證。

參考文獻 （References）

[1] 王躍明，潘綱，吳朝暉.三維人臉識別研究綜述[J].計算機輔助設計與圖形學學報，2008，20（7）：819-829.（WANG Y M， PAN G， WU Z H. A survey of 3D face recognition [J]. Journal of Computer Aided design & Computer Graphics， 2008， 20（7）： 819-829.）

[2] Al-OSAIMI F， BENNAMOUN M， MIAN A. Expression-invariant non-rigid 3D face recognition： a robust approach to expression-aware morphing [C]// Proceedings of the 4th International Symposium on 3D Data Processing， Visualization， and Transmission. Piscataway， NJ： IEEE， 2008： 19-26.

[3] MPIPERIS I， MALASSIOTIS S， STRINTZIS M G. Expression-compensated 3D face recognition with geodesically aligned bilinear models [C]// Proceedings of the 2008 IEEE Second International Conference on Biometrics： Theory， Applications and Systems. Piscataway， NJ： IEEE， 2008： 1-6.

[4] KAUSHIK V D， BUDHWAR A， DUBEY A， et al. An efficient 3D face recognition algorithm [C]// NTMS 2009： Proceedings of the 3rd International Conference on New Technologies， Mobility and Security. Piscataway， NJ： IEEE，2009： 259-263.

[5] BRONSTEIN A M， BRONSTEIN M M， KIMMEL R. Expression-invariant representations of faces [J]. IEEE Transactions on Image Processing， 2007， 16（1）： 188-197.

[6] JAHANBIN S， CHOI H， LIU Y， et al. Three dimensional face recognition using iso-geodesic and iso-depth curves [C]// BTAS 2008： Proceedings of the 2008 IEEE Second International Conference on Biometrics： Theory， Applications and Systems. Piscataway， NJ： IEEE， 2008： 1-6.

[7] BERRETTI S， DEL BIMBO A， PALA P. 3D face recognition using isogeodesic stripes [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（12）： 2162-2177.

[8] DRIRA H， BEN AMOR B， DAOUDI M， et al. Pose and expression-invariant 3d face recognition using elastic radial curves [C]// Proceedings of the 2010 British Machine Vision Conference. Durham， UK： BMVA Press， 2010： 1-11.

[9] BERRETTI S， del BIMBO A， PALA P， et al. A set of selected SIFT features for 3D facial expression recognition [C]// ICPR 2010： Proceedings of the 2010 20th International Conference on Pattern Recognition. Washington， DC： IEEE Computer Society， 2010： 4125-4128.

[10] ALYUZ N， GOKBERK B， AKARUN L. Regional registration for expression resistant 3-D face recognition [J]. IEEE Transactions on Information Forensics and Security， 2010， 5（3）： 425-440.

[11] SMEETS D， KEUSTERMANS J， VANDERMEULEN D， et al. meshSIFT： Local surface features for 3D face recognition under expression variations and partial data [J]. Computer Vision and Image Understanding， 2013， 117（2）： 158-169.

[12] GUO Y L， LEI Y J， LIU L， et al. EI3D： Expression-invariant 3D face recognition based on feature and shape matching [J]. Pattern Recognition Letters， 2016， 83（Part 3）： 403-412.

[13] EMAMBAKHSH M， EVANS A. Nasal patches and curves for expression-robust 3D face recognition [J]. IEEE transactions on Pattern Analysis and Machine Intelligence， 2017， 39（5）： 995-1007.

[14] CHANG K I， BOWYER K W， FLYNN P J. Multiple nose region matching for 3D face recognition under varying facial expression [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（10）： 1695-1700.

[15] SANG G L， LI J， ZHAO Q J. Pose-invariant face recognition via RGB-D images [J]. Computational Intelligence and Neuroscience， 2016（3）： 1-9.

[16] CHEW W J， SENG K P， ANG L M. Nose tip detection on a three-dimensional face range image invariant to head pose [C]// Proceedings of the 2009 International MultiConference of Engineers and Computer Scientists. Hong Kong： International Association of Engineers， 2009：858-862.

[17] SPREEUWERS L J， VELDHUIS R N J， SULTANALI S， et al. Fixed FAR vote fusion of regional facial classifiers [C]// BIOSIG 2014： Proceedings of the 2014 International Conference of the BIOmetrics Special Interest Group. Piscataway， NJ： IEEE， 2014： 187-194.

[18] 尹寶才，孫艷豐，王成章，等.BJUT-3D三維人臉數據庫及其處理技術[J].計算機研究與發展，2009，46（6）：1009-1018.（YIN B C， SUN Y F， WANG C Z， et al. BJUT-3D large scale 3D face database and information processing [J]. Journal of Computer Research and Development， 2009， 46（6）：1009-1018.）

[19] AMBERG B， ROMDHANI S， VETTER T. Optimal step nonrigid ICP algorithms for surface registration [C]// CVPR 2007： Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2007： 1-8.

[20] WANG Y M， PAN G， WU Z H. 3D face recognition in the presence of expression： a guidance-based constraint deformation approach [C]// CVPR 2007： Proceedings of the 2007 Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2007： 1180-1187.

[21] SAVRAN A， ALYUZ N， DIBEKLIOGLU H， et al. Bosphorus database for 3D face analysis [C]// Proceedings of the 2008 European Workshop on Biometrics and Identity Management， LNCS 5372. Berlin： Springer， 2008： 47-56.

[22] DENG X， DA F P， SHAO H J. Adaptive feature selection based on reconstruction residual and accurately located landmarks for expression-robust 3D face recognition [J]. Signal， Image and Video Processing， 2017， 11（7）： 1305-1312.

[23] BAGCHI P， BHATTACHARJEE D， NASIPURI M. Robust 3D face recognition in presence of pose and partial occlusions or missing parts [J]. International Journal in Foundations of Computer Science & Technology， 2014， 4（4）： 21-35.

[24] GANGULY S， BHATTACHARJEE D， NASIPURI M. Depth based occlusion detection and localization from 3D face image [J]. International Journal of Image， Graphics & Signal Processing， 2015， 7（5）： 20-31.