基于局部特征的三維人臉識別

胡敏艷，孫杳如（同濟大學電子與信息工程學院計算機科學與技術系，上海 201804）

基于局部特征的三維人臉識別

胡敏艷，孫杳如
（同濟大學電子與信息工程學院計算機科學與技術系，上海 201804）

0　引言

科技迅速發展，各種安全技術越來越受到人們的重視。人臉作為每個人獨有的身份標識，它具有非交互性，人臉數據容易獲得等優點。這種非交互式的身份鑒定，可以運用于飛機場、火車站查找網上逃犯以及恐怖分子。人臉識別最早開始于上個世紀初[1]，這一時期主要研究的是二維人臉識別。然而，二維人臉識別一直受到光照、姿態、年齡、遮擋的影響，研究者轉而投入三維人臉識別中以求突破。從上個世紀80年代末90年代初[2-3]，三維人臉識別就已經進入了我們的視野。近些年來，由于三維掃描設備的快速發展和計算機處理性能的提高，促進了三維人臉識別的發展。目前，三維人臉識別的方法各種各樣，大體上可以分為兩種：基于全局特征的識別方式和基于局部特征的識別方式。

基于全局特征的識別方式中，大多數方法是從整個人臉數據中提取出相關的特征信息。例如，主成分分析法（PCA）[4-6]，線性判別法（LDA）[6-7]，獨立成分分析法（ICA）。它們通常是先用一定的數據訓練，構造特征子空間。對于測試數據，將其映射到特征子空間中并用一定的方法對其進行匹配。其次，還有一些研究者使用ICP算法來識別人臉。Chua[8]首先將ICP算法運用于人臉識別中的預處理步驟——對齊人臉。后來，Cook[9]將ICP算法用于中性表情的人臉識別中?；贗CP匹配算法的人臉識別對姿態和光照變化具有穩健性，在中性表情下，ICP匹配算法的識別效果較好。同時反映出，在具有表情的三維人臉中，該算法識別效果不好。然而，ICP匹配算法計算代價太大。

基于局部特征的識別方式，主要是從三維人臉曲面上的某些點周圍提取有效的局部幾何特征，通常有局部描述符，曲線特征和曲率特征。我們通常是用法向量、曲率、曲線等基本的幾何特征來構造局部特征。這些局部特征在構造前，通常要找到人臉中一些穩定的點，這些點我們稱作關鍵點。接著，我們利用這些關鍵點周圍一定范圍內點的信息來構造特征。局部描述符是人臉某點鄰域內的幾何信息或者幾何統計信息，常見的有旋轉圖像法（Spin Image）[10]、本質特征向量（Intrinsic Features）[11]、點簽名（Point Signature）[12]。

SIFT[13]算法成功運用于二維人臉識別，其具有旋轉以及尺度不變的特性。受到SIFT算法的影響，我們也在不同尺度下進行關鍵點檢測，而后再構造以關鍵點為中心的局部特征。本文使用meshSIFT算法的三維人臉的關鍵點檢測方法，來檢測相對穩定的三維人臉特征點。Shape Index對不同的尺度具有不變性，J.Farley Norman[14]等人其論文中也有提到。曲率可以衡量曲面的彎曲程度，因而我們在這里使用Shape Index和曲度來構造特征向量。要想構造一個不因人的姿態變化而受到影響的特征，應在構造特征前為局部特征確定一個參考方向，以該方向為基準構造局部特征。因而，我們人臉特征構造方法主要分為以下兩大步驟：①關鍵點檢測。②特征構造。在特征構造中，我們首先要計算主方向。其次，以主方向為基準構造局部特征。本文構造的局部特征，用于外部遮擋的識別中具有相對較好的效果。

1　我的工作

從Bosphorus數據庫中獲得的數據是點云數據。在進行計算前，我們首先將這些點云數據轉化成三角網格數據。這時，人臉數據主要是由點集和邊集組成。點集可以表示為：V={i∈n|vi=（xi，yi，zi）}，n是一個人臉總共的點數。而邊集可以表示為 E={（vi，vj∈V）∩（vi，vj）∈T|（vi，vj）}，T表示一定的規則，這個規則使得兩個點構成了一條邊。一個點的鄰域內的點集用Ni={vj∈V| （vi，vj）∈E}來表示。

1.1關鍵點定位

Lowe DG在2004年提出了SIFT算法，該算法通過檢測不同尺度空間的極值點，具有位置，旋轉，尺度縮放不變性。有效的關鍵點是人臉識別的關鍵，我們在這里采用MeshSIFT[15]算法來獲得三維人臉數據中的關鍵點。MeshSIFT算法借鑒了SIFT算法的思想并應用于三維人臉識別的算法。首先，構造不同的尺度空間來獲取，人臉在不用尺度空間下的人臉信息。其次，在不同的尺度空間上，來檢測關鍵點。具體做法如下：

（1）構造尺度空間

高斯卷積核是實現尺度變換的唯一線性核。本文使用與高斯濾波函數相似的二項式濾波函數來實現。對于原始人臉輸入F，我們將獲得多個尺度下的人臉Fs，具體的處理過程如下：

F代表原始的人臉數據，Gσs是近似高斯過濾函數的二項式濾波函數，σs是尺度因子我們用二項濾波器來近似高斯核函數來對三維數據做卷積，具體公式如（2），對第i個點做二項式濾波，第s次卷積時的二項式濾波為：

（2）選取關鍵點

圖1　檢測到的關鍵點在原始人臉數據上的顯示

1.2提取特征

要想獲得具有方向不變性的局部特征，在進行特征構造前我們應該找到一個參考方向，以此來構建局部特征。相對于參考方向的特征對于方向變化將更加穩定。因此，我們的特征提取工作將分為兩個部分：①確定參考方向；②構造特征。在確定參考方向時，我們使用了MeshSIFT中的方法來確定參考方向。

（1）確定參考方向

要構造局部特征，先要確定關鍵點周圍多大范圍內的信息對此關鍵點有效。在這里，我們確定以關鍵點為中心，球半徑r內的點為構造關鍵點的特征的有效點 （這些點構成的區域稱之鄰近區域，r是經驗值8 σs）。因而，我們必須先計算鄰近區域內的各個點的法向量（用文獻[16]中的方法）和測地距離（用文獻[17]的快速匹配算法）。利用測地距離去除無效的點，將各個有效點的法向量投影到關鍵點的切平面上，這些投影在切平面內指向各個方向。我們的參考方向主要是要找到一個最能代表關鍵點這個鄰域內點構成的形狀的大致的彎曲方向。有了參考方向，當人臉數據旋轉時，檢測到的主方向也會跟著相應變化。

計算參考方向的主要步驟如下，對各個點的投影向量使用一個360個組數和組距為1度的加權直方圖來統計。為了得到的參考方向更具有穩定性，在統計各個點法向量的投影向量之前，我們對其做一個測地距離的高斯加權，接著對直方圖進行三次高斯模糊（模糊因子σ=17，代表17個組距）。最后，我們從直方圖中得到一組最大的值。我們將取大于最大值80%的方向為主方向，因而我們可能得到多個參考方向。如果一個關鍵點有多個參考方向，這個關鍵點就有多組關鍵點的特征生成。

圖2　表示關鍵點及其鄰域內法向量映射到切平面引用meshSIFT[15]

（2）構造特征

其次，小圓內對每個區域內的點進行統計，將這些點的形狀索引值[-1，1]分為8組，對每組j的點用wcgc，i和wkgk，i對曲度進行加權計算得到sj。每個區域內的特征可以表示為S=[s1，s2，…，s8]；每個小圈的內的特征可以表示為c=[S1，S2，S3，S4]，其中下標對應圖4中的下標；這時，我們可以將第k個小圓區域內的特征由Ck=[c1，c2，…c8]T（k=1，2，…，9）；則關鍵點i的特征向量則為fi= [C1，C2，…，C9]；則這時，整個人臉特征可表示為F={f1，f2，…，fn}。通過以上步驟，對人臉周圍的區域進行序列化，并對其進行計算。

圖3　用來構造特征向量的主方向的指向

圖4　用來構造特征向量每個區域的子區域劃分

2　識別方法

圖5　使用Bosphorus數據庫中的外部遮擋的部分數據對人臉進行識別

3　實驗結果

實驗的數據主要來源于Bosphorus數據庫[18]中的人臉資源。Bosphorus數據庫中，有男性61人，女性44人，年齡在25到35歲之間。每個人包含31-54張人臉數據不等，每張人臉由大約35000個三維點云數據組成，總共包含4666張人臉數據。其中，人臉數據有含正面、表情、旋轉、遮擋這幾種不同類型的人臉數據。筆者主要從以下兩個方面做了實驗，來證明特征的有效性：

首先，將從數據中給每個臉找一個數據作為人臉庫中的數據，后面識別時通過與數據庫中的這些數據進行匹配，判斷是不是同一個人臉。圖表1顯示了與其他方法在Bosphorus數據庫人臉識別效果上的比較。如圖表1，我們的正面人臉識別準確率達到93.0%比其他的人臉識別率要高。

表1　與其他的文獻在全部人臉數據和正面人臉數據進行比較

在Bosphorus數據庫中，遮擋的人臉數據主要有一下四種：

1.用手遮住嘴部（105），2.眼鏡（104），3.頭發遮住臉部（67），4.用手遮住一只眼睛和部分額頭（105）。

我們的實驗主要從上面四種數據，以及對所有外部遮擋的人臉數據進行了對比。所有的實驗數據有381張人臉數據，用我們的方法來對這些數據做匹配，人臉識別效率達到了93.9%的識別率。我們的整個人臉識別過程都是自動完成的，而Aluz等人[22]的方法在整個的人臉識別的處理過程中有部分由手動處理。Colombo等人[23]先對數據進行了篩選，丟棄了質量相對較差的數據，取了其中較好的360個數據進行識別。除了頭發遮擋部分比他差，其他的識別上都遠超過了他的識別效率。Drira等人[24]對人臉進行識別，他們先將遮擋的數據去掉，然后對該部分數據進行修復，然后再對著進行識別。我們的方法在外部遮擋的人臉數據中除眼部遮擋的數據識別效率與Drira識別效率相當外，其他的數據比Drira等人識別效果都要好。從圖表2的對比中，可以看出，對外部遮擋的數據識別效果較好。

4　結語

我們提出了一種新的方式過對關鍵點周圍的幾何信息進行構造并運用于人臉識別。我們在整個人臉識別的過程中都是自動進行的，不需要任何人工干預。在以上的實驗表明，與本文提出的特征構造方法在外部遮擋的識別上具有比較好的效果。從整體上來看，我們的方法在三維人臉識別上還有很大的提高空間。在后面的研究中，我們會繼續改善它在其他數據中的識別效率，從而提高整體的識別效率。

[1]Galtonf.Numeralised Profiles for Classification and Recognition[J].Nature,1910,83(2109):127-130

[2]Lee J C,Milios E.Matching Range Images of Human Face[C].Computer Vision,1990.Proceedings,Third International Conference On.IEEE,1990:722-726.

[3]Nagamine T,Uemura T,Masuda I.3D Facial Image Analysis For Human Identification[C]Pattern Recognition,1992.Vol.I.Conference A:Computer Vision and Applications,Proceedings.11th IAPR International Conference On.IEEE,1992:324-327.

[4]M.Ana Belen,S.Ngel,V.JosFco Et Al.Face Recognition Using 3D Local Geometrical Features:PCA Vs.SVM,Image and Signal Processing And Analysis,2005.ISPA 2005.Proceedings of the 4th International Symposium on.2005:IEEE.

[5]M.Mir Hashem,F.Karim,A.Amin.Three Dimensional Face Recognition Using SVM Classifier,Computer And Information Science[C]. 2008.ICIS 08.Seventh IEEE/ACIS International Conference on.2008:IEEE.

[6]Hiremath,P.S.And Manjunatha Hiremath.3D Face Recognition Based On Radon Transform,PCA,LDA Using KNN And SVM[J].International Journal Of Image,Graphics and Signal Processing(IJIGSP),2014.6(7):36.

[7]B.A.,Chiraz,Paul A.Griffin.Comparing and Combining Depth And Texture Cues for Face Recognition[J].Image and Vision Computing,2005.23(3):339-352

[8]Chua,Chin-Seng,Feng Han and Yeong-Khing Ho.3D Human Face Recognition Using Point Signature.In Automatic Face and Gesture Recognition,2000.Proceedings.Fourth IEEE International Conference on.2000:IEEE.

[9]C.Jamie,C.Vinod,C.Sridha,F.Clinton.Face Recognition From 3d Data Using Iterative Closest Point Algorithm and Gaussian Mixture Models,3D Data Processing,Visualization and Transmission,2004.3DPVT 2004.Proceedings.2nd International Symposium on. 2004:IEEE.

[10]J.Andrew E.,H.Martial.Using Spin Images For Efficient Object Recognition In Cluttered 3D Scenes[J],Pattern Analysis and Machine Intelligence,IEEE Transactions On.1999,21(5):433-449.

[11]Xu C.,T.Tan,S.Li,Y.Wang,C.Zhong,Learning Effective Intrinsic Features To Boost 3D-Based Face Recognition,Computer Vision-ECCV 2006,Springer.2006,416-427.

[12]Chua,Chin-Seng,Feng Han and Yeong-Khing Ho.3D Human Face Recognition Using Point Signature.In Automatic Face and Gesture Recognition,2000.Proceedings.Fourth IEEE International Conference On.2000:IEEE.

[13]L.David G.Distinctive Image Features From Scale-Invariant Keypoints,International Journal of Computer Vision.2004,60(2):91-110.

[14]J.Farley Norman.Visual Discrimination of Local Surface Structure:Slant,Tilt,And Curvedness

[15]S.Dirk,K.Johannes,V.Dirk.Meshsift:Local Surface Features for 3D Face Recognition under Expression Variations and Partial Data,Computer Vision and Image Understanding.2013,117(2):158-169.

[16]G.Peyre.Toolbox Graph.MATLAB Central File Exchange Select,2009.

[17]G.Peyre.Toolbox Fast Marching.MATLAB Central File Exchange Select,2009

[18]Savran A,Alyuz N,Dibekliglu H,Celiktutan O,Gokberk B.Bosphorus Database for 3D Face Analysis.Proceedings of the Workshop on Biometrics and Identity Management,2008,47-56.

[19]Dibeklio觧lu,Hamdi,Berk Gokberk And Lale Akarun,Nasal Region-Based 3D Face Recognition Under Pose and Expression Variations,In Advances In Biometrics.Springer.2009,309-318.

[20]H.Farshid,R.Abolghasem A.,Y.Gao.2.5 D Face Recognition Using Patch Geodesic Moments,Pattern Recognition.2012,45(3): 969-982.

[21]A.Nese,G.Berk,D.Hamd Et Al.3D Face Recognition Benchmarks on the Bosphorus Database With Focus on Facial Expressions, Biometrics and Identity Management,Springer.2008,57-66.

[22]A.Nese,Berk Gokberk and Lale Akarun.A 3D Face Recognition System for Expression and Occlusion Invariance.In Biometrics: Theory,Applications and Systems,2008.BTAS 2008.2nd IEEE International Conference on.2008:IEEE.

[23]C.Alessandro,C.Claudio,S.Raimondo.Three-Dimensional Occlusion Detection and Restoration of Partially Occluded Faces,Journal of Mathematical Imaging and Vision.2011,40(1):105-119.

[24]D.Hassen,B.A.Boulbaba,S.Anurag.3D Face Recognition Under Expressions,Occlusions,and Pose Variations,Pattern Analysis and Machine Intelligence,IEEE Transactions on.2013,35(9):2270-2283.

3D Face Recognition;Local Feature;Shape Index

文章編號：1007-1423（2016）06-0039-05DOI：10.3969/j.issn.1007-1423.2016.06.009

3D Face Recognition Based on Local Feature

HU Min-yan，SUN Yao-ru
（Department of Computer Science and Technology,College of Electronics and Information Engineering,Tongji University,Shanghai 201804）

國家自然基金項目（No.61173116）、上海市科學技術委員會項目（No.14JC1402203）

1007-1423（2016）06-0033-06

10.3969/j.issn.1007-1423.2016.06.008

2015-12-21

2016-01-30

Shape Index和曲度用于構造局部特征，并運用于三維人臉識別中。這種局部特征的提取方法用于人臉識別，不需要預先進行對齊處理，而且對有遮擋的人臉數據具有相對較好的識別效果。這里，局部特征提取的主要步驟如下：在不同的尺度上對三維人臉上的關鍵點進行檢測；再對檢測到的關鍵點確定主方向，然后根據主方向構造關鍵點在某一鄰域內的特征向量。實驗所用數據庫是Bosphorus Database，是Bogazici大學采集的三維人臉數據庫。

三維人臉識別；局部特征；Shape Index

胡敏艷，女，碩士研究生，研究方向為認知與智能信息處理

孫杳如，男，教授，研究方向為認知與智能信息處理

Shape Index and curvature is used to construct the local characteristics，and applied to 3D face recognition.This kind of local feature extraction method for face recognition，don't need to align in advance，and also have relatively good recognition rate under external occlusion.Here，the main steps of local feature extraction are as follows:Firstly，test the key points of the three dimensional person face in different scales;After that,determine the reference direction of the key point,then construct a feature vector of key point within a neighbor according to the reference direction.Experiment data is come from Bosphorus Database collected by the researchers of the University of Bogazici.