自動特征點監測和三維臉部數據提取的新方法

李 騫 史岳鵬 彭 勃

（河南牧業經濟學院能源與智能工程學院,河南 鄭州 450008）

人臉特征定位可以分為二維（2D）和三維（3D）兩種類型，面部特征點指在人體測量數據中用于確定面部特征的一些關鍵點[1]。二維人臉的生物特征數據包括寬度和高度，是人臉識別研究的基礎。但是二維人臉識別在不同的表情識別、姿勢識別和識別光照等方面受到許多限制。與二維面部識別不同，三維的數據具有來自多個維度深度值的視角[2]，包括鼻尖、嘴角、下巴、眼角。面部特征定位的準確性是由方位、紋理圖和姿態決定的。在特征定位和配準[3]之前需要將三維面部網格合成表面[4]，而三維人臉圖像處理和分析的精度很大程度取決于輸入圖像分割時的精度。因此，三維圖像的表面分割至關重要。

自動面部檢測系統是結合了二維和三維兩種方法的生物特征性能創建出的一種多維檢測系統，可以最大限度地減少在不同面部表情下測量生物特征數據帶來的系統限制。本文的主要目標是提出一種新的三維人臉特征自動檢測方法。該方法包括三個階段：第一，重建丟失的三維圖像信息；第二，分割若干面部圖像；第三，定位面部特征，為三維系統模型中的自動正面面部檢測提供足夠的生物特征信息。

1 三維人臉分割技術

1.1 三維面部缺失數據填充方法

本文以FRGC（Face Recognition Grand Challenge，人臉識別大賽）為訓練數據庫，對點分布模型（Point Distribution Model，PDM）中的關鍵點與點云的關系進行建模[5]。技術難點在于丟失數據、錯誤數據和噪聲。因此，有必要通過將記錄的最佳匹配特征的三維數據與FRGC中的最佳匹配實際數據進行比較，從而改進特征關鍵點定位。所提出的方法是首先提取輸入三維圖像中包含單個主題的面部區域，如圖1所示。

圖1 缺少數據的三維模塊示例

1.2 空隙填充法

本文提出基于三維離散余弦變換（three-dimensional discrete cosine transform，3D DCT）和懲罰最小二乘回歸（penalized least square，PLS）[6]的 方 法（簡 稱“3D DCTPLS”），進行三維圖像數據空白的填補，可以有效提高面部特征點定位的準確性。

假設為一個有間隙的時空三維數據集，而是一個具有類似大小的二進制數組，用于表示任何缺失的值。3D DCT-PLS方法的目的是找到最小化：

1.3 人臉分割模型

輸入范圍圖像中人臉提取的圖像分割方法遵循了韓玉峰等[7]（2012）的研究中設置的約束條件，算法包括3個主要階段。

（1）定位出與鼻子相對應的面部最高部分。

（2）人臉分割：繪制中心位于鼻尖的三維橢圓，此三維橢圓半徑為r，是鼻子長度l的既定函數（見圖8）。（3）人臉提取：剔除所有占三維圖像大小0.5%以下區域。本文生成了面部分割圖像如圖3所示。人臉區域識別范圍參照Liang等（2013）在分割模型指出正面分割時的方法。面部可劃分為4個分區：四分之一達到發際線；從發際線向下到眼睛之間的頭部中心；鼻子、耳朵和顴骨；鼻子末端、嘴和下巴延伸。

圖2 3D DCT-PLS方法填補舉例

圖3 面部分割模型

1.4 人臉檢測方法

在定位面部特征點時，可以在三維矢量表示中建立一個形狀空間（Shape Space）[DM98,SG02,CT01]，刪除圖像中不需要的數據點。本文提取到局部平面距離（distance to local plane，DLP）的最大點值作為FRGC v2.0數據庫中的鼻尖。圖4為帶噪聲的面部示意圖。

圖4 噪聲點圖像舉例

首.先，假設分辨率為rG（=0.6），圖像的自動閾值

三維圖像中的所有點坐標定位可以用k=n×d矢量來確定。三維形狀的矢量（d=3）表示為其中表示n個特征點，是作為最優選擇的最佳點，中心為

利用普氏分析法（procrustes analysis）對所有三維面輸入形狀對齊的公共坐標進行檢測，需要將輸入形狀的旋轉和位移過濾掉，可以將普氏距離最小化其中xi表示輸入的每個形狀，xm表示平均形狀。這一階段，可以構建出三維圖像數據的重心建模，將轉換三維面形狀的質心。

最后，尋找均勻點。要從輸入圖像的深度集中均勻點，必須對區域和邊緣檢測信息進行聚類。為了降低噪聲，對深度信息進行了兩次5×5中值濾波。并使用k-均值聚類算法，將深度數據分為兩個焦點區域（k=2），用于圖像深度的處理。

1.5 人臉提取方法

本文提出確定屬于三維面的均勻區域，忽略低于圖像大小0.5%的區域。此百分比閾值是由Liang等[9]（2013）根據經驗定義的。隨后根據三維圖像的重心點調整橢圓。將橢圓方程的長軸和短軸與笛卡爾軸重合，目的是將該橢圓轉換回其原點，由此從x和y軸減去偏移量，從而得出橢圓方程：

橢[圓的調節公式如下：]

式中，θ為一個獨立參數，從0到2π。可定義：a作為沿x軸的半徑，a=Max[diff(Xzmax)]；b作為沿y軸的半徑，b=Max[diff(Yzmax) ]。h、k是橢圓中心的x、y軸坐標。用（X）表示的差分計算x的相鄰元素在第一個數組維度上的差異。圖5、圖6、圖7分別給出標準化和最終分割后的二進制圖像表示示例。

圖5 三維關鍵點定位

圖6 關鍵點拉伸圖

圖7 橢圓二值圖像

所提出模型通過探測橢圓形狀區域來定位輸入范圍圖像中的面部區域，橢圓形狀區域被認為類似于幾何形狀到面部邊緣邊界。這是通過沿標記面區域的邊界執行距離變換來完成的，如圖8所示。

圖8 人臉定位的檢測橢圓區域（a、b、c）和使用胡須邊緣的面部分割（d）

1.6 自動特征點檢測

利用分割模型對人臉標志點的自動識別進行了研究，并將距離-局部平面法應用于曲線數據中提取最佳點。因此，本文執行面部配準[8]、面部姿勢估計[9]和面部區域的標志性位置[10]。這些標志點能夠精確地定位鼻子和前額等面部區域的標志物，并且具有很高的準確性。為了定位面部區域，結合面部浮雕曲線的分段模型，并通過二維表面曲率分析獲得最終圖像的深度數據輪廓。圖9是二維特征點探測方法示意圖。

1.7 人臉分割模型

用于定位鼻尖的基本方法集中于檢測輪廓曲線中的最高點。本文采用二維分段輪廓來構成一種新的三維技術來識別鼻尖和鼻角[11]。利用鼻尖的x、y坐標，然后將兩個坐標結果插入到圖9所示的剖面曲線中，也稱作中間曲線。在進行眼睛角定位的過程中，對于輸入圖像范圍內的目標對象因姿態變化而變化的情況，采用x坐標法獲得眼角的x坐標。首先計算圖像曲率的x投影，以及沿眼睛的y坐標為中心的一組相鄰行中每列的凹點曲率百分比。沿x坐標的左眼角表示沿x投影的第一個峰值的起點，而沿x坐標的右眼角表示沿相同投影的第二個峰值的終點。圖10所示為鼻角投影。

圖9 鼻尖Y坐標示例

圖10 鼻角檢測示例

1.8 基于曲率的面部曲面分類

面部自動檢測的信息來自三維成像的表面曲率分析，且輸入圖像對象的表面曲率不受面部表情的影響。也就是說，為了計算輸入圖像中沿點區域的曲率類型，可以隔離出一個n×n（n=7）的小區域中的局部曲面。然后，使用最小二乘擬合技術來計算用于進行二次曲面近似的系數，以及高斯曲率（gaussian curvature，K）和平均曲率（mean curvature，H）。根據變量的偏導數[1]，使用K和H值按照表1對表面曲率進行分類。深坑表示眼角和鼻子底部的表面類型，而鼻尖是峰值類型，見圖11。

圖11中，圖像（a）（b）和（c）顯示面部分割不受表情影響；（d）（e）和（f）顯示深坑（白色）和峰值（淺灰色）。

2 實驗結果與分析

利用所提出的方法對FRGC v1.0和FRGC v2.0數據庫中的圖像進行實驗。共使用了兩個數據庫中來自557名受試者的4 950個圖像樣本，所有圖像樣本都以不同的面部表情、大小、形狀和其他隨個人而異的集體特征進行采集，測量尺寸為640×480像素。圖像樣本中只有大約1.2%是不可識別或與實驗不相關的，說明該方法具有較高的可靠性。通過分析發現，三維人臉掃描中不需要的部分不會影響識別過程。該方法性能優越，準確性高于99%，錯誤接受率（FAR）為0%。

表1 表面類型分類

圖11 同一個人的表面曲率分類

圖12

所提出的面部分割方法可以較好地提取三維圖像的整個面域，對于來自FRGC v1.0數據庫的圖像樣本，提取比例為99.3%（943個中的936個）；而對于來自FRGC v2.0數據庫的圖像樣本，提取比例為99.7%（4 007個中的3 993個）。圖12是檢測到的橢圓人臉區域，去除掉不需要的背景后的人臉分割強度圖像示例。從表2分析結果中可發現，在樣本的兩張圖像中錯誤地檢測到了鼻尖，主要因為這兩張圖像都缺少鼻部附近的信息。總體來說，鼻尖檢測的準確率仍然達到99.95%。如圖12所示，雖然面部發生姿勢變化（y軸和z軸傾斜＞15°，但是鼻子角和左/右眼角的檢測分別達到99.79%和99.83%。其中，若沒有記錄峰值的表面曲率信息，會影響曲線的識別。此外，在所用數據庫中存在一幅圖像鼻側兩端數據有誤，事實證明，所使用方法仍可以檢測鼻部深坑的曲率。

表2 每個面部特征的正確檢測率

3 結論

本文提出了一種改進三維人臉識別的新方法3D DLSPLS，能夠從正面圖像中檢測到面部三維數據。實驗結果顯示，新方法對于FRGC v1.0和FRGC v2.0數據庫中的圖像檢測具有顯著的成功率。三維人臉匹配方法在人臉檢測、人臉提取和迭代最近點特征定位中得到了成功的應用。該混合方法成功地將多維分割方法融合到了所研究的三維人臉分割中，并正確識別了99%的已驗證圖像中的人臉特征。