基于改進二次誤差測度及網格參數化的三維人臉本征屬性描述方法

郭 哲 張艷寧 林增剛

(陜西省語音圖像處理重點實驗室西北工業大學計算機學院 西安 710129)

1 引言

近年來，隨著計算、存儲設備的飛速發展和3維數據采集技術的日益成熟，3維物體表面特征的有效描述，逐漸受到研究者的廣泛關注[1]。以人臉特征為例，相對于2維圖像而言，3維人臉數據包含了更多的空間形狀信息，能從本質上克服2維人臉識別受光照、姿態變化的影響。但是，隨著數據采集設備精度的不斷提高，普通精度的人臉掃描數據也擁有幾萬到幾十萬個原始特征描述點，巨大的數據計算量所引發的算法效率問題成為制約3維人臉識別在實際應用中的主要瓶頸。因此，如何從高維數據中提取3維人臉的本征屬性，降低特征描述的復雜度成為3維人臉數據應用的關鍵。

目前常用的3維人臉屬性描述方法有基于曲率的描述方法[2]，局部幾何屬性描述方法[3]，區域描述法[4]以及形狀變化模型[5,6]等。以上方法或采用局部屬性描述，不能保證全局屬性最優；或需要進行大量的參數估計，運算復雜；同時，以上方法都是在3維空間中對人臉表面特征進行描述，因此相對復雜度要高于簡單的2維圖像。

為了降低人臉數據在3維空間中的描述復雜度，同時獲取與3維網格數據相應且最小信息丟失的2維圖像描述，本文采用網格參數化方法對3維數據在2維平面上進行映射投影。由于3維激光掃描儀獲取的人臉數據包含不規則三角網格，因此采用角度保持且能產生相對穩定結果的保形同構映射[7]來進行網格的參數化。另外，由于3維人臉模型通常具有較高分辨率，可以對其進行多分辨網格簡化；同時人臉表面特征分布具有不均勻性，在眼睛、鼻子，嘴巴等五官區域集中了人臉最為重要的個性特征，而臉頰，額頭等特征隱性區域則存在大量的冗余信息。因此，本文考慮對原始3維人臉網格模型進行以保持五官區域特征為前提的模型簡化，用以提高計算效率。

基于以上分析，本文提出一種基于改進二次誤差測度及網格參數化的3維人臉本征屬性描述方法。首先，對基于二次誤差測度(Quadric Error Metrics，QEM)[8]的模型簡化方法進行分析，并對其進行改進，使其能夠在保持人臉五官區域特性的前提下最大限度地簡化模型；其次，借鑒多分辨分析的思想，利用改進的QEM方法得到原始人臉網格模型不同簡化率的多分辨簡化模型表示；然后，采用基于特征約束的保形同構映射網格參數化方法對3維網格數據在2維平面進行展開；最后，將3維人臉表面的本征屬性在2維圖像平面中進行離散化表示。通過對國際公共3維人臉數據庫GavabDB[9]的特征可分性以及人臉識別實驗，證明了本文提出的特征屬性描述方法的有效性。

2 二次誤差測度改進算法

2.1 二次誤差測度算法描述

文獻[8]提出基于QEM的邊收縮算法，在生成高質量簡化模型的同時，大大提高算法效率，成為改進漸進網格算法中最常用的一種誤差測度。QEM算法使用邊收縮操作生成的新頂點到相關三角平面距離的平方和作為誤差度量，能夠很好地保持模型的幾何形狀信息，因此理論上是一種非常完備的方法，能夠對模型進行快速、高質量的簡化。

但是，該算法存在以下缺陷，首先沒有考慮模型的細節特征，在簡化過程中會造成模型在保持較高整體幾何相似度的同時，丟掉局部細節信息，如果直接將該方法用于人臉模型簡化，模型表面的大量細節特征會發生變形甚至丟失；其次，由于該算法采用邊收縮操作進行模型圖元刪除，并沒有檢測邊折疊后三角形的形狀及其合法性，因此采用QEM算法對模型進行簡化時，多數情況下都會出現重疊三角形現象。這種重疊三角形的存在，產生了不合理的模型曲面形狀，對進一步的模型簡化和后續模型處理帶來了巨大威脅。

2.2 改進算法描述

為解決QEM算法存在重疊三角形及丟失局部細節信息的問題，必須在邊收縮操作之后對重疊三角形進行消除，同時修正模型頂點的誤差度量方法，使其對人臉五官區域進行最大特征保持。基于以上思想，作者提出一種QEM改進算法，使用半邊折疊操作消除簡化中間模型中所存在的重疊三角形，同時建立基于曲率的自適應加權誤差度量來保留模型的細節特征。改進算法的具體描述如下：

算法1 消除重疊三角形問題

(1)搜索邊折疊后與vto相鄰三角面中所有的重疊三角形；

(2)若存在重疊三角形，進入步驟3，否則退出；

(3)對于重疊三角形上的每一個頂點，若其相鄰面全部都是重疊三角形，那么將其作為一個候選刪除點；

(4)在所有的候選刪除點中，選擇鄰接面數最少的一個頂點，作為當前邊折疊的vfrom，選擇vfrom的任意一個相鄰頂點作為vto，collapse(vfrom,vto)；

(5)返回步驟1。

其中，vfrom及vto分別表示半邊收縮操作中被刪除和被保留的頂點；collapse(v1, v2)表示對v1、v2進行半邊收縮操作。

算法2 特征保持的模型頂點誤差度量

(1)計算人臉模型頂點曲率的變化范圍，記作[cmin,cmax]；

(2)令

則模型頂點曲率的存在區間可記為[?cmaxabs,cmaxabs]；

(3)建立如下邊收縮代價加權函數：

由此構造特征保持的頂點誤差測度：

基于前述算法，改進的QEM算法流程描述如下：

(1)對模型中的每個頂點，根據算法2計算其收縮代價(ΔV)'；

(2)若S=φ或簡化到指定結束條件，算法結束；

(3)取出頂點vmincost，collapse(vfrom,vto)；

(4)如果邊折疊后vto的相鄰三角面存在重疊，執行算法1；

(5)返回步驟(2)。其中vmincost表示當前模型中半邊收縮代價最小的頂點；S表示三角網格模型；φ表示沒有任何頂點和面片的空模型。

圖1給出了一個3維人臉模型簡化50%后的效果圖。可以看出QEM算法的簡化結果頂點分布比較均勻，沒有突出保留特征區域，而改進算法的簡化結果在人臉眼睛、眉毛、嘴巴、鼻子等五官特征區域的頂點比較密集，保留了原始模型的大量特征，而額頭、腮部等特征不明顯區域的頂點則得到更為充分的簡化。由圖1(c)，1(d)嘴部區域的比較可以看出，改進算法的簡化結果在細節特征保持方面比QEM算法更加有效，細節更為豐富，具有更好的平滑性。

圖1 3維人臉模型簡化50%效果圖

3 多分辨人臉本征屬性描述圖

3.1 特征約束的網格參數化

為了利用保形同構映射進行網格簡化，需要建立3維人臉模型間的內在特征約束關系。首先選擇人臉模型中曲率超過給定閾值[10]的點作為待選點，再通過比較這些待選點所對應的旋轉圖像(spinimage)[11]來檢測特征相應性。由文獻[1]可知采用spin-image特征進行匹配的結果對參數選擇不敏感，因此文中通過經驗確定的特征約束點為5,6個。

根據保形幾何理論，一個圓周拓撲的3維表面能夠通過全局優化同構映射到一個2維區域中[12]，這種映射可以是一對一，onto以及保形的。通過保形映射，3維人臉表面的每一個頂點都在2維平面上有唯一的一個對應點。本文通過Harmonic能量最小來完成保形映射[13]，并采用基準模型和特征約束點對人臉模型進行配準，最終得到有約束的保形平面展開。

不失一般性，本文考慮1環鄰域(1-ring)情況[7]。假設S'為由3維空間中的1-ring鄰域構成的簡單網格，D'為S'的2維保形結構，如圖2所示。如果映射邊界固定，2維1-ring形變僅與中心節點ni相關。Dirichlet能量有著良好的角度保持特性，其能量函數為

其中|ni?nj|表示D'中邊(i, j)的邊長，N(i)為節點i的1-ring鄰接點，αij如圖2所示夾角。令?E/?ni=0，則有如下公式：

對于整個人臉表面，由式(5)可以推導出：

其中D為平面域的2維坐標向量，B為一個稀疏矩陣，可以表示為

圖2 3維1-ring展開

此時，只要給定映射邊界和相應的特征約束點，就能夠得到對應的2維平面展開：

為了簡便計算，D被分解為自由點集Dfree和指定點集Dspec兩部分，該稀疏線性系統能夠通過廣義極小殘差算法有效求解。圖3給出了一組3維人臉模型的多分辨2維保形同構映射結果，文中，多分辨描述指原始精度3維人臉網格模型的不同簡化率結果。

3.2 多分辨人臉本征屬性描述圖

對于3維人臉表面數據，首先借鑒多分辨分析的思想，采用本文2.2小節提出的改進二次誤差測度算法對原始三角網格進行不同簡化比率的網格簡化操作，文中分別進行20%，50%，70%簡化率的網格簡化，得到原始網格數據相應80%，50%以及30%精度的多分辨描述；其次，分別對得到的多分辨描述數據，利用保形同構映射將3維空間表面數據映射到有約束的保形2維圖像平面，如圖3所示。

通過上述步驟，我們已經得到3維人臉表面的多分辨2維同構保形映射平面。此時，3維表面的多種不同本征屬性，如：法線、曲率以及紋理等，都可以在2維圖像平面中進行離散化表示，這個重采樣過程可以通過對網格頂點像素屬性值的插值來實現。本文選擇離散均值曲率作為描述3維人臉表面的本征屬性，并采用雙線性插值方法來獲取與3維人臉表面相應的2維本征屬性圖。圖4給出了3維人臉表面的一組多分辨2維本征屬性圖描述。由圖4(b)-4(e)可以看出，不同分辨率屬性圖都能有效描述曲率變化較大的面部五官區域，由于本文采用離散均值曲率作為屬性值，曲率的估計會受到網格精度的影響，因此低精度屬性圖在非五官區域相對高精度屬性圖存在較多的噪聲描述。

圖3 基于保形同構映射的3維曲面展開結果(第1列為原始3維人臉模型，第2列至第5列分別為原精度，80%精度，50%精度，30%精度平面展開結果)

圖4 3維人臉表面數據的多分辨2維本征屬性圖

4 基于本征屬性的3維人臉模型匹配度量

在獲得兩個3維表面的2維屬性圖像后，3維表面的匹配問題就可以簡化為2維平面的匹配，對于2維平面中的映射，本文采用將目標表面向參考表面的匹配通過匹配相應的離散平面屬性圖來實現。

給定兩個有著圓周拓撲的表面S1和S2，首先通過spin-image來獲取曲率變化較大頂點間的相應性，然后通過引入內部相應性作為約束，兩表面相應的2維平面屬性圖能夠通過第3小節的描述來獲取。此時，兩表面間的歸一化相應性系數MS1,S2以及相似性度量S(S1, S2)[14]可以通過對相應2維平面屬性圖的計算獲得：

其中N為3維表面S1和S22維屬性圖中重疊部分頂點的個數，表示表面Sk2維屬性圖中頂點i的屬性值，文中為離散均值曲率，k=1,2。由以上兩式可知，兩表面2維屬性圖相似度越高，MS1,S2越接近1，相應的S(S1, S2)值越大；反之，MS1,S2與S(S1, S2)均趨于0。

由于本文提出的人臉本征屬性描述方法具有多分辨特性，因此對于每一種分辨率的屬性圖，就能夠通過式(9)，式(10)獲得一組度量值。由此，通過粗精結合的策略可以將本文提出的人臉本征屬性描述方法有效地用于人臉配準以及識別。具體來講，對于人臉配準應用，可以首先通過比較低精度屬性描述圖來獲取較為準確的迭代初始參數，然后提高屬性圖的分辨率對參數進行逐級調整，最終達到理想的配準要求；同理，對于人臉識別應用，可以通過比較低精度屬性圖來排除大量干擾個體，有效縮小候選范圍，提高精識別效率。

5 實驗結果與分析

5.1 實驗數據

本文采用國際公共3維人臉數據庫GavabDB[9]進行測試實驗。該數據庫包含61個不同個體(45位男性，16位女性)的549個3維人臉掃描數據，僅有表面形狀數據，不包括相應的紋理，每個個體包含9 幅不同姿態和表情的3維人臉數據，分別為：2幅正面中性表情，4幅中性表情但存在姿態變化的數據(左偏，右偏，向上，向下)以及另外3幅正面姿態具有表情變化的數據(微笑，大笑，任意表情)，所有被采集者均為白種人，年齡在18～40歲之間。對數據進行去除噪聲，缺失區域補洞以及配準等預處理操作，獲取實驗所用人臉模型數據。實驗主要測試本文提出的3維人臉本征屬性描述方法的有效性，由于該方法不考慮表情變化屬性，因此僅采用數據庫中正面及姿態變化的中性表情數據，即61人的366個不同3維人臉數據。

5.2 實驗結果與分析

本小節主要對本文提出的3維人臉本征屬性描述方法的有效性進行測試，采用第4小節給出的歸一化相應性系數以及相似性度量作為評估標準。由于實驗數據中存在姿態變化造成數據缺失的情況，因此將實驗數據分為正面無缺失數據子集(Frontal Neutral，FN)和多姿態缺失數據子集(Multi-pose Occlusion，MO)，分別采用兩個不同子集對本文提出的方法進行魯棒性測試。

5.2.1 相似度比較 本小節主要測試本文提出方法的有效性以及對數據缺失的魯棒性，對于FN子集，分別計算同一個體兩正面數據不同精度下2維屬性圖間的歸一化相應性系數；對于MO子集，由于存在數據缺失，實驗通過比較正面完整數據與多姿態缺失數據間的多分辨屬性圖歸一化相應性系數來實現，平均匹配結果如圖5所示，為了體現改進QEM算法的有效性，與原始QEM算法產生的屬性圖性能進行比較。由于保形同構映射對數據缺失造成的三角網格邊界變化影響不大，同時，通過spin-image能夠動態獲取曲率變化較大頂點間的相應性以及兩模型間的重疊頂點，因此FN子集與MO子集的平均匹配結果差別不大。改進的QEM算法能有效保留原始模型的重要五官區域特征，并對其他區域進行更充分的簡化，因此基于改進QEM算法的本征特征描述平均匹配系數要高于基于原始QEM算法特征描述的結果。

圖5 2維本征屬性圖相似度比較

由圖5可知，本文提出的基于改進二次誤差測度及保形同構映射的屬性描述方法能夠有效描述3維人臉的本征屬性，同時保持人臉重要的五官特征區域，并對精度變化不敏感，由于本文采用離散均值曲率作為網格頂點的屬性值，離散曲率估計會受到網格精度的影響，因此低精度屬性圖的匹配結果要比高精度匹配結果遜色，但簡化率 ＜30% 情況下的屬性圖之間結果差別不大。

5.2.2 識別率比較 本小節主要測試本文提出方法在人臉識別中的有效性，采用簡化率20%的本征屬性圖，并與基準方法PCA以及基于曲率特征的方法進行比較。同樣分別對FN和MO子集進行識別實驗，對于FN子集，令其中一個正面中性表情人臉為訓練樣本，另外一個為測試樣本；對于MO子集，仍然以一個正面中性表情人臉數據為訓練樣本，其他姿態變化數據為測試樣本。使用最近鄰分類及第4小節中的相似性度量測度來評估不同特征的可分性，實驗結果如表1所示。

表1 rank-one識別率比較

由實驗結果可知，本文提出的3維人臉本征屬性方法具有良好的可分性，在FN數據集下的rankone識別率略高于基準方法PCA以及傳統的基于曲率的方法。對于存在數據缺失的MO子集，由于PCA和曲率方法都是對原始3維空間點的幾何特征進行描述，因此對數據缺失影響較大，識別率較低，僅為61.9%和75.2%；而本文方法采用對數據缺失造成的三角網格邊界變化影響不大的保形同構映射來獲取3維人臉本征屬性的2維描述圖；同時，通過spin-image所獲取的特征相應性關系能根據模型表面形狀變化進行動態調整，因此本文方法對數據缺失不敏感，對MO子集的rank-one識別率接近90%，遠遠高于PCA及曲率方法。

5.2.3 算法復雜度比較 3維人臉識別可有效提高人臉識別算法的魯棒性，但是，巨大的數據計算量使得算法復雜度會顯著增加，而在一些實時應用中，對算法的復雜度會提出較高要求。本文提出的方法通過多分辨網格簡化及參數化技術將復雜的3維人臉識別問題簡化為2維圖像識別問題。為了分析本文算法的復雜度及高效性，分別計算本文方法100%精度、80%精度、50%精度下的本征屬性圖單次識別的時間，并與原始3維人臉模型曲率方法進行單次識別的耗時進行比較，實驗結果如表2所示。

表2 不同算法效率比較

由實驗結果可知，本文提出的多分辨3維人臉本征屬性方法在算法復雜度方面相對于傳統的基于3維數據的人臉識別有著較為明顯的優勢。100%精度2維本征屬性圖單次識別所需時間為0.715 s，相比原始3維人臉模型曲率方法的0.951 s，已有明顯的提高。而80%精度和50%精度2維本征屬性圖在時間復雜度方面優勢則更加明顯，單次識別僅需0.504 s和0.297 s。因此本文方法在算法復雜度和時間效率方面有著較明顯的優勢。

6 結束語

本文基于模型簡化及網格參數化思想，提出一種3維人臉數據在2維空間的本征屬性描述方法。在該方法中，改進的基于二次誤差測度的網格簡化方法能有效保持人臉五官區域特征，并對其他區域進行最大限度的簡化，降低數據冗余；保形同構映射方法能夠將3維網格數據在2維平面進行保形展開。因此，本文方法得到的2維本征屬性圖在保持3維人臉表面屬性的前提下，大大提高了計算效率。對GavabDB數據庫的實驗結果表明，本文方法對數據缺失魯棒性較強，不同精度屬性圖的特征保持性差別不大；與PCA以及基于曲率方法的識別結果相比，本文方法對無缺失以及缺失數據集的rank-one識別率均明顯高于基線算法。由于本文提出的方法具有多分辨屬性，因此可以有效用于粗精結合的人臉配準及識別。同時，保形同構映射允許結合形狀及紋理信息，本文方法可擴展應用于帶紋理數據的3維人臉識別。

[1] Huber D, Kapuria A, and Donamukkala R, et al.. Parts based 3d object classification[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Washington, D.C., USA, June 27-July 2, 2004: 82-89.

[2] Lee Y and Marshall D. Curvature based normalized 3D component facial image recognition using fuzzy integral [J].Applied Mathematics and Computation, 2008, 205(2):815-823.

[3] AlOsaimi F R, Bennamoun M, and Mian A. Integration of local and global geometrical cues for 3D face recognition [J].Pattern Recognition, 2008, 41(3): 1030-1040.

[4] Berretti S, Alberto D B, and Pietro P. Analysis and retrieval of 3D facial models using iso- geodesic stripes[C].International workshop on Content-based multimedia indexing, London, June 18-20, 2008: 257-264.

[5] Sung Jaewon and Kim Daijin. Pose robust facial expression recognition using view-based 2D+3D AAM [J]. IEEE Transactions on Systems, Man, and Cybernetics-Part A:Systems and Humans, 2008, 38(4): 852-866.

[6] Mayer C, Wimmer M, and Eggers M, et al.. Facial expression recognition with 3D deformable models[C]. 2nd International conferences on advances in computer human interactions,Cancun, Feb. 1-7, 2009: 26-31.

[7] Pan Gang, Han Song, and Wu Zhaohui. Hallucinating 3D facial shapes[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Anchorage, AK,June 23-28, 2008: 1-8.

[8] Garland M and Heckbert S. Surface simplification using quadric error metrics[C]. SIGGRAPH 97, Computer Graphics Proceedings, Annual Conference Series. Los Angeles, 1997: 209-216.

[9] Moreno A B and Sanchez A. GavabDB: A 3D face database[C]. 2nd COST Workshop on Biometrics, on the Internet, Vigo (Spain), March 2004: 75-80.

[10] Wang Sen, Wang Yang, and Jin Miao, et al.. Conformal geometry and its applications on 3D shape matching,recognition and stitching [J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 2007, 29(7): 1209-1220.

[11] Johnson A and Hebert M. Using spin images for efficient object recognition in cluttered 3d scenes [J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 1999,21(5): 433-449.

[12] Sheffer A, Praun E, and Rose K. Mesh parameterization methods and their applications [J]. Foundations and Trends in Computer Graphics and Vision, 2006, 2(2): 321-329.

[13] Desbrun M, Meyer M, and Alliez P. Intrinsic parameterization of surface meshes [C]. EUROGRAPHICS’02, Saarbrucken(Germany), Sep. 2-6, 2002: 210-218.

[14] Johnson A. Spin-images: A representation for 3D surface matching [D]. [Ph.D. dissertation], Robotics Institute, CMU,1997.