基于自適應3DLBP特征的人臉深度圖像識別

袁 理，陳慶虎

(1.武漢紡織大學 電子與電氣工程學院，湖北 武漢430073;2.武漢大學 電子信息學院，湖北 武漢430079)

責任編輯:時 雯

近年來，心理學與模式識別的相關研究表明，人類視覺系統在理解和識別物體時，使用了大量的基于視覺的深度信息[1-2]。因此，對于復雜環境下的人臉識別而言，可以從人臉的深度信息出發，研究基于深度圖像的人臉識別系統，從而克服二維人臉識別系統對姿態、表情和光照變化較為敏感的問題。但值得注意的是，在應用統計方法解決人臉深度圖像的識別問題時，都是針對特定的訓練樣本集設計特征提取算法[3-7]，而這些特征提取算法一旦設計好后，就再也不會有任何改進。因此會導致特征提取算法的普適性較差，即在由訓練集中的樣本擴展到非訓練集時，算法的有效性和穩定性會顯著下降，并最終影響識別系統的性能。

本文針對特征提取算法的普適性問題展開研究，首次將反饋學習理論與3DLBP特征提取過程相結合，提出了一種自適應性的3DLBP特征提取算法。實驗結果表明，利用自適應3DLBP特征提取算法獲取的人臉深度圖像特征對訓練樣本集的變化具有較好的有效性和穩定性，在FRGCv2.0人臉數據庫上取得了理想的識別性能。

1 機器學習理論與特征提取算法

1.1 機器學習理論

機器學習就是要使計算機能模擬人類的學習行為，通過主動的學習來獲取知識和技能，并不斷改善其性能，最終實現自我完善。目前，在機器學習研究領域中被普遍接受和認同的一個觀點是:學習應該是系統運行過程中的某種改進。而這種改進使得系統在進行重復或類似的工作時，能夠具有更好的性能[8]。

對于特征提取而言，機器學習系統應遵循學習的增量性以及學習的自適應性標準[9]。其中，自適應性體現了反饋的觀點，即學習結果反作用于學習過程。因此，對低質量的訓練具有理想的魯棒性，能夠使學習過程向平衡狀態發展。

1.2 自適應特征提取算法

自適應特征提取算法是將反饋學習理論與統計學習過程相結合，即在特征的提取過程中，利用測試樣本對算法的關鍵參數進行不斷的修正和優化，從而提高特征提取算法的普適性。以經典的Fisherface特征提取算法為例進行分析。首先通過對訓練樣本集的學習可以獲得一組最佳鑒別矢量集;系統將該鑒別矢量集作為初始知識并對測試樣本進行特征提取和分類識別;當第一次分類結束后，并不立刻對結果進行判斷和輸出，而是利用該分類結果對鑒別矢量集進行動態優化，具體過程如圖1所示。

圖1 具有學習功能的Fisherface方法

該特征提取算法的主要特點是:利用訓練樣本獲得的鑒別矢量集僅作為系統的初始知識;而將優化鑒別矢量集的過程視為系統的學習功能。但是，在上述學習過程中尚存有明顯不足，即對錯分類樣本的學習會引起鑒別矢量集出現較大的偏差和不穩定。針對該問題，本文進一步提出采用多分類器來提高預分類的正確率，從而盡量避免系統對錯分樣本的學習。因此，自適應特征提取過程如圖2所示。

圖2 基于多分類器的特征提取過程

2 自適應3DLBP特征的提取

2.1 人臉深度圖像的獲取

人臉深度圖像不同于普通的二維紋理圖像。在深度圖像中，像素值代表了一個相對的深度信息。因此，每個像素都包含了三維坐標系下各個坐標值的空間信息。人臉深度圖像數據反映了人臉表面的三維信息，獲取過程具體包括:

1)獲取3D人臉數據

3D人臉數據既可以通過各種三維掃描設備主動獲取，也可以通過三維重建的方法間接獲取。本文所使用的3D人臉數據主要來自于FRGCv2.0[10]人臉數據庫。

2)3D人臉數據的方位歸一化

獲取的3D人臉數據可以具有不同的尺寸、位置和方向，由于人臉深度圖像反映了人臉表面在三維坐標系下的空間信息，所以在提取深度圖像之前需要將3D人臉數據置于一個標準的坐標系中，即方位歸一化。方位歸一化一般包括以下過程:旋轉歸一化、平移歸一化和尺度歸一化等處理[11]。

3)基于正交投影的人臉深度圖像

將3D人臉數據投影為平面圖像的方法有很多。其中，最具代表性的是基于正交投影的處理方法。該方法首先計算3D人臉模型的最小包圍立方體，如圖3所示。然后，將立方體的深度空間均分為256個像素單元，即像素灰度級別為0～255;最后選取與Z軸垂直的平面為坐標面進行投影，投影的基本原則是:距離坐標面越遠像素灰度越大，顏色越深。

圖3 不同視角下的最小包圍立方體

2.2 自適應3DLBP特征

對于獲取的人臉深度圖像而言，由于其本身已經包含有完整的人臉空間結構信息，且對光照變化具有穩定性。因此，本文提出直接利用3DLBP算子[11]對人臉深度圖像進行特征提取。同時，將3DLBP特征圖譜劃分成多個不重疊的區域從而保留其空間結構信息;最后，提取區域直方圖并連接成完整的直方圖序列，作為該對象的3DLBP特征表示。當采用(8，2)鄰域算子時的處理結果如圖4所示。

圖4 3DLBP特征圖譜及區域劃分

加入空間信息后的直方圖，即為區域3DLBP直方圖(Regional 3DLBP Histogram，R3DLBPH)。當3DLBP特征圖譜的灰度級范圍為[0，L-1]時，R3DLBPH直方圖定義為

其中，

式中:i=0，…，m-1，j=0，…，L-1。將所有R3DLBPH直方圖連接成一個直方圖序列作為人臉的3DLBP直方圖特征表示，即

然而，提取的3DLBP直方圖特征維數非常高，且含有大量的冗余信息。為了能夠在低維空間中表示3DLBP直方圖特征，本文提出一種基于集成分段FDA(Ensemble of Piecewise FDA，EPFDA)的自適應處理方法。該處理方法不僅能夠較好地融合直方圖序列的全局與局部特征，并且還能夠針對測試樣本進行動態調整，使特征提取過程具有自適應性。因此，自適應3DLBP特征提取過程如圖5所示。

圖5 自適應3DLBP特征提取過程

3DLBP直方圖特征是由所有R3DLBPH直方圖連接成一個直方圖序列，在對3DLBP圖譜的劃分過程中，可以保留特征圖譜的局部空間信息。直方圖特征的集成分段就是將全局與局部特征相互融合，即將3DLBP直方圖特征進行分段，對不同的集成分段直方圖分別進行特征提取。因此，式(3)可表示為

式中:n=c×j為R2DHaarLBPH數量;L為3DLBP圖譜中箱格的數量;p=0，1，…，n-1。將n個R3DLBPH分成K個片段，所以3DLBP直方圖特征可表示為

式中:Gq為第q個包含特定數量(nq)R3DLBPH的特征片段。對每個特征片段Gq建立FDA模型，將其變換到第q個判別子空間的低維表示Fq，即

3 實驗結果及其分析

3.1 實驗數據庫介紹

FRGCv2.0人臉數據庫包含有不同對象在不同表情和光照條件下的二維人臉圖像與三維結構數據。其中，三維結構數據采用結構光三維掃描儀在受控環境下進行拍攝。獲取的人臉深度數據為三維點云數據，而與之配準的彩色圖像分辨率為640×480。

本文采用其中275位對象的943個樣本(每個樣本包括深度數據和與之配準的彩色圖像)作為實驗樣本。同時，對三維人臉數據進行姿態矯正、平滑、切割等預處理，并最終生成150×130像素的深度圖像。預處理后的部分人臉深度圖像如圖6所示。

圖6 預處理后的人臉深度圖像示例

在該實驗數據庫中，不同對象所包含的樣本數量并不完全相同，具體分布情況如表1所示。本文取出86位對象的529個樣本數據用于實驗(每位對象的樣本數不少于5個)。

表1 不同對象所包含的樣本數量

3.2 算法性能比較分析

大量文獻和實驗結果[12-13]均表明像素鄰域(P，R)對基于LBP算子的識別方法有直接影響，在相同實驗條件下，(8，2)鄰域比(8，1)鄰域的效果要好。因此，本文采用圓形的(8，2)鄰域提取3DLBP直方圖特征;對150×130像素的人臉深度圖像進行3DLBP特征提取后，大小為146×126像素。每位對象隨機取3幅圖像用于訓練，其他圖像用于測試，即訓練集樣本數為258，測試集樣本數為271。實驗采用等錯誤率(EER)作為算法性能的評價指標，并取5次運行結果的平均值作為最后的等錯誤率(等錯誤率越低，算法性能越好)。

3.2.1 實驗1:基于自適應3DLBP特征的性能比較測試

本實驗重點分析自適應3DLBP特征與3DLBP特征在分類識別測試中的性能差異。先將人臉特征圖譜分成2×2個大小相同的區域，即EP=4;然后，再將每個區域分成分成k×k(k=7，9，…，21)個大小相同的不重疊區域，并分別提取自適應3DLBP(Adaptive 3DLBP)特征與3DLBP特征。自適應3DLBP特征提取算法的關鍵步驟是對測試樣本進行學習，即在第一次分類識別后，將訓練樣本與測試樣本一起構成新的訓練樣本，完成對鑒別矢量集的優化與自適應學習。其中，對測試樣本的正確分類將直接影響整個算法的穩定性和有效性。本實驗利用最小距離和最近鄰分類器對測試樣本進行分類識別，并將具有相同分類結果的測試樣本與原訓練樣本一起構成新的訓練樣本集，實現對鑒別矢量集的動態優化，實驗結果如圖7所示。

圖7 基于自適應3DLBP與3DLBP特征的識別結果

通過圖7可以看出利用自適應3DLBP特征提取算法可以在一定程度上改善特征的可鑒別性，但是這種改變并不明顯，對于最低等錯誤率甚至略微上升。究其原因，是在利用兩分類器對測試樣本進行分類學習的過程中，對錯誤分類樣本的學習導致了自適應3DLBP特征鑒別矢量集出現偏差，影響了后續的性能表現。

同時，值得注意的是隨著k值的增大，兩種特征的等錯誤率均有所上升。本實驗同樣嘗試了將3DLBP標記圖像分成不同數量的區域，但其效果都不如EP=4時的實驗結果。當EP=4時，基于兩種特征的最低等錯誤率及相應的區域劃分k如表2所示。

表2 基于3DLBP與自適應3DLBP特征的最低等錯誤率

3.2.2 實驗2:基于少量訓練樣本集的性能比較測試

自適應特征提取算法的最大特點在于特征提取過程中的自適應學習和動態優化調整。為了驗證這一特性，本實驗對訓練樣本集進行調整。每人隨機取2幅圖像用于訓練，其他圖像用于測試，即訓練集樣本數為172，測試集樣本數為357。利用自適應3DLBP與3DLBP特征分別進行分類識別。在EP=4時，不同區域數目下的等錯誤率如圖8所示。

圖8 基于少量訓練樣本集的性能比較測試結果

通過對比圖7、圖8可以看出，當訓練樣本數量減少的情況下，基于3DLBP特征提取算法的識別性能有所下降，等錯誤率顯著上升;而基于自適應3DLBP特征的人臉識別系統性能基本保持穩定。通過對比實驗可以看出，自適應特征提取算法對于低質量的訓練樣本具有較好的魯棒性，能夠在分類識別的過程中對系統的關鍵參數進行動態優化，使提取的特征更加符合測試樣本的特征變化，因此具有一定自適應性。

4 總結與展望

本文針對人臉深度圖像的識別問題展開研究，提出了一種自適應3DLBP特征提取算法。該特征提取算法以機器學習理論為基礎，首次將反饋學習與3DLBP特征提取過程相結合，即利用測試樣本對算法的關鍵參數進行修正和優化;然后再使用優化后的算法進行特征提取及分類識別;同時，為了提高自適應特征提取算法的穩定性，本文提出在預分類處理中使用多分類器對反饋學習過程進行優化。實驗結果表明，自適應3DLBP特征對訓練樣本集的變化具有較好的有效性和穩定性，在FRGCv2.0人臉數據庫上取得了理想的識別效果。如何將該自適應特征提取算法進行擴展以適合不同模態的人臉特征將是下一步研究的重點。

[1]王利明.機器視覺中物體識別方法的研究與探討[D].上海:復旦大學，2009.

[2]楊雄.圖像介紹數據庫與物體識別的計算機研究[D].武漢:華中科技大學，2010.

[3]周娟，李勇平，黃躍峰.基于強度圖和深度圖的多模態人臉識別[J].計算機工程與應用，2012，48(25):5-8.

[4]葉劍華，劉正光.多模態人臉識別融合方法比較研究[J].計算機工程與應用，2009，45(19):153-156.

[5]WANG L，DING L，DING X，et al.2D face fitting-assisted 3D face reconstruction for pose-robust face recognition[J].Soft Computing，2010，15(3):417-428.

[6]葉長明，蔣建國，詹曙，等.不同姿態人臉深度圖識別的研究[J].電子測量與儀器學報，2011，25(10):870-878.

[7]YUAN Li，CHEN Qinghu.2D face recognition based on 3D data and complex illumination model[C]//Proc.2nd International Symposium on Computer Network and Multimedia Technology(CNMT).Wuhan，China:[s.n.]，2010:81-84.

[8]賈彗星，張毓晉.智能視頻監控中基于機器學習的自動人數統計[J].電視技術，2009，33(4):78-81.

[9]張旭亞.基于特征提取和機器學習的醫學圖像分析[D].南京:南京郵電大學，2011.

[10]PHILLIPS P，FLYNN P，SCRUGGS T，et al.Overview of the face recognition grand challenge[C]//Proc.CVPR 2005.San Diego，CA，USA:IEEE Press，2005:947-954.

[11]胡永利，尹寶才，程世銓，等.創建中國人三維人臉庫關鍵技術研[J].計算機研究與發展，2005，42(4):622-628.

[12]SHAN C，GONG S，MCOWAN P.Facial expression recognition based on local binary patterns a comprehensive study[J].Image and Vision Computing，2009(27):803-816.

[13]王衎，胡金演，楊慧，等.基于Gabor小波變換復頻域響應的人臉識別研究[J].電視技術，2010，34(7):104-106.