一種基于PSFS的近紅外人臉3D形貌重構系統

王國琿，吳二星，王立平

(西安工業大學 光電工程學院，陜西 西安 710021)

近年來，利用人臉識別的身份認證技術(又稱“刷臉認證”)已成為門禁系統、賬號登錄、支付驗證等常用的身份認證手段。然而，當前的人臉識別技術幾乎都是基于人臉的2D圖像，若光照度及人臉姿態、表情變化較大時，識別準確率較低；另外，還可能受到假人臉的欺騙，如用人臉照片冒充活體人臉，造成安全性下降。因此，融合人臉3D形貌的識別技術是未來人臉識別發展的趨勢，它能夠有效地避免光照度、人臉姿態、假人臉等因素的影響，從而可以提高安全性和識別率。

對于人臉3D形貌信息的獲取一般有主動式和被動式兩種手段。主動式方法是使用特殊的光源裝置提供目標人臉的照明，由相應探測器接收到人臉表面反射的光線的信息，利用幾何關系計算出人臉表面的3D形貌。典型的有飛行時間法和結構光法：飛行時間法采集速度較快，但是形貌信息精度較低、分辨率不高；結構光法雖可以獲取較高的精度和分辨率，但測量時間較長，還可能造成對被采集者的干擾或侵犯。被動式方法不需要特殊的光源裝置，直接由自然光或普通光源對目標人臉進行照明，從一個或多個相機獲取的2D圖像中提取3D形貌信息。代表性的有立體視覺法和Shape from X方法。立體視覺法測量精度較高，對環境無特殊要求，但需要對每臺相機進行標定，標定過程繁瑣，且圖像中特征點匹配算法也較為復雜。Shape from X方法基本上是利用圖像的灰度信息來獲取目標的形貌信息。其中，從明暗恢復形狀(Shape from Shading，SFS)是一種典型的被動非侵犯式3D形貌獲取手段[1]，它能夠快速、有效地提取目標表面的幾何形貌信息，其分辨率高、適用性強，廣泛應用于工農業產品檢測[2]、醫學圖像分析與重構[3]、掃描電鏡圖像3D重構[4]、月面與火星表面形貌測量[5]以及人臉3D形貌重構[1,6]等領域。

文獻[1]與文獻[6]等基于SFS的人臉3D形貌重構系統中，在建立人臉表面的偏微分輻照度方程時，通常采用朗伯光照明模型來描述人臉皮膚的光學屬性。然而文獻[7-9]證實了對于實際的人臉皮膚，不論是在可見光照明還是在近紅外光源照明下，使用朗伯光照明模型來描述其光學屬性是不精確的，而使用Oren-Nayar光照明模型[10]可以取得較好的效果。基于上述結論，本文設計了一種基于Oren-Nayar光照明模型的人臉3D形貌重構系統。根據文獻[7-9]的建議，系統采用了近紅外光源照明，這是因為在近紅外光源下人臉皮膚對入射能量(輻照度)的反射特性(輻射亮度)更適合Oren-Nayar光照明模型；同時，近紅外光源照明還可以避免對被采集者的干擾或侵犯。此外，相機的成像過程接近透視幾何變換，因此系統采用了基于透視變換的SFS(Perspective SFS，PSFS)方法。

1 近紅外人臉3D形貌重構系統

如圖1所示的基于PSFS的近紅外人臉3D形貌重構系統，由被采集的人臉表面、近紅外光源、相機(含鏡頭和近紅外濾光片)以及上位計算機等部分構成。

圖1 基于PSFS的近紅外人臉3D形貌重構系統示意圖

系統中，近紅外光源采用Osram公司的LED光源，型號為SFH 4235，其中心波長約為850 nm，半強度寬度約為30 nm。由于LED光源發光面尺寸較小，遠小于光源到人臉表面的距離，因此可認為LED光源為點光源，此時近紅外點光源(輻射強度為I0)發出的輻射能量在人臉3D形貌微面元dA上形成的輻照度近似正比于N·S，式中N為人臉3D形貌微面元dA的法向量，S為微面元dA到點光源的方向向量。

人臉皮膚接收到LED光源的輻射能量(輻照度)，對其進行反射(輻射亮度)，反射的能量被鏡頭會聚后進入相機。為了節省系統成本，系統中沒有直接采用近紅外相機，而是基于“普通相機+近紅外濾光片”的模式，采用Basler公司的ace相機，型號為acA640-100gm，其光譜響應曲線如圖2所示。

圖2 acA640-100gm相機的光譜響應曲線

由圖2可見，該相機在LED光源中心波長850 nm處的相對光譜靈敏度約為45%，因此配合810nm的近紅外濾光片可以取得較好的近紅外成像效果。相機獲取到的2D圖像信息(圖像灰度)與成像時人臉表面3D形貌造成的反射光強弱密切相關。圖像灰度信息由相機的數據輸出接口——網口送入上位計算機。上位機系統軟件求解圖像灰度信息與人臉3D形貌相對應的偏微分輻照度方程，最終可以獲得人臉的3D形貌。

2 近紅外人臉3D形貌重構系統軟件設計

本文的工作重心為近紅外人臉3D形貌重構系統軟件的設計與實現，其核心任務就是求解圖像灰度信息與人臉3D形貌相對應的偏微分輻照度方程，涉及的內容包括：系統坐標系的建立、近紅外成像條件下人臉皮膚光學屬性的描述、人臉表面偏微分輻照度方程的構建、偏微分輻照度方程求解算法的設計與實現。

2.1 近紅外人臉表面偏微分輻照度方程

2.1.1 近紅外人臉3D形貌重構系統坐標系

以相機(鏡頭)的透視中心建立如圖3所示的3D笛卡爾坐標系o-xyz：透視中心o為重構系統坐標系的原點，鏡頭的光軸為z軸，坐標系的x軸、y軸分別與相機成像平面中u軸、v軸平行；相機的成像平面u-v位于z=-f處，f>0為鏡頭的焦距。

圖3 近紅外人臉3D形貌重構系統坐標系

由于相機的成像過程接近透視幾何變換，在上述坐標系下，人臉3D形貌某一點(x,y,z(x,y))在成像平面u-v上的幾何投影為(u,v)，投影光線方向向量記為C，并有

(1)

(2)

2.1.2 近紅外成像條件下人臉皮膚光學屬性

根據文獻[7-9]的研究成果：對于實際的人臉皮膚，不論是在可見光照明還是在近紅外光源照明下，使用朗伯光照明模型來描述其光學屬性是不精確的，而使用Oren-Nayar光照明模型[10]可以取得較好的效果；尤其是在近紅外光源照明下，人臉皮膚對入射能量的反射特性(輻射亮度)更適合Oren-Nayar光照明模型?；贠ren-Nayar光照明模型，人臉3D形貌微面元dA的輻射亮度為

(3)

式中：ρ為人臉皮膚的反射率，本文中假定ρ為恒定值；A=1-0.5σ2/(σ2+0.33)，B=0.45σ2/(σ2+0.09)，σ代表了人臉皮膚的粗糙度；α=max[θi,θr]，β=min[θi,θr]，θi,φi和θr,φr分別為入射光線方向向量S、投影光線方向向量C相對于人臉3D形貌微面元dA的法向量N的天頂角和方位角。

重構系統在設計時，使得近紅外點光源位于相機的透視中心o附近，此時近似有

α=β=θi=θr;φr=φi

(4)

在上述條件下，人臉3D形貌微面元dA的輻射亮度為

(5)

2.1.3 人臉表面偏微分輻照度方程

由相機采集到的圖像信息與近紅外點光源輻射強度、人臉表面的輻射亮度之間的關系[5,11]可得到

I(u,v)=Acosθi+Bsin2θi

(6)

式中：I(u,v)為相機獲取的圖像灰度，它的明暗變化與成像時人臉表面3D形貌造成的反射光強弱密切相關。

由人臉3D形貌微面元dA到近紅外點光源的入射光線的單位方向向量S為

(7)

利用微分幾何可求得微面元dA的法向量N為

(8)

由于θi為S與N之間的夾角，由式(7)和(8)可得

(9)

(10)

其中：R(u,v)=

2.2 偏微分輻照度方程求解數值算法

對于人臉表面偏微分輻照度方程(10)，可視為R(u,v)的方程：

[I(u,v)-B]R2(u,v)-AQ(u,v)R(u,v)+BQ2(u,v)=0

(11)

顯然，式(11)是關于R(u,v)的一元二次方程。求解方程(11)，且滿足R(u,v)≥0，可得

(12)

又由于R(u,v)=

(13)

顯然，方程(13)是一個H-J類的偏微分方程，可應用本文作者在文獻[12]中提出的求解數值算法逼近上述H-J類方程的解，其詳細過程如圖4所示。

圖4 偏微分輻照度方程求解數值算法逼近過程

3 實驗

分別通過系統合成的(已知3D形貌)和實際拍攝的人臉2D圖像進行實驗，驗證近紅外人臉3D形貌重構系統的有效性，結果如圖5、圖6和圖7所示。

圖5 已知3D形貌的人臉重構結果

圖6 人臉3D形貌的中心橫截面

圖7 實際拍攝的人臉重構結果

圖5a是一幅已知3D形貌的人臉2D圖像，由系統通過算法合成得到，圖像的灰度級為256級，圖像的分辨率為200×150；圖5b是圖5a對應的真實3D形貌，單位為像素；圖5c為使用本系統重構的人臉3D形貌；圖5d是圖5b與圖5c之間的3D形貌誤差圖。為了定量地評定重構結果，使用平均絕對誤差(mean absolute error，MAE)(14)和均方根誤差(root mean square error，RMSE)(15)對重構結果進行了評價。

(14)

(15)

圖6是人臉3D形貌真實值(圖5b)、本系統重構值(圖5c)的中心橫截面的比較結果，從圖6中可以看出本系統重構的人臉3D形貌非常接近真實的人臉3D形貌，大部分區域真實值與系統重構值基本上保持一致，誤差較大的區域主要集中在邊緣部位，這也是本系統算法的限制所在。

圖7a是本系統拍攝的人臉2D圖像，圖像的分辨率為494×659；圖7b為使用本系統重構的人臉3D形貌。由圖7a可以看出，在近紅外光源照明下，圖像的明暗變化較為平滑，因此更適合Oren-Nayar光照明模型。由圖7b可以看出，本系統重構的3D形貌甚為逼真，3D形貌的變化趨勢與2D圖像明暗的變化基本保持一致；在額頭、下巴及鼻子、腮部等處效果較好，而在眉毛、眼睛處效果稍差，這是因為眉毛、眼睛處的反射率與皮膚的反射率不一致，而本系統假定整個人臉反射率恒定所造成的。

綜上，由圖5、圖6和圖7所示的人臉3D形貌重構結果以及計算得到的MAE、RMSE值可以看出，本重構系統能夠獲得較高的重構精度。

4 小結

本文設計了一種基于PSFS的近紅外人臉3D形貌重構系統。在分析了人臉皮膚在近紅外成像條件下光學屬性的基礎上，利用Oren-Nayar光照明模型結合以相機透視中心為原點建立的重構系統的坐標系，構建了人臉2D圖像明暗變化與3D形貌相對應的偏微分輻照度方程，該方程實質上是人臉3D形貌梯度函數的二次方程，求解此方程可以得到H-J類的偏微分方程，利用求解數值算法逼近H-J類方程的解，最終獲得人臉的3D形貌。系統合成的和實際拍攝的人臉2D圖像實驗結果表明，該系統能夠有效地實現人臉3D形貌重構，并可獲得較高的重構精度。