基于紅外和白光結構光三維建模的對比研究

肖寧

（四川大學計算機學院，成都610065）

0 引言

目前，三維人臉建模成為計算機視覺領域的一個研究熱點，人臉建模技術可被應用在虛擬現實、影視制作、人機交互、可視電話、視頻會議等諸多領域中[1]。基于結構光照明的三維表面測量，特別是最流行的數字正弦條紋投影，已在許多應用中得到應用[1-3]。在基于可見光的正弦條紋投影的三維測量系統中，測量的速度與精度都得到了很大的提高[4-6]。但由于一般人臉上頭發、眉毛、眼珠均是黑色，投射的在人臉頭發、眉毛、眼珠處的黑白正弦條紋呈現出對比度較差的現象，如圖1 所示。

圖1 細節處（眉毛、眼珠）較差的對比度

因此，為了研究不同波段光照對條紋對比度的影響，且由于紅外光照具有人臉采集具有隱蔽性、安全性[7-8]等特點的特點本文搭建了一套基于紅外的三維測量系統，用于研究和分析紅外結構光投射下人臉細節處的建模情況。通過對比紅外三維正臉照相機與白光三維正臉照相機未補洞的原始數據，分析基于紅外的三維人臉照相機在眉毛、眼珠、頭發處的數據情況。比較在相同的光照強度下，紅外人臉照相機在人臉細節部分相比于白光否有所改進，從而對三維人臉建模的數據完整性及增加三維人臉識別的準確性提供工程性實踐指導。

1 原理

在整個三維人像感知單元中，使用雙目立體視覺與相移結構光三維感知技術相結合的方式，并由展開后的相位輔助雙目立體的視覺匹配過程，提高雙目立體匹配精度，降低誤匹配率。由雙目立體視覺輔助正弦結構光實現三維人像感知流程如下：

Step1：使用四步相移的三頻法對采集的條紋圖像進行相位展開，分別得到左右圖像的絕對相位圖；

Step2：由已標定的雙目立體相機的內外參數對左右相位圖進行極線校正，使后續的立體匹配計算上在極線上進行；

Step3：在左相位圖像上逐行選取各像素點，在右相位圖上搜索相位值相同的最近鄰像素點坐標值，并利用有限視差約束、左右一致性、順序約束、連續性約束等約束條件，去除誤匹配點以得到左圖像對應的視差圖；

Step4：根據雙目立體視覺成像原理，由視差圖進行三維數據計算以獲得三位人像。

1.1 相位展開

當正弦條紋投影于三維物體表面上時，拍攝到的變形條紋為：

其中R(x,y)是物體表面反射率的分布，A(x,y)為背景光強，B(x,y)/A(x,y)表示了條紋的對比度，φ(x,y)是表示條紋的變形的相位函數，其中包含了物體的三維面形信息。

相移算法有很多種，如3 幀平均算法、N 幀滿周期等間距法、Carre 法、N+1 幀算法、次采樣算法等。其中，N 幀滿周期等間距法應用比較廣泛，該方法在一個條紋周期內，將投影光柵均勻地移動N(N ≥3)次，每次移動的相位是2π/N ，從而產生新的強度函數In(x,y)，利用獲得的N 幀圖像，就可以根據下式計算出φ(x,y)：

例如在標準四步相移中，相位每次移動π/2，則產生的四幅條紋圖可以表示為：

則相位函數為：

由于反正切函數計算出的相位在-π 到π 之間，因此相位被截斷在(-π,π]內，不再連續，為了得到被測物體的真實面形，必須對截斷相位進行相位展開。

所有的以相位測量為基礎的條紋分析技術都面臨相位截斷的問題，由于反正切運算求得的相位值被截斷在(-π,π]內，必須先進行相位展開以得到真正的連續相位值，才可以得到絕對相位從而將物體表面的高度分布計算出來。

圖2 相位展開圖

圖2 表示了相位展開的原理，其中圖2（a）是截斷在(-π,π]的相位，相位展開將這一不連續的相位展開成為圖2（b）中所示的連續相位。

為了減少噪聲以及邊界的影響，本文采用時間相位展開的算法。在時間相位展開算法（如圖3 所示）中，沿時間軸的一組相位圖形成了三維空間內的相位分布。當不存在噪聲與邊界時，沿著任何三維路徑展開都可以得到正確的連續相位；當存在噪聲與邊界時，沿時間軸進行相位展開可以避免跳變、邊界以及噪聲等因素而導致的誤差傳播問題（如P 到Q）。

圖3 時間相位展開算法

時間相位展開可以分為以下三步進行：

（1）解出測量后每套條紋的截斷相位φw(m,n,t)

（2）求在同一點的相鄰兩幅截斷條紋圖的展開相位差與2π 的整數倍數：

根據三維相位展開方法的相關理論，時間相位展開只是其以時間作為第三個維度時的特例，由于時間軸可根據需要自動且精確的控制的特性，使得它從原理上比空間相位展開方法簡單的多。但是時間相位展開方法中需要獲取和處理的數據量經常比較大，為了減少展開過程所需數據并提高展開效率，人們研究了很多算法。比較典型的算法有：時間軸上的序列按線性增長、指數增長、負指數增長等，和以這些算法為基礎的擬合算法；使用三套條紋（為最大投影條紋數目）的三頻相位展開法；以及基于外差的方法。

1.2 基于相移的調制度分析法

調制度是一種評價條紋圖質量好壞的一個重要指標，調制度的值影響著圖片質量的好壞以及實驗結果。調制度越大，條紋的質量就越好，其相位的誤差就越小。而基于相移的調制度分析法需要投影和拍攝多幅光柵條紋圖片，且這些圖片需要滿足一定的相位關系。以N 步相移法為例，投影到被測物體表面的第n幅相移條紋的強度分布可以表示為：

其中I0(x,y)為背景光強，C0(x,y)為條紋的對比度，( x,y )為條紋相位分布，2πn/N 為相移量，那么條紋的調制度定于為：

將式（7）代入式（8）后，可以得到：

由式（9）可知，條紋的調制度M(x,y)和條紋對比度C0(x,y)成正比，即條紋對比度越好，其條紋的調制度也越好。

2 實驗與結果

2.1 實驗平臺

本文實驗算法實現基于C++語言與Visual Studio 2013。為了驗證采用紅外結構光建模的效果優于白光的效果，本次實驗搭建了一套基于紅外結構光的照相機系統，系統主要由兩個1280×1024 分辨率的紅外相機、一個912×1140 分辨率的紅外光機和一個同步控制電路板組成。相機和光機都是120 幀，每個相機都配套了一個f=8mm 的鏡頭。兩個紅外相機組成立體相機，而彩色相機為紋理相機。紅外光機投射12 幀正弦條紋（相移法）到人臉上，立體相機和紋理相機在同步控制電路板的控制下同步采集圖像。本次實驗搭建的紅外系統平臺如圖4 所示。

圖4 紅外照相機系統圖

2.2 實驗結果與討論

由于紅外相機存在噪點較多的特征，投射條紋的密集程度直接影響了條紋對比度，從而影響建模的精度；密條紋對于建模表面的細節有較大的影響，條紋越密，建模后的表面平滑度越好。因此，選取合適的條紋對于本試驗具有重要的意義。

為了選取合適的條紋，將重建結果與對應的標準值進行比較。本文采用工業標準件雙球啞鈴規（規格如表1 所示）進行重建，將其放在距離設備80cm 視場范圍的正中、左中和右中三個位置上進行拍攝完成三維建模。將建模后的數據放到Geomagic 軟件進行球形擬合，比較擬合后的雙球啞鈴規的A 球直徑、B 球直徑、A-B 球心距與實物的差值，評價測量精度。本試驗分別采用了1-7-49 和1-8-64 的條紋進行重建。其重建誤差對比結果如表1 所示。

圖5

表1 啞鈴歸規格表

表2 標準雙球啞鈴規誤差結果對比

從表2 中數據可以看出，1-7-49 比1-8-64 測量精度的一致性較好，因此在接下來進行建模時，選擇1-7-49 的密條紋進行投射。

在本實驗中，分別選用了黑色頭發的男生和棕色頭發的女生進行建模。在光機投射光照強度的情況下，通過對比在不同的調制度下，紅外三維正臉照相機和白光三維照相機未補洞的原始數據，分析基于紅外的三維人臉照相機在眉毛、眼珠和頭發處的數據情況，看其是否在人臉細節部分相比于白光是否有所改進。表3 和表4 分別展示了黑發男性和棕發女性在紅外和白光正臉照相機下的數據對比圖。

將紅外三維正臉相機與白光三維正臉相機進行對比，可以得出以下結論：

（1）在眉毛處：紅外效果明顯優于白光，當調制度等于7 時，紅外正臉采集的眉毛處數據只有少量數據丟失，調制度等于1 時，紅外數據上基本沒有數據丟失；

（2）在眼珠處：紅外效果明顯優于白光，當調制度等于7 時，紅外正臉采集的眼珠處數據只有少量數據丟失，調制度等于1 時，紅外數據丟失數據更少；

表3 黑發男性對比圖

（3）在頭發處：對純黑色男生頭發，調制度不管等于1 或7，紅外效果和白光效果基本一致，頭發數據都建不出來；對于棕色女生頭發，紅外效果要優于白光，有部分頭發能建出來。

3 結語

通過投射相同光照強度的紅外條紋和白光條紋在人臉表面，采用時間相位展開的方法獲取左右相位圖進而獲取人臉的三維信息。實驗結果表明：在相同的光照的強度下，采用紅外結構光在人臉的眼珠、眉毛和頭發等處的三維數據相比于白光較好。對人臉采集的安全性、完整性具有重要的意義，對科研實驗具有較好的指導作用。

表4 棕發女性對比圖