基于結構光場的目標三維重建技術研究?

王韶格 劉 賓 蘇新彥

（中北大學信息與通信工程學院 太原 030051）

1 引言

目標三維表面重建技術，是通過進行二維投影恢復三維形態特征的計算機技術［1］，能夠真實反映目標表面形態，被廣泛應用于人機交互、工業測量、文物保護等領域［2］。隨著技術的發展，為了適應不同的領域，出現了各種各樣的方法，例如時間飛行法（TOF），立體視覺方法，結構光照明等方法，隨著光場成像的興起，出現了一些基于光場的表面重建方法［3］。光場成像技術記錄了光線的方位和高度數據，將傳統意義上由二維數據恢復三維數據提升到了由四維數據恢復三維空間數據的高度［4］。結構光測量技術是一種主動式三維測量技術，利用投影裝置主動投影結構圖案［5］，記錄經目標表面不同物點深度調制的變形條紋投影圖案，求解相位信息從而得到三維深度信息［6］。

黃培森等［7］使用三種圖案的彩色編碼條紋投影技術，可以從物體表面的單個圖像快照中檢索三維表面輪廓信息。詹瑋琪［8］利用條紋投影獲得的絕對相位差引導左右圖像的匹配，提高三維測量結果的精確度。陳文靜等［9］提出利用顏色信息，只投射一幀攜帶π相移的正弦條紋圖，完成從一幀條紋圖中消除零頻對包含有用信息的基頻的影響。宋雷等［10］利用點陣圖像測得的采樣點處絕對相位值來控制正弦條紋截斷相位的正確展開，有效克服相位展開困難。蔡澤偉等［11］對結構光場的正弦分布進行處理和變換，計算局部輻射差的角度方差獲取深度信息。陳佳偉等［12］利用結構光場包裹相位得局部角方差為相位模糊提供約束條件，避免了系統標定。

基于以上方法，本文提出了一種基于結構光場的目標三維重建方法。通過結合結構照明和光場成像的技術優勢，利用復合條紋投影圖案作為結構化照明記錄光場信息，即結構光場［13］，同時提供空間角度和相位編碼信息。通過傅里葉分析法得到每個顏色通道的包裹相位；通過計算包裹相位得角度方差確定光場深度，以得到深度圖；最后，進行三維坐標信息轉換，得到待測物體的三維信息。

2 光場成像模型

2.1 四維光場的雙平面模型

光場描述了空間中光線的輻射特性，包含光線在空間中的位置和角度信息［14］。通常利用雙平面模型來對光場進行參數化表征，如圖1所示。

圖1 光場雙平面模型

利用光線與兩個平行平面的交點，四維光場可以參數化為L(u,v,s,t)［15］，其中L表示記錄的輻射強度，→=(u,v)T表示光線的角度信息，=(s,t)T則表示光線的位置信息［16］。在(u,v)平面安裝微透鏡陣列進行對光場的記錄。每一個微型透鏡單元都可以在傳感器上產生一組宏圖像，每一宏圖像中都含有若干個子像素每個子像素都代表主鏡頭的一個采樣，從而同時獲取光線位置信息與角度信息［17］。

通過執行四維剪切，可以在所需圖像平面上對記錄的光場進行數字重采樣，如式（1）：

其中，Lα表示剪切光場，式（1）中sα=s+u(1-1α)表示剪切值為α的位置坐標剪切。剪切值α反映了目標表面深度變化，故可標記為圖像空間中的深度。該深度值通過光場剪切操作與角度信息耦合。

2.2 結構光場成像模型

由于傳統的光場三維成像技術為被動式三維成像，依賴于物體表面自身紋理結構，對于低紋理物體成像時，存在魯棒性和精確度低等問題。為此，本文引入結構照明，通過將標準復合投影圖案投射到場景上，條紋投影圖案的相位信息被場景深度調制，接著使用光場相機記錄多個方向的調制投影信息。

結構光場成像系統由投影儀和光場記錄設備組成，如圖2 所示。利用投影儀向場景表面投射標準投影圖案，從物點反射的光束被微透鏡分割并記錄在不同的像素上。能夠記錄光線的方向，從而可以區分和獨立處理從不同方向反射的光線。在結構光照明下，探測器記錄的光線攜帶與目標深度相關聯的調制相位信息［18］。

圖2 結構光場三維成像系統示意圖

圖3 顯示了結構光場三維成像模型在世界坐標系XOZ下的二維示意圖，其中平行平面對表示光場坐標系中的參數化光場，點P 表示投影儀的投影中心，Z=0 設置為參考平面。因此，記錄光線上的點的世界坐標可以描述為和的函數。圖3 中的虛線表明，不同方向的光線可以用不同的相位值調節場景深度［19］。因此，可以從多方向估計場景深度。

圖3 結構光場三維重建模型在世界坐標系XOZ 下的二維示意圖

3 基于結構光場的三維重建模型

3.1 設計復合條紋投影圖

由于傳統結構光正弦條紋投影需投射多幅相移條紋或多頻率條紋進行相位估計，本實驗將RGB三個彩色通道作為載體，分別對應三種不同條紋頻率的載波，利用一幀復合條紋投影圖來對物體表面進行調制。由于投影儀的視野確定，正弦條紋頻率只與投影的條紋數量有關，利用最佳頻率選擇過程確定相應通道的投影條紋數量［20］，如式（2）：

其中Nfm和Nfi分別是最大條紋集的條紋數和第i個條紋集中的條紋數。n=3，三個投影條紋頻率分別對應R、G、B 三個顏色通道，以此獲得條紋數據的并行采集。

3.2 分離各顏色通道

由于紅色、綠色和藍色通道被用來保存獨立信息，因此它們之間的串擾最小，但各通道之間難免會產生干擾，引入耦合系數來得到各通道編碼圖像的修改強度，以此解決三個通道之間的干擾問題。其中，經被測物體調制的編碼圖像di(m,n) 表示第i顏色通道傳感器所記錄的編碼圖像，可以表示為式（3）：

其中，(m,n)表示圖像在傳感器上的像素坐標，ai表示正弦條紋強度的直流分量，bi表示調制深度，pi表示條紋的周期，以像素為單位，Δφi為物體表面產生的相位變化；aj表示耦合通道的正弦條紋強度的直流分量，bj表示耦合通道的調制深度，pj表示耦合通道的條紋周期，Δφj表示物體表面高度引起耦合通道正弦條紋的相位變化，cij為各通道之間的耦合系數。

當求紅色通道d1(m,n)時，如式（4）：

為計算耦合系數cij，首先將純紅色、綠色和藍色條紋圖案按順序投影到白板上，對于每種顏色，投射三幅相移圖像、0 和，共9 張圖片。然后，將這些圖像分離為R，G，B 分量，共得到27 幅灰度強度圖像。以紅色通道為例，求紅色通道即i=1 時與其他兩通道之間的耦合效應強度為式（5）：

從而可求得各顏色通道之間耦合系數矩陣為式（6）：

其中，c11、c22、c33均為1。

利用耦合系數矩陣，求第i個通道的修改強度為式（7）：

3.3 結構光場信息的相位深度映射

本文采用彩色相機在多個方向對物體表面調制變形條紋進行記錄，加入了方向信息，記錄的四維光場可表示為通過將式（7）中的替換為，對每個通道的結構光場作傅里葉變換，可得三部分組成的空間頻譜：零階，以及旁瓣如式（8）：

利用中心頻率為fi,0的帶通濾波器分離出旁瓣信息，如式（9）：

對分離出的旁瓣信息進行逆傅里葉變換，如式（10）：

對式（10）進行反正切計算，可得第i個顏色通道的

對第i個顏色通道的相位信息進行剪切操作得到數字重聚焦后的相位編碼場，如式（12）：

對數字重聚焦后的相位編碼場在角度維度積分，獲得特定深度即剪切值α下的重聚焦的相位圖為式（13）：

其中，Nu表示光場的角度分辨率。

對于數字重聚焦下的相位編碼場，其相對于式（13）重聚焦的相位圖的加權角度方差為式（14）：

由于該角度方差在整個深度范圍內顯示出單峰分布趨勢，當目標表面深度與重聚焦深度一致時，對應的角度方差在整個深度范圍內最小。剪切光場的角度方差隨著剪切值α而變化，通過不斷迭代，在對應正確深度的剪切值處具有極值，即找到峰值所在位置對應的α值，從而定位對應物點的深度。

4 實驗與分析

由于傳統光場成像為被動式三維成像，針對低紋理目標重建精度差，為了驗證本文提出的基于結構光場的目標三維表面重建方法的可行性，本文選取非透明低紋理物體白陶瓷瓶進行試驗驗證。

4.1 實驗設備

實驗設備由工業相機、數字式投影儀以及位移系統組成。工業相機為維視公司的MV-EM200C相機，分辨率為1600*1200，傳感器尺寸為1 1.8''，最大幀率40fps；數字式投影儀的型號為堅果JMGC-JHC700；位移平臺用電腦控制，可在水平和豎直方向定量移動。算法均在一臺電腦上運行，電腦的具體配置為CPU 2.9GHz，內存8GHz，操作系統是Windows10，運行環境為Matlab。

4.2 實驗及實驗數據

圖4 是本實驗搭建的系統平臺，在Matlab 中生成RGB 分量為三種不同空間頻率的條紋圖案彩色圖像，并通過投影儀投射到物體表面。彩色相機放置在位移平臺上，在9 個位置分別對目標表面變形條紋進行記錄。數字投影儀固定在工業相機的下方進行斜投影，相機的光軸垂直于參考平面。

圖4 系統平臺

詳細的實驗過程將以圖5 所示的白陶瓷瓶進行展開。成像場景中心視角如圖6（a）所示，提取R，G，B 三個通道的正弦條紋圖案，如圖6（b）～（d）所示，使用式（7）引入耦合系數提取R，G，B 通道中編碼的三個正弦條紋圖案，如圖7所示。

圖5 實驗所用白陶瓷瓶

圖6 提取R，G，B三個通道的正弦條紋圖案

圖7相對于圖6引入耦合系數得到各通道的修改條紋強度，對圖7 以及圖7 第257 行分別進行二維傅里葉變換以及一維傅里葉變換，其頻譜如圖8所示。由圖8 可知，條紋投影的頻譜在一維和二維都可以較好地進行分離，利用切比雪夫Ⅱ型濾波器獲得其旁瓣信息，如圖9所示。如圖10為包裹相位圖，圖11 為用包裹相位最終得到的三維目標模型。本文的算法不依賴于目標物表面的自身紋理特征，通過投影復合條紋圖求取相位信息，在提取RGB通道條紋圖時，加入耦合系數得到的修改強度有效改善了各通道之間的串擾問題。利用包裹相位的角度方差求取深度圖，從而達到比較好的三維重建效果。

圖8 頻譜圖

圖9 獲取旁瓣信息

圖10 包裹相位圖

圖11 三維目標重建

5 結語

傳統的被動光場成像在對低紋理物體進行測量時，由于缺少物體自身表面紋理結構信息，精確度不高，所以本文結合結構照明和光場成像，以彩色通道作為載體，利用一幀復合條紋投影圖案作為結構化照明記錄結構光場，同時獲得空間角度和相位編碼信息。首先通過傅里葉分析法得到每個顏色通道的包裹相位，由于包裹相位的角度方差在整個深度范圍內顯示出單峰分布趨勢，當目標表面深度與重聚焦深度一致時，角度方差最小，以此來確定目標深度信息，相比于傳統三維成像技術，提高了重建精度，且易于工程實現。