提高形狀測量精度的直接與間接反射分離方法

王小磊

徐州工程學院 信電學院，江蘇 徐州 221111

1 引言

光學三維形狀測量具有非接觸、高準確度和高分辨率等特點，廣泛應用于CAD/CAM、逆向工程、產品質量檢測、醫療診斷、機器人視覺、數字化文物保護、虛擬現實等諸多領域[1-2]。

在光學三維形狀測量方法中結構光投影法具有成本低、分辨率高和測量速度快的優勢，日益得到廣泛應用[3]。該方法利用結構光投影裝置向被測物體投射有一定規律的結構光，由攝像機獲取被測物體表面信息的調制而發生形變的結構光條紋圖像，并加上系統結構參數計算獲得被測物體的三維形狀信息。該方法的測量前提是結構光投射后必須在被測物體的表面上形成反射光。但這些反射光中含有兩種成分：一種是投射結構光到達被測物體表面后直接反射所形成的，也是三維形狀測量所需的理想反射光（圖1（a））。另一種是投射結構光進入到被測物體內部產生散亂或反射，與投射結構光所到達位置不同的點射出而形成的反射光（圖1（b）和（c）），比如皮膚等；或者是投射結構光與被測物體和另外物體間相互反射所形成的反射光（圖1（d）），如鏡面等。本文把內部散亂、內部反射以及相互反射統稱為間接反射。

圖1 直接反射和間接反射示意圖

由圖1可知間接反射是降低三維形狀測量精度的主要因素，因此分離或者消除間接反射就可以提高三維測量精度。為此，本文提出了一種分離或消除間接反射的改進方法。

2 提出的方法

結構光投影法是由攝像機獲取被測物體表面信息的調制而發生形變的結構光條紋圖像。此時該條紋圖像包含了兩種反射光，即直接反射和相互反射。假設投射結構光是沿著時間軸方向的一定初相位的調制結構光（圖2（a）），那么如果攝像機觀測到直接反射，認為投射結構光的相位與攝像機所觀測到的結構光條紋圖像的灰度值相位是相同的（圖2（b））；反之由于相互反射的投射路徑不同，與直接反射存在著一定的相位差異（圖2（c））。

圖2 投射結構光和反射光之間的相位關系圖

結構光條紋圖像中分離直接反射和相互反射的相位差異是一種復雜的數學解析過程[4]。為了避免數學解析過程，本文反向利用了直接反射和相互反射的相位差異，在投射結構光中設置不同相位的調制結構光。該調制結構光是以格雷碼結構光為基礎，將初相位為0°和相移為90°的格雷碼結構光相結合而形成的改進投影結構光，如圖3所示。

圖3 提出的改進投影結構光

利用上述改進結構光，分離或消除相互反射的具體步驟如下：

（1）通過攝像機獲取一系列格雷碼結構光和改進結構光正-反投影的條紋圖像A、B、C。

（2）A和B的差分獲得D-1條紋圖像，以此分離或消除直接反射對相互反射的影響；同樣A和C的差分獲得D-2條紋圖像，以此分離或消除直接反射對相互反射的影響。

（3）合成條紋圖像D-1和D-2，便可得相互反射已被分離或消除的新條紋圖像D（如圖4所示）。

圖4 直接反射和相互反射的分離方法

采用了上述方法，在有效地分離或消除了相互反射影響的同時，提高了被測環境變化時的魯棒性。并且采用改進投影結構光的正-反投影方法，將實現結構光條紋圖像中的結構光邊緣的亞像素定位。

3 邊緣檢測

利用結構光三維形狀測量方法來獲取被測物體的三維坐標信息時，應滿足投射結構光和攝像機所獲得的結構光條紋圖像之間的一一對應關系。但是由于結構光條紋圖像是離散數據存在著量子化誤差等原因，未能實現被測物體三維坐標的高精度計算。此外，實際所獲得的結構光條紋圖像都存在著不同程度的擴散，因此采用Otsu、Canny邊緣檢測等圖像處理算法很難達到預期的效果。為此，本文采用了投射結構光的正-反投影方法來實現結構光條紋圖像中的結構光邊緣的檢測及亞像素定位[5-6]。具體定位過程如下：

步驟1利用結構光投影裝置投射調制結構光的正-反投影的同時，通過攝像機獲得形變后的調制結構光正-反投影的結構光條紋圖像，如圖5所示。

圖5 正-反投影結構光條紋圖像示意圖

步驟2利用格雷碼的解碼方法對獲得的正-反投影的結構光條紋圖像進行解碼，并對各像素點進行排序確定相同投射結構光的像素點。然后，獲取相鄰投射結構光的沿時間軸方向、同一條紋S下的像素點的灰度值AS、BS、CS、DS。

步驟3根據相鄰結構光的正-反投影中的同一個像素點的灰度值AS和BS、CS和DS，以及線性補償方法來確定在結構光條紋圖像中的結構光邊緣位置PS，如圖6所示。其中邊緣位置PS的亞像素定位表達式為：

圖6 邊緣檢測算法

4 三維信息計算

根據投射結構光裝置和攝像機的幾何坐標變換來計算被測物體的三維坐標信息[7-9]，計算步驟如下所示。

步驟1建立攝像機坐標系和圖像坐標系之間的對應關系，可寫為：

式中，Cij為攝像機坐標系的三維坐標[Xc,Yc,Zc]到圖像坐標系的二維坐標[xc,yc]的變換矩陣。

步驟2根據投射結構光裝置的一維投射結構光的特點，建立攝像機坐標系和結構光投射裝置的投射面坐標系之間的對應關系，可寫為：

式中，pij為攝像機坐標系的三維坐標[Xc,Yc,Zc]到結構光投射裝置的投射面坐標系的一維坐標[xp]的變換矩陣。

步驟3 消去上式（2）、（3）中的參數hc、hp，則可得的矩陣方程式為：

式中：

因此式（4）中只要Q-1存在，就可以計算被測物體的三維坐標V,其表達式為：

式（2）～（5）中，變換矩陣Cij和Pij是通過系統標定來確定的。為了簡化標定過程，本文采用傳統標定方法，即利用空間坐標已知的三維標定體，由攝像機獲取圖像中標定變換矩陣Cij；另外向標定體的指定位置投射光標，來標定變換矩陣Pij。

5 實驗及結果分析

圖7（a）為本實驗的結構光投影三維形狀測量系統；系統所采用的主要實驗設備如表1。

表1 主要實驗設備一覽表

圖7（b）為本實驗被測環境，其被測對象采用足部關節，并利用鏡面形成間接反射。利用VC++編程生成投射結構光，并從投影儀投射正-反結構光，共計20幅，其空間分辨率為210=1 024。

圖7 結構光投影三維形狀測量系統示意圖

結構光投影三維形狀測量中采用Online測量（含結構光投射、采樣圖像）和Offline計算（含三維坐標計算、三維重建）的兩步驟處理方法，以此提高三維形狀測量速度。其測量流程如圖8所示。

圖8 結構光投影三維形狀測量流程圖

5.1 直接反射和相互反射的分離結果

圖9所示為基于本文方法的邊緣檢測及直接反射和相互反射的分離結果。其中圖9（a）為直接反射的檢測結果，圖9（b）為相互反射的檢測結果。檢測結果可知，本文方法不僅有效地分離出了直接反射和相互反射，并且有效地檢測出了投射結構光邊緣，消除了相互反射對測量精度的影響。

圖9 直接反射和相互反射分離結果圖

5.2 三維重建結果

根據5.1節所得的直接反射和相互反射的分離結果，以及正-反結構光投影法獲得投射結構光排序結構和邊緣的亞像素定位結果，計算出被測物體的三維坐標信息，并結合VC++和OPENGL的編程方式進行了對被測物體的三維重建[10-11]。其重建結果如圖10所示，圖（a）為兩種反射分離后的各反射光的三維重建結果，圖（b）為兩反射光的三維重建合成結果。重建結果表明了該改進結構光投影方法的有效性，同時也擴大了三維測量范圍。

圖10 足部關節的三維重建結果圖

6 結論

通過鏡面所形成的間接反射和足部關節的三維形狀測量來驗證提出的直接反射和相互反射的分離方法；利用格雷碼結構光和改進結構光的正-反投影方法來檢測結構光條紋圖像中的邊緣亞像素定位。實驗結果表明，本文方法不僅有效地分離出直接反射和間接反射，并且精確地計算出了足部關節的三維坐標，并實現了三維重建。本文方法不僅能改善間接反射對形狀測量精度的影響，而且根據實驗環境設置便可擴大被測物體的三維測量范圍。

[1]Sang X Z.A method on 3D shape measurement and its trend in development[J].Measurement Transaction，2001，2：36-37.

[2]Salvi J，Pages J，Batlle J.Pattern codification strategies in structured light systems[J].Pattern Recognition，2004，37（4）：827-849.

[3]張廣軍.視覺測量[M].北京：科學出版社，2008.

[4]Nayar S K，Krishnan G，Grossberg M，et al.Fast separation of direct and global components of a scene using high frequency illumination[J].Transaction on Graphics，2006，25：935-943.

[5]Ikuchi S，Satou G.3D imaging techniques for measurement[M].Tokyo：Shoko-do，1992.

[6]于曉洋，董秋玲，張加海，等.基于正反圖案的亞像素條紋邊緣檢測方法[J].測試技術學報，2008，22（2）：231-235.

[7]David A.Forsythandjeanponce[M]//ComputerVision：A Mordern Approach.[S.l.]：Printice Hall，2003.

[8]Rocchini C，Cignoni P.A low cost 3D scanner based on structured light[J].Proc Euro Graphics，2001，20：299-308.

[9]TsaiR Y.A versatile camera calibration techniquefor high-accuracy 3D machine vision metrology using off-theshelf TV cameras and lenses[J].IEEE Journal of Robotics and Automation，1987，RA-3（4）：323-344.

[10]肖健，孫杰，李明媚，等.三維形貌測量系統的數據處理與顯示技術實現[J].天津理工大學學報，2009，25（3）：40-43.

[11]Bernardini F，Rushmeier H E.The 3D model acquisition pipeline[J].Computer Graphic Forum，2002，21：149-172.