基于單雙目融合的遮擋區域點云獲取技術研究

張利萍，劉桂華，可 楊

(西南科技大學 信息工程學院，四川 綿陽 621000)

基于單雙目融合的遮擋區域點云獲取技術研究

張利萍，劉桂華，可 楊

(西南科技大學 信息工程學院，四川 綿陽 621000)

在基于相位輪廓術進行雙目三維重建時，傳統的雙目測量系統在遮擋條件下無法獲取雙目相機公共視野以外的區域的點云數據，導致掃描結果出現測量空洞或者點云數量減少，從而不能通過立體視覺進行三維重建。對此，提出了一種基于雙目點云重建單目點云的方法，系統無需增加其他操作過程，單次掃描就能同時獲得雙目點云和精度較高的左右單目點云。在對飛機模型的測量中，利用該方法填補了雙目測量在機翼附近出現的數據丟失，提高了測量結果的完整性。

三維重建；遮擋；相位；點云

0 引言

基于相位測量輪廓術的三維測量技術作為一種主動式非接觸光學測量方法，因具有全場分析、測量精度高、非接觸等優點，正逐漸成為當前三維測量領域內最重要和最熱門的一個研究分支，在工業檢測、質量控制、逆向工程、生物醫學、虛擬現實、文物保護等眾多領域中具有廣泛的應用[1-4]。常用的基于相位輪廓術的三維重建系統按相機個數可以分為單目系統和雙目系統，單目測量系統只需一個攝像機，通過相位值直接解算得到物體的高度信息，雙目系統則將相位作為匹配的一個特征，利用立體視覺求取物體的三維特征。這兩種結構都有各自的優點，但單目系統在測量精度以及抗噪性上與雙目視覺系統有一定的差距。故雙目視覺系統在實際中的應用更廣泛。

雙目視覺系統由于其三維坐標的獲取是基于兩相機對應像素點的匹配，在視場方面有一定的局限性，對于遮擋、陰影等情況，在重建過程中容易出現數據的缺失。遮擋是指匹配圖像對時，一個圖像的像素在另一個圖像中找不到對應匹配點，導致最終出現匹配錯誤，不僅被遮擋的點難以得到正確的視差值，還會給遮擋區域附近點的匹配帶來負面效果。如果靠多次掃描拼合或后期點云處理，則較復雜[5]。IKEMURA S等人在用TOF相機獲得深度信息的基礎上，提出了相關深度相似特征來進行遮擋判斷，該設備成本昂貴，且只能應用在特殊場合中[6]。MA Y等人將深度和遮擋率相結合，但是當遮擋對象出現相似視差變化的情況，就很難解決遮擋問題[7]。Jin Xin等人將編碼和遮擋區域的分割相結合對遮擋關系進行判斷，減少了計算量，但是必須完全清楚場景中的對象時才可用此方法[8]。耿英楠提出基于RGB矢量空間的三目立體匹配方法，提高了遮擋區的匹配正確率，但是匹配過程比較復雜[9]。許雯提出了基于LRC遮擋檢測的改進的ASW算法，對檢測出的遮擋區域進行填充，提高了整體視差圖的匹配質量[10]。以上算法對解決立體匹配中的遮擋問題都有很好的效果，但是由于匹配過程中算法復雜，計算量龐大或者成本較高等各種原因，導致在實際中的應用性不強。針對上述問題，結合單雙目測量系統各自的優點，提出了一種基于雙目點云重建單目點云的新方法，系統無需增加其他操作過程，單次掃描就能同時獲得雙目點云和精度較高的左右單目點云，很好地提升了測量數據的完整性。

1 雙目三維重建原理

基于相位輪廓術的物體三維輪廓測量原理是投影儀向被測物體投射一組光強呈正弦分布的光柵，左、右兩個相機同步采集受物體表面調制后的光柵，然后根據采集的圖像獲取毎個像素的相位值，最后根據標定參數，應用三角測量原理獲得物體表面三維數據。

雙目立體視覺系統中三維空間點的成像模型如圖1所示，設空間點A在左右相機Cl和Cr上的投影分別為al和ar，al和ar為一對匹配點，則可以唯一確定A點的空間位置，即直線Olal和直線Orar的交點。

圖1 雙目立體視覺成像原理

設左攝像機位于世界坐標系O-xyz原點，圖像坐標系為Ol-XlYl，有效焦距為fl，右攝像機坐標系為Or-xryrzr，有效焦距為fr，由攝像機透視投影模型以及兩攝像機之間的位置關系，空間點A的三維坐標可以表示為：

由式(1)可知，通過雙目攝像機標定求出左、右相機焦距fl、fr，旋轉矩陣R和平移矩陣T，通過極線約束原理求出左右圖像中匹配點對的圖像坐標，就可以得到被測物的三維點云數據。

在利用雙目視覺原理進行三維重建的過程中，常常由于相機拍攝視角或者物體表面輪廓較復雜等原因，導致物體表面某些場景點只能在雙目視覺系統中的一個攝像機中可見，而在另一個攝像機中不可見，圖像上這些點稱為雙目半遮擋點。它們通常存在于物體邊緣和場景不連續等地方，而這些地方又是視覺中要處理的關鍵點。

2 單目重建技術

現有的單雙目點云重建方法一般采用兩個相機分別與投影儀組成單目測量系統來補充雙目測量結果的方式。在獲取單目點云的方法上，本文采用蓋紹彥提出的相位-高度映射模型[11]，此模型對攝像機、投影裝置以及標定平面的位置關系無嚴格要求，提高了系統的可操作性。本節基于該模型提出一種使用雙目點云來優化模型參數，獲得單目點云的方法，與單純依靠雙目的測量系統相比，使用此方法能夠有效地改進系統的測量范圍和提高測量結果的完整性。

2.1 相位恢復高度模型

系統模型[11]如圖2所示，參考坐標系Ωw(OXYZ)是基于投影設備建立的：OXY平面平行于投影面，光柵條紋平行于Y軸，投影中心OP經過Z軸。攝像機坐標系Ωc(OcXcYcZc)原點Oc位于鏡頭光心，Zc位于光軸，Xc、Yc分別平行于攝像機成像面的橫軸、縱軸。o1mn表示攝像機成像面上的圖像坐標系。

圖2 相位-高度模型圖

設物點P在參考坐標系ΩW中的坐標為(X,Y,Z)，在攝像機坐標系Ωc中的坐標為(Xc,Yc,Zc)，有

(2)

可以推導出P點的相位θ與其三維坐標(Xc,Yc,Zc)的關系如式(3)所示:

(3)

式(3)是θ-(Xc,Yc,Zc)映射模型的關系式，a1～a8為待標定的系統參量，λ0為投影光柵節距，θ0為原點O的相位。

2.2 單雙目重建技術

傳統的求解參數a1～a8的方法是先通過平面標定板對單目相機進行標定，再對投影到標定板上的光柵進行解相，得到樣本點集(Xc,Yc,Zc,θ)，帶入式(3)，可得到一組以參量a1～a8為未知數的線性方程，解方程組，即可得到參量值。

本節提出了一種基于雙目點云重建單目點云的方法，直接將雙目重建的點和對應的相位值組成樣本集(Xi,Yi,Zi,θi)代入式(3)，優化解得a1～a8，然后對于僅在單個相機視場內有效的物點，將其相位值代入式(3)，結合式(1)中X、Y和Z的關系計算三維坐標。相比傳統的參數求解方法，本方法既消除了傳統方法中由于相機標定和光柵解相帶來的誤差，提高了參數的優化精度，又簡化了操作過程。

設左相機為參考坐標系，計算左單目點云時可以直接使用雙目點和左相位場，但計算右單目點云時，將雙目點云轉換到右相機坐標系下，加上右相位場來計算，最后再將右單目點云坐標統一到左相機坐標系下。算法實現的步驟如下：

(1)標定：使用張正友平板標定法[12]對雙目系統的內外參數進行標定。

(2)相位解算：先使用最大類間方差法分離物體和背景，將屬于物體部分的點標記為有效點，再通過四步相移[13]加多頻外差[14]解算出左右相位場。

(3)匹配：利用相位值相等和極線約束條件尋找左右相機中的對應匹配點，同時在相位圖中對未匹配點予以標記，再進行亞像素插值提高精度。

(4)雙目重建：得到左右相機的匹配點后，利用相機的內外參量，根據三角原理法計算三維坐標。

(5) 左右單目重建：分別利用左右相機與投影儀組成兩個單目測量系統。利用本文所述的單目測量方法分別對左右相機中的未匹配點求取對應的三維坐標，并統一到雙目測量坐標系中。

為了避免單目測量系統重建雙目缺失區域以外的部位，在雙目測量匹配過程中，分別對左右相機中的未匹配點進行標記，對相位圖中的每一點設置一個標記值，如果能夠找到對應匹配點則設其標記值為1，否則為0，在后續的單目重建中僅對標記值為0的點進行處理。

3 實驗驗證及結果分析

實驗采用基于雙目視覺的數字光柵投影系統，該系統由兩個高分辨率(分辨率1 280×1 024)的工業CCD相機和一個DLP投影儀組成，測量時使用投影儀向被測物體投射一組光強呈正弦分布的光柵，左右兩個相機進行同步采集受物體表面調制后的光柵，然后根據采集的圖像，獲取其相位信息最后根據標定參數，應用三角測量原理獲得物體表面三維數據。

飛機模型的點云如圖3所示。

圖3 飛機模型的點云

在圖3中，單次掃描重建的點云如圖3(b)所示，在機身和兩側機翼交接的地方會出現一些空洞,其原因是由于機身的遮擋, 而不能被雙相機同時拍攝到，因此出現點云缺失的空洞。分別基于雙目點云及其相位場優化得到的a1～a8見表1。單目重建也對雙目無法測量的部位進行了補充，使單次測量結果更加完整。圖3(d)中仍然存在的一些空洞是物體表面的黑色斑點所致，與本文算法無關，可以通過向物體表面噴白色顯影劑的方式來測得。

為了對本測量系統的重建精度進行評估，對面距為30mm的梯形標準件進行測量，如圖4所示，將得到的點云擬合成平面，計算兩平面之間的面距，測量結果如表2所示，可以看出單目點云精度比雙目點云稍低，可以用于對精度要求不是很高的場合。

表1 根據雙目點云和左、右相位場優化得到的a1～a8

圖4 面距為30 mm的梯形標準件及其擬合平面

重建方式最大距離最小距離平均距離標準差雙目30．164229．899330．02530．0366雙目30．164229．899330．02530．0366

單目重建算法能對雙目點云中的測量空洞進行補充，但其精度往往達不到雙目點云的精度，由于單目重建是直接通過相位值計算物點的三維坐標，相位誤差是影響單目測量精度的主要因素，由投影儀的Gamma非線性和工業相機的非線性響應共同引起的光柵圖像非正弦化是相位誤差的主要來源，相機采集圖像時引入的環境光與相機Gamma值共同作用也會使采集的光柵圖片非正弦化。

4 結論

本文提出了一種基于相位-高度模型的新單雙目重建方法，使用雙目點云優化出系統參數用于單目點云的計算。該方法能在單次掃描過程中同時實現單目和雙目的點云計算，對雙目測量結果中出現的空洞區域，可以使用該處單目測量的結果加以補充。這種方式的單目重建在雙目視覺系統的基礎上，無需增加其他硬件設備或者操作步驟，簡單可行。與單純地依靠雙目測量系統相比,使用此方法能夠有效地改進系統的測量范圍和提高測量結果的完整性。

單目重建算法能對雙目點云中的測量空洞進行補充，但其精度往往達不到雙目點云的精度。由于單目重建是直接通過相位值計算物點的三維坐標，因此需要進一步提升相位精度。下一步的重點是研究相位誤差補償方法，建立相機和投影儀Gamma值的數學模型，利用預編碼方法消除相位誤差。

[1] Zhang Zonghua, TOWERS D P, TOWERS C E. Snapshot color fringe projection for absolute 3D metrology of video sequences[J]. Applied Optics, 2010, 49: 5947-53.

[2] Dai Meiling, Yang Fujun, He Xiaoyuan. Single-shot color fringe projection for three-dimensional shape measurement of objects with discontinuities[J]. Applied Optics, 2012, 5(12): 2062-2069.

[3] Wang Yongchang, Liu Kai, Hao Qi, et al. Period coded phase shifting strategy for real-time 3D structured light illumination[J]. IEEE Transactions on Image Processing, 2011, 20(11): 3001-3013.

[4] GORTHI S S, RASTOGI P. Fringe projection techniques: whither we are?[J]. Optics & Lasers in Engineering, 2010, 48(2): 133-140.

[5] TYAGI A, POTAMIANOS G, DAVIS J W, et al. Fusion of multiple camera views for kernel-based 3D tracking[C]. IEEE Workshop on Motion and Video Computing. Austin, TX, USA: IEEE Press, 2007:1-8.

[6] IKEMURA S, FUJIYOSHI H. Real-time human detection using relational depth similarity features[J]. Computer Vision-ACCV 2010, Springer Berlin Heidelberg, 2010,6495: 25-38.

[7] MA Y, WORRALL S, KONDOZ A M. Depth assisted visual tracking[C]. 10th Workshop on Image Analysis for Multimedia Interactive Services, 2009. WIAMIS'09. IEEE, 2009: 157-160.

[8] Jin Xin, Chen Xiaowu, Zhou Bin, et al. Cooperatively resolving occlusion between real and virtual in multiple video sequences[C]. 2011 Sixth Annual IEEE China Grid Conference (China Grid), 2011: 234-240.

[9] 耿英楠.立體匹配技術的研究[D].長春：吉林大學,2014.

[10] 許雯.立體視覺中局部立體匹配算法研究[D].西安:西安電子科技大學，2014.

[11] 蓋紹彥，達飛鵬.一種新的相位法三維輪廓測量系統模型及其標定方法研究[J].自動化學報, 2007,33(9)：902-910.

[12] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000. 22(11): 1330-1334.

[13] 蔡長青,賀玲鳳.基于四步相移的相位差提取方法[J]. 華南理工大學學報(自然科學版),2011,39(9):93-96.

[14] 陳松林,趙吉賓,夏仁波.多頻外差原理相位解包裹方法的改進[J].光學學報,2016,36(4):1-11.

The occluded area point cloud acquisition technology research based on single binocular fusion

Zhang Liping，Liu Guihua，Ke Yang

( School of Information Engineering, Southwest University of Science and Technology, Mianyang 621000, China)

In the binocular three-dimensional reconstruction based on phase profilometry, conventional binocular measurement system can not obtain point cloud data beyond public view of binocular camera, causing the scan result appears measurement cavity or decreases，and thus can not conduct three-dimensional reconstruction by stereo vision. In order to solve these problems, this paper presents a method reconstructing monocular point cloud based on binocular point cloud. Without adding other operation process, the system could obtain binocular point cloud and high accuracy left and right monocular point cloud simultaneously. In the measurement of the aircraft model, the data missing near the wing can be avoided by this method, so the measurement results are improved efficiently.

three-dimensional reconstruction; occlusion ;phase ;point cloud

TP391

A

10.19358/j.issn.1674- 7720.2017.04.021

張利萍，劉桂華，可楊.基于單雙目融合的遮擋區域點云獲取技術研究[J].微型機與應用，2017,36(4)：70-73.

2016-08-27)

張利萍(1990-)，女，碩士研究生，主要研究方向：圖像處理。

劉桂華(1972-)，女，博士，教授，主要研究方向：機器視覺、圖像處理。

可楊(1989-)，女，碩士研究生，主要研究方向：圖像處理。