自遮擋物體線激光測量視點規劃

陳天凡　 高誠輝　何炳蔚

1.福州職業技術學院，福州，3501082.福州大學，福州，350108

?

自遮擋物體線激光測量視點規劃

陳天凡1,2高誠輝2何炳蔚2

1.福州職業技術學院，福州，3501082.福州大學，福州，350108

摘要：針對未知自遮擋物體的測量和三維重建問題，提出利用Kinect Fusion技術快速重建和線激光精密測量相結合的視點規劃新方法。應用Kinect Fusion技術快速獲取未知自遮擋物體表面的深度信息模型，研究提出輪廓表面的截面特征信息提取方法，在此基礎上分析輪廓表面的截面形狀特征，根據五自由度線激光測量系統的左右方向和上下方向測量可視性判斷，在最佳測量范圍內進行線激光測量全局視點規劃，準確、快速消除自遮擋和點云孔洞，最后獲得重建精度高的三維物體表面。經過自遮擋物體重建實驗，驗證了所提方法的可行性及有效性。

關鍵詞：機器視覺；視點規劃；自遮擋；Kinect Fusion；線激光

1線激光視覺系統測量原理

在物體表面三維重建過程中，物體表面的三維數據信息通過接觸式或非接觸式的測量方法獲取，應用線激光視覺系統獲取三維數據是非接觸式測量中應用最廣泛的方法之一。線激光視覺系統測量原理如下：由激光發生器向測量空間投射出一個激光平面,激光平面與被測物體表面相交為一條曲線，形成一條亮的光條；光條的位置包含了被測物體表面該截面的三維信息,在攝像機的像平面上反映得到光條的二維圖像；光條上的點P 三維坐標為(xw,yw,zw), 反映在像平面上的二維像點坐標記為(u,v), 如圖1所示；由于激光發生器與攝像機之間的相對位置不變，所以從二維像點坐標(u,v)可以得到對應的三維物點坐標(xw,yw,zw)。通過建立數學模型，得到函數(xw,yw,zw)=f(u,v)。

圖1　線激光視覺系統測量原理示意圖

線激光視覺系統的激光發生器和攝像機有一定距離，與被測表面形成一定的角度，測量時如未能同時滿足在被測表面形成一條亮的光條和攝像機獲取反射信息兩個條件，就會產生點云孔洞。由于視覺系統自身結構或者被測物體自遮擋等原因，使得視覺傳感器無法獲得被測表面的全部三維信息，需要將多個視點掃描后的三維點云進行拼合以得到被測物體的表面模型。被測物體表面結構如凸、凹等特征產生的自遮擋導致線激光無法投射到被測表面或視覺系統無法獲取表面反射信息，更容易產生點云遮擋孔洞。在物體三維建模或測量時經常需要得到物體表面各處的精確三維數據，這時就必須消除點云孔洞。

消除點云孔洞的常用方法有基于圖像處理的點云孔洞修補法[1-3]和基于孔洞表面視點規劃的掃描消除法[4-6]。基于圖像處理的點云孔洞修補法對孔洞為較小區域且孔洞表面形狀相對規則的情況能夠保證一定的修補精度，但對非封閉模型在邊界附近存在點云缺失的情況難以進行修補[7]，且因是以修補算法擬合逼近真實表面，故對于較大孔洞或孔洞表面形狀特征相對復雜的情況如何保證修補精度是個難點。掃描消除法直接采集孔洞區域的表面三維數據，能夠保證物體三維建模的形狀特征不變性和擬合精度，如何選擇合適的視點位姿以消除遮擋孔洞是視點規劃研究的難點和重要內容。文獻[8-10]開展了通過掃描測量消除遮擋問題的研究，以點云遮擋孔洞表面的二維輪廓邊緣或投影為基礎確定視點位姿，適于解決遮擋部分表面比較順滑和具有外凸結構特征的情況，但對于存在多處遮擋且結構相對復雜的物體表面，規劃效果差，規劃結果仍會出現點云孔洞。

本文針對未知自遮擋物體的測量和物體表面三維重建問題，提出Kinect Fusion技術[11]和線激光測量全局視點規劃相結合的測量新方法。先應用Kinect Fusion技術快速獲取未知自遮擋物體表面的深度信息重建模型，在此基礎上以五自由度線激光測量系統左右方向和上下方向被測物體輪廓表面的可視性為依據，在最佳測量范圍內進行線激光掃描全局視點規劃，消除自遮擋和點云孔洞，最后獲得重建精度高的三維物體表面。

2應用Kinect Fusion技術獲取深度信息

模型

Kinect是一種深度傳感器，最初作為XBOX 游戲機的外圍設備，Kinect深度傳感器促進了三維的非接觸式人機交互，近年來廣泛應用于體感游戲、手勢控制、視頻跟蹤、人體掃描等領域[12]。Kinect Fusion是微軟研究院推出的一個研究項目，用于Kinect深度傳感器實時地重構物體三維表面，并具有人機交互功能，支持導出stl和obj等三維數據格式。Kinect深度傳感器利用Kinect Fusion技術獲取的深度信息圖像剛開始時不清晰且有較多孔洞，通過移動Kinect深度傳感器繼續掃描，幾秒鐘后就能實時重建測量空間場景，顯示被測物體三維表面，提供點云數據。

Kinect Fusion系統通過Kinect深度傳感器的自由移動，從多個角度獲取被測物體的深度信息數據并進行融合，重建出單幀光滑表面模型。當Kinect深度傳感器移動時，深度信息數據被不斷加入，測量系統能自動記錄跟蹤攝像頭6個自由度的位置以及姿勢，獲得各幀圖像之間的關聯情況，結合不同角度采集的多幀圖像數據就能夠融合成單幀重建好的定點立方體。Kinect Fusion系統對深度信息數據連續融合，逐幀采用基于GPU的ICP等算法進行模型配準和6自由度位姿變換計算，應用平滑算法去噪，優化測量數據，從而提高被測物體的重建質量。

一掛鉤模型實物照片見圖2a，利用Kinect Fusion技術獲取測量空間深度信息圖像，去除背景等其他圖像后得到重建的掛鉤模型表面如圖2b所示。雖然三維輪廓建模精度不夠高，但能反映被測物體表面輪廓的基本情況，在此基礎上，可得到物體表面不同位置的截面特征信息，結合線激光視覺系統測量輪廓的可視性進行視點規劃。

(a)實物照片

(b)深度信息重建模型

3線激光掃描全局視點規劃

3.1五自由度單目線激光視覺系統

本文實驗設備為五自由度單目線激光視覺系統，它具有可帶動被測物體進行旋轉和翻轉運動的工作臺。如圖3所示，OXYZ坐標系為視覺系統設備的坐標系，OTX1Y1Z1坐標系為以工作臺旋轉中心OT為原點的工作臺坐標系。視覺系統設備5個自由度的運動分別為：①X方向，視覺系統在-400～400mm的行程內平移運動；②Z方向，視覺系統在0～400mm行程內做平移運動，線激光發生器的掃描高度為50mm；③Y方向，工作臺帶動被測物體在0～300mm行程內做平移運動；④工作臺帶動被測物體繞OTZ1軸在0°～360°范圍內轉動；⑤工作臺帶動被測物體繞OTX1軸在0°～180°范圍內翻轉。視覺系統有效測量深度是被測物體表面距離視覺系統64～186mm的測量范圍，最佳測量深度為94～186mm[10]。

圖3　 五自由度單目線激光視覺系統測量示意圖

3.2物體表面的截面信息提取

因在視點規劃時要根據物體表面輪廓與OXY平面平行方向的截面及與OYZ平面平行方向的截面特征來判斷物體表面不同位置的可視性，所以需要提取被測物體輪廓深度信息圖像在不同視點下的截面信息數據，分析物體表面不同位置的截面形狀特征。

設被測物體在Kinect坐標系中點云數據為A，各點坐標為(xAi,yAi,zAi)，經坐標系變換后在工作臺坐標系OTX1Y1Z1的點云數據為B，各點坐標為(xBi,yBi,zBi)，即

(1)

式中，RK、TK分別為Kinect坐標系轉換到工作臺坐標系的旋轉矩陣和平移矩陣。

當被測物體隨工作臺繞OTZ1軸線轉動角度α，再隨工作臺繞OTX1軸翻轉角度β(角度以逆時針方向為正，順時針方向為負)時，物體處于新的視點測量位置,如圖3所示。此時物體在視覺系統坐標系OXYZ中的點云數據為C，各點坐標為(xCi,yCi,zCi)，計算式如下：

(2)

Tw=[twxtwytwz]T

其中，Tw為工作臺坐標系轉換到視覺系統坐標系的平移矩陣；RZ、RX分別為繞OTZ1軸線轉動和繞OTX1軸翻轉的旋轉變換矩陣：

(3)

在視覺系統坐標系OXYZ中，需根據物體表面的點云數據C求取與OXY平面平行及與OYZ平面平行的截面形狀特征數據。由于點云數據的離散性，因此用以截面為中心的兩個平行平面內的點數據向截面投影，再把截面投影點擬合的曲線作為截面的形狀特征線。兩個平面的間距δ根據Kinect深度傳感器獲取的點云密度選取，δ值不能太大，但應能保證截面投影點數據的連續性。

3.3單目線激光視覺系統測量可視性

3.3.1被測物體輪廓左右方向可視性

按照文獻[13]實驗方法，在有效測量深度范圍內,把物體固定在工作臺上的一平面繞OTZ1軸做旋轉運動，測量得到物面法矢與激光平面的左(右)方向極限夾角θl(θr)，若該處被測物體表面的切平面法矢與激光平面的夾角φl(φr) ≤θl(θr)，則該處表面可視。對測量結果利用最小二乘法進行擬合，得到θl(θr)：

(4)

(5)

其中，d為視覺系統到物面距離，單位為mm；θ的單位為rad。

根據式(4)、式(5)，在視覺系統設備坐標系中建立視覺系統被測物體左右方向極限可視輪廓曲線。

首先建立左極限被測物體可視輪廓曲線。圖4為左極限可視輪廓曲線示意圖，物面點M(x，y)法矢與激光平面的左極限夾角為θil，該處切矢T方向與X軸正方向的夾角為α=π-θil。

圖4　左極限可視輪廓曲線示意圖

在視覺系統設備坐標系中，式(4)的d=y，式(4)可表示為

(6)

由式(6)可得y(θil)函數為

(7)

由于

(8)

因此聯立式(7) 、式(8)可得

(9)

積分得

(10)

式(6)代入式(10)得到左極限可視輪廓曲線方程為

x=-188.68ln(sin(0.0053y+0.2731))+C1 θil<1.12rady=-2.066x+C2 θil=1.12rad}

(11)

其中，C1、C2為常數。

同理，得到右極限可視輪廓曲線方程為

x=97.09ln(sin(0.0103y+0.2278))+C3 θir<1.42rady=6.581x+C4 θir=1.42rad}

(12)

其中，C3、C4為常數。

根據式(11)、式(12)和視覺系統有效測量深度范圍，可得單目線激光視覺系統左右空間被測物體極限可視輪廓曲線，如圖5所示。

圖5　視覺系統物體表面左右方向可視性示意圖

如果某處物體表面輪廓與OXY平面平行方向的截面形成一曲線，其在OXY平面投影曲線的法矢與激光所在平面的夾角θi0>θl(θr)，則該處物體表面不可見。要使不可見區域的物體輪廓在視覺系統中可見，可把物體隨工作臺以旋轉中心OT為中心逆(順)時針旋轉一個角度α。

如圖5所示，在OXY平面投影形狀為ABCDEF的自遮擋物體表面中，CD∥AB，BC∥DE，BC⊥CD，平面BC、CD、DE組成內凹區域，平面AB、EF在同一平面上，為可視區域。由于物體的自遮擋結構，所以BC、DE為不可見區域，CD有部分區域為可視區域。如把物體表面ABCDEF繞OTZ1軸逆時針旋轉一個角度α，使平面A′B′上的A′和D′E′上的E′處平面法矢與激光所在平面的夾角θA′r0和θE′l0分別不大于該處的右極限面可視夾角θA′r和左極限面可視夾角θE′l，則平面A′B′ 、D′E′ 、E′F′ 和G′D′為可視區域。

3.3.2被測物體輪廓上下方向可視性

在有效測量深度范圍內，固定在工作臺上與X1軸平行的一物體平面隨工作臺繞X1軸做翻轉運動，可獲得被測物體平面的外法矢nin(m)與Z1軸正方向的極小翻轉角βin(極大翻轉角βim)。若該測量深度的物體平面法矢ni與Z軸正方向的夾角βi0∈[βin,βim]，則該物體平面可視。

根據測量距離與極小(大)翻轉角的對應關系，得到上下方向極小(大)翻轉角擬合函數方程如下[14]：

(13)

(14)

其中,βin、βim單位為rad。

與左右方向建立極限可視輪廓曲線同理，根據式(13)、式(14)，可在視覺系統設備坐標系中建立視覺系統上下空間被測物體極限可視輪廓曲線。

上極限可視輪廓曲線方程為

z=70.922ln(sin(0.0141y-0.6448))+C1 βin<0.6109rad0.7003y+C2 βin=0.6109rad{

(15)

下極限可視輪廓曲線方程為

z=-68.027ln(sin(-0.0147y+3.913))+C3 βim>2.618rad-0.5773y+C4 βim=2.618rad{

(16)

其中，C1、C2、C3、C4為常數。

根據式(15)、式(16)和視覺系統有效測量深度范圍，可得單目線激光視覺系統上下空間被測物體極限可視輪廓曲線，如圖6所示。

圖6　視覺系統上下方向的物體表面可視性

如果某處物體表面輪廓與OYZ平面平行方向的截面形成一曲線，其在OYZ平面投影曲線的外法矢與Z軸的夾角βi0<βin或βi0>βim，則該處物體平面不可見。要使不可見區域的物體輪廓在視覺系統中可見，可把物體隨工作臺繞OTX1軸逆(順)時針翻轉一個角度γ，γ的取值范圍如下：①對于上視方向物體表面(逆時針旋轉)，βin-βi0≤γ≤π/2-βi0；②對于下視方向物體表面(順時針旋轉)，βi0-βim≤γ≤βi0-π/2。

當物體繞OTX1軸逆(順)時針翻轉γ時，y值變小，由于極小(大)翻轉角在測量范圍內隨y的減小而變小(大)或不變，因此旋轉后該處物體輪廓在可視范圍內。如物體旋轉后超出測量范圍，則可調整視覺系統到工作臺旋轉中心OT的距離d0。

如圖6所示，在OYZ平面投影形狀為ABCDEF的自遮擋物體表面中,CD∥AB，BC∥DE，BC⊥CD，平面BC、CD、DE組成內凹區域。平面AB、EF在同一平面上，為可視區域。BC、DE為不可見區域，CD有小部分區域為可視區域。當物體表面同時繞OTX1軸逆時針翻轉一個角度γ，使平面A′B′、E′F′、C′D′的平面法矢與Z軸的夾角βD′im0不大于F′處的βF′im0，平面E′D′區域的平面法矢與Z軸的夾角βD′in0不小于D′處的βD′in時，則平面A′B′、E′F′、E′D′和D′G′為可視區域。

4自遮擋物體視點規劃方法實驗

將圖2所示自遮擋物體雙掛鉤模型固定在工作臺上，用Kinect深度傳感器掃描后得到的重建三維輪廓和初始位置時工作臺坐標軸OTX1、OTY1、OTZ1如圖3所示。

提取物體表面基本輪廓的截面信息，分析截面形狀特征，判斷被測物體輪廓的可視性，在最佳測量范圍內對物體單目線激光掃描進行視點全局規劃。以掛鉤在工作臺的初始位置為基準，進行視點全局規劃，需要6個視點才能夠獲取物體表面的所有三維信息，其中一種規劃方案的6個掃描視點位置見表1，其中選擇工作臺中心OT與視覺系統距離為140 mm，物體均處于最佳測量范圍內。各視點獲取物體表面情況如圖7所示。

表1　掛鉤模型線激光掃描視點位置

(a)視點1　　　　　　　(b)視點2

(c)視點3　　　　　　　(d)視點4

(e)視點5　　　　　　　(f)視點6

采用基于面貼合的方法重建[15]掛鉤三維模型如圖8a、圖8b所示。

掛鉤模型存在自遮擋結構，如采用文獻[10]等現有基于遮擋輪廓邊緣或投影重建孔洞三維輪廓的視點規劃方法重建自遮擋模型，重建結果會出現圖8c所示的模型內側表面和根部表面位置的自遮擋孔洞，很難消除。采用本文全局視點規劃方法從6個視點位置就能在測量系統的最佳測量范圍內獲取雙掛鉤模型表面的全部三維信息，準確、快速消除遮擋孔洞，有效實現物體三維重建。

(a)本文方法重建模型　　 (b) 本文方法重建模型截圖1　　　　　　　　　截圖2

(c)采用現有基于遮擋輪廓邊緣或投影視點規劃方法的孔洞示意圖

5結語

針對自遮擋未知物體的測量和三維重建問題，提出利用KinectFusion技術重建基本特征輪廓和全局視點規劃精密測量相結合的線激光視覺系統測量新方法。應用KinectFusion技術快速實時在線獲取被測物體的粗略輪廓信息，提取輪廓表面的截面信息，分析截面形狀特征，根據五自由度線激光測量系統的左右方向和上下方向測量可視性判斷，在最佳測量范圍內進行線激光精密測量全局視點規劃，準確、快速消除自遮擋和孔洞，所需視點少，線激光掃描時間短，能有效實現物體三維重建。利用Kinect深度傳感器使未知物體成為已知輪廓，今后可進一步提高Kinect深度傳感器的獲取精度和穩定性。本文在已知粗略輪廓基礎上進行線激光測量的視點規劃，在物體的三維空間進行全局規劃，比現有基于遮擋輪廓邊緣或投影獲取孔洞表面三維輪廓的視點規劃方法能更準確、快速地修補孔洞區域，同時在測量系統的最佳測量范圍內進行視點規劃，保證了測量精度。通過實驗，驗證了本文所提方法的有效性。

參考文獻：

[1]ChalmovianskyP,JuttlerB.FillingHolesinPointClouds[C]//MathematicsofSurfaces: 10thIMAInternationalConference.Berlin:Springer,2003,2768: 196-212.

[2]WangLC,HungYC.HoleFillingofTriangularMeshSegmentsUsingSystematicGreyPrediction[J].Computer-AidedDesign, 2012, 44(12): 1182-1189.

[3]AttenmM.ALightweightApproachtoRepairingDigitizedPolygonMeshes[J].VisualComputer,2010,26(11):1393-1406.

[4]ChesiG，HungYS.FastMultiple-viewL2TriangulationwithOcclusionHandling[J].ComputerVisionandImageUnderstanding，2011，115(2)：211-223.

[5]ZetuD,AkgunduzA.ShapeRecoveryandViewpointPlanningforReverseEngineering[J].TheInternationalJournalofAdvancedManufacturingTechnology，2005, 26: 1370-1378.

[6]JuX,SiebertJP,KhambayBS，etal.Self-correctionof3DReconstructionfromMulti-viewStereoImages[C]//IEEE12thInternationalConferenceonComputerVisionWorkshops.LosAlamitos:IEEEComputerSocietyPress, 2009: 1606-1613.

[7]徐進,柯映林. 點云部分缺失條件下邊界曲面直接擬合技術[J]. 機械工程學報, 2010,46(3):135-140.

XuJin,KeYinglin.BoundarySurfaceStraightFittingTechniquewiththeConstraintsofIncompletePointCloud[J].JournalofMechanicalEngineering, 2010,46(3):135-140.

[8]BantaJE,WongLR,DumontC,etal.ANext-best-viewDystemforSutonomous3-DObjectReconstruction[J].IEEETransactionsonSystemsManandCybernetics-PartA:SystemsandHumans，2000, 30(5): 589-598.

[9]何炳蔚,陳志鵬,林東藝，等.融合SFS和主動視覺技術的未知物體重建方法[J]. 儀器儀表學報,2012,33(4):727-736.

HeBingwei,ChenZhipeng,LinDongyi,etal.ResearchonReconstructionMethodforUnknownObjectsthroughIncorporatingSFSAlgorithmandActiveVisionTechnology[J].ChineseJournalofScientificInstrument,2012,33(4):727-736.

[10]何炳蔚, 周小龍. 面向未知物體自動測量和重建的視點規劃方法[J].計算機輔助設計與圖形學學報，2010，22(8)：1374-1381.

HeBingwei，ZhouXiaolong.ViewPlanningMethodforAutomaticMeasurementandReconstructionofUnknownObjects[J].JournalofComputer-AidedDesign&ComputerGraphics，2010，22(8)：1374-1381.

[11]NewcombeRA,IzadiS,HilligesO，etal.KinectFusion:Real-timeDenseSurfaceMappingandTracking[C]// 10thIEEE/ACMInternationalSymposiumonMixedandAugmentedReality.LosAlamitos:IEEEComputerSocietyPress, 2011: 127-136.

[12]RahejaJL,ChaudharyA,SingalK.TrackingofFingertipsandCentersofPalmUsingKinect[C]//The3rdInternationalConferenceonComputationalIntelligence,ModellingandSimulation.LosAlamitos:IEEEComputerSocietyPress, 2011: 248-252.

[13]何炳蔚,周小龍.線激光三維測量儀中視覺傳感器規劃方法研究[J].中國激光,2010,37(6):1618-1625.

HeBingwei,ZhouXiaolong.ResearchofSensorPlanningMethodinLineLaserThree-dimensionalMeasurementSystem[J].ChineseJournalofLasers,2010,37(6):1618-1625.

[14]何炳蔚，林東藝，陳志鵬，等.三維物體視覺測量重構中解決遮擋問題的方法研究[J] . 中國激光，2011，38(7)：0708001(1)-0708001(10).

HeBingwei,LinDongyi，ChenZhipeng，etal.ResearchofEliminatingOcclusioninVisualConstructionofThree-dimensionalObjects[J] .ChinaJournalofLasers，2011，38(7)：0708001(1)-0708001(10).

[15]陳天凡，高誠輝，何炳蔚.基于表面貼合的不同視點傳感器點云拼合方法研究[J].中國機械工程，2012，23(24)：2968-2971.

ChenTianfan,GaoChenghui,HeBingwei.ResearchonPointsCloudRegistrationaboutSensorfromDifferentViewPointsBasedonSurfaceFit[J].ChinaMechanicalEngineering,2012,23(24)：2968-2971.

(編輯蘇衛國)

View Planning in Line Laser Measurement for Self-occlusion Objects

Chen Tianfan1,2Gao Chenghui2He Bingwei2

1.Fuzhou Polytechnic，Fuzhou，3501082.Fuzhou University，Fuzhou，350108

Abstract:Focusing on measurement and 3D reconstruction of unknown self-occlusion objects, a new view planning method was proposed combining with fast reconstruction using Kinect Fusion technology and line laser precision measurement. Firstly, the surface depth information model of unknown self-occlusion object was obtained quickly with Kinect Fusion technology, and then the cross section shape of the object was analyzed. According to measuring visibility judgment of the five degrees-of-freedom line laser measurement system about left-right direction and upper-lower direction, the global view planning was carried out based on the best measurement range,the self-occlusion and point cloud holes were eliminated accurately and quickly. Finally, the 3D object surface reconstruction with high precision was obtained.The reconstruction experiments of self-occlusion object show that the method is feasibility and effective.

Key words:machine vision; view planning； self-occlusion； Kinect Fusion； line laser

收稿日期：2015-02-05修回日期：2016-03-11

基金項目：國家自然科學基金資助項目(51175087)

中圖分類號：TP391

DOI：10.3969/j.issn.1004-132X.2016.10.015

作者簡介：陳天凡，男，1967年生。福州職業技術學院機械工程系教授，福州大學機械工程及自動化學院博士研究生。主要研究方向為數字化設計與制造、優化和規劃應用。高誠輝(通信作者)，男，1953年生。福州大學機械工程及自動化學院教授、博士研究生導師。何炳蔚，男，1973年生。福州大學機械工程及自動化學院教授、博士研究生導師。