手持線激光掃描視頻三維重建中的運動線提取算法

韓　碩　童曉沖　盧學良　安子閣　孫闊原

(信息工程大學地理空間信息學院　河南 鄭州 450001)

?

手持線激光掃描視頻三維重建中的運動線提取算法

韓碩童曉沖*盧學良安子閣孫闊原

(信息工程大學地理空間信息學院河南 鄭州 450001)

摘要為解決目前三維掃描設備結構復雜、價格偏高、操作繁瑣等問題，設計一種利用手持線激光運動掃描物體的視頻三維重建方案，并針對視頻中運動激光平面提取的難點問題，提出有效的解決方法。該方法基于每個像元鄰近時刻視頻幀中灰度信息的變化序列，內插出激光條紋邊界過該像元的時刻，使用時間空間變換方法求解過每個像元的激光條紋所處的光平面，再利用結構光測量原理逐像素獲取掃描物體表面的三維結構信息。使用該方法實現的視頻激光掃描，可以方便地對多次掃描結果進行點云融合，有效地避免單次掃描造成的點云漏洞，且較傳統結構光掃描過程中的線特征提取方法(曲線擬合法、Hessian矩陣方法等)，具有獲得的點云更加均勻規整、密度更高等特點，有利于后期點云數據的處理。

關鍵詞線激光視頻序列三維點云結構光測量

0引言

基于結構光的三維測量能夠快速、非接觸地獲取被測目標的三維信息[1]，該技術通過投影儀向被測物體投射一定編碼的光柵條紋，然后獲取變形的光柵圖像，完成物體的三維測量工作。以激光三角測量原理為基礎的線激光三維測量技術以大量程、速度快、效率高等優勢[3]，在實際應用中越來越受到青睞。目前大多數線激光三維測量系統依靠精密的機械傳動裝置控制激光器移動掃描被測物體，利用攝像機拍攝的視頻幀，通過光條中心提取算法提取二維圖像中激光條紋的中心坐標[4]，利用相關的幾何關系求解三維坐標。楊培[5]通過在機器人手臂末端安裝線激光視覺傳感器，利用立體視覺方法計算出目標物體的三維坐標數據。劉國文等[6]采用一個旋轉平臺，保持攝像機和激光器不動，完成三維測量工作。Banerjee[7]將線激光器安裝在一個可旋轉的掃描頭裝置上，利用一個微控制步進電機移動進行測量工作。通過分析現有系統的特點，主要存在下面幾個方面的問題：

(1) 大部分系統都需借助復雜硬件系統的幾何約束，其適用性、簡易性存在一定限制。

(2) 在掃描工作中，由于激光光條寬度不同、光照不均勻及待測物體表面反射率的差異等原因，難以準確、有效地獲取條紋中心坐標，并且采用光條中心獲取的點云數據，更易受噪聲影響[8]。

(3) 多次掃描得到的點云數據需要通過點云匹配方法才能進行配準。

為了克服傳統線激光測量的缺陷，本文設計了一套方案，立足常規設備，經過簡單的場景設置，在桌面上即可快速搭建系統，手持線激光器代替步進電機驅動，無需勻速運動，即可通過對視頻拍攝數據的處理獲得掃描物體的三維數據。在該方案中，針對視頻中運動線構成的激光平面提取難點，提出一種有效的解決方法，其核心思想是根據每個像元鄰近時刻視頻幀中灰度信息的變化序列內插出每個視頻像元對應的激光平面時刻，并使用時間空間變換求解過該像元所在的激光平面方程，最后采用結構光測量原理獲得物體表面均勻的點云數據。

1桌面系統搭建與問題分析

1.1桌面系統搭建

該方法所需設備包括一個線激光發射器、一臺CCD攝像機、兩塊平面板(或者桌面的夾角)以及打印的標定紙。選擇平坦桌面作為實驗場地，安置攝像機并固定，盡量保證被測物體處于像片中心，將平板H置于地面上作為試驗工作臺，平板V置于平面H后方作為參考板，系統構成如圖1所示。

圖1　桌面系統結構

1.2三維重建方法

選定參考坐標系，利用張正友標定法，標定出攝像機內外參數矩陣、畸變系數[9]。線激光發射器經透鏡投射出一個激光平面，與被測物體相交形成激光條紋，由于物體表面形狀的調制，激光條紋發生變形，借助平面H、V所在的平面方程，求出變形激光條紋所在的光平面方程，利用三角測量原理計算被測物體表面點的三維坐標[10,11]。

求解平面H、V所在平面方程方法類似，以水平面H為例進行說明，其求解過程如下：

(1) 設置參考坐標系OH-XHYHZH的坐標原點在水平面H上的棋盤格的左上角，OH-XHYH與桌面平行，ZH垂直桌面向上。根據攝像機標定步驟，求出攝像機坐標系與參考坐標系OH-XHYHZH的位置關系 。

(2) 設平面H的法向量nH=(0,0,10)T，可求出平面H的法向量在攝像坐標系下的方向為nHC(nx,ny,nz)。參考坐標系原點OH(0,0,0)在攝像機坐標下坐標為(Tx,Ty,Tz)。則平面H的平面方程可由下式計算得:

nx(x-Tx)+ny(y-Ty)+nz(z-Tz)=0

(1)

化簡得:

a1x+b1y+c1z+1=0

(2)

同理可以求出平面V在攝像機參考坐標系下的平面方程為:

a2x+b2y+c2z+1=0

(3)

如圖2所示，Oc-XcYcZc為攝像機坐標系，Oc是攝像機的鏡頭中心，點S是線激光的發射源，即線激光發射器，陰影部分表示紅色激光平面。平面W為像平面，平面H為水平工作臺平面，平面V作為參考平面。手持線激光發射器按照一個固定掃描被測物體，攝像機拍攝整個掃描過程。

圖2　幾何原理

圖2為激光器掃描過程中某一瞬時t時線激光的掃描姿態，紅色陰影部分表示激光平面，AB、BC、CD、DE、EF、FG為激光平面與場景的交線即為激光條紋，P為場景中物體上的一點，它在像平面上所對應的像點為p。像點p在攝像機坐標系下的坐標為(x,y,z)，則對應的光線束方程參數形式表示為：

(4)

式中(p,m,n)為光線束的方向向量。

設定參考行r1、r2、r3(如圖2中虛線所示)與激光條紋相交于x1、x2、x3。假設平面V、H在攝像機坐標系下的位置已知，利用xi對應光線束與平面V、H相交，求得參考點在攝像機坐標系下對應的三維坐標，根據求出的參考點坐標，采用最小二乘擬合激光平面在攝像機坐標系下的平面方程:

axc+byc+czc+d=0

(5)

聯立方程式(4)、式(5)，則物體表面點P的三維坐標就可以得到解算。分別對不同時刻下線激光對目標物體的掃描情況進行解算，即可獲得目標物體的三維信息。

其核心思想是將傳統的以條紋為基礎的數據獲取轉變成以像素為基礎的數據獲取，其具體步驟包括：

(1) 利用已知像元尺寸、攝像設備焦距和像主點坐標的情況下，求出所有像元的光線束方向。

(2) 設置閾值確定激光條紋左右邊界，計算像元a(i,j)(代表i行，j列像元)在整個視頻序列中進入激光條紋右邊界時間t1、離開激光條紋在左邊界時間t2，通過時間內插求解出在時間t1、t2時激光平面方程(以下簡稱時間內插法)。

1.3關鍵問題與分析

線激光三維重建方法中相機標定方法，幾何原理比較成熟，其最關鍵的問題是光平面的求解。現有的線激光三維掃描測量系統，通過求解激光條紋中心點坐標(以下簡稱光條中心法)擬合對應的激光平面方程，利用已知的光線束方向與激光平面相交求物體表面點的三維坐標。由于激光器發射的線激光并非理想的激光平面，在掃描時刻，與物體表面相交形成的激光條紋往往有若干像素，且激光光強分布不均勻，對于沒有物體遮擋的激光條紋部分如圖2中的AC、FG部分，通過光條中心提取算法，如hessian矩陣法[12]、高斯擬合法[13，14]等，可以高精度提取激光條紋中心坐標。但對于物體上的激光條，定位中心的難度隨著物體表面的復雜程度急劇上升，且效率較低。另外，在本實驗采用的手持激光器掃描物體的過程中，掃描的速度難以有效進行控制，按照傳統激光條紋提取方法，必定會導致獲得的點云數據分布不均勻，難以保證建模效果。

下文圍繞視頻數據中運動線構成的激光平面提取問題展開討論。

2視頻中激光平面提取方法

2.1確定激光條紋邊界

圖3　激光條紋與平面相交

為了重建三維模型，必須獲得逐個激光平面在攝像機坐標系下的平面方程。激光平面并非理想的平面，而是具有一定厚度，與平面H、V相交將產生四條明顯的直線v1、v2、h1、h2，如圖3所示。

圖4　視頻立方體

對視頻進行如下處理：把視頻每幀按照順序在k方向進行層疊(由于利用的是紅色激光，默認處理的紅色通道)，如圖4所示，x,y表示每幀像素的行列號，k表示視頻幀序列，每個小方塊的值為圖像坐標系中每個像元在相應幀中對應的灰度值。

隨著激光平面掃過物體，每個像素點a(i,j)都有自己對應的灰度變化信息，即從起初的最小值(沒有激光掃過)變化到最大值(像素點在激光條紋內)，激光掃過之后又回到原始的最小值。對任意像元其變化總如圖5所示。

在高中物理教學中，教師們經常會碰到學生的學習情緒不穩定、學生成績時上時下的現象.這是由于學生在物理學習的過程中遇到困惑或者是失敗造成的.教師在物理教學的過程中應該時刻關注學生學習情緒的變化，幫助學生們不斷地獲得成功的學習經驗，有利于建立他們的自信心，對物理學習保持高漲的情緒.教師在備課過程中，要結合學生實際的學習情況選擇相應的教學內容，切不可為了教學進度而忽略學生的學習進程，選擇適度的作業和試題，做到因材施教，讓學生嘗到學習物理成功的樂趣，樹立學生的自信心.

圖5　像元ai,j灰度值隨幀序列的變化情況

對任意給定的像素a(i,j)，我們定義vmax作為它整個視頻掃描序列中的灰度最大值。

vmax(i,j)=max{v(x,y,t)}

(6)

其中v(x,y,t)表示時間為t(即為第t幀)時位置為第x行y列的像素灰度值。

此時，需要設置一個動態閾值vb=σ×vmax來確定激光條紋的邊界，σ的選擇將在第三節討論。

選定參考行與激光條紋左右邊界相交，以右邊界第k幀為例，設參考行為r，在參考行上一定存在兩像元滿足v(r,j,k)>vb、v(r,j+1,k)

(7)

同理第k+1幀所在的激光條紋右邊界所在的位置為:

(8)

由于無法從遮擋區域的像素獲得任何的深度信息，同時為了減少計算量提高計算的效率，選擇一閾值I0，做如下判斷：

2.2計算激光邊界進入和離開像元時間

激光條紋邊界進入指定像元，其灰度變化信息如圖5的前半部分，在整個視頻掃描序列中一定存在兩幀k和k+1使得v(i,j,k)≤vmid,v(i,j,k)>vmid。由于兩幀之間相隔時間很短，可以認為兩幀之間的運動是勻速的，利用時間內插可求出激光條紋邊界進入像元ai,j的時間t1，其表達式如下：

(9)

激光條紋邊界離開指定像元，其灰度變化如圖5的后半部分，在整個視頻掃描序列中一定存在兩幀p和p+1使得v(i,j,p)>vmid,v(i,j,p+1)≤vmid，利用時間內插可求出激光條紋邊界離開像元a(i,j)的時間t1，其表達式如下：

(10)

2.3激光平面計算

在整個掃描圖像序列中選擇參考行，利用式(7)、式(8)求出參考行與激光條紋右邊界在第k幀和k+1幀的交點坐標j1、j2，利用式(9)求出每個像元與激光條紋邊右邊界相交的時間t1，求解出激光條紋在時間t1時邊界的亞像素坐標:

y=(1-(t1-k))·j1+(t1-k)·j2

(11)

根據求出的激光條紋右邊界的V1、H1上的三點像素坐標，求出對應的光線束方程，分別于平面V和H相交，即得到三點在攝像機坐標系下的坐標。已知過空間不在同一條直線上的三點可以擬合一個平面，求得激光條紋右邊界在時間t1時刻下的平面方程為π(t1)。

與求激光右邊界所在平面方程類似，我們可以求出激光條紋左邊界在時間t2時的平面方程π(t2)。

2.4三維點云數據獲取

為減少計算量，根據物體在視頻圖像中的尺寸，設置感興趣區域，對每幀圖像進行尺寸裁剪，計算出給定像元ai,j的光線束方程。根據已求出的激光條紋左右邊界的平面方程，利用射線平面相交，即可解出該光線束所對應的三維點坐標。對左右邊界平面上一系列的點進行相同的處理，即可獲得兩個點云數據集data1、data2，由于每個像素對應的的光線束不變，取兩點云數據的平均值作為該點的三維坐標，通過多次掃描就可以有效提高點云數據的精度。

3實驗與分析

本實驗用以搭建簡易桌面系統的實驗設備：包括卡片相機(三星藍調，帶攝像功能)、激光器(LS610)，攝像機的相關參數如表1所示。

表1　相機參數

實驗數據：將一個機器人模型放在實驗平臺P上，掃描前拍攝一張圖片作為背景圖片如圖6所示。手持線激光發射器從左到右盡可能以勻速掃描物體，攝像機同步記錄掃描過程。利用數字減影法，將獲取的每幀圖像減去背景圖像，獲取紅色激光條紋。

圖6　背景圖像

采用張正友標定法獲得相機參數如表2所示。

表2　標定結果

其平移單位為mm。

將全部幀像素值加載到影像立方體中，選取像平面上的像元a(i,j)(i=130,j=165)為例進行說明，其在整個掃描序列中灰度隨時間(視頻幀)變化如圖7所示。

圖7　像元灰度變化曲線

橫軸為時間即為視頻的幀數，豎軸為灰度。由圖7可知，像元a(i,j)在整個視頻序列中灰度最大值。分別取σ為0.3、0.5、0.7、0.9，其顯示效果如圖8所示。

圖8　不同閾值顯示效果

通過對比發現，如果σ選擇過小，激光條紋邊界就會過寬，實驗更易受到噪聲干擾，導致提取出很多錯誤點。如果σ選擇過大，激光條紋將過窄，利用左右邊界提取點云數據也就失去了意義，而且當σ>0.9時提取的結果將出現更多地噪聲點。因此，該文選擇σ=0.5進行實驗。利用式(9)、式(10)求得t1=16.398964、t2=18.500000。

已知同一時刻灰度值相同的點一定位于同一像平面上，選擇第10、第100、第470行作為參考行與激光條紋相交，利用式(7)、式(8) 參考行與激光條紋右邊界和左邊界的交點結果如表3所示。

表3　參考點坐標

平面H、V平面方程已求出，利用射線平面相交求出參考行與激光條紋邊界左右邊界3交點在攝像機坐標系下的坐標，求出左右邊界對應的激光平面方程分別為:

0.0101x+0.0155y-0.0122z-1=0

0.0097x+0.0150y-0.0121z-1=0

為驗證本方法的有效性，分別利用高斯曲線擬合法、Hessian矩陣法和本方法在同等條件下獲得點云數據，其有關信息如表4所示。

表4　三種方法對比

將背景圖像圖6顏色信息賦給點云數據，其顯示效果如圖9所示。

圖9　三種方法實驗效果

局部放大如圖10所示。

圖10　局部放大效果圖

通過對比發現：在實際應用中，利用高斯曲線擬合提取光條中心，算法簡單、點云提取速度快，但如果激光光條灰度分布不嚴格對稱，會使求得的極值點發生偏離實際光條中心的情況，導致提取到許多錯誤點；Hessian矩陣法雖能高精度提取激光條紋中心坐標，但圖像的每個點至少需要與二維高斯模板做5次高斯卷積[15]，其運算量大，且僅適合文獻[6-8]帶機械傳動裝置的情況，而且同高斯擬合法一樣，受激光器移動速度和攝像機幀率的限制，獲得的點云數據存在明顯的縫隙。相反，本文以像元為出發點，利用每個像元光線束與激光平面相交獲得點云數據，實驗結果表明該方法對物體表面反射率及噪聲的影響不敏感，其點云質量無論其密度還是分布，都較傳統的光條中心法有明顯的提高。

傳統的機械傳動裝置只能沿著固定的方向進行掃描測量，由于物體自身遮擋等原因，一次掃描存在大量的點云空洞。手持線激光器以任意的方向多次掃描，可以獲得攝像機某一視角下最大數量的點云。以一個網球為例，在同一視角下，改變掃描方向進行兩次掃描，對兩次獲得的點云數據進行融合，其效果如圖11所示。

圖11　多次掃描網球效果圖

4結語

近年來隨著3D打印技術的興起，使用簡單廉價的設備獲取桌面物體的三維模型數據，為3D打印機提供數據支持，利用本方法進行三維測量工作，通過實驗顯示出良好的效果，具有廣闊的應用前景。目前，仍如有如下局限：

(1) 多次掃描獲取的點云融合成最終的點云時所選的融合策略，本文只是簡單地對多次掃描的數據求平均值，沒有考慮點云之間的權值分配問題。

(2) 對于生成的點云數據精度，目前尚缺乏具體的評定指標；在以后的工作中，針對具體的問題還需進行更深一步的研究。

參考文獻

[1] Fu Yanjun,Wang Yonglong,Wan Meiting,et al.Three-dimensional profile measurement of the blade based on surface structured light[J].Optik-International Journal for Light and Electron Optics,2013,124(18):3225-3229.

[2] 孫宇臣,葛寶臻,張以謨.物體三維信息測量技術綜述[J].光電子·激光,2004(2):248-254.

[3] 李波.結構光三維物體面形測量與重建技術研究[D].哈爾濱理工大學,2007.

[4] 冀光強.基于線結構光掃描的水下三維重建技術[D].中國海洋大學,2013.

[5] 楊培,徐濱士,吳林.基于結構光三維視覺的再制造工件的測量及重建[J].焊接學報,2005,26(8):12-15.

[6] 劉國文,閆達遠.一種基于線結構光的三維視覺曲面測量方法[J].光學技術,2005,31(4):554-556.

[7] Banerjee S,Dutta S,Biswas P K,et al.A low-cost portable 3D laser scanning system with aptness from acquisition to visualization[C]// Digital Heritage International Congress (DigitalHeritage),2013.IEEE,2013:185-188.

[8] Liu Z M,Deng W Y,Lou X P.Extraction algorithm of light stripes center in the measurement system of structured light[J].Journal of Beijing Institute of Machinery,2009(1):42-45.

[9] 李彩林.基于結構光的手持式攝影掃描系統關鍵技術研究[D].武漢大學,2011.

[10] 沈杭錦,吳以凡,張樺,等.基于動態參數控制的結構光三維掃描系統[J].杭州電子科技大學學報,2013(6):53-56.

[11] 高世一,楊凱珍.變邊限高斯擬合提取激光條紋中心線方法的研究[J].儀器儀表學報,2011,32(5):1132-1137.

[12] Steger C.An unbiased detector of curvilinear structures[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1998,20(2):113-125.

[13] 孫盼慶,楊永躍,何亮亮.一種改進的高斯擬合法在光帶中心提取中的應用[J].電子設計工程,2012,20(13):179-181.

[14] Lukás J,Fridrich J,Goljan M,et al.Detecting digital image forgeries using sensor pattern noise-art.no.60720Y[J].Proceedings of SPIE-The International Society for Optical Engineering,2006,6072:362-372.

[15] 王春艷.激光測量中光條關鍵技術研究[D].吉林大學,2014.

收稿日期：2015-08-14。國家自然科學基金項目(41201392)。韓碩，碩士生，主研領域：計算機視覺與三維重建。童曉沖，副教授。盧學良，碩士生。安子閣，本科。孫闊原，碩士生。

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.036

MOVING LINE EXTRACTION ALGORITHM IN 3D RECONSTRUCTION OF HANDHELD LINE LASER SCANNING VIDEO

Han ShuoTong Xiaochong*Lu XueliangAn ZigeSun Kuoyuan

(InstituteofGeospatialInformationSurveyingandMapping,InformationEngineeringUniversity,Zhengzhou450001,Henan,China)

AbstractIn order to solve the problems of current 3D scanning equipment such as complex structure,higher price and complicated operations,we designed a 3D reconstruction scheme for the video of movingly scanning objects with handheld line laser,and proposed an effective solution aimed at the difficult problem of moving laser plane extraction in video.Based on the variation sequence of grey information in video frame at adjacent time of each pixel,the method interpolates the time the laser stripe boundary passing through this pixel,and calculates the light plane where the laser stripe of each pixel is on using time and space transform method,then it uses structure light measurement principle to acquire the 3D structure information of scanning object surface pixel by pixel.The video laser scanning implemented with this method can conveniently carry out point cloud integration on multiple scanning results,this effectively avoids the point cloud holes caused by single scanning process,and compared with the line feature extraction methods in traditional structure light scanning process such as the curve fitting method and the Hessian matrix method,etc.,the point cloud data obtained by this method has the features of more uniform and regular,higher density,etc.,which is conducive to point cloud data processing in later stage.

KeywordsLine laserVideo sequence3D point cloudStructure light measurement