手持式激光掃描點云與其內置影像的融合方法試驗研究

郭燕，袁希平，甘淑，李繞波

(1.昆明理工大學 國土資源工程學院，云南 昆明 650093； 2.滇西應用技術大學，云南 大理 671006；3.云南省高校高原山地空間信息測繪技術應用工程研究中心，云南 昆明 650093)

1 引 言

以激光掃描為代表的主動采集方式和以傾斜攝影為代表的被動采集方式為現實世界的三維數字化提供了直接有效的手段[1]。其中，激光掃描獲得的三維點云具有準確的位置信息(X，Y，Z)和強度信息(I)，傾斜攝影獲得的二維影像具有反映地物表面紋理的光譜(R，G，B)信息。三維激光點云與二維影像的融合是當前攝影測量與遙感領域的一個研究熱點[2～4]。目前，針對三維點云與二維影像的融合，應用需求較為突出的為機載LiDAR點云與航空影像[2，4，5]及車載激光點云與全景影像[3]的融合。而基于即時定位與地圖構建(Simultaneous Localization and Mapping，SLAM)技術的手持移動式激光掃描儀(Handheld Mobile Laser Scanners，HMLS)作為目前新興的便捷式測量設備，具有機載/車載移動測量系統和地面激光掃描系統不可比擬的優勢：機動靈活、無須依賴GNSS信號定位。將SLAM激光點云與影像數據進行融合既是對攝影測量與遙感應用領域的重要補充，也是兩類數據優勢互補進而提高點云應用價值的重要手段。

激光點云與影像的配準是二者融合的先決條件。目前，三維點云和二維光學影像的配準方法主要分為四類[2，6]：①基于特征匹配的2D-3D配準算法；②基于區域的2D-2D配準算法；③基于硬件標定的方法；④基于影像多視密集匹配生成影像點云與激光點云的3D-3D配準算法。其中，方法四直接將三維激光點云和二維影像的配準轉化為2個三維點集的空間配準問題，不僅克服了三維激光點云和二維光學影像之間特征差異大的問題[6]，而且突破了單張影像與點云配準的局限，實現數據三維立體化，保證對象空間結構的完整性。目前，二維影像密集匹配生成三維點云大多運用由計算機視覺領域發展起來的運動恢復結構(Structure from Motion，SfM)算法，該算法只與攜帶有場景數據信息的影像本身有關，并不依賴于相機類型、相機的拍攝位置、方向和幾何信息[7]，它是通過具有一定重疊度和不同視角的影像進行重建物體三維結構。本文針對手持式三維激光掃描儀ZEB-HORIZON及其內置ZEB-CAM相機同步采集到的激光點云和影像數據，將二維影像數據通過SfM技術生成三維密集影像點云，再將影像點云與SLAM激光點云進行3D-3D的配準。

針對手持式激光掃描儀ZEB-HORIZON獲取的數據在配套軟件GeoSLAM Hub中自動生成的真彩色點云紋理效果不好的問題，本文對SLAM激光點云與其內置影像進行融合，具體工作為：將該儀器內置相機ZEB-CAM獲得的影像通過SfM技術生成三維密集影像點云，然后對影像點云與采集到的激光點云進行3D-3D的配準，再通過K-D樹搜索最鄰近點對并將影像點云的RGB信息賦予激光點云，最終生成紋理清晰、視覺效果好的三維真彩色激光點云。

2 手持式激光掃描儀及其數據采集

2.1 儀器特征及其主要參數

本文選用英國GeoSLAM系列的ZEB-HORIZON手持式三維激光掃描儀，該儀器由激光掃描頭、飛螢8S運動相機ZEB-CAM、電池等組成(如圖1)，其系統主要指標及參數見表1。ZEB-HORIZON手持式三維激光掃描儀通過采用SLAM算法將二維激光掃描數據與慣性測量單元(Inertial MeasurementUnit，IMU)數據結合，生成精確的三維點云。作為一款移動便捷、采集高效的新興三維激光掃描設備，可廣泛應用于室內外各種場景的研究中。例如，文獻[8][9]使用該儀器的數據集來估算樹木位置、胸徑和樹高等有關森林調查信息；文獻[10]對比了該儀器與另外五種新興的掃描儀在森林中單株樹木的數據采集情況；文獻[11]驗證了在復雜的森林環境中該儀器數據能滿足土地測量精度標準；文獻[12]將該儀器用于小區平立面測量，并驗證了特征點誤差在 2 cm以內，可滿足立面測量的要求；文獻[13]使用該儀器對地下車庫進行測試，獲取平面圖并進行精度驗證，表明該儀器能夠滿足城市地下空間普查圖件的繪制要求。

圖1 ZEB-HORIZON手持移動式激光掃描儀

ZEB-HORIZON手持移動式激光掃描儀主要指標及參數 表1

2.2 數據采集

手持式三維激光掃描儀ZEB-HORIZON數據采集無須架站、搬站，儀器開機后便可工作。本文選取某校園內一處景觀石及其底座作為研究對象(如圖2)，考慮到點云密度、精度與數據采集時的掃描距離、掃描時間、移動速度、周圍環境等因素密切相關，為保證最終獲得高密度、高精度的SLAM激光點云。此次數據采集情況如下：①工作人員手持掃描儀，行走速度較緩，尤其是在拐彎進入新環境時；②掃描時距離掃描對象約 0.3 m～1.5 m，全程掃描時間約 7 min；③掃描路線最終形成閉合回路；④掃描對象周圍 10 m內沒有移動車輛和人。數據采集完成后，通過在配套的GeoSLAM Hub軟件中將geoslam點云格式轉換為通用的las點云格式，并加載ZEB-CAM相機同步獲取的視頻數據，可自動生成真彩色激光點云。但由于激光掃描頭以360°*270°旋轉方式采集點云，而ZEB-CAM相機只在行進方向的170°內獲取視頻影像，通過配套軟件自動生成的真彩色激光點云(如圖6)明顯存在“源”字和正面、背面底座的石碑模糊不清、景觀石的頂部顏色呈現錯誤的黃色等問題。因此，有必要通過后期處理來對該儀器獲取的點云顏色效果進行改善和優化。

圖2 試驗研究對象(手機拍攝)

3 激光點云與內置影像的融合

3.1 本文技術流程

本文對手持式激光掃描點云與內置影像進行融合生成真彩色激光點云的技術流程主要包含以下幾個步驟：①激光點云和影像點云的獲取；②點云的前期處理；③點云的配準；④紋理映射。如圖3所示。

圖3 本文的技術流程圖

3.2 基于SfM技術生成影像點云

基于立體像對的SfM方法可對普通非量測相機拍攝的具有重疊度的影像進行處理，且不依賴于相機拍攝位置、影像尺寸及拍攝焦距等，可實現處理過程自動化，不需要較多的專業知識和測量控制。SfM方法是利用高效的特征匹配算法從多張影像中尋找出像對間的一系列同名點，跟蹤同名點從一幅影像到另一幅影像，通過迭代光束平差法自動求解出相機的位置、姿態以及場景的幾何形態等信息，并采用非線性最小二乘算法不斷優化[14]。SfM算法的過程大致分為三步[15]：①尋找同名點。如運用尺度不變特征變換(Scale Invariant Feature Transform，SIFT)算法進行特征匹配尋找同名點；②估計相機位置和同名點坐標。根據一系列的同名點，通過迭代光束平差法可自動估算出相機的位置和姿態以及稀疏點云的三維坐標；③生成密集點云。基于已獲得的稀疏點云通過密集匹配算法，進而形成密集的影像點云數據。

目前許多商業軟件均可實現基于SfM技術生成三維影像點云，如Context Capture，AgisoftPhotoscan，SfM-PMVS，Pix4D等。本文利用Context Capture軟件將二維影像生成三維影像點云。將ZEB-CAM相機獲取的同步視頻數據轉換為具有高重疊度的二維有序影像照片，依據照片選取原則，選取影像清晰、特征明顯的影像照片共101幅，影像分辨率為3820*2160，焦距為 3 mm，感應器尺寸為 7.81 mm。通過在Context Capture軟件中進行自動化的解算和密集匹配便可生成高密度的三維影像點云。由SfM技術生成的影像點云是由數字彩色影像解算出來的，因此點云被賦予影像的真彩色，具有顏色屬性(RGB值)。而LiDAR點云只具有強度屬性信息，本身不能表現真彩色點云。SfM點云的真彩色屬性使得點云數據更具有立體感和真實感，且顏色屬性更便于區分不同地物的點云[7]。

3.3 點云去噪與平滑

由于SLAM算法是利用傳感器獲取空間數據進行不斷解算和匹配的，因此激光點云會存在厚度大、噪聲多的問題；而影像點云會存在密集匹配誤差，即使沒有空洞，點云表面也會呈現局部凹凸不平、覆蓋不均勻。直接將兩類點云進行匹配會嚴重影響ICP算法的正確收斂。為了提高配準的可靠性和效率，需要對兩類原始點云進行必要的處理。包括：①根據激光點云強度渲染、影像點云RGB渲染來裁剪出相同的研究區域。②對點云進行去噪與平滑。根據文獻[16]，采用統計濾波(Statistical Outlier Removal，SOR)算法去除噪聲和離群點，采用移動最小二乘(Moving Least Squares，MLS)平滑點云。其中，統計濾波本質是通過統計點云區域內點的分布密度來判別離群點，該算法的濾波質量由鄰域點的數目k和標準差倍數λ決定，本文中設置k為30，λ為2可得到較好的濾波結果。其次，通過采用移動最小二乘的方法對點云數據進行平滑，去除較小不規則噪聲、降低點云整體粗糙度，減小點云厚度，從而實現點云的平滑。以半徑 0.03 m計算點云平滑前后的粗糙度：激光點云粗糙度由 0.005 5降到 0.001 4，影像點云粗糙度由 0.001 5降到 0.001 0。點云平滑效果較好。③為了降低后期點云存儲量和工作處理量，以及保證點云細部特征較好地保存下來，對平滑后的影像點云和激光點云采用八叉樹降采樣算法進行抽稀，使兩類點云點密度保持在同一數量級。處理完的激光點云數量為 6 794 605，影像點云數量為 6 830 213，點云最小間距約為 0.001 m，屬于高密度點云。點云處理前后局部放大效果如圖4所示。

圖4 點云處理前后局部放大圖

3.4 激光點云與影像點云3D-3D的配準

激光點云與影像在本質上屬于異維異質數據，在同名點自動匹配方面存在一定困難。通過將影像生成影像點云并與激光點云進行粗配準和精配準，從而實現點云3D-3D的高精度匹配，將大大降低了點云與影像的配準難度。

(1)粗配準和精配準。若是沒有粗配準提供較好的迭代初始位置，精配準ICP算法往往會陷入局部最優解，而得不到全局最優解。由于本文選取的研究對象底座的拐角處有缺損，為更好地用于配準和精度測算，實驗前已在4個拐角處粘貼 3 cm*3 cm的標靶。因此，本文通過在Cloud Compare軟件中手動選取4個標靶中心點作為匹配點進行粗配準，既能保證配準精度同時配準速度快。通過粗配準，兩類點云能獲得較好的迭代初始配準位置，采用經典的最鄰近迭代ICP算法[17]進行精配準。

(2)配準結果分析。激光點云與最鄰近影像點云點之間的距離可以反映兩類點云的配準程度[18]。通過計算，配準后激光點云與最鄰近影像點云點之間的距離平均值為 0.003 4 m，標準差為 0.012 7 m，RMS為 0.008 5 m。配準后激光點云與最鄰近影像點云點之間的距離分布情況如圖5所示，兩類點云最鄰近點之間的距離基本集中在 0.02 m以內(圖中藍色區域)，極少數點之間的距離稍遠為 0.02 m～0.14 m(圖中綠色、紅色區域)。分析其原因為：①圖中藍色區域地物形狀較為規則，點云密度高，點云配準效果好；②圖中零星的綠色區域是稀疏、散亂的草叢，配準效果較差；③圖中紅色區域處于景觀石頂部(高約 2 m)，數據采集時手持掃描儀進行掃描，高度稍高采集時間相對較少，在激光點云進行統計濾波處理時便形成空洞，故配準效果差。

圖5 配準后最鄰近點之間的距離分布情況圖(俯視)

3.5 基于K-D樹搜索的紋理映射

將影像點云的RGB信息映射到對應的激光點云上以生成真彩色激光點云，是對點云和影像兩類數據的優勢互補。不同于大多數將二維影像的紋理映射到三維網格表面的紋理映射方法，本文直接在兩個三維點集中對點進行紋理映射。具體操作為：以源點云(激光點云)為基準，通過K-D樹在目標點云(影像點云)中建立k近鄰搜索，計算點間的歐氏距離，找出源點云中每個點在目標點云中距離最近的點，將最近點的顏色賦予源點云[19]，得到具有光譜信息的三維激光點云。

4 試驗結果分析

與儀器配套軟件GeoSLAM Hub自動生成的真彩色激光點云(如圖6)相比，本文生成的點云的顏色信息更豐富、紋理細節更明顯、視覺效果更好(如圖7、圖8所示)，而且在不改變激光點云數量、點云精度的同時，使點云屬性既保留了空間信息和強度信息，也具備了光譜信息。

圖6 GeoSLAM Hub軟件生成的真彩色激光點云

圖7 本文方法生成的真彩色激光點云

圖8 本文方法生成的真彩色激光點云局部放大圖

為檢查影像點云的RGB信息是否準確地映射到激光點云上，考慮到此次試驗的點云為高密度點云，將試驗結果的真彩色激光點云分別以RGB、intensity渲染，直接手動裁剪出“源”字和正面、背面石碑區域的點云。如圖9～圖11，圖中(a)(b)分別為以RGB、intensity渲染進行裁剪的示意圖；(c)為疊加的兩個裁剪框及其中心點，黃色為RGB渲染的，紅色為intensity渲染的；(d)(e)為疊加裁剪到的點云，(d)為RGB圖層置上，(e)為intensity圖層置上。從圖中可以直觀反映出真彩色激光點云的RGB與intensity有不同程度的位置偏差，再通過計算兩個裁剪框中心點坐標(X，Y，Z)的位置偏差量(如表2)來量化點云的RGB與intensity的空間位置偏差，從而反映出本試驗生成真彩色激光點云時光譜信息(R，G，B)的映射效果。

圖9 “源”字裁剪的情況

圖10 正面石碑裁剪的情況

圖11 背面石碑裁剪的情況

裁剪框中心點坐標及其位置偏差量(單位/cm) 表2

設以RGB渲染得到的裁剪框中心點坐標為(XRGB，YRGB，ZRGB)，以intensity渲染得到的裁剪框中心點坐標為(XI，YI，ZI)，則兩中心點坐標的空間距離為：

(1)

根據式(1)可計算出“源”字和正面、背面石碑三個區域的點云在以RGB、intensity渲染下的裁剪框中心點的空間距離分別為 2.04 cm、1.20 cm、0.93 cm，平均值為 1.39 cm，從而估算出真彩色激光點云的RGB相對于intensity存在的空間位置偏差量為 1.39 cm，也就是影像點云的RGB信息映射到激光點云上有 1.39 cm的空間位置偏差。根據表2可得到，點云的RGB與intensity存在的最大位置偏差量為 1.55 cm，最小為 0.12 cm，Z坐標的偏差量相比X、Y坐標的偏差量大，“源”字比正面、背面石碑的偏差量大。分析其原因為：在粗配準選擇特征點匹配時，選擇景觀石底座4個拐角上的標靶中心作為匹配點，而4個點都在同一水平面上，造成垂直方向上缺少匹配點，且“源”字距離匹配點相對較遠，點云紋理映射受前期配準結果的影響，導致點云的RGB信息在垂直方向上的映射效果不如水平方向上。但從彩色點云的整體紋理效果看，RGB信息映射效果還是較為可觀。

5 結 論

本文針對手持式激光掃描儀ZEB-HORIZON的顯著優勢以及自動生成的真彩色激光點云紋理效果不好的問題，創新地將儀器內置相機獲得的二維影像通過SfM技術生成三維密集影像點云，并將影像點云與采集到的激光點云進行融合，最終生成的真彩色激光點云不僅保留了空間信息和強度信息，還增加了光譜信息。與該儀器配套軟件GeoSLAM Hub自動生成的真彩色激光點云相比，本文生成的點云紋理信息更豐富、視覺效果更好，RGB信息映射到激光點云上的空間位置偏差小，且該方法簡單、高效。試驗表明本文方法用于生成真彩色激光點云是可行有效的。同時，真彩色激光點云豐富的光譜信息將對點云后期的特征提取、分割與分類、模型構建等應用起到重要的輔助作用，將極大地提高點云的應用價值。