基于3D-SIFT與SICP的激光點云與影像配準方法

劉曉文 付莉娜 徐 工

(1. 山東廣源巖土工程有限公司, 山東 煙臺 264000； 2. 西安四維圖新信息技術有限公司， 陜西 西安 710000;3. 山東理工大學 建筑工程學院， 山東 淄博 255049)

0 引言

近年來,隨著三維激光掃描儀、相機以及無人機等多源傳感器的到來,使得激光點云和光學影像數據得到了廣泛的應用。三維激光掃描技術可以快速、無接觸、高精度地獲取目標物體的三維激光點云數據[1],但是獲取的激光點云數據缺乏紋理信息,相機或者無人機獲取的影像卻具有豐富的顏色紋理特征信息,因此將兩者進行融合不僅可以彌補兩種數據的不足,而且可以獲取更高精度的點云數據。兩種數據的配準是融合的重要步驟,其配準的精度和效率對兩種數據融合以及目標物三維模型重建都具有重要影響。

國內外的科研者對激光點云與影像的配準展開了大量的研究[2-4],主要將激光點云與影像的配準分為3類,第一類是將激光點云內插生成強度圖像,通過已有的圖像配準方法實現兩種數據的配準。劉燕萍等[5]通過提取建筑的特征角點進行激光點云與影像密集點云的粗配準,然后將激光點云轉化為灰度影像,并在影像中提取線特征實現了兩種數據的精配準。趙吉慶[6]通過將激光點云數據生成點云深度影像圖,然后利用尺度不變特征變換(scale invariant feature transform, SIFT )算法提取目標物點云深度圖以及影像中的點特征,實現了激光點云數據與影像的配準。張良等[7]通過將點云轉換為距離影像,然后利用SIFT算法從距離影像中提取建筑物的點特征和線特征實現了兩種數據的配準。以上方法在將激光點云轉換為影像時會引入內插誤差從而影響配準的精度。第二類是直接在激光點云和影像中提取特征,陳為民等[8]提出將影像投影中心、影像像點以及激光點云通過共方程建立聯系,實現兩種數據的配準。Chen等[9]從激光雷達(light detection and ranging,LiDAR)數據和影像三維點云中提取建筑物輪廓,從輪廓線中提取同名角特征,該方法提高了在激光點云和影像數據中尋找同名特征點的準確率,實現了兩種數據的配準。張永軍[10]從點云中提取目標物的角點特征,利用影像的外方位元素將點云的角點特征投影到影像上,通過相似性測度在航空影像上尋找同名角點特征實現點云數據與影像的配準。第三類是將光學影像生成三維點云,然后與激光點云數據進行配準,宋恒嘉[11]提出通過光束法平差獲取影像三維點云,通過迭代最近點(iterative closest point, ICP)算法實現了影像三維點云與激光點云的配準。荊路等[12]提出通過計算特征點的特征直方圖,然后利用一致性初始配準算法實現點云數據的粗配準,最后使用ICP算法實現點云的精配準。由于點云數量比較大,使用ICP算法進行點云配準時,存在效率低的問題,而且算法對初值的精度要求較高,且容易陷入局部最優解。

針對以上問題,本文提出基于三維(three-dimensional,3D)-SIFT與SICP的激光點云與影像配準方法,該方法使用3D-SIFT提取激光點云與影像三維點云中的特征點;然后通過對偶四元數解算激光點云和影像三維點云的初始變換矩陣,實現兩種點云數據的粗配準;最后在使用SICP算法實現兩種點云數據的精配準。該方法有效地減少了激光點云與影像三維點云中參加配準的點云的數量,避免了結果陷入局部最優解。

2 3D-SIFT 特征點檢測算法

尺度不變特征(SIFT)是由Lowe[13]提出的,主要被應用到二維圖像中特征的提取,因此，針對三維空間中特征點的提取3D-SIFT被提出,該算法由SIFT算法改進產生的,3D-SIFT算法主要利用三維點云中的曲率代替二維影像中的強度值,通過體素空間尺度的生成獲得三維點云中的特征點,其主要步驟包括點云尺度空間的構建、三維點云高斯差分尺度的構建、尺度空間極值點檢測確定特征點。下面將具體介紹這幾個步驟：

(1)首先通過確定體素柵格的大小,然后構建點云體素的金字塔,求解該體素中所包含的三維點云的重心,并用該重心近似替代該體素中包含的所有三維點云,從而實現點云尺度空間的構建。

(2)設步驟(1)中的金字塔一共具有A組,每一組具有S層,則第i層的三維點云金字塔尺度為Oi,其具體表達式如式(1)所示。

(1)

式中：o為三維點云起始尺度大小。

對通過以上方法獲取的三維點云尺度空間中每個點計算其高斯過濾響應值W和點云相鄰尺度的高斯差分值V,并對點云3σ(σ為點云的平均距離)鄰域范圍內的點進行曲率值高斯加權,從而實現三維點云高斯差分尺度的構建。

(3)如果某一個三維點的高斯差分值V與其鄰域范圍內的點和相鄰上下2個尺度鄰域范圍內的高斯差分值的大小都為極值,則該三維點云即為特征點。

3 點云配準

3.1 基于對偶四元數的點云粗配準

對偶四元數(dual quaternion)由四元數和對偶數兩部分組合而成,對偶四元數的具體形式為

(2)

(3)

式中，G為反對稱矩陣,如式(4)所示。

(4)

則得到的對偶四元數與旋轉和平移矩陣之間的關系為

(5)

通過計算可得旋轉矩陣R和平移矩陣T,并用k和r對其進行表示,如式(6)所示。

激光點云與影像點云配準的最終目的是確定三維影像點云從影像坐標系到激光掃面坐標系下的關系,其實質是兩個點云集之間的坐標轉換,轉換模型[14]為

(7)

式中，X2、Y2、Z2為激光掃描系下的點云坐標;X1、Y1、Z1為影像坐標系下的影像點云坐標;R為旋轉矩陣;T為平移矩陣;λ為縮放因子。

(8)

只需從激光點云和影像三維點云中提取至少3對近似同名特征點,然后對式(8)進行線性化,最后通過最小二乘算法即可獲取激光點云與影像點云的初始變換參數,實現激光點云與影像三維點云的粗配準。

3.2 精配準

由于經典的ICP算法在精配準過程中無法考慮到兩個點云集之間存在的尺度問題,因此本文使用SICP算法進行激光點云與影像三維點云的精配準,在精配準過程中考慮兩個三維點集的尺度大小,精配準模型如式(9)所示。

(9)

式中，R為旋轉矩陣；T為平移矩陣；λ為縮放矩陣；pi為激光點云點集；mj為影像三維第點集。

在迭代求解配準參數的過程中利用多維尺度因子的迭代方法,將尺度因子分為3個方向,分別為x、y、z方向,M=diag(S1,S2,S3),然后利用最小二乘方法以及光束法平差解算激光點云與影像三維點云之間的精配準參數。

經過激光點云和影像點云的粗配準,大致將影像三維點云調整到與激光點云近似的位置上,從而保證在精配準過程中具有較好的收斂性。

4 實驗分析

本章實驗環境是Intel(R) Core(TM) i7-7700K CPU @ 4.20 GHz, 運行內存為32 GB,操作系統為Windows 10的計算機。本文實驗數據采用Open Heritage 3D 平臺上提供的數據——越南亭子進行實驗,亭子的影像數據以及激光點云數據是分別采用型號為尼康D810的數碼單反相機、型號為大江精靈4Pro的無人機以及型號為法魯焦點X330的激光掃描儀獲取的,如圖1和圖2所示。

(a)遠景

圖2 亭子激光點云數據

亭子影像通過SfM算法生成三維影像點云,如圖3所示。亭子激光點云和影像數據的基本信息如表1所示。

表1 實驗基本信息介紹 單位：個

4.1 特征點提取結果

利用本文方法在激光點云和影像三維點云中提取的特征點如圖4所示。由圖4可知,激光點云中提取的特征點在底部和中間部位較多,但在亭子頂部提取的較少,分析主要原因是由于亭子頂部過高,使用三維激光掃描儀獲取的頂部點云較為稀疏,因此導致在頂部點云中提取的特征點較少;由影像生成的三維點云質量較好,整體點云較為均勻,因此提取的特征點分布也較為均勻。從激光點云和影像點云中提取的特征點的個數分別為3 484、3 964個,后續只需從提取的特征點中選取一定的數量的同名點特征進行激光點云與影像三維點云的配準,因此可以有效地縮短在目標點云和源點云中搜索配準基元的時間,從而提高點云配準的效率。

4.2 激光點云和影像配準結果

分別從亭子激光點云和影像三維點云中提取的特征點中選取5對同名特征點基元進行亭子的激光點云和影像配準實驗,并且將本文方法與經典ICP方法進行對比。為了說明激光點云與影像點云的配準精度,本文選用配準后激光點云與影像點云之間的距離平均值和中誤差作為精度評定指標,兩種方法的配準結果和配準精度如表2所示。

表2 兩種方法的激光點云與影像配準結果

由表2可知,本文方法與基于ICP的配準方法解算的旋轉矩陣、平移向量以及尺度因子在數值上存在一定的差距,說明兩種方法獲取的配準精度不同,亭子激光點云與影像點云的尺度因子為0.985、0.891。本文方法與ICP算法獲取的激光點云與影像點云之間的距離平均值為0.35、0.48 cm,中誤差為0.24、0.41 cm,配準時間分別為69、85 s。因此，本文方法的配準精度和配準效率都高于ICP的配準方法。

為了進一步驗證提取的同名特征點數量對激光點云與影像點云配準結果的影響,從激光點云以及影像三維點云提取的特征點中分別選取3、5、20、100、200、500對同名特征點進行配準實驗,獲取的配準結果如圖5所示。圖5中橫坐標表示選取的同名特征點對數,縱坐標表示配準后激光點云與影像點云之間的距離平均值和中誤差。

圖5 不同數量同名特征點對獲取的點云配準結果

由圖5可知,選取不同數量的同名特征點對進行激光點云與影像點云之間的配準,獲取的距離平均值均在0.4 cm以下,中誤差均在0.3 cm以下,由此可知,同名特征點的數量對點配準結果影響較小。

在配準前,亭子激光點云和影像三維點云的位置姿態如圖6所示,獲取的原始激光點云和影像點云的位置存在偏離,使用本文方法獲取的粗配準和精配準效果如圖7所示,經過對偶四元數算法對激光點云與影像三維點云粗配準后,亭子的激光點云和影像點云大致移到了相同的位置,說明本文采用的粗配準方法獲取的配準結果較為準確,因此可以為后續的精配準提供可靠的參數初值。通過精配準后從效果圖可以看出,利用SICP算法配準后亭子的激光點云與影像三維點云配準質量較好,激光點云與影像三維點云充分融合在了一起,影像三維點云很好地填充了激光點云頂部以及底部缺失的部分,整體亭子的激光點云與影像三維點云貼合的較為緊密,證明了本文方法的有效性與可行性。

圖6 配準前激光點云與影像點云的位置

(a)粗配準

5 結束語

本文通過利用3D-SIFT算法提取激光點云和影像三維點云中的特征點,然后使用對偶四元數通過提取的特征點對激光點云和影像三維點云進行粗配準,最后利用SICP算法對激光點云和影像三維點云進行精配準。實驗結果表明,本文方法與經典ICP算法相比可以獲得更高的配準質量和配準效率,為激光點云與影像點云的融合提供了一種解決方法。但本文方法使用的3D-SIFT算法對質量較差的點云中特征點提取效果不是很好,在接下來的工作中對特征點提取算法將會展開進一步的研究。