無人機影像與激光點云數據的匹配方法研究

收稿日期：2023-11-02

課題項目：江蘇航空職業技術學院院級課題（JATC23010101）

DOI：10.19850/j.cnki.2096-4706.2024.03.028

摘" 要：多源數據的融合具有很強的實用性，可以彌補單一數據源的不足。激光點云數據具有真實的三維坐標信息，但其缺乏真彩色RGB信息，而無人機影像具有豐富的RGB紋理信息，將兩者融合具有很強的實用價值。不過兩者屬于非同源數據，融合具有一定難度，針對此問題，將三維激光點云數據通過針孔成像原理轉換為二維深度圖，然后采用基于SURF特征的匹配方法，將點云深度圖和無人機影像進行匹配，實現兩種異源數據的匹配。實驗結果表明，該方法較為可靠，可以為兩種數據的融合提供參考。

關鍵詞：激光點云；深度圖；無人機影像；匹配

中圖分類號：TP391.4" 文獻標識碼：A" 文章編號：2096-4706（2024）03-0128-04

Research on the Matching Method between Drone Images and Laser Point Cloud Data

ZHAO Jiqing1， 2， CHEN Hao1， 2， LIU Jialing1

（1.Jiangsu Aviation Technical College， Zhenjiang" 212134， China;

2.Zhenjiang Key Laboratory of UAV Application Innovation， Zhenjiang" 212000， China）

Abstract： The fusion of multi-source data has strong practicality and can compensate for the shortcomings of a single data source. Laser point cloud data has real three-dimensional coordinate information， but it lacks true color RGB information， while drone images have rich RGB texture information. Integrating the two has strong practical value. However， the two belong to non homologous data， which poses certain difficulties in fusion. To address this issue， 3D laser point cloud data is converted into a 2D depth map based on the pinhole imaging principle. Then， a matching method based on SURF features is used to match the point cloud depth map with the drone image， achieving the matching of the two types of heterogeneous data. The experimental results show that this method is relatively reliable and can provide reference for the fusion of two types of data.

Keywords： laser point cloud; depth map; drone image; matching

0" 引" 言

激光雷達測量技術是一種新型的商業化技術手段，其集全球定位系統、慣性導航系統和激光測距系統于一體，在航空航天、古建筑保護、工業等領域被廣泛應用[1]。激光雷達系統采集數據的方式多種多樣，可以在地面上直接利用三維激光掃描儀進行掃描，也可以搭載到無人機、無人船上進行數據采集。將激光雷達系統獲取的數據為點云數據，點云數據為地物真實的三維數據信息，可以真實地反映地物的真實狀況以及相對位置關系，具有高精度、高維度、高分辨率等特點，所以在數字孿生及虛擬仿真領域點云數據被廣泛應用。但多數激光雷達測量技術所獲取的點云數據不具有真彩色RGB信息，在識別地物以及視覺效果方面具有一定的缺陷，雖然部分激光雷達組合同軸相機，可獲取具有真彩色RGB信息的點云數據，但儀器價格較為昂貴，普及率并不高[2]。為獲取具有真彩色RGB信息的點云數據，需要進行多源數據融合，尋找具有真彩色紋理豐富的數據。無人機航測系統為無人機搭載可見光相機獲取地表信息的新型技術手段，其可以根據規劃的路線，對地面的地物進行信息采集，獲取影像信息，其獲取的影像數據具有紋理信息豐富、分辨率較高等特點，不過缺少真實的三維立體信息[3]。將以上兩種數據進行融合，可以得到具有真彩色RGB信息的三維模型，彌補了單一數據的不足，具有一定的意義。

匹配是融合兩種異源數據融合的關鍵一步，其建立起兩種數據之間的映射關系。通過數據之間的映射關系，可以將兩種數據的特點進行結合，進而實現數據的融合。影像之間的匹配方法較多，一般影像之間可以根據點、線、面等可見地物特征進行匹配。點、線、面等特征在影像上有較好的分辨性，易于算法的識別，用于匹配有較好的穩定性和可靠性，使影像能夠更好地產生關聯。但是當影像上的地物信息較為模糊時，匹配算法對于點、線、面的識別就會存在誤差，導致匹配結果不佳；此外，還有相關研究人員利用影像上的灰度值進行匹配，其原理為兩張具有重疊度的影像上具有灰度值高度相似的同名點，利用這些灰度值高度相似的點可以建立兩者之間的關聯，但這種方法要求影像具有明顯的灰度變化。除上述兩種方法外，研究人員還研究利用影像上具有高度不變性的相位信息進行匹配，這種匹配方法處理數據較為復雜，時間較長[4]。根據以上所述，本文將三維點云轉換成二維影像，由于點云數據具有地物真實的三維信息，其轉換成深度圖后會具有明顯的地物特征，所以采用基于特征的匹配方法，將二維點云深度圖和無人機航測影像進行匹配，實現兩種異源數據的匹配。

1" 點云深度圖的生成

深度圖也稱為距離影像，其像素值的含義為地物到任務載荷的距離，其可在二維層面表示三維信息。將三維點云生成二維平面圖像是從三維向二維的轉換，本文采用針孔成像模型實現這一過程。針孔成像模型的基本原理為現實世界中，某一物體光源通過針孔會在一平面上成倒立的像，其過程實現了現實世界中的三維物體到二維圖像的轉化[5]。激光點云到點云深度圖的轉換正是借助這一原理。

針孔成像模型和小孔成像原理相似，其涉及4個坐標，分別為表示物體實際位置的世界坐標系、以相機為中心建立的相機坐標系、以相平面為中心的平面坐標系和圖像本身的像素坐標系。要實現三維到二維的轉換，需要實現上述4個坐標系的轉換，分別為世界坐標系轉換到相機坐標系、相機坐標系歸化到平面坐標系、平面坐標系到像素平面坐標系的轉換。世界坐標系轉換為相機坐標系為剛性變換，只涉及旋轉和平移，較為簡單；相機坐標系歸化為平面坐標系需要借助相機的內部參數，建立兩者轉換的比例等式，進而進行轉換；平面坐標系和像素坐標系均為二維坐標系，由于兩者的度量單位不同，所以計算出兩個坐標系之間的比例關系，即可實現兩者的轉換。將4個坐標系的進行連貫轉換，可以實現三維規劃到二維平面，具體公式如式（1）所示：

（1）

式（1）中，u、v為像素坐標系；dy、dx為每個像素在圖像坐標系x和y方向的物理尺寸；f為攝像機的焦距；R、T為旋轉平移矩陣；XW、YW、ZW為世界坐標系。點云數據的三維坐標通過針孔成像模型轉換成為像素坐標系的二維坐標，其高度信息轉化為深度信息賦予圖像，形成假彩色深度圖。圖1是將假彩色機載點云通過針孔成像模型轉換成點云深度圖。

（a）機載點云" " " " " " " "（b）點云深度圖

圖1" 點云數據及深度圖

2" 影像匹配

影像匹配是建立兩張影像之間的映射關系，也稱為影像相關，這是數據融合的關鍵步驟。在上文中提到，影像匹配的方法及算法可以分為三類：一是基于灰度的匹配方法，其通過測定圖像之間像素灰度值的一致性來進行匹配，適用具有明顯灰度差異圖像之間的匹配。二是基于相位信息的匹配方法，相位信息位于圖像的頻率域中，算法處理過程較為復雜[6，7]。三是基于特征的匹配方法，圖像之間明顯的地物特征可以作為同名特征進行匹配，具有一定的穩定性且速度較快，點云轉換成深度圖后，圖像具有明顯的地物特征，所以對于無人機影像與點云深度圖的匹配，本文采用SURF算法進行。Bay等人在SIFT算法的基礎上，經過改進提出了相對穩定的快速特征檢測算法SURF算法，該算法不但速度較快而且較為穩定，其原因在于SURF算法簡化了高斯二階微分模板，將盒子濾波運算代替了圖像和高斯二階微分模板之間的高斯卷積運算[8]。圖像的積分圖像可以通過將原圖像上的所有像素進行一遍掃描得出，然后利用積分圖像的加減實現高斯濾波處理。在構建圖像金字塔的時候，將盒子濾波模板的尺寸反復進行擴大來實現線性尺度空間的構建，而且尺度空間的建立速度也被加快，圖2為簡化后的高斯二階微分模板。

在特征檢測方面，SURF算法和SIFT算法相似，通過構造Hessian矩陣來進行極值點的檢測。在特征點旋轉不變性方面，有一個確定的方向可以實現不變性，所以要實現圖像的移動和旋轉不變性，就要使圖像上的特征點具備一個主方向。SURF算法采用了Haar小波變換的響應值來確定特征點的主方向。首先，以特征點為圓心，在半徑為6 s的圓形區域進行Haar小波響應。然后，通過高斯加權對獲得的響應值進行處理[9，10]。較大的權重指定給靠近特征點的響應值，較小的權重指定給予特征點較遠的響應值。然后以特征點為中心，設計一個角度為1/3的扇形滑動窗口，旋轉窗口，得到窗口中的累積響應值作為新的矢量。遍歷整個圓形區域，以獲得的最長矢量的方向作為特征點的主方向，如圖3所示。

圖3" 特征點主方向圖

在確定特征點以及特征點主方向之后，對其進行特征描述，構建特征向量，進而進行特征匹配，算法會快速地將特征點進行關聯，得出兩張圖像的映射關系。利用SURF算法對點云深度圖和無人機光學影像進行匹配，能夠快速地檢測同名特征點將兩種數據進行關聯，具有較好的效果。

3" 點云數據與無人機影像匹配實驗

選取一組點云數據和影像數據進行匹配實驗，圖4（a）為無人機航測影像，真彩色RGB信息較為豐富，圖內包含明顯的建筑物信息；圖4（b）為加彩色機載點云數據，點數為15 091 907個，x、y、z的精度分別為0.060、0.060、0.008 mm，從點云數據可以看出，數據中地物信息也較為豐富，地物的三維信息較為真實，但缺少真彩色信息，不利于分辨出地物的位置。

（a）無人機航測影像" " " " " （b）激光點云數據

圖4" 匹配數據

對所選取的無人機航測影像和激光點云數據進行畸變糾正，濾波處理后，通過針孔成像模型算法，實現點云數據從世界坐標到像素坐標系的轉換，將點云數據轉換成深度圖，深度圖如圖5所示，本次實驗用假彩色RGB對點云深度圖進行了渲染，方便更加直觀地識別深度圖上的地物信息。在生成完點云深度圖后，利用SURF算法對兩幅影像進行匹配，同名特征點的匹配效果如圖6（a）所示，從中可以看出匹配點數目較多，多數分布在建筑物上。

為驗證匹配的效果，本文將兩圖進行融合檢驗，圖6（b）是將匹配后的圖像進行疊加，將點云深度圖按照匹配得來的映射關系進行內插重構，點云深度圖調整了大小和尺度，然后將其疊加在無人機影像上，從視覺角度來看，地物疊加效果較好，建筑物對應較為整齊。除此之外，為更加準確地辨別圖像的匹配情況，實驗又將兩張圖像做了棋盤圖，使其建筑物縱橫交錯，從棋盤圖的交錯情況可以看出，建筑物交錯的紋理重合較好，沒有相對的錯位，所以表明，點云深度圖和無人機影像匹配結果較好，實驗較為成功。

圖5" 點云深度圖

（a）同名特征點匹配

（b）圖像融合圖" " " " " " （c）圖像棋盤圖

圖6" 匹配結果

4" 結" 論

隨著數字孿生模型在各領域的普及，多源數據融合是大勢所趨。激光點云數據和無人機影像數據使用率較高，而且兩種數據各有特點，將兩者融合具有很強的實用性，而融合兩者的關鍵是兩種數據的匹配，點云和影像的匹配可采用間接降維匹配的方法，將點云數據通過針孔成像模型轉換成點云深度圖，然后利用快速匹配SURF算法匹配點云深度圖和無人機影像，建立兩者間的映射關系，繼而實現激光點云和無人機影像之間的匹配，為實現兩者的融合奠定一定基礎。為驗證兩者匹配的效果，還做了疊加圖和棋盤圖，從視覺檢驗方面看，結果較好，方法較為可靠。但在點云深度圖和無人機光學影像的同名點多集中在具有明顯建筑物的區域，分布上有些不均勻，后續還需要改進。

參考文獻：

[1] 韋景元，趙彥利.車載激光點云與全景影像匹配可視化 [J].北京測繪，2023，37（7）：975-980.

[2] 黃俊維.LiDAR點云與影像匹配點云的濾波方法研究與應用 [D].徐州：中國礦業大學，2022.

[3] 馬富明.無人機影像匹配點云在大比例尺DEM數據生產中的應用 [J].水科學與工程技術，2022（1）：61-64.

[4] 湯念.影像匹配點云與地面激光點云配準技術研究 [D].北京：北京建筑大學，2021.

[5] 鄭國威，賈鵬，李曉飛，等.無人機影像匹配點云技術在油氣田線路測量中的應用 [J].測繪標準化，2020，36（4）：66-68.

[6] 俞路路.光學影像與三維激光點云配準方法研究 [D].淄博：山東理工大學，2020.

[7] 李朝亮.機載視頻影像匹配與定位方法研究 [D].焦作：河南理工大學，2020.

[8] 趙吉慶. 基于特征的無人機航測影像非剛性配準方法 [J].信息技術與信息化，2023（1）：70-73.

[9] 周夢蝶. 融合影像匹配點云的機載LiDAR點云分類 [D].北京：中國地質大學（北京），2020.

[10] 水夢琦.基于影像匹配點云的精簡算法研究 [D].成都：成都理工大學，2019.

作者簡介：趙吉慶（1994—），男，漢族，山東濟寧人，助教，碩士研究生，研究方向：無人機測繪、點云與光學影像配準。