基于深度圖像的地面激光雷達與近景影像數據無縫紋理映射研究

胡春梅，李天爍，王晏民

(1. 北京建筑大學測繪與城市空間信息學院，北京 100044；

2.北京建筑大學現代城市測繪國家測繪地理信息局重點實驗室，北京 100044)

Study on T-LiDAR and Close-range Imagery Data Seamless Texture

Mapping Based on Depth Image

HU Chunmei，LI Tianshuo，WANG Yanmin

?

基于深度圖像的地面激光雷達與近景影像數據無縫紋理映射研究

胡春梅1,2，李天爍1,2，王晏民1,2

(1. 北京建筑大學測繪與城市空間信息學院，北京 100044；

2.北京建筑大學現代城市測繪國家測繪地理信息局重點實驗室，北京 100044)

Study on T-LiDAR and Close-range Imagery Data Seamless Texture

Mapping Based on Depth Image

HU Chunmei，LI Tianshuo，WANG Yanmin

摘要：地面激光雷達與影像數據通過配準和紋理映射生成彩色仿真模型，但由于分辨率的差異，相鄰兩張影像與模型的紋理映射會出現紋理接縫現象。針對這一問題，本文以點云深度圖像基準面為載體，把重疊影像投影到基準面上生成基準影像，并通過重疊基準影像的匹配對紋理接縫處進行糾正，糾正后無縫的基準影像再反投影回模型，生成無縫仿真模型。該方法解決了激光雷達與影像縫紋理接縫問題，具有一定的現實性意義。

關鍵詞：地面激光雷達；近景影像；深度圖像；紋理映射

一、引言

激光雷達與近景影像數據的配準和紋理映射可以對物體進行精細三維紋理重建，主要是按照分辨率的要求選擇適合的相機和鏡頭，對物體進行拍照，一般根據被測物的情況拍攝多張無紋理漏洞的影像，通過激光雷達點云與影像的配準和紋理映射生成彩色仿真模型[1]，這種配準屬于三維與二維的配準。目前上述配準的主要方法有：共線方程解法[2]、角錐體法[3]、直接線性變換解法[4-5]、基于羅德里格矩陣的直接解法[6-8]、單位四元數法等[9-10]、基于重心化空間相似變換模型與羅德里格矩陣聯合方法加之選權迭代配準[11]等。通過比較分析，最后一種方法既滿足了影像大角度的問題，又通過選權迭代提高了配準精度，但由于兩種數據分辨率的差異，在點云模型與影像的紋理建模中就會出現紋理接縫現象。對于紋理接縫問題，本文將重疊部分紋理投影到基準面上生成基準影像，通過小面元微分糾正消除幾何接縫，最后反投影回模型，生成無縫彩色模型。

二、點云與影像的配準

點云與影像配準是紋理建模的首要問題，本文采用基于重心化空間相似變換模型與羅德里格矩陣聯合加之選權迭代的方法進行配準。應用重心化的空間相似變換模型和正交旋轉矩陣與反對稱矩陣的關系，得到點云與影像配準角度參數的模型。其配準模型為

(1)

然后，應用改進的丹麥法選權迭代小粗差降權的方法對初始參數進行精確配準。改進的丹麥法權函數為

(2)

由于兩種數據的分辨率差異較大，相鄰影像間對于點云的紋理映射能夠達到無縫，但是當影像映射到模型上生成彩色模型時，該配準精度不能得到滿足，則會出現紋理接縫現象，本文以點云深度圖像為中介，把重疊影像投影到其基準面上，對基準影像進行匹配和微分糾正，再反投影回模型，生成無縫彩色模型。

三、深度圖像

深度圖像也屬于圖像的一種，它遵循一般圖像的格式。深度圖像與一般灰度圖像區別在于(如圖1所示)：一般灰度圖像從數學角度上只是一個二維矩陣，矩陣中每一點的元素值代表該點的灰度值g(x,y)；深度圖像也是一個矩陣，所不同的是矩陣中每點的數值不再代表圖像的灰度，而代表場景中可見點到某已知參考基準的距離，對于點云來說，通過點云擬合平面，對平面進行格網化，并存儲點云中點到平面的距離，就生成了點云深度圖像。

圖1　灰度圖像與深度圖像

四、基準影像的生成

為了解決相鄰影像與模型的紋理接縫問題，本文把重疊有縫部分的影像紋理投影到點云深度圖像上，這是一個數字微分糾正過程。本文應用點云的深度圖像模型，結合共線方程，對重疊部分影像進行微分糾正獲取基準影像，其生成步驟如下：

1) 根據點云擬合基準平面，依據影像重疊區域點云確定投影范圍，并以掃描分辨率設置深度圖像格網點間距。

2) 計算深度圖像上每個格網點的平面坐標

(3)

試中，(ox,oy)為點云在深度圖像基準面上左下角的坐標；(xCellSize,yCellSize)為格網的間距；(x,y)為格網點坐標；(X′,Y′)為(x,y)在深度圖像基準面上的坐標。

3) 根據格網點內插點云，獲得每個格網點對應點云的距離值，得到格網點的三維坐標(X,Y,Z)。

4) 根據精配準得到的參數和共線方程，計算每個格網點(x,y)的紋理坐標

(4)

5) 如果(u,v)沒有在整像素點上，則根據雙線性內插求取其紋理值G(u,v)，把該紋理值賦給基準面格網點(x,y)。

某建筑單張影像(圖2)和深度圖像(圖3)經過數字微分糾正生成的基準影像如圖4所示。基準影像不僅記錄了影像的信息，同時與模型間有著對應關系，不用把影像的信息放在模型上，利用基準影像與模型的關系進行紋理映射及可視化。對于相鄰影像間的紋理接邊現象，可以把相鄰影像投影到同一個基準面上，在基準面上對重疊區域進行幾何糾正，此過程在基準面上對影像進行了糾正，并沒有改變基準影像與模型的關系，方法簡單，實用性強。

圖2　原始光學影像

圖3　深度圖像

圖4　經由數字微分糾正后的影像

五、相鄰基準面影像的接邊

對于紋理接邊，本文應用重疊部分基準面影像的密集匹配生成同名點，再應用小三角面元的幾何糾正對重疊基準影像進行精確配準。

1. 基準影像的密集匹配

為了保證整體區域幾何糾正的均勻性和精確性，需要對重疊區域基準影像進行密集匹配，本文選用基于均勻網格的特征點的密集匹配，基準影像是糾正過的影像，匹配相對容易。為了得到準確的匹配點對，本文采用由粗到細的金字塔匹配，金字塔層數為2層，匹配策略如下：

1) 在頂層金字塔影像上進行SIFT特征匹配，并采用RANSAC方法進行粗差剔除，并進行反向匹配，應用得到的同名點計算仿射變換參數。

2) 在底層影像上對左影像分網格進行Harris特征密集提取。

3) 應用仿射變換參數，預測左影像每一個網格點在右影像的大概位置，再應用影像相關確定右影像上的同名點。

匹配的結果中難免會有一些誤匹配，在此，根據以下幾何條件進行約束：

1) 目標點的順序與同名點順序一致。

2) 同名點的橫縱坐標突變處視為粗差點進行剔除。

3) 同名點左右橫坐標相差不大。

互相關是一種多峰值函數，其最大值不一定對應著同名點[12]。對于一些紋理豐富的區域，影像相關的峰值即為匹配結果；但是對于一些紋理匱乏的區域，非峰值則有可能是同名點。為了滿足本文小面元的要求，對于一些相關性較弱的點，采用整體松弛法進行匹配。影像匹配算法按照執行的順序可以分為并行算法、串行算法與松弛算法3種。松弛算法是一種并行和迭代的方法，并行處理的同時，根據迭代過程中周圍點上的處理結果來調整其結果，是一種逐步逼近最優解的方法。假設左影像上的點為j，將j視為類別，共軛備選點視為目標Ai，對于左影像j，確定r個點作為j的共軛備選點，則目標集合為

(5)

假設目標Ai1、Ai2、…、Air與左影像點j的相關系數為ρ1、ρ2、…、ρr，則Aik∈Cj的概率為

Pik,j=ρk/∑ρ

(6)

假設h為i的相鄰像素，k為j的相鄰像素，同樣計算Ph,k，計算其兼容性C(i,j;h,k)。確定了Pi,j和C(i,j;h,k)，就可以根據下列公式進行松弛法運算

(7)

式中，n(H)為相鄰目標點的個數；m(K)和m(J)為從圖像匹配候選點的個數；r為迭代次數，如果P(r)>T(閾值)，則停止迭代，并確定可靠的對應點。

圖5為重疊區域基準面應用上述方法進行影像密集匹配的結果。

圖5　基準面影像密集匹配結果

2. 密集匹配點對的三角網構建

根據重疊基準影像數據，分別提取出相鄰兩張圖像(待糾正圖像和參考圖像)重疊區域的密集同名點對，然后將目標圖像上的同名點構建成三角網，再將參考圖像上的拓撲關系復制到待糾正圖像上。三角網的構建應盡量保持三邊均衡、角度均衡，應盡量防止其中一個角度過大或過小，本文采用狄洛尼三角網方法進行構網泰森多邊形與狄洛尼數據文件中的N個離散點在區域E上，用一系列直線段將區域E分割為N個相鄰的多邊形，且滿足以下條件：

1) 每個多邊形內僅有一個離散點。

2) 位于多邊形內的任意一點必須滿足

(8)

式中，j≠i。

3) 若與其所在的兩多邊形的公共邊上的點滿足下式

(9)

式中，j≠i。滿足以上3個條件的多邊形稱為泰森多邊形,將每兩鄰接的多邊形內的離散點用直線連接起來，所形成的三角網叫作狄洛尼三角網，泰森多邊形的分法是唯一的，每個泰森多邊形都是凸多邊形，多邊形不相交、不重疊。

六、小面元微分糾正

對上述得到的同名點建立三角網，對每一對同名的三角面片，應用小面元的仿射變換，計算變換關系式的參數，以每一個三角面片為單元進行幾何糾正。仿射變換的公式如下

(10)

應用該方法得到的密集匹配點進行幾何糾正，很好地解決了紋理接邊問題。在糾正過程中，本文采用按三角形內插RGB的方法進行糾正，該方法的基本思想是以三角形為單元，首先將待糾正圖像上的三角形的三個頂點按其變換參數糾正到目標圖像上，與此同時計算每個三角形的三個頂點在待糾正圖像的RGB值；然后計算出糾正后的三角形內所有像素點坐標，并使用反距離加權平均法內插出三角形內像素點的RGB值；最后根據像素點坐標及RGB值生成一副目標圖像。此方法生成的目標圖像質量較高、圖像連續性好、方法簡便。圖6為紋理接縫糾正前和糾正后的對比圖，從圖中可以看出本文方法解決了紋理接縫的問題。

圖6

七、結束語

激光雷達與多張近景影像的紋理接縫是紋理重建中的關鍵問題，本文應用點云與影像的高精度配準結果，通過點云的深度圖像及其基準面，生成基準影像，并應用基準影像的密集匹配和小面元微分糾正技術消除紋理接縫，生成無縫的彩色仿真模型，并

應用理論和試驗證明了該方法的可行性和正確性。但是，本文的研究只局限于基準面為平面的深度圖像，對于復雜物體，首先要對其進行分割，按照不同基準面，如球面、柱面等基準面進行基準影像生成和糾正，這些問題將在后續的研究中解決。

參考文獻：

[1]王晏民，黃慧敏，胡春梅.地面激光雷達技術在故宮保和殿數字化測繪中的應用[J]. 北京建筑工程學院學報,2012,28(3)：33-38.

[2]張劍清，潘勵，王樹根.攝影測量學[M].武漢：武漢大學出版社，2003.

[3]李德仁,鄭肇葆.解析攝影測量學[M].北京:測繪出版社,1992.

[4]張帆.激光掃描數據三維建模中高保真度紋理重建研究[D].武漢：武漢大學，2008.

[5]馮文灝.近景攝影測量——物體外形與運動狀態的攝影法測定[M]. 武漢：武漢大學出版社,2002.

[6]于志路，姚吉利，呂長廣.羅德里格矩陣在空間后方交會直接解法中的應用[J].測繪工程，2005,14(2):50-52.

[7]姚吉利,孫亞廷,王樹廣.基于羅德里格矩陣的數碼像片直接定向的方法[J]. 山東理工大學學報：自然科學版, 2006,20(2): 36-39.

[8]楊凡，李廣云，王力，等. 一種基于羅德里格矩陣的最小二乘迭代坐標轉換方法[J].工程勘察，2010(9)：80-84.

[9]王勇,姜挺,江剛武,等.基于單位四元數描述的單像空間后方交會[J].測繪科學技術學報，2007,24(2):133-135.

[10]江剛武,姜挺,王勇，等.基于單位四元數的無初值依賴空間后方交會[J].測繪學報，2007,36(2):169-175.

[11]王晏民，胡春梅.一種地面激光雷達點云與紋理影像穩健配準方法[J].測繪學報，2012，41(4)：267-272.

[12]孫家炳. 遙感原理與應用[M]. 武漢：武漢大學出版社，2003.

[13]閭海慶，鄒崢嶸，羅發明. 近景攝影測量中旋轉矩陣構成方法的研究[J].測繪科學，2007,32(3)：15-17.

[14]官云蘭,程效軍,周世健,等. 基于單位四元數的空間后方交會解算[J].測繪學報，2008,37(1):30-35.

引文格式： 胡春梅，李天爍，王晏民. 基于深度圖像的地面激光雷達與近景影像數據無縫紋理映射研究[J].測繪通報，2015(1)：66-69.DOI:10.13474/j.cnki.11-2246.2015.0013

作者簡介：胡春梅(1981—)，女，博士，講師，主要研究方向為地面激光雷達與近景攝影測量集成。E-mail：huchunmei@bucea.edu.cn

基金項目：國家自然科學基金(41401536)；國家測繪地理信息局科技計劃(2013CH-15)；北京市優秀人才培養項目(00921914013)；北京市人才強教青年英才計劃(21271413106)

收稿日期：2014-08-18

中圖分類號：P23

文獻標識碼：B

文章編號：0494-0911(2015)01-0066-04