車載全景影像與激光點云數據配準方法研究

閆　利，曹　亮，陳長軍，黃　亮

(武漢大學測繪學院，湖北 武漢 430079)

Registration of Vehicle-borne Panoramic Image and LiDAR Point Cloud

YAN Li，CAO Liang，CHEN Changjun，HUANG Liang

?

車載全景影像與激光點云數據配準方法研究

閆利，曹亮，陳長軍，黃亮

(武漢大學測繪學院，湖北 武漢 430079)

Registration of Vehicle-borne Panoramic Image and LiDAR Point Cloud

YAN Li，CAO Liang，CHEN Changjun，HUANG Liang

摘要：全景影像與激光點云的高精度配準是車載移動測量系統中多傳感器數據集成處理的關鍵環節。本文針對車載多面陣拼接全景影像與激光點云的配準問題，提出了一套高精度的數據配準方法。通過高密度的靜態激光點云解算每個面陣CCD在激光掃描儀坐標系下的外標定參數，以實現單張CCD影像與激光點云在掃描儀坐標系下的配準，在全景拼接過程中全景影像與單張CCD影像精確的映射關系已知，利用掃描儀坐標系、POS坐標系及WGS-84坐標系間的轉換關系即可獲得全景影像與激光點云在物方坐標系下的動態、高精度的配準參數。試驗表明該數據配準方法精確可靠、適用性強，能滿足基于全景影像與激光點云數據融合的城市道路竣工、部件采集、目標提取、三維重建等高精度量測應用需求。

關鍵詞：車載移動測量；全景；激光掃描儀；配準

一、引言

近年來，高效、高精度的城市信息采集技術的發展與應用使測繪領域發生了巨大的變革。車載移動測量系統(mobile mapping system，MMS)結合激光掃描儀、CCD相機、高精度定位定姿系統(position and orientation system，POS)、車程編碼器等多種優異的傳感器，是近年來快速發展的一種新型集成高效的測量系統，廣泛應用于地理空間數據采集與更新，并逐漸成為三維城市數據獲取的重要方法[1]。車載移動測量系統的最大優勢是多傳感器數據的集成采集與處理，而多傳感器數據的高精度配準是數據集成處理的前提。本文重點解決車載移動測量系統中全景影像與激光點云的數據配準問題[2]。

國內外學者對CCD影像與激光點云數據配準問題進行了廣泛的研究。文獻[3]用掃描儀和相機對平面棋盤格標定板進行同步測量，以求解二維激光掃描數據與框幅式影像的配準參數；受文獻[3]方法的啟發，文獻[4]實現了對三維激光掃描數據與框幅式影像的外配準；文獻[5]使用特殊的標定桿對二維激光掃描數據與CCD影像進行數據配準；文獻[6]同樣使用平面棋盤格來對三維激光掃描數據與CCD影像進行數據配準；文獻[7]給出了一種配準二維激光掃描數據與全向相機影像的方法。以上這幾種影像—點云配準方法均需借助特殊的標定合作目標，而且由于激光掃描數據分辨率低且不一致，使激光點云與影像間高精度的點、線特征對應的獲取非常困難[8]，因此在實際應用過程中有一定的局限性。為了克服光學影像與激光點云在成像特性上的差異所帶來的問題，基于統計和信息論的方法在二者的標定問題上得到了應用。文獻[9]使用互信息對影像與點云之間的強度與反射信息進行配準；文獻[10]使用互信息對城市街區的光學影像與激光點云進行配準。然而，這些基于互信息的影像與激光點云配準方法僅在城市場景中具有非常好的適應性，其在自然場景中的應用有非常大的局限性[11]。

已有的方法大多集中在解決普通框幅式影像與2D/3D激光點云的數據配準問題，且局限于解決單測站、靜態數據的配準問題。

本文針對車載移動測量系統中多面陣拼接全景影像與激光點云的數據配準問題，提出了一套適應性強、精度高的標定方法。該標定方法在全景拼接過程中獲得全景影像與單張CCD影像精確的映射關系，通過分別對組成全景相機的單個CCD相機進行內標定及在激光掃描儀坐標系下的相對外標定，并結合掃描儀坐標系、POS坐標系、WGS-84坐標系間的轉換關系，即可實現全景影像與激光點云在物方坐標系下的高精度配準，為后續全景影像與激光點云的集成處理奠定基礎。

二、車載移動測量系統集成

車載移動測量系統是一個多傳感器集成的自動化數據采集系統，可實時完成載體的GPS定位、姿態解算、城市三維空間信息的激光掃描數據及全景影像數據的采集。系統搭載的傳感器主要有兩類：一類是位姿傳感器，包括GPS、慣性測量單元(IMU)及車輪編碼器，用于獲取車載系統的位置和姿態；另一類是數據采集傳感器，包括激光掃描儀和全景相機，其中三維激光掃描儀用于獲取目標的三維幾何信息，而全景相機則用于獲取目標的紋理特征，如圖1所示。

圖1　車載移動測量系統結構圖

本文主要討論車載移動測量系統中全景相機與激光掃描儀的集成標定問題，因此對車載移動測量系統中使用的全景相機和激光掃描儀進行簡單的介紹。

1. 多面陣拼接全景相機

目前國內外已經有多家廠商推出了成熟的全景相機，如PointGrey、CycloMedia、EyeScan、Fodis等。但現有的全景相機存在分辨率不高、價格昂貴，以及全景映射過程未知，無法自主控制等缺點，因此課題組自主研發了基于面陣CCD拼接的高分辨率全景相機。該全景相機由8個分辨率為2058像素×2456像素的工業CCD鏡頭沿水平方向均勻排列而成，如圖2所示。全景影像采集時，由時間同步系統控制8個CCD鏡頭同時曝光，通過全景拼接獲得分辨率為9173像素×2294像素的全景影像。拼接過程中保證像點攝影光束的方向不變，且記錄拼接全景與原始單片的像素對應關系。

2. 激光掃描儀

車載移動測量系統集成了Riegl公司兩種不同型號的激光掃描儀：2D/3D一體化掃描儀VZ-400和路面2D掃描儀LMS-Q120i，其中VZ-400掃描儀安裝在車體的右后側，用于獲取車輛兩側的目標點云信息，LMS-Q120i掃描儀安裝在車體的后部，主要用于獲取地表面點云，從而實現場景三維空間信息和反射強度信息的全方位獲取。

圖2　全景相機內部示意圖

三、車載全景影像與激光點云數據配準

全景影像與激光點云的數據配準是使全景影像能與物方坐標系下同一場景的激光點云進行“套合”，即需要恢復全景影像拍攝瞬間相機在物方坐標系下的位置與姿態，并使全景影像中每個像素構成的攝影光束與物方點云形成對應。

圖3　全景影像與激光點云數據配準法

在全景拼接時，全景影像與單張面陣CCD影像間的映射關系可精確得到；激光掃描儀坐標系與POS坐標系之間的轉換關系可通過建立高精度標定控制場解算獲得，該過程在本文中不作詳細介紹；而POS坐標系與WGS-84坐標系間的轉換關系可由POS數據插值獲取。因此，若能得到單張面陣CCD影像與激光點云在激光掃描儀坐標系下的配準參數，則可實現車載全景影像在物方坐標系下與激光點云的高精度配準。另外，由于全景成像系統的8個CCD鏡頭為非量測工業鏡頭，成像畸變大，內方位元素未知，故需要首先對CCD鏡頭進行內標定。車載移動測量系統中的主要傳感器——激光掃描儀、全景相機、POS系統被固定在剛性平臺，其相對位姿關系穩定不變，本文全景影像與激光點云數據配準方法描述如圖3所示。

1. 單片影像與點云的相對配準

依據本文車載全景影像與激光點云的數據配準方法，其核心步驟在于將8個CCD鏡頭與激光點云在激光掃描儀坐標系下進行配準，即獲取CCD鏡頭在掃描儀坐標系下的外方位元素。由于課題組車載系統所采用的VZ-400掃描儀能夠支持在同一掃描坐標系下的移動二維線掃描及靜態三維全景掃描兩種工作模式，因此可利用VZ-400掃描儀在車載系統保持靜止狀態下的三維全景高密度掃描數據為CCD鏡頭的標定提供控制點。

在合適的標定場景中布設靶標，靶標需分布均勻，且要在深度方向上有豐富的變化。調整車載系統至合適位置及方向，并在車載系統靜止條件下依次利用8個CCD鏡頭獲取標定場景影像，且使用VZ-400掃描儀獲得標定場景的激光點云數據。標定數據獲取后，在每張影像和其對應的激光點云數據中選取4個以上的靶標控制點，得到其對應的圖像坐標(x,y)及激光掃描坐標系下的激光點坐標(X,Y,Z)，結合內標定所獲取的相機內方位元素(x0,y0,f)和畸變參數，得出共線方程

(1)

式中，dx、dy分別為像點在x、y方向的畸變改正量；XS、YS、ZS分別為CCD相機在掃描儀坐標系下的位置TCL的3個分量；而ai、bi、ci(i=1,2,3)則構成旋轉矩陣RCL的9個元素。

由共線方程列出對應的誤差方程并迭代優化，即可求得CCD鏡頭與激光點云的在掃描儀坐標系下的相對配準參數。

2. 全景影像與點云的絕對配準

設某物方點P在全景影像上成像并同時獲得其激光點數據，將全景影像與點云在物方坐標系下的配準即是求得全景成像坐標系與物方坐標系下點P的轉換關系，其中涉及全景成像坐標系、單片坐標系、掃描儀坐標系、POS坐標系和物方WGS-84坐標系，其轉換關系描述如圖4所示。

由全景與單片的映射關系，可以獲取該點在對應單片影像的像空間坐標系下的坐標(XC，YC，ZC)。利用上節中求得的8個CCD鏡頭在激光掃描儀坐標系下的外方位元素TCL、RCL，則該點在單片像空間坐標系與激光掃描儀坐標系的轉換關系描述為

圖4　坐標系統關系轉換示意圖

(2)

式中，(XL，YL，ZL)為該點在掃描儀坐標系下的坐標。通過系統標定，掃描儀坐標系與POS坐標系的轉換關系TLP、RLP已知，若記POS坐標系下點的坐標為(XP，YP，ZP)，則由掃描儀坐標系到POS坐標系轉換關系為

(3)

(4)

式(2)—式(4)分別描述了掃描儀坐標系、POS坐標系、WGS-84坐標系之間的轉換關系。將全景影像與激光點云進行配準就是要獲得二者在WGS-84坐標系下的轉換關系。若設單片的像空間坐標系與WGS-84坐標系的轉換矩陣為RCW、TCW，則兩坐標系下的點滿足

(5)

根據矩陣推導可求得

(6)

TCW=TLW+RLWTCL

(7)

其中

(8)

(9)

將式(8)、式(9)代入式(6)、式(7)，即可計算出RCW和TCW。

四、試驗與分析

1. 全景影像與點云數據融合精度

由上述車載影像與點云數據配準方法可知，全景影像與激光點云在WGS-84坐標系下的配準其最核心的環節是求得單個CCD鏡頭在掃描儀坐標系下的相對配準參數。以某會展中心的選定建筑區域作為標定場景，采用上一節中描述的方法獲取標定數據。以3號相機為例，在影像和激光點云中提取了對應的10個靶標點，其中7個靶標點作為控制點平差解算標定參數，另外3個靶標點作為檢核點檢驗標定精度，坐標殘差統計見表1。

表1　影像與激光點云相對配準殘差　像素

由表1可知，平差解算后控制點的點位均方差為1.48像素，檢核點的點位殘差也在1.6個像素以內，標定精度滿足相關應用的要求。

獲得每個CCD相機在掃描儀坐標系下的標定參數后，在已知全景影像與單片的映射關系及掃描儀坐標系與POS坐標系轉換關系的情況下，經過POS數據插值，即可實現全景影像與激光點云在WGS-84坐標系的配準，配準效果如圖5所示。通過實地布設地物標志點對本文的數據配準精度進行驗證，測得在平均距離為30 m時影像的量測精度為9.907 cm。

圖5　車載全景影像與激光點云配準效果圖

2. 全景影像與點云數據融合效果

獲得車載全景影像與激光點云在物方坐標系下的配準參數后，通過數據融合的方式可以得到賦有地表真實顏色信息的彩色點云數據，如圖6所示。另外，將激光點云數據反投影到對應的全景影像上(如圖7所示)，也能進一步反映出點云與全景影像實現了很好的吻合。由以上融合效果可以看出影像數據與點云數據形成了較為精確的套合，也進一步驗證了本文車載全景影像與激光點云的數據配準精度。

圖6　融合后的激光點云

圖7　點云反投影到全景影像上的效果圖

五、結束語

本文給出了一種車載移動測量系統中精確可靠、適用性強的全景影像與激光點云數據配準方法，該方法通過對全景相機的各個CCD鏡頭進行內標定及在激光掃描儀坐標系下的相對標定，使單個CCD影像與激光點云在掃描儀局部坐標系下得到配準。結合全景拼接過程中全景影像與各個單片之間的映射關系及掃描儀與POS系統之間的標定參數，即可實現車載全景影像與激光點云動態、高精度的配準。通過實測數據驗證，本文的標定方法能滿足城市測量中多傳感器數據集成與處理的需求。

參考文獻：

[1]陳允芳，葉澤田.基于多傳感器融合的車載移動測圖系統研究[J].測繪通報,2007(1)：5-7.

[2]張帆，黃先鋒，李德仁.激光掃描與光學影像數據配準的研究進展[J].測繪通報,2008(2)：7-10.

[3]ZHANG Q, PLESS R. Extrinsic Calibration of a Camera and Laser Range Finder(Improves Camera Calibration)[C]∥Intelligent Robots and Systems.New York: IEEE, 2004.

[4]UNNIKRISHNANN R, HEBERT M. Fast Extrinsic Calibration of a Laser Rangefinder to a Camera[R].[S.l.]：Carnegie Mellon University,2005.

[5]WASIELEWSKI S, STRAUSS O. Calibration of a Multi-sensor System Laser Rangefinder/Camera[C]∥ Intelligent Vehicles’ 95 Symposium. New York: IEEE, 1995.

[6]GAURAV P.Extrinsic Calibration of a 3D Laser Scanner and an Omnidirectional Camera[C]∥7th IFAC Symposium on Intelligent Autonomous Vehicles. Lecce: International Federation of Automatic Control, 2010.

[7]MEI C, RIVES P. Calibration between a Central Catadioptric Camera and a Laser Range Finder for Robotic Applications[C]∥Proceedings 2006 IEEE International Conference on. New York:IEEE, 2006.

[8]GONG X J, LIN Y, LIU J. 3D LiDAR-Camera Extrinsic Calibration Using an Arbitrary Trihedron[J]. Sensors,2013,13(2):1902-1918.

[9]GAURAV P. Automatic Targetless Extrinsic Calibration of a 3D LiDAR and Camera by Maximizing Mutual Information[C]∥Proceedings of the AAAI National Conference on Artificial Intelligence. Toronto:AAAI,2012.

[10]MASTIN A, KEPNER J, FISHER J. Automatic Registration of LiDAR and Optical Images of Urban Scenes[C]∥Computer Vision and Pattern Recognition. New York: IEEE, 2009.

[11]MISHRA R, ZHANG Y. A Review of Optical Imagery and Airborne LiDAR Data Registration Methods[J]. The Open Remote Sensing Journal，2012,5(1):54-63.

引文格式： 閆利，曹亮，陳長軍，等. 車載全景影像與激光點云數據配準方法研究[J].測繪通報，2015(3)：32-36.DOI:10.13474/j.cnki.11-2246.2015.0069

通信作者：曹亮

作者簡介：閆利(1966—)，男，教授，研究方向為攝影測量、遙感圖像處理和車載移動測量技術。E-mail:lyan@sgg.whu.edu.cn

收稿日期：2014-01-15

中圖分類號：P234.5

文獻標識碼：B

文章編號：0494-0911(2015)03-0032-05