地面三維激光掃描儀與外架數碼相機間安置參數的高精度標定

李明磊，高欣圓，李廣云，王　力，劉松林

(1.信息工程大學 導航與空天目標工程學院，河南 鄭州 450001；2.北京建筑大學 現代城市測繪國家測繪地理信息局重點實驗室，北京 100044)

?

地面三維激光掃描儀與外架數碼相機間安置參數的高精度標定

李明磊1， 2*，高欣圓1，李廣云1，王力1，劉松林1

(1.信息工程大學 導航與空天目標工程學院，河南 鄭州 450001；2.北京建筑大學 現代城市測繪國家測繪地理信息局重點實驗室，北京 100044)

提出了地面三維激光掃描儀與外置數碼相機安置參數的高精度標定方案。首先，利用商業化近景攝影測量系統對相機內參數進行單獨標定；然后，利用回光反射標志作為二維和三維匹配的同名控制點，對直接線性變換進行拓展應用，在算法迭代過程將內參數作為已知值對外參數進行求解；最后，根據相機數據采集特點確定其拍攝全景時多張影像之間的位置關系，對多張影像的外方位元素進行求解，從而實現全景點云與全景完整影像之間的映射。進行了實驗測試，利用安置參數標定結果反求驗證點像素坐標與真實測量結果之差驗證了本文標定方法的精度和可行性。實驗顯示：點云與影像間的映射精度可達到1像素左右；相機拍攝全景獲取的影像與全景點云可以實現正確映射，表明提出的標定方法正確，滿足紋理貼圖及將影像作為特征提取輔助信息的精度要求。

地面三維激光掃描儀；數碼相機；安置參數；標定；直接線性變換

1　引　言

地面三維激光掃描儀(3D Terrestrial Laser Scanner， TLS)是一種新型的空間信息快速采集設備[1]，可以覆蓋式地快速獲取目標物體表面在其儀器坐標系下的三維坐標——點云，同時根據激光發射與接收的強度值變化記錄物體表面的回光強度和反射率等特性信息。由于點云一般為散亂式存儲，鄰接拓撲關系未知，所以點云各點處局部鄰域的計算是一個比較耗時的任務；而圖像采用柵格的形式存儲，相鄰點之間鄰接分布，拓撲關系已知，故研究人員采用投影的方式將點云轉化為圖像進行處理，從而達到降維的目的[2-3]。數碼相機(簡稱相機)采集的二維影像可以更加真實地描述被測場景，且其數據完整性優于點云，不僅可以用于點云的紋理貼圖，也可以作為點云信息提取的輔助數據[4]。雖然影像相比點云損失了一個維度，但在相機與掃描儀安置關系高精度標定的基礎上，每次設站進行掃描測量和影像采集時根據共線條件方程可以獲取點云與像素點之間的對應關系，從而可以根據映射點云的深度和回光強度等信息彌補像素之間的深度差異。對于配套外架相機的掃描儀，掃描儀與相機之間相應的安置參數在出廠時已有標示，但在頻繁的使用和拆解過程中，安置參數難免會產生一定的偏差，因此，研究掃描儀與相機安置參數的高精度標定方法具有重要意義。

點云與影像映射關系的求解即為對相機內方位元素和相機相對于掃描儀儀器坐標系的外方位元素的求解問題，即二維和三維數據的配準[5-6]或單像的后方交會[7-8]問題。部分學者將點云生成的二維強度圖像[9]或距離圖像[10]與影像進行匹配，將問題轉化為二維與二維的配準問題實現點云與影像的映射，也有部分學者將立體像對匹配點[11]或者影像密集匹配生成的三維點云[12]與激光掃描點云進行匹配，從而將問題轉化為三維與三維的配準問題?，F有的相機內外參數共同求解的方法主要有角錐體解法[13]、基于共線條件方程的直接平差解法[13-14]、基于羅德里格矩陣的解法[15-16]、直接線性變換法[7， 17-19]等。其中，角錐體解法[13]和基于共線條件方程的直接平差解法[13-14]是針對航空攝影測量提出的單像片外方位元素求解方法[8]，需要假定像平面與物方坐標系的xoy面(水平面)近似平行，或者輸入較好的初值，通過迭代進行參數解算[5]。基于羅德里格矩陣的直接解法[15-16]根據7參數坐標系轉換模型，將旋轉矩陣用羅德里格矩陣表示，通過變換求解羅德里格矩陣元素解算影像的外方位元素，事實上此種方法也未有效解決初值的問題，變換模型不夠嚴密。直接線性變換法[7， 17-19]根據共線條件方程的線性化變換進行平差求解，該方法不需要變換的初值，較為適合近景攝影測量大旋角外方位元素求解的問題，但對控制點的準確程度要求較高，并且需要6對以上不能共面分布的同名控制點才能進行有效解算。

本文針對掃描儀與外架相機之間安置參數的標定問題，基于Riegl VZ-400掃描儀與Nikon D700數碼相機+20 mm定焦鏡頭的標定，研究了一種系統性的高精度標定方法。首先采用V-STARS(Video-Simultaneous Triangulation and Resection System)系統對相機內參數進行高精度的單獨標定，然后基于直接線性變換(Direct Linear Transformation， DLT)對相機外方位元素進行求解，最后實現了相機全視角多張影像與對應掃描點云的整體映射。

2　標定方法

2.1方法概述

圖1　影像物理坐標系與相機坐標系的關系示意圖

Fig.1Relationship between physical image coordinate system and camera coordinate system

圖2　相機坐標系與掃描儀儀器坐標系的關系示意圖

Fig.2Relationship between camera coordinate system and scanner coordinate system

掃描儀與相機之間安置參數標定的實質即為求解掃描儀儀器坐標系和相機坐標系之間的轉換關系，最終實現兩個坐標系之間數據的映射?？紤]到直接線性變換法對相機外方位元素無初值要求，將該方法應用到聯合標定的外方位元素的求解中，標定步驟如下：

(1)內參數標定：由于相機內參數的值較小，但其標定精度卻對測量結果的精度有較大的影響；此外，針對相機內參數標定的研究也相對較多，并且有較為成熟的商業化系統，故對相機的內參數單獨進行標定。在實驗室環境中采用V-STARS系統對相機內參數(十參數模型)進行標定。

(2)控制點的采集與識別：在標定架上布設回光反射標志作為同名點，將相機架設在掃描儀上并且使得相機的初始拍攝角度正對標定架，通過聯機控制分別利用掃描儀和相機對標志進行掃描和拍攝，得到標定架的點云和單張影像(單像)，分別利用二維[8]和三維[20]的標志中心識別算法識別物方控制點和像方控制點。

(3)單像外方位元素求解：指定物方點和像方點之間的對應關系，根據直接線性變換求解相機架設在掃描儀上時初始拍攝角度對應的外方位元素。

(4)多像外方位元素解算：由于相機在采集360°全景時各張影像之間的夾角均勻，可以依此確定各張影像分別沿掃描儀Z軸旋轉的角度。然后根據步驟(3)標定求解所用單像的初始拍攝角度與全景采集的多張影像(多像)的拍攝角度之間的關系，并對多像的外方位元素進行求解。

(5)根據共線條件方程求解三維掃描點云中每個點與多像影像像素之間的對應關系，從而實現點云貼圖。

2.2初始外方位元素求解

將2.1節中標定步驟(2)得到的物方和像方控制點作為輸入值，利用直接線性變換求解相機初始拍攝角度對應的外方位元素。DLT算法由Abdel-Aziz和Karara[17-18]提出，該方法演變共線條件方程式，通過求解演變得到的線性方程組得到中間參數，最后根據中間參數求解得到相機的外方位元素。設共線條件方程為：

(1)

(2)

(3)

(4)

式(4)改寫為矩陣形式得：

V=CM-L，

(5)

其中：

A=L9X+L10Y+L11Z+1.

根據式(6)來求解Li(i=1，2，…，11)的值，即：

CTCM-CTL=0?M=(CTC)-1CTL.

(6)

將式(6)的平差結果代回誤差方程式(5)進行迭代，進一步求解M的改正數，通過迭代直到平差中誤差小于閾值。根據式(6)求解的Li(i=1，2，…，11)及式(3)，對相機的外方位元素進行解算。

根據L9，L10，L11解得方向余弦，分別為：

(7)

同理，解得a1，b1，c1，a2，b2，c2：

(8)

(9)

由式(2)可以得出以下關系式：

(10)

事實上，DLT算法可以直接求解內外方位元素，在不具備內方位元素單獨標定的前提下可以將內外方位元素一起作為未知參數進行求解。另外，雖然本文中內方位元素事先單獨進行了標定，但并未對DLT算法進行較大的調整，只是在迭代過程中將內方位元素作為已知值輸入，這樣處理的優點是可以充分對已有的DLT相關程序進行拓展應用，而不需要大幅修改程序代碼。

2.3多像外方位元素解算

標定得到初始拍攝角對應的相機外方位元素后，將點云三維坐標代入共線條件方程式(1)即可得到其對應的影像物理坐標系坐標，轉換到影像像素坐標系后即可找到對應的影像像素坐標，從而得到單站點云數據與單張影像數據(拍攝標定架時在初始拍攝角度獲取的影像，為方便描述，假設為第1張影像，與掃描儀水平度盤零方向對應)的映射關系。為了實現單站全景點云的整體貼圖生成完整的彩色點云，需要求解多像的外方位元素。本節多像外方位元素解算方法假定的前提為：相機架設在掃描儀上并沿掃描儀垂直軸(圖2所示Z軸)按照一定重疊度均勻旋轉拍攝獲取多像。

將相機架設在掃描儀上，掃描儀坐標系O-XYZ和相機坐標系OC-XCYCZC的關系如圖2所示，將影像的每一個像素看作一個點，則一張影像就可以看作是在二維像平面坐標系下的平面點陣(影像點陣)。由于相機在進行旋轉拍攝時，影像的尺寸不發生變化，故對于同一位置的像素點來說，不同影像上該像素點只是RGB值發生變化，而在像平面坐標系下的相對位置(坐標)不會改變。當相機隨掃描儀照準部沿掃描儀垂直軸(圖2所示Z軸)轉動并進行影像拍攝時，掃描儀坐標系不發生變化，相機的外方位元素相當于沿掃描儀垂直軸旋轉一定角度(左乘一個旋轉矩陣)。具體關系及公式推導過程如下：

(11)

其中：R和T分別為第1張影像的外方位元素導出的旋轉矩陣與平移向量。

(12)

其中：R2和T2分別為第2張影像的外方位元素導出的旋轉矩陣與平移向量。

同理，第i張影像對應位置的像點在掃描儀坐標系下的坐標為：

(13)

其中：Ri和Ti分別為第i張影像的外方位元素導出的旋轉矩陣與平移向量。

3　實驗驗證

實驗中采用Riegl VZ-400地面三維激光掃描儀、Nikon D700數碼相機和配套Nikon Nikkor 20 mm/F2.8D定焦鏡頭(為描述方便，下文把相機與鏡頭綜合稱作相機)來驗證本文標定方法的可行性及精度，實驗步驟按照2.1節的標定步驟進行。

首先采用V-STARS系統對相機自身內參數進行高精度標定。V-STARS由美國GSI公司研發，是目前國際上公認的技術最為成熟的商業化近景攝影測量系統，其處理結果的點位精度可達4 μm±6×10-6，操作簡便并且滿足掃描儀與相機安置參數的像素級(Nikon D700單個像素的物理尺寸為0.008 mm)需求。相機內參數標定結果如表1所示，其中k1，k2，k3為徑向畸變參數，p1，p2為偏心畸變參數，b1，b2為像平面畸變參數。

表1　實驗所得內外方位元素結果

為了求解相機的初始外方位元素，用掃描儀對標定架進行掃描測量，相機固定在掃描儀頂部并通過聯機控制對標定架進行拍攝，獲取的標定架點云和影像如圖3所示。從圖3所示數據中分別定位、識別和提取標定架上回光反射標志的中心點坐標(共識別出22個標志點，結果如表2所示)，代入式(7)～式(10)中解算相機的初始外方位元素，解算結果如表1所示。

(a)標定架點云按照回光強度灰度顯示

(b)標定架影像

作用點號xpixel/pixelypixel/pixelX/mmY/mmZ/mmΔxpixel/pixelΔypixel/pixel解算用點(1～16)1404.1-417.24021.3941232.450143.8850.50.22-374.5-202.53242.6042288.011482.6880.20.33-43.1-633.73757.9851944.600-221.8150.3-0.24667.7-630.84160.149833.425-199.945-0.2-0.35450.6-852.94028.8641170.880-558.3210.0-0.26169.5-213.73901.6021607.661491.831-0.3-0.57192.9-1412.13510.0851422.538-1272.4270.20.18544.8-862.43706.573934.002-502.660-0.30.09-46.1-962.54086.9302113.235-834.504-0.3-0.110195.9-706.64246.6811704.314-382.6240.00.911-162.9-397.53356.2841952.480173.602-0.1-0.112-291.9-846.73606.7072334.988-577.956-0.10.313-48.5-1078.43740.0771938.199-930.8950.2-0.214744.3-181.13845.978627.381508.355-0.10.415578.6-300.84509.4701043.631356.6270.2-0.116-318.3-337.23603.5202413.162277.651-0.2-0.1檢核用點(17～22)17-269.3-529.4523958.4262528.942-73.5040.0-0.218661.8-1332.5774117.947876.263-1268.4400.1-0.619823.1-1347.1223818.844587.690-1146.0590.3-1.42062.5-675.3143468.6711611.386-245.9830.10.021-390.3-1117.7813217.7352249.640-904.0110.10.22256.2-196.7863482.5131629.056488.776-0.10.2

為了驗證2.3節多像外方位元素解算方法的可行性，聯機控制相機對實驗室進行全景拍攝，共拍攝7張影像，每張影像對應的旋轉角ξ=360°/7。根據2.3節相關理論，7張影像對點云貼圖、影像接邊處理及與回光強度假彩色圖的對比效果如圖4所示，由此可以直觀地驗證2.3節相關理論的正確性。

(a)七張影像直接貼圖及影像接邊處理后效果

(b)貼圖真彩色與回光強度假彩色的對比效果

(b)Comparison of true color generated by texture mapping with false color generated by intensity

圖4全景七張影像與點云的貼圖效果以及與回光強度假彩色的對比

Fig.4Color mapping of all 7 full-view images onto point cloud and its comparison with false color generated by intensity

4　結　論

本文提出了一套地面三維激光掃描儀與外置數碼相機安置參數的高精度標定方案。該方案包括基于V-STARS系統的相機內參數單獨標定、依托標定架的控制點測量與中心提取、基于DLT算法的相機初始外方位元素求解、依據影像采集特性的多張影像外方位元素解算以及最終點云與多張影像之間的映射。實驗中，標定結果準確度測試的1 pixel驗證點坐標反算差值表明了其高精度，全景多張圖像與點云之間的正確映射證明了其可行性。

該標定方案的意義在于：將相機的內方位元素進行單獨標定的方式保證了后期點云與影像數據映射的高精度；調整DLT算法，以適應內參數已知情況下的外方位元素求解；推導了多像外方位元素的解算公式，實現了單測站點云與對應多張影像之間的映射。本文提出的標定方案雖然具有較強的針對性，但對其它類型掃描儀和內、外置相機安置參數的標定問題也具有一定的實用和參考價值。

[1]李明磊. 地面激光掃描點云預處理技術研究[D]. 鄭州: 信息工程大學， 2014.

LI M L.TechnologyofPreprocessingon3DLaserScannedPointClouds[D]. Zhengzhou: Information Engineering University， 2014.(in Chinese)

[2]楊必勝， 魏征， 李清泉， 等. 面向車載激光掃描點云快速分類的點云特征圖像生成方法[J]. 測繪學報， 2010， 39(5): 540-545.

YANG B SH， WEI ZH， LI Q Q，etal.. A classification-oriented method of feature image generation for vehicle-borne laser scanning point clouds [J].ActaGeodaeticaetCartographicaSinica， 2010， 39(5): 540-545.(in Chinese)

[3]楊文秀， 付文興， 周志偉， 等. 基于投影降維的激光雷達快速目標識別[J].紅外與激光工程， 2014， 43(S1): 1-7.YANG W X， FU W X， ZHOU ZH W，etal.. Fast three dimensional LiDAR target recognition based on projection dimension reduction [J].InfraredandLaserEngineering， 2014， 43(S1): 1-7.(in Chinese)

[4]韓麗娜， 李緣廷.融合地面激光掃描和攝影測量技術的三維重建[J]. 測繪地理信息， 2015， 40(3): 10-12.

HAN L N， LI Y T.3D reconstruction by combining terrestrial laser scanner data and photogrammetric images [J].JournalofGeomatics， 2015， 40(3): 10-12.(in Chinese)

[5]王晏民， 胡春梅. 一種地面激光雷達點云與紋理影像穩健配準方法[J]. 測繪學報， 2012， 41(2): 266-272.

WANG Y M， HU CH M.A robust registration method for terrestrial LiDAR point clouds and texture image [J].ActaGeodaeticaetCartographicaSinica， 2012， 41(2): 266-272.(in Chinese)

[6]胡春梅. 地面激光掃描點云與近景影像無縫配準[D]. 武漢: 武漢大學， 2012.

HU CH M.SeamlessRegistrationofTerrestrialLiDARPointCloudandClose-rangeImage[D]. Wuhan: Wuhan University， 2012.(in Chinese)

[7]馮文灝. 近景攝影測量[M]. 武漢: 武漢大學出版社， 2002.FENG W H.Close-rangePhotogrammetry[M]. Wuhan: Wuhan University Press， 2002.(in Chinese)

[8]馮其強. 數字工業攝影測量技術研究與實現[D]. 鄭州: 信息工程大學， 2010.

FENG Q Q.ResearchandPracticeofDigitalIndustrialPhotogrammetry[D].Zhengzhou: Information Engineering University， 2010.(in Chinese)

[9]方偉. 融合攝影測量技術的地面激光掃描數據全自動紋理映射方法研究[D]. 武漢: 武漢大學， 2014.

FANG W.ResearchonAutomaticTextureMappingofTerrestrialLaserScanningDataCombiningPhotogrammetryTechnique[D]. Wuhan: Wuhan University， 2014.(in Chinese)

[10]徐景中， 寇媛， 袁芳， 等. 基于結構特征的機載LiDAR數據與航空影像自動配準[J]. 紅外與激光工程， 2013， 42(12): 3502-3508.XU J ZH， KOU Y， YUAN F，etal.. Auto-registration of aerial imagery and airborne lidar data based on structure feature[J].InfraredandLaserEngineering， 2013， 42(12): 3502-3508.(in Chinese)

[11]鄧非， 張祖勛， 張劍清. 一種激光掃描數據與數碼照片的配準方法[J]. 武漢大學學報：信息科學版， 2007， 32(4): 290-292.

DENG F， ZHANG Z X， ZHANG J Q.A method of registration between laser scanning data and digital images [J].GeomaticsandInformationScienceofWuhanUniversity， 2007， 32(4): 290-292.(in Chinese)

[12]嚴劍鋒. 地面LiDAR點云數據配準與影像融合方法研究[D]. 徐州: 中國礦業大學， 2014. YAN J F.ResearchonTerrestrialLiDARPointCloudDataRegistrationandFusionMethodofPointCloudandImages[D]. Xuzhou: China University of Mining & Technology， 2014.(in Chinese)

[13]徐青， 壽虎， 朱述龍， 等. 近代攝影測量[M]. 北京: 解放軍出版社， 2000.

XU Q， SHOU H， ZHU SH L，etal..ModernPhotogrammetry[M]. Beijing: The People’s Liberation Army Press， 2000.(in Chinese)

[14]姚吉利， 張大富. 改進的空間后方交會直接解法[J]. 山東理工大學學報：自然科學版， 2005， 19(2): 6-9.

YAO J L， ZHANG D F.Improvement of the direct-solution of spatial-resection [J].JournalofShandongUniversityofTechnology：Sci. &Tech.， 2005， 19(2): 6-9.(in Chinese)

[15]姚吉利， 孫亞廷， 王樹廣. 基于羅德里格矩陣的數碼像片直接定向的方法[J]. 山東理工大學學報：自然科學版， 2006， 20(2): 36-39. YAO J L， SUN Y T， WANG SH G.The direct-solution of spatial-resection based on Luodigues matrix [J].JournalofShandongUniversityofTechnology：Sci. &Tech.， 2006， 20(2): 36-39.(in Chinese)

[16]趙松. 三維激光掃描儀與數碼相機聯合標定方法研究[D]. 鄭州: 信息工程大學， 2012.

ZHAO S.StudyontheJointCalibrationof3DLaserScannerandDigitalCamera[D]. Zhengzhou: Information Engineering University， 2012.(in Chinese)

[17]ABDEL-AZIZ Y I， KARARA H M. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry[C].ProceedingsofSymposiumonClose-RangePhotogrammetry，Urbana:UniversityofIllinois， 1971: 1-18.

[18]ABDEL-AZIZ Y I， KARARA H M. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry [J].PhotogrammetricEngineering&RemoteSensing， 2015， 81(1): 103-107.

[19]張帆. 激光掃描數據三維建模中高保真度紋理重建研究[D]. 武漢: 武漢大學， 2009.

ZHANG F.HighFidelityTextureReconstructionin3DModelingfromLaserScanningData[D]. Wuhan: Wuhan University， 2009.(in Chinese)

[20]王力. 基于人工標志的激光掃描數據自動拼接技術研究[D]. 鄭州: 信息工程大學， 2010.

WANG L.AutomaticRegistrationofTerrestrialLiDARDataUsingPlanarTargets[D]. Zhengzhou: Information Engineering University， 2010.(in Chinese)

李明磊(1989-)，男，河南寶豐人，博士研究生，2011年、2014年于信息工程大學分別獲得學士和碩士學位，主要從事激光點云數據處理及精密工程測量等方面的研究。E-mail: mingleili_xd@163.com

導師簡介：

李廣云(1965-)，男，江蘇高淳人，碩士，博士生導師，1983年、1987年于解放軍測繪學院分別獲得學士和碩士學位，2005年于英國皇家軍事測量學校獲得碩士學位，主要從事精密工程測量、衛星導航及導航裝備與應用等方面的研究。E-mail: guangyun_li@sohu.com

(版權所有未經許可不得轉載)

High accuracy calibration of installation parameters between 3D terrestrial laser scanner and external-installed digital camera

LI Ming-lei1， 2*， GAO Xin-yuan1， LI Guang-yun1， WANG Li1， LIU Song-lin1

(1.SchoolofNavigationandAerospaceEngineering，InformationEngineeringUniversity，Zhengzhou450001，China；2.KeyLaboratoryforUrbanGeomaticsofNationalAdministrationofSurveying，MappingandGeoinformation，BeijingUnviersityofCivilEngineeringArchitectureBeijing100044，China)*Correspondingauthor，E-mail：mingleili_xd@163.com

A high accuracy calibration method for the installation parameters between 3D Terrestrial Laser Scanner(TLS) and external-installed digital camera was proposed. Firstly， the intrinsic parameters were calibrated by existing commercialized close-range photogrammetry products. Then，by taking reflector target centers as input control points of 2D and 3D matching， the direct linear transformation algorithm was expanded in applications and the intrinsic parameters were taken as known coefficients to solve the extrinsic parameters. Finally， the extrinsic parameter of every camera shooting angle was calculated according to the relationships between different shooting angles to get the mapping relationship between point cloud and multi-angle images. The test experiments were performed， and the accuracy and feasibility of the calibration method were verified by obtaining the difference between point pixel coordinate and real measuring result with installation parameter calibration results. The experimental results indicate that the calibration accuracy reaches 1 pixel and the mapping relationship between point cloud and multi-angle images is correct， which satisfies the requirements of texture mapping and accuracy by applying images as auxiliary data in feature extraction.

3D terrestrial laser scanner; digital camera; installation parameter; calibration; Direct Linear Transformation(DLT)

2016-03-14；

2016-05-10.

國家自然科學基金資助項目(No.41274014,No.41501491)；現代城市測繪國家測繪地理信息局重點實驗室開放基金資助項目(No.20141201WY)

1004-924X(2016)09-2158-09

TP732.2; TP391

A

10.3788/OPE.20162409.2158