標定板尺寸對激光雷達與相機聯合標定結果的影響

史哲慧，關志偉，陳 強，許圣潔，朱伯青

（天津職業技術師范大學，天津 300222）

0 引言

隨著現代技術的不斷發展，智能汽車上單一傳感器已無法單獨可靠地完成感知車輛周圍環境信息的任務，多傳感器的信息融合可以打破單一傳感器的局限性，提高系統的魯棒性，擴展時間和空間的覆蓋率，從而更全面準確地感知環境空間[1]。其中，視覺傳感器主要通過相機采集圖像和視頻數據，提取重要的可見信息；激光雷達主要發射光束獲取反射回波，提取周圍環境的點云信息。激光雷達與相機的融合感知能夠同時獲得物體的深度信息和色彩紋理信息，廣泛用于目標檢測和高精定位等領域[2，3]。

然而，兩者數據融合的處理前提是對它們進行了有效且可靠的聯合標定。Ashesh Jain等[4]指出，精確的標定對于進一步的處理步驟至關重要，比如傳感器融合、實現算法的障礙檢測、定位以及控制等。Kaiser等[5]將激光雷達與相機傳感器之間的剛性位移的估計問題，歸結為一組平面和線在三維空間中的配準問題，提出了一種新的標定算法。俞德崎等[6]利用ArUco標簽確定標定板與相機坐標系間的關系，通過隨機采樣一致性算法提取紙板角點以建立對應關系，采用Kabsh算法求解最有配準參數。韓正勇等[7]將外參標定轉為三維空間矩陣旋轉縮放問題的求解，利用較少幀數即可獲得高精度外參矩陣。Geiger等[8]提出棋盤上的圖案很容易被相機識別，其本身也很容易被距離傳感器檢測到，利用棋盤格作為攝像頭和距離傳感器之間的標定任務的目標，取得了良好效果。本文采用傳統棋盤格聯合標定法，將不同尺寸的棋盤格作為標定板采集數據并建立方程，計算參數從而獲取標定結果，進而對比分析標定板尺寸對激光雷達與相機聯合標定結果的影響。

1 標定原理

不同的傳感器有各自獨立的坐標系和不同的采集頻率，實現融合的前提是將各自的坐標系數據轉換到同一坐標系并配準時間。激光雷達與相機的聯合標定是為了找到同一時刻激光點云數據和圖像中對應的像素點[9]。激光雷達坐標系以激光雷達幾何中心為原點，表示為[XL，YL，ZL]，視覺傳感器（以相機為例）存在3個坐標系：相機坐標系以相機光心為原點，用來描述物體與相機的相對位置，可表示為[XC，YC，ZC]；圖像坐標系以相機光軸與圖像平面交點為原點，可表示為[X，Y]；像素坐標系可表示為[u，v]。聯合標定的本質問題是表示空間坐標旋轉的矩陣R和表示空間坐標平移的矩陣T的求解問題[10]，如圖1所示。

圖1 激光雷達與相機的聯合標定

空間坐標旋轉的矩陣R和表示空間坐標平移的矩陣T的求解坐標變換過程包括以下3個步驟：

第1步：從激光雷達坐標系轉換為相機坐標系，可以用旋轉矩陣R和平移矩陣T表示，如式（1）所示。

第2步：相機坐標系轉換至圖像坐標系，是將三維坐標系轉換至二維坐標系，其中f為相機焦距，如式（2）所示。

第3步：圖像坐標系到像素坐標系之間的關系，如式（3）所示。其中dx，dy為x，y軸的像素轉換單位（mm/Pixel），u0，v0為投影屏幕中心相對于光軸出現的偏移。

將式（1）～（3）整理，得到激光雷達與相機的坐標轉換關系為式（4）所示。

以棋盤格標定板上的坐標點空間坐標及相應的圖像成像點坐標聯立方程組，即可計算出空間坐標旋轉的矩陣R和表示空間坐標平移的矩陣T。

2 標定結果的評價指標

本文評定標定結果的評價指標選用重投影誤差。重投影誤差指真實三維空間點在圖像平面上的投影（真實的像素點）和重投影（計算值得到的虛擬像素點）的差值。由于計算得到的值和實際情況不完全相同，故需要將差值的和最小化以獲取最優的相機位姿參數及三維空間點的坐標[11]。使用重投影誤差作為評價指標，可以兼顧矩陣的計算誤差和圖像點的測量誤差，有利于提高判斷的精確度。

記P為棋盤格角點的位置，將m個棋盤格角點記為P（jj∈（0，m-1）），假設所有角點都可被檢測到。利用標定參數將Pj從第i個位姿投影至圖像上，得到虛擬的像素點，對應真實的原始像素點為Pij，記重投影誤差為E，則計算公式如式（5）所示：

3 標定實驗

實驗過程中，使用USB接口攝像頭和Velodyne16線激光雷達分別采集相機圖像數據和激光雷達點云數據，基于ROS（Robot operating system）操作系統在Linux環境下進行。相機具體參數見表1，雷達具體參數見表2。標定實驗所用激光雷達與相機的相對位置保持固定不變，安裝關系如圖2所示。相機垂直固定在激光雷達下側3 cm處。

圖2 相機與激光雷達的安裝位置

表1 相機主要參數

表2 激光雷達主要參數

實驗過程中利用Autoware的標定工具箱，按照張正友標定法對相機先進行標定。Autoware是世界上第一個用于自動駕駛汽車的“多合一”開源軟件，建立在機器人操作系統（ROS）上。它包括駕駛自動駕駛汽車的所有必要功能，從定位和對象檢測到路線規劃和控制，包括傳感器的校準和融合。

實驗過程中，采用12×9棋盤格標定板，如圖3所示。

圖3 棋盤格標定板

3.1 相機標定

在ROS環境下進行相機的內參標定，棋盤格的單個格子邊長為20 mm。使用相機采集了20張棋盤格在不同方位的圖像進行校準，如圖4所示。

圖4 相機校準

相機內參標定結果為：

3.2 聯合標定

實驗中固定了激光雷達與攝像頭的相對位置和絕對位置，手持標定板在兩者前方0.8 m和1.5 m處移動變換，在左、中、右3個位置分別做出將標定板正對相機、左傾斜、右傾斜、上傾斜、下傾斜5個動作，共30個位姿以供傳感器采集數據，如圖5所示。利用Autoware的標定工具箱抓取同一時刻下不同位姿的圖像及對應點云，選取30對數據進行聯合標定，通過對內角點檢測與標定板中心點云進行手動標定，求得標定外參及重投影誤差。每種標定板做3組實驗，取重投影誤差最小、融合效果最好的一組作為最終實驗結果。

圖5 不同位姿的圖像采集

小尺寸標定板中單個格子邊長為20 mm，大尺寸標定板單個格子邊長為60 mm。小尺寸標定板的標定結果如圖6所示，左圖為相機采集的圖像數據，右圖為同一時刻下激光雷達采集的點云數據，可以看到標定的點云投影至在圖像上時分散至標定板外。大尺寸標定板的標定結果如圖7所示，點云能夠全部投影至標定板上，重投影效果優于小尺寸標定板的標定結果。

圖6 小尺寸標定結果

圖7 大尺寸標定結果

選用邊長為20 mm的小尺寸標定板和邊長為60 mm的大尺寸標定板時，3組實驗的重投影誤差見表3，小尺寸標定板的重投影誤差平均值為1.195179pixel，大尺寸標定板的重投影誤差平均值為0.402618pixel。選用尺寸較大的標定板，可有效提高激光雷達與相機聯合標定的精度。

表3 實驗重投影誤差對比

激光雷達與相機聯合標定后的數據融合效果如圖8所示，左邊為小尺寸標定板的融合效果，右邊為大尺寸標定板的融合效果。從圖8可以看出，左圖的點云在圖像上分布散亂，周圍環境的點云與標定板的點云分界不明確；右圖的點云分布均勻，能夠分辨出周圍環境與標定板的分界線，能夠為傳感器融合對障礙物的檢測奠定基礎。

圖8 融合效果

最終小尺寸標定板融合效果的點云分散不成形；大尺寸標定板融合的點云清晰，最終標定的重投影誤差為0.38084，激光雷達與相機聯合標定的空間坐標旋轉的矩陣R和表示空間坐標平移的矩陣T結果為：

4 結語

為探究標定板尺寸對激光雷達與相機的外參聯合標定是否存在影響，本文首先對相機進行了內參的校準，然后通過對單格邊長分別為20 mm和60 mm兩種尺寸的12×9的棋盤格標定板分別進行了3組聯合標定實驗，每組實驗選取30對數據，最后，對比分析了重投影誤差，選用邊長為20 mm的小尺寸標定板和邊長為60 mm的大尺寸標定板時，重投影誤差平均值分別為1.195179pixel和0.402618pixel。實驗結果表明，大尺寸的標定板比小尺寸標定板的標定結果更好，重投影誤差更小，魯棒性更高。