基于位姿插值的相機和激光外參在線標定

周媛媛，易 鵬，馬 力

（廣州市城市規劃勘測設計研究院，廣東 廣州 510000）

近幾年來，自動駕駛技術發展迅速，通過多傳感器融合方案來保證自動駕駛場景下的穩定感知是主流趨勢，其中激光雷達與攝像頭可以提供互補信息，是目前常用的融合方案。激光雷達和相機融合的基礎就是精確的外參標定，即對兩個傳感器相對剛體變換的精確估計。

一些早期的校準工作使用人工標靶（例如棋盤和特定標定板）來標定LiDAR 和相機[1-6]。然而，大多數基于標靶的校準算法耗時、費力且離線，需要經常重新校準。一些針對激光雷達和相機的標定方法開始側重于實現全自動且無人工標靶的在線標定[7-12]。然而，目前大多數在線自標定方法對標定場景有嚴格的要求，且需要事先完成兩個傳感器的時間同步，才可以利用時間同步好的兩種傳感器信息進行標定。

針對以上難點，文中提出了一種基于位姿插值和自然平面目標的相機與激光雷達外參在線標定方法，僅通過車輛在線獲取的圖像和激光雷達點云數據進行在線標定，在無標靶和傳感器未時間同步情況下依然可以獲取精確的外參數據。

1 外參在線標定方法流程

圖1 所示為整個算法的流程圖，在車輛運行過程中，激光和圖像數據會分別通過各自的SLAM 算法估計其對應的位姿。當傳感器未完成時間同步時，該方法首先通過B 樣條曲線擬合進行位姿插值，實現LiDAR 和相機位姿的時間對齊，并以此利用位姿圖優化計算外參變換初值。接著通過圖像的語義分割獲得場景中的平面物體的掩膜，之后利用變換初值計算2D 掩膜對應激光雷達中的3D 點云錐，并基于點云生長優化對應點云錐結果；最后構造基于2D 物體掩膜和對應3D 點云錐的投影殘差損失函數，通過非線性優化獲得精準的外參標定結果。

圖1 在線標定算法流程圖

2 基于B 樣條曲線擬合的SE（3）位姿插值

對于車輛在線獲取的兩種傳感器數據，首先會各自利用該傳感器數據進行SLAM 的位姿估計，估計出每個時刻該傳感器的位姿信息，相機基于ORBSLAM3[13]的單目方法進行位姿估計，3D 激光雷達則利用F-LOAM[14]方法進行位姿估計。但是當兩種傳感器未事先完成時間同步時，這兩種傳感器的位姿無法在時間上同步，即無法知道同一時刻下這兩個傳感器分別對應的位姿信息，位姿無法完成對應。因此，該方法首先基于B 樣條曲線擬合，以激光雷達軌跡估計結果作為基準，對相機估計軌跡中的SE(3)位姿進行插值，獲得密集對應的位姿結果，完成兩種傳感器在時序上的位姿對應。再利用對應好的位姿，進行投影誤差函數的構建。最后，通過位姿圖優化解算獲得兩種傳感器各自估計軌跡的相對變換矩陣，作為激光雷達和相機外參的變換初值。下面將介紹B 樣條曲線擬合的位姿插值原理。

時間連續位姿T(t)由轉動分量R(t)和平移分量p(t)組成：

這是在每個B 樣條窗口內對組進行線性插值的混合。待插值的位姿定義為從體坐標系到全局坐標系的變換，即：

其中，p是全局坐標系中的樣條位置，R是從體坐標系到全局坐標系的旋轉。一個轉動用于表示兩個姿勢之間的移動：

轉動ε=(υ,ω)∈SE(3)由平移v(有方向和尺度)和軸角向量ω組成。通過將轉動與一個標量θ相乘，可以得到SE(3)中的一個元素，其解析表達式如下：

3 基于深度學習的圖像2D 掩膜及其對應3D點云錐獲取

該方法使用語義分割方法[15]分割出圖像中的語義2D 掩膜，在將感興趣的平面目標掩膜分割出之后，利用上節獲得的變換初參，可以從2D 掩模區域進行逆錐投影來搜索該2D 框對應的激光雷達3D 點云區域，實現在小范圍內提取平面目標點。然而，因為初參不精準等原因，對應的3D 空間點云可能只有部分在投影錐中，因此通過引入點云生長的方法來補齊3D 平面目標點云。首先將圖像2D 的掩膜區域按照2 倍比例擴大，逆錐投影區域也相應地進行擴大，之后根據激光雷達點云位置構建無向圖。對不同的子類選取隨機的圖上頂點作為種子點，以種子點為基礎進行生長，從而完成對3D 平面目標點云的補齊。最后構造基于2D 物體掩膜和對應3D 點云錐的投影殘差損失函數，通過非線性優化獲得精準的外參標定結果。

4 實 驗

文中實驗所用的數據集是公開的自動駕駛數據集-KITTI 數據集[16]，KITTI 數據集是目前最常使用的自動駕駛數據集之一。KITTI 數據集包含有彩色攝像機和一個Velodyne 64 線激光雷達的數據，彩色攝像機為全局曝光的CCD 相機，文中在KITTI 數據集中的Odometry 數據集進行實驗，采用彩色相機和激光雷達的數據進行實驗。KIITI 數據集中示例圖像及其對應的激光點云如圖2 所示。

圖2 KITTI數據集中示例圖像及其對應的激光點云

兩種傳感器分別估計得到的軌跡結果如圖3 所示，其中下方的實線軌跡為未處理的相機估計軌跡，虛線軌跡為激光估計的軌跡，因為相機估計方法采用的是ORB-SLAM3 的單目方式，相機估計軌跡與真實世界存在一個尺度偏差，因此實線軌跡的尺度與虛線軌跡的尺度相差較大。

圖3 兩種傳感器的估計軌跡

圖4 所示為利用基于B 樣條曲線擬合的SE（3）位姿插值，實現兩種傳感器軌跡時序上的位姿對應后的結果，其中實線軌跡為插值后對應完成的相機軌跡，虛線軌跡為激光軌跡。可以看出，文中方法不僅將兩個軌跡的尺度對齊，而且完成了位姿時序上的對應。

圖4 時序上位姿對齊后的結果

基于初參的結果，構造基于2D 物體掩膜和對應3D 點云錐的投影殘差損失函數，最后通過非線性優化獲得精準的外參標定結果。獲得精確外參后可以將激光雷達點云投影到圖像上，結果如圖5 所示，可以看出文中方法很好地將激光點云投影到對應的物體上[17]。

圖5 示例投影結果

5 結論

文中針對自動駕駛場景中相機和激光雷達在無靶標和傳感器時間未同步情況下的在線標定問題，研究了利用SE(3)位姿插值和自然平面目標的外參在線標定方法，并通過在通用公開數據集進行實驗驗證了提出方法的高效性，利用文中方法在線標定出的外參結果，可以較精確地將激光點云投影到圖像中。文中方法無需事先完成傳感器時間同步和進行復雜的環境設置，在車輛運行過程中進行自動標定，大大降低了激光和相機外參標定的復雜性，具有很高的實用價值和意義。