利用雙回波的固態激光雷達與相機外參標定方法

馮 欣,李 杰,余崇圣,錢基業,何 穎,3

(1.重慶理工大學 計算機與工程學院, 重慶 400054;2.中國科學院 重慶綠色智能技術研究院, 重慶 400714;3.重慶知至科技有限公司, 重慶 400025;4.國網重慶市電力公司電力科學研究院, 重慶 400014)

0 引言

目前,激光雷達被廣泛應用在自動駕駛、目標檢測、三維重建等熱門領域[1-7]。其中,激光雷達按照掃描模式的不同可以分為固態激光雷達與機械激光雷達。與機械激光雷達相比,固態激光雷達因非重復性掃描方式可以獲取稠密點云,并且具備成本低、尺寸小等優勢[8],而成為當前激光雷達應用的研究熱點。固態激光雷達能夠獲取當前空間中高精度的三維點云信息,抗干擾性強[9],但不能提供色彩紋理信息;相機能提供高分辨率的色彩信息[10],但抗干擾性弱。固態激光雷達和相機具有很強的互補性,將兩者的信息進行融合,可以獲取更加豐富的信息[11-12]。為了融合兩者的信息,需要通過外參標定獲取兩者坐標系之間精確的外參。其中,外參由旋轉矩陣和平移向量組成。

外參標定方法分為無目標和基于目標2種。其中,無目標的方法不需要指定的標定物,而是通過獲取自然場景下的幾何特征進行外參標定。Pandey等[13]通過最大化三維點反射強度與其圖像投影點灰度值之間的互信息建立目標函數,使用Barzilai-Borwein算法求解外參。Zhu等[14]通過提取點云的反射強度圖和深度圖中的邊緣,與圖像的灰度圖中邊緣匹配,通過ICP(iterative closest point)求解最佳外參。Gong等[15]利用自然場景下的三面體特征進行外參標定。Yuan等[16]分析了激光的發散角對于邊緣特征提取的影響,提出了一種獲取連續邊緣的方法,通過連續邊緣特征構建約束方程求解外參。由于自然場景差異巨大,平面和邊緣等特征的質量難以控制,導致無目標的外參標定方法的精度難以保證。

基于目標的外參標定方法是提取一些指定標定物的特征進行外參標定。這些標定物往往是制作精度高并且具有明顯幾何特征的物體,例如棋盤格標定板、三角板、圓球等。Park等[17]從點云中檢測三角板三維頂點,與圖像中手動選取的三角板二維頂點匹配,通過PnP(perspective-n-point)方法求解外參。Zhou等[18]利用平面與邊緣直線的對應關系構建約束方程求解外參。Cui等[8]提出一種基于點云反射強度與棋盤格顏色相關性的棋盤格角點提取算法,通過棋盤格角點構建約束方程求解外參。Huang等[19]提出一種通過標定板平面點云估計標定板頂點的方法,利用標定板頂點優化求解外參。Beltrán等[20]自制了帶有4個圓洞的標定板,通過提取深度不連續點獲取圓洞點云,然后擬合出點云中4個圓洞的圓心,與圖像中圓心匹配求解外參。Xu等[21]通過RANSAC(random sample consensus)方法擬合三角板平面和邊緣特征,以獲取三角板的角點特征,通過角點優化求解外參。由于標定板的制作精度高且易于提取特征,因此與無目標方法相比,基于目標的標定方法精度更高。

從上述方法可以看出,從點云中提取準確特征是外參標定的關鍵步驟。固態激光雷達的點云存在噪聲,這種現象在邊緣處尤為明顯。雖然將固態激光雷達獲取的多幀點云進行疊加可以獲取稠密點云,但也造成了噪聲的疊加。上述問題會影響點云特征的提取,降低外參標定結果的準確度,因此提出了一種利用雙回波的固態激光雷達與相機外參標定方法。首先,通過雙回波去除含噪聲的邊緣點云;然后,從剩余的內點云中提取與標定板黑格尺寸一致的3D角點;最后,從圖像中提取2D角點,通過PnP算法優化求解外參矩陣。

1 基于雙回波的含噪聲邊緣提取算法

1.1 雙回波的產生

激光雷達朝周圍物體發射激光,接收從物體返回的激光,通過激光的往返時間計算物體的距離產生點云。從物體返回的激光稱為回波,如圖1所示。

圖1 固態激光雷達通過接收回波產生點云

正常情況下,一根激光只會產生一個回波。但是,若激光在前景邊緣就會產生雙回波。由于激光具有發散角,因此導致激光打在物體上是一個面,并且激光飛行距離越大,這個面也會越大,如圖2所示。當激光打在在前景邊緣時,激光會被邊緣分割為兩個部分,一部分打在前景邊緣,另一部分會繼續前進打在背景上,此時就會出現一根激光產生雙回波的現象。

圖2 雙回波和膨脹點的產生

1.2 邊緣點云噪聲

固態激光雷達獲取的點云在邊緣處存在大量邊緣噪聲。文獻[16]指出邊緣噪聲可以分為兩類,分別是連續噪聲點(B)和膨脹噪聲點(A),如圖3所示。連續噪聲點是一連串連接前景與背景的連續點,由激光雷達本身的測量誤差引起。膨脹噪聲點是超出物體真實范圍的點,由激光雷達對于雙回波的處理方式引起。單回波模式是大多數激光雷達默認的回波處理模式[22]。單回波模式對于雙回波的處理方式是接收雙回波中反射強度最大的回波。如圖2所示,激光打在前景邊緣產生了雙回波,并且激光的中心線落在背景上。若前景邊緣回波的反射強度大于背景回波的反射強度,則單回波模式會接收前景邊緣回波,丟棄背景回波。由于激光雷達以激光中心線為基準產生點云[16],因此在這種情況下前景邊緣回波產生的點并不存在于前景內,是一個邊緣膨脹點。

圖3 2種邊緣點云噪聲

1.3 基于雙回波的含噪聲邊緣提取算法

邊緣點云噪聲會對點云特征提取造成影響,導致外參標定精度的降低,因此必須對邊緣點云噪聲進行處理。激光雷達的單回波模式無法對雙回波進行準確處理,而激光雷達的雙回波模式可以接收雙回波[22]。如圖4所示,當激光束落在前景邊緣產生雙回波時,前景邊緣點一定比背景點距離激光雷達更近,所以選擇使用雙回波模式接收雙回波,提出一種基于雙回波的含噪聲邊緣提取算法,算法流程如下:

1) 初始化含噪聲的邊緣點云E為空集。

2) 接收雙回波,定義產生的2個三維點為p1和p2,分別來自前景邊緣與背景。

4) 重復步驟3),直至接收完所有雙回波,最終輸出含噪聲的邊緣點云E。

圖4 基于雙回波的含噪聲邊緣提取算法示意圖

由于產生邊緣噪聲的前提是激光落在邊緣,那么肯定會產生雙回波,因此該算法提取的邊緣點云包含了邊緣噪聲。

2 利用雙回波的外參標定方法

為了避免邊緣點云噪聲對外參標定的影響,提出一種利用雙回波的固態激光雷達與相機外參標定方法,流程如圖5所示。

圖5 利用雙回波的外參標定流程圖

2.1 基于內點云的角點特征提取方法

2.1.1獲取內點云

使用1塊玻璃矩形板作為標定板,如圖6(a)所示。在標定板上有若干個黑色方格,由于玻璃的透光性,激光雷達只會接收到黑格點云,如圖6(b)所示。為了獲取稠密的標定板點云,需要將多幀點云進行疊加。在疊加過程中,邊緣噪聲也會被疊加,如圖6(c)所示。為了避免邊緣噪聲對點云特征提取的影響,利用雙回波提取含噪聲的邊緣點云,如圖6(d)所示,然后將含噪聲的邊緣點云E從標定板點云中剔除。定義剩余點云為內點云P,結果如圖6(e)所示。雖然內點云P不存在邊緣噪聲,但是由于激光雷達本身存在測量誤差,導致內點云P中的三維點不處在同一平面,如圖6(f)所示。

圖6 利用雙回波提取內點云

對內點云P使用RANSAC(random sample consensus)方法擬合平面,然后將內點云P投影至同一平面,有:

P={[kxp,kyp,kzp]|[xp,yp,zp]∈P}

(1)

其中,(A,B,C,D)是RANSAC方法擬合出的平面,參數k定義為:

k=-D/(Axp+Byp+Czp)

(2)

2.1.2提取點云中角點特征

如圖7所示,在激光雷達坐標系下構建1個與真實標定板尺寸大小一致的虛擬標定板S,表示虛擬標定板每個黑格的中心點集。S的定義式為:

(3)

(4)

圖7 基于內點云的角點提取方法示意圖

(5)

最小化代價函數C:

(6)

(7)

式中:N為角點個數,取20。

2.2 提取圖像中角點特征

圖8 提取圖像中角點

2.3 外參求解

(8)

(9)

3 實驗

3.1 實驗系統搭建與參數配置

使用Livox Avia固態激光雷達和海康單目相機(MV-CA013-A0GC)進行外參標定實驗,如圖9(a)所示。傳感器具體參數如表1和表2所示。采用的標定板是1塊矩形玻璃,玻璃上有15個邊長為6 cm的黑色方格,如圖9(b)所示。

圖9 實驗設置

表1 固態激光雷達參數

3.2 實驗結果與分析

將標定板放置在當前空間中的固定位置,然后移動傳感器獲取7組不同位姿下疊加了100幀的點云與1張圖像數據。為了驗證雙回波的去噪效果,將7組標定板平面點云投影至激光雷達坐標系的yoz平面,統計利用雙回波去除含噪聲前后x軸方向的標定板平面點云最大厚度以及標準差,結果如圖10所示。利用雙回波去除邊緣噪聲后,標定板平面點云最大厚度和標準差皆有一定程度的降低,展現了利用雙回波去噪的效果。

為驗證不同外參標定方法的數據融合效果,進行以下實驗。首先,從7組不同位姿下的數據中選取2～5組數據,分別使用所提方法與基于標定板點云標定方法[19]計算外參。然后,使用傳感器錄制1組含標定板的點云與圖像作為數據融合實驗的驗證數據。在計算出外參后,將驗證數據的內點云投影至圖像上,結果如圖11所示。其中紅色點云是所提方法的投影結果,綠色點云是基于標定板點云標定方法的投影結果。可以看出隨著位姿數的增加,2種方法的數據融合效果會越來越好。由于是將內點云進行投影的,因此最佳投影結果是內點云處于標定板黑格的中心部分。另外,所提方法的投影點云比基于標定板平面點云標定方法的投影點云更接近黑格中心,體現出所提方法具有更好的數據融合效果。

角點重投影誤差可以評估外參標定精度[19],角點重投影誤差越低,代表外參標定精度越高,因此以角點重投影誤差為評估指標,將所提方法與基于標定板點云的標定方法[19]進行對比實驗。實驗方式與文獻[19]相同,采用交叉驗證的方式。將7組不同位姿數據定義為S1至S7,從S1至S7中選取若干組數據進行外參標定,然后將外參結果應用在全部7組數據中計算角點重投影誤差。由于交叉驗證的實驗結果較多,表3僅展示了部分實驗結果,其中GL表示基于標定板點云的標定方法。

圖11 數據融合結果圖

表3 部分重投影誤差結果

續表(表3)

交叉驗證的最終結果如圖12所示。從重投影誤差對比結果可以看出,在任意位姿數下,所提方法的重投影誤差低于基于標定板點云的標定方法。

圖12 重投影誤差最終結果

為了更直觀地展示所提方法的外參標定的效果,進行點云投影和點云著色實驗,結果如圖13所示。點云投影是通過所提方法計算出的最佳外參將點云投影至圖像,點云著色則是將圖像投影至點云中。

4 結論

由于固態激光雷達的點云誤差較大并且噪聲多,導致固態激光雷達與相機的外參標定精度降低,因此提出了一種利用雙回波的固態激光雷達與相機外參標定方法。利用雙回波去除邊緣噪聲,通過剩余的內點云提取準確的角點特征,最終由PnP算法求解出最優外參。實驗結果表明,與同類方法相比,所提方法得到的外參具有更好的數據融合效果,并且平均重投影誤差更低,外參標定結果精度更高。