利用雙回波的固態(tài)激光雷達與相機外參標定方法

馮 欣,李 杰,余崇圣,錢基業(yè),何 穎,3

(1.重慶理工大學 計算機與工程學院, 重慶 400054;2.中國科學院 重慶綠色智能技術(shù)研究院, 重慶 400714;3.重慶知至科技有限公司, 重慶 400025;4.國網(wǎng)重慶市電力公司電力科學研究院, 重慶 400014)

0 引言

目前,激光雷達被廣泛應(yīng)用在自動駕駛、目標檢測、三維重建等熱門領(lǐng)域[1-7]。其中,激光雷達按照掃描模式的不同可以分為固態(tài)激光雷達與機械激光雷達。與機械激光雷達相比,固態(tài)激光雷達因非重復(fù)性掃描方式可以獲取稠密點云,并且具備成本低、尺寸小等優(yōu)勢[8],而成為當前激光雷達應(yīng)用的研究熱點。固態(tài)激光雷達能夠獲取當前空間中高精度的三維點云信息,抗干擾性強[9],但不能提供色彩紋理信息;相機能提供高分辨率的色彩信息[10],但抗干擾性弱。固態(tài)激光雷達和相機具有很強的互補性,將兩者的信息進行融合,可以獲取更加豐富的信息[11-12]。為了融合兩者的信息,需要通過外參標定獲取兩者坐標系之間精確的外參。其中,外參由旋轉(zhuǎn)矩陣和平移向量組成。

外參標定方法分為無目標和基于目標2種。其中,無目標的方法不需要指定的標定物,而是通過獲取自然場景下的幾何特征進行外參標定。Pandey等[13]通過最大化三維點反射強度與其圖像投影點灰度值之間的互信息建立目標函數(shù),使用Barzilai-Borwein算法求解外參。Zhu等[14]通過提取點云的反射強度圖和深度圖中的邊緣,與圖像的灰度圖中邊緣匹配,通過ICP(iterative closest point)求解最佳外參。Gong等[15]利用自然場景下的三面體特征進行外參標定。Yuan等[16]分析了激光的發(fā)散角對于邊緣特征提取的影響,提出了一種獲取連續(xù)邊緣的方法,通過連續(xù)邊緣特征構(gòu)建約束方程求解外參。由于自然場景差異巨大,平面和邊緣等特征的質(zhì)量難以控制,導(dǎo)致無目標的外參標定方法的精度難以保證。

基于目標的外參標定方法是提取一些指定標定物的特征進行外參標定。這些標定物往往是制作精度高并且具有明顯幾何特征的物體,例如棋盤格標定板、三角板、圓球等。Park等[17]從點云中檢測三角板三維頂點,與圖像中手動選取的三角板二維頂點匹配,通過PnP(perspective-n-point)方法求解外參。Zhou等[18]利用平面與邊緣直線的對應(yīng)關(guān)系構(gòu)建約束方程求解外參。Cui等[8]提出一種基于點云反射強度與棋盤格顏色相關(guān)性的棋盤格角點提取算法,通過棋盤格角點構(gòu)建約束方程求解外參。Huang等[19]提出一種通過標定板平面點云估計標定板頂點的方法,利用標定板頂點優(yōu)化求解外參。Beltrán等[20]自制了帶有4個圓洞的標定板,通過提取深度不連續(xù)點獲取圓洞點云,然后擬合出點云中4個圓洞的圓心,與圖像中圓心匹配求解外參。Xu等[21]通過RANSAC(random sample consensus)方法擬合三角板平面和邊緣特征,以獲取三角板的角點特征,通過角點優(yōu)化求解外參。由于標定板的制作精度高且易于提取特征,因此與無目標方法相比,基于目標的標定方法精度更高。

從上述方法可以看出,從點云中提取準確特征是外參標定的關(guān)鍵步驟。固態(tài)激光雷達的點云存在噪聲,這種現(xiàn)象在邊緣處尤為明顯。雖然將固態(tài)激光雷達獲取的多幀點云進行疊加可以獲取稠密點云,但也造成了噪聲的疊加。上述問題會影響點云特征的提取,降低外參標定結(jié)果的準確度,因此提出了一種利用雙回波的固態(tài)激光雷達與相機外參標定方法。首先,通過雙回波去除含噪聲的邊緣點云;然后,從剩余的內(nèi)點云中提取與標定板黑格尺寸一致的3D角點;最后,從圖像中提取2D角點,通過PnP算法優(yōu)化求解外參矩陣。

1 基于雙回波的含噪聲邊緣提取算法

1.1 雙回波的產(chǎn)生

激光雷達朝周圍物體發(fā)射激光,接收從物體返回的激光,通過激光的往返時間計算物體的距離產(chǎn)生點云。從物體返回的激光稱為回波,如圖1所示。

圖1 固態(tài)激光雷達通過接收回波產(chǎn)生點云

正常情況下,一根激光只會產(chǎn)生一個回波。但是,若激光在前景邊緣就會產(chǎn)生雙回波。由于激光具有發(fā)散角,因此導(dǎo)致激光打在物體上是一個面,并且激光飛行距離越大,這個面也會越大,如圖2所示。當激光打在在前景邊緣時,激光會被邊緣分割為兩個部分,一部分打在前景邊緣,另一部分會繼續(xù)前進打在背景上,此時就會出現(xiàn)一根激光產(chǎn)生雙回波的現(xiàn)象。

圖2 雙回波和膨脹點的產(chǎn)生

1.2 邊緣點云噪聲

固態(tài)激光雷達獲取的點云在邊緣處存在大量邊緣噪聲。文獻[16]指出邊緣噪聲可以分為兩類,分別是連續(xù)噪聲點(B)和膨脹噪聲點(A),如圖3所示。連續(xù)噪聲點是一連串連接前景與背景的連續(xù)點,由激光雷達本身的測量誤差引起。膨脹噪聲點是超出物體真實范圍的點,由激光雷達對于雙回波的處理方式引起。單回波模式是大多數(shù)激光雷達默認的回波處理模式[22]。單回波模式對于雙回波的處理方式是接收雙回波中反射強度最大的回波。如圖2所示,激光打在前景邊緣產(chǎn)生了雙回波,并且激光的中心線落在背景上。若前景邊緣回波的反射強度大于背景回波的反射強度,則單回波模式會接收前景邊緣回波,丟棄背景回波。由于激光雷達以激光中心線為基準產(chǎn)生點云[16],因此在這種情況下前景邊緣回波產(chǎn)生的點并不存在于前景內(nèi),是一個邊緣膨脹點。

圖3 2種邊緣點云噪聲

1.3 基于雙回波的含噪聲邊緣提取算法

邊緣點云噪聲會對點云特征提取造成影響,導(dǎo)致外參標定精度的降低,因此必須對邊緣點云噪聲進行處理。激光雷達的單回波模式無法對雙回波進行準確處理,而激光雷達的雙回波模式可以接收雙回波[22]。如圖4所示,當激光束落在前景邊緣產(chǎn)生雙回波時,前景邊緣點一定比背景點距離激光雷達更近,所以選擇使用雙回波模式接收雙回波,提出一種基于雙回波的含噪聲邊緣提取算法,算法流程如下:

1) 初始化含噪聲的邊緣點云E為空集。

2) 接收雙回波,定義產(chǎn)生的2個三維點為p1和p2,分別來自前景邊緣與背景。

4) 重復(fù)步驟3),直至接收完所有雙回波,最終輸出含噪聲的邊緣點云E。

圖4 基于雙回波的含噪聲邊緣提取算法示意圖

由于產(chǎn)生邊緣噪聲的前提是激光落在邊緣,那么肯定會產(chǎn)生雙回波,因此該算法提取的邊緣點云包含了邊緣噪聲。

2 利用雙回波的外參標定方法

為了避免邊緣點云噪聲對外參標定的影響,提出一種利用雙回波的固態(tài)激光雷達與相機外參標定方法,流程如圖5所示。

圖5 利用雙回波的外參標定流程圖

2.1 基于內(nèi)點云的角點特征提取方法

2.1.1獲取內(nèi)點云

使用1塊玻璃矩形板作為標定板,如圖6(a)所示。在標定板上有若干個黑色方格,由于玻璃的透光性,激光雷達只會接收到黑格點云,如圖6(b)所示。為了獲取稠密的標定板點云,需要將多幀點云進行疊加。在疊加過程中,邊緣噪聲也會被疊加,如圖6(c)所示。為了避免邊緣噪聲對點云特征提取的影響,利用雙回波提取含噪聲的邊緣點云,如圖6(d)所示,然后將含噪聲的邊緣點云E從標定板點云中剔除。定義剩余點云為內(nèi)點云P,結(jié)果如圖6(e)所示。雖然內(nèi)點云P不存在邊緣噪聲,但是由于激光雷達本身存在測量誤差,導(dǎo)致內(nèi)點云P中的三維點不處在同一平面,如圖6(f)所示。

圖6 利用雙回波提取內(nèi)點云

對內(nèi)點云P使用RANSAC(random sample consensus)方法擬合平面,然后將內(nèi)點云P投影至同一平面,有:

P={[kxp,kyp,kzp]|[xp,yp,zp]∈P}

(1)

其中,(A,B,C,D)是RANSAC方法擬合出的平面,參數(shù)k定義為:

k=-D/(Axp+Byp+Czp)

(2)

2.1.2提取點云中角點特征

如圖7所示,在激光雷達坐標系下構(gòu)建1個與真實標定板尺寸大小一致的虛擬標定板S,表示虛擬標定板每個黑格的中心點集。S的定義式為:

(3)

(4)

圖7 基于內(nèi)點云的角點提取方法示意圖

(5)

最小化代價函數(shù)C:

(6)

(7)

式中:N為角點個數(shù),取20。

2.2 提取圖像中角點特征

圖8 提取圖像中角點

2.3 外參求解

(8)

(9)

3 實驗

3.1 實驗系統(tǒng)搭建與參數(shù)配置

使用Livox Avia固態(tài)激光雷達和海康單目相機(MV-CA013-A0GC)進行外參標定實驗,如圖9(a)所示。傳感器具體參數(shù)如表1和表2所示。采用的標定板是1塊矩形玻璃,玻璃上有15個邊長為6 cm的黑色方格,如圖9(b)所示。

圖9 實驗設(shè)置

表1 固態(tài)激光雷達參數(shù)

表2 相機參數(shù)

3.2 實驗結(jié)果與分析

將標定板放置在當前空間中的固定位置,然后移動傳感器獲取7組不同位姿下疊加了100幀的點云與1張圖像數(shù)據(jù)。為了驗證雙回波的去噪效果,將7組標定板平面點云投影至激光雷達坐標系的yoz平面,統(tǒng)計利用雙回波去除含噪聲前后x軸方向的標定板平面點云最大厚度以及標準差,結(jié)果如圖10所示。利用雙回波去除邊緣噪聲后,標定板平面點云最大厚度和標準差皆有一定程度的降低,展現(xiàn)了利用雙回波去噪的效果。

為驗證不同外參標定方法的數(shù)據(jù)融合效果,進行以下實驗。首先,從7組不同位姿下的數(shù)據(jù)中選取2～5組數(shù)據(jù),分別使用所提方法與基于標定板點云標定方法[19]計算外參。然后,使用傳感器錄制1組含標定板的點云與圖像作為數(shù)據(jù)融合實驗的驗證數(shù)據(jù)。在計算出外參后,將驗證數(shù)據(jù)的內(nèi)點云投影至圖像上,結(jié)果如圖11所示。其中紅色點云是所提方法的投影結(jié)果,綠色點云是基于標定板點云標定方法的投影結(jié)果。可以看出隨著位姿數(shù)的增加,2種方法的數(shù)據(jù)融合效果會越來越好。由于是將內(nèi)點云進行投影的,因此最佳投影結(jié)果是內(nèi)點云處于標定板黑格的中心部分。另外,所提方法的投影點云比基于標定板平面點云標定方法的投影點云更接近黑格中心,體現(xiàn)出所提方法具有更好的數(shù)據(jù)融合效果。

角點重投影誤差可以評估外參標定精度[19],角點重投影誤差越低,代表外參標定精度越高,因此以角點重投影誤差為評估指標,將所提方法與基于標定板點云的標定方法[19]進行對比實驗。實驗方式與文獻[19]相同,采用交叉驗證的方式。將7組不同位姿數(shù)據(jù)定義為S1至S7,從S1至S7中選取若干組數(shù)據(jù)進行外參標定,然后將外參結(jié)果應(yīng)用在全部7組數(shù)據(jù)中計算角點重投影誤差。由于交叉驗證的實驗結(jié)果較多,表3僅展示了部分實驗結(jié)果,其中GL表示基于標定板點云的標定方法。

圖10 去噪實驗結(jié)果

圖11 數(shù)據(jù)融合結(jié)果圖

表3 部分重投影誤差結(jié)果

續(xù)表(表3)

交叉驗證的最終結(jié)果如圖12所示。從重投影誤差對比結(jié)果可以看出,在任意位姿數(shù)下,所提方法的重投影誤差低于基于標定板點云的標定方法。

圖12 重投影誤差最終結(jié)果

為了更直觀地展示所提方法的外參標定的效果,進行點云投影和點云著色實驗,結(jié)果如圖13所示。點云投影是通過所提方法計算出的最佳外參將點云投影至圖像,點云著色則是將圖像投影至點云中。

圖13 數(shù)據(jù)融合結(jié)果

4 結(jié)論

由于固態(tài)激光雷達的點云誤差較大并且噪聲多,導(dǎo)致固態(tài)激光雷達與相機的外參標定精度降低,因此提出了一種利用雙回波的固態(tài)激光雷達與相機外參標定方法。利用雙回波去除邊緣噪聲,通過剩余的內(nèi)點云提取準確的角點特征,最終由PnP算法求解出最優(yōu)外參。實驗結(jié)果表明,與同類方法相比,所提方法得到的外參具有更好的數(shù)據(jù)融合效果,并且平均重投影誤差更低,外參標定結(jié)果精度更高。