視覺(jué)與激光雷達(dá)信息融合的目標(biāo)領(lǐng)航車識(shí)別方法*

賈子永，任國(guó)全，李冬偉，程子陽(yáng)

（陸軍工程大學(xué)石家莊校區(qū)，石家莊 050003）

0 引言

隨著智能無(wú)人系統(tǒng)技術(shù)的發(fā)展，軍用地面無(wú)人平臺(tái)自主跟隨相關(guān)技術(shù)研究工作備受關(guān)注。軍用地面無(wú)人平臺(tái)自主跟隨指的是在編隊(duì)環(huán)境下車輛領(lǐng)航-跟隨的行車模式，主要用于戰(zhàn)場(chǎng)環(huán)境下編隊(duì)行軍過(guò)程中的車輛引導(dǎo)-多車自主跟隨的行軍模式，有效減輕士兵長(zhǎng)途駕駛的負(fù)擔(dān)。軍用地面無(wú)人平臺(tái)自主跟隨系統(tǒng)主要研究?jī)?nèi)容包括：領(lǐng)航車輛的識(shí)別和定位、跟隨車輛的控制和局部路徑規(guī)劃等。

軍用地面無(wú)人平臺(tái)自主跟隨系統(tǒng)中領(lǐng)航車輛狀態(tài)檢測(cè)識(shí)別，是跟隨地面無(wú)人平臺(tái)自主駕駛的基礎(chǔ)和前提。多種傳感器用于車輛的檢測(cè)，包括攝像機(jī)［1］、激光雷達(dá)［2］、超聲波［3］、紅外攝像機(jī)和立體攝像機(jī)［4］。 Sun Z H 等［5］全面闡釋了基于視覺(jué)的車輛檢測(cè)方法。文獻(xiàn)［6-7］均提出利用Haar特征對(duì)車輛進(jìn)行識(shí)別，然后利用積分圖像對(duì)是否為車輛進(jìn)行判斷。利用視覺(jué)檢測(cè)車輛主要依靠車輛的顏色、紋理、梯度等特征對(duì)行駛中的車輛進(jìn)行識(shí)別，該方法獲取信息量大，識(shí)別精度高，有效地降低了車輛的誤檢率。但是基于圖像的車輛檢測(cè)得不到檢測(cè)車輛相對(duì)攝像機(jī)的深度信息，且車輛行駛速度快，所拍攝的照片較模糊，對(duì)視覺(jué)算法的實(shí)時(shí)性要求較高。文獻(xiàn)［8-9］利用激光雷達(dá)的掃描數(shù)據(jù)對(duì)車輛的行駛進(jìn)行監(jiān)控，分析車輛在激光雷達(dá)數(shù)據(jù)的形狀變化，再利用SVM分類方法進(jìn)行車輛識(shí)別。但是此方法緊靠激光雷達(dá)掃描形成的形狀很難準(zhǔn)確判斷出目標(biāo)是否為車輛。鑒于單一傳感器不能同時(shí)滿足車輛的準(zhǔn)確定位和準(zhǔn)確辨識(shí)，文獻(xiàn)［10］利用毫米波雷達(dá)和視覺(jué)融合對(duì)車輛進(jìn)行檢測(cè)，取得了較好的效果，但毫米波雷達(dá)由于波長(zhǎng)的差別，其測(cè)距精度和成像能量不如激光雷達(dá)，只能應(yīng)用到簡(jiǎn)單環(huán)境中。

軍用地面無(wú)人平臺(tái)常用于非標(biāo)準(zhǔn)道路條件下，應(yīng)用環(huán)境復(fù)雜，目標(biāo)車輛檢測(cè)難度高。領(lǐng)航車輛檢測(cè)識(shí)別過(guò)程中，跟隨車輛周圍環(huán)境中存在著目標(biāo)領(lǐng)航車輛用于引導(dǎo)跟隨車輛自主控制，也可能存在著其他車輛、叢林、行人、巖石等背景數(shù)據(jù)干擾目標(biāo)車輛的檢測(cè)識(shí)別。傳感器獲得的數(shù)據(jù)主要包括3類：目標(biāo)領(lǐng)航車輛數(shù)據(jù)、背景數(shù)據(jù)和噪聲干擾。為快速實(shí)時(shí)地把目標(biāo)車輛從背景中區(qū)別開(kāi)來(lái)，準(zhǔn)確檢測(cè)出目標(biāo)領(lǐng)航車輛所在的位置，本文結(jié)合激光雷達(dá)能夠精確獲取目標(biāo)的距離與角度信息，攝像機(jī)能夠獲取目標(biāo)的顏色和梯度信息。設(shè)計(jì)了基于激光雷達(dá)和攝像機(jī)傳感器信息融合的目標(biāo)領(lǐng)航車輛檢測(cè)識(shí)別系統(tǒng)。利用激光雷達(dá)確定假設(shè)目標(biāo)的初始位置，然后利用圖像處理提取假設(shè)目標(biāo)對(duì)稱性、角點(diǎn)特征的參數(shù)，最終對(duì)假設(shè)目標(biāo)進(jìn)行多特征級(jí)聯(lián)分類識(shí)別方法進(jìn)行驗(yàn)證。

1 傳感器的安裝和聯(lián)合標(biāo)定

1.1 傳感器的型號(hào)及安裝

激光雷達(dá)和攝像機(jī)用于感知跟隨車輛周圍環(huán)境，采集車輛行駛環(huán)境的信息，本實(shí)驗(yàn)選用LMS151型激光雷達(dá)，其最大測(cè)量距離為50 m，角度分辨率為0.25°，掃描頻率為25 Hz。攝像機(jī)分辨率為1 294×964，鏡頭的焦距為6 mm。實(shí)驗(yàn)選用的目標(biāo)領(lǐng)航車輛為實(shí)驗(yàn)室中型差速履帶車，跟隨車輛選用的是一輛小型履帶車。激光雷達(dá)固定于跟隨車輛的正前方且居中，攝像機(jī)利用二軸云臺(tái)固定在激光雷達(dá)上方，激光雷達(dá)和攝像機(jī)左右方向兩者大致重合，激光雷達(dá)在攝像機(jī)的前方，如圖1所示。

圖1 激光雷達(dá)、攝像機(jī)安裝位置圖

1.2 激光雷達(dá)和攝像機(jī)的聯(lián)合標(biāo)定

為了確定激光雷達(dá)數(shù)據(jù)和攝像機(jī)空間對(duì)應(yīng)關(guān)系，需要對(duì)激光雷達(dá)和攝像機(jī)進(jìn)行聯(lián)合標(biāo)定。攝像機(jī)和激光雷達(dá)與車體剛性連接，兩者與車體的相對(duì)姿態(tài)和位移固定不變。任意的激光雷達(dá)掃描點(diǎn)，在車體坐標(biāo)系中存在唯一的點(diǎn)與之對(duì)應(yīng)，在攝像機(jī)圖像中也存在唯一的一個(gè)像素點(diǎn)與之對(duì)應(yīng)。因此，對(duì)于在攝像機(jī)視角范圍內(nèi)的激光雷達(dá)掃描點(diǎn)，在圖像像素坐標(biāo)系中都存在一個(gè)像素點(diǎn)與之對(duì)應(yīng)。

本實(shí)驗(yàn)選用梯形棋盤(pán)格標(biāo)定板對(duì)激光雷達(dá)和攝像機(jī)進(jìn)行聯(lián)合標(biāo)定，利用激光雷達(dá)在梯形板上的掃描信息，獲取激光雷達(dá)安裝的俯仰角和安裝高度，利用梯形棋盤(pán)格上的黑白棋盤(pán)格標(biāo)定出攝像機(jī)的內(nèi)外參數(shù)，詳解過(guò)程見(jiàn)文獻(xiàn)［11］。得到激光雷達(dá)數(shù)據(jù)到攝像機(jī)圖像像素之間的對(duì)應(yīng)變換關(guān)系為：

其中：（u，v）表示圖像像素坐標(biāo)；fx和fy分別為x方向和y方向的等效焦距；（u0，v0）為圖像像素中心的坐標(biāo)。Rveh→cam為 3×3 的坐標(biāo)旋轉(zhuǎn)矩陣，Tveh→cam為 1×3坐標(biāo)平移矩陣。（ρn，θn）表示在極坐標(biāo)下激光雷達(dá)掃描點(diǎn)的距離和角度；δ為激光雷達(dá)安裝的俯仰角；h為激光雷達(dá)安裝的高度。

2 基于激光雷達(dá)數(shù)據(jù)感興趣區(qū)域的確定

2.1 激光雷達(dá)數(shù)據(jù)預(yù)處理及假設(shè)目標(biāo)的確立

將激光雷達(dá)原始目標(biāo)數(shù)據(jù)投影到圖像中，得到激光雷達(dá)數(shù)據(jù)和攝像機(jī)圖像的像素級(jí)融合，融合效果如圖2所示。圖中黑色點(diǎn)集為激光雷達(dá)掃描點(diǎn)映射到圖像的結(jié)果，黑色橢圓圈出的是激光雷達(dá)點(diǎn)融合到對(duì)應(yīng)的物體上的融合點(diǎn)。由圖可以看出，如果把激光雷達(dá)原始數(shù)據(jù)直接融合到圖像中，即包含激光雷達(dá)探測(cè)到的錐桶、地面、紙箱等信息也包含激光雷達(dá)掃描到的地面等噪聲，為了減小噪聲的干擾和確定假設(shè)目標(biāo)的個(gè)數(shù)，需要對(duì)激光雷達(dá)數(shù)據(jù)進(jìn)行預(yù)處理。

圖2 激光雷達(dá)和圖像的像素級(jí)信息融合效果圖

為了從激光雷達(dá)數(shù)據(jù)中分析得到周圍目標(biāo)的外形特征，需要對(duì)激光雷達(dá)的數(shù)據(jù)進(jìn)行分割和聚類處理。激光雷達(dá)根據(jù)設(shè)定的角度分辨率，對(duì)環(huán)境進(jìn)行連續(xù)掃描，連續(xù)障礙物返回點(diǎn)比較密集、非連續(xù)障礙物之間存在較大的間隙，根據(jù)這一特點(diǎn)對(duì)激光雷達(dá)數(shù)據(jù)進(jìn)行最近鄰域法聚類分析。最近鄰域法聚類的主要思想是把第1個(gè)數(shù)據(jù)點(diǎn)作為第1組的聚類中心，若下一個(gè)點(diǎn)到該點(diǎn)的距離小于聚類半徑R則為同一物，則把這個(gè)數(shù)據(jù)放到這個(gè)組中并更新為新的聚類中心，否則把數(shù)據(jù)作為新一組的聚類中心。聚類算法如式（2）：

其中，ρi為當(dāng)前掃描的距離，ρi-1為前一掃描檢測(cè)點(diǎn)的距離，R為分割半徑。如果式（2）成立，則兩個(gè)掃描點(diǎn)為同一障礙物。其中，聚類半徑R根據(jù)每個(gè)激光反射點(diǎn)的距離而自適應(yīng)變化，R為：

式中，ri-1為ρi和ρi-1的最小值，σ為余量。實(shí)驗(yàn)時(shí)，取λ=10，σ=0.03 m。

激光雷達(dá)數(shù)據(jù)聚類分析后，提供了清晰的環(huán)境信息。周圍物體表示方式為（x，y，z，w），其中（x，y，z）表示激光雷達(dá)聚類點(diǎn)的中心點(diǎn)，w表示聚類的寬度。由先驗(yàn)知識(shí)可以確定目標(biāo)引導(dǎo)車輛在激光雷達(dá)成像聚類后的寬度為1.5 m，為了防止漏檢和虛檢，擴(kuò)大目標(biāo)領(lǐng)航車輛檢測(cè)的閾值范圍為（1.3 m，1.7 m）。如果目標(biāo)在激光雷達(dá)的聚類結(jié)果滿足閾值條件則假設(shè)該物體為假設(shè)目標(biāo)，否則判斷該物體為障礙物，可以有效地剔除與目標(biāo)引導(dǎo)車輛差別較大的障礙物或者非目標(biāo)車輛。

2.2 自適應(yīng)感興趣窗口的選取

車輛識(shí)別感興趣區(qū)域的確定包括區(qū)域位置和區(qū)域大小的確定，激光雷達(dá)數(shù)據(jù)聚類預(yù)處理確定假設(shè)目標(biāo)的中心位置和類的寬度（x，y，z，w）。由于車輛在加減速、彎道行駛和經(jīng)過(guò)起伏路面時(shí)，會(huì)造成懸架和輪胎的變形，導(dǎo)致攝像頭的外參數(shù)發(fā)生變化。為了保證感興趣窗口能夠完整地包含假設(shè)目標(biāo)，同時(shí)也要保證系統(tǒng)處理的實(shí)時(shí)性，提出了自適應(yīng)感興趣窗口的確立方法。

理論上預(yù)處理后的激光雷達(dá)目標(biāo)映射到圖像中，中心點(diǎn)位于圖像目標(biāo)輪廓中心，因此，把該點(diǎn)作為車輛識(shí)別感興趣區(qū)域的中心。目標(biāo)領(lǐng)航車輛的實(shí)際高度可以通過(guò)先驗(yàn)知識(shí)測(cè)量得到為0.8 m，通過(guò)車輛的中心點(diǎn)、寬度和高度進(jìn)行擴(kuò)展而形成假設(shè)目標(biāo)感興趣區(qū)域。中心點(diǎn)向其左右兩邊各擴(kuò)展5/6個(gè)寬度w，向上向下擴(kuò)展1個(gè)高度h。利用透視原理將該區(qū)域投影到圖像中，得到像素尺寸為m×n，中心為O的矩形圖像窗口，如下頁(yè)圖3所示。圖3中，方框內(nèi)代表假設(shè)目標(biāo)感興趣區(qū)域的選定，可以看出該窗口足以容納車輛在圖像中的投影。

圖3 感興趣區(qū)域的選取

3 基于特征的目標(biāo)領(lǐng)航車輛識(shí)別與驗(yàn)證

3.1 感興趣區(qū)域預(yù)處理

圖3中的履帶車輛為本實(shí)驗(yàn)檢測(cè)的目標(biāo)領(lǐng)航車輛，觀察其尾部，如果直接利用灰度圖像進(jìn)行分析，可能造成精度低，運(yùn)算量大。Canny算子是一個(gè)經(jīng)典的輪廓提取算子，具有自適應(yīng)功能。通過(guò)兩個(gè)相關(guān)的閾值來(lái)確定邊緣點(diǎn)，通過(guò)高閾值定位邊緣區(qū)域，并利用低閾值找出邊緣線的邊緣點(diǎn)。實(shí)際應(yīng)用中，Canny邊緣提取算子主要的步驟為：

1）對(duì)圖像進(jìn)行高斯濾波，把二維高斯函數(shù)

與原始圖像進(jìn)行卷積：

以消除噪聲；

2）利用Sobel算子進(jìn)行邊緣提取，采用3×3區(qū)域模板：

進(jìn)行卷積近似求沿x，y兩個(gè)方向偏導(dǎo)數(shù)Gx，Gy，并求出該點(diǎn)梯度值大小：

計(jì)算梯度方向：

3）梯度方向上進(jìn)行極大值抑制；

4）設(shè)定兩個(gè)閾值精確定位圖像的邊緣位置。

對(duì)目標(biāo)領(lǐng)航車輛進(jìn)行Canny算子邊緣提取效果如圖4所示。

圖4（a）顯示的是局部感興趣區(qū)域窗口，圖 4（b）為進(jìn)行Canny算子之后的二值化圖像。由于邊界較模糊，遂對(duì)其進(jìn)行膨脹，效果如圖4（c）。

圖4 Canny算子提取的目標(biāo)領(lǐng)航車輛邊緣

3.2 目標(biāo)領(lǐng)航車輛車輛特征提取

1）對(duì)稱性檢測(cè)。車輛輪廓的左右對(duì)稱性可以幫助對(duì)車輛的識(shí)別，排除非對(duì)稱物體的干擾。圖像在Canny算子處理后得到二值化邊界圖像，基于區(qū)域垂直邊緣［7］和左半邊和右半邊兩部分的關(guān)系，對(duì)稱性特征值為：

其中：w 為圖像的寬度；h 為圖像的高度；I（i，j）表示垂直邊緣圖中坐標(biāo)為（i，j）處的像素值；φ為像素差值的閾值，由經(jīng)驗(yàn)可知，對(duì)稱特征值越大，對(duì)稱性越好。

2）角點(diǎn)檢測(cè)。角點(diǎn)是反應(yīng)圖像信息的重要特征。Harris角點(diǎn)提取算法主要利用水平、豎直差分算子對(duì)圖像每個(gè)像素進(jìn)行濾波，求得水平與豎直的灰度梯度Ix和Iy，進(jìn)而得到矩陣：

對(duì)矩陣m中的4個(gè)元素進(jìn)行高斯濾波處理。利用新的m，計(jì)算每個(gè)像素的角點(diǎn)量，如果角點(diǎn)量大于閾值且角點(diǎn)量是某鄰域內(nèi)的局部極大值的點(diǎn)被認(rèn)為是角點(diǎn)。

利用Harris角點(diǎn)提取方法，提取感興趣窗口內(nèi)車輛上的角點(diǎn)個(gè)數(shù)，得到感興趣區(qū)域內(nèi)的角點(diǎn)個(gè)數(shù)為N，則角點(diǎn)特征值為：

式中，w為感興趣局部窗口的像素寬度；h為感興趣局部窗口的像素高度；Pconern代表角點(diǎn)的特征值。

3.3 多特征級(jí)聯(lián)分類識(shí)別驗(yàn)證目標(biāo)領(lǐng)航車輛

多特征級(jí)聯(lián)分類識(shí)別目標(biāo)領(lǐng)航車輛是將一系列單級(jí)分類器級(jí)聯(lián)起來(lái)，在車輛檢測(cè)過(guò)程中保證較高檢測(cè)率的情況下盡可能降低誤檢率，流程如圖5所示。該結(jié)構(gòu)將一系列單級(jí)分類器級(jí)聯(lián)起來(lái)，當(dāng)被判斷為非目標(biāo)領(lǐng)航車輛時(shí)，該目標(biāo)窗口立即被排除。多特征級(jí)聯(lián)分類識(shí)別過(guò)程中，由于車輛目標(biāo)領(lǐng)航車輛在圖像中只占很小的一部分，利用激光雷達(dá)初步篩選出假設(shè)目標(biāo)，剔除了大量的背景圖像和與車輛外形區(qū)別較大的障礙物目標(biāo)，提高了后續(xù)車輛檢測(cè)速度。依據(jù)車輛尾部的對(duì)稱性縮小檢測(cè)范圍，排除巖石等非對(duì)稱物體。由于車輛尾部的角點(diǎn)數(shù)不隨車輛的遠(yuǎn)近改變而改變，最終利用提取出的車輛尾部角點(diǎn)數(shù)對(duì)其進(jìn)行最終判斷。如果感興趣區(qū)域圖像逐級(jí)滿足條件即判斷假設(shè)目標(biāo)為目標(biāo)領(lǐng)航車輛，否則為障礙物。

圖5 多特征級(jí)聯(lián)分類目標(biāo)領(lǐng)航車輛流程圖

4 車輛識(shí)別結(jié)果

本文利用4個(gè)指標(biāo)來(lái)直觀地表示目標(biāo)領(lǐng)航車輛算法精度：檢測(cè)率，表示不同時(shí)間和場(chǎng)景準(zhǔn)確檢測(cè)到車輛數(shù)目占實(shí)驗(yàn)次數(shù)的百分比；漏檢率，表示沒(méi)有被檢測(cè)到的車輛數(shù)目占總實(shí)驗(yàn)次數(shù)的百分比；誤檢率，表示被錯(cuò)誤檢測(cè)到的車輛占總實(shí)驗(yàn)次數(shù)的百分比，算法運(yùn)行時(shí)間。實(shí)驗(yàn)與其他兩種方法進(jìn)行對(duì)比，方法1［9］利用車底陰影區(qū)域確定車輛感興趣區(qū)域并對(duì)感興趣區(qū)域進(jìn)行多特征級(jí)聯(lián)分類方法；方法2［10］利用激光雷達(dá)確定車輛的感興趣區(qū)域但對(duì)圖像特征并行運(yùn)算，給予特征值不同的權(quán)重。實(shí)驗(yàn)采集不同時(shí)間和工況下的500幀數(shù)據(jù)對(duì)其統(tǒng)計(jì)分析，對(duì)算法運(yùn)行時(shí)間進(jìn)行統(tǒng)計(jì)，得到算法運(yùn)行的平均時(shí)間，統(tǒng)計(jì)分析的結(jié)果見(jiàn)表1。從表中可以看出本方法在目標(biāo)領(lǐng)航車輛檢測(cè)的準(zhǔn)確性方面高于方法1，在檢測(cè)的實(shí)時(shí)性方面高于方法2，說(shuō)明該方法滿足檢測(cè)目標(biāo)領(lǐng)航車輛的準(zhǔn)確性和實(shí)時(shí)性的要求［11-15］。

表1 不同方法目標(biāo)領(lǐng)航車輛檢測(cè)方法

5 結(jié)論

本文提出了一種基于攝像機(jī)和激光雷達(dá)信息融合檢測(cè)識(shí)別目標(biāo)領(lǐng)航車輛的方法，利用激光雷達(dá)確定假設(shè)目標(biāo)，根據(jù)激光雷達(dá)的數(shù)據(jù)自適應(yīng)確定感興趣區(qū)域窗口的大小。根據(jù)感興趣區(qū)域窗口的對(duì)稱性特征值、角度特征值，利用多特征級(jí)聯(lián)分類識(shí)別方法對(duì)目標(biāo)領(lǐng)航車輛與跟隨車輛環(huán)境進(jìn)行區(qū)分。實(shí)驗(yàn)結(jié)果表明，該方法在不同的工況和光照條件具有較好的適應(yīng)性和準(zhǔn)確性。本文只對(duì)目標(biāo)領(lǐng)航車輛的檢測(cè)展開(kāi)研究，在后期的研究中將基于目標(biāo)領(lǐng)航車輛檢測(cè)結(jié)果的車輛跟隨研究。