基于雙多線激光雷達的非結構化環境負障礙感知技術

蔡云飛　石庭敏　唐振民

無人平臺技術作為國家“十三五”重點研究方向,目前正得到廣泛研究.無人平臺技術包括環境感知與理解、定位定向、自主規劃、決策控制和多機協同等關鍵技術,其中環境感知與理解是目前研究的重點和難點.對環境信息的獲取是無人平臺進行其他技術處理的前提,目前地面無人平臺主要的環境感知手段分為圖像和距離兩大部分,圖像感知包括可見光圖像和紅外圖像兩種,主要用來對環境中的顏色、紋理、邊緣、外形、符號等進行感知識別,距離感知借助于激光雷達(Light detection and ranging,LiDAR)、毫米波雷達、聲吶等手段實現,其中激光雷達憑借其探測距離遠、精度高等優點,得到廣泛使用,激光雷達主要是利用光的收發時間差來獲得被反射物體的相對方位角和距離,根據發射扇面的數量,激光雷達分為單線(SICK LMS511,LMS111,Hokuyo 10L等)、4/8線(IBEO 4L,8L)和16/32/64線(Velodyne系列)等種類,水平方向每個掃描扇面由不同角度的掃描點組成,稱為一根線.

UGV(Unmanned ground vehicle)的研究通常將道路分為三種類型:結構化道路、半結構化道路和非結構化道路.結構化道路是指具有典型道路邊緣規則特征、色差特征和行道線特征的平坦道路環境,例如高速路、國道、省道、城市道路等;半結構化道路是指無明顯道路邊緣規則特征和行道線特征的平坦道路環境,例如一些鄉間水泥路、柏油路等;非結構道路是泛指無道路邊緣特征,非平坦道路的野外環境.如圖1所示.

圖1　三種典型道路類型Fig.1　Three types of typical roads

在結構化、半結構環境中,由于無人平臺所處路面較為平整,道路邊緣較為清晰,路面障礙主要以行人、車輛等為代表的正(凸)障礙為主,因此采用單線或四線激光雷達,基于車體坐標平面的測量換算和Z軸閾值控制方法便可有效解決問題.在非結構道路(越野環境)路面起伏較大,障礙物不僅有不規整的正障礙(石頭、土堆、柵欄、損毀工事等),還有諸如彈坑、水潭、壕溝、斷崖等負(凹)障礙,此時采用絕對坐標平面的方法進行障礙物區分,誤報率和漏檢率較高.因此,在非結構化環境中,必須通過分析雷達探測點的相對位置關系來實現對探測區域的外輪廓感知.基于雷達探測點相對關系的感知方法的誤報率和漏檢率與雷達的點數量和密度密切相關.單位區域內的點密度越高,識別出來的概率就越大,準確率就越高.

本文重點研究非結構化環境中的負障礙感知問題,通過雙32線激光雷達疊加掃描的方法,增加車前區域點密度，通過柵格地圖投影映射,空間關聯相對探測點,并抽取柵格地圖的統計特征,再關聯點云幾何特征,實現對負障礙關鍵特征點對的提取,通過特征點對聚類,檢測出疑似負障礙。該方法已應用在自主車上.使用表明,方法在非結構化環境下具有優秀的感知效果.

1　相關工作

負障礙感知是移動機器人環境感知領域的研究重點和難點,目前的障礙檢測大致分為兩類,一類是依靠圖像,可細分為三類:1)基于先驗知識.通過分析障礙的對稱性、顏色、陰影、紋理、角點或者邊等特性進行障礙檢測[1?3].這些方法基于單幀圖像,簡單、實時性高,但是在不利天氣條件下,或者出現與先驗不符的障礙時極易誤檢.2)基于熱成像圖像.文獻[4]使用熱成像圖像檢測負障礙,其機理在于負障礙所在區域的溫度通常要比其周圍環境要低,但是由于熱成像圖像只能在夜間檢測,且受天氣影響,也不能很好的解決該問題.3)文獻[5?6]提出了基于立體視覺的檢測方法.文獻[7]假定圖像中的大部分區域屬于地面,基于該假設先從V視差圖中得到主要的地面視差,再進行障礙物檢測.立體視覺的問題在于其對車體姿態較為敏感,當車體姿態發生變化時需要重新校正.

文獻[8?12]介紹了另一類基于2D與3D激光雷達的障礙檢測方法.相比于相機等二維被動式傳感器,激光雷達能準確測量物體的深度信息且不受光照、天氣等影響,這使得其在UGV的環境感知領域中被廣泛使用.文獻[13]提出了NODR(Negative obstacle detector)負障礙檢測方法,該方法抽取負障礙的幾何特性,通過訓練支持向量機(Support vector machine,SVM)模型對雷達掃描點進行快速分類,以此找到潛在的負障礙點.文獻[14]提出了FFA(Feature fusion based algorithm)與AMFA(Adaptive matching fi lter based algorithm)負障礙檢測方法,該方法同樣是利用SVM進行分類,并使用貝葉斯估計進行多幀雷達數據的融合關聯,以此提高檢測的準確率.但該方法計算量較大,且基于SVM的分類學習需要大量的學習樣本,而將大量的雷達點分類標記需要消耗大量的時間.

2　系統架構設計

由于負障礙的輪廓隱于地表以下,與凸出地表的正障礙相比,負障礙檢測難度較大.障礙檢測示意圖如圖2所示.

圖2　障礙檢測示意圖Fig.2　Illustration of obstacles detection

正障礙在地表以上(圖2(a)),滿足tan(α)=(H?h)/R,tan(α+θp)=H/R,因為在H/R值相當小的情況下,α與θp的值都很小,因此α≈(H?h)/R,α+θp≈H/R,進而有

負障礙在地表以下(圖2(b)),滿足tan(α)=H/(R+w),tan(α+θn)=(H+h)/(R+w),根據相似三角形原理,h=Hw/R,因為R?h,故存在α≈H/(R+w),α+θn≈(H+h)/(R+w),進而可知

對比式(1)和式(2),θp正比于1/R,θn正比于1/R2,同等距離下,負障礙要比正障礙所檢測到的有效角度小得多,負障礙距離越遠越難以檢測.

無人車使用的單線激光雷達視野太小,有效的數據點較少,很難完成負障礙感知的任務.本文使用32線激光雷達,相對于64線激光雷達,價格較便宜,且體積小,重量輕,適合不同的安裝方式.

為了提高雷達在車體前進方向的點云密度,本文采取水平的安裝方式.為了解決雷達數據大、數據幀不同步的問題,采取分布式實時處理架構,雷達數據由各自獨立的數據處理模塊采集,并做坐標轉換、噪點過濾等預處理.

2.1　激光雷達安裝分析

與大多數激光雷達垂直安裝方式不同,本文將兩個激光雷達對稱的水平安裝在UGV兩側.此種安裝方式可大大提高激光雷達在車體前進方向上的點云密度,如圖3所示.

圖3　激光雷達點云分布Fig.3　LiDAR point cloud distribution

兩種安裝方式的比較如圖4所示.由圖4(a),在垂直安裝方式下,有

其中,h是雷達架設高度,α是雷達最下方掃描線的掃描角度,?φ為雷達的垂直角分辨率,d表示最下方掃描線到雷達的水平距離,di表示第i根掃描線在地上的水平投影距離.第23～31根掃描線在水平面以上,不予以考慮.

由圖4(b),在水平安裝方式下,有如下關系式:

其中,d與h是雷達安裝參數,h是雷達架設高度,α為起始掃描角,di表示零度掃描線在i時刻在水平面上的投影距離.?β是雷達的水平角分辨率,i×?β可由雷達直接獲取.

表1列出了雷達安裝高度2m,在不同距離下,車體前進方向上,各個距離區間相鄰雷達點掃描間隔.假設雷達在20m的距離上要感知1m×1m左右的負障礙,按照垂直安裝方式,在20m位置,相鄰掃描點間隔達4.3m,而按照水平安裝方式,在20m處相鄰掃描點距離僅為0.55m.相比之下,垂直架設方式,20m外無法有效感知負障礙.

圖4　激光雷達安裝方式Fig.4　LiDAR installation method

表1　相鄰掃描點間隔Table 1　Adjacent scanning point interval

2.2　坐標轉換

任意t時刻,掃描面與z軸的夾角為α,第i根掃描線與中心線之間的夾角為β,如圖5(a),任一掃描點可描述為p(d,α,β).在水平安裝方式下,兩個雷達平移到車體坐標系下,如圖5(b),三維坐標表示p(x,y,z).其坐標轉換公式如下.左雷達

右雷達

3　負障礙感知

本文負障礙感知的方法利用統計學特征與幾何特征相結合的方式,從點云數據中提取關鍵特征點對,再通過聚類的方式劃分出負障礙,感知過程如圖6所示.

算法分解為如下三個步驟:

圖5　坐標系轉換示意圖Fig.5　Coordinate system conversion diagram

圖6　負障礙感知流程圖Fig.6　Negative obstacles perception fl ow chart

步驟1.柵格特征提取:將3D雷達點云投影到2.5D的多尺度柵格,統計各柵格特征,并根據特征對柵格標記.

步驟2.特征點對提取:再次遍歷點云數據,結合柵格的統計特征以及負障礙幾何特征提取關鍵特征點對.

步驟3.特征點對聚類:對步驟2中檢測出的關鍵特征點對聚類,識別負障礙,并對聚類后的類別進行過濾,去除噪聲、誤檢等產生的負樣本.

3.1　柵格特征提取

定尺度柵格處理簡單、方便,但是存在數據量與精度的矛盾.柵格尺度太大會降低檢測的精度,太小則會增加計算量,失去柵格化的意義.而多尺度柵格能很好的解決這一問題.柵格化的過程如圖7所示.

圖7　柵格化Fig.7　Grid map conversion

每個小柵格表示為

其中,zmax與zmin分別表示該柵格Z軸的最大值與最小值,num表示落在該柵格的雷達點數,label是該柵格的標記,其有四個值,分別表示坡、負障礙、正障礙、未知.在柵格化之后,根據柵格的統計特征,對柵格進行標記.

柵格化的過程可以得到掃描點分布的統計信息.在標記過程中,本文使用了較為松散的約束,這樣可以使得盡量多的柵格被標記成負障礙區域,這一行為雖然會將部分柵格誤標記為負障礙區域,但是在聚類過程中會被修正.

負障礙特征提取與聚類主要在25cm×25cm和10cm×10cm大小的柵格中進行,由于檢測的穩定距離在15米的距離上,在該距離段下,25cm×25cm的柵格最為合適,待負障礙進入車前10米距離內,通過10cm×10cm的柵格進一步細化負障礙的邊緣,為車輛行為規劃提供依據.

3.2　特征點對提取

柵格化的步驟,只是從統計的角度得到每個雷達掃描點所在區域的可能標記,而不是對柵格地圖的最終劃分.特征點對檢測的目的在于利用柵格的統計學特征結合式(8)描述的幾何特征共同檢測,進而確定并定位負障礙區域.

圖8(a)是特征點對提取的示意圖,檢測的目的在于從掃描點中找到B、C兩個特征點對(圖8(b)),BC之間的區域則是負障礙所在的區域,從圖8可得到以下推斷:

1)若地面相對平整,按照式(4)可知t時刻?di?1＜?di＜?di+1,即dAB＜dBC＜dCD,式中的距離表示水平距離.但是因為負障礙的存在使得上述關系不再成立,變為?di?1＜?di＜?di+1.

圖8　特征點對提取示意圖Fig.8　Illustration of feature pair points extraction

2)由于斷層的出現,導致負障礙背面聚集較多的掃描點,即C、D點所在的位置點密度要大于A、B、E點的點密集度.

3)點C的高度要小于點B的高度,亦即負障礙要有一定深度的落差.

根據上述推斷可得到負障礙檢測的數學模型

基于上述模型,遍歷點云數據,在點云數據中找到所有潛在的負障礙區域的特征點對.

3.3　特征點對聚類

算法檢測到的特征點對較為離散,并不能對各個特征點對進行關聯,最后對檢測到的特征點對聚類,以此劃分負障礙區域(圖9).聚類過程如下.

圖9　聚類示意圖Fig.9　LiDAR points clustering diagram

取每個特征點對的中心點x=[v0,v1]?1構成聚類樣本集G={x1,x2,···,xN}.

分類的目標函數為

其中,N是樣本總數,N1是第一類樣本數,N2是第二類樣本數,是兩類樣本的均值.

1)首先將樣本分成兩類

2)分別計算把x1,x2,···,xN并入G2類時的E值,設當xi并入G2時的E值最大,則把它并入G2得

3)若E(k+1)≥E(k),則重復上述步驟,直到某個E(k)達到最大值為止.這時最好的分類是共有N?k個樣本,有k個樣本.的更新公式為

4)取兩類樣本中離散度與樣本數大于一定閾值的類別重復上述步驟,若找不到則算法終止.

最后,對得到的類簇進行過濾,只留下包含樣本數大于一定閾值的類簇,并將其標記為負障礙.

4　實驗與分析

4.1　實驗及結果

為了驗證算法的感知性能,以及檢測的實時性,算法運行在兩個實驗平臺上:無人自主車“行健一號”(圖10(a))以及實驗平臺高爾夫車(圖10(b)).兩輛車的參數如表2所示.

表2　實驗平臺雷達安裝參數Table 2　Experimental platform radar installation parameters

激光雷達共32根掃描線,垂直掃描角度?30.67°～10.67°,垂直角分辨率1.33°,工作頻率10Hz,水平角分辨率0.16°最大測量距離70m,每秒鐘有效掃描點達700000多個.

依據雷達在不同距離上的點云分布密度以及目標負障礙的大小,將柵格地圖劃分為三個不同的尺寸,分別為10cm×10cm,25cm×25cm以及50cm×50cm,為了盡可能準確的檢測障礙物的形狀,同時減小計算量,本文的檢測主要在橫向5米、縱向10米內使用10cm×10cm的柵格,縱向10～30米使用25cm×25cm的柵格,縱向30米以外使用50cm×50cm的柵格.

相較于單個激光雷達,雙激光雷達數據量大,且兩個雷達運行不同步,彼此之間數據幀不同步會產生重影.為解決這一問題,本文采用分布式實時數據采集與融合架構.如圖11所示,兩個雷達分別連接獨立的處理模塊,該模塊負責雷達數據的采集與預處理,并通過陀螺儀信息進行位姿修正.實驗結果表明,該方法大大分解了工作量,并且有效避免了重影現象.

圖11　分布式架構原理圖Fig.11　Schematic diagram of distributed architecture

自主車前進過程中,車體前方是主要觀測區,兩個雷達數據采集的角度區間分別為:左,θ∈[α,π/2];右,θ∈[3π/2,3π/2+α].

針對不同的環境本文進行三組實驗,兩組非結構化環境以及一組半結構化環境(適應性測試),選取幾類不同的負障礙進行感知.實驗1的非結構化環境數據是“跨越險阻2014”無人地面平臺挑戰賽的真實比賽數據.實驗2中,雷達數據采集過程中并未放置交通錐,在圖像采集過程中放置交通錐做為負障礙位置提示.

圖12　實驗1場景Fig.12　Scene of Experiment 1

實驗1(圖12)包括三個典型的負障礙:水坑(圖12(b))、壕溝(圖12(c))、土坑(圖12(d)).圖12(a)是場景1～3的遠視圖,三個負障礙按照“S”形分布.檢測時,無人自主平臺依次繞過場景1～3,如圖12中箭頭所示.實驗1中四個不同位置的檢測結果如圖13所示.

實驗2(圖14)是另一組非結構化環境下的負障礙檢測結果圖.實驗包括兩個負障礙,與實驗1不同的是兩個負障礙分布在起伏路面上,圖14(a1)和圖14(b1)是下坡時的檢測示意圖,圖14(c1)和圖14(d1)是上坡時的檢測示意圖.

在圖13和圖14中,圖13(a1)～13(d1)和圖14(a1)～14(d1)是不同位置觀測到的實驗場景圖像,圖13(a2)～13(d2)和圖14(a2)～14(d2)是雷達點云數據特征點對檢測的結果.每一個特征點對的中間區域表示可能的負障礙區域.圖13(a3)～13(d3)和圖14(a3)～14(d3)是特征點對聚類后的結果.

圖13　實驗1四個不同位置的檢測結果Fig.13　Experiment 1 detection results of four different places

實驗3(圖15)為補充的一組半結構化環境下的負障礙檢測實驗,場景為窨井口.圖15(a)圖是窨井口的遠視圖,圖15(b)～15(f)分別是在13m,11.5m,9.5m,6m,5m 距離下的檢測結果.

4.2　結果分析

場景1是非結構化環境下的類圓形具有水、地面高度落差的水坑.在實驗中發現,純凈水面會鏡面反射激光束,導致水體區域的激光雷達無回波信號,點云缺失,使得負障礙與未知區域難以辨認;渾濁的水面激光回波強度與地面回波強度非常接近,無法區分是普通地面還是水面回波特征.所以對于水面與地面基本無落差的滿水坑,激光雷達無法實現對水坑的辨別.本文水坑由于并未完全灌滿水,具有一定的負障礙輪廓特征,方法在遠距離能夠有效地檢測,而在近距離下會發生漏檢.

圖14　實驗2起伏路面負障礙檢測Fig.14　Experiment 2 undulating pavement negative obstacle detection

實驗中,特征點對檢測的過程會引入部分誤檢,如圖13(a2)中長矩形所示.大部分的誤檢特征點對并無分布規律,其可能是由雷達系統誤差或誤檢所致,通過聚類可以有效的排除這些噪點,如圖13(a3)所示.

場景2與場景3是兩個不同尺寸的負障礙,形狀與大小各異.由于兩個負障礙較近,在各自的檢測中都有部分檢測到另一個,如圖12(b2)和圖12(d2),但是因為檢測到的特征點對較少而在聚類時被排除,如圖13(b3)和圖13(d3).圖14(c1)中同時包含了兩個負障礙,本文的方法不僅成功檢測,而且能正確區分.

實驗2中的場景4和場景5(圖14(a1)～14(d1)),是車體在上、下坡時的檢測結果.不同于平緩路面,上下坡時車體發生傾斜,下坡時,車體呈俯視狀態,同等距離下探測到的深度更深,上坡時則相反.車體的傾斜對檢測結果存在一定的影響,俯視狀態的檢測結果要略優于仰視狀體下的檢測結果.

場景6(圖15(a)所示的窨井口)是半結構化道路下的一個負障礙，尺寸小于上述幾個場景,圓形的輪廓使得其邊緣不易檢測,越靠近邊緣,檢測的難度越大.

4.3　性能分析

表3給出了六個場景的檢測參數和檢測結果.初次標記距離指在靠近負障礙的過程中,負障礙80%以上區域被檢測到時的距離,穩定標記距離指連續5幀以上都能正確檢測時的距離.根據表格數據,寬度在1m以上的負障礙,本文方法在15m遠即可檢測,以無人車野外最大30km/h的行駛速度計算,其反應時間為1.8s左右,完全能夠滿足地面無人自主平臺的需求,具有實用性.

實驗均運行在Cortex-A8處理器,1GHz,256MB RAM的ARM環境下,單幀處理時間在15ms左右.表4列出了部分主流負障礙檢測方法的運行時間,部分數據來源于文獻[14],相比較,本文方法具有高實時性.

圖15　實驗3不同距離對窨井口檢測結果Fig.15　Experiment 3 sewer exit detection in different distance

表3　實驗場景參數與檢測結果Table 3　Parameters of experiments and detection results

表4　算法時間對比Table 4　Algorithm time contrast

本文方法已成功應用在兩輛無人自主車上,能夠穩定并有效地進行負障礙檢測,表明本文的方法具有良好的可靠性.

5　結論

本文提出了一種新的非結構化環境下基于雙激光雷達感知負障礙的方法.該方法由硬件系統架構以及負障礙檢測算法兩部分組成.通過調整雷達安裝方式提高點云密度;利用分布式數據處理架構,分解了工作量,提高了檢測的實時性.檢測算法結合了負障礙的統計學特征以及空間幾何特征,做多特征關聯進行檢測,最后通過聚類對負障礙加以區分和標記,提高了檢測性能.實驗結果表明,本文的方法具有較高實時性與可靠性,在無人車上的應用也說明了該方法的實用性,能夠滿足無人自主平臺的需求.

由于本文研究對象在相關研究領域較為小眾化,本文方法的普適性、可靠性等技術指標還需要大樣本的實驗數據進行進一步驗證和提升,在后續的研究中,關注實驗樣本庫的構建,進一步對算法的性能進行改進.

1 Fang Hui,Yang Ming,Yang Ru-Qing.Ground feature point matching based global localization for driverless vehicles.Robot,2010,32(1):55?60(方輝,楊明,楊汝清.基于地面特征點匹配的無人駕駛車全局定位.機器人,2010,32(1):55?60)

2 Buchert,Curio C,Edelbrunner J,Igel C,Kastrup D,Leefken I,Lorenz G,Steinhage A,von Seelen W.Image processing and behavior planning for intelligent vehicles.IEEE Transactions on Industrial Electronics,2003,50(1):62?75

3 Betke M,Haritaoglu E,Davis L S.Real-time multiple vehicle detection and tracking from a moving vehicle.Machine Vision and Applications,2000,12(2):69?83

4 Matthies L,Rankin A.Negative obstacle detection by thermal signature.In:Proceedings of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems.Las Vegas,NV,USA:IEEE,2003,1:906?913

5 Dubbelman G,van der Mark W,van den Heuvel J C,Groen F C A.Obstacle detection during day and night conditions using stereo vision.In:Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems.San Diego,CA,USA:IEEE,2007.109?116

6 Hadsell R,Sermanet P,Ben J,Erkan A,Scoffier M,Kavukcuoglu K,Muller U,LeCun Y.Learning long-range vision for autonomous off-road driving.Journal of Field Robotics,2009,26(2):120?144

7 Cong Y,Peng J J,Sun J,Zhu L L,Tang Y D.V-disparity based UGV obstacle detection in rough outdoor terrain.Acta Automatica Sinica,2010,36(5):667?673

8 Larson J,Trivedi M,Bruch M.Off-Road Terrain Traversability Analysis and Hazard Avoidance for UGVs.Department of Electrical Engineering,University of California,San Diego,USA,2011.

9 Heckman N,Lalonde J F,Vandapel N,Hebert M.Potential negative obstacle detection by occlusion labeling.In:Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems.San Diego,CA,USA:IEEE,2007.2168?2173

10 Sinha A,Papadakis P.Mind the gap:detection and traversability analysis of terrain gaps using LIDAR for safe robot navigation.Robotica,2013,31(7):1085?1101

11 Tingboh.Research on Stereo Vision Algorithms and Their Application in Obstacle Detection for ALV[Ph.D.dissertation],National University of Defense Technology,China,2012.

12 Marder-Eppstein E,Berger E,Footet,Gerkey B,Konolige K.The office marathon:robust navigation in an indoor office environment.In:Proceedings of the 2010 IEEE International Conference on Robotics and Automation(ICRA).Anchorage,AK,USA:IEEE,2010.300?307

13 Larson J,Trivedi M.Lidar based off-road negative obstacle detection and analysis.In:Proceedings of the 14th International IEEE Conference on Intelligent Transportation Systems(ITSC).Washington DC,USA:IEEE,2011.192?197

14 Shang E K,Anx J,Wut,Hut B,Yuan Q P,Heh G.LiDAR based negative obstacle detection for fi eld autonomous land vehicles.Journal of Field Robotics,2016,33(5):591?617