一種改進Delaunay三角剖分的臨時道路檢測方法

王 超,王立勇,蘇清華,丁炳超,張 政,賈曉亮

(1.北京信息科技大學 現代測控技術教育部重點實驗室,北京 100192;2.陸軍裝備部駐北京地區軍事代表局駐臨汾地區軍事代表室,山西 臨汾 041000)

0 引言

隨著人工智能技術高速發展,無人駕駛車輛已成為各高校與機構的重點研究對象,其主要包含3個關鍵技術：環境感知、決策規劃及車輛控制[1]。其中,環境感知是實現車輛自主行駛的先決條件,它模擬了人類駕駛員對自身周圍環境的理解,如在結構化道路中,無人車輛需感知環境,使其保持在車道線以內行駛,對此,有學者提出針對車道線的可行使區域檢測方法[2-4]。而路況環境是復雜多變的,其中臨時道路作為一種特殊路況之一,常在道路保養與維護、發生交通事故以及道路臨時管制等情況下使用交通路錐臨時搭建,以避免事故進一步擴大及交通引流。另外,為了驅動無人駕駛技術的發展,國內外高校與研究機構舉辦的無人駕駛方程式大賽均以交通路錐作為臨時牽引車道[5-8]。針對上述特定場景,常規的車道線識別方法面臨諸多挑戰,對此,有部分學者提出了解決方案,如李剛等[9]使用四邊形重心的幾何特性確定路錐車道內可行駛路徑點,并采用3次樣條插值擬合路徑曲線,但該方法估算出的車輛可行駛路徑較短,且沒有考慮可行駛區域的安全冗余范圍。史林波等[10]使用Hough變換的方法檢測路錐車道線,根據檢測結果擬合車輛的目標行駛路徑,此方法計算復雜度較高,且對彎道檢測魯棒性不強。Wang等[11]使用特征點法對場景視覺特征點進行提取并匹配,根據匹配結果確定各點之間的幾何約束,并從中分割出可行駛道路,此方法依賴于視覺特征點的提取與匹配,易受環境光照、載體旋轉等影響,且道路檢測結果中包含較多非道路成分,安全冗余度不高。

針對上述問題,本文提出一種改進Delaunay三角剖分算法,通過實時更新與優化Delaunay三角網的權重及損失值,濾除損失值總和不滿足條件閾值的冗余三角邊,從而提升道路檢測準確率,降低車輛行駛危險。

1 道路環境與錐桶檢測

1.1 道路環境

本文以交通錐桶搭建的臨時道路作為研究對象,參考中國大學生無人方程式大賽規則并結合實際道路應用[10],以紅、藍2種顏色錐桶分別標記臨時道路左、右兩側邊界。交通錐桶長、寬、高分別為20、20、30 cm,橫向間距為3 m,縱向間距為3.8 m,如圖1所示。

圖1 臨時道路場景

1.2 交通錐桶檢測

交通錐桶的檢測分為3部分,分別為：從相機采集的彩色圖像中獲取交通錐桶2D顏色信息,從激光雷達獲取的點云數據中獲取交通錐桶3D點云信息,以及2D、3D交通錐桶數據融合。

為提取彩色圖像中的交通錐桶的顏色信息,訓練檢測錐桶的機器學習模型,首先,將通過相機采集的紅、藍色交通錐桶圖像數據集使用LabelImg軟件分別進行手工標注;然后,選取8 000張道路圖像按照7∶2∶1的比例分別構建訓練集(5 600張)、測試集(1 600張)及驗證集(800張);最后,基于訓練集數據訓練YOLOv4目標檢測網絡[12],直至該網絡收斂并可實現對道路中不同顏色錐桶實時檢測,獲取錐桶顏色分類結果及圖像檢測框,如圖2(a)所示。

基于視覺的深度估計方法易受光照、車輛震動等因素影響,無法高精度感知錐桶位置,因此本文采用激光雷達對道路場景實時掃描,從而獲取錐桶的準確位置。由于地面不平等因素,運動狀態下激光雷達采集的點云數據中包含大量地面噪聲點云,且呈現為紋理狀,對后續錐桶點云聚類帶來干擾,因此,通過線性模型對地面進行平面擬合,將原始點云數據中的地面噪聲濾除,如式(1)所示,式中,A、B、C、D為平面擬合參數,x、y、z為原始點云坐標。

Ax+By+Cz+D=0

(1)

使用RANSAC方法[13]對式(1)進行參數估計,并判斷原始點云到該平面距離是否滿足條件,若點云中滿足該點到平面的正交投影距離小于給定閾值,則該點云屬于地面,將其濾除并保留地面以上的點云。最后,采用歐幾里得算法對錐桶點云進行聚類分割。由于該方法會對所有相鄰點云計算歐式距離,運算量較大,為提高算法整體運算效率,在聚類前使用體素柵格法對障礙物點云進行降采樣,其中體素柵格閾值設為0.01,確保在減少點云數量的同時保留其形狀特征。

由于相機與激光雷達對場景的感知是松耦合過程,因此,需要將相機與激光雷達進行聯合標定,進而確定兩者在空間內的投影關系,從而實現圖像中交通錐桶的顏色信息與激光點云中交通錐桶的點云信息的數據融合。本文通過構建關于重投影殘差的PnP模型[14],如式(2)所示。

(2)

式中：e為重投影殘差;Iv為圖像中第v個像素坐標;Pv為第v個點云坐標,且Iv與Pv均為先驗數據;sv為第v個點云深度值;K為相機內參矩陣。

為計算投影矩陣T,采用高斯-牛頓非線性優化方法對式(2)進行迭代優化,優化過程中存在重投影殘差關于投影矩陣T的微分運算,由于T是由正交旋轉矩陣R和平移向量t所構成的特殊歐氏群,其加法運算不具封閉性,因此本文采用李代數左乘擾動模型實現對投影矩陣T的無約束優化。待優化完成后從T中取出旋轉矩陣R和平移向量t,實現交通錐桶3D點云投影到2D圖像,如式(3)所示,式中Pr為實時檢測到的錐桶3D點云坐標,Ir為點云投影到圖像中的2D像素坐標。

Ir=K(RPr+t)

(3)

由于傳感器標定存在誤差,無法確保交通錐桶點云投影后的像素坐標與圖像交通錐桶坐標重合,因此,通過統計每一個交通錐桶檢測框內Ir的數量來決定融合是否有效,若數量滿足給定閾值,則對滿足條件的Pr求質心并作為該錐桶最終的3D點云坐標,如圖2(b)所示。

圖2 交通錐桶檢測

2 Delaunay三角剖分改進算法

2.1 Delaunay三角網構建步驟

Delaunay三角剖分可將離散的交通錐桶集合連接成互不交叉的三角網。該三角網滿足空外接圓準則和最小角最大準則,避免產生狹長三角形[15-16],從而確保從錐桶集合中任意交通錐桶位置開始建網,最終得到的Delaunay三角網是唯一的。本文以所檢測交通錐桶集合中每個錐桶個體作為三角形頂點,如圖3(a)所示,各頂點位置由交通錐桶點云坐標描述,采用逐點插入法[17]構建Delaunay三角網,具體步驟如下：

1) 創建一個虛擬平面,確保其與道路平面平行,在該平面內構建一個虛擬三角形包圍盒,確保能將所有交通錐桶包含在包圍盒以內。

2) 在虛擬三角形包圍盒內插入一點,將該點分別與虛擬三角形各頂點相連,構成初始三角網,隨后將交通錐桶點集中所有點依次插入到當前的三角網中,并記錄包含該點的三角形位置。

3) 在確定插入點位置后,將該點與其所在三角形3個頂點相連,根據空外接圓準則刪除構成影響域凸包內三角形公共邊,最終生成如圖3(b)所示的Delaunay三角網。

由圖3可知,由紅、藍交通錐桶作為路標引導的臨時道路中,對各交通錐桶進行Delaunay三角剖分可確定其內部的幾何關系,提取出紅色交通錐桶之間所連接的三角邊即可構建出臨時道路左車道線,同理,也可確定藍色交通錐桶構成的右車道線,連接紅、藍之間所連接的三角邊中點可作為車輛可行駛路徑。

圖3 Delaunay三角剖分示意圖

由于場景的復雜性以及算法的局限性,無法確保對交通錐桶檢測效果達到100%準確率,因此在實際交通錐桶檢測過程中可能出現錯檢,如圖3(a)中,當藍色交通錐桶引導的車道下側出現異常點,該點為交通錐桶誤識別結果,而導致在構建圖3(b)中Delaunay三角網時出現多條冗余三角邊。此外,當檢測到彎道處的交通錐桶,如圖3(b)中的紅色交通錐桶,在對其進行Delaunay三角剖分時也會產生冗余三角邊。因此,從Delaunay三角網中直接規劃車道線與可行駛路徑的錯誤率將增加。

2.2 Delaunay三角網濾波算法

為消除因冗余三角邊數量的增加而導致無法穩定規劃出車道線與可行駛路徑的問題,本文提出一種針對Delaunay三角網冗余三角邊的濾波器,在不影響Delaunay三角網內部幾何約束的前提下實現冗余三角邊濾除。

該算法首先對Delaunay三角網進行均值濾波,可避免因交通錐桶擺放位置間距不規律導致后續計算三角邊損失值無法收斂的問題。對如圖3(b)所得Delaunay三角網,計算紅、藍交通錐桶連接的三角邊長度總和并求其均值Ms,如式(4)所示。

(4)

式中：n為三角邊數量;(Xri,Yri)為第i個三角邊對應紅色交通錐桶位置坐標;(Xbi,Ybi)為第i個三角邊對應藍色交通錐桶位置坐標。

同種顏色且位置相鄰的交通錐桶所連接三角邊長度總和dr、db,及其均值Md,如式(5)—(7)所示。

(5)

(6)

(7)

式中：m、k分別為紅、藍色交通錐桶數量;dr為所有紅色且位置相鄰的2個交通錐桶連線長度總和;db為所有藍色且位置相鄰的2個交通錐桶連線長度總和;(Xru,Yru)與(Xr(u+1),Yr(u+1))為紅色且位置相鄰的交通錐桶位置坐標;(Xbj,Ybj)與(Xb(j+1),Yb(j+1))為藍色且位置相鄰的交通錐桶位置坐標。

根據Ms和Md可計算出2種不同顏色交通錐桶構成三角邊的長度損失值W,以及同種顏色且位置相鄰的錐桶所構成三角邊的長度損失值D,W和D分別反映了Delaunay三角網中橫向及縱向噪聲約束規模,如式(8)、(9)所示,其中,(Xr,Yr)與(Xb,Yb)表示不同顏色交通錐桶所構成三角邊對應紅色、藍色交通錐桶位置坐標,(Xm1,Ym1)與(Xm2,Ym2)表示不同顏色交通錐桶構成三角邊中2個相鄰三角邊的中點坐標,也即路徑點坐標。

(8)

(9)

根據路徑點坐標可得到3個相鄰路徑點所構成三角形的各邊長度：aq,bq,cq,如圖4所示,并以此計算路徑夾角θq,如式(10)所示。為從Delaunay三角網中獲取路徑的損失信息,需對路徑夾角進行編碼,得到路徑夾角損失值θ,如式(11)所示,其中,Q為Delaunay三角網中路徑夾角個數。

(10)

(11)

圖4 路徑夾角示意圖

聯立式(8)、(9)及(11),計算Delaunay三角邊總損失值,如式(12)所示。

(12)

式中：Nc為交通錐桶誤檢數量;Wc、Wk、Ww、Wd分別表示錐桶誤檢縮放系數、路徑角度縮放系數、車道寬度縮放系數、路徑長度縮放系數。

通過設定閾值γ1,將損失值L大于γ1的三角邊進行濾除,從而有效降低冗余三角邊的數量。為避免在不同環境下出現非冗余三角邊的誤濾除,需根據交通錐桶擺放位置的前后及左右間距變化實時更新閾值γ1,如式(13)所示。

(13)

2.3 Delaunay三角網局部優化

對濾除冗余三角邊后的Delaunay三角網,可根據三角網內各頂點顏色特征及其關聯的點云坐標構建車道線與可行駛路徑,即在三角網內依次連接紅色錐桶,得到左車道線;同理,對藍色錐桶處理得到右車道線,左右車道線之間的區域為車輛可行駛區域,如圖5所示。每當獲取到新的錐桶數據時需對原Delaunay三角網進行更新,并對更新后的三角網再次構建車道線及可行駛路徑。更新時需對插入交通錐桶后所構成的新三角邊進行空圓特性檢測,遍歷新Delaunay三角網,并計算各三角邊損失值。該過程本質上是對整體Delaunay三角網進行全局更新,當出現大量交通錐桶數據時會導致運算量增大,對后續可行駛路徑及車道線的規劃效率造成一定影響。

圖5 路徑夾角示意圖

為保證算法整體運行效率,當檢測到新的交通錐桶數據時,采用滑動窗口法對Delaunay三角網進行局部優化,具體實施步驟如圖6所示。在更新Delaunay三角網時,需對部分歷史錐桶數據進行濾除,通過判斷錐桶3D點云坐標與車輛的相對位置,將車輛后方的交通錐桶數據進行濾除,避免其參與Delaunay三角剖分,確保后續只對車輛前方滑動窗口內的交通錐桶數據進行優化。

優化過程中需確保新插入的交通錐桶數據在滑動窗口內與歷史幀交通錐桶數據產生關聯,由于冗余三角邊的濾除過程是由單獨的線程負責計算,因此可將該線程所得到的三角邊均值Ms與Md作為歷史幀交通錐桶數據,隨后對更新后的Delaunay三角網計算標準差損失值。

圖6 Delaunay三角網局部優化流程

由紅、藍2種不同顏色交通錐桶構成三角邊的標準差損失值Lw如式(14)所示。

(14)

式中：wg為2種不同顏色交通錐桶構成三角邊中第g個三角邊的長度;G為2種不同顏色交通錐桶構成三角邊的數量。

由同種顏色且位置相鄰的交通錐桶所構成三角邊的標準差損失值Lb如式(15)所示。

(15)

式中：re為紅色相鄰交通錐桶所構成三角邊中第e個三角邊長度;bt為藍色相鄰交通錐桶所構成三角邊中第t個三角邊長度;E和B分別為紅色相鄰交通錐桶、藍色相鄰交通錐桶所構成三角邊的數量。

根據Lw及Lb可計算三角網局部優化損失值Lwb,如式(16)所示。

Lwb=αLw+βLb

(16)

式中：α、β分別為路徑標準差縮放系數、車道標準差縮放系數。

新插入的交通錐桶將作為新的頂點并關聯多個三角邊,通過多次計算局部優化損失值Lwb,選取損失值最小的三角邊中點作為路徑更新量,并將其與前一幀路徑點相連,同時,將該三角邊2個端點根據交通錐桶顏色特征分別與前一幀車道線端點相連,作為車道線更新量,如圖7所示。

圖7 車道線及路徑更新示意圖

3 實驗結果與分析

實車實驗過程中,采用無人方程式賽車作為移動平臺,如圖8所示。無人方程式賽車車身軸距為1.6 m,搭載RS-LDAR-32激光雷達1臺,ZED雙目立體相機1臺,RTK組合導航模塊1套,英偉達Jetson Xavier一臺。32線激光雷達的測距范圍為0.4～200 m,可感知道路上的交通錐桶距離;ZED相機分辨率為1 280×720,圖像采集頻率為60 Hz,用于實時獲取道路圖像信息;RTK組合導航模塊用于車輛實時定位;Jetson Xavier作為車輛嵌入式計算機運行環境感知、道路檢測程序。

圖8 無人方程式賽車

將Delaunay三角網濾波算法中的縮放系數Wc、Wk、Ww、Wd分別設置為1、0.5、0.25、0.25;三角網局部優化縮放系數α、β分別為1.5、0.2。由紅、藍2種顏色交通錐桶構建的臨時道路長度約103 m,車輛行駛速度為10 km/h。為驗證算法的有效性,在正常光照環境下對臨時道路中直行、右轉及左轉車道進行實車實驗,如圖9所示。

圖9 正常光照環境下臨時道路檢測結果

在圖9(a)直行車道場景中,受遠處右側車道交通錐桶的影響,Delaunay三角網增加了4條冗余三角邊,導致Delaunay三角剖分算法無法穩定規劃出車道線,且計算可行駛路徑時產生錯誤偏移,如圖9(b)所示。在圖9(d)右轉車道及圖9(g)左轉車道2種場景中,受錐桶誤識別以及彎道同側交通錐桶的影響,Delaunay三角剖分算法均無法正常檢測出車道線與可行駛路徑。然而,通過增加三角網濾波和局部優化,直行、右轉及左轉路試的實時車道檢測和可行駛路徑規劃均可快速、準確地生成,如圖9(c)、(f)及(i)中所示。

為驗證算法的魯棒性,在不同光照環境下進行實車實驗,如圖10所示。傳統Delaunay三角剖分算法無法正確規劃出可行駛路徑,且車道線檢測不穩定,如圖10(b)及(e)中所示。然而,改進Delaunay三角剖分算法在弱光及逆光場景下均可穩定、準確檢測出車道線與可行駛路徑,如圖10(c)及(f)中所示,因此,本文算法具有良好的魯棒性。

圖10 不同光照環境下臨時道路檢測結果

為進一步驗證本文算法的準確性,使用RTK組合導航對上述臨時道路進行數據采集。本實驗中,首先,由人工駕駛無人方程式賽車以10 km/h的速度完成整個賽道行駛,駕駛過程中,車輛盡可能處于道路正中間,RTK組合導航、激光雷達及相機共同實時記錄車輛行駛的GPS數據、場景障礙物點云信息以及交通錐桶圖像信息。其次,通過對數據集中GPS數據進行路徑可視化,可得到車輛真實行駛軌跡。隨后,基于該數據集中的障礙物點云與道路圖像數據,使用本文算法完成道路檢測和可行駛路徑計算。最后,通過與人工駕駛的GPS路徑比較,判斷改進Delaunay三角剖分算法是否可行,實驗結果如圖11所示。

圖11 可行駛路徑與GPS路徑對比

在同樣的環境下,表1給出不同算法實驗對比結果。由表1可知,文本算法所檢測可行駛路徑絕對軌跡誤差為0.2 m,相比其他算法均有所降低。另外,本文算法處理每幀數據平均耗時為35.4 ms,路徑檢測長度為8.4 m,準確率為97%,在滿足實時性的同時提高了可行駛路徑檢測長度及檢測準確率。

表1 不同算法實驗對比

4 結論

本文提出一種改進Delaunay三角剖分算法,用于檢測由交通錐桶引導的臨時道路,在實車實驗中規劃出車道線及車輛可行駛路徑,得出的主要結論如下：

1) 提出一種Delaunay三角網濾波算法,根據路況變化實現Delaunay三角網權重與損失值的實時計算,有效減少Delaunay三角網內的噪聲約束,降低車道線與可行駛路徑檢測誤差。

2) 提出一種Delaunay三角網局部優化策略,實時計算三角網局部優化損失值,有效濾除交通錐桶信息中的無效數據,實現車道線與可行駛路徑的快速規劃與實時更新。

3) 實車實驗結果表明,本文所提出的改進Delaunay三角剖分算法平均耗時為35.4 ms,檢測可行駛路徑的絕對軌跡誤差為0.2 m、準確率為97%,滿足實時性要求,降低了路徑檢測誤差,提高了路徑檢測準確率。