基于融合特征的無人履帶車輛道路類型識別方法

劉佳, 劉海鷗, 陳慧巖, 毛飛鴻

(1.北京理工大學(xué) 機(jī)械與車輛學(xué)院, 北京 100081; 2.中國北方車輛研究所 車輛傳動重點(diǎn)實(shí)驗(yàn)室, 北京 100072)

0 引言

不同類型的道路其阻力系數(shù)、不平度、附著系數(shù)等參數(shù)有著明顯差異,會對車輛性能產(chǎn)生重要影響。趙豐根據(jù)道路的不平度等級對車輛半主動懸架的控制參數(shù)進(jìn)行優(yōu)化,提高了懸架系統(tǒng)的減振性能[1]。顛簸道路會造成車輛油門的劇烈變化,進(jìn)而導(dǎo)致頻繁換擋,影響車輛的動力性和經(jīng)濟(jì)性[2]。道路阻力系數(shù)會直接影響車輛動力學(xué)模型參數(shù),從而對車輛動力性產(chǎn)生影響。車輛在低附著路面行駛時易發(fā)生滑轉(zhuǎn)滑移甚至甩尾失控,其行駛穩(wěn)定性裕度難以精確可控,行駛軌跡不確定性較大。對于相同類型的道路,滾動阻力系數(shù)與車輛速度等參數(shù)之間的關(guān)系曲線、最大轉(zhuǎn)向阻力系數(shù)、附著系數(shù)與滑移率之間的關(guān)系曲線等是一致的,路面不平度函數(shù)也具有相似的統(tǒng)計規(guī)律,因此對道路類型進(jìn)行識別后,可以進(jìn)一步識別阻力系數(shù)、附著系數(shù)、路面不平度等級等參數(shù)。無人履帶車輛通常行駛在復(fù)雜的非結(jié)構(gòu)化道路上,經(jīng)常遇到起伏大、泥濘多的道路環(huán)境,其性能極易受到路況的影響,因此在其進(jìn)行懸架控制、自動換擋決策、路徑規(guī)劃等任務(wù)時,首先識別道路類型,然后對阻力系數(shù)、附著系數(shù)、路面不平度等級等參數(shù)進(jìn)行識別,進(jìn)而根據(jù)識別結(jié)果調(diào)整決策控制策略及參數(shù),有利于優(yōu)化車輛的行駛效率、通過能力等,提高無人履帶車輛對各種道路的適應(yīng)能力。因此道路類型識別對無人履帶車輛的性能提升至關(guān)重要。

路面圖像可以提供豐富的色彩和紋理信息,因此基于圖像的道路類型識別方法得到廣泛應(yīng)用。鄒家祥結(jié)合圖像色彩統(tǒng)計特征與局部二值模式(LBP)特征,分別使用支持向量機(jī)(SVM)與雙層分類器實(shí)現(xiàn)地形識別,雙層分類器即首先根據(jù)顏色特征大致判斷地形類別,之后根據(jù)紋理特征確定具體的地形[3]。王振宇[4]采用深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行路面圖像識別,并對多種網(wǎng)絡(luò)框架的訓(xùn)練學(xué)習(xí)效果進(jìn)行對比,選擇最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu),然后對其相對應(yīng)的不同路面等級進(jìn)行模糊分類。Dewangan等[5]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的道路分類網(wǎng)絡(luò),用于道路表面的精確分類,在復(fù)雜的道路環(huán)境中也表現(xiàn)優(yōu)越。abanovi等[6]開發(fā)了基于可視化數(shù)據(jù)和深度神經(jīng)網(wǎng)絡(luò)的路面實(shí)時分類系統(tǒng),并應(yīng)用于汽車制動系統(tǒng)。Wang等[7]將SVM和卷積神經(jīng)網(wǎng)絡(luò)結(jié)合,實(shí)現(xiàn)了基于圖像的道路類型識別。王志紅等[8]將語義分割模型作為基礎(chǔ)模型,同時改進(jìn)模型輸出網(wǎng)絡(luò),將數(shù)目最多的像素類型標(biāo)簽作為最終道路類型的識別結(jié)果。Liu等[9]基于道路圖像,利用MobileNetV2卷積神經(jīng)網(wǎng)絡(luò)框架和遷移學(xué)習(xí)實(shí)現(xiàn)了道路類型識別。此類方法在光照條件良好的環(huán)境中性能優(yōu)越,但是當(dāng)光線較強(qiáng)或較弱、導(dǎo)致成像質(zhì)量不佳時,其性能會大大下降。另外,當(dāng)履帶車輛行駛過程中的塵土、泥漿等導(dǎo)致道路圖像畫質(zhì)惡劣時,也會使得該方法性能下降。

很多學(xué)者利用懸置質(zhì)量垂向加速度信號進(jìn)行道路類型識別,一般使用加速度計測得的垂向加速度表示垂向振動。Wang等[10]通過測量車輛振動,并根據(jù)車輛的速度和四分之一動力學(xué)模型計算出道路輪廓,從道路輪廓與加速度數(shù)據(jù)中提取特征,利用機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)了路面分類。Bai等提出了一種基于車輛三維振動的地形分類方法,利用快速傅里葉變換(FFT)將三個方向的加速度變換到頻域,提取特征向量后,分別采用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)[11]與多層感知深度神經(jīng)網(wǎng)絡(luò)[12]得到振動與地形類型之間的映射關(guān)系。Wang等[13]以原始振動信號的時域以及時域、頻域和時頻域的組合特征為輸入,利用隨機(jī)森林(RF)算法對道路進(jìn)行了分類。Skoczylas等[14]提取加速度計和陀螺儀數(shù)據(jù)的頻域特征,以多層感知機(jī)為分類器實(shí)現(xiàn)了道路類型識別。Cheng等[15]提出了一種基于振動的自主機(jī)器人地形分類框架,利用半監(jiān)督學(xué)習(xí)實(shí)現(xiàn)了地形分類。Shi等[16]利用半監(jiān)督學(xué)習(xí)方法,研究了基于振動的地形分類問題,針對地形采樣序列中存在的內(nèi)在時間相關(guān)性,提出了一種改進(jìn)的拉普拉斯SVM法,以利用未標(biāo)記數(shù)據(jù)提高分類性能。Andrades等[17]利用自組織映射算法對路面進(jìn)行分類和估計,用輪胎在6種不同表面上滾動產(chǎn)生的振動數(shù)據(jù)生成道路分類模型。此類方法不受光照影響,環(huán)境適應(yīng)性強(qiáng),但其準(zhǔn)確率較低,無法辨別不平度相似的路面。

由于使用單一信號存在局限性,一些文獻(xiàn)提出將多種信號進(jìn)行結(jié)合,實(shí)現(xiàn)優(yōu)勢互補(bǔ)。王世峰等將路面圖像的紋理特征、直方圖特征與懸置質(zhì)量振動特征結(jié)合,使用神經(jīng)網(wǎng)絡(luò)分類器實(shí)現(xiàn)道路類型識別[18],該文獻(xiàn)使用傳統(tǒng)的圖像特征進(jìn)行識別,相比于卷積神經(jīng)網(wǎng)絡(luò)提取的深度特征,傳統(tǒng)特征魯棒性差,準(zhǔn)確率低。Mauro等提出了一種通過收集車輛與環(huán)境相互作用機(jī)理的重要信息來進(jìn)行地形識別的方法,該方法使用大量傳感器以得到車輪縱向力、驅(qū)動扭矩、功率、摩擦系數(shù)、縱向剛度等變量,之后提取其統(tǒng)計特征,利用SVM實(shí)現(xiàn)了地形識別[19]。Bonfitto等使用人工神經(jīng)網(wǎng)絡(luò)(ANN)區(qū)分路面的干燥、潮濕、結(jié)冰3種情況,輸入特征向量包括橫縱向加速度、橫擺角速度、4個車輪線速度的頻譜分析和統(tǒng)計分析,共64個特征[20]。文獻(xiàn)[19]和文獻(xiàn)[20]提出的方法均需要加裝多個傳感器,復(fù)雜度高,實(shí)用性低。

本文提出一種基于融合特征的無人履帶車輛道路類型識別方法,將道路圖像的深度特征和懸置質(zhì)量垂向加速度的統(tǒng)計特征相結(jié)合,利用機(jī)器學(xué)習(xí)分類算法實(shí)現(xiàn)道路類型識別。道路圖像的深度特征利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行提取。對于懸置質(zhì)量垂向加速度信號,本文考慮其時域信號、頻域信號以及功率譜密度信號。本文共考慮碎石路、土路、沙路和鋪面路4種常見的非結(jié)構(gòu)化道路。對使用單一特征和融合特征的方法進(jìn)行對比,結(jié)果表明融合特征的準(zhǔn)確性和環(huán)境適應(yīng)性大大優(yōu)于單一特征,并且相比僅使用圖像特征的方法,基于融合特征的方法實(shí)時性損失極小。另外,本文對比了SVM、ANN、決策樹(DT)、Bagging、RF 5種機(jī)器學(xué)習(xí)分類算法在準(zhǔn)確性和實(shí)時性方面的性能,結(jié)果表明SVM和RF在準(zhǔn)確性和實(shí)時性方面都表現(xiàn)優(yōu)越,總體準(zhǔn)確率可以達(dá)到90%以上,識別速度可以達(dá)到14幀/s。

1 道路類型識別方法設(shè)計

本文提出的基于融合特征的道路類型識別方法總體框架如圖1所示,該方法包括圖像特征提取網(wǎng)絡(luò)訓(xùn)練、融合特征提取、道路類型識別模型訓(xùn)練、道路類型在線識別4個部分。離線時,首先利用大量路面圖像訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò),去除最后的全連接層和輸出層后得到圖像深度特征提取網(wǎng)絡(luò);之后利用圖像特征提取網(wǎng)絡(luò)提取路面圖像的深度特征,與垂向加速度時域、頻域、功率譜密度信號的統(tǒng)計特征進(jìn)行連接,得到融合特征;將融合特征作為輸入、道路類型標(biāo)簽作為輸出,使用機(jī)器學(xué)習(xí)分類方法訓(xùn)練道路類型識別模型。在線時,首先提取路面圖像與垂向加速度的融合特征,然后輸入訓(xùn)練好的道路類型識別模型,得到道路類型。

圖1 道路類型識別方法整體框架圖Fig.1 Overview of the identification method for proposed road types

1.1 圖像特征提取網(wǎng)絡(luò)訓(xùn)練

本文使用卷積神經(jīng)網(wǎng)絡(luò)提取道路圖像的深度特征,相比LBP特征、直方圖特征等傳統(tǒng)的圖像特征,深度特征魯棒性更強(qiáng),分類準(zhǔn)確率更高。卷積神經(jīng)網(wǎng)絡(luò)通常包括多層卷積層、池化層以及最后的全連接層和輸出層,其中,前二者用于提取圖像的深度特征和降低計算量,后兩者用于將深度特征映射到類別。

本文使用遷移學(xué)習(xí),對MobileNetV2的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整。如圖2所示,MobileNetV2的一個網(wǎng)絡(luò)塊包括深度可分離卷積+ReLu層、卷積層、卷積+ReLu層以及相加層[21]。對于一個n×n×d的三維矩陣,卷積處理就是以一定步長遍歷三維矩陣,遍歷時使用m×m×d的卷積核對經(jīng)過的矩陣元素進(jìn)行卷積操作,其中,n為三維矩陣的長度和寬度,m為卷積核的長度和寬度,d為三維矩陣和卷積核的深度。兩矩陣的卷積如下式:

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Convolutional neural network structure

(1)

式中:x和y均為參與卷積運(yùn)算的矩陣;xij為矩陣x的第i行、第j列元素;yij為矩陣y的第i行、第j列元素。深度可分離卷積包括逐通道卷積與逐點(diǎn)卷積兩步,逐通道卷積就是使用d個m×m×1的卷積核分別對三維矩陣的每一層進(jìn)行卷積,逐點(diǎn)卷積就是使用1×1×d的卷積核對三維矩陣進(jìn)行卷積,深度可分離卷積可以減少卷積核的參數(shù),有利于實(shí)現(xiàn)網(wǎng)絡(luò)的輕量化。ReLu激活函數(shù)用于進(jìn)行非線性化處理,對于矩陣中的每個元素,進(jìn)行以下處理:

(2)

式中:ReLu(x)表示ReLu激活函數(shù)。相加層將兩個維度相同的三維矩陣的元素進(jìn)行逐一相加。

在MobileNetV2后添加全局池化層、全連接層和輸出層,得到完整的卷積神經(jīng)網(wǎng)絡(luò)。如圖2所示,全局池化層需要處理一個尺寸為7×7×1 280的三維矩陣,求出每一層元素的均值就可以得到尺寸為1×1×1 280的矩陣。全連接層設(shè)置了50個神經(jīng)元。由于本文考慮了4種道路類型,輸出層包括4個神經(jīng)元。

為減小訓(xùn)練時的計算量,本文使用了在大型圖像數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練的網(wǎng)絡(luò)參數(shù),即圖2卷積和深度可分離卷積使用的的卷積核中的元素值。在訓(xùn)練時,僅對MobileNetV2的最后4層以及全連接層、輸出層的參數(shù)進(jìn)行訓(xùn)練,其余參數(shù)凍結(jié)。訓(xùn)練完成后,去除全連接層和輸出層,僅保留圖2中的特征提取網(wǎng)絡(luò),用于提取圖像的深度特征,圖像特征共1 280維。

1.2 融合特征提取

本文使用路面圖像和垂向加速度的融合特征進(jìn)行道路類型識別,實(shí)現(xiàn)兩種信號的優(yōu)勢互補(bǔ),以提高識別的環(huán)境適應(yīng)性和準(zhǔn)確性。其中,前者體現(xiàn)了道路的外觀特征,使用訓(xùn)練好的特征提取網(wǎng)絡(luò)進(jìn)行深度特征提取;后者體現(xiàn)了道路的不平度特征,本文考慮了其時域信號、頻域信號以及功率譜密度信號的多種統(tǒng)計特征。假設(shè)懸置質(zhì)量的垂向加速度信號為平穩(wěn)隨機(jī)信號。本文在進(jìn)行道路類型識別時,使用當(dāng)前時刻的圖像數(shù)據(jù)以及過去10 m的垂向加速度數(shù)據(jù),每隔5 m識別一次。通過插值法將垂向加速度數(shù)據(jù)的長度統(tǒng)一到200個點(diǎn)。

1.2.1 頻域信號獲取

采用FFT從時域信號獲取頻域信號,它可以將時域信號分解為多個正弦信號的疊加,從而建立從時域到頻域的變換關(guān)系。針對長度為M的有限長離散時間信號x(n1),可以得到其P點(diǎn)的離散傅里葉變換:

(3)

式中:P為離散傅里葉變換區(qū)間的長度,P≥M,本文中P=M;X(k)表示離散傅里葉變換后的第k個點(diǎn)。

1.2.2 功率譜密度信號獲取

功率譜密度函數(shù)表示信號的功率密度沿頻率軸的分布,它與信號的自相關(guān)函數(shù)組成一個傅里葉變換對。離散信號x(n)的自相關(guān)函數(shù)R(m)如下式:

(4)

對離散信號的自相關(guān)函數(shù)進(jìn)行FFT,即可得到離散信號的功率譜密度。

1.2.3 垂向加速度統(tǒng)計特征提取

本文使用12個常用的統(tǒng)計量來表示垂向加速度的特征。

1)均值:

(5)

式中:N為離散信號x(i)中點(diǎn)的個數(shù)。

2)標(biāo)準(zhǔn)差:

(6)

3)方根幅值:

(7)

4)均方根值:

(8)

5)最大絕對值:

s5=max |x(i)|

(9)

6)偏斜度:

(10)

7)峰度:

(11)

8)峰值指標(biāo):

(12)

9)裕度指標(biāo):

(13)

10)波形指標(biāo):

(14)

11)脈沖指標(biāo):

(15)

12)過零次數(shù)s12:表示信號過零點(diǎn)的總次數(shù)。

對于垂向加速度時域信號,提取s1～s12共12個統(tǒng)計量,對于頻域和功率譜密度信號,提取s1～s11共11個統(tǒng)計量,因此垂向加速度統(tǒng)計特征共34維。垂向加速度特征與圖像深度特征連接后形成融合特征,共1 314維。

1.3 道路類型識別模型

利用機(jī)器學(xué)習(xí)分類算法構(gòu)建道路類型識別模型。本文對SVM、ANN、DT、Bagging、RF共5種機(jī)器學(xué)習(xí)分類算法進(jìn)行對比,其中前3種為單模型算法,后2種為集成學(xué)習(xí)算法。本節(jié)對SVM進(jìn)行詳細(xì)介紹,其余算法作為對比算法進(jìn)行簡要介紹。

1.3.1 SVM算法

給定樣本集D={(x1,y1),…,(xn,yn)},yi∈{-1,+1},SVM的目標(biāo)為求得一個分類超平面,使兩類樣本的間隔最大,該分類超平面為

ωTx+b=0

(16)

式中:ω為系數(shù)向量;x為輸入特征向量;b為偏置項(xiàng),當(dāng)ωTx+b≥0時樣本x為正例,否則為負(fù)例。如果上述分類超平面能夠?qū)颖?xi,yi)∈D正確分類,則ω、b滿足式(17):

(17)

能夠使式(17)中等號成立的樣本點(diǎn)稱為支持向量,它們距離分類超平面最近,它們到超平面的距離為

(18)

根據(jù)上述分析,可知SVM訓(xùn)練時要求解以下問題:

(19)

式中:yi為真實(shí)類別標(biāo)簽;n2為訓(xùn)練集中的樣本數(shù)量。可通過拉格朗日乘子法求得該問題的對偶問題,進(jìn)而通過求解對偶問題求得ω和b。

為實(shí)現(xiàn)非線性分類,可以將樣本從原始空間映射到高維空間,樣本x經(jīng)過映射變換為φ(x),κ(xi,xj)=φ(xi)Tφ(xj)為核函數(shù),本文使用高斯核函數(shù):

(20)

式中:σ為高斯核帶寬。

為實(shí)現(xiàn)多分類,可訓(xùn)練多個二分類支持向量模型,本文選取的多分類模型構(gòu)建方法為“one vs rest”,就是每次訓(xùn)練模型時,將一個類別的樣本看作正例,其余類別的樣本看作負(fù)例。本文共考慮了4種道路類型,因此共構(gòu)建4個支持向量分類模型[22]。

1.3.2 其余機(jī)器學(xué)習(xí)分類算法

ANN由多個神經(jīng)元連接組成。神經(jīng)元接收輸入{x1,x2,…,xm},輸出y:

(21)

式中:[ω1,ω2,…,ωm]T為權(quán)重向量;b1為神經(jīng)元閾值;f(·)為激活函數(shù)。本文使用單隱層前饋神經(jīng)網(wǎng)絡(luò),輸入層神經(jīng)元接收外界輸入,不進(jìn)行函數(shù)處理,隱層與輸出層神經(jīng)元對輸入信號進(jìn)行處理,隱層激活函數(shù)為ReLu,輸出層激活函數(shù)為softmax。本文考慮了4種道路類型,因此輸出層神經(jīng)元有4個。網(wǎng)絡(luò)中的待求解參數(shù)為每個連接的權(quán)重和每個神經(jīng)元的閾值,本文中的損失函數(shù)為交叉熵?fù)p失,通過誤差逆?zhèn)鞑ニ惴ㄟM(jìn)行求解。

DT包括一個根節(jié)點(diǎn)、若干個內(nèi)部節(jié)點(diǎn)和葉節(jié)點(diǎn),每個葉節(jié)點(diǎn)代表一種決策結(jié)果,其余節(jié)點(diǎn)代表劃分特征。初始DT僅包含1個根節(jié)點(diǎn),然后通過選擇最優(yōu)劃分特征不斷增長,直至達(dá)到結(jié)束條件。最優(yōu)劃分特征可以根據(jù)信息增益、增益率或基尼指數(shù)來選擇,本文選用基尼指數(shù):

(22)

式中:Gini(D)為樣本集合D的基尼值;pi為第i類樣本在數(shù)據(jù)集中的比例;k1為類別總數(shù);Gini_index(D,a)為劃分特征a在D上的基尼指數(shù),a在D上共有V個可能的取值;|Dj|表示特征a取值為aj的樣本數(shù)量;|D|為樣本集合D中的樣本數(shù)量。最優(yōu)劃分特征即為基尼指數(shù)最小的特征[23]。為防止過擬合,本文中使用的DT最大深度為15,當(dāng)節(jié)點(diǎn)上的樣本數(shù)量小于10時停止劃分。

Bagging由多個基分類器組成,在訓(xùn)練每一個基分類器時,使用數(shù)據(jù)集中的隨機(jī)子集和特征集的隨機(jī)子集進(jìn)行訓(xùn)練,最終結(jié)果由所有基分類器投票產(chǎn)生[24]。RF是一種以DT為基分類器的Bagging方法,DT從候選特征集的隨機(jī)子集中選擇最優(yōu)劃分特征[25]。

2 數(shù)據(jù)采集與卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練

2.1 數(shù)據(jù)采集與預(yù)處理

為對圖像特征提取網(wǎng)絡(luò)及道路類型識別模型進(jìn)行訓(xùn)練,并測試所提方法的性能,使用圖3所示的履帶式平臺采集大量不同道路、不同工況下的圖像及垂向加速度數(shù)據(jù)。平臺為雙側(cè)獨(dú)立電驅(qū)動平臺,兩側(cè)驅(qū)動輪與驅(qū)動電機(jī)相連。該平臺安裝有相機(jī)、慣性導(dǎo)航系統(tǒng)、差分GPS等多種傳感器,它們均位于車輛的縱向?qū)ΨQ面上,屬于懸架之上的部分。相機(jī)安裝在車輛的前部位置,位于車廂上方,數(shù)據(jù)采集頻率為10 Hz。慣性導(dǎo)航系統(tǒng)位于駕駛座位下方,差分GPS位于車輛兩油箱中間的車頂位置,二者結(jié)合組成組合導(dǎo)航系統(tǒng),數(shù)據(jù)采集頻率為50 Hz。使用ROS采集數(shù)據(jù),每一幀數(shù)據(jù)均使用ROS時間戳進(jìn)行標(biāo)注。

圖3 履帶式數(shù)據(jù)采集平臺Fig.3 Tracked data collection platform

本文共考慮4種常見的非結(jié)構(gòu)化道路:碎石路、土路、沙路和鋪面路。4種道路均包含多段曲率不同的彎道,最小曲率半徑約為5 m。平臺在4種道路上的行駛速度均位于[5 km/h,20 km/h]區(qū)間內(nèi)。道路存在多個坡度不同的坡道,最大坡度約為15°。數(shù)據(jù)采集時,道路均處于干燥無積水狀態(tài)。

數(shù)據(jù)預(yù)處理包括時間同步、道路區(qū)域提取、消除重力加速度影響和數(shù)據(jù)分段四步。時間同步目的為將圖像數(shù)據(jù)和導(dǎo)航數(shù)據(jù)兩種不同來源的數(shù)據(jù)進(jìn)行時間對齊,以便于后續(xù)的融合特征提取,根據(jù)ROS時間戳進(jìn)行對齊。道路區(qū)域提取目的為去除圖像數(shù)據(jù)中的環(huán)境信息,僅保留道路區(qū)域的圖像,以防止環(huán)境信息對分類器產(chǎn)生干擾,采集圖像的下半部分即為需要保留的道路區(qū)域。由于慣性導(dǎo)航系統(tǒng)采集的垂向加速度會包括重力加速度在懸置質(zhì)量垂向上的分量,需要根據(jù)重力加速度的值和坡度信息消除重力加速度影響。數(shù)據(jù)分段就是將處理好的垂向加速度劃分為每段10 m,其中相鄰段存在5 m的重疊區(qū)域,劃分完成后可獲取垂向加速度的頻域信號和功率譜密度信號。預(yù)處理后的4種道路數(shù)據(jù)如圖4所示,從中可以看到4種道路在外觀及不平度方面均存在差異:預(yù)處理后的數(shù)據(jù)集中共有2 444組碎石路數(shù)據(jù),2 080組土路數(shù)據(jù),2 148組沙路數(shù)據(jù),2 964組鋪面路數(shù)據(jù)。

圖4 4種道路圖像數(shù)據(jù)與垂向加速度數(shù)據(jù)Fig.4 Images and vertical acceleration data of four road types

2.2 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果

使用采集的大量道路圖像對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,為提高數(shù)據(jù)多樣性,對圖像進(jìn)行數(shù)據(jù)增強(qiáng)處理,包括高斯模糊、運(yùn)動模糊、亮度調(diào)節(jié)和對比度調(diào)節(jié),為模擬夜間行駛的工況,在數(shù)據(jù)中加入一部分全黑圖像。為減小計算量并使圖像與網(wǎng)絡(luò)相適配,將所有圖像的尺寸調(diào)整為224×224×3。將數(shù)據(jù)按照4∶1的比例隨機(jī)劃分為訓(xùn)練集和測試集,測試集用于測試模型性能以及判斷訓(xùn)練是否過擬合。為減小內(nèi)存占用,使用小批量訓(xùn)練方法,每次迭代僅取一部分?jǐn)?shù)據(jù),本文將批量尺寸設(shè)為300,迭代次數(shù)為 150次。訓(xùn)練時使用的優(yōu)化算法為自適應(yīng)動量估計法,并設(shè)置學(xué)習(xí)率遞減。本文使用的損失函數(shù)為交叉熵?fù)p失函數(shù)。

訓(xùn)練過程中訓(xùn)練集與測試集的準(zhǔn)確率和損失值變化情況如圖5所示。由圖5可見:未訓(xùn)練模型在訓(xùn)練集和測試集上的準(zhǔn)確率均為20%左右;訓(xùn)練初期,模型在訓(xùn)練集上的損失值出現(xiàn)振蕩,可能是學(xué)習(xí)率較大引起的,當(dāng)?shù)?0次后,訓(xùn)練基本達(dá)到收斂,訓(xùn)練集損失值穩(wěn)定在0.4附近,準(zhǔn)確率在80%左右;訓(xùn)練初期,模型在測試集上的準(zhǔn)確率和損失值均出現(xiàn)振蕩,當(dāng)?shù)?0次后,損失值穩(wěn)定在0.4附近,準(zhǔn)確率達(dá)到80%左右;訓(xùn)練收斂后模型在測試集上的準(zhǔn)確率未出現(xiàn)明顯下降,因此訓(xùn)練不存在過擬合現(xiàn)象。

圖5 訓(xùn)練過程中的準(zhǔn)確率與損失值變化Fig.5 Changes in accuracy and loss during training

3 道路類型識別結(jié)果

本節(jié)首先對使用單一特征和融合特征的道路類型識別方法進(jìn)行對比,包括準(zhǔn)確率和特征提取時間對比,準(zhǔn)確率即分類正確的樣本占測試集總樣本的比例,它們都使用SVM作為機(jī)器學(xué)習(xí)分類模型。之后對SVM、ANN、DT、Bagging、RF 5種機(jī)器學(xué)習(xí)分類算法的準(zhǔn)確率和實(shí)時性進(jìn)行對比,5種算法均以融合特征作為輸入特征。每一種算法都使用隨機(jī)搜索方法找到其最優(yōu)超參數(shù),Bagging算法使用的基分類器是SVM。與2.2節(jié)類似,對原始圖像進(jìn)行數(shù)據(jù)增強(qiáng)處理,并加入一部分全黑圖像模擬夜間行駛的工況。使用hold-out交叉驗(yàn)證法評估模型性能,將數(shù)據(jù)集按照4∶1的比例隨機(jī)分為訓(xùn)練集和測試集,訓(xùn)練集用于訓(xùn)練模型,測試集用于測試模型的準(zhǔn)確率。為確保結(jié)果的可靠性,結(jié)果取5次獨(dú)立運(yùn)行的平均值。

3.1 單一特征與融合特征對比

使用不同特征的道路類型識別模型在測試集上的準(zhǔn)確率,結(jié)果如圖6所示。圖6中的圖像傳統(tǒng)特征為文獻(xiàn)[14]中使用的灰度共生矩陣特征與直方圖特征。由圖6可見,僅使用振動特征的模型準(zhǔn)確率為67.88%,僅使用圖像傳統(tǒng)特征的模型準(zhǔn)確率為74.06%,僅使用圖像深度特征的模型準(zhǔn)確率為81.65%,使用融合特征的模型準(zhǔn)確率為90.70%。上述結(jié)果表明,相比于圖像傳統(tǒng)特征,深度特征的準(zhǔn)確率提升明顯。另外,基于融合特征的道路類型識別方法的整體準(zhǔn)確率是最高的。

圖6 使用不同特征的道路類型識別方法準(zhǔn)確率Fig.6 Accuracy of road types identification methods based on different features

使用不同特征的道路類型識別模型在測試集上的混淆矩陣,結(jié)果如圖7所示。由圖7可見:1)僅使用振動特征的模型對鋪面路的識別準(zhǔn)確率是最高的,達(dá)到86.99%,因?yàn)榕c其他3種道路相比,鋪面路比較平坦,比較容易通過振動特征區(qū)分;對沙路的識別準(zhǔn)確率最低,僅為48.45%,有31.55%的沙路被錯誤識別為碎石路,可能是因?yàn)槠鸱访嬉疖囕v的俯仰振動與垂直振動有耦合作用,因此,通過振動信號特征區(qū)分路面準(zhǔn)確率不高。2)僅使用圖像深度特征的模型對鋪面路的識別準(zhǔn)確率也是最高的,達(dá)到了99.81%,對其余3種道路的識別準(zhǔn)確率均在74%左右,原因是僅使用圖像特征無法對夜間行駛工況下的全黑圖像進(jìn)行識別,而訓(xùn)練集中的鋪面路是最多的,因此模型將全黑圖像識別為鋪面路。3)使用融合特征的模型對4種道路的識別準(zhǔn)確率均達(dá)到了85%以上,相比僅使用振動特征和僅使用圖像特征的模型有了大幅度提升。但使用融合特征的模型對于鋪面路的識別準(zhǔn)確率低于僅使用圖像深度特征的模型,原因是在夜間行駛工況下,當(dāng)僅使用圖像深度特征時,模型將黑暗的路面圖像識別為鋪面路,其他3種道路也會被誤識別為鋪面路;而當(dāng)使用融合特征時,模型可以依靠振動信息識別道路類型,使得一部分鋪面路被誤識別為其他道路。

圖7 使用不同特征的道路類型識別方法混淆矩陣Fig.7 Confusion matrixes of road-type identification methods based on different features

圖8展示了在道路圖像清晰、模糊、過亮以及夜間行駛4種不同情況下使用不同特征的道路類型識別結(jié)果,4張道路圖像圖8(b)～圖8(e)對應(yīng)的垂向加速度信號均為圖8(a),它們的實(shí)際道路類型均為沙路。由圖8可以看到:當(dāng)?shù)缆穲D像成像清晰,或者圖像有輕微模糊時,僅依靠豐富的圖像深度特征可以準(zhǔn)確識別道路類型;當(dāng)?shù)缆穲D像過亮或處于夜間行駛工況時,僅依靠圖像特征無法準(zhǔn)確識別,但結(jié)合振動特征可以得到正確的識別結(jié)果。上述結(jié)果表明,振動特征和圖像特征能夠互相補(bǔ)充,提高整體的識別準(zhǔn)確率和環(huán)境適應(yīng)性。

圖8 使用不同特征的方法的識別結(jié)果Fig.8 Identification results of methods based on different features

本文對單一特征和融合特征的提取時間進(jìn)行實(shí)驗(yàn)統(tǒng)計,實(shí)驗(yàn)設(shè)備參數(shù)如下:CPU Intel Xeon Gold 6142,16核,主頻2.6 GHz;GPU GeForce RTX 3080,顯存10.5 GB;內(nèi)存27 GB。使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像深度特征時,使用顯卡加速功能,提取時間為67.56 ms,圖像傳統(tǒng)特征的提取時間為27.74 ms,垂向加速度統(tǒng)計特征提取時間為0.67 ms。融合特征提取時間為68.23 ms。由圖6以及統(tǒng)計的特征提取時間可以看到:雖然圖像深度特征的識別準(zhǔn)確率高于傳統(tǒng)特征,但深度特征提取時間較長,是傳統(tǒng)特征的2.4倍;融合特征提取時主要將時間花費(fèi)在圖像深度特征提取上。因此,相比僅使用圖像深度特征的方法,基于融合特征的方法實(shí)時性損失極小,并且環(huán)境適應(yīng)性提升明顯。

3.2 不同機(jī)器學(xué)習(xí)算法對比

基于不同機(jī)器學(xué)習(xí)分類算法的道路類型識別模型在測試集上的準(zhǔn)確率如圖9所示。由圖9可見:SVM算法、Bagging算法和RF算法的準(zhǔn)確率較高,分別為90.70%、90.73%、90.56%;Bagging算法以SVM為基分類器,集成方法的性能提升效果不明顯;RF算法是以DT為基分類器的一種集成方法,DT的準(zhǔn)確率為87.52%,RF算法通過對多個DT模型進(jìn)行集成,提高了分類準(zhǔn)確率;ANN算法的準(zhǔn)確率為89.32%,處于第4位。

圖9 不同機(jī)器學(xué)習(xí)分類算法的道路類型識別準(zhǔn)確率Fig.9 Accuracy of road-type identification methods with different machine learning classification algorithms

本文對5種機(jī)器學(xué)習(xí)分類模型在線識別的實(shí)時性進(jìn)行對比,實(shí)驗(yàn)設(shè)備與3.1節(jié)相同,實(shí)驗(yàn)結(jié)果如表1所示,該結(jié)果不包括特征提取時間。從表1中可以看出:Bagging算法的實(shí)時性較差,識別一次需要用時44.54 ms;SVM算法和RF算法的實(shí)時性相差不大,識別一次用時分別為2.48 ms、3.65 ms;ANN算法和DT算法的實(shí)時性較好,識別一次用時分別為0.14 ms、0.08 ms。

表1 不同機(jī)器學(xué)習(xí)分類算法單次識別用時

總之,SVM和RF在準(zhǔn)確性和實(shí)時性上都表現(xiàn)優(yōu)越,總體準(zhǔn)確率均可以達(dá)到90%以上,識別速度可以達(dá)到14幀/s,非常適合用于道路類型識別。

4 結(jié)論

本文提出一種基于特征融合的無人履帶車輛道路類型識別方法,將道路圖像的深度特征與懸置質(zhì)量垂向加速度的統(tǒng)計特征相結(jié)合,識別結(jié)果可作為無人履帶車輛懸架控制、自動換擋決策、路徑規(guī)劃等任務(wù)的先驗(yàn)信息,提高車輛的行駛效率、通過性等性能。得到主要結(jié)論如下:

1)使用履帶式數(shù)據(jù)采集平臺對碎石路、土路、沙路、鋪面路4種常見的非結(jié)構(gòu)化道路進(jìn)行數(shù)據(jù)采集,包括圖像數(shù)據(jù)及垂向加速度數(shù)據(jù)。

2)利用采集到的大量道路圖像數(shù)據(jù)對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,去除網(wǎng)絡(luò)的全連接層和輸出層后得到圖像深度特征提取網(wǎng)絡(luò)。

3)對僅使用振動特征、僅使用圖像傳統(tǒng)特征、僅使用圖像深度特征及使用融合特征的道路類型識別方法進(jìn)行對比,結(jié)果表明:圖像深度特征相比于傳統(tǒng)特征準(zhǔn)確率更高,但特征提取時間更長;使用融合特征的方法能夠?qū)崿F(xiàn)兩種特征的互補(bǔ),準(zhǔn)確性和環(huán)境適應(yīng)性強(qiáng),并且融合特征提取用時與圖像深度特征提取用時相差不大。

4)對SVM、ANN、DT、Bagging、RF共5種算法進(jìn)行道路類型識別的性能進(jìn)行對比,結(jié)果表明SVM和RF在準(zhǔn)確性和實(shí)時性方面都表現(xiàn)優(yōu)越,總體準(zhǔn)確率可以達(dá)到90%以上,識別速度可以達(dá)到14幀/s。

在本文基礎(chǔ)上可開展以下研究:1)對卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改造,提升圖像深度特征提取的實(shí)時性;2)在懸掛系統(tǒng)與車輛底盤、非懸掛質(zhì)量的連接處分別設(shè)置低量程加速度計、高量程加速度計,提高系統(tǒng)靈敏度和動態(tài)響應(yīng),進(jìn)而提高道路類型識別的準(zhǔn)確性;3)將道路類型識別應(yīng)用于無人履帶車輛懸架控制、換擋決策、路徑規(guī)劃等任務(wù),提升車輛性能;4)深入研究圖像深度特征與垂向加速度統(tǒng)計特征之間的互補(bǔ)關(guān)系;5)在多處設(shè)置加速度計的基礎(chǔ)上,分析各處振動信號的特點(diǎn),提高基于振動的道路類型識別精度,并實(shí)現(xiàn)道路不平度等級的辨識。