采用雙向LSTM自編碼器的駕駛風格譜聚類識別研究

梁 科,陳華晟,潘明章,葉 宇

(1.廣西大學 機械工程學院,南寧 530004;2.廣西玉柴機器股份有限公司 玉柴工程研究院,南寧 530007)

0 引言

駕駛風格作為一個廣義的概念,由駕駛能力和駕駛行為組成。駕駛員不同的駕駛風格對車輛的操控會產生不同的影響。一般來說,駕駛能力被描述為駕駛員控制車輛的總體能力,這與駕駛員的心理健康和知識以及他們的技能和經驗有關。駕駛員的駕駛能力根據他們的駕駛經驗而有所不同。駕駛行為與道路環境、實時交通狀況等因素在相互關系[1-2]。通過確定駕駛行為,可以提高安全意識水平,提高燃油經濟性和乘員舒適度。

在駕駛風格識別研究方面,早期多采用問卷調查的形式,設計對應的駕駛行為調查問卷及設計駕駛風格量化表對駕駛風格進行評估[3]。該方法高度依賴駕駛員的主觀表現,準確性欠佳。隨著車聯網技術和機器學習技術的發展,利用自然駕駛數據進行駕駛風格識別模型的構建成為越來越多學者采用的方式。Ma等[4]將K-means 應用于駕駛行為聚類,并在將道路類型分類為高速公路和城市地區后,計算風險指數以識別駕駛員的駕駛風格。此外,Wang等[5]開發了一種稱為半監督支持向量機(S3VM)的半監督機器學習方法,以采用部分標記的數據點識別駕駛風格的差異。將機器學習應用于駕駛風格識別提高了區分駕駛風格的效率,相較于傳統問卷調查的形式也提高了準確率和可信度。但大量數據會影響模型的計算和精度,故可以采用特征選擇的方法提高模型的效率。

來自于車聯網收集的駕駛數據種類繁多,規模巨大。大量的數據對駕駛風格識別模型的準確度和識別效率具有巨大影響,故而利用特征選擇的方法選擇與駕駛風格模型相關基本特征,有助于降低數據集的復雜性,同時保留隱藏在其中的信息。為了找出對油耗影響最大的特征,F?rster 等[6]提出的駕駛風格特征必須反映不同加速、減速和巡航情況下的駕駛環境和駕駛員侵略性的影響。主成分分析法(principal component analysis,PCA)是用于特征選擇的典型方法。Xia等[7]使用PCA,根據區間百分比從383個維度的駕駛數組中提取特征,篩選出其中累積貢獻率超過85%的前35個主成分,作為駕駛風格的分類依據。

綜上所述,國內外研究針對駕駛風格的分析在大量數據條件下的機器學習效率不高,成本較大,在實際應用方面較為薄弱。自然行駛數據是一種連續時間序列數據,駕駛員的駕駛風格在當前時刻的狀態與前后時刻狀態有關。為此,提出了采用自編碼器雙向LSTM的駕駛風格譜聚類識別方法,該方法首先將清洗后的數據利用K-means確定原始標簽,此后采用鯨魚優化算法與Sigmoid 函數相結合以壓縮數據集的大小并用于特征選擇,將選擇的特征輸入至具有雙向LSTM的自動編碼器來學習譜嵌入所需的特征值和特征向量,并利用譜聚類來確定駕駛風格。為了進一步驗證提出方法的可靠性,將本文中所提出的方法與SOM及LSTM-譜聚類進行聚類效果對比,并利用半掛車的行駛數據進行了數據分析和駕駛風格識別。

1 駕駛風格識別模型原理

1.1 采用改進鯨魚優化算法的駕駛風格特征選擇

無監督機器學習的K-means方法已廣泛應用于數據挖掘和聚類分析。該算法旨在使簇間盡可能不同,同時保持簇內點盡可能相似。在此方法中,將數據點分配給聚類,使每個聚類的質心與數據點之間的歐氏距離是它們之間的最短距離。

在本文中,K-means用于創建駕駛數據原始標簽,并將其作為特征選擇的輸入。利用CH值(calinski-harabasz score)對K-means聚類的效果進行評價[8],其核心計算方法如式(1)。CH值是通過評估簇之間方差和簇內方差來計算得分,其值越大,效果越好。

(1)

式中:Bk為簇間協方差矩陣;Wk為簇內部協方差矩陣;tr為對應矩陣的跡;m為樣本數;k為簇數目。

特征選擇是機器學習中的一個預處理過程。對于龐大而復雜的數據集來說,選擇最優特征子集是特征選擇中最重要的部分。搜索特征子集的方法主要包括全局搜索算法、隨機搜索算法及元啟發式搜索算法。全局搜索算法考慮了特征子集的所有可能組合,但其復雜度將指數級增長(2N,N為特征數量),故其計算速度慢,難以適用于大規模數據集。對于隨機搜索算法,其可在早期搜索到最優子集,但其在最壞的情況下可能發展為完全搜索。而元啟發式搜索算法包含的局部搜索和啟發式過程能夠有效對鄰域進行搜索,其目標是獲得近似最優解,能避免算法得到局部最優結果[9]。

鯨魚優化算法(the whale optimization algorithm,WOA)作為元啟發式算法其參數較少,具有良好的跳出局部最優的能力,適用于特征選擇。該算法可以分為包圍獵物、氣泡網攻擊和搜索獵物3個階段。對于完成與駕駛風格相關的特征選擇,連續WOA必須轉換為其相應的二進制空間[0,1],采用Sigmoid傳遞函數可以迫使搜索代理在二進制空間中移動[9],從而對鯨魚優化算法進行改進,以滿足駕駛風格特征選擇的需要。其方程定義如式(2)所示。

(2)

式中:ΔXt表示搜索空間在t處的步進向量。此后當前搜索代理采用式(3)完成位置更新。

(3)

式中:rand表示(0,1)中的隨機數。

特征選擇的目標是找出最小的特征選擇數量,并獲得最大的分類精度。在此基礎上,同時聚合2個目標并轉化為單目標問題(如式(4)),將最小適應度值(fitness value)確定為最小分類錯誤率與最小選擇特征數之和。

(4)

式中:Er為分類錯誤率;Sl、Fl分別為所選特征子集的長度和所有特征的個數;λ、η分別為分類精度和特征子集長度的重要性程度,且λ+η=1,本文中取λ=0.99。在迭代過程中不斷計算每個解的適應度值,并將最小適應度值的子集當作最優解,基于此,計算分類精確度如式(5)。

Accurancy=1-Er

(5)

為避免與駕駛風格高度相關的特征可能會導致后續計算過擬合,本文采用皮爾遜相關系數(pearson correlation)衡量2個變量之間的線性相關關系,以識別和刪除數據集中高度相關的特征,使得模型可以專注于信息量最大的特征,從而提高泛化能力和性能。其計算方法如式(6)。

(6)

1.2 采用自編碼器雙向LSTM的譜聚類模型構建

遞歸神經網絡(RNN)是一種特殊類型的神經網絡,常用于處理序列數據。先前的信息被存儲并應用于當前輸出。然而,考慮到RNN對先前信息的長距離依賴使其學習能力隨著時間的推移而下降,導致訓練結果與預期目標產生嚴重差異。在長短期記憶模型[10](long short-term memory,LSTM)中,隱藏層采用包括輸入門、輸出門和遺忘門在內的存儲模塊以規避RNN保留大量的輸入信息。因此,該模型能夠在較長一段時間內存儲和傳輸信息。在 LSTM 的門控單元中,遺忘門控制需要丟棄的信息,而輸入門控制應更新和存儲的新信息。輸出門確定過濾掉的信息并進行結果輸出。各個門中的計算如式(7)—式(9)。

ft=σ(Wf·[ht-1,xt]+bf)

(7)

it=σ(Wi·[ht-1,xt]+bi)

(8)

Ot=σ(Wo·[ht-1,xt]+bo)

(9)

式中:xt為當前層的輸入值;ht-1為上一層的輸出;Wf、Wi、Wo分別為遺忘門、輸入門和輸出門的權重矩陣;σ為Sigmoid函數,bf、bi、bo分別為遺忘門、輸入門和輸出門的偏置項。

式(10)—式(11)描述了存儲在門中的信息并更新當前單元的狀態。

(10)

(11)

輸出門產生輸出候選和當前單元狀態之間的結果如式(12)。

ht=Ot×tanh(Ct)

(12)

駕駛風格在駕駛過程中是與當前和前后駕駛狀態相關的表征,而LSTM只能存儲和利用單向信息,缺少反映反向信息的能力。雙向LSTM[11](Bidirectional LSTM,Bi-LSTM)能存儲包括前向序列和后向序列的相關信息。雙向LSTM內部包括從過去到未來的前向層和從未來到過去的反向層。這種方法與LSTM的不同之處在于,當它在后向層運行時,來自未來的信息被保留。在結合2個LSTM隱藏層的狀態下,可以在任何時間點保留過去和未來的信息。

自動編碼器模型主要由編碼器和解碼器組成,輔以深度神經網絡的非線性特征提取能力,其目的是將輸入轉換為中間變量,將這些變量轉換為輸出。在比較輸入和輸出中使輸入和輸出無限接近。本文中所采用的雙向LSTM的自編碼器模型如圖1所示,在自編碼器的結構中增加雙向LSTM以提取數據特征。

圖1 基于自編碼器的雙向LSTM模型示意圖

譜聚類算法源自圖論,譜聚類的本質是利用圖的最優劃分思想來解決聚類問題,解決與高維特征向量相關的奇異問題,參與譜聚類的數據集規模是其唯一的決定因素,而數據集的維數不起作用。針對本文中所采用的降維后的車輛駕駛數據,其數據規模仍保留,采用譜聚類方法能夠對駕駛風格進行良好的區分。在n個樣本點的集合X={x1,x2,…,xn},和指定聚類數k的情況中,其主要計算流程如下。

1) 利用高斯相似度函數(Gaussian similarity function)計算相似度矩陣W:

(13)

式中,σ通過歐幾里得距離衡量。

2) 根據相似度矩陣W,計算每一行元素之和,組成度矩陣D={d1,d2,…,di},

(14)

3) 計算隨機游走拉普拉斯矩陣Lrw:

Lrw=D-1L=D-1(D-W)=

E-D-1W

(15)

4) 計算Lrw的特征值,并將其升序排列,取前k個特征值對應的特征向量并組成矩陣U:

U={u1,u2,…,uk},U∈Rn×k

(16)

5) 取自于U的第i行向量yi∈Rk,其中i=1,2,…,n組成樣本集Y={y1,y2,…,yn},并用于K-means聚類,得到簇C={C1,C2,…,Ck}。

6) 輸出簇A1,A2,…,Ak為譜聚類結果,其中Ai={j∣yj∈Ci}。

本文中提出的采用雙向LSTM自編碼器的駕駛風格譜聚類識別模型算法流程如圖2所示。

圖2 采用雙向LSTM自編碼器的駕駛風格譜聚類識別模型算法流程框圖

2 數據處理及模型對比

以5輛半掛車為對象進行研究,為減少車輛性能和行駛路段對駕駛操作的影響,該批車輛具有相同的發動機參數(如表1所示),并在廣昆高速G80相同的實驗路段行駛(如圖3所示)。所有車輛的駕駛員均為經驗豐富的駕駛員,在實驗過程中并未以任何方式告知駕駛員,以避免駕駛員心理狀態對實驗的影響。

表1 發動機參數

圖3 實驗路段示意圖

實驗過程中,自然駕駛數據通過實驗車上安裝的車載診斷系統(on board diagnostics,OBD)對與駕駛風格相關的數據字段進行采集,其對應的單位及定義如表2所示,采樣頻率為1 Hz。車輛在實驗路段結束行程后從中提取相關數據字段,并通過CAN總線將數據上傳,完成采集。以47號駕駛員所駕車輛為例,采集的部分自然駕駛數據如圖4所示。

表2 駕駛風格特征參數定義及取值范圍

圖4 部分真實駕駛數據

采用插值法解決由于傳感器存在不穩定性而產生的原始數據異常或丟失的問題。為進一步提高數據的質量,選用箱型圖法[12]進行數據清洗。此外,考慮到連續長時間停車于駕駛風格劃分無益,在數據清洗過程中一并剔除。

以47號駕駛員所駕車輛為例,本文中使用K-means 方法來初始化原始數據的標記。不同的學者對駕駛風格的定義有一定差異,通常將其劃分為2—4類[13-14]。通過計算所得數據對應的CH值(如圖5所示),考慮到駕駛風格的實際意義,將聚類結果分為3類。

圖5 K-means 聚類效果評價

將從K-means獲得的具有初始標簽的數據導入到鯨魚優化算法中進行特征篩選,通過多次測試及參數調整,將其中的搜索代理個數和迭代次數分別設為16和70。根據本文所采用的適應度函數,計算得特征選擇準確率為97.34%。此后,為驗證所選特征的相關性,采用皮爾遜相關系數法進行相關性判斷,發現油門開度和循環噴油量的相關性系數達到0.97。綜合考慮各個特征間關聯,剔除了油門開度這一特征。其余特征相關性判斷結果如圖6所示,表明所選特征較為獨立,可用于分析對駕駛風格的影響。

圖6 WOA特征選擇結果相關性判斷

為了避免自編碼器中層數過多導致的過擬合問題,在自編碼器中使用了2個具有32個單元的Bi-LSTM層作為編碼器和解碼器。并將所選特征作為輸入應用于自編碼器。根據對模型多次測試,使用Tensorflow分別訓練80個epoch和32個batch的模型能夠在保證精度的同時提高模型的訓練效率。最終,將通過訓練得到的權重矩陣應用于譜嵌入的特征值和特征向量計算,獲得駕駛風格識別結果。

為驗證采用Bi-LSTM對譜聚類進行參數計算的駕駛風格分類結果的準確性,利用廣泛使用的無監督神經網絡自組織映射[15](self-organizing map,SOM)及基于LSTM的譜聚類模型與本文中所提出的模型進行CH值聚類效果評價。為使SOM模型聚類結果對駕駛風格聚類具有可用性價值,避免空聚類產生,采用1×3、1×2、1×4、1×5、2×2五種SOM拓撲結構。評價結果如表3所示。

表3 不同模型聚類準確性評價

實驗結果表明,其聚類準確率顯著低于后兩者。基于LSTM的譜聚類模型其聚類效果與本文中所提方法相近,故可以認為本文中所提出的方法對不同神經網絡的適應性較強,在更換計算譜嵌入的方法時仍能保持較高的區分度。此外,雙向LSTM能夠利用歷史的駕駛數據,這對于連續的駕駛行為中駕駛風格劃分是有益的,故采用雙向LSTM對譜嵌入進行計算。

3 采用雙向LSTM自編碼器的駕駛風格譜聚類識別模型驗證分析

3.1 群體樣本駕駛風格分析

采用本文中所提出的雙向LSTM自編碼器的駕駛風格譜聚類識別模型對5位駕駛員的各個駕駛風格識別結果如表4所示。結果表明,在駕駛過程中,駕駛員的駕駛風格會隨著當前駕駛行為產生變化。

表4 駕駛員駕駛風格識別結果占比 %

圖7反映了5輛半掛車在實驗路段的扭矩、進氣壓力、油門開度、剎車開關狀態、環境壓力、環境溫度、風扇轉速、發動機轉速、循環噴油量、車速和擋位的平均值分布。

圖7 實驗車輛各項特征分布

其中,扭矩、進氣壓力、循環噴油量分布具有明顯的大小關系,而油門開度與循環噴油量高度相關,故亦有相同的變化趨勢。即上述各個特征的值均表現為駕駛風格1最大,駕駛風格3最小,該差異對駕駛風格劃分產生了重要的影響。對于剎車開關狀態,其平均值越高則代表剎車次數越多,對于35、47號實驗車輛兩者分布相似,均有駕駛風格3所代表的值最大而駕駛風格1所代表的值最小。總體來看,剎車開關狀態分布比較分散,且剎車行為在高速公路的行駛表現中包含正常的剎車減速行為,相比于其他特征剎車開關狀態在不同的駕駛風格中差異較小,對駕駛風格影響有限。對于環境壓力,由于所選車輛的實驗路線相同,其海拔高度變化相對穩定,對駕駛風格識別結果影響有限。此外,由于環境溫度傳感器安裝位置靠近水箱,故環境溫度變化與風扇轉速變化有關。同一駕駛風格的環境溫度與風扇轉速變化一致,故環境溫度或風扇轉速對駕駛風格識別結果影響有限。對于發動機轉速,駕駛風格間的差異有限,且發動機轉速與車輛的擋位有關,結合擋位及車速分布圖可知,車輛在該路段上以高擋位行駛為主,其發動機轉速和車速間差異較小,對駕駛風格影響有限。

綜上,在數值方面,扭矩、進氣壓力、油門開度、循環噴油量均表現出明顯差異且該特征與駕駛員行為特征相關,并且反映了車輛燃料消耗情況,根據其大小情況將駕駛風格1對應為激進型,駕駛風格2對應為溫和型,駕駛風格3對應為冷靜型。

3.2 連續樣本駕駛風格的分析

為了驗證所定義駕駛風格,選取其中47號駕駛員所屬車輛的3個已被標記的典型片段區間連續140個采樣點以探究各個駕駛風格間的差異。考慮到數據在基于自編碼器的Bi-LSTM中的傳遞特性,駕駛風格劃分無法保持連續一致性,故所選取的3個典型區間分別以激進型、溫和型和冷靜型為主的駕駛風格劃分,如圖8所示。

圖8 47號實驗車輛區間采樣曲線

總體來看,隨著駕駛員對擋位和油門操作的變化,車輛對應的車速、扭矩、進氣壓力及循環噴油量產生對應的快速變化。結合表5來看,即使溫和型駕駛風格下指標數值較大,但其變化率較低,說明駕駛員在駕駛過程中保持相對穩定的駕駛狀態。對于平靜型駕駛風格的情況,駕駛員未對油門及擋位進行操作,但車輛仍能保持前進狀態,可以認為車輛正在下坡,車輛狀態未有明顯的突變。

表5 各個駕駛風格對應所選特征平均變化率

表5展示了上述變量的變化率。從表5可以看出,在對應的駕駛風格區間內,扭矩、進氣壓力、循環噴油量的變化率具有一定的相似性。根據特征選擇的情況,即使扭矩和進氣壓力未在所選特征內,但特征選擇及駕駛風格識別結果能反映兩者的變化規律。

4 結論

提出了一種采用雙向LSTM自編碼器的譜聚類模型,并用于駕駛員駕駛風格識別。基于真實數據實驗,利用改進的鯨魚優化算法將扭矩、進氣壓力、油門開度和循環噴油量作為區分不同駕駛風格的主要特征,并通過采用雙向LSTM自編碼器的譜聚類模型將駕駛風格分別識別為激進型、溫和型和冷靜型。分析結果表明,所選特征能夠反應駕駛員的駕駛行為特征,對于駕駛風格劃分具有良好的識別效果。通過探索更準確的方法來初始化數據的原始標簽,并實驗不同的道路條件(如城市和鄉村地區)以及更多的車輛類型,可以進一步提高算法的適用性。