基于MLP-SVM的駕駛員換道行為預測

密俊霞， 于會龍， 席軍強

(北京理工大學 機械與車輛學院， 北京 100081)

0 引言

高級駕駛輔助系統(ADAS)利用車載設備采集行車數據，并對駕駛行為進行提前預測，可提醒駕駛員即將到來的危險場景，使駕駛更安全、高效。人類駕駛行為的不確定性，為ADAS的應用帶來了挑戰[1]。ADAS包括電子穩定控制系統(ESC)、車道偏離預警系統和換道輔助系統等。車道偏離預警系統在車輛不開轉向燈卻并入車道時，通過發送音頻或者視覺警告給駕駛員以提醒。該系統通過攝像頭檢測車道線，來判斷駕駛員是否產生了無意識的漂移。換道輔助系統通過使用傳感器檢測車輛周圍環境并監控駕駛員的盲點，幫助駕駛員安全完成變道。當駕駛員打算換道時，如果有其他車輛從后面接近或著有其他車輛處于駕駛員盲區時，換道輔助系統將通過音頻或視覺通知駕駛員。文獻[2]研究結果表明，因換道引起的交通事故占機動車交通事故的9%。準確、提前預測出駕駛員的換道意圖，可降低車道偏離系統的錯誤預警率，提升換道輔助系統的性能，對高級輔助駕駛系統的應用具有重要意義。

影響駕駛員換道意圖預測準確率的兩個主要因素是特征數據和算法。駕駛員意圖預測的特征數據包括交通環境數據、車輛動力學數據和駕駛員行為數據。雷達、相機、GPS等可用于采集交通環境數據，包括道路信息數據，車輛距離道路中心線的距離，車輛的坐標，車輛相對于周圍車輛的速度和位移等。車輛動力學數據可用CAN總線采集，包括車輛的速度、加速度、方向盤轉角等。駕駛員行為數據主要包括眼動數據、頭動數據、腳動數據、大腦活動數據等。駕駛員意圖預測的算法包括隱馬爾可夫模型(HMM)、貝葉斯網絡(BN)、支持向量機(SVM)、高斯混合模型(GMM)、卷積神經網絡(RNN)、長短時神經網絡(LSTM)等。

國內外的學者在駕駛員換道行為預測方面展開了研究。其中HMM、SVM、GMM、BN及由這些模型組合成的混合模型被廣泛應用于駕駛員意圖預測。丁潔云等[3]采用對駕駛人換道決策有影響的環境參數，基于模糊邏輯理論設計了綜合決策因子，來表達駕駛員做出換道決策的可能性，并且將綜合決策因子與表征車輛橫向運動的特征參數作為觀測變量，采用HMM模型，識別駕駛員的換道意圖。宗長富等[4]建立了雙層HMM模型來辨識駕駛員所處的復合工況，其中上層多維離散HMM模型對應駕駛員所處于的復合工況，下層多維高斯HMM模型對應駕駛員在這段時間內的駕駛行為。宋曉琳等[5]提出了HMM-SVM的混合模型，用于駕駛員換道行為辨識，模型的輸入特征為方向盤轉角、油門踏板數據，將駕駛員的意圖分為車道保持、緊急左換道、緊急右換道、正常左換道、正常右換道。劉志強等[6]運用HMM和SVM聯合的算法，建立了駕駛員意圖預測模型，確定6個參數的駕駛員意圖預測指標，分別預測出車道保持意圖、換道意圖、超車意圖。Butakov等[7]建立了兩層模型來描述換道行為，其中底層為運動學模型、上層為隨機模型，運動模型的部分采用正弦曲線換道模型，隨機模型的部分采用GMM模型。Kasper等[8]采用貝葉斯網絡來預測高速公路場景下的駕駛行為。Morris等[9]采用關聯向量機(RVM)模型來預測換道意圖，該模型是SVM模型的貝葉斯延伸。Li等[10]采用流形學習和SVM來識別駕駛員的換道行為，模型只采用相機數據。Kumar等[11]聯合SVM和貝葉斯濾波，將SVM的概率輸出作為貝葉斯濾波的輸入，然后根據貝葉斯濾波的輸出來預測駕駛員意圖。模型使用的特征數據包括車輛相對于車道線的側向位移、車輛相對于道路的方向盤轉角及其導數，為利用歷史特征數據，模型使用的特征向量為特征數據在一個時間窗內的數據，試驗結果表明模型能在1.3 s之前預測出駕駛員換道行為。Schlechtriemen等[12]研究結果表明，預測駕駛員換道意圖最有用的特征包括車輛側向速度、車輛相對于前車的速度和車輛相對于車道中心線的側向位移。Liu等[13]采用數據融合方法，利用相機信息和云數字孿生信息，來預測駕駛員換道行為。基于統計模型的方法在挖掘駕駛行為特征方面具有局限性。

由于算法、算力的提升，深度學習在圖像處理、語音識別、翻譯得到了廣泛的應用，深度學習可用于預測駕駛員行為意圖。季學武等[14]采用LSTM識別駕駛意圖，得到駕駛意圖分別為左換道、直線行駛、右換道的概率。宗長富等[15]結合HMM和ANN，建立了駕駛員意圖辨識與行為預測模型，辨識出緊急轉向、正常轉向和直線行駛3種工況。王慶年等[16]基于Takagi-Sugeno模型的模糊神經網絡，生成了模糊推理系統的推理規則，從而識別駕駛意圖，并且將基于意圖識別的結果應用于優化混合動力汽車的控制策略，提高混合動力汽車燃油經濟性。Dang等[17]將換道意圖的預測作為回歸問題而不是分類問題，采用LSTM來預測當前時刻至車輛越過車道線之前的時間。Li等[18]采用RNN的方法，利用周圍車輛的動態交互數據，來預測高速公路駕駛員換道行為。Ou等[19]采用RNN的方法，利用駕駛員觀察行為和駕駛環境數據，來預測駕駛員換道行為。Khairdoos等[20]采用基于LSTM的方法，利用駕駛員注視數據、頭部位置和車輛運動數據，來預測駕駛員換道行為。

眼部動作、面部動作、頭部動作可被用于駕駛員意圖預測。Lethaus等[21]研究發現眼睛的動作與駕駛行為相關。Doshi等[22]采用各種不同的特征來測試眼睛動作和頭部動作哪種更能預測駕駛員換道行為，其得出的結論為頭部動作比眼部動作在預測駕駛行為時更有效，頭部動作聯合車道數據和車輛數據能作為預測駕駛員換道意圖的良好特征。Lethaus等[23]采用眼部數據來預測駕駛員換道行為，并且對比了ANN、BN和樸素貝葉斯3種不同的算法。張立軍等[24]采集了直行、左換道、右換道的視頻數據、駕駛員運動狀態和方向盤轉角信號數據，基于視線方向及頭部姿態估計算法，提取駕駛員頭部和面部特征，采用統計學方法獲得了各特征與駕駛意圖的關聯性。Deng等[25]利用環境和眼動數據來預測駕駛員換道行為。眼部動作、面部動作、頭部動作數據的采集需要駕駛員佩戴相應的裝備或者需要采集駕駛員的面部隱私，可能會對駕駛員行為產生干擾。

駕駛風格對駕駛員的換道決策有影響。Yang等[26]采用k-means聚類算法與K近鄰算法相結合，用于分類駕駛員的不同換道風格，將換道風格分為溫和型、模糊型、激進型三類。Li等[27]提出一種混合的模型，聯合BN與GMM，采用眼睛注視數據來標簽駕駛數據，預測了不同場景下的不同駕駛風格駕駛員的換道行為。

由于不同的駕駛員會表現出個性化的駕駛行為，基于多名駕駛員的駕駛數據所建立的駕駛員換道行為預測模型不能完全適用于單個的駕駛員，而對于單個駕駛員，采集足夠的駕駛數據來訓練模型不是總能實現的。基于此，遷移學習的方法被用來建立單個目標駕駛員的個性化換道行為預測模型。 Lu等[28-29]采用不同的遷移學習算法，利用其他駕駛員的駕駛數據和少量的、不充足的目標駕駛員數據來建立目標駕駛員換道行為預測模型。Lu等[30]為了解決駕駛模擬器采集的駕駛數據與實車采集的駕駛數據之間存在差異的問題，采用遷移學習的算法將駕駛模擬器數據映射為實車采集數據。

關于以上研究，基于統計模型的方法不能完全充分挖掘駕駛行為數據的特征，而深度學習在提取數據特征方面具有優勢。眼部動作數據和頭部動作數據雖然有助于預測駕駛行為，但是在人類日常駕駛時，佩戴采集眼部動作和頭部動作的裝備，或者安裝采集面部識別的攝像頭，并不能被所有駕駛員充分接受。為進一步提高駕駛員換道行為預測模型的預測準確率和預測時間，本文基于MLP算法，聯合SVM算法，提出了一種聯合的MLP-SVM模型。采用車輛數據和交通環境數據，建立駕駛員換道意圖預測模型。采用真實的公開交通數據集highD[31]來驗證提出的模型，并與其他模型進行對比，驗證所提出的模型在預測準確率和提前預測時間方面的優越性。本文所提出的框架如圖1所示。

圖1 基于MLP-SVM的混合模型結構Fig.1 Architecture of the hybrid MLP-SVM model

1 駕駛員換道行為預測模型的試驗場景和特征向量

左車道一般為快車道，換道行為發生的其中一個原因為，在當前車道上，主車的前方車輛速度較慢，主車為了獲取更快速度，需要換道到左車道。因此選取駕駛員左換道場景進行建模研究。

1.1 駕駛員換道行為預測模型的試驗場景

駕駛員換道行為預測模型的試驗場景如圖2所示，目的是研究主車、代號為SV的換道行為，同時考慮周圍4個車輛的信息，包括當前車道前車PV、當前車道后車FV、左前車LP、左后車LF的駕駛數據。

圖2 換道場景示意圖Fig.2 Diagram of a lane changing scenario

1.2 主車與周圍車輛的數據信息

為建立駕駛員換道行為預測模型，主要采集主車信息和周圍車輛信息。在時刻i，主車的數據信息可以表示為

(1)

主車與周圍車輛的相對信息可以表示為

(2)

(3)

(4)

(5)

(6)

1.3 模型特征向量的選取與模型的輸出

為建立駕駛員換道行為預測模型，主要采集主車信息和周圍車輛信息。模型的輸入是時刻i時，主車駕駛數據、周圍車輛相對主車的駕駛數據和目標車道前車與后車的相對數據。

在時刻i，特征向量可表示為

(7)

模型的輸出是時刻i+1時的駕駛員行為標簽，可表示為

(8)

式中：0代表直駛行為；1代表換道行為。

2 基于MLP-SVM混合模型的駕駛員換道行為預測算法

多層感知機是深度學習的一種基本算法，可用于數據分類、回歸。支持向量機常用于數據分類。本文為充分利用深度學習算法的特征提取能力，和支持向量機算法的分類能力，建立了多層感知機和支持向量機聯合的駕駛員換道行為預測模型。

2.1 多層感知機算法

MLP模型包含一個輸入層、至少一個隱藏層和一個輸出層，圖3為包含一個隱藏層，隱藏層有4個隱藏單元的多層感知機模型示意圖。圖3中，x1、x2、x3代表輸入特征向量xi中的3個特征，h1、h2、h3、h4代表隱藏層中的4個隱藏單元，o1、o2代表輸出層中的兩個輸出。

圖3 多層感知機示意圖Fig.3 Diagram of multilayer perceptron

包含K層的MLP模型含有一個輸入層、K-1個隱藏層和一個輸出層。MLP模型輸出O的計算如(9)式所示：

O=H(K-1)W(K)+b(K)H(1)=φ1(XW(1)+b(1))

H(j)=φj(H(j-1)W(j)+b(j)),j=2,3,…,K-1

(9)

式中：H(k)、W(k)、b(k)、φk分別為第k層網絡的輸出、權重、偏差、激活函數，b(k)∈1×h(k)，W(k)∈h(k-1)×h(k)，h(k)為第k層網絡的隱藏單元數；X為輸入矩陣，X∈n×d，n為樣本數，d為樣本的特征數目。激活函數可以是ReLU函數或者sigmoid函數或者tanh函數等。給定元素x，各個激活函數的公式如(10)式～(12)式所示：

ReLU(x)=max (x,0)

(10)

(11)

(12)

本文建立的MLP模型包含三層：一個輸入層，兩個隱藏層，一個輸出層。激活函數為ReLU函數，且由于換道行為的預測是一個分類問題，所以損失函數采用交叉熵損失函數，模型的權重和偏差通過后向傳播算法計算。

(13)

式中：l(θ)為損失函數；θ為模型參數；q為類別數；ym和m為樣本在m個類別上的真實標簽和預測標簽。

2.2 支持向量機算法

對于訓練數據(xi,yi)，xi∈d，yi∈{-1,1}，SVM的目的是找到能把數據最大化分開的超平面ωTx+b=0，其中ω和b為超平面的法向量和截距，ω∈d，b∈。被分開的兩類數據到該平面的距離的最小值相等，最優超平面為使此距離最小值最大化的超平面。xi到超平面的距離為縮放ω和b，使得|ωTxi+b|≥1，則離超平面最近的向量，即支持向量，到超平面的距離為1/‖ω‖，最大化1/‖ω‖等價于最小化基于SVM的分類問題可以定義為

(14)

式中：ξi為非負松弛變量，當ξi=0時，為線性可分SVM；C為取值正數的懲罰參數，用于調和間隔盡量大與誤分類盡量小。該問題是一個凸二次規劃問題，其中ω有唯一解，b的解不唯一而是存在于一個區間。原問題的對偶問題為

(15)

式中：αi為拉格朗日乘子，可通過求解對偶問題的解再得到原問題的解。對于非線性分類問題，可以通過一個非線性變換，將非線性分類問題變換為線性分類問題，通過求解變換后的線性分類問題，得到原來的非線性分類問題的解。如果存在一個從輸入空間中的xi變換到特征空間中的zi的映射φ(x)，函數K(xi,xj)=φT(xi)φ(xj)總是成立，則稱K(xi,xj)為核函數。核技巧應用于此的原因為：特征空間通常為高維，甚至為無窮維，顯式地定義映射φ(x)通常是困難的，直接計算K(xi,xj)則比較容易。給定的核函數所對應的特征空間和映射的取法并不唯一。4種常用的核函數分別為線性核函數、多項式核函數、徑向基核函數、sigmod核函數。表達式分別為

線性核函數：

(16)

多項式核函數：

(17)

徑向基核函數：

(18)

Sigmoid核函數：

(19)

(20)

該問題可通過序列最小最優化(SMO)算法求解。SMO算法包含兩個部分：采用啟發式方法選擇兩個變量和采用解析方法求解兩個變量的二次規劃問題。在采用啟發式方法選擇兩個變量時，不失一般性，假設選擇的兩個變量是α1和α2，其他的變量αi(i=3,4,…,n)固定。SMO在選擇第2個變量α2時，需從訓練樣本中選擇違反KKT條件最嚴重的樣本點。此處的KKT條件可表示為

αi=0?yig(xi)≥1 0<αi

(21)

(22)

α1和α2選擇好后，SMO求解原問題對偶問題子問題可表達為

(23)

(24)

(25)

(26)

(27)

最終的分類函數為

(28)

2.3 基于MLP-SVM的駕駛員換道行為預測模型

圖4 MLP-SVM混合模型結構與MLP模型結構Fig.4 Architecture sof hybrid MLP-SVM model and MLP model

3 試驗數據的處理

本文所用的試驗數據來自公開數據集highD[31]，如圖5所示，采用無人機航拍來獲得駕駛數據。該數據集收集了德國高速公路上的約110 500個車輛的軌跡數據，數據采集的頻率為25 Hz。 其中車輛包含汽車和卡車，本文采用汽車的數據來建立模型。主要研究自由換道，由于換道次數大于1有可能是強制換道，只選取換道次數為1的車輛。

圖5 highD數據集Fig.5 HighD dataset

數據的處理方法如圖6所示，采用時間窗的方式來標簽換道行為，時間窗選擇的時間為5 s。t2為車輛跨過車道線的時刻，t1為t2之前5 s的時間點，t1和t2之間時間的數據為換道數據，被標簽為1，t0為t1之間5 s的時間點，t0和t1之間時間的數據為直駛數據，標簽為0。

圖6 數據處理方法Fig.6 The data processing method

數據處理后的訓練數據和測試數據統計結果如表1所示。

表1 訓練數據和測試數據統計Table 1 Summary of training dataset and test dataset

4 試驗結果與分析

本文采用不同算法分別建立了駕駛員換道行為預測模型并且對比分析不同模型的性能。

4.1 模型評價標準

所建立的換道行為預測模型，不僅要有整體的預測準確率，并且模型在換道時刻之前，越早預測出換道意圖，則模型性能越好。因此，對于模型的評價，提出兩個標準，即模型預測準確率、模型預測時間。

1)模型預測準確率。模型預測準確率的計算公式為

(29)

式中：TP為將正類預測為正類的數目；TN為將負類預測為負類的數目；FP為將負類預測為正類的數目；FN為將正類預測為負類的數目。

2)模型的精準度、召回率、F1分數分別為

(30)

(31)

(32)

3)模型提前預測時間。如果從換道之前的某個時間點至圖6所示t2時刻，即車輛換道點，模型的所有預測結果均為標簽1，即均為換道，則定義從這個時間點到車輛跨過車道線的換道點之間的時間為模型的提前預測時間。

車體是軌道交通車輛重要的承載結構，除必須滿足強度、剛度、模態及結構穩定性等要求外，還必須滿足日益提高的結構輕量化要求。碳纖維復合材料的應用為車體減重增能提供了新的思路，對推動軌道交通技術進步具有劃時代意義。

4.2 模型設置

MLP模型的參數如表2所示。

表2 MLP模型參數Table 2 Parameter selection and setting of MLP model

4.3 對比結果

為驗證所建立的MLP-SVM混合模型在駕駛員換道行為預測上的性能，分別基于MLP、SVM、MLP-SVM算法建立了駕駛員換道行為預測模型。為了選取合適的SVM模型，將SVM的核函數分別設為線性核函數、多項式核函數、徑向基核函數、Sigmoid核函數。其中，SVM(sigmoid)、SVM(linear)、SVM(poly)、SVM(rbf)分別代表sigmoid核函數、線性核函數、多項式核函數、徑向基核函數的SVM模型。MLP-SVM(sigmoid)、MLP-SVM(linear)、MLP-SVM(poly)、MLP-SVM(rbf)分別代表sigmoid核函數、線性核函數、多項式核函數、徑向基核函數的MLP-SVM混合模型。

MLP在訓練集上的損失隨訓練周期數的變化如圖7所示，在10 000個訓練周期后，訓練集的損失趨于穩定，此時將MLP隱藏層的輸出特征，作為SVM的輸入特征，建立MLP-SVM模型。

圖7 訓練集損失隨訓練周期數的變化Fig.7 Training set loss changes with the number of training cycles

各個模型的預測準確率和平均提前預測時間對比如表3所示。以下為關于模型在預測準確率和提前預測時間方面的性能分析。

表3 模型的預測準確率和提前預測時間Table 3 Accuracy and advanced prediction time of the models

1)關于各個模型預測準確率的分析。由表3可知，對于SVM模型，不同的核函數對預測結果的影響很大，其中SVM(rbf)模型的預測準確率最高，為82.5%，SVM(sigmoid)模型的預測準確率最低，為59.7%。MLP模型的預測準確率為92.0%，在預測準確率方面優于SVM模型。對于MLP-SVM混合模型，SVM選取不同核函數對模型預測準確率也有影響，對于所設定的4種核函數，混合的MLP-SVM模型預測準確率均大于SVM模型預測準確率。當SVM的核函數選為徑向基核函數時，在試驗的所有模型中，混合的MLP-SVM(rbf)模型取得了最高的預測準確率，為92.6%。

2)關于不同的核函數在SVM模型和MLP-SVM模型中的不同表現分析。由表3可知，對于同一核函數，MLP-SVM模型的預測準確率均高于SVM模型。在SVM模型中，SVM(sigmoid)模型的預測準確率最低，在混合的MLP-SVM模型中，MLP-SVM(sigmoid)模型的預測準確率也最低。在SVM模型中，SVM(rbf)模型的預測準確率最高，在混合的MLP-SVM模型中，MLP-SVM(rbf)模型的預測準確率也最高。在SVM模型中，SVM(poly)模型的預測準確率高于SVM(linear) 模型，在混合的MLP-SVM模型中，MLP-SVM(poly)模型的預測準確率低于MLP-SVM(linear)模型。關于當核函數為rbf時，相對于其他核函數，SVM(rbf)和MLP-SVM(rbf)的預測正確率均為最優的解釋為：rbf核函數將特征映射為無窮維，相比于其他核函數，獲得了最優的分類結果，適合本文試驗中特征維度不多、樣本數量不過少也不過于多的狀況。

3)關于模型的提前預測時間的性能分析。由表3可知，預測準確率越高的模型，更早預測出換道行為。對于不同核函數的MLP-SVM模型，MLP-SVM(rbf)模型的預測準確率最高，為92.6%，提前預測時間最長，為4.54 s。所選取的直駛換道時間窗為5 s，所建立的MLP-SVM(rbf)模型，在模型預測準確率和提前預測時間方面，均表現最優。而對于不同核函數的SVM模型，SVM(sigmoid)模型的預測準確率和提前預測時間分別為59.7%和1.56 s。由此可見所建立的MLP-SVM模型相對于SVM模型，在模型預測準確率和提前預測時間方面，都有較大的提升。

4)關于模型的混淆矩陣性能表現。為進一步對比所建立的混合MLP-SVM(rbf)模型和MLP-SVM(sigmoid)模型相對于SVM(rbf)模型、SVM(sigmoid)模型在預測性能方面的提升，圖8分別顯示了4個模型的正則化混淆矩陣。

圖8 模型的正則化混淆矩陣Fig.8 Normalized confusion matrixes of models

從圖8中可以看出，對于SVM(sigmoid)模型，在所有的真實換道行為中，只有49.5%的換道行為被預測出來，在所有的真實直駛行為中，只有69.9%的直駛行為被預測出來。SVM(rbf)模型與SVM(sigmoid)模型相比較，在預測直駛和換道行為方面的性能都有所提升，但是模型對兩種行為的預測性能很不均衡。MLP-SVM(rbf)模型能分別預測出93.8%的直駛行為和91.4%的換道行為，在性能上與所建立的SVM模型對比有較大提升。

5)關于模型在精準度、召回率、F1分數方面的性能表現。表4為模型的精準度、召回率、F1分數。根據表4可知，相對于SVM模型，提出的混合的MLP-SVM(rbf)模型在精準度、召回率、F1分數方面的性能均有提升。

表4 模型的精準度、召回率、F1分數Table 4 Precision, recall, and F1 score of the models

6)關于模型在預測換道行為方面的具體顯示。為進一步理解模型預測換道行為的能力，圖9選取一條換道數據，分別顯示車輛軌跡、真實的換道行為、MLP-SVM(rbf)模型、SVM(rbf)模型、SVM(sigmoid)模型對于該條換道數據的預測結果。

圖9 預測結果的可視化Fig.9 Visualization of the prediction results

在圖9中，MLP-SVM(rbf)的預測結果顯示，該模型比真實換道標簽延遲0.32 s預測出換道行為，而SVM(rbf)模型將3.16～5 s之間的直駛行為錯誤預測為換道行為，SVM(sigmoid)模型只有在5～7.12 s內的預測是正確的，其他的都為錯誤預測，顯示了MLP-SVM(rbf)在換道行為預測方面優于SVM模型。

5 結論

本文基于車輛運動數據及其周圍車輛運動數據，建立了駕駛員換道意圖預測模型，提出一種混合的MLP-SVM模型，通過MLP提取駕駛員的特征，采用SVM進行特征分類，預測駕駛員的換道意圖，使用公開數據集highD進行了試驗。得出以下主要結論：

1)基于MLP-SVM的模型在預測準確率方面高于基于SVM的模型。

2)SVM(rbf)模型的預測準確率為82.5%，提前3.67 s預測出換道行為。提出的基于 MLP-SVM(rbf)的駕駛員換道意圖預測模型，充分利用了MLP模型提取數據特征的能力，和SVM的分類能力，取得了最高的預測準確率92.6%，可提前4.54 s預測出換道行為。本文提出的方法可應用于ADAS。