基于增強學習的車輛轉彎制動橫向軌跡控制

羅錦才，劉暾東

(廈門大學航空航天學院，福建 廈門 361102)

1 引言

近幾十年，汽車行業得到了大規模的發展，私家車保有量也大幅度提升，道路交通壓力逐漸增大，交通事故頻發，引起了人們對于私家車安全性能的高度重視。根據交通事故發生前后的時間不同，將車輛的制動控制分為多種情況，其中車輛轉彎是一個十分常見的問題。根據相關數據統計，發生的交通事故中有79%是由于車輛轉彎制動問題所導致的，此類交通事故往往都會造成非常嚴重的后果，重則會影響駕駛員的生命安全[1-2]。

根據上述方法存在的問題，本文提出基于增強學習的車輛轉彎制動橫向軌跡控制方法，并對其進行仿真測試，驗證此控制方法的可行性與科學性。

2 車輛轉彎制動橫向軌跡控制方法設計

2.1 構建車輛動力模型

在此次研究中，將通過構建車輛動力學模型的形式為車輛轉彎制動橫向軌跡控制方法提供數據基礎。根據車輛動力學原理與特性，采用ADAMS軟件[5-6]作為模型構建平臺。在此軟件中，根據動力學原理將車輛劃分為多個剛體，并對剛體的質量與各個方向的動力慣性進行定義與賦值。在車輛模型的構建與計算過程中，采用分析法與試驗法相結合的形式得到車輛運動微分方程組，具體計算過程如下。

為了更加客觀的體現輪胎的力學特性與參數，構建對應的SAE坐標系[7]，此坐標系為右手坐標系，將垂直于車輪旋轉軸線的輪胎中分面設定為車輪平面。設定坐標系的原點O為車輪與地平線的交線與車輪旋轉軸線的交點。車輪平面與地平面的交線為X軸，設定方向向前為正向。Z軸與地平線垂直，正方向向上。Y軸為地平面，車輪前進方向向左為正。在車輛行進的過程中，車輪分別受到X軸、Y軸與Z軸的三個方向的力與繞這3個軸力矩的作用，根據原有研究結果，將此部分力稱為輪胎的六分力，分別為：縱向力Fx、側向力Fy、法向力Fz、側傾力矩Rx、轉動力矩Ry以及回正力矩Rz。根據上述設定，使用三角函數得到輪胎六分力的聯合作用情況，通過擬合計算的形式，獲取水平方向漂移數據及其側向力，具體計算過程如下：

Fy0(β)=Sysin(Cyarctan(Byβ-Uy(Syβ-arctan(Syβ))))

(1)

式中，Fy0(β)表示純滑移條件下計算得到的橫向力的值；β表示車輪偏轉角；S表示上述兩公式的峰值因子，即動力曲線的最大值；B表示剛度因子，且B=BCS/(CS)；x表示輪胎的側向力、縱向力與回正力矩；y表示車輛輪胎的偏轉角；C表示曲線形狀因子，決定著曲線的形態特征。在上述參數中，除形狀因子C外，全部參數與輪胎的垂直負荷具有函數關系。將車輛數據帶入此公式中，進行擬合可得到相應的車輪輪胎模型在純滑移條件下的變動系數。根據變動系數，構建車輛動力模型，具體公式如下

φ=(1-P)(X+Wl)Fy0(β)+(P/B)arctan(B(X+Wj))

(2)

在上式中，P表示曲線曲率因子，即動力學曲線最大值附近的形狀；Wl表示車輛垂直方向漂移；Wj表示車輛水平方向漂移。在此次研究中，將此部分數據作為控制方法的數據來源。

2.2 構建滑移率目標函數

車輛轉彎制動是一種更為復雜的工況，它不同于直線制動工況，轉彎制動時的載荷轉移和大側向滑動對制動穩定性動力學控制提出了更高的要求，而車輛蔽障過程伴隨制動，由于實際車輛轉向制動作業工況下不穩態的橫擺角速度和最佳滑移率不確定性導致車輛整車側傾，車輛極易失去控制，因此對車輛轉彎制動橫向軌跡進行控制。根據上述部分中設定的車輛動力模型，將其簡化為線性的二自由度系統[8-9]，將車輛的滑移率作為優化的參數，其中滑移率與附著系數作為目標函數的組成部分，考慮到制動過程中的減速情況與車輛的穩定性，將此次控制參數的優化目標函數設定如下

mine=(χ-χdes)2+(v-vmax)2φ

(3)

在上式中，x表示轉彎制動過程中的車輛輪胎橫擺動角；χdes表示前輪轉角和車速穩定的情況下穩態的橫擺角速度；v表示車輛的減速度；vmax為地面所能提供的最大減速度。當上述公式取值為最小值時，所得到的滑移率為控制過程中的最佳目標滑移率。通過對式(3)的推導可知

(4)

式中，μ表示輪胎的附著系數[10]。

金融開放度與經濟增長之間是否存在非線性關系是本文的研究假設1同時也是后文的研究基礎。對此我們依據模型(1)，對各國金融開放程度與其經濟增長之間的相關關系進行檢驗。估計結果可見表4。

對上述公式進行整合可得到滑移率與附著系數之間的轉換關系

(5)

式中，L表示車輛滑移長度，hr、hf表示車輛輪胎的轉動系數，kr、kf表示車輛的滑移計算常數。通過此公式可得到最優橫擺角速度χdes，具體公式如下所示

(6)

穩定轉向下的橫擺角速度會低于其物理極限值，因此，χdes可簡化為

(7)

將此公式代入到式(3)中，即可得到需要優化的車輛控制參數。

2.3 實現車輛軌跡控制

由上文可知，車輛橫擺角速度目標函數的取值為最優解時為車輛的理想狀態。鑒于車輛制動過程中的穩定性，使用增強學習算法對其運動軌跡進行控制。此次設計的控制方法需要構建相應的控制器作為方法的實施平臺。將控制策略通過參數的形式體現如下

πα(s，a)=P[a|s，α]

(8)

式中，α表示策略權重，π表示控制策略內容。πα(s，a)表示使用函數α后進行函數擬合所得策略函數[11-12]。使用增強學習技術對上述問題進行求解，可獲取車輛動作為α時的概率。在此計算環節中需要設定對應的數據量對多種控制策略進行衡量，此數據量為控制目標策略函數。無論何種目標策略函數K(α)對于何種πα(s，a)，都符合下述約束要求。

?αK(α)=Eπ[?αlgπα(s，a)Qπ(s，a)]

(9)

式中，?αK(α)表示目標控制策略函數K(α)的梯度。同時，梯度?αlgπα(s，a)可以通過高斯策略獲取。Qπ(s，a)表示計算過程中的動作值函數，使用策略梯度算法可得到計算結果。由于此部分計算過程具有一定的連續性，因而采用連續型增強學習算法得到最佳控制策略。設定在測量集合Z中具有控制狀態z，此策略參數為γ，使用γ與z求取不同動作c下的概率函數，具體公式如下

fα(z)=η(z)Tγ

(10)

式中，η(z)表示特征向量，fα(z)表示控制策略的特征函數。使用高斯函數對其進行求解，則有

(11)

通過此公式，可得到最終的控制策略對數梯度，具體如下

(12)

使用此公式可對已獲得的控制策略展開處理，并得到適用于車輛轉彎制動橫向軌跡控制的最佳控制策略。將控制策略集合中的全部策略代入上述公式中，對比對數梯度計算結果，得到最優解，并使用此策略完成車輛橫向軌跡控制過程。至此，基于增強學習的車輛轉彎制動橫向軌跡控制方法設計完成。

3 仿真分析

3.1 仿真條件設定

為了證實本文提出的基于增強學習的車輛轉彎制動橫向軌跡控制方法在日常的使用中具有相應的優越性與可靠性。在此次實驗中，將采用其與目前使用方法對比的方式，深入研究此方法的使用效果。為了體現不同初始車速對于車輛控制效果影響，在此次實驗中使用仿真的形式，并將仿真條件設定如下：前輪轉速由0到0.5s逐漸上升到0.05rad;制動從1s開始，即轉彎開始后0.5s開始制動；仿真道路附著系數為0.70；控制目標車輛滑移率為0.20。控制誤差與誤差變化量的量化因子以及輸出變化量比例為15：2。根據上述設定的仿真參數與車輛情況，使用文中設計方法與文獻[3]提出的轉向制動工況下平衡重叉車橫向穩定性控制方法和文獻[4]提出的基于可拓優度評價的智能汽車橫向軌跡跟蹤控制方法對車輛轉彎制動橫向軌跡進行控制，對比控制效果。

3.2 實驗方案設計

在此次實驗中，將實驗指標設定為車輛滑行時間、車輛位移長度以及車輛整體滑移率。通過上述實驗指標對比文中設計方法與文獻[3]方法、文獻[4]方法的應用效果。為使實驗結果更加逼真，將車輛的初始車速設定為15m/s以及30m/s，制動過程中車輛速度變化均勻，控制力矩穩定，車輪載荷一致。仿真共進行5次，通過數據與圖像的形式，完成文中設計方法與文獻方法的對比過程。

3.3 控制后車輛滑行時間對比結果

表1 控制后車輛滑行時間對比結果

通過以上實驗結果可以看出，文中設計方法的使用效果明顯優于文獻[3]方法和文獻[4]方法。通過數據對比可以看出，文中設計方法在兩種初始速度下均可較好的控制車輛滑行時間。同時，通過實驗數據也可以看出文中設計方法的車輛滑行時間區間較短，由此可知此方法在使用的過程中可在較短的時間內完成。相較于文中設計方法，文獻[3]方法和文獻[4]方法雖然對于車輛具有一定的控制能力，但其控制響應時間較長，在實際使用中易造成交通事故。由此可判定，在此指標對比中，文中設計方法的使用效果更佳。

3.4 控制后車輛滑行長度對比結果

表2 控制后車輛滑行長度對比結果

根據以上表格中數據可以看出，文中設計方法在此實驗環節中所得實驗結果優于文獻[3]方法和文獻[4]方法的實驗結果。根據多次實驗與測算，在不同車輛初始速度下，文中設計方法的使用效果一直維持在較為平穩的狀態下。但通過數據可以看出，文獻[3]方法和文獻[4]方法使用效果并未達到文中設計方法的高度，兩種方法在使用后會造成車輛滑行路程較長，加大了車輛交通事故的發生幾率，導致駕駛員的安全出現問題，不利于交通安全管理。因此，在此部分實驗中可知，文中設計方法的使用效果優于文獻[3]方法和文獻[4]方法。

3.5 車輛整體滑移率對比結果

通過以上實驗結果可以看出，在兩種不同的初始速度下，文中設計方法控制下的車輛整體滑移率較低，同時不同的初始速度對于車輛整體滑移率的影響較低，文中設計方法的使用效果較為穩定。相較于文中設計方法，文獻[3]方法和文獻[4]方法對于車輛的整體滑移率控制效果較差，車輛的初始速度很容易對控制方法的使用效果造成影響。在不同的車輛初始速度下，文獻[3]方法和文獻[4]方法的控制差異較大，直接影響了車輛的橫向軌跡控制效果。由此可知，文獻[3]方法和文獻[4]方法不如文中設計方法的使用效果穩定。

圖1 不同情況下的車輛整體滑移率對比結果

將以上實驗結果進行綜合分析可以看出，文中設計方法的使用效果明顯優于目前使用中的控制方法。在日后的研究中，可使用此方法作為車輛的最佳控制方法。

4 結束語

針對傳統的車輛轉彎制動橫向軌跡控制方法存在車輛整體滑移率較高、控制后的車輛滑行時間較長、滑行路程較遠的問題，本文提出基于增強學習的車輛轉彎制動橫向軌跡控制方法。通過仿真驗證了本文方法的有效性，解決了傳統方法存在的問題。但在此設計中，由于時間與技術的約束，存在部分的不足。在日后的研究中，將根據應用中的不足進行合理優化，以此保證車輛的控制效果，提升交通安全性。