基于強化學習的半主動懸架PID控制

【摘" 要】文章針對強化學習算法在半主動懸架控制策略學習與控制中存在樣本效率低、泛化性能差等問題，設計一種基于強化學習算法的半主動懸架PID控制。通過DDPG算法實現PID參數的自適應整定，以應對半主動懸架控制中的復雜非線性動態行為和多變路況問題。通過合理設計動作量與獎勵函數，實現對不同駕駛條件的自適應性調節。仿真結果驗證該方法的有效性，顯著提高車輛乘坐舒適性，展示在復雜路況下廣泛的應用前景。

【關鍵詞】強化學習;半主動懸架;DDPG;自適應;仿真

中圖分類號：U463.33" " 文獻標識碼：A" " 文章編號：1003-8639（ 2024 ）12-0029-04

PID Control of Semi-active Suspension Based on Reinforcement Learning

【Abstract】This paper addresses the issues of low sample efficiency and poor generalization performance in reinforcement learning algorithms for semi-active suspension control strategy learning and control. It proposes a PID control method for semi-active suspension based on reinforcement learning algorithms. By employing the DDPG algorithm to achieve adaptive tuning of PID parameters，the method effectively tackles the complex nonlinear dynamic behavior and varying road conditions in semi-active suspension control. Through the rational design of action and reward functions，the method achieves adaptive adjustment to different driving conditions. Simulation results validate the effectiveness of this approach，significantly improving vehicle ride comfort and demonstrating broad application prospects under complex road conditions.

【Key words】reinforcement learning;semi-active suspension;DDPG;self-adaption;simulation

0" 引言

半主動懸架是一種通過動態調整阻尼器的阻尼力來改善車輛乘坐舒適性和操控性能的懸架系統。它通過電子控制單元ECU根據傳感器數據實時調節阻尼器的阻尼特性，常采用天棚、地棚或組合控制策略，顯著減少路面不平對車身的沖擊，增強車輛的穩定性和操控性。半主動懸架成本較低，技術成熟，具有廣闊的實際應用前景。

在半主動懸架傳統控制策略研究中，往往依賴預先設定的參數，如天棚控制器阻尼系數、PID控制器參數，難以適應復雜多變的路況和車輛動態行為。特別是在面對不同駕駛條件和環境變化時，固定的控制參數難以保證最佳的懸架性能。這就需要一種更為靈活和智能的控制方法，能夠根據實時的路況和車輛狀態動態調整懸架系統的參數。

國內外學者對半主動懸架新型控制策略進行了大量研究。寇發榮等[1]提出一種基于RF-XGBoost路面等級識別算法的半主動懸架內外環控制策略，通過外環天地棚控制與內環自適應滑模控制相結合，實現了非線性懸架的自適應控制。薛文平[2]等提出一種基于遺傳算法的變論域模糊PID控制方法，依據變論域思想設計模糊PID控制器。采用GA來優化變論域中伸縮因子描述函數的參數。劉邱祖[3]等利用天棚阻尼系統建立滑模控制器，選擇徑向基函數（RBF）神經網絡與模糊控制優化控制系統，并開展仿真測試。張勇廣[4]等通過BP神經網絡建立CDC減振器非參數模型，通過隨機路面四輪激勵輸入得到車輛簧下質量加速度響應，訓練了LSTM神經網絡，成功有效識別路面等級。彭屹[5]等設計模糊PID控制器對半主動懸架進行控制，有效減小了車身加速度、懸架動變形及前后車輪動載荷，改善車輛行駛過程中的振動。Daekynn等[6]提出基于TRPO的半主動懸架控制策略，設計狀態歸一化濾波器來提高泛化能力，在乘坐舒適性方面表現出了極佳的性能。本文提出一種基于強化學習算法的半主動懸架PID控制方法。

1" 模型搭建

二自由度1/4半主動懸架模型如圖1所示。其中m1為非簧載質量，m2為簧載質量，ks為懸架彈簧剛度，kt為輪胎剛度，F為阻尼器的可調阻尼力，z1為簧載質量位移，z2為非簧載質量位移，zq為路面輸入。

懸架動力學方程為：

式中：t——時間變量;G0——路面不平度系數，m3;v——車輛速度，m/s;ω（t）——數學期望為0的高斯白噪聲;f0——下截止頻率，Hz。

系統的狀態方程為：

式中：A——系數矩陣;B——控制矩陣;C——輸出矩陣;D——傳遞矩陣。

2" 基于強化學習的PID控制器

2.1" 半主動懸架PID控制器

PID是一種簡單而有效的反饋控制器，通過調整比例、積分和微分3個環節參數，可以實現對系統的精確控制和優化，PID控制原理如圖2所示。設定車身垂向加速度、懸架動行程、輪胎動載荷為懸架控制器的控制目標，PID輸出的控制力F為：

式中：et——系統誤差;kp——比例系數;ki——積分系數;kd——微分系數;T——控制周期。

2.2" 強化學習算法優化的PID控制器

強化學習（Reinforcement Learning，RL）是一種機器學習方法，其框架由智能體（Agent）與馬爾科夫決策過程（Markov Decision Process，MDP）組成，通過智能體（Agent）與環境的不斷交互來學習最佳策略，從而最大化累積獎勵。智能體在不同狀態下選擇動作，依據環境反饋的獎勵或懲罰進行調整，最終長期實現最優行為，其原理如圖3所示。

使用強化學習算法對PID參數進行優化，可以有效應對非線性系統的復雜動態行為，實現自適應的參數調整，找到全局最優解，并能夠在多目標優化中表現出色。基于DDPG優化的PID控制器設計原理圖如圖4所示。

為使DDPG算法能夠訓練學習到期望的控制策略，需對強化學習MDP過程進行設計。

定義t時刻狀態變量st包括：車身垂向加速度、懸架動撓度、輪胎動行程。同時對各狀態變量進行狀態歸一化處理，當前時刻的狀態變量可表示為：

智能體動作量at為PID控制參數kp、ki、kd，可表示為：

獎勵是訓練環境在st處執行at后反饋給智能體的標量信號，本文設計獎勵函數R為：

式中：λ1、λ2、λ3——車身垂向加速度、懸架動撓度、輪胎動行程的權重系數，權重系數根據目標參數優化的側重點進行設計。本文考慮車輛乘坐舒適性和操縱穩定性，經多次訓練與調整，λ1=-10，λ2=-1，λ3=-1時，算法能夠較快訓練學習達到收斂。

強化學習算法訓練需適當的神經網絡結構，以滿足近似目標函數的需求，各神經網絡結構如圖5、圖6所示。

Actor網絡結構設計為5層，輸入為系統狀態變量st，輸出為動作量at。Critic網絡結構設計為5層，輸入包括系統的狀態st和動作at，輸出為當前狀態、動作對應的Q值。

3" 算法訓練與仿真分析

3.1" 強化學習算法訓練

本文基于MATLAB/Simulink建立DDPG-PID強化學習算法訓練環境（圖7），其中包括算法智能體、1/4半主動懸架模型、PID控制算法等。

模型中1/4半主動懸架模型參數為：m2=300kg，m1=50kg，ks=22000N/m，kt=200000N/m。訓練工況采用C級隨機路面，車速為20m/s，強化學習算法訓練超參數見表1。

3.2" 仿真驗證

3.2.1" 減速帶路面

導出訓練后的智能體進行仿真驗證，減速帶路面高度、寬度和車速分別設定為0.05m、0.3m、10m/s，仿真時長為2s，采樣時間為0.01s。

基于DDPG算法優化的PID控制器控制效果與被動懸架在減速帶路面下的對比如圖8～圖10所示，車身垂向加速度、懸架動撓度與輪胎動行程峰值明顯降低，系統調節時間更短，均方根值分別降低了48.31%、37.5%、31.25%，提升了車輛行駛平順性。減速帶路面懸架系統性能評價指標見表2。

3.2.2" 隨機路面

在C級隨機路面情況下，設定仿真車速為20m/s，仿真時長為20s，采樣時間為0.01s。

圖11～圖13分別為C級隨機路面下車身垂向加速度、懸架動撓度和輪胎動行程響應曲線，均方根值對比見表3。車身垂向加速度和懸架動撓度響應對比被動懸架明顯降低，輪胎動行程優化效果不明顯，均方根值分別降低了24.66%、12.35%、2.59%，表明算法在提升車輛乘坐舒適性方面有著良好的效果。

4" 結束語

本文為半主動懸架系統的智能控制提供了一種新的解決方案，研究了強化學習算法在優化PID控制器參數方面的應用，提高半主動懸架系統的性能。通過設計合理的動作量和獎勵函數，強化學習智能體能夠動態調整PID參數，以應對不同的路況和駕駛條件。

相關仿真結果表明，采用強化學習算法優化的PID控制器在多種測試場景下均表現出色，有效減小了車身振動和懸架位移，提高了車輛乘坐舒適性。

因此，基于強化學習算法優化的PID控制器在汽車半主動懸架的控制中有著廣泛的應用前景。

參考文獻：

[1] 寇發榮，郭楊娟，劉朋濤，等. 基于路面等級識別的車輛半主動懸架內外環控制[J]. 噪聲與振動控制，2024，44（2）：171-177.

[2] 薛文平，張春玲. 基于遺傳算法的汽車主動懸架變論域模糊PID控制[J]. 江蘇大學學報（自然科學版），2024，45（1）：8-15.

[3] 劉邱祖，張建林. 汽車半主動懸架RBF模糊滑模控制器設計及仿真[J]. 中國工程機械學報，2023，21（6）：585-589.

[4] 張勇廣，鄭敏毅，張農，等. 基于LSTM神經網絡的阻尼可調半主動懸架系統控制研究[J]. 農業裝備與車輛工程，2024，62（2）：69-73，90.

[5] 彭屹，陳貴鋼. 基于模糊PID的半主動懸架控制策略研究[J]. 工程機械，2023，54（11）：50-55，58.

[6] DAEKYUN L，SUNWOO J，CHIBU M. Deep Reinforcement Learning of Semi-Active Suspension Controller for Vehicle Ride Comfort[J]. IEEE Transactions on Vehicular Technology，2023，72（1）：327-339.

[7] 喻凡，林逸. 汽車系統動力學[M]. 北京：機械工業出版社，2008.