基于多Agent的電動汽車底盤智能控制系統框架

殷國棟 朱 侗 任祖平 李廣民 金賢建

東南大學機械工程學院，南京，211189

0 引言

四輪獨立驅動純電動汽車通過輪轂電機直接驅動車輪，大大增加了底盤的可利用空間，減少了差速器、變速器等機械傳動裝置，提高了傳動效率，并且可以通過對各個電機的單獨控制來實現各種主動控制策略，使汽車適應不同工況下的行駛環境［1］，然而耦合強、不確定參數多和隨機工作環境下的動態非線性一直以來都是車輛系統動力學的研究難點。國內外眾多機構對汽車子系統之間的控制進行了研究。目前常見的控制方案以分層集成控制為主，這種方式在子系統數目較少時相對容易實現，但是隨著子系統數目的增加，各基本控制單元功能沖突干涉逐漸明顯，不僅設計難度急劇增大，而且也使得系統缺乏柔性，不利于系統的擴展，此外，傳統汽車底盤控制系統并不完全適用于新型的四輪獨立驅動純電動汽車。在汽車控制功能不斷豐富，控制目標不斷增多，對環境動態適應性要求不斷嚴苛的現實情況下，合理統一的電動汽車底盤綜合控制系統的缺乏已經限制了汽車智能化水平的提高。

本文提出基于多Agent的智能動態綜合控制系統框架，將每個車輛控制子系統從功能上進行劃定，優化各個子系統的控制目標，以此建立總體的協調決策機制，滿足車輛在不同情況下多目標在線優化調節的需求。

1 基于多Agent的底盤總體控制系統架構

Agent個體能夠通過環境感知獲取外部環境信息，并及時作用于環境，以滿足其設計目標的計算實體或程序，并可以通過通信模塊與其他Agent進行信息交流，具有良好的反應性、自治性和靈活性［2］。多Agent系統指由多個Agent組成的系統，是分布式人工智能的重要分支［3-4］，能夠解決單個Agent由于能力或其他原因不能解決的問題，具有很高的智能性，在汽車領域得到了廣泛應用［5-6］。牛禮民等［7］利用分層遞階控制結合多Agent理論的方法，解決了半主動懸架和電動助力轉向的匹配和協調控制問題。由此可見，多Agent系統可解決四輪獨立驅動純電動汽車強非線性、系統耦合等問題，加之其良好的框架拓展能力，特別適用于四輪獨立驅動純電動汽車底盤這樣具有多層次需求的系統。

本文提出基于多Agent的四輪獨立驅動純電動汽車底盤智能動態綜合控制系統，其框架見圖1。系統分為環境層、信息融合層、協調決策層、底層控制層和執行層。在智能協調決策控制的基礎之上，盡可能全面地考慮系統各級控制目標，通過多Agent系統實現四輪獨立驅動電動汽車的綜合控制。本文構建的多Agent系統是一種以子Agent單元為基本節點的全局思維框架。這里需要說明的是，圖中環境層和信息融合層以及執行層中四輪獨立驅動電動汽車模型因位置限制而在兩處分別表示，其實為同一模型。

圖1 控制系統框架示意圖Fig.1 Diagram of control system framework

1.1 環境層和信息融合層

Agent之間的交互和協調是多Agent系統解決問題的關鍵，而被控對象狀態參數的精確獲取是能夠實現底盤快速有效控制的前提，也是制定Agent之間協調控制規則的重要依據［8-9］。信息融合處理主要是對四輪獨立驅動電動汽車的各類傳感器測量信號進行處理，實現對車輛狀態參數的估計。汽車自身參數包括整車質量、質心位置與橫擺轉動慣量等，環境參數主要包括路面坡度和路面附著系數等。車輛狀態估計的對象主要包括車輛的質心側偏角、側向速度和縱向速度這類難以直接測量的變量。通過對狀態參數的估計，一方面能夠保證多Agent系統對某些狀態和參數的需求，另一方面，能準確獲取車輛的狀態參數信息，為車輛故障診斷和檢測系統的實時檢測與預警提供準確的信息［10］。

1.2 協調決策層

協調決策層是控制框架最重要的部分，包括決策推理Agent和協調控制Agent，旨在滿足不同情況下車輛底盤操縱穩定性、行駛安全性和乘坐舒適性等多目標在線優化調節的需求。

1.2.1 決策推理Agent

為了使車輛適應復雜的工況，Agent的智能性要不斷增強，這要求Agent必須具有學習能力。強化學習可使智能Agent具有在線學習的能力，通過與動態環境不斷交互進行學習來達到期望的目標［11］。基本原理為：如果Agent執行某個行為策略得到環境正的獎賞，則Agent以后產生這個行為策略的趨勢就會加強。本文認為決策推理Agent可以采用強化學習的方法使底盤Agent進行學習，實現Agent的性能指標最優。強化學習模型見圖2。

圖2 強化學習模型Fig.2 Model of reinforcement learning

強化學習問題可以采用馬爾可夫決策過程（Markov decision process，MDP）的 形 式［12］。MDP可由五元組定義：

〈S,A(s),p(s,a,s′),r(s,a),V|s,s′∈ S,a ∈ A(s)〉式中，S為全局狀態變量集，包含系統所有可能的狀態；s′為下一時刻系統可能的狀態；A(s)為狀態s下所有可能執行動作的集合；p(s,a,s′)為在時刻t處于狀態s、采用動作a后在下一個時刻點t+1轉移到狀態s′的概率；r(s,a)為在時刻t處于狀態s、采用動作a后所獲得的回報；V為目標函數。

定義狀態-動作對的估計為Q，可得方程［13］：

式中，(s,a)為t時刻的狀態-行為對；η為折扣因子。

在p和r已知的情況下，可以得到最終的Q值。而Q學習算法作為強化學習的一種，無需知道環境模型，可直接根據Agent實際經歷的狀態進行學習，只需要考慮當前的狀態和可選擇的動作，無需知道狀態轉移函數，所以本文認為決策推理Agent可以采用Q學習算法。Q學習算法行為值函數迭代公式如下［14］：

式中，α為學習因子。

1.2.2 協調控制Agent

博弈論為多Agent系統的協調控制提供了良好的解決方法［15-16］。與靜態博弈不同，本文底盤多Agent系統是在連續且動態變化的環境中工作，博弈中局中人即各控制子Agent的行為策略本質上是控制行為。

微分博弈（對策）是一種連續時間域的動態博弈［11］，是指在微分方程描述的運動系統中，各個Agent試圖最優化各自的控制指標并持續進行博弈，最終到達利益均衡狀態。本文協調控制Agent采用微分博弈的方法，對底盤控制Agent之間存在耦合和相互影響的地方，針對不同工況下車輛底盤對于操縱穩定性、行駛安全性和乘坐舒適性的多目標在線調節要求，進行動態協調控制。

1.3 底層控制層

本節對整個底盤的控制子系統進行功能劃定。由于輪胎復雜的非線性特征，底盤在縱向、橫向和垂向有著嚴重的耦合關系，見圖3［17］。按照不同的主要控制目標劃分，底盤主動控制子系統可分為縱向控制、橫向控制、垂向控制三大類，各自主要對應行駛安全性、操縱穩定性和乘坐舒適性三大主要控制指標。

本文以縱向、橫向和垂向三大控制系統建立控制器Agent。縱向控制方面可拓展為防抱死控制Agent和驅動防滑Agent等；橫向控制方面可拓展為主動轉向Agent和直接橫擺力矩控制Agent等；垂向控制方面主要可擴展為主動懸架Agent和半主動懸架Agent［18］。以底盤能量管理為Agent，建立純電動汽車底盤能量最優控制。

1.4 執行層

圖3 底層控制層示意圖Fig.3 Diagram of underlying control layer

如圖1所示，執行層是系統框架的最底層，將車輪轉向角δ、制動力矩Tb、驅動力矩Td、懸架控制力F等信號，具體作用于電動汽車底盤各執行機構，實現對車輛底盤的控制。

2 仿真模型的搭建

操縱穩定性是汽車主動安全性能中極其重要的性能指標，對底盤控制的重要性不言而喻，一直是車輛領域重要的研究方向，也是本文框架橫向、縱向和垂向控制對應的極其重要的控制指標。直接橫擺力矩控制系統是應用最廣泛的汽車主動安全控制系統之一，也是本文框架底層控制層中不可或缺的重要組成部分，它可以在惡劣的行車環境中提高車輛的操縱穩定性。

本文在搭建基于多Agent的底盤智能綜合控制系統框架的基礎上，設計搭建直接橫擺力矩控制（direct yaw-moment control，DYC）Agent的控制器模型，并在MATLAB/Simulink和Carsim聯合仿真環境中進行仿真試驗。以框架底層控制層橫向控制中能夠改善車輛操縱穩定性的DYC Agent為例，進行以子Agent為基本節點的控制單元的搭建以及控制指標的優化研究。

本文采用車輛線性二自由度模型作為參考模型，設計基于模糊控制的上層控制器和下層扭矩分配器。

2.1 線性二自由度參考模型

根據上文闡述，DYC Agent主要研究車輛的操縱穩定性，因此采用線性二自由度參考模型。

線性二自由度模型方程為

式中，m為汽車質量；vx為汽車縱向速度；vy為汽車側向速度；Cf、Cr分別為前軸、后軸等效側偏剛度；lf、lr分別為前軸距、后軸距；Iz為車輛繞z軸轉動慣量；δ為前輪轉角；β為質心側偏角；γ為橫擺角速度。

根據二自由度模型，車輛的理想橫擺角速度

式中，L為汽車軸距；Ks為穩定性因數［19-20］。

為使車輛轉向瞬態響應較為柔和，對式（3）串聯低通濾波環節，車輛的期望橫擺角速度

式中，τ0為一階慣性環節時間常數，一般取經驗值0.1。

橫擺角速度上限

式中，μ為路面附著系數；?為經驗常數，一般取0.15；g為重力加速度。

一般情況下，質心側偏角都很小，為了簡化計算，本文取理想質心側偏角為0。

根據經驗公式，質心側偏角的上限

2.2 附加橫擺力矩模糊控制器設計

上層控制器采用模糊控制的方法對附加橫擺力矩進行控制。輸入變量為橫擺角速度和質心側偏角的偏差量eγ、eβ，輸出變量為附加橫擺力矩Mz。采用NB（負大）、NM（負中）、NS（負小）、ZE（零）、PS（正小）、PM（正中）、PB（正大）7個語言變量描述輸入輸出量。輸入輸出量模糊論域均為［-1，1］，輸入量對應語言變量為{NB、NS、ZE、PS、PB}5個等級；輸出量對應語言變量為{NB、NM、NS、ZE、PS、PM、PB}7個等級。輸入輸出量隸屬度函數采用三角形函數作為基本隸屬函數，邊界采用梯形函數，見圖4～圖6。

2.3 模糊控制規則的制定

本文中模糊控制規則遵循以下原則［22］：如果eγ為正，那么當實際橫擺角速度γ和期望橫擺角速度γd都為正且 ||γ ＞ ||γd時，產生與γd反向的Mz使γ減小，當γ和γd都為負且 ||γ ＜ ||γd時，產生與γd同向的Mz使γ增大；如果eγ為負，那么當γ和γd都為正且 ||γ ＜ ||γd時，產生與γd同向的Mz使γ增大，當γ和γd都為負且 ||γ ＞ ||γd時，產生與γd反向的Mz使γ減小；γ與γd相差越大，產生的Mz越大，同時根據質心側偏角β的大小對Mz進行調整。具體的模糊控制規則見表1［23］。

2.4 量化因子和比例因子的選擇

輸入變量的實際偏差稱為物理論域。將清晰值eγ、eβ變換到模糊論域的變換系數稱之為量化因

圖4 eγ隸屬度函數Fig.4 Membership function ofeγ

圖5 eβ隸屬度函數Fig.5 Membership function ofeβ

圖6 Mz隸屬度函數Fig.6 Membership function ofMz

表1 模糊控制規則Tab.1 Fuzzy control rules

綜上所述，車輛目標橫擺角速度應修正為［21］子，其作用就是將輸入信號放大或縮小，使其適應模糊論域的要求［23］。設置量化因子后，若輸入變量的物理論域發生變化時，只需要調整量化因子就可以使輸入變量依然落在原先的模糊論域里。同樣經過模糊推理以及清晰化的變量的取值范圍是由模糊論域確定的，將其變換到物理論域的變化系數稱之為比例因子。

量化因子和比例因子對系統有著重要的調節作用。在控制器參數設置相同的情況下，增大量化因子意味著輸入控制器的模糊量變大，會使系統上升過快，產生振蕩和超調。減小量化因子則會使系統上升變慢，降低控制精度，影響系統的穩態性能。比例因子相當于控制系統的總放大倍數，它的增大與減小也有著類似的作用，增大會加快系統的響應速度，過快會使系統產生振蕩，過小則會降低系統的控制精度。

本文采用上述模糊控制規則對eγ和eβ進行模糊推理，然后進行清晰化，得到模糊控制器的輸出Mz。下層扭矩分配器采用各軸垂向載荷之比作為比例系數來分配附加橫擺力矩。

3 仿真驗證分析

為驗證DYC Agent控制器搭建的效果，利用MATLAB/Simulink和Carsim聯合仿真環境對搭建的DYC Agent進行仿真試驗。仿真過程中DYC Agent通過控制輪轂電機轉矩、施加附加橫擺力矩來改善車輛的橫向操縱穩定性。Carsim中車輛的主要參數見表2。

表2 車輛主要參數Tab.2 Main parameters of vehicle

在前輪轉向角階躍輸入工況下對搭建的DYC Agent控制算法進行仿真實驗。仿真條件設置如下：駕駛員在0.3 s內迅速將轉向盤轉至80°后保持恒定，初始速度為80 km/h，駕駛員不踩加速踏板和制動踏板，路面附著系數μ=0.85。DYC Agent量化因子k1=50，比例因子k2=3 000，仿真結果見圖7。

由圖7a可以看出，無DYC Agent控制的車輛橫擺角速度存在明顯的超調，最大值超過了0.4 rad/s，而有DYC Agent控制的車輛能夠有效地跟蹤期望的橫擺角速度，整個過程幾乎沒有超調和振蕩，0.5 s時就進入了穩態，系統很快趨于穩定。由圖7b可以看出，無DYC Agent控制的車輛質心側偏角最大值超過了0.06 rad，而有DYC Agent控制的車輛質心側偏角始終被限制在0.027 rad以內，最大值大大減小，車輛底盤穩定性能更好。綜上所述，采用DYC Agent控制提高了車輛在前輪轉向角階躍輸入工況下的操縱穩定性。

圖7 前輪轉向角階躍輸入工況仿真結果Fig.7 Simulation results of front wheel steering angle step input

4 結語

本文提出基于多Agent的四輪獨立驅動純電動汽車底盤智能動態綜合控制系統框架，將框架分為環境層、信息融合層、協調決策層、底層控制層和執行層進行描述，分析各個層次的功能和相互關系，以此建立總體的底盤控制機制，滿足車輛在不同情況下多目標在線優化調節需求。搭建了底層控制層中直接橫擺力矩控制Agent，在MATLAB/Simulink和Carsim聯合仿真平臺進行仿真試驗。仿真結果表明搭建的控制器Agent能夠滿足預期的動力學控制目標，有效改善車輛的橫向操縱穩定性能。

下一步工作將對決策推理Agent強化學習和Q學習方法、協調控制Agent微分博弈方法以及狀態參數估計方法等在完善理論基礎上進行仿真試驗，進一步驗證本文提出框架的正確性和可行性。