基于LSTM車速預測和深度確定性策略梯度的增程式電動汽車能量管理

【摘要】為提高增程式電動汽車的能量管理性能，首先利用長短時記憶（LSTM）神經網絡進行車速預測，然后計算出預測時域內的需求功率，并將其與當前時刻的需求功率共同輸入深度確定性策略梯度（DDPG）智能體，由智能體輸出控制量，最后通過硬件在環仿真驗證了控制策略的實時性。結果表明，采用所提出的LSTM-DDPG能量管理策略相對于DDPG能量管理策略、深度Q網絡（DQN）能量管理策略、功率跟隨控制策略在世界重型商用車輛瞬態循環（WTVC）工況下的等效燃油消耗量分別減少0.613 kg、0.350 kg、0.607 kg，與采用動態規劃控制策略時的等效燃油消耗量僅相差0.128 kg。

主題詞：增程式電動汽車 長短時記憶神經網絡 深度強化學習 深度確定性策略梯度

中圖分類號：U469.7" "文獻標志碼：A" "DOI： 10.19620/j.cnki.1000-3703.20231093

DDPG Energy Management of Extended-Range Electric Vehicle Based on LSTM Speed Prediction

【Abstract】In order to improve the energy management of Range Extended Electric Vehicle （REEV）， firstly Long Short-Term Memory （LSTM） neural network was used to predicate vehicle speed， then calculates the demand power in the prediction time domain， and the demand power in the prediction time domain and the demand power at the current moment were jointly inputted to the Deep Deterministic Policy Gradient （DDPG） agent， which outputted the control quantity. Finally， the hardware-in-the-loop simulation was carried out to verify the real-time performance of the control strategy. The validation results show that using the proposed LSTM-DDPG energy management strategy reduces the equivalent fuel consumption by 0.613 kg，" " 0.350 kg， and 0.607 kg compared to the DDPG energy management strategy， the Deep Q-Network （DQN） energy management strategy， and the power-following control strategy， respectively， under the World Transient Vehicle Cycling （WTVC） conditions， which is only 0.128 kg different from that of the dynamic planning control strategy when the dynamic planning control strategy is used.

Key words： Extended-range electric vehicle， Long Short-Term Memory （LSTM） neural network， Deep Reinforcement Learning （DRL）， Deep Deterministic Policy Gradient （DDPG）

1 前言

增程式電動汽車的增程器能夠不斷為動力電池供電，可緩解用戶的里程焦慮問題。為兼顧汽車的燃油經濟性和電池壽命，研究人員提出了多種控制策略，通過控制增程器和動力電池的功率分配優化能量管理。

將各種神經網絡算法與模型預測控制-等效燃油消耗最小化策略（Model Predictive Control Equivalent Consumption Minimization Strategy，MPC-ECMS）相結合實現燃油經濟性的提高是當前增程式電動汽車能量管理領域的研究熱點[1-8]。Han等在研究車速預測與基于模型預測控制（Model Predictive Control，MPC）能量管理策略的基礎上，設計了一種考慮電機溫度的控制策略[9]。Ritter將長預測范圍集成到混合動力電動汽車能量管理的隨機MPC框架中[10]。Li等提出了一種基于駕駛員行為的分層預測能源管理策略[11]。Yu等[12]通過轉矩預測的方式確定汽車工作模式優化控制策略。Chen等[13]結合貝葉斯正則化提出了基于雙神經網絡的智能等效燃油消耗最小化策略（Equivalent Consumption Minimization Strategy，ECMS）和新的等效因數校正方法來自適應地調節等效因數。Wei等[14]通過K-均值（K-Means）聚類算法針對不同駕駛模式進行分類能量管理。Zhao等[15]提出了一種基于兩層MPC的能量管理方法降低油耗。隨著強化學習的發展，眾多研究人員利用強化學習的方法進行能量管理，整車燃油經濟性得到明顯提高[16-19]，如Chen[20]結合MPC和雙Q學習對混合動力汽車進行了能量分配。

現有研究雖然采用了多種深度學習算法，但未能充分發揮車速預測和強化學習兩者的優勢，本文結合車速預測和MPC強化學習進行能量管理，搭建增程式電動汽車動力系統模型及長短時記憶（Long Short-Term Memory，LSTM）車速預測模型，構建車速預測訓練集，利用LSTM方法進行車速預測，同時與支持向量回歸（Support Vector Regression，SVR）方法進行對比，控制策略根據車速預測結果計算預測時域內的需求功率，再將預測時域內的需求功率和當前時刻的需求功率作為智能體的狀態輸入對深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）能量管理策略智能體進行訓練，利用Simulink仿真對比本文提出的控制策略與其他控制策略的控制效果，并進行硬件在環（Hardware-In-the-Loop，HIL）仿真，驗證控制策略的實時性。

2 動力系統建模

本文的研究對象為某增程式客車，由增程器和動力電池提供能量，由驅動電機驅動，其中增程器主要由發動機和發電機組成，兩者機械連接，電池通過DC/DC轉換器與增程器和驅動電機相連接，如圖1所示，整車及各主要部件參數如表1所示。

2.1 車輛縱向動力學模型

整車模型主要考慮汽車行駛阻力，根據整車動力學原理，汽車行駛時所受到的阻力之和為：

F=Gfcosα+CDAu2/21.15+Gsinα+δmdu/dt" " " " （1）

式中：G為作用于汽車的重力，f為滾動阻力系數，α為道路坡度，CD為空氣阻力系數，A為迎風面積，u為車速，d為旋轉質量換算系數，m為整車質量，du/dt為行駛加速度。

2.2 發動機與發電機

本文中發動機、發電機都采用準靜態模型，如圖2所示。在每一時刻，發動機準靜態模型均可根據發動機扭矩Teng與轉速neng求解，獲得發動機燃油消耗率mf：

mf=Tengnengbe" " " " " nbsp; " " " " " " " " " " " " （2）

式中：be為發動機等效燃油消耗率。

發動機與發電機通過機械方式連接，二者具有相同的轉速和轉矩，因此可以根據發動機萬有特性和發電機效率MAP圖計算增程器最佳工作曲線，增程器的最佳燃油消耗率曲線如圖3所示。增程器的輸出功率和燃油消耗率計算公式分別為[21]：

Pgen=Pengη（Teng，neng）" " " " " " " " " " " " " "（3）

feng=f（Teng，neng）" " " " " " " " " " " " " " " "（4）

式中：Pgen為發電機輸出功率；η（Teng，neng）為發電機的發電效率，可根據轉矩、轉速查表獲得；Peng為發動機輸出功率；feng為增程器燃油消耗率；f（Teng，neng）為燃油消耗率查表函數。

2.3 動力電池模型

電池通過逆變器與驅動電機和發電機相連，本文電池模型采用等效電路模型[22]，即將電池視為一個電壓源與電阻串聯，電池結構及動力電池開路電壓UVOC與荷電狀態（State of Charge，SOC）SSOC的關系如圖4所示，其中，U為端電壓，I為電池電流，R為電池內阻。

t時刻動力電池電流和SOC的計算公式分別為[23]：

同時，SOC與電流應滿足以下條件：

SSOC（t）∈[SSOCmin，SSOCmax]" " " " " " " " " " " " " "（7）

I（t）∈[Imin，Imax]" " " " " " " " " " " " " " " " （8）

式中：SSOCinit為初始SOC值，t0為初始時刻，UVOC（t）為t時刻電池開路電壓，Pb（t）為t時刻電池功率，Q為電池容量，Imin、Imax分別為動力電池允許的最大電流和最小電流，SSOCmin、SSOCmax分別為SOC的設定最大值和最小值。

2.4 驅動電機模型

驅動電機同樣采用準靜態模型，驅動電機與電機轉速nm和轉矩Tm有關，電機效率ηm的查表函數為：

ηm=f（Tm，nm）" " " " " " " " " " " " " " " " " （9）

本文車輛模型中4個電機采用同一模型，單個電機的MAP圖如圖5所示。

3 車速預測

采用MPC對增程器輸出功率進行控制，結合車速預測和DDPG算法進行能量管理，使用新歐洲駕駛循環（New European Driving Cycle，NEDC）、全球統一輕型車輛測試循環（Worldwide Lightduty Test Cycle，WLTC）、美國城市循環（Urban Dynamometer Driving Schedule，UDDS）、高速公路燃油經濟性試驗（Highway Fuel Economy Test，HWFET）、美國聯邦測試程序-75（Federal Test Procedure-75，FTP-75）、市郊循環（Extra Urban Driving Cycle，EUDC）6種工況組成訓練集，如圖6所示。

使用LSTM神經網絡對未來時域內的車速進行預測。首先，確定神經網絡超參數和車速預測的預測時域，并使用訓練集訓練神經網絡。然后，利用神經網絡對訓練集預測時域內每一時刻的車速進行預測，預測效果滿足精度要求后，保存車速預測模型，將車速預測部分與能量管理部分結合。控制策略根據預測時域內的車速計算出預測時域內的需求功率，并與當前時刻的需求功率共同作為狀態訓練DDPG智能體。車速預測和DDPG能量管理流程如圖7所示。

3.1 基于LSTM的車速預測

LSTM的短期記憶比普通的循環神經網絡（Recurrent Neural Network，RNN）更長。圖8所示為LSTM網絡的結構，t時刻LSTM的輸入包括當前時刻輸入xt、上一時刻LSTM輸出ht-1，以及上一時刻單元狀態Ct-1，經計算得到當前時刻輸出ht和當前時刻單元狀態Ct。其中，ft為遺忘門輸出值，it為輸入門輸出值，ot為輸出門輸出值，σi、σf、σo分別為輸入門、遺忘門、輸出門，Wf、Wi、Wc*分別為遺忘門、輸入門、輸出門對應的參數，Ct、Ct+1經過激活函數雙曲正切函數tanh變為[C*t]和[C*t+1]。

LSTM預測車速的過程如圖9所示，以歷史時域內的車速作為輸入，采用循環預測獲得預測時域內的車速作為輸出，其中Nh為歷史時域步長。模型在訓練過程中不僅學習到了不同的特征，也學到了訓練集中的噪聲，從而可能造成網絡在訓練集上的性能很好，但在測試集上的測試效果不理想，出現過擬合的情況。因此，本文加入隨機失活（Dropout）層，使神經網絡以概率p隨機丟棄隱藏層中的節點連接，從而構建一個新的網絡結構，確保泛化能力，防止過擬合。為確保神經網絡具有合適的概率p，通過遺傳算法對不同的概率進行嘗試，最終取p=0.4。在遺傳算法求解過程中，如圖10所示，適應度函數變化過程為：

P（t，erms）=αt+（1-α）erms" " " " " " " " " " （10）

式中：t、α分別為當前丟棄概率下車速預測用時及其加權系數，erms為預測車速的均方根誤差，P （ ）為適應度函數。

3.2 車速預測結果及性能對比

使用MATLAB/Simulink搭建整車模型，車速預測仿真在MATLAB 2022b上進行，計算機中央處理器型號為Intel i7-12700H，頻率為2.3 GHz，配置16 GB內存。超參數確定后，訓練LSTM車速預測網絡，迭代次數為1 000次。仿真工況采用世界重型商用車輛瞬態循環（World Transient Vehicle Cycle，WTVC）工況，同時將LSTM與SVR車速預測結果進行對比，兩種車速預測方法的歷史時域為30 s，即選擇過去30 s內的車速作為速度預測模型的輸入數據。當兩種車速預測模型的預測時域均為5 s時，LSTM車速預測的均方根誤差（Root Mean Square Error，RMSE）為3.154 3 km/h，SVR車速預測（懲罰系數c=0.76，核函數寬度g=0.6）的均方根誤差為4.248 2 km/h，訓練過程中的均方根誤差和損失如圖11所示，在前50次迭代中損失和均方根誤差下降明顯，之后趨于穩定，訓練結束后，均方根誤差為0.286 88 km/h，損失為0.041 1，滿足精度要求。

圖12所示為兩種車速預測方法預測車速分布情況，可以看出同一種預測算法預測時間越短，精度越高，相較于SVR方法，LSTM方法預測結果更接近真實值，預測效果更好。雖然較小的預測時域具有較高的預測精度，但過小的預測時域不利于控制策略給出更好的規劃結果，車速預測將失去意義，因此本文車速預測部分的預測時域選定為5 s。

4 基于車速預測的深度強化學習能量管理

控制策略完成車速預測后，根據預測時域內的車速計算出預測時域內的需求功率輸入給智能體，智能體根據需求功率和當前時刻SOC作出決策。

強化學習通過不斷地與環境進行交互訓練智能體。本文深度強化學習部分采用DDPG算法，環境為整車動力系統，車速預測時域為5 s，既有利于規劃，又能保證準確性。

4.1 深度確定性策略梯度算法

深度強化學習任務是一個馬爾可夫決策過程（Markov Decision Process，MDP），MDP中狀態集S、動作集A、狀態轉移概率矩陣P、獎勵函數R、折扣因子γ∈[0，1]構成五元組lt;S，A，P，R，γgt;。在強化學習中，動作和狀態轉移都具有隨機性，給定狀態s時，策略π（a|s）將輸出動作a，狀態轉移的概率分布為P（s′|s），其中s′為轉移后的狀態。每一時刻環境會根據狀態變化產生獎勵R，為了評價當前步的動作，引入折扣回報Gt，R與Gt均為隨機變量，需以Gt的期望來評價當前動作at和狀態st的優劣。對Gt求期望得到價值函數Qπ，對Qπ求期望得到狀態價值函數Vπ（st）[18]。

DDPG是一種演員-評論家（Actor-Critic）算法，它使用2個神經網絡：演員（Actor）網絡用于學習策略，生成在當前狀態下的動作；評論家（Critic）網絡用于評估Actor網絡生成的動作的優劣，以指導策略的更新。不同于傳統的Actor-Critic算法，DDPG算法的Actor網絡并非根據動作的概率分布隨機產生動作，而是直接輸出估計Q值最大的動作。

4.2 基于車速預測的DDPG能量管理

圖13所示為DDPG能量管理算法的原理，每次迭代智能體從經驗池中抽取經驗訓練，本文經驗池大小為1 000 000。DDPG使用價值網絡估計當前動作Q值，使用策略網絡輸出動作。與深度Q網絡（Deep Q Network，DQN）算法類似，為了避免高估或者低估，DDPG算法同樣具有目標網絡。在t時刻，策略網絡根據狀態輸出動作at，環境得到動作at后狀態由st轉移到狀態st+1，價值網絡根據狀態st和動作at計算價值Q（st，at，w），其中w為當前網絡的權重，目標策略網絡根據狀態st+1預測下一時刻的動作[a′t+1]，動作[a′t+1]只作為目標價值網絡的輸入，并不執行，目標價值網絡根據st+1和[a′t+1]計算[a′t+1]的價值Q′（st+1，at+1，w-）和時序差分目標（Temporal-Difference target，TD target），公式為：

Q′（st，at）=rt+γQ′（st+1，at+1，w-）" " " " " " " " " "（11）

式中：rt為t時刻的回報，w-為目標網絡的權重。

時序差分誤差（Temporal-Difference target，TD error）的計算公式為：

δt=Q（st，at，w）-[rt+γQ′（st+1，at+1，w-）]" " " " " " （12）

通過梯度下降更新價值網絡，通過梯度上升更新策略網絡。每隔一段時間，網絡參數由當前網絡復制給目標網絡。

根據LSTM預測的車速計算出預測時域的需求功率，智能體根據狀態量訓練出下一時刻增程器的輸出功率，范圍為0～285 kW。DDPG可以輸出連續動作控制，相比于DQN算法，DDPG無需離散化動作，而且連續的動作能夠實現更好的控制效果。

在控制過程中主要考慮SOC變化和等效燃油消耗，獎勵函數為：

[rt=β（SSOC（t）-SSOC0）2+μ（αequal（SSOC（t）-SSOC0）+feins）]" "（13）

式中：β、μ為系數，SSOC0為SOC初始值，αequal為等效油電轉換因子，feins為瞬時燃油消耗量。

5 仿真結果對比

本文車速預測的歷史時域為30 s，預測時域為5 s，根據預測時域的車速變化計算未來5 s的需求功率，對比WTVC工況下不同控制策略的控制效果。

5.1 迭代訓練過程

深度強化學習的目標是使獎勵不斷增大，評價DDPG訓練優劣的標準是能否使Q值不斷增大且最終穩定收斂于某一最大值附近。本文提出的LSTM-DDPG能量管理策略中，LSTM車速預測神經網絡為5層回歸預測網絡，DDPG中的價值網絡由6層狀態路徑和2層動作路徑以及5層共同路徑組成，動作網絡由10層反向傳播（Back Propagation，BP）神經網絡組成，主要用于產生動作，兩個網絡的優化算法均采用均方根傳播（Root Mean Square Propagation，RMSProp）算法。

圖14所示為DDPG能量管理和LSTM-DDPG能量管理訓練過程。經過訓練，DDPG最后一次迭代的獎勵值為-10 847，LSTM-DDPG最后一次迭代獎勵值為-6 109.1。LSTM-DDPG將預測時域需求功率也輸送給智能體，智能體在訓練過程中能夠更好地作出規劃，最終訓練過程逐漸趨向穩定。DDPG只考慮當前時刻需求功率，無法在時域上作出規劃，因此最終獎勵值較小。

5.2 仿真結果

圖15所示為不同控制策略在WTVC工況下的SOC變化情況和燃油消耗情況，各控制策略初始SOC均設置為0.3，如圖15a所示，相較于DDPG和DQN，本文提出的LSTM-DDPG控制策略SOC變化與指定值0.3很接近，整體在0.3附近變化，DDPG與DQN算法則更加偏離指定值。這表明增程器做了更多的功，這兩種算法更趨向于發電機發電，功率匹配還略有不足。雖然功率跟隨控制策略SOC變化也比較穩定，但是如表2所示，功率跟隨控制策略的等效燃油消耗量較高。

從圖15和表2中可以看出，動態規劃（Dynamic Programming，DP）控制策略的SOC變化很穩定，等效燃油消耗量也最小。這是因為動態規劃是一種全局算法，是理論最優解，通常作為其他控制策略的參考標準。而相比于其他控制策略，本文提出的LSTM-DDPG控制策略等效燃油消耗量最接近于動態規劃算法等效燃油消耗量，SOC變化也比較穩定。

圖16所示為不同控制策略下發動機與發電機工況點的分布情況。從圖16中可以看出：動態規劃算法的工作點大多接近增程器的最優工作曲線，因為動態規劃算法獲得的結果是理論上的最佳值；本文提出的LSTM-DDPG控制策略大多數工作點也分布在最佳工作曲線附近，不在最優曲線附近的工作點則是增程器工作狀態的遷移點。其他控制策略只是根據當前工作狀態確定增程器的輸出功率，而LSTM-DDPG算法則可以根據預測車速進行規劃，從時間域上選擇最優控制量，盡量減少增程器在低效區工作的時間，從而減少整車燃油消耗量。相較于傳統的功率跟隨控制策略，基于車速預測的強化學習控制策略通過大量的訓練使智能體對各種不同工況有更強的適應能力。

6 硬件在環仿真驗證

為了驗證控制策略的準確性與實時性，搭建了HIL仿真平臺對多信號LSTM-MPC-DDQN控制策略進行仿真。圖17所示為HIL仿真方案，HIL平臺主要由上位機、MicroAutoBox控制器和SCALEXIO實時仿真硬件系統組成。

圖18所示為LSTM-DDPG控制策略硬件在環仿真與Simulink仿真的對比結果。硬件在環仿真采樣步長設置為0.01 s，從圖18中可以看出，硬件在環仿真的結果與Simulink仿真結果基本吻合，SOC變化情況與Simulink仿真結果相差0.2%，燃油消耗量與Simulink仿真結果相差0.31%。

為驗證控制策略的實時性，將LSTM-DDPG能量管理策略與功率跟隨能量管理策略、DDPG能量管理策略的實時功率輸出HIL仿真結果進行對比，如圖19所示。

表3所示為3種控制策略控制過程中HIL仿真和Simulink仿真結果誤差對比，從計算結果中可以看出，3種控制策略的誤差均不超過1%，本文提出的LSTM-DDPG能量管理策略具有較好的實時性，能夠滿足駕駛過程中的動力需求。

7 結束語

本文以增程式客車為研究對象，提出了一種LSTM-DDPG能量管理策略，將車速預測與強化學習能量管理策略相結合，利用LSTM神經網絡進行車速預測，控制策略根據預測的車速計算出預測時域內的需求功率，DDPG智能體根據當前時刻需求功率和SOC以及預測時域內的需求功率作出決策，控制增程器輸出功率。仿真結果表明，相對于普通的強化學習能量管理策略以及功率跟隨控制策略，LSTM-DDPG控制策略的等效燃油消耗量明顯下降，非常接近動態規劃算法。同時，電池SOC也比較穩定，避免了SOC變化過大對電池壽命的損害。硬件在環仿真結果驗證了提出的控制策略具有很好的實時性。

本文提出的基于車速預測的強化學習能量管理方法同樣適用于其他混合動力車型的能量管理。此外，后續研究中也可以嘗試將更多狀態作為強化學習智能體的輸入，如發動機工作狀態、路況等，同時改進強化學習智能體價值網絡和策略網絡結構，引入注意力機制，提高智能體對多狀態輸入的適應能力。

參 考 文 獻

[1] FAYYAZI M， ABDOOS M， PHAN D， et al. Real-Time Self-Adaptive Q-Learning Controller for Energy Management of Conventional Autonomous Vehicles[J]. Expert Systems with Applications， 2023， 222.

[2] ZHU W Q. Optimization Strategies for Real-Time Energy Management of Electric Vehicles Based on LSTM Network Learning[J]. Energy Reports， 2022， 8（S8）： 1009-1019.

[3] YANG D， WANG L， YU K J， et al. A Reinforcement" " " Learning-Based Energy Management Strategy for Fuel Cell Hybrid Vehicle Considering Real-Time Velocity Prediction[J]. Energy Conversion and Management， 2022， 274.

[4] LU L W， ZHAO H， LIU X T， et al. MPC-ECMS Energy" "Management of Extended-Range Vehicles Based on LSTM Multi-Signal Speed Prediction[J]. Electronics， 2023， 12（12）： 2642.

[5] SHEN P H， ZHAO Z G， ZHAN X W， et al. Optimal Energy Management Strategy for a Plug-in Hybrid Electric" " " " "Commercial Vehicle Based on Velocity Prediction[J]." " " " Energy， 2018， 155： 838-852.

[6] WANG W D， GUO X H， YANG C， et al. A Multi-Objective Optimization Energy Management Strategy for Power Split HEV Based on Velocity Prediction[J]. Energy， 2022， 238.

[7] XING J M， CHU L， HOU Z R， et al. Energy Management Strategy Based on a Novel Speed Prediction Method[J]." " "Sensors， 2021， 21（24）： 8273.

[8] CHEN R H， YANG C， HAN L J， et al. Power Reserve Predictive Control Strategy for Hybrid Electric Vehicle Using" " " "Recognition-Based Long Short-Term Memory Network[J]. Journal of Power Sources， 2022， 520.

[9] HAN J， SHU H， TANG X L， et al. Predictive Energy Management for Plug-in Hybrid Electric Vehicles Considering" Electric Motor Thermal Dynamics[J]. Energy Conversion and Management， 2022， 251.

[10] RITTER A， WIDMER F， DUHR P， et al. Long-Term" " " Stochastic Model Predictive Control for the Energy Management of Hybrid Electric Vehicles Using Pontryagin’s" " " " Minimum Principle and Scenario-Based Optimization[J]. Applied Energy， 2022， 322.

[11] LI M L， HE H W， FENG L， et al. Hierarchical Predictive Energy Management of Hybrid Electric Buses Based on Driver Information[J]. Journal of Cleaner Production， 2020， 269.

[12] YU X， LIN C， TIAN Y， et al. Real-Time and Hierarchical Energy Management-Control Framework for Electric" " " " Vehicles with Dual-Motor Powertrain System[J]. Energy， 2023， 272.

[13] CHEN Z H， LIU Y G， ZHANG Y J， et al. A Neural Network-Based ECMS for Optimized Energy Management of Plug-in Hybrid Electric Vehicles[J]. Energy， 2022， 243.

[14] WEI C Y， CHEN Y， LI X Y， et al. Integrating Intelligent Driving Pattern Recognition with Adaptive Energy Management Strategy for Extender Range Electric Logistics Vehicle[J]. Energy， 2022， 247.

[15] ZHAO Z C， XUN J， WAN X， et al. MPC Based Hybrid" Electric Vehicles Energy Management Strategy[J]. IFAC-PapersOnLine， 2021， 54（10）： 370-375.

[16] YANG N K， RUAN S M， HAN L J， et al. Reinforcement Learning-Based Real-Time Intelligent Energy Management for Hybrid Electric Vehicles in a Model Predictive Control Framework[J]. Energy， 2023， 270.

[17] 張昊， 范欽灝， 王巍， 等. 基于強化學習的多燃燒模式混合動力能量管理策略[J]. 汽車工程， 2021， 43（5）： 683-691.

ZHANG H， FAN Q H， WANG W， et al. Reinforcement Learning Based Energy Management Strategy for Hybrid Electric Vehicles Using Multi-Mode Combustion[J]." " " " Automotive Engineering， 2021， 43（5）： 683-691.

[18] 唐小林， 陳佳信， 劉騰， 等. 基于深度強化學習的混合動力汽車智能跟車控制與能量管理策略研究[J]. 機械工程學報， 2022， 57（22）： 237-246.

TANG X L， CHEN J X， LIU T， et al. Research on Deep" "Reinforcement Learning-Based Intelligent Car-Following Control and Energy Management Strategy for Hybrid" " " Electric Vehicles[J]. Journal of Mechanical Engineering， 2022， 57（22）： 237-246.

[19] 唐香蕉， 高祖成， 曾令全， 等. 城市道路下混合動力汽車雙層能量管理策略[J]. 中國機械工程， 2022， 33（16）： 2008-2015.

TANG X J， GAO Z C， ZENG L Q， et al. Double-Layer" " Energy Management Strategy for Hybrid Vehicles under" "Urban Roads[J]. China Mechanical Engineering， 2022， 33（16）： 2008-2015.

[20] CHEN Z， GU H J， SHEN S Q， et al. Energy Management Strategy for Power-Split Plug-in Hybrid Electric Vehicle Based on MPC and Double Q-Learning[J]. Energy， 2022， 245.

[21] 席利賀， 張欣， 耿聰， 等. 基于動態規劃算法的增程式電動汽車能量管理策略優化[J]. 交通運輸工程學報， 2018， 18（3）： 148-156.

XI L H， ZHANG X， GENG C， et al. Optimization of Energy Management Strategy for Extended-Range Electric Vehicle Based on Dynamic Programming Algorithm[J]. Journal of Transportation Engineering， 2018， 18（3）： 148-156.

[22] 丁帥. 基于隨機動態規劃的純電動汽車能量管理控制策略研究[D]. 長沙： 湖南大學， 2020.

DING S. Study on the Control Strategy of Pure Electric" " "Vehicle Energy Management Based on Stochastic Dynamic Planning[D]. Changsha： Hunan University， 2020.

[23] 林歆悠， 夏玉田， 魏申申. 基于增強學習算法的插電式燃料電池電動汽車能量管理控制策略[J]. 工程科學學報， 2019， 41（10）： 1332-1341.

LIN X Y， XIA Y T， WEI S S. Plug-in Fuel Cell Electric" Vehicle Energy Management Control Strategy Based on Augmented Learning Algorithm[J]. Journal of Engineering Science， 2019， 41（10）： 1332-1341.