基于深度確定性策略梯度算法的新能源汽車動力電池充電管理方法

中圖分類號：U463.63 文獻標志碼：A DOI：10.20104/j.cnki.1674-6546.20250170

【Abstract】To enhance batery charging eficiency，this studyaddresses the challenges in the fast charging process， includingchargingtime，theralsafety，andbaterylifespanduringfastcharging，alongsidethepooradaptabilityoftraitioal strategiesand insuficient state estimationaccuracyAninteligent chargingstrategy basedon Deep ReinforcementLearning （DRL）isproposed.Athermoelectric-coupledbaterymodel isdeveloped，employinganExtendedKalmanFilter（EKF）for accurate State Of Charge （SOC）estimation.The charging strategy isoptimized usingthe Deep Deterministic Policy Gradient （DDPG）algorithm.Policy training is acomplished through an Ornstein-Uhlenbeck （OU）noiseexploration mechanism，a multi-objectiverewardfunction，combined with experiencereplayand softupdate techniques.Experimentalvalidationonthe MATLAB platform demonstrates that the proposed method achieves acharging time of1625s.While maintaining a comparablechargingtime toconventional methods，itreduces themaximum interal batery temperature byapproximately （204號 2C ，realizing coordinated optimization of charging eficiency and thermal safety.

Key Words：Power battery，Charging management，Deep Reinforcement Learning （DRL）， Thermoelectric coupling model， State Of Charge （SOC） estimation，Deep Deterministic Policy Gradient （DDPG）

1前言

隨著新能源汽車的普及，快速充電技術成為緩解用戶里程焦慮的關鍵。然而，傳統(tǒng)的快充技術通過提升充電電流和功率來縮短充電時間，這會加劇電池內部副反應，引發(fā)固體電解質界面膜（SolidElectrolyteInterphase，SEI）增厚、鋰枝晶生長等不可逆老化現(xiàn)象，顯著縮短電池的循環(huán)壽命。更為嚴重的是，大電流充電引起的焦耳熱效應會使電池內部溫度急劇升高，甚至引發(fā)熱失控2。如何在縮短充電時間的同時保障電池的安全性與壽命，是當前鋰離子電池快充領域面臨的核心挑戰(zhàn)。

傳統(tǒng)的基于固定規(guī)則的充電策略，如恒流-恒壓（Constant Current-Constant Voltage，CC-CV）充電模式，雖然實現(xiàn)簡單，但難以動態(tài)優(yōu)化充電曲線，普遍存在充電效率低、溫度實時調控能力弱、易過充等問題3。盡管基于等效電路模型、數(shù)據(jù)驅動策略以及機器學習的智能充電技術有所發(fā)展，但其往往未能充分融合電池內部溫度場這一影響電池性能衰退速率、容量衰減程度以及熱故障發(fā)生概率的關鍵控制參數(shù)，難以實現(xiàn)充電時間、能量損耗與溫升的多目標協(xié)同優(yōu)化。

針對上述問題，本文提出一種基于深度確定性策略梯 度（Deep Deterministic Policy Gradient，DDPG）算法的智能充電管理方法。首先，構建融合整數(shù)階等效電路（1階RC）與雙態(tài)集總參數(shù)熱模型的熱電耦合模型，利用遞推最小二乘法在線辨識參數(shù)，并引入擴展卡爾曼濾波（ExtendedKalmanFilter，EKF）算法實現(xiàn)電池荷電狀態(tài)（StateOfCharge，SOC）的動態(tài)精確估計，為決策提供可靠輸入。然后，設計DDPG算法的多維獎勵函數(shù)，綜合優(yōu)化充電時間、能量損耗與內部溫升，同時通過懲罰機制嚴格約束電流、電壓、溫度及SOC閾值，確保充電安全。最后，利用MATLAB平臺對所提出的方法進行驗證。

2系統(tǒng)建模與狀態(tài)估計

2.1熱電耦合模型構建

圓柱形磷酸鐵鋰電池的熱電耦合模型由整數(shù)階等效電路模型和雙態(tài)集總參數(shù)熱模型組成。

2.1.1整數(shù)階等效電路模型

本文采用的整數(shù)階等效電路模型為1階RC等效電路模型，可表征鋰離子電池的極化特性5。該模型采用遞推最小二乘法進行參數(shù)辨識，其結構如圖1所示。其中， R₀ 為歐姆內阻， R_p 為極化電阻， C_p 為極化電容， U_oc 為理想電壓源， U_p 為RC并聯(lián)環(huán)節(jié)的電壓降， U_t 為輸出端電壓，1為電流。

圖11階RC等效電路模型示意

在模型中，k時刻電池內部壓降 U_t（k）=U_oc（k） U_p（k） 被定義為系統(tǒng)輸出變量，通過對一階RC模型的數(shù)學表達式進行拉普拉斯變換，可推導出系統(tǒng)的傳遞函數(shù)：

式中： τ_o=R_pC_p 為時間常數(shù)， σ_s 為拉普拉斯算子。

為了將連續(xù)系統(tǒng)的傳遞函數(shù)轉換為離散形式，設采樣時間間隔為 t_s ，則式（1）可轉化為：

U_t（k）=a₁U_t（k-1）+b₁I（k）+b₂I（k-1）

式中： a₁，b₁，b₂ 為離散化模型的參數(shù)。

離散化模型參數(shù)與連續(xù)模型參數(shù) R₀，R_p，C_p 間存在如下對應關系：

考慮到試驗環(huán)境中普遍存在測量噪聲，假設系統(tǒng)噪聲服從均值為零的高斯分布，結合上述公式，最小二乘法的標準表達式為：

式中： r（k） 為 k 時刻的高斯隨機噪聲， ?（k） 為 k 時刻的數(shù)據(jù)向量， θ（k） 為 k 時刻的參數(shù)向量。

為了對等效電路模型的參數(shù)進行辨識，分別在試驗環(huán)境溫度為 15^°C，25^°C，45^°C 條件下，對26650磷酸鐵鋰電池進行城市道路循環(huán)（UrbanDynamometerDrivingSchedule，UDDS）測試，獲取電流、電壓數(shù)據(jù)，并結合遞推最小二乘算法實現(xiàn)電池參數(shù)辨識。通過設定初始參數(shù)值，在每個采樣周期T 內對參數(shù) a₁，b₁，b₂ 進行遞推更新，從而實現(xiàn)對模型參數(shù) R₀，R_p，C_p 的動態(tài)修正。參數(shù)辨識結果如圖2所示。

圖21階RC等效電路模型參數(shù)辨識結果

2.1.2 雙態(tài)集總參數(shù)熱模型

雙態(tài)集總參數(shù)熱模型常用于模擬電池熱傳導行為，能夠描述電池核心溫度和表層溫度的動態(tài)變化，其結構如圖3所示。其中， T_i?T_s?T_a 分別為電池的內部溫度、表面溫度和環(huán)境溫度， R_iΩ_o 分別為電池內部與表面之間的熱阻和電池表面與環(huán)境之間的熱阻， C_e，C_s 分別為電池內部材料和表面材料的熱容系數(shù)。

圖3雙態(tài)集總參數(shù)熱模型示意

雙態(tài)集總參數(shù)熱模型的狀態(tài)空間表達式為：

式中： Q_g 為電池內部產生的熱量。

根據(jù)離散化處理后的電池熱特性表達式，利用遞推最小二乘法對雙態(tài)集總參數(shù)熱模型進行參數(shù)辨識，結果如表1所示。

表1雙態(tài)集總參數(shù)熱模型辨識結果

2.2基于擴展卡爾曼濾波的電池荷電狀態(tài)估計

準確可靠的SOC估計能夠有效指導電池充電過程，提高充電管理策略的有效性，避免因電量估計不準確造成電池過充電和欠充電。

當前，SOC估計方法主要有基于模型的方法、數(shù)據(jù)驅動法、基于表征參數(shù)的方法、安時積分法。卡爾曼濾波算法將開路電壓法和安時積分法相結合，通過對開路電壓（OpenCircuitVoltage，OCV）和SOC的關系進行不斷修正完成SOC估計2]。在此基礎上，EKF算法利用一階泰勒展開進行線性化和構建雅可比矩陣，以一階等效電路模型為基礎，實現(xiàn)對非線性離散系統(tǒng)的觀測，能夠更為精確地刻畫電池模型，實現(xiàn)電池SOC的精確估計[13-14]。對于一個非線性系統(tǒng)，有：

式中： 分別為 k 時刻的狀態(tài)變量、量測變量， u_k 為 k 時刻的控制向量， ω_k，ν_k 分別為 k 時刻的系統(tǒng)噪聲、測量噪聲，A為系統(tǒng)矩陣， B 為輸入矩陣， c 為輸出矩陣， D 為前饋量矩陣。

表2EKF算法流程

EKF算法流程如表2所示。由一階RC等效電路模型構造的EKF觀測器的狀態(tài)變量 x=[U_p S_socJ^r ，量測變量 y=[U₁]. 控制向量 δu_k=[I] ；輸出矩陣 c=[-1 （20 0]，前饋量 D=[R₀] ，系統(tǒng)矩陣 輸入矩陣 B=[t_s/C_p -t_s/Q_n]^r ， k 時刻的觀測矩陣 其中， Q_n 為電池容量， S_soc（k） 為 k 時刻的電池荷電狀態(tài)。

圖4EKF算法SOC估計結果

估計結果如圖4所示。為驗證所構建模型的準確性，利用安時積分法得到SOC并將其作為真實值，與EKF算法的SOC估計結果進行比較，最終完成動態(tài)系統(tǒng)的SOC實時估計。由圖4可知，給定的初始SOC與真實值存在較大誤差，但隨著EKF算法迭代更新，SOC估計誤差逐漸減小，絕對誤差小于 1.69% 。該算法通過實時測量電路中的端電壓和電池支路上的電流即可獲取電池的動態(tài)SOC。

3DDPG充電管理策略設計

在前文構建的電池仿真環(huán)境下，本文利用DDPG算法，通過施加電流激勵獲取相應的電池狀態(tài)和獎勵值，并將生成的動作-狀態(tài)對存儲在經驗緩沖區(qū)中?；贒DPG算法的充電管理方法系統(tǒng)框架如圖5所示。

圖5基于深度確定性策略梯度算法的充電管理方法框架

3.1DDPG算法框架

3.1.1 雙重網(wǎng)絡結構

DDPG算法中策略函數(shù)和價值函數(shù)均采用雙重神經網(wǎng)絡架構。策略網(wǎng)絡負責生成確定性動作 a_ι ，價值網(wǎng)絡評估該動作的價值（ Q 值），即當前狀態(tài)下執(zhí)行該動作的長期收益。具體而言，策略函數(shù)和價值函數(shù)均包含在線網(wǎng)絡和目標網(wǎng)絡。在線網(wǎng)絡用于實時更新策略 θ^? 和價值 的估計，軟更新策略目標網(wǎng)絡和價值目標網(wǎng)絡的參數(shù) θ^μ 和 θ^?′ 。策略目標網(wǎng)絡負責提供動作策略 μ（s_t+1） 。目標網(wǎng)絡用于穩(wěn)定訓練過程，避免因網(wǎng)絡參數(shù)快速變化導致的訓練不穩(wěn)定[15-16]

3.1.2 經驗回放機制

DDPG算法引入經驗回放機制，用于存儲智能體與環(huán)境交互過程中產生的經驗數(shù)據(jù)（包括狀態(tài) s_ι 動作 $＼smash { a _ { t } 、 }$ 獎勵 r_t 和下一狀態(tài) s_t+1 ）。這些經驗數(shù)據(jù)存儲在經驗池中，訓練時從中隨機抽取批量數(shù)據(jù)進行學習。通過這種方式，DDPG算法能夠充分利用歷史數(shù)據(jù)進行離線學習，提高數(shù)據(jù)的利用率，避免因連續(xù)采樣導致的過擬合問題7。

3.1.3 噪聲探索機制

為了增強智能體在環(huán)境中的探索能力，本文在DDPG算法的行為策略中引入時間相關的奧恩斯坦-烏倫貝克（Ornstein-Uhlenbeck，OU）噪聲。OU噪聲具有時間相關性，能夠生成平滑的隨機動作，適用于連續(xù)控制任務。噪聲的引入使得智能體能夠在探索和利用之間取得平衡，避免陷入局部最優(yōu)解，從而提高策略的魯棒性和泛化能力[18]。

3.2 狀態(tài)空間與動作空間

基于EKF算法的SOC狀態(tài)估計方法能夠準確估計當前狀態(tài)下電池的SOC。電池的SOC取值范圍為 10%～90% ，每 5% 作為一個區(qū)間，整個充電過程可以細分為16個不同的狀態(tài)，每個狀態(tài)對應一個SOC區(qū)間。以充電電流作為DDPG算法的動作變量，其取值范圍為動作空間。

3.3 多目標獎勵函數(shù)

充電管理的核心目標是顯著縮短充電時長，然而，使用高功率、大電流的充電設施會引發(fā)一系列負面效應。就安全性而言，過高的電池溫度可能誘發(fā)熱故障，嚴重時甚至引發(fā)熱失控。就經濟性而言，能量損耗不僅增加了充電成本，還會加速電池老化，影響其使用壽命和續(xù)航性能2。基于上述考量，本文建立了一個多維度優(yōu)化目標函數(shù)，將充電時間、能量損耗和內部溫度納入統(tǒng)一框架，實現(xiàn)充電過程的最優(yōu)控制。充電優(yōu)化目標函數(shù) J_obj 可描述為：

式中： J_ct?J_el?J_tr 分別為電池充電時間、能量損失和內部溫升的損失函數(shù)， ω_ctΩω_elΩν 分別為 J_ct?J_el?J_tr 的權重。

由于能量損失、內部溫升機理相似，均與內部溫度密切相關，且與縮短充電時長的優(yōu)化目標矛盾，故本文設置 ω_el=ω_tr ，同時設定權重比 β=ω_ct/ω_el ，權重根據(jù)專家經驗設置。隨著 β 增大， J_ct 在多目標獎勵函數(shù) R 中的占比相應增加，進而影響智能體對充電策略的選擇。 k 時刻，損失函數(shù)的具體表達式為：

J_tr=T_i（k）-T_i（k-1）

式中： S_soc（k） 為 k 時刻的SOC， i_b（k） 為 k 時刻的電流。

獎勵函數(shù) R 設置為：

R=-J_obj

以此實現(xiàn)損失函數(shù)最小化，即充電目標函數(shù)值越小，獎勵函數(shù)值越大。

為保障充電過程的安全性，本文在目標函數(shù)的基礎上增加了約束條件，對充電電流、輸出電壓、內部溫度、SOC加以限制。 k 時刻，充電約束條件為：

式中： i_b，min?i_b，max 分別為輸入電流的下限和上限， U_t，min 、U_t，max 分別為輸入電壓的下限和上限， T_i，max 為電池內部溫度的上限。

當電池狀態(tài)超出充電約束條件時，對當前獎勵進行相應懲罰。

4仿真驗證及結果分析

4.1DDPG算法訓練過程及分析

本文訓練所使用的中央處理器（CentralProcessingUnit，CPU）型號為AMDRyzen77840HS，圖形處理器（GraphicsProcessingUnit，GPU）型號為Radeon780MGraphics。訓練過程中每一輪獎勵值的平均值可反映充電策略的優(yōu)劣。設置環(huán)境溫度 T_a=25°C 、權重比 β=9 、觀察期為400輪、訓練期為1600輪，DDPG訓練結果如圖6所示。在觀察期前期，智能體隨機選擇充電電流，導致獎勵值在較大范圍內波動。在觀察期后期，智能體根據(jù)策略網(wǎng)絡選擇動作。隨著訓練次數(shù)增加，一方面，智能體獲得的懲罰逐漸減少，直至不再觸碰安全性的懲罰，另一方面，獎勵函數(shù)不斷正向激勵智能體做出符合優(yōu)化目標的動作，直至找到獎勵最大化的充電策略。在訓練期，智能體通過經驗回放定期更新目標網(wǎng)絡，進一步改進充電策略，且隨著訓練次數(shù)的增加，訓練結果更加穩(wěn)定。

圖6每一輪訓練的平均獎勵值

選取最后一次訓練得到的策略作為最終的充電策略，充電時間為 1625s 。DDPG算法完成一次完整訓練，CPU的運行時間為 2408.5679s 。訓練期穩(wěn)定計算一次充放電電流所需時間為 1.2s ，可以滿足實際應用需求。

4.2 環(huán)境溫度對策略的影響

為探究DDPG算法對環(huán)境的適應能力，使用4.1節(jié)中的算法分別在環(huán)境溫度為 15°C 和 45°C 條件下進行訓練，并與4.1節(jié)的充電策略進行對比，最終充電策略及相應仿真結果如圖7所示。

圖7不同環(huán)境溫度下的充電策略及仿真結果

由圖7可知：每種策略的電池端電壓均在安全范圍內； 與 45°C 條件下的充電策略充電時長相近，但 45°C 條件下電池內部溫升更小； 15^°C 條件下充電速度最快，但電池溫度始終在安全范圍內。由此可見，隨著環(huán)境溫度的變化，DDPG算法能夠調整充電策略，從而獲得最大獎勵。

4.3 不同充電方法對比

為驗證所提出方法的效果，本文采用多階段恒流充電（Multi-stageConstantCurrent，MCC）策略進行鋰離子電池充電仿真。MCC是一種基于規(guī)則的分段控制策略，其核心是將充電過程劃分為多個電流逐級遞減的恒流階段，旨在實現(xiàn)充電效率與電池壽命的平衡[21]。

本文設計了2種四階段MCC方案進行對比驗證，記為MCC-1和MCC-2，各階段充電電流設定分別為 10.0A.7.5A.3.0A.2.0A 和 10.0A，6.0A，3.5A， 2.0A 。當電池端電壓達到 3.6V 閾值或當前恒流階段持續(xù)時長超過500s時，充電電流切換至下一階段。設置環(huán)境溫度為 25^°C ，仿真結果如圖8所示，MCC-1、MCC-2和DDPG的總充電時間分別為1552s?corner1777 s和 1625s 。

（a）輸入電流

（c）內部溫度

圖8基于DDPG的充電策略與MCC方法對比驗證結果

相比之下，基于DDPG的充電策略所需時間與MCC-1相近，但DDPG策略控制下電池內部最高溫度較MCC-1策略低約 2°C ，電池端電壓變化更為緩慢，內部溫升過程也更為平緩。這種更為溫和的充電特性有助于延長電池的使用壽命。相較于MCC-2，DDPG充電策略的充電時間更短，但充電過程中電池內部最高溫度與MCC-2相近，在提高充電效率的同時可有效保障電池的熱安全。

5 結束語

本文提出一種基于DDPG算法的電池充電管理方法，通過構建熱電耦合模型實現(xiàn)電池狀態(tài)動態(tài)表征，并融合EKF算法實現(xiàn)SOC的高精度估計。在此基礎上，DDPG算法以充電時間、能量損耗及內部溫度的多維獎勵函數(shù)為優(yōu)化目標，通過迭代訓練生成最優(yōu)充電策略。該方法將EKF-SOC估計與強化學習框架相結合，為充電決策提供可靠狀態(tài)輸入，建立了同時優(yōu)化充電效率、熱安全性和電池壽命的智能決策體系，有望為快充技術提供兼具安全性與經濟性的智能化解決方案。

未來的研究將致力于：優(yōu)化獎勵函數(shù)設計并調整其權重比例，改進神經網(wǎng)絡結構；在試驗環(huán)境中驗證離線訓練獲得的策略，并基于驗證數(shù)據(jù)重新訓練DDPG模型，從而獲得更優(yōu)的充電策略；推進算法在實際車載系統(tǒng)中的部署，建立車輛-快充網(wǎng)絡數(shù)字孿生系統(tǒng)，實現(xiàn)離線訓練和在線部署的迭代優(yōu)化。

參考文獻

[1]TOMASZEWSKA A， CHU ZY，F(xiàn)ENG XN， et al. LithiumIon Battery Fast Charging：A Review[J].eTransportation， 2019，1.

[2]杜光超.三元鋰離子電池高溫熱失控試驗與仿真研究 [D].青島：青島大學，2020. DU G C.High Temperature Thermal Runaway Test and Simulation of Ternary Lithium Ion Battery[D]. Qingdao： Qingdao University，2020.

[3]金英愛，余文賓，馬純強.新能源汽車儲能系統(tǒng)快速充電 策略研究綜述[J].電氣工程學報，2024，19（1）：23-32. JINYA，YUWB，MACQ.Review ofResearch onFast Charging Strategies for New Energy Vehicle Energy Storage Systems[J]. Journal of Electrical Engineering，2024，19（1）： 23-32.

[4] ATTIA P M，GROVER A，JIN N，et al. Closed-Loop Optimization of Fast-Charging Protocols for Batteries with Machine Learning[J]. Nature，2020，578： 397-402.

[5]LIAWBY， NAGASUBRAMANIAN G， JUNGSTRG，et al. Modeling of Lithium Ion Cels-A Simple EquivalentCircuit Model Approach[J]. Solid State Ionics，2O04，175 （1）： 835-839.

[6]鄭衛(wèi).基于RLS方法的磷酸鐵鋰電池模型辨識及SOC估 計策略研究[D].成都：西南交通大學，2021. ZHENG W.Research onModel Identification and SOC Estimation Strategy of LiFePO4 Battery Based on RLS[D]. Chengdu： Southwest Jiaotong University，2021.

[7] 強明輝，張京娥.基于MATLAB的遞推最小二乘法辨識 與仿真[J].自動化與儀器儀表，2008（6）：4-5+39. QIANG MH， ZHANG JE. Identification and Simulation of Recursive Least Squares Method Based on MATLAB[J]. Automationamp; Instrumentation，20o8（6）： 4-5+39.

[8] LIN X，PEREZ H E，SIEGEL JB，et al.Online Parameterization ofLumped Thermal Dynamicsin Cylindrical Lithium Ion Bateries for Core Temperature Estimation and Health Monitoring[J].IEEE Transactions on Control Systems Technology，2012，21（5）： 1745-1755.

[9]張富強.鋰離子電池電熱耦合建模及電熱特性參數(shù)辯識 方法[J].鐵道機車與動車，2024（5）：1-8. ZHANG F Q.Modeling of Electric Thermal Coupling and Identification Methods of Electric Thermal Characteristic ParametersforLithium-IonBatteries[J]. Railway Locomotive and Motor Car，2024（5）： 1-8.

[10]王海龍，左付山，張營.車用鋰離子電池SOC估算研 究[J].自動化儀表，2021，42（6）：72-76. WANG H L， ZUO F S，ZHANG Y.Research on SOC Estimation ofLithium-Ion Batteries for Vehicles[J]. Process Automation Instrumentation，2021，42（6）： 72-76.

[11]付詩意，呂桃林，閔凡奇，等.電動汽車用鋰離子電池 SOC估算方法綜述[J].儲能科學與技術，2021，10（3）： 1127-1136. FU SY，LU TL，MIN FQ，et al.Review of Estimation Methods on SOC of Lithium-Ion Batteries in Electric Vehicles[J]. Energy Storage Science and Technology，2021， 10（3）： 1127-1136.

[12]高昂，郭夢蕾，徐珂雅，等.卡爾曼濾波算法在鋰電池荷 電狀態(tài)估計中的應用[J].電子設計工程，2019，27（18）： 33-37. GAOA，GUO ML，XUKY，etal.Application of Kalman Filter Algorithm in Estimation of Charged State of Lithium Battery[J].Electronic Design Engineering，2019，27（18）： 33-37.

[13]楊凱，郭韻.基于擴展卡爾曼濾波法的鋰電池荷電狀態(tài) 估計[J].中外能源，2023，28（7）：90-95. YANG K，GUO Y. SOC Estimation for Lithium-Ion Batteries Based on Extended Kalman Filter Method[J]. Sino-Global Energy，2023，28（7）： 90-95.

[14]夏超英，張術，孫宏濤.基于推廣卡爾曼濾波算法的SOC 估算策略[J].電源技術，2007（5）：414-417. XIACY，ZHANG S，SUNHT.A Strategy of Estimating State of Charge Based on Extended Kalman Filter[J]. Chinese Journal of Power Sources，2007（5）： 414-417.

[15]LILLICRAPTP，HUNTJJ，PRITZELA，etal.Continuous Control with Deep Reinforcement Learning[C]// 4th International Conference on Learning Representations （ICLR 2016）. San Juan，Puerto Rico： ICLR，2015.

[16]HANXY，WEIJW.DeepReinforcementLearningBased Fast Charging of Lithium-Ion Batteries with Different Penalty Coefficients[C]// 2O22 International Conference on Cyber-Physical Social Intelligence （ICCSI）. Nanjing， China： IEEE，2022.

[17]SUMIEAEH，ABDULKADIRSJ，ALHUSSIANHS，etal. DeepDeterministic PolicyGradient Algorithm：A Systematic Review[J].Heliyon，2024，10（9）.

[18]閆巖.基于探索噪音的深度強化學習[D].蘇州：蘇州大 學，2019. YAN Y.Deep Reinforcement Learning with Exploratory Noise[D]. Suzhou： Soochow University，2019.

[19]吳曉剛，崔智昊，孫一釗，等.電動汽車大功率充電過程 動力電池充電策略與熱管理技術綜述[J].儲能科學與技 術，2021，10（6）：2218-2234. WU X G，CUI Z H， SUN Y Z， et al. Charging Strategy and ThermalManagement TechnologyofPowerBatteryinHigh Power Charging Processof Electric Vehicle[J]. Energy Storage Science and Technology，2021，10（6）： 2218-2234.

[20] WANG Y J， ZHOU C J， CHEN Z H. Optimization of Battery Charging Strategy Based on Nonlinear Model Predictive Control[J]. Energy，2022，241.

[21] VO T T，CHEN X P， SHEN W X，et al. New Charging Strategy for Lithium-IonBatteriesBased onthe Integration of TaguchiMethod and State of Charge Estimation[J]. Journal ofPowerSources，2015，273：413-422.