基于模態(tài)分解的Transformer-GRU聯(lián)合電池健康狀態(tài)估計(jì)

陳 欣，李云伍，梁新成，李法霖，張志冬

（西南大學(xué)工程技術(shù)學(xué)院，重慶 400715）

電動(dòng)汽車的快速發(fā)展使作為其主要?jiǎng)恿碓吹匿囯姵刈兊糜葹橹匾瑫r(shí)鋰電池作為最受歡迎的環(huán)保儲(chǔ)能設(shè)備之一，已成為實(shí)現(xiàn)“碳達(dá)峰、碳中和”目標(biāo)的重要基石[1]。而電化學(xué)電池的能量儲(chǔ)存和釋放過程都發(fā)生在其內(nèi)部的電極上，導(dǎo)致電極和電解液材料損耗較大。因此，電池會(huì)隨著時(shí)間的推移逐漸衰老和退化，發(fā)生故障甚至造成人員和財(cái)產(chǎn)損失[2-3]。為了更好地挖掘電池的潛力，對其健康狀態(tài)進(jìn)行預(yù)測對電動(dòng)汽車使用和發(fā)展具有現(xiàn)實(shí)意義[4]。

目前，鋰離子電池SOH估計(jì)方法主要有基于模型的方法和基于數(shù)據(jù)驅(qū)動(dòng)的方法[5]，而基于模型的方法主要以電化學(xué)模型(electrochemical model，EM)和等效電路模型(equivalent circuit model，ECM)為主。文獻(xiàn)[6]通過拆解同類估算目標(biāo)電池并用掃描電鏡測量其結(jié)構(gòu)，使用算法辨識參數(shù)并建立計(jì)算法則估算SOH。文獻(xiàn)[7]通過EM方法模擬電池內(nèi)部鋰離子和材料特性之間的傳輸過程，進(jìn)而進(jìn)行健康狀態(tài)的估計(jì)研究。不足之處是該方法模擬過于復(fù)雜，在現(xiàn)實(shí)中實(shí)現(xiàn)難度較大。文獻(xiàn)[8]以兩階RC等效電路模型為基礎(chǔ)使用自適應(yīng)無跡卡爾曼濾波算法實(shí)時(shí)估算內(nèi)阻，通過內(nèi)阻與電池健康狀態(tài)的函數(shù)對應(yīng)關(guān)系估算其SOH。但ECM 需要大量物理先驗(yàn)知識，構(gòu)建和求解過程困難。

基于數(shù)據(jù)驅(qū)動(dòng)的方法可以通過狀態(tài)監(jiān)測獲取電池容量、電流、電壓等數(shù)據(jù)，直接學(xué)習(xí)老化信息和規(guī)律以此來完成健康狀態(tài)的估計(jì)。Chen等[9]提出一種基于Transformer 神經(jīng)網(wǎng)絡(luò)的鋰離子電池健康狀態(tài)預(yù)測方法，先通過降噪編碼器完成對容量序列中的噪聲的剔除，再應(yīng)用Transformer 網(wǎng)絡(luò)完成預(yù)測SOH。但該方法將容量再生現(xiàn)象產(chǎn)生的突變作為噪聲消除。史永勝等[10]采用了一種基于注意力改進(jìn)雙向門控循環(huán)單元的鋰離子電池SOH 估計(jì)方法，在總體退化趨勢擬合精度和收斂速度上都有所提升。孫廣明等[11]提出了一種利用K近鄰回歸的機(jī)器學(xué)習(xí)方法來擬合在使用IC 曲線提取特征后的電池衰退軌跡，但該算法K值選取較復(fù)雜。肖浩逸等[12]提出了一種CEEMDAN-RF-SED-LSTM 鋰電池的健康狀態(tài)預(yù)測方法，雖然對容量信息進(jìn)行CEEMDAN分解同時(shí)使用隨機(jī)森林回歸賦予高頻信號一定權(quán)重，但再生現(xiàn)象未得到有效預(yù)測。丁陽征等[13]提出使用混合粒子群優(yōu)化算法來優(yōu)化極限學(xué)習(xí)機(jī)預(yù)測模型的方法，但極限學(xué)習(xí)機(jī)表示非線性能力差。Li等[14]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶遞歸神經(jīng)網(wǎng)絡(luò)(long short term memory，LSTM)的模型，該模型通過獲取電池衰老過程中多變量之間的層次特點(diǎn)提高預(yù)測準(zhǔn)確性。王朋凱等[15]提出了一種結(jié)合 ResNet、Bi-LSTM 和注意力機(jī)制優(yōu)點(diǎn)的鋰離子電池壽命預(yù)測模型，通過多模型組合以提高預(yù)測精度。不足之處是模型復(fù)雜且對于模型中的超參數(shù)設(shè)置未進(jìn)行優(yōu)化。

基于上述分析，采用電池容量作為健康指標(biāo)，但電池在退化過程中往往會(huì)產(chǎn)生松弛效應(yīng)，這對健康狀態(tài)的預(yù)測產(chǎn)生嚴(yán)重干擾。因此，提出了一種基于模態(tài)分解與粒子群優(yōu)化的Transformer和GRU相結(jié)合的方法。首先采用VMD 分解容量序列，充分挖掘其包含的信息，同時(shí)中心頻率法又避免了局部特征之間的相互干擾；然后為不同頻率信號構(gòu)建不同的神經(jīng)網(wǎng)絡(luò)模型，且使用粒子群算法優(yōu)化各個(gè)神經(jīng)網(wǎng)絡(luò)超參數(shù)，提高調(diào)參速度和準(zhǔn)確性，保證算法穩(wěn)定性。對主趨勢信號采用線性層代替解碼器后的Transformer 網(wǎng)絡(luò)，這樣避免累計(jì)誤差的影響，且保留的編碼器中多頭自注意力機(jī)制能較好捕捉數(shù)據(jù)內(nèi)部相關(guān)性，同時(shí)對高頻序列采用具有較強(qiáng)的非線性擬合能力的GRU 網(wǎng)絡(luò)；最后將各個(gè)網(wǎng)絡(luò)預(yù)測結(jié)果疊加得到電池健康狀態(tài)預(yù)測結(jié)果。實(shí)驗(yàn)結(jié)果及引用對比表明，VMD-PSO-Transformer&GRU 模型在電池健康狀態(tài)預(yù)測時(shí)能較好地捕獲到容量再生現(xiàn)象且具有高的預(yù)測準(zhǔn)確性。

1 相關(guān)理論基礎(chǔ)

1.1 變分模態(tài)分解

VMD 是一種基于堅(jiān)實(shí)理論基礎(chǔ)的信號處理方法，能夠有效處理非線性和非平穩(wěn)信號[17]。其核心框架分為構(gòu)建變分問題和求解變分問題[18]。

首先，構(gòu)建變分問題：

式中，t為沖擊函數(shù)，δ(t)為每個(gè)分量的中心頻率，uk為分解后的分量，k為模態(tài)分解個(gè)數(shù)。

再通過引入拉格朗日乘子項(xiàng)和二次懲罰項(xiàng)將約束變分問題轉(zhuǎn)變?yōu)榉羌s束變分問題。重構(gòu)后的非約束變分模型為

重復(fù)上述三個(gè)步驟式(4)～式(6)，直到滿足式(7)結(jié)束。

1.2 Transformer

Transformer廣泛應(yīng)用于語言處理領(lǐng)域(natural language processing，NLP)，具有提取特征效果顯著、應(yīng)用GPU 并行訓(xùn)練提升模型訓(xùn)練效果等優(yōu)點(diǎn)[19]。標(biāo)準(zhǔn)Transformer模型由輸入部分、編碼器、解碼器和輸出部分組成，具體見圖1(a)。由于電池容量數(shù)據(jù)集規(guī)模與文本圖像數(shù)據(jù)集的量級差距較大，如果直接使用標(biāo)準(zhǔn)decoder會(huì)因?yàn)榻Y(jié)構(gòu)過于復(fù)雜產(chǎn)生累計(jì)誤差使預(yù)測結(jié)果偏差過大，故采用一層線性層代替原decoder，調(diào)整后的模型結(jié)構(gòu)如圖1(b)。Transformer 模型中其自注意力機(jī)制擅長捕捉數(shù)據(jù)或特征內(nèi)部相關(guān)性的共同規(guī)律，對于一維特征信息輸入可以有效獲取容量變化特征進(jìn)行準(zhǔn)確預(yù)測，因此采用該模型對較穩(wěn)定變化的主趨勢進(jìn)行預(yù)測。同時(shí)，線性層結(jié)構(gòu)代替復(fù)雜的decoder部分也提高了預(yù)測結(jié)果精確性和模型訓(xùn)練速度。

圖1 標(biāo)準(zhǔn)Transformer結(jié)構(gòu)與簡化圖Fig.1 The standard Transformer architecture and the simplified diagram

Transformer 的輸入需要先完成對嵌入層后數(shù)據(jù)的位置編碼，再獲得序列中需要的位置信息。使用基于公式的位置編碼方式：

式中，2i表示偶數(shù)的維度，2i+1 表示奇數(shù)維度，pos為數(shù)據(jù)在序列中的位置，dmodel為PE維度。

模型中注意力機(jī)制的核心過程是利用查詢向量矩陣Q和鍵向量矩陣K計(jì)算注意力的權(quán)重，然后將其應(yīng)用在值向量矩陣V以獲得整個(gè)權(quán)重和輸出，輸出向量的計(jì)算公式為：

前饋神經(jīng)網(wǎng)絡(luò)由兩層全連接網(wǎng)絡(luò)和一個(gè)激活函數(shù)Relu構(gòu)成，運(yùn)算公式為

式中，x為輸入數(shù)據(jù)維度為dmodel的向量數(shù)據(jù)，b1、b2為偏置參數(shù)，W1、W2為線性映射的參數(shù)矩陣。

1.3 門控循環(huán)單元網(wǎng)絡(luò)

鋰電池的容量變化具有時(shí)序特征。循環(huán)神經(jīng)網(wǎng)絡(luò)常用來處理序列數(shù)據(jù)，但它更適合較短的序列而對間隔較長的數(shù)據(jù)不敏感，并且存在梯度下降消失和爆炸的缺點(diǎn)。LSTM 優(yōu)化了RNN 網(wǎng)絡(luò)梯度消失的缺點(diǎn)，能夠捕獲序列的長短期信息。而GRU 在保留了LSTM 優(yōu)點(diǎn)的基礎(chǔ)上減少了一個(gè)門控單元，訓(xùn)練速度更快、占用內(nèi)存更少[20]。GRU結(jié)構(gòu)如圖2所示：傳播公式如下:

圖2 GRU結(jié)構(gòu)圖Fig.2 The diagram of the GRU architecture

圖3 粒子群算法示意圖Fig.3 The schematic diagram of particle swarm optimization algorithm

更新門zt控制前一時(shí)刻的隱含層狀態(tài)更新到當(dāng)前隱含層狀態(tài)的比例。重置門rt控制前一時(shí)刻的隱含層狀態(tài)更新到當(dāng)前候選隱含層狀態(tài)的比例。基于rt獲得隱藏狀態(tài)h?t，基于zt獲得隱藏狀態(tài)更新ht。

1.4 粒子群算法

粒子群優(yōu)化算法是一種源于對鳥群捕食行為研究而來的仿生優(yōu)化算法。一般將鳥模擬為無質(zhì)量的粒子，在空間中尋找最優(yōu)解作為當(dāng)前個(gè)體極值并與整個(gè)粒子群共享。通過對所有粒子的個(gè)體極值比較找到全局最優(yōu)解，將其作為整個(gè)粒子群的當(dāng)前最優(yōu)解。最后，每個(gè)粒子根據(jù)自己的個(gè)體極值和全局最優(yōu)解，調(diào)整自身的速度和位置，以完成對神經(jīng)網(wǎng)絡(luò)超參數(shù)的尋優(yōu)。同時(shí)該算法不依賴于問題信息，采用實(shí)數(shù)進(jìn)行求解，算法具有較強(qiáng)的通用性，并且屬于非確定算法能有更多機(jī)會(huì)求解全局最優(yōu)解。因此利用粒子群優(yōu)化算法可以提高調(diào)參效率和準(zhǔn)確率避免手動(dòng)調(diào)整參數(shù)耗時(shí)和尋找最優(yōu)參數(shù)困難。

速度向量更新公式：

2 基于 VMD 和優(yōu)化的Transformer-GRU預(yù)測方法

2.1 鋰離子電池退化數(shù)據(jù)集

本文電池?cái)?shù)據(jù)來自美國國家航空航天局(NASA)。電池型號為18650，額定容量為2 Ah，電池編號為B0005、B0006、B0007 和B0018。在24 ℃下恒流恒壓充電和放電，當(dāng)容量下降至額定容量70%時(shí)，電池達(dá)到理論壽命[21]。四種電池的容量退化曲線如圖4所示。

圖4 電池容量退化曲線Fig.4 The degradation curve of battery capacity

2.2 VMD 對容量序列進(jìn)行分解

在進(jìn)行VMD 分解時(shí)需要選取合適的模態(tài)分量個(gè)數(shù)K。當(dāng)K值過小時(shí)可以將VMD當(dāng)作自適應(yīng)濾波器組，但該算法可能會(huì)過濾掉重要信息并影響預(yù)測精度；而如果K值過大會(huì)導(dǎo)致模態(tài)重復(fù)或產(chǎn)生額外噪聲。因此，可以通過觀察不同模態(tài)數(shù)量的中心頻率的分布來選擇合適的K值[22]。以B5 為例，其不同分解個(gè)數(shù)對應(yīng)中心頻率如表1所示，其中IMF為固有模態(tài)函數(shù)(intrinsic mode function)的簡寫。

表1 B5號容量數(shù)據(jù)不同K值對應(yīng)的中心頻率Table 1 The center frequency corresponding to different K values for B5 capacity data

當(dāng)k=6 時(shí)分解后的中心頻率與k=5時(shí)的中心頻率差距很小，表明VMD算法對信號造成了過分解；當(dāng)k=4時(shí)由于IFM4較IMF5中心頻率差距較大，信號分解不徹底。綜合考慮k值取為5，應(yīng)用VMD分解B5電池的結(jié)果如圖5所示。

圖5 5號電池VMD分解結(jié)果Fig.5 The VMD decomposition results of battery No.5

2.3 PSO超參數(shù)尋優(yōu)

以B5 號電池為例，電池容量退化趨勢通過中心頻率法選取合適K值后將容量信息進(jìn)行分解，其原始容量被分解成K-1個(gè)高頻信號和1個(gè)主退化趨勢信號。再以數(shù)據(jù)集的前60%樣本作為訓(xùn)練集、后40%的樣本為測試集，將主退化趨勢信號放入Transformer 模型進(jìn)行訓(xùn)練，將K-1 高頻信號分別放入GRU 模型訓(xùn)練。訓(xùn)練前需要對模型的超參數(shù)進(jìn)行尋優(yōu)，保證模型的穩(wěn)定性和魯棒性。PSOtransformer 網(wǎng)絡(luò)層數(shù)區(qū)間為[1，10]，神經(jīng)元個(gè)數(shù)區(qū)間為[1，500]，學(xué)習(xí)率區(qū)間為[0.00001，0.1]，迭代次數(shù)[100，2000]，批量大小[0，100]，多頭個(gè)數(shù)[2，16]，而PSO-GUR 較PSO-transformer 少一個(gè)多頭個(gè)數(shù)區(qū)間。PSO 尋優(yōu)時(shí)采用多次運(yùn)行和改變參數(shù)的方法來避免局部最優(yōu)，因?yàn)镻SO 是一種隨機(jī)性算法，多次運(yùn)行可以提高找到全局最優(yōu)解的概率，同時(shí)算法中的參數(shù)慣性權(quán)重、學(xué)習(xí)因子等，適當(dāng)改變參數(shù)設(shè)置可以使算法跳出局部最優(yōu)解。優(yōu)化后的超參數(shù)結(jié)果如表2所示。

2.4 預(yù)測流程

使用 Transformer 和GRU 模型聯(lián)合預(yù)測，模型預(yù)測流程如圖6所示。

圖6 Transformer-GRU聯(lián)合方法預(yù)測流程圖Fig.6 The prediction flowchart of Transformer-GRU joint method

其主要步驟如下。

（1）模型輸入為電池容量信息，經(jīng)VMD 算法分解得到K個(gè)IMF分量。

（2）對每個(gè)分量進(jìn)行神經(jīng)網(wǎng)絡(luò)模型擬合，其中IMF1通 過Transformer 學(xué) 習(xí)，IMF2-IMFK則 使 用GRU 模型分別學(xué)習(xí)，同時(shí)通過粒子群算法獲取對每條分量的神經(jīng)網(wǎng)絡(luò)模型的超參數(shù)。

（3）對每個(gè)分量對應(yīng)的網(wǎng)絡(luò)模型進(jìn)行預(yù)測，得到所有IMF 的預(yù)測值，最后將結(jié)果疊加輸出得到SOH預(yù)測結(jié)果。

3 結(jié)果分析

為了驗(yàn)證基于變分模態(tài)分解后PSO-Transformer聯(lián)合PSO-GRU預(yù)測方法的準(zhǔn)確性和魯棒性，設(shè)定主趨勢PSO-高斯，高頻趨勢PSO-MLP、PSORNN、PSO-LSTM 的組合以及單個(gè)Transformer，GRU，RNN，MLP，LSTM模型作為對比。

3.1 模型評價(jià)指標(biāo)

選取平均絕對誤差(mean absolute error，MAE)，均方根誤差(root mean square error，RMSE)，決定系數(shù)(coefficient of determination，R2)作為預(yù)測模型的評價(jià)準(zhǔn)則。

3.2 實(shí)驗(yàn)結(jié)果分析

Transformer-GRU 聯(lián)合方法結(jié)合了兩種算法優(yōu)點(diǎn)，通過合適的數(shù)據(jù)進(jìn)行學(xué)習(xí)，很好地完成對容量數(shù)據(jù)的總體趨勢和容量再生現(xiàn)象預(yù)測，對B5號電池預(yù)測結(jié)果如圖7(a)所示。在圖7(b)中采用RNN,LSTM和MLP 對高頻趨勢分別進(jìn)行預(yù)測后同Transformer預(yù)測結(jié)果結(jié)合，結(jié)果可以看出對于容量序列總體退化趨勢有著不錯(cuò)的預(yù)測效果，但對于容量再生現(xiàn)象擬合效果較差。采用高斯函數(shù)對主趨勢進(jìn)行預(yù)測，效果較以Transformer預(yù)測主趨勢精度低。在圖7(c)中采用單個(gè)算法進(jìn)行預(yù)測，單個(gè)算法預(yù)測只對序列的總體的下降趨勢有較好的預(yù)測效果。

對于B5 號電池評估指標(biāo)結(jié)果如表3 所示，本文提到的方法預(yù)測結(jié)果的RMSE 和MAE 都是所有模型中最小的，R2也是最高的。其中單個(gè)模型的評估指標(biāo)單從指標(biāo)表現(xiàn)較好最高RMSE 為0.0184，MAE為0.0134，聯(lián)合預(yù)測模型中以Transformer為主趨勢預(yù)測算法最高RMSE 為0.0188，MAE 為0.0149高于單一模型，但由于單一模型自身存在局限性，對于再生現(xiàn)象幾乎無法進(jìn)行捕捉。

表3 評估指標(biāo)的平均值對比Table 3 Comparison of the average values of evaluation metrics

為了驗(yàn)證本文所提方法的有效性，分別對B6、B7和B18號電池進(jìn)行預(yù)測。由圖8(a)、(b)和(c)可觀察Transformer-GRU模型對于這三組電池依然可以穩(wěn)定預(yù)測，較好地捕捉到松弛效應(yīng)的再生過程。比較圖8(d)、(e)和(f)的結(jié)果，發(fā)現(xiàn)Transformer-GRU模型預(yù)測結(jié)果與實(shí)際的SOH 值擬合具有最優(yōu)的準(zhǔn)確性和可靠性。

圖8 B6，B7，B18號電池對比實(shí)驗(yàn)結(jié)果Fig.8 Experimental results comparison for batteries No.B6, B7 and B18

將該方法應(yīng)用在B6、B7 和B18 號電池。對比結(jié)果發(fā)現(xiàn)Transformer-GRU 模型的RMSE 和MAE最新，且在三種電池中最高RMSE 為0.0119，MAE 為0.0093，表明Transformer-GRU 聯(lián)合的方法擁有良好的魯棒性。

為進(jìn)一步驗(yàn)證Transformer-GRU聯(lián)合方法的有效性，通過與文獻(xiàn)[23]和[24]的方法進(jìn)行對比。將預(yù)測結(jié)果的RMSE和MAE作為評判標(biāo)準(zhǔn)。三種方法對于電池B5、B6、B7、B18的SOH預(yù)測結(jié)果對比如圖9 所示，和其他兩種方法相比，Transformer-GRU算法的穩(wěn)定性和精確性更為突出。

圖9 對比實(shí)驗(yàn)結(jié)果Fig.9 Comparison of experimental results

4 結(jié) 論

本文提出基于VMD 分解和PSO 優(yōu)化的Transformer-GRU 對鋰電池SOH 預(yù)測模型。選取鋰電池容量信息作為健康因子，使用中心頻率法輔助模VMD 完成信息的分解，采用尋優(yōu)后的不同模型對不同頻率信號進(jìn)行分別預(yù)測并對結(jié)果進(jìn)行整合，得到預(yù)測結(jié)果。有如下的結(jié)論。

（1）變分模態(tài)分解的使用將非平穩(wěn)復(fù)雜變化的鋰電池容量退化趨勢進(jìn)行有效分解，以便采用適宜的模型對不同信號進(jìn)行處理且分解數(shù)量的確定采用中心頻率法來避免過分解和不完全分解的發(fā)生，其中Transformer-GRU 與未使用模態(tài)分解的標(biāo)準(zhǔn)的GRU 和Transformer 相 比RMSE 降 低 了0.6%和1.94%，MAE降低了0.27%和0.12%。

（2）Transformer-GRU算法聯(lián)合預(yù)測，彌補(bǔ)單一方法預(yù)測的不足，Transformer 其注意力機(jī)制能很好捕捉穩(wěn)定的趨勢變化；GRU 對于長序列內(nèi)部關(guān)聯(lián)能夠更深層次地挖掘?qū)W習(xí)，對高頻信號復(fù)雜變化可以較好擬合，且使用粒子群算法確定模型超參數(shù)，保證算法穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明本文提出模型在容量再生預(yù)測和精度表現(xiàn)最優(yōu)，RMSE、MAE和決定系數(shù)最優(yōu)值分別為0.62%、0.73%和97.94%，為現(xiàn)有健康狀態(tài)估計(jì)的研究提供了參考。

（3）前述研究使用中心頻率法對VMD 超參數(shù)K進(jìn)行了選擇，后續(xù)可考慮用優(yōu)化算法來確定VMD超參數(shù)。考慮到電池實(shí)際工況更為復(fù)雜，且數(shù)據(jù)存在噪聲等失真，未來還要對其魯棒性進(jìn)行更加深入的研究。