基于卷積Fastformer的鋰離子電池健康狀態估計

申小雨，尹叢勃

（上海理工大學機械工程學院，上海 200093）

鋰離子電池作為一種應用廣泛的電能存儲技術，具有能量密度高、發電能力強、壽命長等優點[1]。鋰離子電池在使用過程中持續放電和充電，隨著充放電過程的進行，鋰離子電池的性能會逐漸下降。為了確保鋰離子電池的穩定性和安全性，準確估計SOH 對于鋰離子電池可靠安全運行至關重要[2-3]。

目前，對于鋰離子電池SOH 估計的方法主要有模型驅動法和數據驅動法。對于基于模型的方法，必須基于先驗知識或物理定律建立電池的退化模型，這些模型可以進一步分類為電化學模型(electrochemical model，EM)[4]、等 效 電 路 模 型(equivalent circuit model， ECM)[5]、 濾 波 模 型(filtering model，FM)[6]和隨機過程模型(stochastic process model，SPM)[7]。為了研究EM 和ECM 的化學或物理特性及工作原理，必須進行電池老化分析，需要復雜的建模過程。FM和SPM的目的是挖掘內部電池狀態的遞歸關系或電池監測數據的變化規律[8]。然而，由于內部機制和外部操作之間的相互作用，這些方法表現出動態精度低、適應性有限和先驗知識不足的缺點。

相比之下，數據驅動法可以根據電池的電流、電壓和溫度等參數估計SOH，而不需要對電池內部復雜的電化學機理進行精確建模。可以很容易地為特定應用構建高精度模型[9]。Goh等[10]通過高斯過程回 歸(Gaussian process regression， GPR) 估 計SOH。Xing 等[11]提出了天鷹優化（aquila optimizer，AO）支持向量機(support vector machine，SVM)核心參數的預測方法，實現SOH 估計，但基于啟發式算法超參數的確定運行時間較長且有可能陷入局部最優解。上述這些傳統方法在電池老化數據具有高度非線性特性的情況下精度較低[12]。Chen等[13]利用長短期記憶(long short-term memory，LSTM)神經網絡進行容量估計。高德欣等[14]提出了卷積神經網絡(convolutional neural network，CNN)與雙向長短期記憶網絡融合模型用于SOH 估計，兩種網絡結構在數據處理的不同階段各自發揮重要作用。但是基于循環神經網絡(recurrent neural network，RNN)結構的神經網絡存在長期依賴性問題，影響預測性能。Transformer 模型具有更好的全局信息感知能力和更強的表達力，可以更好地捕捉充放電數據中的時間依賴性和SOH的變化趨勢。陳銳等[15]采用Transformer 對鋰電池SOH 進行估計，具有較高精度，但是，由于Transformer 中的自注意力機制的二次復雜度使得它在長序列建模中效率低下。

數據驅動方法的估計精度不僅取決于估計算法，還取決于提取的健康特征(health feature，HF)。近年來，從電池充放電曲線中提取特征進行SOH 估計引起了越來越多的關注，但放電狀態不穩定，放電過程主要取決于使用環境和工作條件。相比之下，從充電曲線中提取特征更穩定、更容易[16]。一般通過從電壓、電流和溫度等變量中提取的特征來估計SOH[17]。Jia 等[18]從恒流充電電壓曲線中提取HF，還計算了提取的特征與電池SOH之間的皮爾遜相關系數進行數據降維，以免特征的高維度導致過度擬合并影響估計的準確性。總結統計數據可以有效地以數字方式說明電壓曲線的形狀和位置變化[19]，Zhu 等[20]從充電弛豫階段提取電壓統計特征，結合XGBoost實現較高的容量估計精度。

基于上述文獻啟發，本工作采用統計學方法從充電階段提取HF，采用皮爾遜相關系數降維方法消除特征的冗余性。針對上述模型存在的問題，建立了一種卷積Fastformer 模型進行SOH 估計，卷積可以更好了解輸入特征的局部信息，提高預測精度，Fastformer 的線性復雜度比Transformer 復雜度低[21]，可更高效地在復雜的長序列中總結全文信息，同時利用Fastformer的附加注意力機制可以彌補RNN、LSTM等網絡以循環方式對序列數據進行建模時，由于長期依賴而降低性能的缺陷。為了快速優化模型超參數，使用正交實驗法找到最優參數。

1 多級充電策略分析及特征提取

1.1 實驗數據

基于數據驅動方法的電池壽命預測，Severson 等[22]通過大量的組合實驗收集電池數據。該數據集包括124 個商用LiFePO4石墨電池。電池的標稱容量為1.1 Ah，其上限截止電壓和下限截止電壓分別為3.6 V和2.0 V。所有電池都在環境溫度為30 ℃的恒溫溫箱內循環，直到其容量降至標稱值的80%以下。本工作選取了第三批數據在通道11、12、13、14 上測得的電池數據，分別命名為B01、B02、B03、B04，圖1 為 電 池 容 量 衰 減曲線。

圖1 電池容量衰減曲線Fig.1 Battery capacity decay curve

1.2 充電過程

對于車輛應用，使用典型的恒流恒壓(constant current-constant voltage，CC-CV)充電協議。充電過程在實際運行中一般由幾個子過程組成：CC和CV。在實際中，為了快速充電和延長電池壽命，通常使用多級充電策略。多級充電策略包括多級恒流充電和恒壓充電，可表示為“C1(Q1)-C2”，其中C1 和C2 分別是第一和第二階段的電流速率，Q1為兩階段電流速率切換時的電池荷電狀態(state of charge，SOC)。充電策略不同，Q1 也不同。CC2 階段恒流充電至SOC 80%結束，之后用1 C的“恒流-恒壓”模式對電池進行充電，本工作中1 C等于1.1 A，4個電池具體規格參數如表1所示。圖2 顯示了一個示例，充電電流速率首先恒定為5.6 C，在SOC 值達到Q1 后，充電電流速率切換到另一個恒定的4.3C，在SOC達到80%后，充電電流速率切換到另一個恒定的1 C充電至電池最大截止電壓3.6 V結束。之后，電池以3.6 V的恒定電壓以電流遞減的方式充電，當電流速率為0.02 C時停止充電。電壓曲線清楚地表明了嚴重的非線性。

表1 實驗電池規格參數Table 1 Experimental battery specifications

圖2 充電過程Fig.2 Charging process

1.3 健康特征提取

對充電過程中的多級恒流充電階段電壓曲線和恒壓階段電流曲線進行特征提取，當電池循環數變化時，電池將具有不同的特性。因此，不同循環次數的電池，其內部性能和外部性能會有所不同，從而導致充電時的各個循環周期的電壓、電流曲線形狀不同。圖3所示為電池在四個不同循環次數下的充電電壓曲線。充電的持續時間和電壓達到上限截止電壓的時間在不同的循環數下都是不同的。如圖4(a)～(c)所示，CC1 階段的終止電壓隨著循環次數的增加呈上升趨勢，CC2、CC3階段的起始電壓和終止電壓隨著循環次數的增加都呈上升趨勢。如圖4(d)所示，CV 階段的起始電流速率和終止電流速率隨著循環次數的增加呈下降趨勢。

圖3 不同循環充電電壓曲線Fig.3 Curves of different cycling charging voltages

圖4 不同循環充電曲線Fig.4 Charging curve of different cycles

統計數據能夠準確用數字方式說明電壓曲線的形狀和位置變化，因此在恒壓、恒流階段進行特征提取時，每個階段各個曲線轉換為6 個統計特征，即方差(Variance)、偏度(Skewness)、最大值(Max）、 最 小 值(Min)、 均 值(Mean) 和 峰 度(Kurtosis)。由于CC3階段的最終電壓為截止電壓，所以在處理CC3 階段的電壓數據時，每個循環采集到的數據只取其中的10%～90%。同時為了避免CC2 階段每個循環提取到的電壓最小值和CC1 階段每個循環提取到的電壓最大值有重合，處理CC2階段的電壓數據時，每個循環采集到的數據只取其中的10%～90%。數據驅動模型的輸入特征和輸出之間的相關性越高，模型的準確性就越好。采用Pearson相關系數(ρ)來衡量各曲線統計特征和電池容量兩者的關系，公式(1)如下：

式中，xj是特征序列，y是電池容量，-xj、-y是其平均值。

如圖5所示，CC1階段的電壓最大值、CC2階段的電壓最小值、CC3階段的電壓最大值這三個特征的Pearson 相關系數絕對值接近于1，與電池容量存在較強的相關性，最終選定這三個特征。圖6所示為3個特征分別與電池容量的對應關系，可以明顯看出在各個循環中，CC1 階段電壓Max 值、CC2 階段電壓Min 值和CC3 階段電壓Max 值分別與電池容量都表現出明顯的單調相關性。

圖5 充電過程統計特征和容量的相關系數Fig.5 Correlation coefficient between charging process statistics and battery capacity

圖6 恒流充電階段電壓與容量關系Fig.6 Relationship between constant current charging stage voltage and battery capacity

2 基于卷積Fastformer的鋰離子電池SOH估計

2.1 Transformer

Transformer[23]被提出作為一種全新的架構，它利用注意力機制來處理一系列數據。標準的Transformer 是一個序列到序列的架構，編碼器獲取輸入數據并將其映射成更高維向量，然后送入解碼器生成輸出。與基于RNN 的方法不同，Transformer 中不同的注意力頭會關注特征的不同方面。這些使Transformer在預測方面有明顯優勢。Transformer 在一個多頭自注意層中，同時將輸入Y轉化為H個不同的查詢矩陣Qh、鍵矩陣Kh和值矩陣Vh，公式如下：

式中，h=1…H，W Q h、W K h和W V h是可學習的參數。

在經過線性變換之后，輸出縮放的點積注意力：

式中，dk為縮放因子，Oh為第h頭注意力輸出結果。

之后，O1,O2,…,Oh被連接起來并經線性變換。

Multihead(Q，K，V)= Concat(O1，O2，…，Oh)W O(6)

式中，W O為可學習的參數。

2.2 卷積Fastformer

卷積Fastformer模型如圖7所示，通過采用內核大小為k且步幅為1的一維卷積，將輸入轉換為查詢矩陣Q和鍵矩陣K，值矩陣V可以更好了解局部形狀，表示為Q=[q1,q2,…,qn],K=[k1,k2,…,kn],V=[v1,v2,…,vn]，Q,K,V∈?N×d，其中N為序列長度，d為隱藏維數。

圖7 卷積Fastforme模型結構Fig.7 Convolutional Fastforme model structure

由于Transformer 的點積注意力機制的二次復雜度使得它在長序列建模中效率低下。Fastformer中附加注意力是注意力機制的一種形式，可以更高效地在線性復雜的序列中總結重要信息，附加注意力模型如圖8所示。附加注意力首先將查詢矩陣概括為全局查詢向量q∈?d，該向量壓縮了查詢矩陣的全局上下文信息。第i個查詢向量的注意力權重αi計算如下：

圖8 附加注意力Fig.8 Additive attention

式中，wq∈?d是可學習的參數向量。

全局注意力查詢矩陣計算如下：

使用全局查詢向量和每個鍵向量之間的逐元素乘積得到全局上下文鍵向量：

使用附加注意機制來總結全局上下文感知鍵矩陣，其第i個向量的附加注意力權重計算如下：

式中，wk∈?d是可學習的參數向量。

全局注意力鍵矩陣計算如下：

之后，對注意力值矩陣和全局鍵向量進行建模：

最后，將線性變換層應用于每個鍵值交互向量以學習其隱藏表示。該層的輸出矩陣表示為R=[r1,r2,…,rn]∈?N×d。該矩陣進一步與查詢矩陣相加，形成附加注意力的最終輸出。

2.3 SOH估計流程

該方法的流程如圖9所示，主要步驟如下：

圖9 SOH估計框架Fig.9 Framework for state of health stimation

（1）數據處理：提取恒流充電階段電壓數據，計算出CC1 階段的電壓最大值，CC2 階段的電壓最小值，CC3階段的電壓最大值作為模型的輸入特征向量X=[U1,U2,…,Un]∈?L×3，其中L為輸入步長。將B02劃分為訓練集進行模型離線訓練，B04劃分為驗證集進行模型參數優化，B01、B03 劃分為測試集進行在線估計。在數據預處理階段還需要進行歸一化處理，以保證數據被限定在同一范圍，避免不同取值范圍影響模型參數更新。使用Maxmin歸一化方法。計算過程如下：

式中，x和x'分別是特征向量S歸一化前后的數值。

（2）模型超參數選定：通過正交實驗確定模型的輸入步長、卷積核尺寸大小、頭數、網絡深度參數。

（3）模型訓練：從第(2)步中獲取參數搭建網絡結構。將特征向量輸入到一維卷積中以獲得具有局部特性的Q，K，V。使用附加注意力進一步匯總為全局查詢向量、鍵向量，然后，對全局上下文感知鍵和值進行交互建模，以學習全局上下文感知的注意值，然后將其與查詢向量進行結合，形成輸出，使得線性復雜度的Fastformer模型可在復雜的長序列中總結全文信息。最后經過線性層輸出第n+1 次循環的SOH 值，將該值與真實值計算均方誤差，然后通過梯度下降算法和訓練集的迭代，實現網絡權重和偏置參數的學習，訓練模型。

（4）模型參數選定評價：當模型訓練結束后，將驗證集輸入到訓練好的模型中輸出估計的SOH，將該值與真實值進行評價指標計算，以此來評價模型參數。重復步驟(1)～(4)直至達到設定的正交實驗次數。

（5）模型估計：對正交實驗進行極差分析確定出最優模型，將驗證集、測試集輸入到最優模型輸出SOH 估計值，將該估計值與實際值通過評價函數進行計算，從而對所提出的鋰離子電池SOH 估計模型進行評價與分析。

3 實驗驗證

3.1 實驗設置

實驗所用的模型輸入特征向量是有3維充電過程特征向量，輸出是鋰電池SOH 值。采用Adam作為最小化目標函數的自適應優化器，其初始學習率設置為0.0001，每訓練30 次，學習率降低至原來的1/10。訓練集批量為50，迭代次數設置為100，測試集采用單步滾動預測方法。

為了評價SOH 模型的估計精度，本工作使用均方根誤差(root mean square error，RMSE)和平均絕對誤差(mean absolute error，MAE)作為評價函數，計算過程如下：

式中，n是循環次數，Creal是實際SOH值，Cprd是估計SOH值。

3.2 模型參數優化

一般神經網絡模型包含很多參數需要進行優化。受限于計算機算力和訓練時間，正交實驗是一種用于搜索模型參數的高效方法[24]。使用正交實驗法對模型主要參數進行設置優化，模型結構的主要參數包括卷積核尺寸K、網絡深度N、多頭注意力機制中的頭數H、輸入步長L，即電池前L次循環，共計4個參數。如表2所示，以電池B02為訓練集，B04 為驗證集確定模型參數。設計3 水平4 因素正交實驗。以每次實驗的RMSE作為估計精度來進行判斷。

表2 正交實驗設計Table 2 Orthogonal experimental design

極差分析可反映正交實驗結果中模型參數對估計精度RMSE 的影響，具體數據見表3。其中A值表示模型參數各水平均值，R值代表極差，即各模型參數水平均值的最大差異。

表3 正交實驗極差分析Table 3 Orthogonal experimental range analysis

通過表3分析可得，通過R值可得到四個模型參數對估計精度的影響大小程度為：輸入步長>頭數>卷積核尺寸>網絡深度。極差分析中的A值表示的是單個因子在三個水平上的差異，通過分析得到各個參數因子A值的最小值，可得到最優的參數組合，即附加維度m、卷積核尺寸、頭數、網絡深度取值分別為20、4、6、3。

3.3 估計結果與分析

卷積Fastforme 模型在電池B01、B03、B04上的SOH 估計結果和相對誤差如圖10(a)～(c)所示，紅色線代表實際SOH 值，藍色點劃線代表估計SOH，估計相對誤差保持在0.8%以內，真實值曲線與估計值曲線基本吻合，證明模型有較高的預測精度。為了驗證本工作所提算法的預測能力及HF提取的有效性，與RNN、CNN、GRU共計3種現有模型進行對比分析，圖10(d)～(f)是不同模型下的SOH估計曲線，可與圖10(a)～(c)比較看出卷積Fastformer模型更貼近真實曲線。4個模型SOH估計結果數據見表4，從整體上看各個模型都具有較高精度，證明了提取特征的有效性，卷積Fastformer 模型最大RMSE、MAE 僅為0.25%、0.29%，具有較高的估計精度和魯棒性。MAE、RMSE評價指標卷積Fastformer模型都優于其他模型，從而證明了卷積Fastforme模型估計精度高。

圖10 估計結果Fig.10 Estimation results

圖11 是四個不同模型下3 個電池SOH 估計結果誤差的平均值，結果顯示本工作所提模型的誤差均低于3 種現有算法。本工作所提的卷積Fastformer 模型的平均MAE 和平均RMSE 分別為0.14%、0.18%，與次優模型CNN 相比，平均MAE 相對降低了44%，平均RMSE 相對降低了45.45%。

圖11 4種模型評價指標平均值對比Fig.11 Comparison of estimation error of four models

4 結 論

為了提高鋰電池SOH 估計精度，本工作提出一種基于卷積Fastformer 模型的鋰離子電池SOH估計方法，得到如下結論。

（1）通過對充電過程各階段電壓曲線、電流曲線進行統計特征分析，發現利用電壓分析方法提取的恒流充電階段統計特征與電池容量存在強相關性，可以表征電池老化和容量衰減過程。

（2）Fastformer的附加注意力機制可以更高效提取深層特征，使用卷積可更好提取局部信息，進一步提高預測精度。

（3）由于神經網絡具有較多的超參數，不同的參數組合，會對預測精度產生較大影響，為了減少算例及訓練時間，采用正交實驗法對模型超參數進行優化選擇。通過公開電池數據集進行實驗驗證，MAE、RMSE最大僅為0.25%、0.29%，可準確估計鋰離子電池SOH。