基于注意力機制的雙向LSTM鋰電池SOH估算模型

李蘇陽，陳富安

(河南工業大學電氣工程學院，河南鄭州 450001)

電池健康狀態(state of health，SOH)反映了鋰離子電池相對新電池的退化程度，用來定量描述當前電池的性能狀態[1]。鋰離子電池以其能量密度高、效率高和循環壽命長等特點[2-3]，成為電動汽車的主要元件。但鋰電池衰退往往是一種不可逆的過程，隨著電池充放電循環次數增加，內阻增大、輸出特性降低、容量不斷衰減，影響電動汽車的動力輸出和行駛里程。鋰電池SOH的準確估算能夠判斷電池剩余壽命，對保障電池系統安全穩定運行，做預測性維護有非常重要的意義。

目前，針對電池SOH估算研究方法一般有模型法和數據驅動法兩大類[4]。模型法需要掌握電池系統狀態和退化機理之間的相互關系，通過物理分析或參考電池SOH實驗有關的歷史數據建立數學模型來計算電池的健康狀態。Guo 等[5]建立了簡單的二階RC 等效電池模型，通過對不同壽命階段鋰電池的充電曲線進行自適應變換來量化容量衰減程度，并推導出一個基于時間的SOH估算。Jim 等[6]提出了一種基于DEKF 和模式識別相結合的互補合作算法，以改進SOC估算和SOH估算。Bi 等[7]通過粒子濾波的方法，選擇不同的老化參數對SOH估算精度達到95%的置信區間，并揭示了各老化參數隨電極厚度方向的變化趨勢。模型法雖然取得了一些成果，但當系統處于復雜的應用場景中時很難建立起準確的數學模型，使其估算準確性受到了一定程度的限制。

由于大量電池數據可用性的增長，采取數據驅動法對電池SOH的估算獲得了更多的學者青睞。數據驅動法不需要探究鋰離子電池的老化機理和內部繁雜的電化學反應，嘗試從電池表征數據中提取電池退化的可用特征，然后通過機器學習方法建立這些特征與SOH之間的關系。Fan 等[8]利用深度學習技術學習充電曲線的共享信息和時間依賴關系，構建門控循環單元-卷積神經網絡(GRU-CNN)混合神經網絡估算鋰電池健康狀態(SOH)。Li 等[9]提出了一種經驗模型分解算法，從循環數據中提取高頻和低頻特征，然后分別建立Elman和LSTM-RNN 神經網絡來預測電池剩余壽命。現有模型雖然把輸入特征按照時間序列進行處理獲取序列向前的依賴關系，但未探究時間序列的后向依賴關系，這樣可能會導致重要信息的缺失。此外，不同的輸入特征對SOH的影響程度不同，上述的幾種模型也無法解決這個問題。

應用數據驅動方法的優點，本文給出了一種深度學習技術的鋰電池健康狀態估算方法，建立了基于注意力機制(attention)的雙向長短期記憶網絡模型(bidirectional long short term memory,Bi-LSTM)，根據恒流放電(CC)模式的放電曲線從電池容量衰減的角度來反應電池SOH的變化。

1 基于注意力機制的雙向LSTM 電池健康狀態估算

雙向LSTM 能夠更好地處理梯度消失和爆炸的問題，根據前后序列數據信息深度挖掘隱含狀態下的特征，輸出各隱含狀態，再引入注意力機制對每一時刻的特征給予特定的權重系數，輸出具有更高影響力的特征向量，提升模型對估算的準確性。基于注意力機制的雙向LSTM 估算模型框架如圖1 所示。

圖1 基于注意力機制的雙向LSTM估算模型框架

1.1 LSTM 循環神經網絡

循環神經網絡(RNN)是一種以序列數據為輸入的神經網絡，每個時刻的狀態都會受到此刻輸入的狀態和先前時刻狀態的影響，能夠將過去的信息傳遞給當前時刻，因此具有記憶效應，已被應用于自然語言處理、時間序列估算和系統建模。但在RNN 網絡中缺少非線性激活函數，致使系統早期的輸入信息丟失或產生無效信息。在長時間序列和復雜隱含層的反向傳播過程中存在梯度爆發和消失的現象，因此在一些估算問題中并不實用。為解決此問題，Hochreiter和Schmidhuber[10]在1997 年開發了長短期循環神經網絡模型(long short-term memory,LSTM)，在RNN 神經元的基礎上增加了3 個閾值結構，這3 個閾值結構為輸入門、忘記門和輸出門，可以有效緩解梯度消失或梯度爆炸的現象，提高了對序列數據的長期記憶能力。LSTM 神經元框架如圖2所示。

圖2 LSTM單元框架

忘記門用于LSTM 神經元的正向傳導，它來決策要丟棄當前狀況的哪些信息，由式(1)所示：

輸入門來決策要在神經元狀態中保存某些信息，可以描述為式(2)和(3)所示：

單元狀態Ct由式(4)得出：

輸出門來決策神經元狀態需要輸出的值。由式(5)和(6)所示：

式中：σ和tanh 為激活函數；W為權重矩陣；b為偏置；ht為t時所對應的神經元輸出向量；xt為t時所對應的神經元輸入向量；?為元素乘法；Ct-1為t-1 時所對應的神經元狀態。

1.2 雙向LSTM 循環神經網絡

雙向長短期記憶網絡(Bi-LSTM)鏈接了一個由序列出發點向序列末端前進的LSTM 和一個從序列末端向序列出發點前進的LSTM，從兩個方面決策出整個序列趨向，可以有效地抓取序列特點。Bi-LSTM 層，假設給定某鋰電池從標稱容量進行充放電循環至老化的i次循環，其中輸入序列為鋰電池放電過程中測得的數據序列X=[x1,x2,x3,…,xn]，xi為第i個輸入向量。X的維度為(n,3,1)，則xi的維度為(3,1)，i的取值范圍為[1,n]。經過前向的LSTM 得到前向隱含輸出狀態序列：

再經過反向的LSTM 得到反向隱含輸出狀態序列：

各個隱含狀態輸出再按位進行合并，即：

式中：wt為時間t時前向輸出的權重矩陣；vt為時間t時反向輸出的權重矩陣；bt為時間t時的偏置參數，雙向LSTM 的隱藏層維度為64，得到輸出ht維度為(n,128)。

1.3 注意力機制

注意機制經常被用來分析圖像和時間序列數據。與其他普通深度學習模型相比，基于注意力的雙向LSTM 模型可以得到更好的結果。根據鋰電池放電時的平均溫度、平均放電電壓、容量對于鋰電池SOH的影響程度不同。為進一步提升算法的精確度引入了注意力機制，注意力機制通過概率分配的方式，賦予輸入特征不同的權重，突出對結果影響較大的特征，忽略無關的信息，驅使估算結果更加精確。本文通過注意力機制賦予雙向LSTM 的隱含層狀態輸出向量不同的權重，來加強與電池衰退相關性大的輸入特征。注意力機制結構如圖3 所示。

圖3 注意力機制結構圖

圖3 中，h1,h2,h3,…ht為雙向LSTM 的隱含層輸出向量作為注意力機制的輸入，通過式(10)計算當前輸入特征的權重，即特征向量對鋰電池SOH估算模型貢獻程度大小，其計算方法為：

式中：ms為隨機初始化的注意力權值；ww為權重矩陣；bw為偏置參數。通過Softmax 函數歸一化權重，即加權系數：

注意力權重增強或削弱輸入特征信息的表達，將當前時刻得到的權重與對應特征相乘得到加權后的注意力輸出向量st∈Rn×128，計算公式為：

輸出層，隨后將注意力輸出向量st輸入全連接層，通過式(13)進行計算得到鋰電池SOH的估算結果。

式中：wf為全連接層的權重矩陣；b為偏置參數。

2 實驗驗證

2.1 實驗平臺

實驗條件為：NVIDIA GeForce GTX 1060 6GB 獨立顯卡，16 GB運行內存，500GB固態硬盤和64 位Windows 10專業版操作系統。在Jupyter Notebook 編程軟件構建Bi-LSTMATT 神經網絡，TensorFlow 2.0平臺對該網絡進行訓練實現鋰電池SOH的估算。

2.2 實驗數據

本文數據來自美國國家航空航天局Ames 研究中心的估算數據儲存庫(NASA Ames Prognostics Data Repository)[11]，實驗是在一個電池估算測試臺上完成的。該數據集共有四種不同類型的鋰電池數據，本文使用比較廣泛的5、6 號電池數據實驗，并對其分別測試了三種不同的工作曲線(充電、放電和阻抗測量)。充電：保持1.5 A 電流充電，電壓上升到4.2 V時再恒壓充電。過程中的電流衰減到20 mA 標志著充電完成。放電：在放電的過程中，保持2 A 電流對5、6 號電池放電，當電壓到達2.7 和2.5 V 時放電完成。阻抗測量：通過電化學阻抗譜測量電池阻抗。反復的充電和放電循環會致使電池加快老化速率，當電池到達壽命終點(EOL)標準時停止。5、6 號電池放電循環衰減曲線如圖3 所示。電池健康狀態(SOH)是電池滿電荷狀態下可釋放的全部容量與標稱容量的百分比，SOH的計算公式為：

式中：Qi為第i次放電循環中釋放的容量；Qfresh為電池的標稱容量。

本文選取實驗中容易測得的平均放電電壓、平均放電溫度和容量作為樣本特征，對鋰電池SOH進行估算。5 號和6號電池共進行了168 次充放電循環實驗，總樣品數量為168個。選取前120 個樣本為訓練集，后48 個樣本為測試集進行實驗。由圖4 可以看出，隨著電池充放電循環次數增加，容量不斷衰減。

2.3 實驗過程

步驟一：處理數據集中的數據獲取平均電壓、平均溫度和滿電荷狀態下的容量對其進行歸一化操作。將整個充電數據劃分為訓練數據和測試數據。

步驟二：設置Bi-LSTM-ATT 的超參數；配置系統中優化函數并初始化Bi-LSTM-ATT 中的權值。

步驟三：利用訓練數據，訓練模型。

步驟四：用訓練過的Bi-LSTM-ATT 模型對測試數據進行SOH估算，以檢驗方法的性能，框架流程圖如圖5 所示。

圖5 估算SOH框架流程圖

2.4 評價標準與結果分析

選用均方根誤差(RMSE)式(15)，絕對百分比均方誤差(MAPE)式(16)來評價Bi-LSTM-ATT 模型估算電池SOH的準確度。該標準廣泛用于測量估算值與實際測量值之間的關系。一般來說兩者的值越接近于零，說明模型估算的準確率越高。

式中：n為樣本數；yi為第i個樣本真實值為第i個樣本的估算值。

圖6 為Bi-LSTM-ATT，Bi-LSTM，LSTM 在5、6 號電池上的估算結果，均設置同樣的參數完成訓練。從圖6(a)、(c)可以看出，Bi-LSTM-ATT 模型能夠更為準確地捕捉到電池的退化趨勢，與真實值之間的擬合曲線最接近。原因在于Bi-LSTMATT 模型可以反復計算電壓、溫度、容量與SOH之間的關系，并從中提取出更多的特征，表現出更好的估算效果。圖6(b)、(d)還表明該模型與真實值之間的估算誤差較小，可對電池的狀態進行良好的判定以便展開預測性維護從而降低成本，提高系統的性能。

圖6 模型估算結果

表1 給出了LSTM、Bi-LSTM 和Bi-LSTM-ATT 對5、6 號電池的估算性能。從數據可以看出，Bi-LSTM-ATT 模型的RMSE和MAPE明顯低于另外兩種模型。與次優模型相比，在5、6 號電池數據集上RMSE分別降低了0.004 3 和0.002 8，MAPE分別降低了0.33%和0.29%。

表1 不同模型的對比結果

以上三種模型中均具有相同的神經元數量、優化函數、激活函數、批處理大小、遍歷次數等，且輸出層由一個僅含一個神經元的Dense 層構成。具體設置如表2 所示。

表2 三種鋰電池SOH 估算模型設置

3 結語

為提升實際工況下鋰電池SOH估算準確度，提出了基于注意力機制的雙向LSTM 鋰電池SOH估算模型。該方法將鋰電池測量數據作為一個時間序列，通過雙向LSTM 捕捉時序中的重要信息并通過注意力機制分配特征不同的權重，提高了SOH估算準確度。在NASA 鋰電池數據集上RMSE和MAPE都保持在0.004 5 和0.30%以內，克服了傳統方法需要考慮電池內部的復雜機理并證明了本方法的有效性。需要說明的是，與現有的其他方法相比LSTM 需要更長的訓練時間；長期的SOH估算往往受到充放電電流倍率、放電深度、放電循環區間等不確定因素的影響，這些因素需要在下一步研究中考慮。