基于CNN-BiLSTM的鋰電池剩余使用壽命概率密度預測

劉 澤，張 闖，齊 磊，金 亮，劉素貞

(1.河北工業大學電氣工程學院，天津 300130；2.華北電力大學電氣與電子工程學院，北京 102206)

鋰離子電池具有制造成本低、高效、環保等優點，被廣泛應用于電動汽車、軍事裝備、航空航天等領域。隨著鋰離子電池循環充放電，其性能不斷退化，作為電氣裝備的重要組件，可能會導致設備故障，進而引發嚴重的安全事故[1]。為確保鋰離子電池安全正常使用，開展鋰離子電池的剩余使用壽命(remaining useful life，RUL)預測具有重要意義。

多年來，國內外學者通過數學或電化學模型對鋰離子電池的內部動態變化過程進行分析，以實現電池的壽命預測。然而，鋰離子電池內部狀態不可測，其電化學反應過程受到實際工況以及外部溫度、濕度等環境的影響，使得其模型的建立較為復雜且泛化性較弱。隨著傳感技術的迅猛發展，多類型、海量的鋰離子電池性能退化數據被獲取，基于數據驅動的壽命預測逐漸成為了研究熱點。文獻[2]考慮到極限學習機(extreme learning machine，ELM)的缺點和電池數據的增加，將寬度學習(broad learning，BL)與ELM 結合，提高了預測精度和效率。但由于模型的參數是隨機產生的，導致模型預測結果穩定性較差。文獻[3]把灰色理論與BP 神經網絡相融合，相比于單一的BP 神經網絡，具有更高的估算精度；但該模型可能會陷入局部極值，導致訓練失敗。雖然傳統的機器學習獲得了較好的預測準確度，但其精度受限于復雜的特征提取，預測穩定性難以保障。

隨著計算機運算性能的提升和算法的不斷創新，深度學習網絡憑借著復雜的結構，則可以避免特征工程提取，將數據輸入到網絡就可實現良好的預測。利用快速搜索聚類對電池的特征進行過濾選擇，將選定的特征輸入到堆疊降噪自編碼器網絡進行電池的RUL 預測，得到了較好的預測結果。以上鋰離子電池預測為點預測，而不同工況條件下預測的結果往往具有不確定性。相較于確定的點預測，概率密度預測可以描述未來任意循環周期下的鋰離子電池容量概率密度分布信息，文獻[4]研究了非線性分位數回歸問題，提出了神經網絡分位數回歸模型，進而給出了概率密度預測方法；文獻[5]將其應用于資產收益與風險的預測研究。

鋰離子電池容量衰減過程在時間上前后相互關聯，在考慮當前信息的同時也有必要考慮到將來的狀態。雙向長短時記憶循環神經網絡(bidirectional long short-term memory,BiLSTM)可以整合向前和向后兩個方向的結果作為最終結果的輸出，適用于具有時間序列的預測。文獻[6]利用BiLSTM神經網絡自動提取了深層的軸承振動信息，實驗證實了故障預測較高的準確度。盡管BiLSTM 在處理時間序列上有強大的能力，但在輸入多維數據時其非線性擬合不足。文獻[7]利用卷積神經網絡(convolution neural network，CNN)將充電循環期間測得的電壓、電流和電荷容量的等時間間隔離散值作為輸入，在線估算鋰離子電池容量。由于CNN 可以捕獲相鄰數據序列之間的局部特征，而無法對時間序列進行有效的表達，因此，可以考慮與循環神經網絡模型結合，提升預測精度。

本文提出了一種CNN-BiLSTM 模型與分位數回歸相結合的方法，對電池的RUL 進行概率密度預測。將CNNBiLSTM 相融合來預測不同分位數下的鋰離子容量，進而得到容量概率密度分布和鋰離子電池的RUL 概率密度分布。

1 深度學習模型原理

1.1 卷積神經網絡

CNN 是包含卷積運算和深層結構的前饋神經網絡，卷積層使用卷積核對局部區域進行卷積輸入數據以生成相應的特征；池化層對其進行下采樣，實現數據的降維；而全連接層將提取到的局部特征變為特征向量，最后再傳入到BiLSTM 神經網絡進行預測，結構如圖1所示。卷積層采用式(1)計算：

圖1 卷積神經網絡結構

式中：ω為卷積核；g為卷積核的大小；xi:i+g-1為i到i+g-1 的特征向量；b為偏置項。得到特征矩陣G，即G=[c1,c2,……c6]，然后經過池化層，對卷積層進行下采樣得到維度較小的特征，這里采用其最大值，如式(2)，最終將池化層提取到的特征輸入到全連接層。

1.2 雙向長短時記憶循環神經網絡

圖2 為LSTM 神經元細胞的內部工作圖，主要通過遺忘門、輸入門和輸出門三個基本機構實現控制。

圖2 長短時記憶循環神經網絡結構

LSTM 最核心的部分是遺忘門和輸入門，其可以實現有效的長期記憶。遺忘門可以忽略以前的無用信息，Sigmoid為遺忘門的控制層，決定當前時刻輸入的xt和上一時刻輸出的ht-1通過或者部分通過，如式(3)所示：

輸入門可以控制當前時刻數據流入細胞，輸入門的Sigmoid 層決定哪些值可以更新，tanh 層用來生成新的候選值向量，如式(4)、式(5)：

神經元細胞的舊狀態Ct-1更新為Ct，如式(6)：

輸出門的輸出值ht是通過上一時刻ht-1和當前時刻輸入xt經過sigmoid 層，與一個經過tanh 層的最近時刻Ct的狀態相乘計算而得到的。該過程的計算公式為：

式中：W和b為對應公式的權重和偏置項；σ為sigmoid 激活函數；tanh 為雙曲正切函數。

BiLSTM 是LSTM 的變體結構，由前向LSTM 與后向LSTM 層構成，從兩個相反的方向獲取信息，可以同時考慮數據的歷史和將來信息，能夠挖掘數據更加深層次的時間序列規律，提高預測精度，BiLSTM 的結構如圖3 所示。在每個時間t，輸入同時提供向前與向后的LSTM 的神經網絡，其輸出最終結果可以表示為：

圖3 雙向長短時記憶循環神經結構

1.3 分位數回歸

分位數回歸是響應變量S與解釋變量X的條件分位數之間一種線性關系的模型[8]。即：

式中：QS(τ|X)為分位數τ取值在0 到1 的條件下，解釋變量X對應的響應變量S的估計值；回歸系數向量β(τ)=[β0(τ),β1(τ),β2(τ)X2,……,βk(τ)]’，隨分位數τ的變化而變化。

參數向量β的最優估計值可以通過如下公式求解：

其中ρτ(·)為檢驗函數，其具體求解過程為：

2 概率密度預測模型

2.1 基于CNN-BiLSTM 的預測模型

本文提出基于CNN-BiLSTM 的模型，如圖4 所示。

圖4 CNN-BiLSTM 結構

在鋰離子電池RUL 的預測過程中，每次恒流-恒壓充電，循環次數、電壓、內阻抗均對應一個共同的電池容量。而卷積神經網絡中的卷積核可以捕獲測得數據間的相關性，通過實現局部權值共享，從而可以挖掘老化數據相鄰局部范圍內的共同特性。在卷積層中，輸入循環次數、電壓、內阻抗特征由卷積核提取。然后，通過全連接層將其轉化為特征向量輸出到BiLSTM 神經網絡。BiLSTM 層利用滑動時間窗口對CNN 提取到的特征進行時間序列學習，獲得內部時間特征和退化趨勢的變化規律。在BiLSTM 神經網絡訓練過程中，將輸出的結果與樣本標簽值對比，把誤差進行反向傳播更新BiLSTM 的節點權重，最后通過全連接層將其結果輸出。

2.2 CNN-BiLSTM 神經網絡分位數回歸

本文將CNN-BiLSTM 神經網絡與分位數回歸結合，提出了一種CNN-BiLSTM 神經網絡分位數回歸模型，構造如下的分位數回歸損失函數。

當τ在0 到1 之間不斷取值時，通過優化器不斷優化權重w偏置b，使Loss 函數達到最小。最終可以得到不同分位數下輸入數據x對應預測值，即：。

2.3 核密度估計

核密度估計是一種不依賴任何分布，從數據樣本自身去得到估計值的概率密度分布[9]。對于一個預測點，不同分位數下得到一組{x1,x2,……xi,xj,xn}數據，可以通過如下公式得到核密度估計。

式中：為估計數據的標準差，在本文中采用高斯核函數(Gaussian kernel function，GKF)。

式中：λ 為帶寬的平滑參數，影響分布的形狀。

2.4 評價指標

為了衡量鋰離子電池RUL 的預測精度，采用多個評價指標來評估本文模型的效果，包括預測剩余壽命的絕對誤差、相對精度、預測容量的平均絕對誤差、均方根誤差以及預測容量區間覆蓋率和平均寬度[10]。

(1)剩余壽命的絕對誤差(absolute error，AE)、剩余壽命的相對精度(relative accuracy，RA)、容量的平均絕對誤差(mean absolute error，MAE)和容量的均方根誤差(root-meansquare error，RMSE)是評價實際真實值與預測值(概率密度預測模型的眾數或中位數)的偏差，其數學公式如下：

式中：RP為預測剩余壽命循環次數；RT為真實剩余壽命循環次數；n為預測電池容量的循環周期數；x(i)為第i個周期電池容量的真實值，xˉ(i)為電池容量預測值。

(2)區間覆蓋率表示實際值落在預測區間的比例，是評估預測區間準確度和可靠性的重要指標，采用式(21)計算。

式中：N為測試集的總個數；CP為區間覆蓋率。

式中：pi為第i個循環周期的容量；Ii為第i個循環周期的預測區間。

區間覆蓋率盡管越高越好，但是當區間足夠大時，覆蓋率成為1，失去了意義，因此需要與預測區間平均寬度共同去衡量。

(3)預測區間平均寬度(mean width percentage，MWP)表示在置信度下電池容量預測區間上界與下界的差值，本文選取90%置信區間，預測區間平均寬度越小，表示其銳度越高。

3 算例分析

3.1 數據集構建

本文采用馬里蘭大學CALCE 的CX2 電池數據集，該電池的額定容量為1.35 Ah。所有CX2電池都經歷相同的循環充放電過程：以恒定電流0.5C充電，直到電壓達到4.2 V，然后維持4.2 V 直到電流降至0.05 A；以恒定電流0.5C放電，直到電壓降至3 V。電池容量一般降至額定容量的70%認為電池失效，達到了壽命終點(end of life，EOL)，本文選用的數據集的電池EOL 為0.945 Ah，共進行了1 262 次循環。電池容量的退化趨勢是一個非線性波動較大的過程，如果選用數據早期退化的過程進行預測，會使預測結果產生較大的誤差，所以選用訓練集為原始數據集的80%，測試集為原始數據集的20%。

3.2 模型參數設置

本文分位數τ的取值范圍為[0.01，0.99]，其間隔為0.01，共計99 個數據，經過多次手動調參實驗，最終得到CNNBiLSTM 分位數回歸模型的主要超參數，如表1 所示。

表1 超參數設置

本文的模型是用python 軟件編寫，軟件框架是基于keras神經網絡庫的Tensorflow 框架。

3.3 預測結果分析對比

圖5 展示了在低置信區間(40%)和高置信區間(90%)條件下的預測區間。從圖5 中可以看到，本文所提方法的預測區間與實際值波動大致相同，40%置信區間比90%置信區間的寬度要窄，且預測結果的90%置信區間可以基本包含真實值，但后期預測區間明顯變寬，這是由于后期電池的容量退化趨勢加速，容量再生也變得浮動較大，而模型是利用前期數據訓練得到的，對后期容量的預測結果不確定性增大，因此會導致后期的預測區間變寬。

圖5 不同置信區間的預測結果對比

基于已訓練的模型可以預測每個循環周期下的容量和剩余使用壽命的概率密度分布。以其中一個循環周期為例，圖6 為真實容量達到失效閾值0.945 Ah 時，第1 262 次循環周期的預測容量概率密度曲線。圖7 為達到閾值條件時預測循環次數概率密度曲線。從兩張圖可以看出，真實值在概率密度曲線峰值附近，且更靠近預測的中位數。通過本文方法描述電池剩余使用壽命的不確定性，能夠為使用者提供較為豐富的電池容量信息。

圖6 第1 262次循環周期的容量概率密度

圖7 達到閾值條件下的預測循環次數概率密度

為了證明使用本文方法預測的有效性，將使用統計學中代表性的中位數與眾數作為點預測結果，圖8 為實際值與預測結果的對比圖，可以看出中位數預測結果相對于眾數可以更好地吻合容量的實際值，但是在估計電池剩余容量時，眾數也有重要的參考價值。

圖8 眾數和中位數點預測與真實值對比

為了進一步說明本文所提出電池RUL 概率密度預測模型的性能，選用同超參數下BiLSTM、LSTM 和CNN 模型的預測得到中位數與其對比進行評估，如表2 所示。

表2 模型對比評估

表2 中CP 與MWP 值均為90%置信區間下預測得到的，通過表2 得出CNN、LSTM、BiLSTM、CNN+BiLSTM 中位數預測RMSE的指標分別改進了0.010 4、0.009 7、0.009 2、0.008 3。MAE 的指標分別改進了0.013 6、0.012 7、0.012 1、0.010 4。此外，AE 的指標分別改進了7、6、3、1。說明了CNN對于模型預測精度有提升作用。

4 結論

本文提出了一種CNN-BiLSTM 與分位數相結合的概率密度預測，并通過算例進行驗證，得出結論如下：

(1)采用雙向長短時記憶循環神經網絡與卷積神經網絡相結合，實現分位數概率密度預測，相比點預測，本方法不僅可以使用中位數或者眾數實現點預測，而且可以獲得任意循環充放電周期下鋰離子電池容量和剩余使用壽命的完整概率分布。

(2)本文提出CNN+BiLSTM 模型的中位數的AE 值、RMSE 值和MAE 值均低于CNN、BiLSTM 和LSTM 模型。盡管CNN+BiLSTM 模型在90% 置信區間下MWP 的值比BiLSTM 的高，但其他評價指標是最高。因此，本文模型的預測精度整體而言是最好的。由于本文模型采用多個模型的組合，結構變得復雜，計算量增大，因此，優化算法結構、提升計算效率將在以后的工作中進一步開展。