一種結合注意力機制的IGBT失效預測方法研究

蔣 闖，艾 紅，陳雯柏，劉輝翔，馬 航

(北京信息科技大學 自動化學院, 北京 100192)

0 引言

絕緣柵雙極晶體管(insulated gate bipolar transistor，IGBT)在現代能源、航空航天等領域有著廣泛的應用，為保證設備的安全可靠運行，對IGBT的失效預測具有重要意義。IGBT可靠性分析的方法主要有兩類，基于物理模型的方法和基于數據驅動的方法[1]。目前，基于數據驅動方法的研究中對輸入參數選擇多種多樣。Li等[2]通過溫度循環方法對IGBT模塊進行老化試驗，獲得集電極發射極通態電壓Vce(on)和電流Ice作為老化參數，提出了一種基于粒子濾波理論的方法來預測 IGBT的性能。Ge等[3]分析并選取集電極發射極的瞬態尖峰電壓作為失效特征參數，提出了一種基于自回歸遞歸網絡概率預測的IGBT剩余使用壽命預測方法。值得注意的是，IGBT失效過程中會引起多個監測參數變化，目前研究多是采用單參數或雙參數作為輸入，會丟失IGBT老化失效過程中的一些特征信息。本文中采用集電極發射極電壓Vce作為失效參數，輔以集電極發射極電流Ice，柵極電壓Vg，柵極發射極電壓Vge作為輸入參數進行預測。

研究表明，使用長短時記憶網絡(long short term memory，LSTM)[4-5]方法的時間序列預測分析已經取得了很好的性能。在IGBT的可靠性分析領域，Li等[1]提出了一種能夠有效處理時間序列數據的LSTM網絡來預測IGBT剩余使用壽命。高偉等[6]提出了一種基于三層LSTM網絡的IGBT故障預測方法。但是，傳統的LSTM在預測中仍然存在一些局限性，它只使用上次時間步長的學習特征進行回歸或分類[7]，沒有專注到所有時間步更重要的特征。

本文中提出一種基于注意力機制的LSTM與卷積神經網絡(convolutional neural network，CNN)的融合模型LACNN用于IGBT失效預測。模型中的交叉連接結構，不但在單通道中可以深入挖掘LSTM-Attention的特征，還可以使數據經由CNN和LSTM-Attention組成的雙通道結構保留兩者的優勢。不但增加模型的信息挖掘能力，還可以保留長依賴關系。為了使輸入數據包含退化過程較為全面的信息，實驗采用IGBT多參數指標作為輸入，同時注意力機制來學習特征和時間步的重要性，并為更重要的特征分配更大的權值。該方法通過NASA AMES實驗室提供的開放數據集(獲取網址http://ti.arc.nasa.gov/tech/dash/diagnostics-and-prognostics)進行驗證并通過和傳統的深度學習方法對比，證明了所提方法的有效性。

1 IGBT失效和老化試驗

1.1 IGBT失效分析

目前發現的IGBT失效是由引線鍵合剝離、芯片焊接退化、柵極氧化物退化和封裝分層機制引起的。圖1表示了IGBT的故障來源，其中有61%的故障是由較高的穩態溫度和溫度循環引起的[8]。

在工作過程中，IGBT暴露在溫度循環中，由于反復的熱應力，鋁絲和硅片的熱膨脹系數之間的不匹配在鋁絲粘結界面上產生了應力，這些應力會使模具和封裝部件發生膨脹和收縮，導致變形和退化，最終導致IGBT失效[9]。

圖1 IGBT故障來源

1.2 加速老化試驗

正常工況條件下，IGBT器件從開始工作到老化失效一般會經歷幾千小時的時間。為了分析器件退化性能，Greg等[10]設計了一個能夠在柵控功率晶體管上進行魯棒性實驗的加速老化系統，以總結和分析預測指標。功率循環加速老化試驗和熱循環加速老化試驗是目前廣泛應用于功率器件長期性能測試的標準可靠性加速老化試驗方法，熱循環加速老化試驗控制流程如圖2所示。

圖2 加速老化試驗控制流程框圖

在加速老化試驗中，IGBT被反復打開和關閉，直到外殼溫度達到之前設定的最大值Tmax。當溫度達到Tmax時，關閉設備直到溫度下降到Tmin。然后設備在溫度Tmax和Tmin之間循環。熱電偶模塊包括T型熱電偶和信號調理電路，實現對功率器件表面溫度的測量，是加速老化試驗中的關鍵模塊。傳感器電信號采集則是對實驗過程中IGBT的電流、電壓等的監測。加速老化試驗的主要目的是識別設備開始運行至故障失效過程中隨運行時長變化的參數，其變化可以映射為設備的退化過程。在實際工程中監測這些前兆參數，就可以實現合適的診斷和預測算法，以提供故障的早期預警，并預測設備的剩余使用壽命[11]。

2 LACNN融合模型

LSTM 能夠處理具有復雜時間關聯性的數據，而CNN具有強大的特征提取能力。本文中使用交叉連接的方式結合兩者的特點并引入注意力機制提出了LACNN融合模型。

2.1 模型分析

文獻[12]證明，在時間序列問題上增加CNN網絡可以提高LSTM的性能。引入CNN網絡以提高模型的特征提取能力，不同于以往研究的CNN與LSTM并行使用，采用LSTM后接CNN串聯的結構。借鑒深度殘差網絡[13](deep residual network，ResNet)中的交叉連接思想在網絡結構件間使用跳連，使數據中的時間與空間信息得到充分利用。在首層使用LSTM能夠很好地保留原始數據中對預測任務有重要影響的時間信息，在其后引入的在自然語言處理中起重要作用的注意力機制，則彌補LSTM只使用上次時間步長的學習特征進行回歸預測的缺點。最后接入CNN網絡深度挖掘數據特征，大大增加模型的預測精度，構建LACNN融合模型如圖3所示。

模型的輸入數據是多個時間步的多個物理量，雖然比單指標輸入含有更全面的特征，但是也夾雜了大量無用信息且加大了計算資源。因此，引入注意力機制分配有限的信息處理資源給更重要的部分，提升學習效率的同時也提高了預測的精度，并增強了模型可解釋性。模型中LSTM能夠學習到長期依賴性的信息，而CNN可以在提取時不改變特征，它們的組合提高了模型整體的精度，增強了處理非線性數據的能力。提出的模型主要包含一個LSTM-Attention部分和一個CNN部分，從它們中提取的特征被組合以生成最終結果，以下將詳細說明其結構。

圖3 LACNN融合模型

首先采用滑動時間窗口法處理數據。大小為Nw的窗口沿著時間序列滑動，每滑動一個單元，反饋滑塊內的數據，作為預測模型的輸入，二維數據經過時間窗口處理后，每個樣本尺寸為(Nw，m)，其中Nw表示窗口大小，m表示特征數量[14]。滑動窗口的步長可根據需求設定，為得到更多數據，步長設置為1。

遺忘門：

ft=σ(Wf·[ht-1,xt]+bf)

(1)

輸入門：

(2)

(3)

輸出門：

(4)

Attention層為更重要的特征或時間步分配更大的權值，即對ht進行分配權重并計算最終結果。假設LSTM網絡對一個樣本學習到的特征可以表示為H=(h1,h2,h3,…,hd)T，T是該轉置操作。其中hi∈Rn，n為特征的序列步數。圖4為Attention內部結構。

圖4 Attention內部結構

根據自注意機制，第i個輸入特征hi的不同順序步驟的重要性可以表示為si=φ(WThi+b)，其中W和b分別是權重矩陣和偏差向量，φ(·)是得分函數。在得到第i個特征向量的得分后，可以使用softmax函數進行歸一化，如式(5)所示[7]:

(5)

注意機制的最終輸出特征O可以表示為：

O=H?A

(6)

式中：A=(a1,a2,a3,…,ad)，?是元素乘法的操作。

Attention層得到的特征送入CNN層，使用卷積核大小為1，沿著時間維度進行一維卷積。CNN對輸出特征O進行卷積操作，其特征映射可以用式(7)表示為：

cj=f(wj°O+b)

(7)

式中： ° 表示點積；wj表示窗口向量；b∈R表示偏置項；f表示非線性變換函數。

實驗中選擇Relu作為非線性函數。在模型中，使用n個過濾器生成如下特征映射：

W=[c1，c2，c3，…，cn]

(8)

式中：ci為第i個過濾器生成的特征映射。

最后，將Attention的輸出與CNN層的輸出拼接，得到融合的特征M=[O,W]，最后在全連接層后添加一個神經元，代表預測失效參數的輸出值。對失效特征參數的預測是一個典型的回歸問題，因此提出方法的損失函數設置為均方誤差(mean square error，MSE)損失。給定預測和真實值，可以計算訓練數據上的MSE損失并反向傳播，生成每一層(如LSTM層、注意力層和CNN層)的誤差梯度。然后，根據誤差梯度，對模型各層參數采用自適應優化算法進行優化。考慮到深度學習模型中的過擬合問題，需要采用適當的正則化技術。

2.2 過程分析

根據以上描述，LACNN模型的訓練和測試過程歸納為算法1，如下所示。

算法1

1) 輸入：

數據預處理，對NASA提供的數據進行分析，最終提取出本實驗需要的數據集。預處理后的信號樣本x={xi∈RN×L×M∣i=1,…,K}其中i表示訓練數據集中的索引，N是樣本數，L是每個樣本的時間步數，M是通道數。

2) 初始化：

初始化各層參數。

3) 前向傳播：

數據首先送入LSTM層，對時間信息進行編碼，并保留LSTM層的隱層狀態，然后Attention層分配權重，最后加入CNN網絡學習更全面的特征。

使用 Dropout層來避免過擬合。

使用損失函數MSE計算損失。

4) 反向傳播：

使用Adam優化算法計算誤差梯度并調整各層權值。

5) 循環：

不斷循環3和4直到最大迭代次數或誤差精度滿足要求。

6) 輸出：

經過訓練的LACNN模型。

提出的基于注意力機制的IGBT失效預測方法為：對集電極發射極電壓、集電極發射極電流、門極發射極電壓和門極電壓進行數據分析篩選，選定IGBT關斷時刻的各項參數作為研究對象與失效指標，建立LACNN融合模型對失效參數進行預測。在實際工程中對比失效參數預測結果與IGBT實際運行過程中產生的數據，確定差異值，若差異值大于最大誤差值ε，將當前誤差超出次數加一，當誤差超出次數大于次數閾值n，生成失效報警信息，工作人員根據報警信息對IGBT進行檢修與更換。其中，ε為模型訓練結束時的最大誤差，n設置為與窗口大小等同。

3 實驗與分析

3.1 實驗設置

3.1.1數據分析

使用美國宇航局研宄中心的老化數據對IGBT失效預測問題進行研究。該加速熱老化實驗條件如表1所示[10]。

表1 IGBT熱加速老化實驗條件

從開始至器件出現故障失效，實驗共經歷 180 min左右的時間，采集到瞬態電壓數據418組，每組數據包含集電極發射極電流、柵極電壓、集電極發射極電壓等。完整的集電極發射極電壓Vce變化趨勢如圖5所示。

圖5 集電極發射極電壓變化趨勢

圖5中橫坐標表示采樣點數(按時間順序)，縱坐標表示集電極發射極電壓Vce，隨著老化試驗的進行，Vce外包絡線呈下降趨勢。研究發現，圖中呈現下降趨勢的點就是關斷瞬間的集電極發射極尖峰峰值電壓，如果尖峰較高，可能會發生過電壓擊穿，導致失效。因此檢測并預測 IGBT 的關斷尖峰電壓具有十分重要的意義。

第50、150、300、400組的IGBT開關一次完整數據如圖6所示。可以觀察到IGBT關斷過程中集電極發射極電壓會出現瞬時尖峰，且峰值逐漸變小。為更直觀地體現，圖7在同一坐標系下給出了跳變時刻附近的電壓數據值。可以很明顯看出尖峰電壓值在IGBT退化過程中呈下降趨勢，因此，集電極發射極關斷瞬間尖峰峰值電壓Vce-peak可以作為IGBT失效預測依據。

圖6 集電極發射極開關一次電壓信號

圖7 集電極發射極瞬態峰值

提取每組數據的尖峰電壓值，共獲得418組失效參數指標，如圖8所示，圖中橫坐標表示釆樣周期，縱坐標表示IGBT退化過程中集電極發射極實時關斷尖峰電壓值。

圖8 集電極發射極實時關斷尖峰電壓值曲線

3.1.2評價標準

為評價模型的性能，文中采用如下評價標準：平均絕對誤差(mean absolute error，MAE)、均方根誤差(root mean square error，RMSE)、平均絕對百分比誤差(mean absolute percentage error，MAPE)和決定系數(coefficient of determination，R2)。

(9)

(10)

(11)

(12)

3.2 結果與分析

3.2.1參數影響

1) 窗口大小分析：在數據預處理過程中，窗口大小是最重要的參數之一。為了評估這個參數的影響，實驗過程中用不同的窗口大小(3、6、9、12) 來實現所提出的方法。為了實驗結果的嚴謹性又設置較小窗口4和較大窗口32作為實驗對照。考慮到參數初始化時的隨機性，每組參數下的模型運行10次，RMSE與MAPE結果箱線圖如圖9所示。

實驗結果表明，更大的窗口可以包含來自數據集更多的信息，以便于準確預測，但是在窗口增大到一定數值后在測試數據集上的性能反而會下降，這可能是由于當窗口含有太多信息時對于文中數據集過擬合造成的。在實際應用中需要通過對訓練數據交叉驗證，對不同的數據集選擇不同的窗口大小。根據實驗結果，采用窗口大小6時模型最優。

圖9 LACNN在不同窗口大小條件下的實驗結果

2) 隱層節點數分析：在模型中，LSTM是直接與輸入數據相連的網絡層，因此它的隱層節點數對建立的神經網絡模型性能影響很大。考慮到LSTM的結構以及輸入數據維度為4，選擇4、16、64、128、256、512作為節點數目。訓練模型得到的RMSE以及平均每個epoch所需要的時間t(單位ms)如圖10所示。

圖10 使用不同隱層節點數的實驗結果曲線

實驗結果表明，適當增加節點數目可以提高模型性能。這是因為這一層中的節點代表了之前所有數據的特征，當節點數目增加時，網絡所能表達的特征更加的全面。然而，節點數目超過一定的值，模型在測試集上的性能不再提升或略有下降，且訓練時長大大增加，這不利于最優模型的建立。因此，選擇LSTM隱層節點數為128所得到的模型為最優。

由于篇幅限制，主要展示以上實驗結果。對于所提出的LACNN模型，經實驗分析后結構參數如表2所示。

表2 模型參數

3.2.2模型對比

為了驗證所提方法中采用多參數輸入并引入注意力機制的有效性，分別構建LSTM和LSTM-Attention模型，然后使用這2個模型來驗證測試集中的部分數據。預測結果如圖11所示。

圖11 模型預測曲線

圖11中橫坐標是采樣周期，縱坐標是失效特征參數。由圖11可知，LSTM-Attention預測的結果比單獨使用LSTM的預測結果更加精確，由表3可知RMSE提升了1.27%。證明采用多指標預測并引入Attention機制在IGBT失效預測任務中能提高模型精度。

為解決僅使用LSTM網絡進行訓練不能全面學習到數據中深層特征的問題，進一步提高模型預測精度，模型中加入CNN網絡層，構建LACNN模型，極大提升對特征提取與處理的能力。選擇數據集的90%作為訓練，10%作為預測，圖12為LACNN模型在測試集的誤差分布直方圖。橫坐標表示預測值與實際值之間的差值，縱坐標表示與誤差區域相對應數據的數量。由圖12可知，預測誤差分布主要在區間[-0.05，0.05]且主要集中在0.004附近，證明所提模型預測精度符合要求。

圖12 預測誤差分布直方圖

以MAE、RMSE、MAPE、R2作為評價指標，在NASA的公開數據集上進行驗證，不同預測模型的性能如表3所示。LSCNN指的是帶有交叉連接結構的LSTM-CNN模型。

表3 不同預測模型的性能

由表3可知，在處理帶有時間序列信息的回歸預測問題上，LSTM的表現明顯優于CNN和傳統模型。而相比于使用單一的LSTM網絡，CNN-LSTM、LSTM-CNN、LSCNN和LSTM-Attention都有更好的表現，證明在IGBT失效預測任務中可以通過CNN和Attention來增強LSTM的性能，主要原因是CNN具有提取數據深度特征的能力，Attention則可以專注于更重要的特征和時間步長，從而提升LSTM的性能。而在LSTM-CNN、CNN-LSTM與LSCNN三者中，LSCNN的效果最好。因此在LSTM-CNN框架下將交叉連接結構與Attention兩者結合構建LACNN融合模型，并應用到IGBT的失效預測中，預測精度得到巨大提升。結果如下，RMSE：0.020 8，MAE：0.016 5，MAPE：0.213 7，R2：0.987 9，表明所提LACNN模型對IGBT失效特征參數預測的精度更高。

4 結論

1) 交叉連接結構不但在單通道中可以深入挖掘LSTM-Attention的特征，還可以使數據經由CNN和LSTM-Attention組成的雙通道結構保留兩者的優勢。不但增加模型的信息挖掘能力，還可以保留長依賴關系，而且融合的多層級特征提升了模型的泛化性與魯棒性。

2) 在IGBT失效預測任務中采用多參數輸入并引入注意力機制不僅可以彌補傳統的LSTM只使用上次時間步的學習特征進行回歸預測的問題，還可以解決單變量輸入包含信息太少不能精確預測失效參數變化趨勢的問題。