故障類型增量場景下基于終身學習的軸承故障診斷方法

陳博戩，沈長青，石娟娟，朱忠奎，馮毅雄

(1.蘇州大學 軌道交通學院，江蘇 蘇州 215131；2.浙江大學 流體動力與機電系統國家重點實驗室，杭州 310027)

故障診斷已經成為現代工業系統中不可缺少的技術[1]。近年來，基于深度學習的故障診斷方法得到了空前的發展[2-4]?；谏疃葘W習的軸承等關鍵機械部件故障診斷方法往往要求各故障類型的足量數據且訓練集與測試集同分布；然而，在實際應用場景中，軸承存在不同的故障模式和故障程度，即對于診斷模型而言，雖然已經學習了某些故障模式和程度的診斷知識，但仍要面臨新診斷需求下存在故障類型增量，需要進一步提升模型泛化能力的問題。受限于深度神經網絡自身的特點，深度故障診斷模型在學習新數據時會遺忘已學習的舊知識，即現有模型直接學習新的故障類型將導致對舊故障類型的診斷性能不佳，這種現象被稱為災難性遺忘[5]；而收集所有已知故障類型的數據來重新訓練模型的成本過高甚至難以實現：因此，引入終身學習來克服深度學習模型的災難性遺忘，持續、增量地積累和遷移診斷知識，從而建立一個泛化能力更強的診斷模型。

在計算機視覺領域，已有的一些對克服災難性遺忘的研究被稱為終身學習、持續學習或增量學習[6]。文獻[7]提出了增量分類器和表征學習(Incremental Classifier and Representation Learning，iCaRL)，首先提出了基于典例的終身學習方法并將其與知識蒸餾[8]相結合。文獻[9]將終身學習的一些方法用于小樣本學習，但忽略了終身學習需解決的關鍵問題，即災難性遺忘。然而，基于終身學習的故障診斷方法的研究還很少。遷移學習和元學習是與終身學習有緊密聯系的學習范式[10]，在故障診斷領域是熱點話題：文獻[11]提出了一種用于電機軸承和齒輪箱故障診斷的遷移方法，文獻[12]提出了一種基于度量的元學習模型，以實現小樣本的故障診斷。遷移學習、元學習和終身學習都試圖通過在任務之間遷移知識來幫助目標任務學習，但遷移學習和元學習僅關注目標任務的性能，而終身學習則要求模型在所有已學習任務上都有良好的表現。基于終身學習的故障診斷方法可以不斷學習新的故障類型，減少訓練成本并且不斷積累、豐富知識，從而提高診斷模型的可靠性和泛化能力。因此，研究基于終身學習范式的故障類型增量的故障診斷具有十分重要的意義。

本文提出了一種新的基于終身學習的軸承故障診斷方法(Lifelong Learning Based Bearing Fault Diagnosis Method，LLBFDM)，用于具有故障類型增量的軸承故障診斷。LLBFDM基于一種高效、流行的終身學習方法iCaRL，為克服iCaRL存在的災難性遺忘并解決知識保留(穩定性)和知識學習(可塑性)困境[13]，本文提出了雙分支自適應聚合殘余網絡(Dual-branch Adaptive Aggregation Residual Networks，DAARN)，通過自適應聚合權重加權聚合DAARN中穩定分支和動態分支平衡模型的穩定性與可塑性，使用雙級優化程序優化聚合權重和模型參數，并通過一個具有故障類型增量的軸承診斷案例驗證本方法的有效性。

1 理論背景

1.1 終身學習

終身學習是通過模仿人類學習而開發的一種高效的學習模型，以實現在一系列連續的任務中持續地學習。終身學習模型可以像人類一樣提取并保留在一系列訓練任務中逐步出現的有效信息，并利用這些信息幫助學習新的任務。如圖1所示，終身學習有2個主要問題：災難性遺忘和穩定性-可塑性困境。

圖1 終身學習中的主要問題

終身學習的過程主要包括兩方面：知識遷移和知識積累。在終身學習中，學習一項新的任務相當于是對模型進行微調，這也是遷移學習中常用來遷移知識的方法。然而，單純的微調無法積累知識，模型將失去完成先前已學習任務的能力。這種在先前已學習任務上性能突然斷崖式的下降被稱為災難性遺忘。

終身學習的另一個主要問題是穩定性-可塑性困境。終身學習模型應該在克服災難性遺忘的基礎上，維持穩定性和可塑性之間的平衡，以實現對新任務敏感的同時，對舊任務的表現不產生破壞性的干擾；然而，終身學習模型很難在保持可塑性的同時實現良好的穩定性。穩定性-可塑性困境是對終身學習發展的一個新挑戰。

已經提出的關于終身學習的方法可以分為三類：正則化方法、知識重放和參數隔離。這些方法通?？梢越M合使用以獲得令人滿意的性能。

1.2 問題定義

1.3 所提方法背景

(1)

式中：Pc為類c的樣本數量；F為特征提取。

假設要選取t個典例，對于d=1,…,t，典例e為

(2)

ε=(e1,e2,…,et)。

(3)

在第n個階段，典例ε0:n-1={ε0,ε1,…,εn-1}和訓練數據Dn共同訓練模型Θn-1得到Θn，接著篩選典例εn。

知識蒸餾通過約束參數的更新方向以克服災難性遺忘[15]，在第n階段，分類損失為常用的交叉熵分類損失函數，可表示為

(4)

(5)

綜上，總的損失函數為

(6)

2 基于終身學習的軸承故障診斷方法

2.1 LLBFDM的終身學習過程

LLBFDM的終身學習過程分為初始階段和n個增量階段。LLBFDM由3個主要部分組成：數據預處理模塊、特征提取器F和分類器G。在數據預處理模塊中，故障的振動信號通過快速傅里葉變換(Fast Fourier Transform，FFT)轉換成頻域信號，然后將一維頻域信號轉換為二維信號。這個模塊在所有階段都是相同的，而其他2個部分在初始階段和增量階段是不同的。

2.2 兼具穩定性和可塑性的特征提取器DAARN

DAARN基于ResNet[16]結構，ResNet廣泛用于圖像識別領域，由殘差塊組成。本方法遵循iCaRL的設置，采用ResNet-32作為LLBFDM的骨干網絡。ResNet-32的結構見表1。

表1 ResNet-32的結構

在初始階段，特征提取器F0的結構是標準的ResNet-32。由于故障類型的遞增，在初始階段得到的模型不能可靠地診斷新故障，因此在增量學習階段采用DAARN，以獲得更可靠的診斷模型。

在終身學習中，學習一個新任務相當于對前一個任務學習得到的模型進行微調。微調一般有2種： 1)對所有網絡參數進行微調，稱為參數級微調；2)凍結部分網絡，對其余網絡參數進行微調，稱為部分微調。如圖2a所示，以三通道卷積神經網絡為例，Q為神經元數量，參數級微調更新了模型的所有參數。受文獻[17]的啟發，本文引入一種新的微調方式，稱為神經元級微調，如圖2b所示。神經元級微調凍結了模型Θ0的所有參數，并為每個神經元增加了一個新的權重參數。神經元級微調可以減少模型可學習參數的數量，從而避免過度擬合，并通過凍結初始模型的參數防止災難性遺忘。

圖2 DAARN的結構

xk=(Wk⊙βk)xk-1,

(7)

式中：⊙為哈達瑪積。

如圖2c所示，DAARN由2個不同的ResNet-32分支組成：一個動態分支和一個穩定分支。每個分支由3層相同類型的殘差塊組成，即3個動態塊(橙色)或3個穩定塊(藍色)。動態塊的訓練為參數級微調，穩定塊的訓練為神經元級微調。在完成初始階段訓練后，特征提取器F0被用來初始化動態分支，并在穩定分支中凍結。

用α和β分別表示動態分支和穩定分支的可學習參數。α可以動態適應新任務，β則是軟固定的，以盡可能地保留先前學習任務的知識。引入自適應聚合權重ω以平衡模型的可塑性和穩定性，ωα和ωβ分別代表動態塊和穩定塊的自適應聚合權重。輸入的故障數據x[0]通過3個殘差塊層獲得特征h。在第n個殘差層的動態塊和穩定塊的特征提取可表示為

(8)

式中：W0為從初始階段得到并凍結的神經元權重；f為單個殘差塊的特征提取。

第n個殘差塊層提取的特征可以表示為

(9)

2.3 雙級優化程序

(10)

(10)式的上半部分是上層問題，下半部分是下層問題。在下層問題中，模型參數Θn由所有可用數據ε0:n-1∪Dn進行更新，即

[Θn]←[Θn]-γ1?[Θn]Ln(Θn,ωn;ε0:n-1∪Dn),

(11)

式中：γ1為下層問題的學習率。

(12)

式中：γ2為上層問題的學習率。

3 試驗結果及其分析

3.1 數據集描述

輪對軸承故障數據采集試驗平臺如圖3所示，試驗臺大輪直徑為280 mm，小輪直徑為200 mm，V帶傳動中小帶輪基準直徑為95 mm，大帶輪基準直徑為200 mm，傳動比約為2.105。采用編碼器對轉速信號進行測量，轉軸每轉一圈編碼器可以發出600個脈沖。三軸加速度傳感器中的x，y，z方向分別是轉軸豎直方向、水平方向和軸向。用NI系統控制變頻器控制電動機轉速，電流傳感器測量變頻器電流。

圖3 自制輪對軸承故障數據采集試驗平臺

試驗軸承型號為NJ208E(外圈雙擋邊，內圈單擋邊圓柱滾子軸承)，設置直徑分別為0.2，0.3，0.4 mm的故障，每種尺寸包含內圈故障、外圈故障、滾子故障、內圈+滾子故障、外圈+滾子故障、內圈+外圈故障、內圈+外圈+滾子故障7種故障位置，分別用I，O，B，IB，OB，IO，IOB表示，共21種不同的故障類型。試驗轉速為400 r/min，采樣頻率為32 768 Hz，在2.4 kN載荷下使用測得的加速度信號構建故障類型增量數據集。模型的每個診斷任務包含7種相同故障尺寸的故障類型，如I0.2，B0.2，O0.2，IB0.2，OB0.2，IO0.2，IOB0.2，作為初始診斷任務；而I0.3，B0.3，O0.3，IB0.3，OB0.3，IO0.3，IOB0.3作為第1個增量診斷任務。每種故障類型由100個訓練樣本，100個測試樣本。總計3個任務，每次學習1個任務。

3.2 對比方法

目前，基于終身學習的診斷方法的研究十分稀少，通過比較相關的非終身學習方法、最流行的終身學習方法和消融試驗驗證LLBFDM的有效性及優越性，所有方法均使用ResNet-32作為骨干網絡，詳細情況見表2：R1是用新故障類型的數據與所有已知故障類型的數據一起訓練模型，通常用于多任務學習，訓練成本最高但結果也最理想，是終身學習表現的上界；R2是對整個深度神經網絡進行微調，以說明災難性遺忘；R3凍結了初始階段訓練得到的特征提取器，僅對分類器進行微調；M1是LLBFDM的基礎，iCaRL并沒有使用全連接層作為分類器，而是使用了最近鄰分類器；M2引入了一系列的方法，如余弦歸一化分類器(Learning Unified Classifier Incrementally via Rebalancing，LUCIR)，以克服災難性遺忘[18]；A1，A2用于驗證雙分支結構的必要性和重要性；A3用于驗證自適應聚合權重的有效性。

表2 對比方法

3.3 試驗實施細節

LLBFMD的超參數見表3：每個學習階段的學習率γ1初始化為0.1，學習率衰減因子設置為0.1，在第80和120個迭代時分別降低到0.01和0.001；學習率γ2也通過學習率衰減因子隨迭代次數下降；自適應聚合權重ωα和ωβ被約束為ωα+ωβ=1；在使用含有溫度參數K的知識蒸餾損失函數的方法中，K被設置為2。在M1和M2中，未描述的參數被設置為默認值，超參數的設置在所有試驗中均相同。

表3 LLBFMD超參數設置

每個訓練樣本有1 024個采樣點，經過數據預處理模塊后被重塑為3×32×32。每個故障類型的典例數固定為10個，典例總數隨著診斷任務的增加而增加。每個方法都進行5次重復試驗，并給出平均準確率和標準差。

3.4 結果分析

本試驗旨在驗證LLBFDM的有效性，為比較每種方法在克服災難性遺忘和解決穩定性-可塑性困境方面的能力，在完成每個階段的訓練后，分別給出T0和所有已學習任務的診斷精度，結果見表4和表5。

表4 各方法在任務T0上的診斷精度

表5 各方法在所有已學習任務上的診斷精度

各方法在任務T0上的平均診斷精度及標準差可以反映出其克服災難性遺忘的能力，由表4可知：R1的訓練結果最理想；R2體現了神經網絡在完成新任務的訓練而不采取任何行動后會發生的災難性遺忘現象；R3表明即使凍結了特征提取器，診斷模型在完成新任務學習后仍會有一定程度的知識遺忘；隨著學習階段的增加，M1和M2在T0的診斷精度不斷下降，但與R2相比仍有較高的診斷精度，表明知識蒸餾與典例可以防止模型的災難性遺忘；與M1，M2和A1，A2，A3相比，LLBFDM對T0的診斷在每個階段都取得了最高的精度，也是最接近R1的結果，克服災難性遺忘的能力令人滿意，保持了診斷模型的可靠性。

各方法在所有已學習任務上的平均診斷精度及標準差可以反映出其解決穩定性-可塑性困境的能力，由表5可知：R1是診斷性能的上限；R2由于災難性遺忘而性能較差，其完成第1個增量階段后在所有學習任務T0：1上的混淆矩陣如圖4所示，對整個網絡進行參數級微調將導致對舊任務T0的災難性遺忘，說明深度神經網絡缺乏有效保留舊任務記憶的能力；R3的結果說明初始階段得到的特征提取器不適用于新任務的故障特征提??； M1和M2在第1階段和第2階段的準確率持續下降，無法維持可靠的診斷精度，這是由于未考慮穩定性-可塑性困境，不能維持可塑性和穩定性的良好平衡以保持可靠的診斷精度；A1，A2分別用于驗證穩定分支和動態分支的性能，由于穩定分支的可學習參數比動態分支少，A1的診斷精度在2個增量階段的表現都比A2差；在A3中將2個聚合權重固定為0.5，由于缺乏聚合權重的更新來平衡模型的可塑性和穩定性，也無法維持可靠的診斷性能；在新任務的訓練中，動態分支承擔著絕大部分學習新知識的責任，而穩定分支則保留了任務T0的知識并慢慢學習新的故障類型，采用聚合權重平衡這2個分支并使用雙層優化程序更新聚合權重和模型參數，使LLBFDM在每個階段都有令人滿意的表現，結果表明LLBFDM能夠克服災難性遺忘并解決穩定性-可塑性的困境，診斷精度是除R1外最高的，且標準差也低于除R1以外的所有方法，說明LLBFDM的魯棒性更強。

圖4 增量階段1中R2在所有已學習任務的混淆矩陣

4 結束語

在終身學習范式下，本文提出了LLBFDM用于具有故障類型增量的軸承故障診斷。作為LLBFDM的核心，DAARN克服了災難性遺忘，通過使用穩定分支和動態分支并結合自適應聚合權重對其進行平衡，解決了終身學習中的穩定性-可塑性困境。在具有故障類型增量的軸承數據集上進行測試，LLBFDM的有效性得到了驗證。試驗結果顯示，與其他終身學習方法和消融試驗相比，LLBFDM具有更好的診斷精度和更強的魯棒性。

LLBFDM考慮了穩定性-可塑性困境，并使用了典例等方法克服災難性遺忘，但在進行新任務的訓練時忽視了舊故障類型與新故障類型之間樣本數量的不平衡問題，會造成分類器的權重偏向于新類，從而加劇災難性遺忘。在后續工作中，將對具有修正類偏置能力的分類器進行研究，并進一步探索小樣本故障類型增量下終身學習診斷模型的建立。