基于半監督遷移學習的軸承故障診斷方法

張振良， 劉君強， 黃亮， 張曦

(南京航空航天大學民航學院， 南京 211106)

在航空發動機的故障預測中，由于其系統復雜，長時間處于高溫度、高速度等困難環境下，不僅部件更易損壞，而且故障的預測也更為困難。現有的軸承故障預測方法大多選擇在實驗狀態下測試，數據都在低負載、低速度以及常溫常壓下采集，對比發動機內環境過于溫和，而在發動機內部的軸承振動數據又面臨具體故障的已標記樣本獲取難度大以及過擬合等問題。

在基于神經網絡的軸承故障預測領域中，機器學習一直面臨著可用樣本不足、過擬合等問題，大多數情況下，標簽數據的獲取成本很高，而未標記的數據則很容易獲得而且數量更多。基于這個原因，半監督學習(Semi-Supervised Learning, SSL)獲得了越來越多的關注，其致力于從未標記樣本中獲得信息，尋找大量的未標記數據中的規律，再利用少部分已標記數據的信息，做出預測。大多數現有的半監督學習技術主要是在未標記數據的信息獲取方式上加以區別。半監督學習方法中，少量的有標記樣本其實是訓練學習的核心，過擬合的效果很難消除，同時隨著信息的增加，新增的未標記樣本也未必嚴格與已標記樣本同分布。

知識遷移就是一種能夠打破同分布樣本的假設，極大地增加機器學習的跨領域能力，提取更多的樣本用于訓練。而并非所有的遷移都會提升預測效果，無價值或不相關的信息的遷入只會造成預測效果大打折扣。

房曉南[1]提出了半監督框架下的自標記技術和多學習器模型的結合方法，來解決欠標記且不平衡的垃圾網頁數據集分類問題,是解決只有少量標記且類不平衡數據集分類問題的一個有效策略。楊印衛[2]選取了支持向量機(SVM)、隱馬爾可夫模型(HMM)以及徑向基函數(RBF)神經網絡這3個單學習器作為異構集成學習模型的基分器，同時采用了majority voting和stacking兩種集成結果整合策略來選擇最優組合，證明異構集成學習模型的泛化能力相比于以往單分類模型得到了改善，同時模型復雜度降低。張偉[3]利用卷積神經網絡(Convolutional Neural Network，CNN)識別振動信號的時域圖，引入了自適應批量歸一化算法，取得了良好的變負載自適應性能。

郭勇[4]給出了一種基于簡單投票制的樣本遷移學習方法，有效提高了目標領域預測學習器的分類效果。對 TrAdaBoost 算法進行了權值更新策略方面的改進，解決了 TrAdaBoost 算法源領域與目標領域樣本權值之間易出現的兩極分化問題。然后以基于遷移成分分析(Transfer Component Analysis,TCA)的域匹配算法為基礎，對其進行了歸納式擴展，并結合聚類算法對源領域數據集數據分布作進一步修正。

上述算法并未同時解決負遷移以及過擬合的問題，基于此，本文采用基于遷移學習的半監督集成算法，利用高相似度樣本的遷移提高半監督學習的精度，同時利用半監督算法篩選遷移學習的高相似度樣本，最大限度地防止負遷移的發生。

1 機器學習

1.1 半監督學習

在半監督的發展中，最早提出的是自訓練以及直推學習，但訓練出的學習器魯棒性極差，然后是協同訓練算法，這種算法的一個主要困難是它需要2個完全獨立的視圖，在大多數的學習問題中很難滿足這一要求。此外，在協同訓練中，值得信賴的樣本的估計是通過交叉驗證進行的，這是一個耗時的過程。為了克服這些困難，Zhou和Li[5]提出了三重訓練算法， 三重訓練的思想是訓練3個訓練集，依此3個訓練集生成3個學習器，而且無需滿足苛刻的獨立條件，然后使用其他2個學習器同意的未標記數據對另一個學習器進行改進，由于未標記數據的分類誤差估計比較困難，因此，在未標記數據與標記數據具有相同分布的前提下，僅對標記數據進行分類誤差估計。3次訓練過程的訓練一直持續到誤差停止減小為止，這意味著已經達到了最大的泛化效果。在一定的理論證明限制下，將一致的未標記樣本逐步加入到標記數據中，用于細化相應的學習器，直到沒有一個學習器的預測誤差進一步減小，一旦訓練過程完成，就可以用2個或多個成員學習器一致同意的標簽來預測未標記或看不見的數據[6]。

1.2 遷移學習

遷移學習的目的在于將已有的知識恰當地引入到新領域中，使機器能夠獲得“舉一反三”的能力[7]。本文將源領域DS定義為“一”，將目標領域DT定義為“三”，也就是將DS的學習經驗遷移到DT中來。其中遷移的有效性很大程度上依賴于領域間的相似程度，當相差過大時，就會發生負遷移，降低學習性能。遷移學習可以劃分為5類：基于實例的遷移，基于參數的遷移，基于特征的遷移，給予相關知識的遷移以及基于模型的遷移。

1.3 基于強化學習的極限學習機

極限學習機(ELM)是一種神經網絡監督學習算法，采用基于有限集的局部逼近，收斂速度快，可以代替強化學習中Q值等于實現狀態動作到Q值的映射。Q學習是強化學習的一種，在模型未知時通過估計Q值來實現目的[8]。

Q值函數更新公式為

Qt+1(st,at)=(1-η)Q(st,at)+

(1)

隨機設定輸入權值矩陣α以及偏置項β；計算隱含層輸出矩陣H，以及輸出量Q=Hw1，w1為權值向量，Q=[Q1，Q2,…,QL]T為對應L個動作的估計Q值向量，再通過廣義逆矩陣獲取權值w1。

1.4 集成學習

集成學習是一種機器學習方法，最初，集成學習的提出是由于Schapire證明了多個弱學習器可以形成一個強學習器，集成學習的目的是通過組合多個學習器的輸出來構造多個不同的學習器，如圖1所示[9]。所謂“集成”是專家的混合體，用以防止過度擬合以及減少所有基礎學習器的誤差，而如何結合多種學習器的輸出結果和提高基學習器的多樣性來提高學習器的精度是重點。為了提高集成的精度和穩定性，人們開發了不同的技術。這些技術因所使用的培訓數據、所使用算法的類型以及所遵循的組合方法而有所不同。所謂的異構集成學習器就是構造不同種類的基學習器，然后進行集成，多重訓練的異構集成學習器便是取多個基學習器分別訓練學習，最后對所有預測結果進行組合。

圖1 集成學習示意圖[9]Fig.1 Schematic diagram of integrated learning[9]

異構集成學習器的關鍵是根據所有基學習器的預測來量化未標記樣本的置信度，而精度也隨學習器的數量增加而增加，而且對所有的訓練集以及算法沒有要求，避免了大量交叉驗證。

2 基于遷移學習的支持向量機與極限學習機

2.1 基于遷移學習的支持向量機

一般來講基于SVM的遷移學習直接利用2個領域的數據構建模型，但是面臨著目標方程很難優化的問題，并且無法有效剔除源領域中的噪聲影響，隨著源領域數據的增多，算法復雜度將大大提高，由此本文提出篩選源領域相似度高的數據進行遷移的SVM算法，思想如下：

源領域與目標領域的高相似度勢必會導致2個分類超平面過于接近，本文選取決定2個領域分類超平面的支持向量來進行篩選數據，從而最大程度降低負遷移的發生。源領域DS，以及目標領域DT分別為

(2)

(3)

(4)

式中：k為目標訓練集個數。

具體步驟如下：

2) 將VS加入到源領域數據的已標記數據中，將相似度函數考慮進支持向量機的目標函數中，構造出如下新的優化問題：

(5)

式中：w為分類超平面權值向量;b為偏置。

(6)

式中：M為已標記樣本數量。

4) 求解上述問題得到最優解α*，以及最優分類平面權向量w*，b以及最終分類函數f(x)如下，根據f(x)，得到最終學習器。

(7)

2.2 基于遷移學習的極限學習機

基于強化學習的遷移極限學習機通過貝葉斯理論計算目標任務與源任務的相似度，依此衡量遷移的數量，繼續求出源任務各樣本屬于目標樣本的概率并降序排列確定有效遷移樣本。

遷移學習的核心在于選擇合適的源任務添加進訓練集中[11]，本文通過計算源任務與目標領域的相似度來對源任務目標進行排序篩選。具體方式如下。

具體步驟如下：

1) 執行動作ai，由式(8)和式(9)計算第K個源任務中第j個樣本與目標任務中第i個樣本的狀態相似度以及回報相似度：

(8)

(9)

2) 計算第K個源任務中第j個樣本屬于目標任務的概率：

(10)

式中：nT為從T個訓練集中已遷移樣本數。

3) 獲取任務相似度，并且從每一個源任務中按照相似度排序選取(刪除“個”)樣本到目標樣本集：

(11)

式中：χu為狀態回報相似度的匹配度。

4) 使用新的訓練集對ELM進行訓練更新。

循環以上步驟直到達到最大迭代次數。

2.3 基于遷移學習的三重訓練學習器

在Tri-Training的基礎上引入遷移學習，需要強學習器對源領域樣本進行篩選，比較弱學習器選擇的樣本進行迭代更新，通過判斷弱學習器選擇的樣本與上一輪是否一致來調整樣本權重以及對目標任務學習的影響，這里不再贅述具體步驟[12]。

3 基于遷移學習的半監督集成學習器

集成學習可以綜合多個基學習器的優勢，這是其優勢，但會因此集成到對結果有負面影響的基學習器，因此本文需要為基學習器設置權值，并根據錯誤率實時更新權值最大限度地降低基學習器的負面作用。

根據圖2的學習器構造方式，集成最終的學習器。

參考圖2，具體的步驟如下：

步驟1通過boosting方法將已標記樣本L(xi，yi)構造為具有差異性訓練集的L1到L6，同樣的方法將未標記樣本U(xj)構造得到訓練集U1到U3，定義目標領域樣本集D1到D3。

步驟2根據訓練集L1到L3分別訓練得到基學習器SVM、ELM、Tri-training。再按照上述改進的遷移學習算法通過訓練集L2和D1、L4和D2、L6和D3分別獲得遷移學習的支持向量機(TSVM)、基于遷移學習的極限學習機(TELM)和基于遷移學習的三重訓練學習器(TTri-training)。

步驟3將未標記樣本U1通過SVM以及TSVM進行識別，若兩學習器對樣本x1j判別結果相同都為y1j，則將樣本分類結果(x1i，y1i)添加到L7中，同理將U2通過ELM以及TELM進行識別，獲得已標記樣本L8，同理獲得L9。

步驟4將L7、L1以及D1中遷移學習過程中認可的目標樣本共同訓練得到半監支持向量(Semi-supervised Support Vector Machines,SSVM)、半監督極限學習器(Semi-supervised Extreme Learning Machine,SELM)以及半監督三重訓練學習器(Semi-supervised Triple training learning machine,STri-training)。

步驟5將U4(x4j)通過3個半監督基學習器SSVM、SELM以及STri-training進行識別，按照式(12)集成其識別結果，將集成結果加入到L10(x10k，y10k)中，將L10用于測試基學習器的錯誤率εi，如式(13)，并以錯誤率獲得基學習器權重ωi。

(12)

(13)

(14)

式中：H(y)為預測結果函數;ωj為第j個半監督集成學習器的權重，等于其2個同簇初始基學習器權重ωi相加;hik(x10k)為第i個初始基學習器對L10中第k個樣本的識別結果。

圖2 學習器構造方式圖Fig.2 Learning device structure diagram

步驟6不斷調整學習器權重并實時記錄學習器誤差，直到權重以及誤差都穩定得到穩定的半監督基學習器，并按照穩定后的權值集成最終學習器。

在上述算法中，為便于理解，通過示意圖3闡述在上述步驟中使用的半監督學習算法流程，圖4為TSVM的構造方式，圖5為TELM的構造方式。其中集成算法的步驟可參考文獻[2]。

相比于其他算法，基于遷移學習的集成學習器的優點有：

圖3 半監督算法構造示意圖Fig.3 Schematic diagram of semi-supervision algorithm construction

圖4 TSVM算法示意圖Fig.4 Schematic diagram of TSVM algorithm

圖5 TELM算法示意圖Fig.5 Schematic diagram of TELM algorithm

1) 提出改進遷移學習器加入到基學習器中。

2) 利用改進的遷移學習器提高半監督學習的精度。

3) 利用半監督學習調整遷移學習的效率。

4) 集成方式上可以在運算中調整各學習器權值，進行增量式學習，進一步提升學習器性能。

4 仿真實例

為驗證算法的有效性，本文在2個數據集中分別進行實驗。在字母識別數據集中，主要驗證算法在分類識別上的效果，量化半監督學習方法與遷移學習方法間的相互影響，調整算法中的參數以及分析各基分類器的精度變化。在發動機軸承數據集中主要驗證本文方法在軸承故障識別的效果，尋找最優的遷移數據以及半監督數據。

4.1 公共數據集實驗

為了測試最終學習器的性能，本文在機器學習存儲庫(UCI)的字母識別數據集上進行了模擬[13]。選取26個字母中A～E 個字母為源任務，選取F～N為目標領域樣本，具體的樣本特征如表1所示。

實驗采用RBF為基分類算法，隱藏節點取20，每次實驗做5次取其平均值，設定初始基學習器的權重都為1/6，已標記樣本數量、未標記樣本與遷移樣本比例為1∶4∶4。安排單純的半監督神經網絡以及基于遷移學習的學習器作為對比。

圖6為誤差穩定后基學習器以及集成學習器的預測精度變化。從圖中可見，分類效果經過遷移學習以及半監督學習后有顯著的提升，無論是穩定性還是精度都大幅優于單一的學習器，而且經過少量的樣本的訓練后精度就達到了良好的效果，而單獨的遷移學習或半監督學習都無法做到。這是由于基于遷移學習的半監督集成學習器(SSIT)可以更充分利用樣本的信息，無需大量迭代就會達到良好的效果。

表1 數據集屬性Table 1 Data set properties

圖7為基學習器權重變化，經由錯誤率的調整后可以看出，遷移學習器的權重都由于可以提取目標樣本的信息而逐漸提高，三重訓練器權重不斷拔高。若本文保持初始權值恒定，預測精度會下降大約8%。據此本文也調整初始學習器權重，使其在訓練過程中減輕權重變化的迭代，可以更快地達到穩定的預測精度。

本文通過調整實驗找到精度提升的原因。圖8為調整未標記樣本U的數量，對比遷移學習器的精度，可以發現無標記樣本對于遷移學習的效果有較大的影響，在沒有無標記樣本時，也就是不進行半監督學習時，預測精度下降了大約10%。隨著無標記樣本的增加，遷移學習器精度以及遷移數量都會穩步提升，這是因為無標記樣本的訓練信息可以篩選目標領域中的高相似度樣本，保證遷移學習的效果。但精度的增加有一個上限，這是由于少量的有標記樣本仍然是訓練的核心，仍然會有過擬合的作用。數量的增長也有上限，因為目標領域內高相似度樣本數量也有限。

圖6 預測精度變化Fig.6 Prediction accuracy change

圖7 基學習器權重變化Fig.7 Base learning device weight change

圖8 遷移學習器精度變化Fig.8 Transfer base learning device accuracy change

同理本文保持U的數量恒定，調整D中的樣本數量，如圖9和圖10所示，發現若是沒有遷移目標領域的樣本，半監督學習效果的穩定性很差，最大最小精度之間有較大差異，這是由于半監督學習一旦做出錯誤的判斷便會 “一錯再錯”，自身很難糾正，需要目標領域樣本來調整，隨著遷移樣本的增加，預測精度穩步增加且趨于穩定，最大最小精度差異也下降到2%左右。

繼續調整已標記樣本的比例，圖11為SSIT學習器精度變化。已標記樣本的增加固然可以提高辨識度，但過多的已標記樣本可以保持最高精度，但平均精度反而有所下降，這是由于學習器過于追求少量的已標記樣本，過擬合效果增大，魯棒性也下降，反而不易對大量復雜的樣本進行預測。在已標記樣本比較少時，SSIT仍然表現表現出穩定的預測性能，而單獨的半監督或遷移學習算法卻受到極大影響，這是因為SSIT并不依賴那些少量的已標記樣本，可以從目標領域以及未標記樣本中提取到充足的信息來保證預測精度。

圖9 遷移數量變化Fig.9 Transfer data change

圖10 半監督學習精度變化Fig.10 Semi-supervised learning accuracy change

圖11 精度隨已標記樣本比例變化Fig.11 Change of accuracy with labeled sample scale

4.2 民航發動機軸承故障診斷實驗

在公共數據集上的實驗驗證了所提算法對遷移以及半監督效果的改進作用，但對于具體的發動機內數據效果猶未可知，接下來本文搭建接近航空發動機內部的軸承振動試驗設備對軸承故障進行診斷，實驗具體設置如下。

本文搭建航空發動機機轉子實驗平臺進行模擬實驗，其模擬了真實發動機的內部結構，達到真實發動機的振動效果，圖12為發動機實驗平臺內部結構，圖13為遷移實驗平臺示意圖。選擇型號6205的軸承，滾動體9個。在模擬發動機50 000磅(22.68 t)推力下通過加速度傳感器收集3種軸承故障(內圈、外圈、滾動體)以及正常情況下的軸承振動數據各1 000組。

模擬發動機最大推力63 800磅下軸承振動數據500組作為遷移領域D1，模擬50 000磅推力下同位置6206型號軸承振動數據500組為D2，取來自凱斯西儲大學軸承數據庫型號6205軸承在負載746 W、轉速2 000 r/min下軸承振動數據500組為D3。

首先利用包絡譜的方法提取振動信號的具體特征[14]，其中載波頻率為5000Hz，將通過得到的分量組成特征矩陣并采用奇異值分解方法求得對應的特征向量，于是每個樣本信號都有對應的特征向量作為訓練的輸入。圖14和圖15分別為內圈故障振動信號時域波形以及包絡圖。

圖12 發動機轉子實驗平臺內部結構Fig.12 Internal structure of engine rotor experimental platform

圖13 遷移軸承實驗平臺示意圖Fig.13 Schematic diagram of transfer bearing test rig

通過上述方法將振動信息提取為特征向量，得到帶有故障結果的軸承振動特征向量數據集L，以及無故障結果的數據集U以及遷移數據D。為檢驗算法的有效性，本文采用同樣數量已標記樣本的訓練樣本以及相同的測試樣本，分別使用基學習器、CNN以及基于距離的譜聚類(SL)算法[15]進行對比測試[16]，其中采用同樣特征提取方法將特征向量的輸入到訓練好的TELM中進行診斷，再利用卷積神將網絡提取振動信號的包絡譜進行學習，保證特征的提取程度不變。

將訓練成熟后的學習器輸入測試樣本的特征向量，根據輸出向量的值進行故障預測，其中信號類型中1、2、3、4等分別代表無故障，內圈故障，外圈故障以及滾珠故障。圖16為在不同方法對樣本的預測結果與實際結果的對比。

選取不同的測試樣本分別測試5次，表2為在不同數據集合方法的精度比較，訓練過后的SSIT的平均精度達到了90.6%，遠高于CNN等預測精度，雖然CNN方法對于大量的圖片識別率基本上達到了99%以上的識別率，但對于航空發動機的軸承振動時域圖卻因為已標記樣本信息過少且特征復雜的原因而大大降低了識別率，SSIT卻可以從大量的源領域以及未標記樣本中獲得輔助信息幫助判斷。TELM以及SELM的低預測精度也表明半監督以及遷移學習在面對少量已標記樣本時有著相輔相成缺一不可的關系。

圖14 時域波形圖Fig.14 Time domain waveform

圖15 包絡譜分析Fig.15 Envelope spectrum analysis

圖16 不同方法對故障的預測結果Fig.16 Fault prediction result by different methods

本文選取3個數據集，比較3個遷移領域最終的遷移樣本量，3個領域的區別在于工作負載以及環境的差異，差異越大越難以遷移，從表3中可以看出，實驗狀態下D3數據集的軸承振動數據難以用于預測民航發動機故障預測，而這正是現如今大量軸承預測方法難以在發動機環境內奏效的原因，D1于D2則展現了與源領域樣本的高相似度，對于SSIT的故障預測給予了巨大幫助，由此本文可以增加同發動機不同推力下的目標領域樣本以及不同軸承型號相同推力下的樣本，以期遷移更多的樣本幫助預測。

表2 不同數據集各方法預測精度對比Table 2 Comparison of prediction accuracy of different methods on different data sets %

表3 最終遷移樣本百分比Table 3 Percentage of final migrated sample %

圖17為在D1領域下，遷移樣本量的提升，SSIT精度的精度變化。從圖中可以看出，在遷移樣本達到350個以后，遷移學習提升了整個學習器18%的精度。

半監督算法中的未標記樣本選用實驗前已記錄的無結果振動數據[17]，但是本文在實驗中發現如果加入部分測試時間點前后的振動信息作為未標記樣本參與訓練會提升算法的精度以及穩定性。而無法確定的是多少量的已記錄樣本(HS)，測試前樣本(BS)，測試后樣本(AS)能夠最大提升精確性，本文不斷調整無標記樣本中三者的比例來測試其精確度的變化。如圖18所示。可以看出加入的測試節點樣本有效地提升了精度，并且在(4.84，6.58)達到最大值，這是因為未標記樣本中加入測試節點前后的振動數據，可以在訓練時完善預測節點的特征，特別是在航空發動機內的軸承振動信息，復雜的噪聲下不易提取到精確的振動信號特征，而未標記樣本的半監督訓練相當于又一次進行了特征提取，提高了預測的精度。

圖17 D1下遷移樣本量對精度的影響Fig.17 Effect of transfer sample size on accuracy under D1

圖18 測試前后樣本量對精度的影響Fig.18 Effect of HS and BS on prediction accuracy

5 結 論

本文提出了一種半監督遷移學習集成學習器，構造改進遷移學習器組成6種初始基學習器來集成同簇的半監督基學習器，利用遷移學習降低半監督學習中的不穩定性，再利用無標記樣本減少負遷移作用，并不斷調整基學習器權重，提升SSIT的精度與穩定性，得出如下結論：

1) 遷移學習可以提高半監督學習的穩定性以及降低過擬合效果。

2) 半監督學習可以幫助遷移算法挑選更多更好的高相似度樣本。

3) 同簇集成的方法也可以通過調整權重的方法減少負學習的效果。

4) 溫和環境下的軸承振動數據難以直接遷移至發動機內部的軸承預測中，而不同推力以及不同發動機下的振動數據則展現了良好的遷移效果。

5) 測試節點前后的數據加入到無標記樣本的半監督訓練中可提升最終的預測精度。

將研究更加多部件故障的遷移方法，并將其運用到發動機其他部件的故障預測方面，利用大量的目標領域樣本來提高預測精度。