基于遷移學習方法的安全運行狀態評估綜述

洪晟，李文欣，劉昊

(1.北京航空航天大學 網絡空間安全學院， 北京 100191)(2.北京工業大學 軟件學院， 北京 100124)(3.北京航空航天大學 宇航學院， 北京 100191)

0 引 言

物聯網、云計算和大數據等技術正逐步與航空航天等工業界當前應用的設備系統相結合[1-2]，使現代工業設備系統朝著復雜、精密、高速、大型和連續運轉的方向發展[3]。設備功能、規模以及結構復雜度的提高，導致航空航天等領域產品的衰退情況復雜化，故障概率顯著增加。如果不能及時檢測并排除初始故障，故障蔓延可能會造成產品的性能下降、功能喪失甚至引發災難性后果，所以需要對設備的運行狀態進行準確評估。通過對設備產品的狀態檢測研究表明：大部分早期故障是可預知的趨勢性故障[4]，是其實現健康評估與故障診斷的根本前提。航空航天領域設備健康評估、故障診斷等運行狀態評估技術是指導設備檢修以及提升系統運行可靠性的重要手段[5-7]，其作為一個相對復雜的問題，受到了各國軍方和工業界的廣泛關注[8]。而如何實現各類設備產品實時、快速、準確的運行狀態檢測已成為航空航天等領域的重要研究內容。

與此同時，隨著各類產品結構日益復雜，規模日益增加，造價升高，設備的故障試驗成本也隨之升高，造成全壽命周期數據獲取困難、缺失嚴重[9]。為了能夠順利開展航空航天領域設備產品健康評估與故障診斷模型的研究，需要解決數據缺失問題對其造成的影響。遷移學習作為機器學習目前研究最廣泛的領域，能夠從以往的任務中抽取知識并應用到新任務中，即合理利用相似產品的大量可用數據完成當前任務，為設備數據缺失條件下建立有效的狀態評估模型提供了新思路[10]。

本文對遷移學習在數據缺失條件下實現航空航天領域相關設備產品運行狀態評估的研究進行綜述，指出遷移學習未來的發展方向。

1 遷移學習研究進展

1.1 遷移學習基本概念

遷移學習中定義了兩個數據集[11]，一個稱為源領域數據集，另一個稱為目標領域數據集。遷移學習是通過遷移源領域里已有的知識來解決目標領域中僅有少許有標簽數據甚至沒有標簽數據的學習問題[12]，其核心目標是使源領域和目標領域數據的距離盡可能小，實現更好的知識共享。

1.2 遷移學習方法劃分

Pan S J等[13]針對源領域和目標領域樣本以及實現任務是否相同將遷移學習方法劃分為3類，歸納式遷移學習、直推式遷移學習和無監督遷移學習，其中每個分類以及實現任務如表1所示。

表1 遷移學習方法及其實現任務

按照實現遷移學習使用的技術方法將其分為4類：實例遷移、特征遷移、模型遷移以及關系遷移[13]。

基于實例的遷移是對源領域的樣本重新賦予權重并運用于目標領域[14]。TrAdaBoost是其中一個典型方法，其思想如圖1所示[15]，通過提高利于目標任務實現的實例權重、降低不利于目標任務實現的實例權重實現遷移學習。

圖1 TrAdaBoost方法思想

基于特征的遷移是在源領域和目標領域中尋找一個好的共同特征表示[14]。遷移成分分析是其中一個典型方法，其思想如圖2所示[16]。將每個領域數據從高維特征空間映射到相似度更高的低維特征空間，不同于基于實例的遷移學習，該方法映射得到的特征是全新特征。

圖2 遷移成分分析方法思想

基于模型的遷移是從源領域和目標領域中找到它們之間共享的參數信息[17]。M.Oquab等[18]提出的使用卷積神經網絡遷移表示是其中一個典型方法，其思想如圖3所示[18]。將源領域的大量數據使用卷積神經網絡進行預訓練從而構建網絡模型，然后將網絡權重遷移到目標領域，用目標領域中少量數據對網絡進行微調得到最優參數，從而獲得適合目標領域的模型。

圖3 卷積神經網絡遷移表示方法思想

基于關系的遷移是將源領域的關聯網絡知識遷移到目標領域[14]。利用源領域與目標領域數據之間關系的相似性實現知識的遷移，比如生物病毒傳播規律與計算機病毒傳播規律之間的遷移。典型方法就是使用馬爾可夫邏輯網絡挖掘不同領域之間關系的相似性質[19]。

以上4種實現方法的優缺點對比如表2所示。

表2 遷移學習實現方法對比

2 數據缺失條件下狀態評估

在現代航空航天等工業范疇中，設備產品狀態評估模型的開發需要大量已標記的退化數據以及故障數據來支持。而在實際中，退化數據和故障數據的充分獲得需要大量設備運行至故障狀態，因此數據獲取困難且成本昂貴。同時，設備之間結構與工作環境的不同導致某設備數據不能直接適用于其他設備評估模型的訓練，造成數據缺失嚴重。有價值數據信息數量的不足對健康評估與故障診斷等模型的有效開展帶來了較大挑戰。將遷移學習引入到數據缺失條件下的設備評估、診斷與趨勢預測等方向，為設備安全可靠運行以及維護維修決策等方面奠定基礎。本文從不同實現方法的角度介紹數據缺失條件下使用遷移學習實現航空航天領域相關設備產品運行狀態評估的研究。

在基于實例的遷移方面，Shen F等[20]提出一種基于實例的遷移學習框架，使用奇異值分解方法進行特征提取，利用TrAdaBoost算法對軸承的健康狀態進行了評估。Tang S等[21]擴展了域自適應多層感知器，引入了多源任務相關的AdaBoost算法(MSTrAdaBoost)，為燃氣輪機健康狀況評估提供了有效的通用方法。張振良等[22]針對軸承故障診斷過程中信息缺失導致的預測能力不足和過擬合的問題，改進遷移學習算法形成6種初始基學習器，不斷調整基學習器權重，集成一個基于遷移學習的半監督學習器。楊志淳等[23]針對試驗數據不完整的問題，使用遷移學習TrAdaBoost算法從大量配電變壓器中提取有效的故障信息，結合目標領域數據訓練一個強分類器，實現目標配電變壓器實時故障診斷。

在基于特征的遷移方面，馬劍等[24]利用平均歐式距離作為相似性衡量標準，找到與目標評估電池特征相似度最高的參考電池，將目標電池和參考電池使用深度學習方法獲取到表達數據間本質共同特征的基向量，進而實現壽命預測。康守強等[25]針對標簽振動數據難獲取問題，構造了多核核函數的半監督遷移成分分析方法，提高滾動軸承振動特征映射能力，完成不同域間的遷移學習任務，使變工況下滾動軸承多狀態健康分類具有更高準確率。劉志宇等[26]提出了一種基于深度學習和遷移學習的液壓泵健康評估方法，但是該方法不僅受限于其網絡架構，而且僅支持特定領域。譚俊杰等[27]利用無監督遷移成分分析的核函數將不同工況的樣本特征映射到數據相似性更高的同一特征空間，并使用最大均值偏差嵌入方法將源領域樣本遷移到目標領域中，采用深度信念網絡模型進行訓練，為故障診斷提供了充足的訓練樣本。

在基于模型的遷移方面，Ren C等[28]利用故障數據庫對建立的電力系統安全評估模型進行初始訓練，將最小化差異后的源領域訓練數據與目標領域未知數據(即在線測量數據)用于調整模型，利用模型去診斷未經學習的故障，具有較高的精度。Liu X等[29]在源領域采用飛機輔助動力裝置的仿真數據訓練狀態監測模型，在目標領域利用測試數據對模型參數進行優化，使模型適應目標領域內的傳感器數據，增強了機載動力裝置的狀態監測。通過對現有工作調研發現，深度神經網絡可以學習更多領域適應的可轉移特征，目前絕大多數基于模型的遷移學習方法都與深度神經網絡進行結合[30]。Shao S等[31]通過小波變換將原始傳感器數據轉換為圖像得到時頻分布，進一步使用預先訓練的網絡來提取較低層次的特征，最后將標記的時頻圖像用來微調神經網絡體系結構的更高層次，在感應電機、變速箱和軸承的狀態診斷中獲得了更快的速度和更高的準確率。

生成對抗網絡在實現航空航天設備安全性與可靠性評估方面得到了一定的應用[32-34]，生成對抗網絡的結構如圖4所示[35]，其存在一個生成器和一個鑒別器，鑒別器判斷輸入的數據是真實數據還是生成器生成的人工數據，生成器的目標是生成與真實數據相似的新數據來迷惑鑒別器。當鑒別器不能區分出數據源來自哪里時，即可以認為生成器的目標達成。

圖4 生成對抗網絡結構

生成對抗網絡在生成有用數據方面的優越性，使得基于生成對抗網絡的遷移學習方法在解決數據條件不充分方面很有吸引力，使用對抗損失技術衡量兩組領域數據之間的差異，找到最適合兩個領域的可轉移特征并生成類似于原始數據特征的樣本特征[36-38]，可以實現數據量的增加，如圖5所示。

圖5 對抗遷移學習增加數據過程

與生成對抗網絡不同的是，對抗遷移中可以直接將目標領域數據當作生成的樣本，生成器不需要生成新樣本，只需要進行特征提取，可以稱為特征提取器[39]。通過不斷學習領域數據的特征，使得判別器無法對兩個領域進行分辨，該過程中源領域網絡和目標領域網絡的權重可以按需選擇是否共享[40]。在實踐中，對抗損失較其他方法取得了更好的結果，可以顯著提高性能。在航空航天領域相關設備數據缺失條件下，利用對抗遷移學習方法實現狀態評估剛剛興起。Xie Y等[41]設計一個生成對抗網絡循環結構產生不同工作條件下的振動數據，擴充樣本數據后訓練分類器，完成旋轉機械故障診斷。Zhang Z等[42]訓練特征生成器和特征分類器，前者將源領域和目標領域映射到同一特征空間，后者對前者生成的特征進行分類，兩者對抗學習達到平衡后，將網絡模型用于診斷目標領域下未標記的數據，驗證了方法對于診斷電動機軸承故障的有效性。

3 未來研究方向

遷移學習在航空航天相關領域設備狀態評估的現狀綜述證明了其解決有關產品數據缺失問題的適用性與有效性。準確的狀態評估能夠掌控產品的健康狀態并延長其使用壽命，以便消滅安全隱患于萌芽初期，是提升設備安全性與可靠性的有效途徑。針對遷移學習算法自身特性與其在設備健康狀態保護方向的研究現狀，未來的研究方向有：

(1) 遷移準則研究。目前針對設備的狀態評估中，只提出遷移學習有效的一面，源領域中學習到的知識是否對目標領域的學習產生消極影響，即是否發生負遷移還不清楚。研究合理的遷移特征、遷移時機、遷移方法避免負遷移是實現良好遷移的基礎研究之一。

(2) 精簡遷移算法研究。在使用遷移學習對設備進行健康評估與故障診斷時，研究源領域和目標領域特征之間快速適應算法，建立高效自適應的模型，實現實時在線評估設備的運行狀態是未來研究中待解決的問題之一。

(3) 對抗遷移學習研究。對抗遷移學習能夠產生合理的樣本，使設備數據缺失不再成為訓練模型的限制，研究對抗網絡訓練的停止標準，推動其在運行狀態評估領域更好應用是未來的重要任務之一。

(4) 工況適應遷移研究。設備運行環境動態變化、數據獲取不足使順利開展有效的狀態評估受到影響。在數據缺失條件下利用遷移學習研究狀態評估方法，使其應用到復雜工況卻不產生顯著的性能下降是技術難點之一。

(5) 關系遷移應用研究。目前利用關系遷移實現狀態評估的研究還有待挖掘，考慮將一個系統的運行狀態參數變化關系遷移到另一個相似系統中，從而實現目標系統健康狀態監測與故障預測，提高系統的生存與容錯能力推動其穩定運行也是未來的研究方向之一。

4 結束語

目前已經提出了多種經典方法完成知識遷移，例如基于實例的TrAdaBoost方法、基于特征的遷移成分分析方法、基于模型的卷積神經網絡遷移表示以及馬爾可夫網絡實現關系遷移等。

本文分別從實例遷移、特征遷移、模型遷移以及對抗遷移角度總結了航空航天相關領域的設備產品數據缺失條件下使用遷移學習實現運行狀態評估的研究現狀。盡管研究已經取得了一定的進展，但是為了推動遷移學習在狀態評估領域更好的發展還有諸多問題需要解決，其中包括遷移準則研究、精簡遷移算法、對抗遷移學習、工況適應遷移以及關系遷移應用。