基于OCKELM與增量學習的在線故障檢測方法

戴金玲，許愛強,*，申江江，王樹友

1.海軍航空大學 航空作戰勤務學院，煙臺 266001 2.91206部隊，青島 266108

作為預測與健康管理(Prognostics and Health Management, PHM)的重要環節之一，故障檢測是后續故障隔離、故障診斷的基礎和前提。在線故障檢測則可實時地判定故障是否已經發生，是用來預防航空電子設備機械故障發生的一種有效手段。而現役裝備故障機理愈加復雜、故障樣本愈加稀有的現狀，對相應的故障檢測方法提出了更高的要求。

近年來航空電子設備故障檢測方法的研究成果主要分為2類，一類是從數學模型的角度出發，如范仁周等最早針對航空電子設備建立了實際的仿真檢測系統，并連了一個分布式仿真測試網；劉江平等針對傳統貝葉斯網絡收斂性差的缺點，提出了基于統一建模語言(Unified Modeling Language, UML)建模的檢測決策模型；此外研究較多的是針對航空發動機的故障檢測模型。鑒于航空電子設備越來越復雜的故障機理，嚴格的模型通常無法建立。因此另一類基于數據驅動的方法成為了檢測領域的熱點。常見的數據驅動檢測方法是從模式識別的角度出發，將故障檢測轉化為二分類問題，然后通過成熟的分類器進行檢測，如殷鍇等將反向傳播(Back Propagation,BP)神經網絡應用于航空發動機的檢測中；崔芮華等將極限學習機與連續小波變換Tsallis奇異熵相結合以檢測航空交流電弧故障；丁建立等采用了基于深度學習的廣播式自動相關監視(ADS-B)檢測方法，得到了比傳統方法更優的結果；羅鵬等則基于支持向量機對ADS-B提出了異常數據檢測模型，其性能相比深度學習更佳。但該類方法往往需要一定規模的故障樣本作支撐，尤其是深度學習需要大量的樣本數據，數量級通常在10以上，作為訓練樣本集，顯然不適用于小樣本的故障檢測?？紤]到大多數航空電子設備的樣本具有明顯類不平衡性，即正常樣本遠多于故障樣本，如何通過有限的正常歷史數據來檢測異常數據，具有更重要的意義。

針對以上需求，一類分類(One Class Classification, OCC)方法得到了廣泛的運用。OCC將故障檢測視為無監督的異常檢測問題，當只有一個類的數據可用或屬于其他類的數據非常稀少時，通過引入基于穩定性的模型選擇準則以在目標類周圍獲得一個邊界，其主要研究方向包括一類支持向量機(OC-SVM)、支持向量數據描述(Support Vector Data Description, SVDD)、核主元分析(Kernel Principle Components Analysis, KPCA)、以及OCELM等。因ELM具有極高的學習速度和優良的泛化性能，2015年Leng等驗證了OCELM在分類過程中相比其他方法具有更大的優勢，并進一步驗證其核化形式，即一類核極限學習機(OC Kernel ELM, OCKELM)擁有更光滑的分類邊界。2017年Gautam等全面介紹了OCELM的3種閾值準則，在文獻[23]的基礎上，介紹了基于OCELM變種的10種離線分類器和5種在線順序OCELM(Online Sequence OCELM, OS-OCELM)方法，其中基于核函數的OCC方法在離線方法中表現最佳，OS-OCELM的性能則與隱藏節點相關。為進一步提高離線方法的精度，2020年朱敏等將OCELM與局部多核學習(Localized Multiple Kernel Learning, LMKL)結合，有效地提高了航空電子部件的離線故障檢測性能。

航空電子部件的在線故障檢測對于時間的要求是非常苛刻的，盡管OS-OCELM已經有了一定的研究成果，但其時效性還達不到航空電子設備在線故障檢測要求，且其檢測效果依賴于隱層節點的選擇。相比之下，基于核極限學習機的增量學習方法(Kernel based Incremental ELM, KB-IELM)在時效性與準確性方面均顯示了強大的能力，且無需確定隱層節點數量，在狀態預測領域得到了廣泛的應用。出于以上原因，根據被測樣本小和時間消耗低的特點，本文提出一種基于增量學習和OCKELM的航空電子設備在線故障檢測模型(Online squence-one Class Kernel Incremental Extreme Learning Machine, OS-OCKIELM)，簡寫為OCKIELM，其主要貢獻在于：

1) 針對航空電子設備樣本小的特點，本文采用了基于OCC的分類方法建立一個無需先驗知識和故障樣本、僅需正常樣本的故障檢測模型。

2) 針對在線檢測高時效性的要求，本文推導了一個基于OCKIELM的時間序列在線學習框架，當新樣本來臨時，模型在吸收樣本信息的同時實現核權重的更新。

3) 針對OS-OCELM需設定隱層節點的特點，本文采用了核函數映射方法，避免了尋找最優隱層節點數的過程。

1 一類核極限學習機

將正常狀態下的樣本稱為目標類樣本或正樣本，故障狀態下的樣本稱為離群類樣本或異常樣本。假設一組數據流={(,),(,),…}，其中為用于故障檢測所采集的樣本實例，則是對應的故障檢測結果。一類分類模型假設學習的樣本全部是目標類樣本，面向故障檢測的OCELM問題本質是基于樣本集獲得一個映射(·):→，使樣本的映射值盡可能趨于某個非零實數值，由于在訓練過程中所使用的樣本均為目標類，根據OCC方法將訓練集的均設置為一個常數，本文設為1。將時刻的OCELM優化問題定義如下：

(1)

式(1)所示的約束優化問題的Lagrange函數為

(2)

將式(2)所示函數分別對、和求偏導、并令結果為0，根據KKT條件可得

(3)

根據式(3)，可得輸出權重的表達式為

=(+)

(4)

根據OCC理論，所有訓練樣本均為目標類，因此等式右邊的=[1,1,…,1]，表示輸入樣本對應的目標實數值向量，其中元素1的個數為樣本數；=[(),(),…,()]表示輸入樣本的映射矩陣。通過Mercer條件定義核矩陣=，(,)=()·()=(,)；可得OCELM的核化形式，即OCKELM的表達式為

(·)=(·)(+)=

[(·,),…,(·,)](+)=

(5)

式中：=[(·,),(·,),…,(·,)]為當前時刻的核估計向量；=[,,…,]為時刻的核權重向量，且有

=(+)

(6)

進一步的，令

=+

(7)

因此，核權重向量可表示為

=

(8)

2 OCKIELM在線故障檢測模型

本節將在增量學習的基礎上實現時間序列樣本的在線學習。在訓練過程中，模型不斷地吸收新樣本并根據2.1節更新核權重向量；在測試過程中，模型則基于訓練樣本集的核權重向量，對樣本輸出值進行估計，并根據2.2節的閾值準則對新樣本進行在線故障檢測。

2.1 基于核增量的核權重更新

=

(9)

+1=

(10)

由于(,)=(,)，式(10)可分解為塊矩陣：

(11)

式中:+1=[(,+1),(,+1),…,(,+1)]，+1=+(+1,+1)。

由塊矩陣求逆公式可得+1的逆矩陣為

(12)

則時刻的核權重向量的遞推更新公式可以表示為

(13)

由于訓練過程中，樣本集均按照目標類進行訓練，相應的樣本輸出值為+1=[1,1,…,1]，其中列向量的元素個數為+1。因此，模型在+1時刻已學習的樣本集可表示為+1={(,·),(,·),…,(+1,·)}，根據式(5)可得+1時刻的輸出估計值。由此可見，一類核增量極限學習機的模型階數是隨著樣本數的增加而呈現單調遞增的。

2.2 閾值準則與判定

在線故障檢測的訓練過程中，模型將訓練樣本集全部作為目標類樣本進行學習，并對未知測試樣本進行在線檢測。為了將所提在線檢測方法運用于故障檢測，與傳統檢測方法一樣，需要設計統計檢測量和檢測閾值參數，若測試樣本的檢測量大于該閾值，則判定該樣本為故障樣本；否則判定該樣本為目標類樣本。文獻[24]給出了2種閾值決定準則。

1) 閾值準則1

定義樣本實例的統計檢驗量為

(14)

在在線故障檢測的訓練階段，雖然所有訓練樣本均為目標類，但因為噪聲和奇異點的存在，需要將訓練樣本中的一部分正常樣本錯分為離群類，以獲得更魯棒的模型，將判定為故障的樣本比例稱作拒絕比例，記為。假設訓練集學習完之后，各個訓練樣本的統計檢測量排序為≥≥…≥，則將模型的檢測閾值定義如下，其中floor()表示不大于的最大整數值。

=floor()

(15)

2) 閾值準則2

定義樣本實例的統計檢驗量為

(16)

由訓練樣本的統計檢驗量組成的向量為=[,,…,]，將模型的檢測閾值定義為訓練樣本的均方差與標準偏差的線性組合，

(17)

當選定閾值準則后，OCKIELM模型對新樣本的類別判定準則為

(18)

2.3 基于一致性的模型超參數選擇

由于OCC方法中的訓練樣本均為目標類樣本，同文獻[25]，本文采用基于一致性的參數選擇方法，具體流程如下：

將訓練樣本按折交叉驗證劃分為訓練集與驗證集。

根據拒絕域確定估計誤差的閾值為

(19)

式中：表示驗證集規模。

3 方法流程和評價指標

3.1 方法流程

給定一個訓練集和一個測試集，則OCKIELM的方法流程如圖1所示，其算法步驟如下。

若選擇閾值準則1，則根據式(14)、式(15)得到所有樣本的統計檢驗量，以及檢驗閾值；若選擇閾值準則2，則根據式(16)、式(17)得到樣本的統計檢驗量和檢驗閾值。

根據式(18)判定新樣本是否為故障樣本。

圖1 OCKIELM流程圖Fig.1 Flow chart of OCKIELM

3.2 評價指標

鑒于樣本數據具有極大的不均衡性，除了常規的檢測精確度(Accuracy)之外，本文還給出了F1分數、曲線下方面積(Area Under Curve, AUC)以及G-mean這3種評價指標，以全面地評價本文在線檢測模型的性能。其中，F1分數的定義是精確率和召回率的調和平均數，又稱平衡F分數；AUC的定義是受試者工作特征(Receiver Operating Characteristic, ROC)曲線下的面積，由于ROC曲線不能清晰地說明效果優劣，因此用AUC值作為性能指標效果更好；G-mean為召回率和查準率的幾何均值。這三者均為統計學中評估二分類模型效能的重要指標，當應用于一類分類問題中時，其定義有所改變。

首先給出檢測結果的混淆矩陣，如表1所示，混淆矩陣結果中TP、FP、FN和TN分別表示真陽性、假陽性、假陰性和真陰性。由表1可得檢測結果的查全率(也稱作召回率)、特異度和查準率為

(20)

進一步可得分類問題的性能指標定義為

(21)

4 實驗分析

為了驗證算法的有效性，將本文算法應用于UCI數據集和航空電子設備的樣本數據中，分別在2種閾值準則下進行實驗分析，并和當前解決OCC問題主要用的PCA、SVDD、OC-SVM作比較。實驗將2種閾值準則下的OCKIELM算法分別用OCKIELM和OCKIELM表示。其中，PCA算法、SVDD算法通過調用文獻[31]所提出并設計開發的dd_tools工具箱來實現；OC-SVM算法通過調用臺灣大學林智仁教授等開發設計的libsvm工具箱實現。PCA中的主元數量選擇范圍為{2,3,…,7}；SVDD、OC-SVM和本文算法的核函數均選取RBF核，取訓練樣本的最小及最大歐式距離作為上下邊界，然后等間隔取20個離散值，作為核參數取值范圍；在本文算法中，正則化因子的取值范圍為{10,10,…,10,10}。實驗環境為：MATLAB2018a，Windows 8 操作系統，Intel Core i5-4210U處理器，2.40 GHz 主頻，8 GB RAM。

4.1 UCI數據集

UCI數據集是一個機器學習領域中常用的標準測試數據集。為了驗證所提算法的性能，本節選取了6個UCI數據集進行實驗，具體信息如表2所示。將每個數據集的目標樣本隨機平均分成2份，一份作為訓練樣本，另一份作為測試樣本與離群類樣本、即故障樣本一起作為測試樣本進行驗證。為克服分配的隨機性，每個數據集將進行21次仿真，其中首次運行將根據2.3節確定模型超參數，并運用于之后的20次仿真實驗中，實驗結果如表3所示。將表3中各指標的最優結果加粗表示，由表3 可得：

表2 UCI數據集描述Table 2 Description of UCI dataset

1) 從本文算法的實現來看，2種閾值準則下均完成了UCI數據集的在線故障檢測；其中第1種閾值準則下的檢測結果大部分優于第2種閾值準則，而剩下的少部分情況，不排除有訓練樣本的隨機選擇因素，因此可得第1種閾值準則在大部分情況下比第2種準則檢測效果更好。

2) 從算法的檢測指標來看，除了Vowel數據集的AUC指標中OC-SVM方法的性能為最優，相比于其他方法，本文所提方法在6個數據集上均為最優值，并將4種性能指標平均提高了23.4%、5.3%、21.1%和10.4%。

表3 UCI數據集實驗結果Table 3 Experiment results of UCI dataset

3) 從算法的時間消耗來看，OCKIELM實現了旋轉變壓器的在線故障檢測，并且檢測時間控制在10s級別上，遠遠低于PCA與SVDD方法；由于OC-SVM方法已經擁有較為成熟的軟件實現，其時間消耗可以忽略不計，然而其檢測性能卻比OCKIELM方法平均低15.7%。綜上，本文算法在故障在線檢測方面具有最優性能。

為進一步直觀地比較各個算法的性能，根據表3中的結果給出了各方法的平均指標和最大指標占比，分別如圖2和圖3所示。其中圖3中橫坐標上的數字1～6分別表示數據集Ecoli、Vowel、Spectf、Breast、Balance scale和Seeds，最大指標占比的定義如下，以F1值為例，將最大F1占比(Percentage of the Maximum F1，PMF)定義為

(22)

式中：F1表示第個數據集中第個算法的F1值；max(F1),*表示第個數據集所有算法中的最大F1值。PMF值越高，則表示對應算法的性能越優。同理，PMA、PMG和PMAC分別表示最大AUC占比、最大G-mean占比和最大ACC占比。

圖2 UCI數據集在各方法下的指標均值Fig.2 Average index of UCI dataset for different methods

圖3 UCI數據集在各方法下的最大指標占比Fig.3 The biggest index proportion of UCI dataset for different methods

由圖2和圖3可得:① 本文所提2種閾值準則下的方法，指標均值與最大指標占比幾乎占據了所有方法的前2名，進一步驗證了OCKIELM方法的性能，同時表明該方法具有較好的穩定性；② OCKIELM方法在最大指標占比中，相比于第2種閾值準則，第1種閾值準則的最優結果比例更高，在檢測過程中具有更大的優勢。

為探究超參數變化對OCKIELM仿真結果的影響，以表3中的的Vowel和Ecoli數據集為例，將拒絕比例按0.01的步長從0～0.5變換，進行仿真實驗所得檢測率結果如圖4所示，圖中可見：① 由于訓練樣本在平分過程中的隨機性，故障檢測率呈現不規則的波動，但從總體趨勢可以看出，Vowel數據集的檢測率隨著拒絕域的增大呈上升趨勢，而Ecoli數據集則呈下降趨勢。顯然檢測率與拒絕域的關系隨著數據集的改變而改變，因此想針對拒絕比例選取一個統一的標準從而獲得最大的檢測率是不現實的。② 雖然在Vowel數據集中檢測率隨著拒絕比例增大而增加，但一味提高拒絕比例，意味著在訓練樣本中把更多的目標類樣本錯劃分為故障樣本，這在理論上是無法解釋的，因此拒絕比例設定為0.1是較為合理的。

圖4 拒絕域對OCKIELM1的影響Fig.4 Influence of reject ratio on OCKIELM1

4.2 旋轉變壓器故障檢測實例

本節以旋轉變壓器激勵發生電路為例驗證算法的性能，其組成框圖如圖5所示。旋轉變壓器由電源模塊供電，由正弦信號產生模塊產生磁繞組所需的正弦信號以提供激勵，由頻率控制模塊、幅值調理及驅動能力調節模塊來控制激勵的類別輸出。自動測試系統(ATS)對其9個項目進行測試：±15 V電源電壓值、+5 V與+10 V電源電壓值、信號頻率與幅值、正弦模塊輸入電壓值、信號頻率穩定度和電路板工作溫度。

圖5 旋轉變壓器電路圖Fig.5 Circuit diagram of rotary transformer

用和、、、分別表示正常模式和頻率控制單元故障、幅值調理及驅動能力調節單元故障、電源單元故障以及正弦信號產生單元故障。ATS共采集5種模式下的樣本數分別為200、32、40、36和42，即200組正常樣本和150組故障樣本，其中。將正常樣本隨機抽取1/2作為訓練集，剩余1/2與故障樣本一起作為測試集進行驗證。仿真重復20次，將仿真結果以“均值±標準差”的形式記錄于表4中，將最優結果加粗表示。

由表4可得：① 在檢測率方面，相較于其他方法，OCKIELM方法在所有指標上都具有較大優勢，其中第1種閾值準則下的實驗結果性能更佳；② 在時效性方面，OCKIELM方法的時間消耗達到了毫秒級，OC-SVM的時間消耗極短，2種方法都滿足了在線檢測的時效性要求，但OCKIELM的性能指標更高；③ 在穩定性方面，OCKIELM方法的標準差穩定在0.02以內，說明所提方法具有較好的穩定性。

圖6所示為旋轉變壓器在各個方法下的最大指標占比，圖7所示為正則化因子和拒絕域的取值對實驗結果的影響。由圖6和圖7可見:① OCKIELM的最大指標占比均為1，具有最好的指標性能，其次是OCKIELM，進一步驗證了表4中的結果；② 在旋轉變壓器的仿真試驗中，故障檢測率隨著拒絕比例的增大總體呈現先上升后下降的趨勢，并在0.1處達到一個極大值；但檢測率隨著正則化因子的變化并沒有明顯變動趨勢。實驗證明正則化參數選取對實驗結果的影響較小，拒絕域的選取更為重要，且文中拒絕域的選取較為合理。

表4 旋轉變壓器實驗結果Table 4 Experiment results of rotary transformer

圖6 各方法指標占比Fig.6 Index proportion for different methods

圖7 拒絕域與正則化因子對OCKIELM1的影響Fig.7 Influence of reject ratio and regularization factor on OCKIELM1

5 結 論

本文針對小樣本的航空電子設備缺乏在線時間序列故障檢測理論方法的問題，僅在目標類樣本為訓練樣本的基礎上，以OCKELM為建?？蚣埽谠隽繉W習方法實現時間序列的在線學習以及核權重的更新，最終在2種閾值準則下對測試樣本進行故障檢測，實驗結果可見：

1) 相比于常規的二分類故障檢測方法，OCKIELM僅僅基于目標類樣本、而不需要故障類樣本，建立了故障檢測模型，并實現了在線時間序列的故障檢測。

2) 相比于PCA、SVDD和OC-SVM方法，OCKIELM方法在F1、AUC、G-mean和故障檢測率都具有更好的性能，其中第1種閾值準則比第2種檢測性能更好。

3) 相比于實驗參數的其他取值可以發現，檢測結果會隨著拒絕域發生不規律的變化，而隨正則化因子變化較小，因此如何在合理范圍內設定拒絕域使得檢測性能更高，是需要進一步研究的課題。