一種非規則采樣航空時序數據異常檢測方法

閆媞錦，夏元清,*，張宏偉，韋閩峰，周彤

1. 北京理工大學 自動化學院，北京 100081 2.北京航天自動控制研究所，北京 100070

航天器是極其復雜且昂貴的飛行器，具有數千個遙測傳感器，詳細記錄了溫度、輻射、功率、儀器和計算活動等方面的時序信息。一旦出現無法監測和響應異常狀態的情況，航天任務很可能會失敗。考慮到這些傳感器數據的復雜性，如大量的缺失、噪聲隨時間推移而累積等，如何有效快速監控這些傳感器的數據以監測航天器的運行狀態是十分關鍵且重要的問題[1]。

當前多維時序異常檢測方法因其廣泛的應用場景而備受關注。常見的異常檢測方法可分為3類[2-3]：基于統計的方法、基于機器學習的方法和基于深度學習的方法。當前航天器遙測數據的異常檢測主要為基于統計的方法，如差分整合移動平均自回歸(ARIMA)模型、基于局部加權回歸散點平滑法的周期和趨勢(STL)分解、小波變換等，用于指示何時偏離預定范圍，專家系統[4-5]也已經成為少量航天器狀態監測的重要方法。但上述方法有較大的局限性，例如無法快速處理大量數據、耗費人力且需要專家信息等。而基于機器學習的方法主要包括聚類[6]、貝葉斯學習[7]等，但這類方法無法建立多維時序數據維度間的依賴關系；而基于深度學習的方式則是當前較為活躍的研究領域。其中，基于監督學習[8-9]的方法在訓練過程中由于需要標簽信息，只能檢測到已知異常類型，具有較大局限性，因此無監督方法[10-15]如今受到更多學者的關注?；跓o監督的異常檢測方法可分為以下兩類：

第1類為確定性模型。為檢測航空時序數據的異常，文獻[8]采用長短期記憶網絡(LSTM)對多維時序數據每個通道進行預測，并采用預測誤差確定異常點；文獻[13,16]采用基于LSTM的自編碼器模型建模正常時序的分布，并采用重構誤差判定傳感器數據的異常。雖然LSTM相比于循環神經網絡(RNN)更能建模長時依賴，但它是完全確定性的模型，缺乏魯棒性，無法很好地處理噪聲數據。

第2類為隨機性模型。文獻[17]同時結合高斯混合模型(GMM)和深度自編碼器(DAE)并提出基于高斯混合模型的深度自編碼器(DAGMM)模型；然而，它僅用于考慮多維變量而不是多維序列，無法考慮時序數據中的時序依賴。文獻[12]結合對抗生成網絡，采用博弈思想對正常數據分布進行學習。以往的工作表明，由于隨機變量建模的方式可以學習時序數據的概率分布，其異常檢測效果比確定性方法好。

此外，上述方法都是針對規則采樣且缺失率較低的多維時序數據建模的。但航空時序數據往往會存在大量的缺失，甚至本身采樣間隔就不是常值，上述方法便會失效。過去幾年中，已提出了很多方法用于解決時序數據中的缺失問題[18-19]。一類直觀的方法是填充法，例如平滑或插值法[20]、譜分析[21]、核方法[22]、多重插補法[23]和期望最大化(EM)算法[19]等。然而此類方法會導致整體流程的割裂，且都是基于某種假設對缺失數據進行填充，因此可能無法求得最優預測。

針對上述方法存在的問題，本文提出了非規則采樣多維時序異常檢測算法(Irregularly sampled Multivariate time series Anomaly Detection，IMAD)模型，針對非規則采樣的多維航空時序數據，采用特殊結構的門控循環單元[24](Gated Recurrent Unit，GRU)建模，在模型層面解決缺失值及采樣不規則的問題；此外，采用變分自編碼器[25](VAE)引入隨機性，建模正常時序數據的分布，提高魯棒性，并采用重構概率[26]表明數據異常的概率；接著，根據極值理論[27]自適應確定合適閾值檢測異常；最終，在兩個真實航空時序數據集上進行實驗，驗證IMAD模型的有效性。

1 GRU模型與變分自編碼器

首先，介紹用于時間序列數據建模的GRU基本形式以及變分自編碼器的基本架構。

1.1 GRU模型

RNN對于序列數據建模具有較好的效果，每一時刻可以將其看為一個非線性狀態空間模型，但它無法對時序數據的長時依賴進行建模。因此，LSTM和GRU相繼被提出以解決此問題。相比RNN，GRU包含一個重置門rt和一個更新門zt控制隱藏狀態ht，更新過程為

(1)

1.2 變分自編碼器

變分自編碼器是一種深度貝葉斯模型，它建立了兩個隨機變量x和z之間的聯系。首先，假設z服從某先驗分布p(z)，如多元高斯分布，而后x由神經網絡構成的條件分布pθ(x|z)中采樣得到，其中下標θ代表神經網絡中的參數，pθ(x|z)分布的具體形式根據具體任務決定；此外，由于真實的后驗分布pθ(x|z)難以計算，VAE中采用變分推斷的方式，用神經網絡估計后驗分布qφ(z|x),通常假設估計后驗分布滿足高斯分布N(μ(x),σ(x))，其中μ(x)和σ(x)為用神經網絡計算得到的期望和標準差。最終，x的最大似然估計為

(2)

根據詹森不等式，可得

(3)

不等式式(3)右側為變分下界，記為L。隨機梯度變分貝葉斯(SGVB)算法是有效優化變分下界的一種方式。此外，蒙特卡羅采樣法經常用于估計式(2)中的期望項，從而加快訓練速度，本文中仍采用此方法。

2 問題定義

假設有一非規則采樣且帶有缺失值的多維航空遙測時序數據X=[x1,x2, …,xN]，其中N為時序數據的長度，xt∈RD表示第t次的觀測值為D維向量。由于時間跨度角度，采用步長為1的滑窗策略逐段進行異常檢測，即xt-T:t∈RD×(T+1)為從第t-T～t次觀測的序列，由于數據中具有較多缺失值，采用M=[m1,m2, …,mt]表示缺失值指示矩陣，并用Δ=[δ1,δ2, …,δN]表示由相鄰兩有觀測值的時刻間隔δt組成的矩陣，其形狀與輸入X相同，st為第t個觀測值對應的時刻，示例為

(4)

3 IMAD整體結構

如圖1所示，IMAD算法異常檢測的流程包括兩部分：離線訓練和在線檢測。數據預處理為兩部分共用模塊。預處理模塊的主要步驟包括將數據進行歸一化，并對數據進行滑窗分段：

圖1 IMAD算法異常檢測流程Fig.1 Overall structure of IMAD for anomaly detection

(5)

式中：μx和σx分別為輸入數據的期望及標準差。

在離線訓練階段，預處理過后的數據輸入至模型訓練，并輸出每個觀測值的異常分數，這些異常分數通過基于極值理論的自動閾值選擇模塊確定合適閾值，以便線上異常檢測使用。此外，離線訓練保存的模型通常會進行周期性的更新，從而能夠持續學習輸入數據分布的變化。在線上檢測部分，首先加載離線訓練中保存的模型，新觀測的實時數據通過預處理模塊后給到線上檢測模塊，從而得到新觀測值的異常分數，一旦分數超過選定閾值，則報警給地面運維人員。

離線模型架構及訓練策略將于4.1～4.3節中介紹，線上檢測模塊將于4.4節中介紹，而自動閾值選擇模塊則在4.5節中給出詳細的策略。

4 方法設計

首先介紹處理非規則采樣且帶缺失值時序數據建模方法，然后給出離線模型的整體架構和訓練方法，最后給出線上檢測的方式和自動閾值選擇策略。

4.1 非規則采樣且有缺失值時序數據建模

式(1)的表達形式是建立在所有變量均可觀測的前提下的，而對于存在大量缺失的情況，可在GRU輸入前，對輸入變量xt和隱藏狀態ht加入可學習的時間衰減項：

(6)

(7)

式中：Vr、Vz和V為因mt新增神經網絡參數；xt和ht-1通過式(5)得到。圖2展示了GRU與帶有可訓練遲滯項的GRU(GRU with trainable Decays)的不同之處，圖中γx和γh分別為x和h的衰減因子。

圖2 GRU與GRU-D對比Fig.2 Comparison between GRU and GRU-D

此外，采用以下3類GRU-D的變體作為非規則采樣且有缺失值的時序建模的實驗對比，用于證明GRU-D單元的有效性：

1) 假設在未觀測時刻輸入變量X保持不變，此類方法記為GRU-forward，此時對應的形式為

xt=mtxt+(1-mt)xt′

(8)

2) 用輸入變量X的均值對缺失值進行填充，此類方法記為GRU-mean，此時對應的形式為

(9)

3) 將上述得到的變量X與缺失值指示矩陣M、觀測時間間隔矩陣Δ連接起來，一同送入GRU中，此類方法記為GRU-simple。此類方法進一步考慮了時間間隔和缺失值位置，相比GRU-forward和GRU-mean利用了更多的信息。

4.2 模型架構

圖3 時序異常檢測網絡結構Fig.3 Network structure for time series anomaly detection

(10)

4.3 訓 練

訓練采用SGVB算法直接優化式(3)中的下界，且文獻[26]提到訓練時蒙特卡羅采樣每次采一個樣本就足夠。此外，訓練時采用重參數化方法進行采樣，即不直接從z～N(μ(x),σ(x))中采樣，而是引入一個新的隨機變量ξ～N(0,I)，從而將采樣z重寫為z(ξ)=μz+ξσz。此時，每次采樣僅需從標準正態分布中采一個樣本，便可得到對應的采樣z，這解決了采樣操作不可導的問題，從而使其能像訓練普通神經網絡一樣使用隨機梯度下降訓練變分自編碼器。在訓練中，訓練數據每輪訓練首先進行隨機打亂，有利于隨機梯度下降的優化。此外，應保證給到模型中的每批數據足夠大，從而能使訓練過程中的損失比較穩定。最終，考慮到缺失值的情況，模型的損失為

lg(pθ(xt-T:t|zt-T:t))M·S

(11)

式中：S為比例系數，S=size(M)/sum(M)。實際上，模型損失第3項可看作重構損失，而前兩項恰好可以寫成Kullback-Leibler(KL)散度的形式。S用于平衡損失中各項的大小，從而避免模型只注重學習重構項lg(pθ(xt-T:t|zt-T:t))而忽略了KL散度，進而解決了缺失數據引起的性能衰退問題。此外，與普通自編碼器相比，VAE額外加入了KL散度，使得估計后驗分布qφ(z|x)與假設先驗分布pθ(z)之間的距離盡量小，此時重構輸出的分布中對應的標準差不為0，從而能夠用統計的角度判斷輸入變量的異常概率。

4.4 線上檢測

模型訓練完成保存后，可用于判斷某一時刻的觀測變量xt是否存在異常。由于模型的輸入滑窗長度為T+ 1，根據文獻[26]可知，VAE中可采用條件概率lgpθ(xt|zt-T:t)作為數據異常檢測的評價分數，采用此重構概率作為異常分數St。異常分數越大，表明輸入變量xt可以較好地重構，即若某觀測變量符合輸入變量的整體分布，則此觀測變量能以較高置信度進行重構。反之，異常分數越小，代表重構輸出和輸入變量之間差距較大，即若異常分數St小于某閾值后，則輸入變量xt被標記為異常，并告警給地面運維人員。閾值選擇策略將會在4.5節中介紹。

4.5 自動閾值選擇策略

在離線訓練時，計算每個觀測值的異常分數，最終可得到一個異常分數構成的序列{S1,S2, …,SN′}，而后則可根據極值理論[27](EVT)自動選取合適的閾值。

EVT用于發現極端值的分布規律，而極端值一般都分布在概率分布的尾部。EVT的優點是它并不對數據做任何的前提假設，此外文獻[27]還提出了POT(Peaks Over Threshold)算法，其基本思想是利用廣義帕累托分布(GPD)擬合某概率分布的尾部極端值分布。因此，根據POT學習異常分數的閾值。由于小于此閾值的被認為是異常，因此，采用廣義帕累托分布：

(12)

(13)

式中：N′為觀測值的數目；N′th為滿足S< th的數目；q為滿足S

5 實驗驗證

首先介紹兩個真實多維航空時序數據集；而后給出評價指標，對比方法和實驗參數設置；最后給出實驗對比結果和分析。

5.1 數據集介紹及模型評價指標

土壤水分監測衛星時序數據集(SMAP)和火星科學實驗室探測器“好奇號”時序數據集(MSL)是美國國家航天航空局的衛星公開時序數據集，其基本信息如表1所示。每個數據集分為訓練集和測試集兩部分，且兩部分數據都有對應的標簽。圖4給出了SMAP中數據歸一化后一些典型的異常數據段。可以看出SMAP數據不同階段的數據分布特性具有明顯差別，且不同通道之間數據互相影響，序列整體呈現高度非線性且缺失值較多的特性，因此這類時序數據的異常檢測任務較為復雜。然而，遙測數據是地面運維人員監測航天器異常事件的重要工具。

表1 數據集基本信息Table 1 Dataset information

圖4 SMAP數據集異常點示例Fig.4 Examples of anomalies in SMAP dataset

采用精準率(Precision)、召回率(Recall)和F1分數作為異常檢測結果的評價指標，其中：

(14)

由于以往一些方法有閾值確定方法，依然按照原來策略確定閾值；對于無閾值確定方法的模型，遍歷可能的閾值找出F1分數最高時的指標F1best進行比較。實際上，異常發生往往會持續一段時間，因此只要在異常發生期間有報警，則認為此段異常能夠正確報警。

5.2 對比方法及實驗參數設置

首先，針對帶有缺失值的多維時序數據異常監測任務，在模型框架不變的基礎上，對比了GRU-D的模型的一些變體，用于證明GRU-D模型對帶缺失值數據異常監測的有效性。然后，由于以往較少有做帶有大量缺失值的多維時序數據異常檢測工作，因此也對比了一些針對規則采樣且缺失率較低的多維時序數據異常檢測方法：基于變分自編碼器的單維時序異常檢測算法Donut逐通道進行異常檢測，用于驗證直接建模多維模型比逐維度異常檢測效果好；帶有非參數動態閾值策略的LSTM模型[1](LSTM-NDT)用于驗證RNN和VAE結合的效果比只用LSTM的模型好；基于LSTM的自編碼器模型[28](LSTM-AE)用于驗證VAE異常監測的有效性；基于高斯混合模型的自編碼器[17]用于驗證RNN時序數據建模的有效性。

實驗中設定滑窗長度為100，GRU-D的隱藏層維度為20，隱變量z的維度設定為3，每批數據大小設為50，訓練迭代5次，在訓練中采用Adam優化器，初始的學習率設定為10-3。此外，在訓練階段，將訓練集拆分出30%的數據當作驗證集，用于評估訓練的程度，在訓練中使用早停策略，防止模型過擬合。對于自動閾值選擇模塊，兩數據集中滿足異常分數小于閾值的期望概率q=10-4；此外，為了保證線下訓練和線上運行的一致性，線下的閾值策略往往需要仔細設置，因此實驗中，下分位數在0～0.07的范圍內以訓練集異常檢測效果為指標進行啟發式搜索，最終對SMAP而言，下分位數設定為0.07；對MSL而言，下分位數設定為0.01。所有方法實驗中的隨機數種子設定為3，均在24 G顯存的泰坦服務器(NVIDIA GeForce RTX TITAN)上運行完成，所有結果均為同參數下運行10次的平均值。

5.3 實驗結果及分析

分3個部分進行驗證，首先，按不同比例隨機丟棄一部分數據，并比較IMAD模型與其變體的異常監測效果；而后，與規則采樣多維時序異常監測方法對比；最后，分析模型對于隱變量z的敏感程度。

5.3.1 IMAD模型與其變體對比

比較將IMAD模型中的GRU-D模塊替換成其變體，保持實驗參數不變，將兩真實數據集按照0.1～0.5的比例隨機丟棄進行實驗對比，最終得到不同方法異常檢測的F1分數隨缺失率變化的對比。

由圖5可知，GRU-D相比于其他變體方法的異常檢測效果好，尤其是在MSL數據集上，在缺失率從0.1變化到0.5時，基于GRU-D的方法異常檢測效果比其他所有變體都要好，證明帶有可學習參數的指數衰減法相比直接用均值和最近時刻觀測值的填充法更能有效建模帶有大量缺失值的數據；單從模型表達效果隨缺失率變化來看，隨著缺失率的變化，基于GRU-D的IMAD模型的異常檢測效果在小范圍內波動，證明基于GRU-D模型的IMAD模型在含有缺失值的多維時序數據異常檢測任務中具有較強的魯棒性；而其他3種變體隨著缺失率的上升，異常檢測的F1分數值呈下降趨勢。此外，基于GRU-simple的IMAD模型異常檢測結果大體上比基于GRU-forward和GRU-mean的IMAD模型好，說明缺失值指示值及兩相鄰觀測值時間間隔對于建模帶有缺失值有重要作用。

圖5 不同缺失率下模型性能對比Fig.5 Comparison of performance of models with different missing rates

5.3.2 IMAD模型與規則采樣數據檢測方法對比

對比IMAD模型與規則采樣且缺失值較少的時序數據異常檢測方法(Donut、LSTM-NDT、LSTM-AE以及DAGMM)，由于這些方法并沒有針對非規則采樣且具有較多缺失值的時序數據進行建模，因此，用SMAP和MSL全量的數據驗證上述模型的效果，并與IMAD在帶有缺失值且缺失率為0.3的SMAP和MSL數據的異常檢測效果進行對比。此外，由于在Donut和LSTM-AE中沒有給出最終確定合適閾值的方式，采用網格搜索得到的F1best分數對各個方法進行比較，最終結果如圖6所示。對于存在自動閾值選擇策略的方法，則對比閾值確定出的精準率、召回率和F1分數，結果如表2所示。

圖6 不同方法異常檢測能力上界對比Fig.6 Comparison of anomaly detection of upper boundary performance of different methods

表2 不同異常檢測性能對比

由圖6可知，在MSL數據集上，缺失率為0.3 時IMAD算法的F1best分數最高，而在SMAP數據集上，帶有缺失值的IMAD算法F1best分數為0.840 5， 略低于LSTM-NDT算法的0.887 5，高于其他3種對比算法，說明即使數據具有一定的缺失比例，IMAD算法依然能維持較好的異常檢測效果上界。

LSTM-NDT是基于預測的異常檢測方法，此類方法具有較大的局限性，一些時序數據由于分布復雜很難預測[28]，如MSL中時序數據的分布模式變化較大，因此LSTM-NDT在此數據集上效果較差；在MSL中所有基于重構的方法效果均比此方法更好，因此基于重構的模型相比基于預測的模型在異常檢測任務上對不同數據分布的魯棒性更強，表2也再一次證明了這一點。

此外，由于MSL相比SMAP數據維度和異常種類更多，Donut這類逐個通道進行異常檢測的方式在此數據集上F1best分數僅為0.689 4；而IMAD則為0.903 8，這證明了建模多維時序數據通道之間依賴性的有效性；與LSTM-AE方法對比，IMAD算法證明了采用VAE建模隨機判斷異常值相比重構誤差具有更強的魯棒性；與DAGMM相比，IMAD模型證明了RNN系列模型建模時序數據的有效性。總體而言，與對比方法在全量數據上的異常檢測效果上界相比，IMAD采用缺失率為0.3的數據訓練測試仍然具有優勢，這證明了IMAD算法能在建模缺失值和不規則采樣時序數據的同時，保持一個較高的模型表達能力，從而能夠有效保證航天器狀態的監測。

在實際使用中，無法采用對測試集遍歷的方式尋找異常檢測效果最優時對應閾值的方法，而圖6只是比較了各個模型的表達上界，如何能夠自動確定合適閾值逼近上界是地面運維人員關心的問題。從表2可以看出，DAGMM由于無法建模時序依賴關系，且文獻[17]中給出的自動閾值確定策略較差，導致其實際性能與IMAD算法通過POT算法自動確定的閾值表現相差較大，而在SMAP數據集上，IMAD算法與LSTM-NDT算法有約5%的差距，但在另一個分布復雜的數據集上，IMAD相比LSTM-NDT能有更好的異常檢測效果。

表3給出了IMAD算法采用POT自動閾值選擇策略給出算法得到的F1分數與F1best分數對比，可以看出，一旦設置好POT兩個重要的參數，模型在不同缺失率下得到的F1分數與模型性能的上界整體差距較小，這證明了基于極值理論自動確定閾值的有效性。

5.3.3 超參數對于模型性能的影響

對于自編碼器模型而言，滑窗長度和隱藏層z的維度對于模型性能是十分重要的。為避免RNN建模長序列引起的梯度消失或爆炸問題，引入滑窗輸入策略，由于本文數據集采樣頻率高且局部平穩，此參數對模型性能影響較弱。但對于隱藏層z的維度，若取較大的值，則可能無法獲取輸入xt有效的低維表示，此時重構異常檢測效果會較差；若取較小的值，則可能無法學習到輸入變量xt的特征，造成訓練的欠擬合，同樣會導致異常檢測效果較差。因此，模型對于隱藏層z維度的敏感程度會顯著地影響模型的魯棒性。針對缺失率從0.1變化到0.5時的兩航空時序數據集，觀測隱藏層的維度從1變化到14時的F1best分數的變化，以表示其模型表達能力的上界隨z維度的變化，最終結果如圖7所示。

從圖7可以看出，固定缺失率時，IMAD算法在兩個數據集上的F1best分數在一個較小的范圍內波動，且能夠維持在一個較高的標準上。此外，對比同一個維度不同缺失率下的F1best分數可知，在MSL數據集上，當缺失率為0.3時，總體異常檢測性能稍好于其他缺失率的情況；而在SMAP數據集上，則是缺失率為0.4時效果稍好?？赡艿脑蚴钱斎笔瘦^小時，額外輸入的相鄰觀測值時間間隔矩陣以及缺失值指示矩陣大部分為無用信息，對于模型的表達能力造成了一定的干擾；而缺失率較大時，由于數據缺失較多，模型沒有足夠的數據有效學習數據的分布，此時效果也會稍差。

圖7 隱藏層z維度變化對IMAD性能的影響Fig.7 Influence of hidden z dimension on performance of IMAD

但值得注意的是，圖7中兩個數據集上即使是最差的F1best分數，仍然要比使用全量數據的對比算法中Donut、LSTM-AE的高，且相比DAGMM及LSTM-NDT在不同數據集上的泛化性能更好一些，這表明不確定性建模對于不同數據分布的魯棒性，對多維航空時序數據檢測是十分重要的。

基于VAE的異常檢測模型實際上是通過學習正常數據的分布形態進行異常檢測的。圖8給出了z的維度取3時，正常數據及異常數據在隱藏空間的分布情況，可以看出，當將包含異常點的滑窗數據給到離線訓練模型中時，其編碼得到的低維表示(紅色點)與正常滑窗數據編碼得到的低維表示(藍色點)在空間中耦合不可分離。這種不可分性表明即使模型輸入數據中包含異常點，其低維表示與正常輸入數據的低維表示是相近的，因此其對應的重構值仍然是趨于正常的。此時，異常點和與其對應的重構值之間有較大差距，導致其重構概率lgp(x|z)相比正常值對應的重構

圖8 輸入變量xt的隱層表示Fig.8 Latent representation of input variable xt

概率小，從而能夠判別異常點。同時，這也說明VAE模型學習了正常數據的分布，因此，即使xt包含異常值，依然能將其編碼至正常數據編碼對應的低維流形中去。

6 結 論

航天器狀態實時監測是航天任務能夠順利完成的重要保障，而由于航空時序數據具有維度大、時間長、缺失值多、采樣不規則等特性，實現實時的線上異常檢測較為困難，針對上述非規則采樣且帶有缺失值的航空遙測多維時序數據異常檢測問題，首先提出了IMAD算法，采用GRU-D從模型層面建模多維非規則采樣有缺失值數據；然后使用VAE建模不確定性，采用重構概率進行異常檢測；最終采用POT算法自動確定合適閾值。在兩個真實航空時序數據集上，IMAD均取得了超出當前最新異常檢測算法的效果。多個實驗表明，IMAD在缺失率、參數、數據集變化時，能夠維持較好的異常檢測效果，具有較強的魯棒性。

在本文方法的框架上仍有較多工作可以探究，如通過引入生成對抗網絡，采用博弈的思想進一步提高魯棒性；此外，IMAD中隱層分布假設服從對角高斯分布，與實際情況不符，引入更復雜的分布可能可進一步提高其異常檢測的性能。