基于Transformer重建的時(shí)序數(shù)據(jù)異常檢測(cè)與關(guān)系提取

孟恒宇，李元祥

（上海交通大學(xué)航空航天學(xué)院，上海 200240）

0 概述

異常檢測(cè)是時(shí)序數(shù)據(jù)分析最成熟的應(yīng)用之一，定義為從正常的時(shí)間序列中識(shí)別不正常的事件或行為的過程［1］。有效的異常檢測(cè)被廣泛用于現(xiàn)實(shí)世界的多個(gè)領(lǐng)域，如量化交易、網(wǎng)絡(luò)安全檢測(cè)［2］、汽車自動(dòng)駕駛［3］和大型工業(yè)設(shè)備的日常維護(hù)等。以在軌航天器為例，由于航天器昂貴且系統(tǒng)復(fù)雜，不能及時(shí)檢測(cè)到危險(xiǎn)可能導(dǎo)致嚴(yán)重甚至無法彌補(bǔ)的損害，異常隨時(shí)可能發(fā)展為嚴(yán)重故障。因此，準(zhǔn)確、及時(shí)地檢測(cè)出異常能夠幫助航天工程師在第一時(shí)間給出應(yīng)對(duì)措施。

基于重建的異常檢測(cè)是目前時(shí)序數(shù)據(jù)異常檢測(cè)的主流方法。文獻(xiàn)［4］將深度學(xué)習(xí)用于異常檢測(cè)任務(wù)中，使用基于長(zhǎng)短期記憶（Long-Short Term Memory，LSTM）網(wǎng)絡(luò)的自動(dòng)編碼器（Auto-Encoder，AE）來檢測(cè)時(shí)序數(shù)據(jù)異常，該方法被成功應(yīng)用于許多工業(yè)領(lǐng)域［5-7］。基于重建的異常檢測(cè)算法首先使用正常數(shù)據(jù)訓(xùn)練自動(dòng)編碼器來重建序列，然后通過相同的模型重建異常序列，獲得重建誤差序列，最后利用閾值或其他方法分割出異常發(fā)生的子序列。

然而，LSTM序列式傳播的特點(diǎn)導(dǎo)致檢測(cè)算法難以實(shí)現(xiàn)并行化，大幅增加了計(jì)算耗時(shí)，尤其是隨著數(shù)據(jù)量指數(shù)級(jí)增長(zhǎng)，過多的訓(xùn)練耗時(shí)會(huì)影響模型的及時(shí)更新［8-9］。此外，LSTM等深度學(xué)習(xí)的“黑箱”特點(diǎn)使得提取到的特征很難有對(duì)應(yīng)的物理含義，如在記錄人為操作的故障數(shù)據(jù)集中，需要找出人為指令與異常的對(duì)應(yīng)關(guān)系，此關(guān)系難以體現(xiàn)在LSTM模型中［10］。

近年來，Transformer模型成為完成自然語言處理（Nature Language Processing，NLP）任務(wù)的主要方法。自然語言同樣是一種序列數(shù)據(jù)，但其中語義存在跳躍性，這類似于時(shí)序數(shù)據(jù)中因人為因素而導(dǎo)致的狀態(tài)變化，而Transformer模型可以很好地處理這一問題。因此，本文以注意力機(jī)制作為時(shí)序數(shù)據(jù)異常檢測(cè)手段，提出一種基于Transformer模型的時(shí)序數(shù)據(jù)異常檢測(cè)方法——掩膜時(shí)序建模（Mask Time Series Modeling，MTSM）。使用自注意力機(jī)制并行地重建數(shù)據(jù)以加快速度，通過可視化關(guān)系矩陣分析人為因素與異常發(fā)生的關(guān)系，并在存儲(chǔ)數(shù)據(jù)集和NASA航天器數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，比較不同工況下的重建及異常檢測(cè)效果。

1 相關(guān)工作

本節(jié)闡述以Transformer作為特征提取器的自動(dòng)編碼器工作原理及其優(yōu)點(diǎn)，并介紹從重建誤差序列中獲取異常動(dòng)態(tài)閾值分隔的過程。

1.1 嵌入注意力機(jī)制的自動(dòng)編碼器

注意力機(jī)制起源于人類眼球的注意力［11-12］，該機(jī)制能夠幫助眼球從繁冗復(fù)雜的圖像細(xì)節(jié)中獲取最重要的部分。廣義的注意力機(jī)制是指從大量信息中將權(quán)重分配給重要信息的過程。針對(duì)時(shí)序數(shù)據(jù)，不同時(shí)間步的數(shù)據(jù)其重要性應(yīng)當(dāng)是不同的。

假定輸入序列為Χ=[x1，x2，x3]，輸出序列為Y=[y1，y2，y3]，目標(biāo)為根據(jù)輸入序列X得出輸出序列Y。假定有一組序列對(duì)＜X，Y＞，則自動(dòng)編碼器的任務(wù)是學(xué)習(xí)該序列對(duì)的映射關(guān)系。自動(dòng)編碼器由編碼器Encoder和解碼器Decoder組成，不同的任務(wù)使用不同的特征提取器［13］。本文以NLP領(lǐng)域的Transformer模型作為自動(dòng)編碼器的Encoder和Decoder。

Encoder針對(duì)不同的輸入xi映射出不同的隱含編碼ci，將這種非線性映射定義為：

Decoder對(duì)ci-1做符合要求的解碼，得到輸出序列Y。每一個(gè)i時(shí)刻的yi根據(jù)ci-1和i時(shí)刻之前的y1，y2，…，yi-1來生成，其對(duì)應(yīng)的非線性映射函數(shù)定義為：

由此，可以根據(jù)輸入的X序列依次得到輸出的Y序列。可以看出，不同于一般的自動(dòng)編碼器，不斷更新的隱含編碼ci利用了注意力機(jī)制，在計(jì)算不同時(shí)間步時(shí)使用了不同的ci權(quán)重向量，也就是分配了不同的注意力。在計(jì)算ci時(shí)，第t個(gè)輸入xt對(duì)yi的權(quán)重計(jì)算公式為：

Transformer是完全基于自注意力機(jī)制的特征提取器，其兩個(gè)關(guān)鍵結(jié)構(gòu)如圖1所示［14］。圖1（a）所示為注意力計(jì)算部分，其中，Query和Key經(jīng)過矩陣相乘縮放到0和1之間，再通過Softmax得到注意力得分，之后計(jì)算Value的注意力得分加權(quán)和，得到最終輸出。圖1（b）所示為Transformer編碼器結(jié)構(gòu)，其中，輸入序列經(jīng)過一層嵌入后成為一個(gè)多維序列，經(jīng)過位置嵌入后的數(shù)據(jù)輸入多層的轉(zhuǎn)換層中，每一層轉(zhuǎn)換層由多頭注意力機(jī)制、層正則化和前向傳播模塊組成，同時(shí)加入了殘差連接。

圖1 注意力計(jì)算機(jī)制與Transformer編碼器結(jié)構(gòu)Fig.1 Attention computing mechanism and Transformer encoder structure

與傳統(tǒng)序列傳播的LSTM從前到后依次輸入序列不同，嚴(yán)格來說，Transformer沒有方向性，其直接輸入整段序列。此特性可使模型同時(shí)學(xué)習(xí)當(dāng)前時(shí)間步周圍的時(shí)間步信息。

1.2 基于重建誤差動(dòng)態(tài)閾值分割的異常檢測(cè)

由重建誤差序列可分割出異常子序列［15］，如圖2所示。

圖2 基于重建的異常檢測(cè)示例Fig.2 Examples of reconstruction-based anomaly detection

文獻(xiàn)［16］提出一種動(dòng)態(tài)閾值分割方法，其設(shè)yi為原始序列第i時(shí)間步的信號(hào)值為模型重建出的序列第i時(shí)間步的信號(hào)值，從而計(jì)算得到重建誤差序列動(dòng)態(tài)閾值分割指根據(jù)ei求出動(dòng)態(tài)閾值ε，其定義如下：

其中，μ(·)是均值，σ(·)是標(biāo)準(zhǔn)差，z是權(quán)重系數(shù)。每一個(gè)時(shí)間步的誤差閾值εi是動(dòng)態(tài)的，取決于之前整個(gè)閾值序列ε的最大值，計(jì)算公式如下：

在式（5）中，ea是上一個(gè)異常發(fā)生之后的所有正常序列，Pj是所有的正常序列，表達(dá)式如下：

可以看出，動(dòng)態(tài)閾值檢測(cè)綜合了均值和標(biāo)準(zhǔn)差，其根據(jù)誤差累積的情況不斷更新閾值，檢測(cè)到異常后再更新閾值。在整個(gè)過程中，只需要調(diào)整一個(gè)參數(shù)即權(quán)重系數(shù)z。目前，該方法已經(jīng)應(yīng)用到NASA實(shí)際的生產(chǎn)環(huán)境中。

2 本文方法

為提高基于LSTM模型異常檢測(cè)的計(jì)算效率，同時(shí)探索深度模型的特征在物理世界的含義，本文提出以Transformer作為自動(dòng)編碼器特征提取器的掩膜時(shí)序建模（MTSM）方法。

2.1 模型的輸入與輸出

在傳統(tǒng)基于循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的模型中，對(duì)于多數(shù)重建的時(shí)間步，通常是從整段時(shí)間序列中取一段長(zhǎng)度來重建下一步（LSTM信息傳播的步數(shù)是有限的），重建序列即是將分步的預(yù)測(cè)拼接成一段完整的序列，如圖3（a）所示，其中，灰色為模型輸入部分，白色為重建部分。可以看出，這一過程是單向的，僅有重建時(shí)間步之前的數(shù)據(jù)影響重建這一時(shí)間步。而Transformer模型與基于RNN的模型不同，其一次性讀取整段時(shí)序數(shù)據(jù)，在NLP任務(wù)中，可以從一個(gè)單詞的左右文字學(xué)習(xí)這個(gè)單詞的作用。因此，本文設(shè)計(jì)一種新的數(shù)據(jù)輸入輸出方式，如圖3（b）所示。在獲取一段完整序列并分割成小序列時(shí)，不是重建這一段小序列的最后一節(jié)數(shù)據(jù)，而是預(yù)測(cè)這一段小序列的中間一節(jié)數(shù)據(jù)，從而利用重建數(shù)據(jù)左右兩邊的信息來實(shí)現(xiàn)重建。

圖3 基于RNN的模型與本文模型的輸入輸出示意圖Fig.3 Schematic diagrams of input and output of RNN-based model and the proposed model

假設(shè)被掩膜（Mask）掉的重建序列長(zhǎng)度為L(zhǎng)（i一般取1），重建序列之前的輸入序列長(zhǎng)度為L(zhǎng)i-，重建序列之后的輸入序列為L(zhǎng)i+，則每次異常檢測(cè)要延遲Li+個(gè)時(shí)間步才能進(jìn)行。當(dāng)Li+=0時(shí)，MSTM的輸入輸出數(shù)據(jù)退化到一般的輸入輸出過程，如圖3（b）所示。這就帶來一個(gè)問題，即在在線檢測(cè)中，如果需要將目標(biāo)時(shí)間步之后的數(shù)據(jù)作為模型的輸入，勢(shì)必會(huì)影響檢測(cè)的實(shí)時(shí)性。但如果類似NLP，加入之后數(shù)據(jù)可以提升檢測(cè)效果的話，則可以在工程上做取舍，即在需要檢測(cè)精度高時(shí)增長(zhǎng)目標(biāo)時(shí)間步之后數(shù)據(jù)輸入的長(zhǎng)度，而在需要及時(shí)性時(shí)減少甚至取消這部分輸入。這一點(diǎn)將在下文實(shí)驗(yàn)部分加以討論。

2.2 模型結(jié)構(gòu)

受Mask Language Modelling啟發(fā)，本文提出MTSM方法用于時(shí)序數(shù)據(jù)的重建。

如圖4所示，對(duì)于輸入序列Χ=[x1，x2，…，xn]，選擇其中將要重建的時(shí)間步（如x4），用［mask］標(biāo)志代替，從接下來的模型中屏蔽掉。經(jīng)過一層位置嵌入后進(jìn)入Transformer編碼器，得到編碼后的序列encoded sequence，即上文提到的memory（但與一般的memory不同，此時(shí)的memory不包含要重建的x4），再經(jīng)過一個(gè)簡(jiǎn)單的decoder之后獲取序列。損失函數(shù)定義為被屏蔽的x4預(yù)測(cè)值與真實(shí)值之間的關(guān)系。換言之，MTSM是從被Mask的時(shí)間步兩邊的數(shù)據(jù)或者說上下文數(shù)據(jù)重建時(shí)間步，這充分利用了Transformer無向性的特點(diǎn)。此外，綜合利用上下文信息，也可以提高重建的精度。

圖4 MTSM方法建模過程Fig.4 Modeling process of MTSM method

2.3 關(guān)系提取

Transformer的一大優(yōu)點(diǎn)是可以捕捉跨距離的依賴關(guān)系。針對(duì)NLP任務(wù)，研究者常利用此特性分析某個(gè)詞在整句話中的作用，從而捕捉到較為直觀的語義特征。本文利用這一特性進(jìn)行人為指令與異常的關(guān)系提取，以探索異常檢測(cè)中的人為因素影響。

首先對(duì)人為指令和異常的關(guān)系進(jìn)行解釋。以NASA航天器數(shù)據(jù)集為例，通過一鍵熱編碼（one-hot encoding）的形式記錄地面操作人員的相關(guān)指令。如圖5所示，事實(shí)上航天器僅傳回了一個(gè)傳感器遙測(cè)值，但與此同時(shí)NASA將地面操作人員的24種或54種指令的實(shí)行情況隨信號(hào)的時(shí)間步編碼在一起，這樣不僅可以將其作為故障檢測(cè)的數(shù)據(jù)集，同時(shí)也可以用來分析人為指令在異常發(fā)生中的關(guān)系。假設(shè)信號(hào)在102時(shí)間步～104時(shí)間步發(fā)生異常，計(jì)算102時(shí)間步與100時(shí)間步、101時(shí)間步人工指令的相關(guān)系數(shù)，如果102時(shí)間步與101時(shí)間步的相關(guān)系數(shù)較大，則說明101時(shí)間步造成了102時(shí)間步的異常。

圖5 NASA航天器數(shù)據(jù)集中異常與人為指令的關(guān)系Fig.5 Relationship between anomaly and manual command in NASA spacecraft dataset

關(guān)系提取的具體實(shí)現(xiàn)過程如下：將Query的信號(hào)數(shù)據(jù)全部掩膜，只將人為指令傳入模型，而輸入保留全部數(shù)據(jù)，訓(xùn)練完畢后逐層可視化相關(guān)系數(shù)矩陣，找出異常發(fā)生時(shí)哪些時(shí)間步的人為指令權(quán)重較大，從而獲得所提取到特征對(duì)應(yīng)的物理含義。

3 實(shí)驗(yàn)結(jié)果與分析

本文在存儲(chǔ)數(shù)據(jù)集和NASA航天器數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，比較不同工況下的重建及異常檢測(cè)效果，并通過可視化關(guān)系矩陣進(jìn)行所提取特征的物理含義分析。

3.1 不同工況下的時(shí)序數(shù)據(jù)重建

時(shí)序數(shù)據(jù)異常檢測(cè)數(shù)據(jù)集的標(biāo)注需要昂貴的專家成本，尤其是詳細(xì)標(biāo)注異常發(fā)生的開始和結(jié)束時(shí)刻的數(shù)據(jù)集。由于此類數(shù)據(jù)集規(guī)模通常較小，因此基于算法效果檢驗(yàn)的實(shí)驗(yàn)結(jié)論存在一定偶然性。同時(shí)，基于重建誤差的異常檢測(cè)要求模型在輸入正常數(shù)據(jù)時(shí)重建誤差較小，輸入異常數(shù)據(jù)時(shí)重建誤差較大。因此，本文先使用含有不同工況的存儲(chǔ)數(shù)據(jù)集［17-18］進(jìn)行重建效果對(duì)比。

本文使用的存儲(chǔ)系統(tǒng)數(shù)據(jù)集來自于Ostwestfalen-Lippe應(yīng)用科學(xué)大學(xué)的智慧工廠項(xiàng)目。這個(gè)高存儲(chǔ)系統(tǒng)由4條傳送帶和2條導(dǎo)軌組成，每條傳送帶包含3個(gè)感應(yīng)傳感器，共有18個(gè)通道。數(shù)據(jù)集提供了4種工況，即無故障（正常）未優(yōu)化、無故障（正常）已優(yōu)化、有故障（異常）未優(yōu)化和有故障（異常）已優(yōu)化。基于此數(shù)據(jù)集，可以在工況是否異常和是否被優(yōu)化兩個(gè)維度上比較算法的優(yōu)缺點(diǎn)。

圖6為存儲(chǔ)數(shù)據(jù)集通道3數(shù)據(jù)的重建結(jié)果對(duì)比。通過比較4種不同工況下的重建序列可以看出，優(yōu)化后的數(shù)據(jù)比未優(yōu)化的數(shù)據(jù)更平穩(wěn)，雜波更少，異常數(shù)據(jù)比正常數(shù)據(jù)多了一段急劇上下波動(dòng)的異常。

圖6 存儲(chǔ)系統(tǒng)數(shù)據(jù)集上的重建結(jié)果Fig.6 Reconstruction results comparison of storage system dataset

表1為4個(gè)子集上的重建結(jié)果絕對(duì)誤差對(duì)比。可以看出，Transformer方法在有異常的數(shù)據(jù)集上重建的絕對(duì)誤差更大，這說明異常發(fā)生時(shí)Transformer的表現(xiàn)更魯棒。

表1 存儲(chǔ)系統(tǒng)數(shù)據(jù)集上重建誤差對(duì)比Table 1 Reconstruction error comparison in storage system dataset

表2是訓(xùn)練到收斂的平均用時(shí)對(duì)比，相關(guān)硬件為NVIDIA GTX-1080TI、16 GB內(nèi)存、Intel E5處理器。可以看出，由于Transformer放棄了LSTM的序列式推進(jìn)，其注意力機(jī)制模塊完全可以并行，因此用時(shí)普遍較少，最多可以節(jié)約80.7%的時(shí)間。

表2 存儲(chǔ)數(shù)據(jù)集上訓(xùn)練耗時(shí)對(duì)比Table 2 Training time comparison in storage system datasetmin

3.2 時(shí)序數(shù)據(jù)異常檢測(cè)

3.2.1 NASA航天器數(shù)據(jù)集

NASA開源的專家標(biāo)注的真實(shí)世界航天器故障數(shù)據(jù)集［16］包括火星科學(xué)實(shí)驗(yàn)室好奇號(hào)（Mars Science Laboratory rover，MSL）和土壤水分主動(dòng)被動(dòng)探測(cè)衛(wèi)星（Soil Moisture Active Passive，SMAP），共計(jì)82個(gè)通道、105個(gè)故障，數(shù)據(jù)集描述如表3所示。

表3 NASA航天器數(shù)據(jù)集描述Table 3 Description of NASA spacecraft dataset

3.2.2 Point-based指標(biāo)

對(duì)于序列數(shù)據(jù)的異常檢測(cè)，一種常用的檢測(cè)指標(biāo)為Point-based指標(biāo)，即當(dāng)預(yù)測(cè)異常與真實(shí)值有交集時(shí)記為True Positive，預(yù)測(cè)異常與任何真實(shí)值均無交集時(shí)記為False Positive，真實(shí)值與任何預(yù)測(cè)值均無交集時(shí)記為False Negative，其中，精確率（Precision）、召回率（Recall）與F1值的計(jì)算均與一般的檢測(cè)任務(wù)相同。

如上文所述，本文模型的檢測(cè)實(shí)時(shí)性主要取決于重建序列使用的輸入序列長(zhǎng)度，尤其是位于重建序列之后的輸入序列長(zhǎng)度Li+。此外，Transformer的層數(shù)和有無多頭機(jī)制也會(huì)對(duì)檢測(cè)效果造成影響。本節(jié)比較了不同參數(shù)配置對(duì)時(shí)間消耗的影響（硬件配置同上），如圖7和表4所示。可以看出，本文模型的Point-based指標(biāo)達(dá)到與LSTM相近的效果，并且可以大幅減少時(shí)間消耗，與LSTM模型相比節(jié)約了84.4%的時(shí)間。同時(shí)可以看出，多頭機(jī)制在這個(gè)時(shí)序數(shù)據(jù)任務(wù)中幾乎沒有發(fā)揮作用，這可能是因?yàn)閿?shù)據(jù)維度過少（只有25維或55維），而一般NLP任務(wù)的詞會(huì)嵌入512維度的詞向量空間。

圖7 時(shí)間消耗與F1得分對(duì)比Fig.7 Comparison of time consumption vs F1 score

表4 圖7實(shí)驗(yàn)的詳細(xì)參數(shù)Table 4 Detailed parameters of the experiment in Fig.7

針對(duì)異常在線檢測(cè)問題，由實(shí)驗(yàn)數(shù)據(jù)可以看出，設(shè)置Li+即延遲在線檢測(cè)時(shí)，異常檢測(cè)的精度更高。而放棄利用兩邊信息即Li+=0時(shí)，雖然檢測(cè)的精度有所下降，但是避免了在線檢測(cè)的延遲，這也符合之前假設(shè)，即利用兩邊的信息可以加強(qiáng)建模，從而提升整體效果，并且輸入數(shù)據(jù)長(zhǎng)度越長(zhǎng)精度越高。因此，針對(duì)在線檢測(cè)問題，需要具體考慮不同場(chǎng)景的需要。

3.2.3 Range-based指標(biāo)

文獻(xiàn)［19］指出，Point-based指標(biāo)對(duì)時(shí)序數(shù)據(jù)并不準(zhǔn)確。圖8所示的3個(gè)例子均被記作True Positive。從左到右可以看出：第1個(gè)例子有一個(gè)真實(shí)故障，算法檢測(cè)出1個(gè)故障；第2個(gè)例子有2個(gè)真實(shí)故障，檢測(cè)算法卻混淆為1個(gè)；第3個(gè)例子有1個(gè)真實(shí)故障，算法卻識(shí)別為2個(gè)。

圖8 Range-based時(shí)序檢測(cè)指標(biāo)示意圖Fig.8 Schematic diagram of Range-based indicator of time series detection

雖然Point-based的精確率和召回率均為100%，但是物理意義不同。因此，文獻(xiàn)［19］提出Range-based指標(biāo)，相較于Point-based指標(biāo)，其增加了OverlapReward值。第i個(gè)真實(shí)異常Ri與預(yù)測(cè)值集合P的OverlapReward計(jì)算如下：

其中：ω(·)是重疊尺寸函數(shù)，用于衡量真實(shí)異常子序列與預(yù)測(cè)異常子序列的重疊大小；γ(·) 是重疊基數(shù)函數(shù)，用于衡量一個(gè)真實(shí)異常子序列與幾個(gè)預(yù)測(cè)異常子序列對(duì)應(yīng)，一般與真實(shí)異常重合的預(yù)測(cè)值越多，得分越低；δ(·)是位置偏置函數(shù)，如取前緣優(yōu)先（Front-end Bias）時(shí)，預(yù)測(cè)異常的前緣與真實(shí)異常的前緣越接近則得分越高，取中心優(yōu)先（Middle-end Bias）時(shí)，預(yù)測(cè)異常的中心與真實(shí)異常的中心越接近則得分越高。

表5比較了Range-based的不同位置偏置函數(shù)設(shè)置。如果設(shè)置為前緣優(yōu)先，則Transformers模型優(yōu)勢(shì)更明顯，即檢測(cè)出異常的前緣相比真實(shí)值更接近。設(shè)置為中心優(yōu)先，則Transformer模型也有一定優(yōu)勢(shì)。但如果完全不考慮異常的位置，則Transformer模型不占優(yōu)勢(shì)，這體現(xiàn)了Transformer模型在高層次語義上的優(yōu)勢(shì)。

表5 Range-based F1得分對(duì)比Table 5 Comparison of Range-based F1 scores

3.3 異常人為因素分析

本文選用一個(gè)6層Transformer模型的關(guān)系矩陣進(jìn)行可視化，部分實(shí)驗(yàn)結(jié)果如圖9所示。已知這個(gè)序列在1 899時(shí)間步～2 099時(shí)間步、3 289時(shí)間步～3 529時(shí)間步和4 286時(shí)間步～4 594時(shí)間步處發(fā)生異常，可見注意力矩陣的可視化效果非常直觀。對(duì)于Anomaly0，1 870時(shí)間步處所有的點(diǎn)的相關(guān)性都極強(qiáng)。因此，極大可能1 870時(shí)間步處發(fā)出的人為指令造成了之后的故障。對(duì)于Anomaly2，可以發(fā)現(xiàn)4 390時(shí)間步處點(diǎn)的相關(guān)性更大，這比真實(shí)異常開始處有延遲，但對(duì)應(yīng)了從4 430時(shí)間步開始的預(yù)測(cè)異常，可以看出模型將4 430時(shí)間步之后認(rèn)為異常并認(rèn)為4 390時(shí)間步處的指令依然關(guān)系極大。自上而下，中間層如Layer3提取到的特征就并不直觀，可能是相關(guān)的高層語義特征，而到模型的最后一層Layer5，特征又變得直觀。以上逐層關(guān)系矩陣的變化反映了編碼到解碼的過程［20］。

圖9 關(guān)系矩陣部分可視化結(jié)果Fig.9 Partial visualization results of relation matrix

4 結(jié)束語

目前，基于LSTM的異常檢測(cè)已經(jīng)被部署到很多實(shí)際應(yīng)用場(chǎng)景中。本文針對(duì)現(xiàn)有異常檢測(cè)方法計(jì)算效率低和提取到的特征意義不明顯這兩個(gè)問題，提出基于Transformer重建的MTSM方法。實(shí)驗(yàn)結(jié)果表明，與LSTM模型相比，Transformer模型減少了80.7%的訓(xùn)練耗時(shí)，并且對(duì)應(yīng)了關(guān)系矩陣的物理含義，而Mask的使用則提高了重建和檢測(cè)的精度，在重建任務(wù)中建模更魯棒，Range-based檢測(cè)指標(biāo)的F1得分達(dá)到了0.582。下一步將繼續(xù)提高重建精度并建立規(guī)模更大的數(shù)據(jù)集，以避免實(shí)驗(yàn)結(jié)論的偶然性。