融合統(tǒng)計(jì)方法和雙向卷積LSTM的多維時(shí)序數(shù)據(jù)異常檢測(cè)

摘 要： 通過(guò)數(shù)據(jù)分析進(jìn)行異常檢測(cè)，有助于準(zhǔn)確識(shí)別異常行為，從而提高服務(wù)質(zhì)量和決策能力。然而，由于多維時(shí)序數(shù)據(jù)的時(shí)空依賴(lài)性以及異常事件發(fā)生的隨機(jī)性，現(xiàn)有方法仍然存在一定的局限性。針對(duì)上述問(wèn)題，提出一種融合新型統(tǒng)計(jì)方法和雙向卷積LSTM的多維時(shí)序數(shù)據(jù)異常檢測(cè)方法MBCLE。該方法引入堆疊的中值濾波處理輸入數(shù)據(jù)中的點(diǎn)異常并平滑數(shù)據(jù)波動(dòng)；設(shè)計(jì)雙向卷積長(zhǎng)短期記憶網(wǎng)絡(luò)（Bi-ConvLSTM）和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（Bi-LSTM）相結(jié)合的預(yù)測(cè)器進(jìn)行數(shù)據(jù)建模和預(yù)測(cè)；通過(guò)雙向循環(huán)指數(shù)加權(quán)移動(dòng)平均（BrEWMA）平滑預(yù)測(cè)誤差；使用動(dòng)態(tài)閾值方法計(jì)算閾值以檢測(cè)上下文異常。實(shí)驗(yàn)結(jié)果表明，MBCLE具有良好的檢測(cè)性能，各步驟均對(duì)性能提升有所貢獻(xiàn)。

關(guān)鍵詞： 多維時(shí)序數(shù)據(jù)； 異常檢測(cè)； 長(zhǎng)短期記憶網(wǎng)絡(luò)； 中值濾波

中圖分類(lèi)號(hào)： TP309"" 文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1001-3695（2022）05-013-1362-06

doi：10.19734/j.issn.1001-3695.2021.10.0451

Multi-dimensional time series data anomaly detection fusing statistical

methods and bidirectional convolutional LSTM

Xia Ying， Han Xingyu

（School of Computer Science amp; Technology， Chongqing University of Posts amp; Telecommunications， Chongqing 400065， China）

Abstract： Anomaly detection through data analysis helps to accurately identify abnormal behaviors，improving service quality and decision-making capabilities.However，due to the temporal and spatial dependence of multi-dimensional time series data and the randomness of abnormal events，the existing methods still have certain limitations.Regarding the issue above，this paper proposed a multi-dimensional time series data anomaly detection method MBCLE，which combined new statistical methods and bidirectional convolutional LSTM.The method introduced a stacked median filter to handle point anomalies in the input data and smooth data fluctuations，and designed a neural network predictor combining Bi-ConvLSTM and Bi-LSTM for data modeling and prediction.It smoothed the prediction errors using bidirectional recurrent exponentially weighted moving average（BrEWMA）.The method used dynamic threshold to calculate the threshold to detect contextual anomalies.The experimental results show that MBCLE has good detection performance and each step contributes to the performance improvement.

Key words： multi-dimensional time series data； anomaly detection； long short-term memory network； median filter

0 引言

異常檢測(cè)通常是指在特定場(chǎng)景下從特征、模式等角度檢測(cè)出與正常情況相比具有顯著差異的數(shù)據(jù)點(diǎn)或數(shù)據(jù)段［1］。在軍事、醫(yī)療、工業(yè)、金融、物聯(lián)網(wǎng)等領(lǐng)域中，數(shù)據(jù)普遍具有多維和時(shí)間序列特征［2，3］，對(duì)多維時(shí)間序列數(shù)據(jù)進(jìn)行異常檢測(cè)是進(jìn)行異常行為識(shí)別、故障診斷、預(yù)測(cè)分析、預(yù)警處置等信息服務(wù)的基礎(chǔ)，對(duì)維護(hù)系統(tǒng)穩(wěn)定、提高生產(chǎn)效率、提升服務(wù)質(zhì)量等具有重要意義［4］。但由于數(shù)據(jù)維度高、不同維度之間存在相關(guān)性、異常多樣性和隨機(jī)性等原因，對(duì)多維時(shí)間序列數(shù)據(jù)異常檢測(cè)方法的研究仍然面臨著一些挑戰(zhàn)。

近年來(lái)，時(shí)間序列數(shù)據(jù)異常檢測(cè)方法得到廣泛研究，現(xiàn)有的異常檢測(cè)算法大致可分為基于統(tǒng)計(jì)的方法、基于聚類(lèi)的方法、基于距離的方法、基于密度的方法以及基于深度學(xué)習(xí)的方法等。周大鐲等人［5］使用基于距離的無(wú)監(jiān)督異常檢測(cè)方法K近鄰檢測(cè)時(shí)間序列數(shù)據(jù)的異常點(diǎn)，但該方法依賴(lài)于k的取值，不能很好地適應(yīng)大數(shù)據(jù)量的處理需求；Manevitz等人［6］提出一類(lèi)支持向量機(jī)將正常數(shù)據(jù)視為一個(gè)類(lèi)別來(lái)區(qū)分正常數(shù)據(jù)和異常數(shù)據(jù)，但該方法不能充分捕獲數(shù)據(jù)的時(shí)間相關(guān)性；Goldsein等人［7］提出基于直方圖的異常值檢測(cè)方法，該方法假設(shè)特征之間的獨(dú)立性，且能夠在不使用任何標(biāo)簽的情況下檢測(cè)異常值，但異常檢測(cè)取決于數(shù)據(jù)在特定統(tǒng)計(jì)分布中生成的假設(shè)；Siffer等人［8］提出基于極值理論的單變量時(shí)間序列數(shù)據(jù)點(diǎn)異常檢測(cè)方法，能夠一定程度上改善閾值設(shè)置的局限性，但仍不能很好地適應(yīng)數(shù)據(jù)規(guī)模大和數(shù)據(jù)維度高的處理需求［9］。

隨著人工神經(jīng)網(wǎng)絡(luò)在不同領(lǐng)域的適應(yīng)性不斷提高，越來(lái)越多基于深度學(xué)習(xí)的異常檢測(cè)技術(shù)應(yīng)運(yùn)而生。研究人員發(fā)現(xiàn)長(zhǎng)短期記憶網(wǎng)絡(luò)（long-short term memory，LSTM）在單變量時(shí)間序列數(shù)據(jù)異常檢測(cè)領(lǐng)域具有很好的效果，通過(guò)在正常數(shù)據(jù)上訓(xùn)練LSTM［10～12］，將其作為預(yù)測(cè)器，對(duì)預(yù)測(cè)誤差進(jìn)行建模以檢測(cè)點(diǎn)異常，即真實(shí)值與預(yù)測(cè)值相差很大的點(diǎn)被識(shí)別為異常值。Hundman等人［13］提出基于預(yù)測(cè)的無(wú)監(jiān)督單通道長(zhǎng)短期記憶網(wǎng)絡(luò)（SC-LSTM），預(yù)測(cè)多維航天器運(yùn)行數(shù)據(jù)并檢測(cè)每個(gè)維度的異常序列，同時(shí)提出動(dòng)態(tài)閾值方法以確定每個(gè)維度的閾值，但是該方法沒(méi)有考慮維度間的相關(guān)性，且對(duì)上下文異常的檢測(cè)性能有待提高。Zheng等人［14］提出基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）的多維時(shí)序數(shù)據(jù)分類(lèi)方法，使用多通道深度CNN提取多維時(shí)間序列數(shù)據(jù)的特征，并根據(jù)特征將其分為正常序列和異常序列。但是分類(lèi)器的精度往往會(huì)受數(shù)據(jù)集中數(shù)據(jù)分布的影響。衡紅軍等人［15］提出基于LSTM的自動(dòng)編碼器與孤立森林（isolation forest，IF）相結(jié)合的多維時(shí)間序列數(shù)據(jù)異常點(diǎn)檢測(cè)算法，自動(dòng)編碼器提取數(shù)據(jù)特征并重構(gòu)數(shù)據(jù)用以突出異常點(diǎn)，孤立森林進(jìn)行異常檢測(cè)。但是基于LSTM的自動(dòng)編碼器模型在解碼長(zhǎng)序列時(shí)可能出現(xiàn)錯(cuò)誤累積，影響異常檢測(cè)精度，且當(dāng)數(shù)據(jù)維度過(guò)高時(shí)會(huì)降低孤立森林方法的異常檢測(cè)性能。Zheng等人［16］提出基于注意力的卷積LSTM（convolutional LSTM）結(jié)合雙向LSTM（Bi-LSTM）的方法，通過(guò)提取數(shù)據(jù)時(shí)空特征預(yù)測(cè)交通流量。Tariq等人［17］提出聯(lián)合多維卷積LSTM與混合概率主成分分析（mixed probability principal component analysis，MPPCA）的多通道方法檢測(cè)航天器運(yùn)行中的異常。

現(xiàn)有的異常檢測(cè)方法大多側(cè)重于檢測(cè)點(diǎn)異常，為了能夠檢測(cè)數(shù)據(jù)中的多種異常類(lèi)型同時(shí)提高異常檢測(cè)精度，本文在現(xiàn)有研究基礎(chǔ)上提出多維時(shí)間序列數(shù)據(jù)異常檢測(cè)方法MBCLE（fusing stacked median filter，bidirectional ConvLSTM-bidirectional LSTM and BrEWMA）。該方法改進(jìn)傳統(tǒng)的中值濾波方法，使用堆疊的滑動(dòng)窗口平滑數(shù)據(jù)波動(dòng)并檢測(cè)數(shù)據(jù)中的點(diǎn)異常；設(shè)計(jì)Bi-ConvLSTM和Bi-LSTM相結(jié)合的多變量神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)器，在減少模型訓(xùn)練參數(shù)的基礎(chǔ)上提高對(duì)多維時(shí)間序列數(shù)據(jù)的時(shí)間和空間特征學(xué)習(xí)能力，對(duì)數(shù)據(jù)的所有維度進(jìn)行同步預(yù)測(cè)；同時(shí)為避免預(yù)測(cè)誤差導(dǎo)致的異常檢測(cè)性能下降，對(duì)傳統(tǒng)的指數(shù)加權(quán)移動(dòng)平均方法進(jìn)行改進(jìn)，使用不同權(quán)重系數(shù)對(duì)預(yù)測(cè)誤差進(jìn)行雙向循環(huán)處理，在保留異常誤差序列的基礎(chǔ)上平滑正常誤差序列；最后使用動(dòng)態(tài)閾值方法分別計(jì)算平滑誤差序列中每個(gè)維度的閾值，以檢測(cè)上下文異常。

3.4 結(jié)果分析

為驗(yàn)證MBCLE的有效性，在Yahoo Webscope的A2子數(shù)據(jù)集上與其他三種基于預(yù)測(cè)的異常檢測(cè)方法進(jìn)行比較，如下所示：a）LSTM［12］，使用單層LSTM與固定閾值的異常檢測(cè)方法；b）SC-LSTM［13］，融合堆疊的LSTM與傳統(tǒng)EWMA的單通道異常檢測(cè)方法并使用動(dòng)態(tài)閾值檢測(cè)異常；c）CL-MPPCA［17］，融合堆疊的ConvLSTM與MPPCA的多通道異常檢測(cè)方法，同時(shí)使用傳統(tǒng)EWMA和動(dòng)態(tài)閾值檢測(cè)異常。實(shí)驗(yàn)首先比較MBCLE與其他方法的數(shù)據(jù)預(yù)測(cè)和異常檢測(cè)性能。同時(shí)對(duì)每個(gè)步驟進(jìn)行消融實(shí)驗(yàn)，驗(yàn)證MBCLE中每個(gè)步驟的可行性。

3.4.1 預(yù)測(cè)器性能分析

為體現(xiàn)公平性，本文將提出的堆疊MF運(yùn)用到其他對(duì)比方法中進(jìn)行數(shù)據(jù)預(yù)處理，并使用相同的迭代訓(xùn)練次數(shù)。在訓(xùn)練過(guò)程中，MBCLE選擇Adam優(yōu)化器作為優(yōu)化技術(shù)，損失函數(shù)選擇MSE。不同之處在于LSTM、SC-LSTM和MBCLE的輸入序列長(zhǎng)度ls以及預(yù)測(cè)輸出序列l(wèi)p長(zhǎng)度為30，而單步預(yù)測(cè)方法CL-MPPCA的輸出序列l(wèi)p長(zhǎng)度為1。表2顯示了使用堆疊MF和不使用堆疊MF的所有方法的MAE、MSE和RMSE值，可以看出，使用了堆疊MF預(yù)處理器后的預(yù)測(cè)結(jié)果均優(yōu)于不使用堆疊MF預(yù)處理器的預(yù)測(cè)結(jié)果，說(shuō)明堆疊MF可以有效地提高預(yù)測(cè)精度。

表2還顯示了MBCLE要優(yōu)于CL-MPPCA，MAE、MSE和RMSE分別提高了21.95%、50%和16.07%，這表明基于Bi-ConvLSTM和Bi-LSTM的方法能夠更好地提取時(shí)間序列數(shù)據(jù)中的時(shí)空和周期性特征并生成建模預(yù)測(cè)。此外，由于LSTM對(duì)上下文異常不敏感的局限性，導(dǎo)致生成的預(yù)測(cè)序列不僅能與真實(shí)序列中的正常數(shù)據(jù)重疊，也能與真實(shí)序列中的上下文異常數(shù)據(jù)重疊，使得異常檢測(cè)方法不能有效檢測(cè)出上下文異常，因此LSTM和SC-LSTM的三種評(píng)價(jià)指標(biāo)均低于CL-MPPCA和MBCLE。

3.4.2 異常檢測(cè)性能分析

本節(jié)對(duì)提出方法的異常檢測(cè)性能進(jìn)行實(shí)驗(yàn)評(píng)估。表3顯示了不同異常檢測(cè)方法的精確率、召回率和F1分?jǐn)?shù)。從表3中可以看出，由于LSTM對(duì)上下文異常不敏感的局限性，生成的預(yù)測(cè)序列受到了上下文異常序列的影響，導(dǎo)致LSTM和SC-LSTM方法無(wú)法檢測(cè)到大部分上下文異常，因此召回率較低，僅有0.38和0.433 3。相反，這兩種方法的準(zhǔn)確性較高，分別為0.662 8和0.725 3，這意味著基于LSTM的方法能夠檢測(cè)到測(cè)試集中大部分的點(diǎn)異常，但是整體異常檢測(cè)性能較差，導(dǎo)致F1分?jǐn)?shù)僅有0.483 1和0.565 8。由于基于預(yù)測(cè)的方法是使用訓(xùn)練模型生成數(shù)據(jù)預(yù)測(cè)，所以異常檢測(cè)精度受其訓(xùn)練數(shù)據(jù)集質(zhì)量的限制。然而LSTM和SC-LSTM方法并沒(méi)有數(shù)據(jù)預(yù)處理步驟，訓(xùn)練集中的異常數(shù)據(jù)會(huì)被納入模型中進(jìn)行訓(xùn)練，這會(huì)進(jìn)一步影響異常檢測(cè)的性能。

從表3可以看出，使用了與SC-LSTM相同的平滑誤差與動(dòng)態(tài)閾值計(jì)算方法的CL-MPPCA，該方法使用堆疊的ConvLSTM結(jié)合MPPCA提取多維時(shí)間序列數(shù)據(jù)的時(shí)空相關(guān)性特征并生成預(yù)測(cè)，與SC-LSTM相比進(jìn)一步提高了異常檢測(cè)能力，尤其是上下文異常，三種評(píng)價(jià)指標(biāo)的值為0.833 2、0.860 9和0.846 8，分別提高了12.95%、49.67%和33.18%。而MBCLE的優(yōu)勢(shì)在于其對(duì)多維時(shí)間序列中正常周期性和趨勢(shì)行為的預(yù)測(cè)，以及誤差平滑效果更優(yōu)秀的BrEWMA，使得MBCLE能夠更精確地檢測(cè)測(cè)試集中偏離正常行為的異常數(shù)據(jù)。因此，在所有評(píng)估方法中MBCLE表現(xiàn)最佳，與最佳對(duì)比方法CL-MPPCA相比，精確率、召回率和F1分?jǐn)?shù)分別提高了3.5%、7.2%和5.3%。

3.4.3 消融實(shí)驗(yàn)

本節(jié)對(duì)MBCLE進(jìn)行消融實(shí)驗(yàn)，分析所提方法中各步驟的貢獻(xiàn)。表4顯示了在相同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，其中M表示堆疊MF，E表示BrEWMA，BL表示Bi-LSTM。首先，分別從MBCLE中刪除堆疊MF和使用LSTM代替Bi-LSTM得到MBCLE-nM和MBCLE-nBL；其次，在MBCLE-nM的基礎(chǔ)上刪除BrEWMA得到MBCLE-nM-nE，這意味著模型僅使用原始數(shù)據(jù)建模預(yù)測(cè)得到的預(yù)測(cè)誤差計(jì)算動(dòng)態(tài)閾值；然后，使用SC-LSTM中的堆疊LSTM代替本文提出的Bi-ConvLSTM-Bi-LSTM預(yù)測(cè)器得到LSTM-nM-nE；最后，使用完整的MBCLE作對(duì)比。

由表4可以看出，使用LSTM作為輔助模塊的MBCLE-nBL較MBCLE的檢測(cè)性能有所下降，這是因?yàn)槭褂昧撕笙蛴?xùn)練層的Bi-LSTM改善了模型的長(zhǎng)期依賴(lài)關(guān)系，充分利用了過(guò)去和未來(lái)的輸入數(shù)據(jù)特征，提高了模型預(yù)測(cè)的準(zhǔn)確性。同時(shí)，刪除了堆疊MF的MBCLE-nM的評(píng)價(jià)指標(biāo)均有明顯下降，是因?yàn)樵紨?shù)據(jù)中的波動(dòng)和異常降低了神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)性能，使用堆疊MF處理后的數(shù)據(jù)與原始數(shù)據(jù)的對(duì)比如圖9（a）所示，可以看出處理后的數(shù)據(jù)在不改變數(shù)據(jù)行為趨勢(shì)的情況下消除了點(diǎn)異常并平滑了數(shù)據(jù)波動(dòng)，這一結(jié)果表明，堆疊MF具有很好的數(shù)據(jù)預(yù)處理能力。

由表4可知，刪除了BrEWMA的MBCLE-nM-nE的精確率有較為明顯的降低，原因是未經(jīng)平滑的原始預(yù)測(cè)誤差會(huì)影響動(dòng)態(tài)閾值的選擇，使得原本的正常數(shù)據(jù)被標(biāo)記為異常，造成了過(guò)多的假陽(yáng)性率。圖9（b）為原始預(yù)測(cè)誤差與BrEWMA的平滑處理結(jié)果對(duì)比，可以看出BrEWMA在保留了異常誤差序列的同時(shí)平滑了多個(gè)誤差尖峰。從表4中還可以看出，LSTM-nM-nE與MBCLE-nM-nE相比精確率有所提高，但F1分?jǐn)?shù)進(jìn)一步下降，原因是LSTM很難從未經(jīng)平滑的原始數(shù)據(jù)中提取深層特征，導(dǎo)致預(yù)測(cè)誤差較大，進(jìn)而影響動(dòng)態(tài)閾值的選取。

消融實(shí)驗(yàn)結(jié)果表明，本文針對(duì)多維時(shí)間序列數(shù)據(jù)異常檢測(cè)所提出的堆疊MF、雙向循環(huán)指數(shù)加權(quán)移動(dòng)平均和神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)器均可有效提升檢測(cè)性能。

4 結(jié)束語(yǔ)

為進(jìn)一步提高多維時(shí)間序列數(shù)據(jù)中針對(duì)不同異常類(lèi)型的檢測(cè)精度，本文提出一種融合新型統(tǒng)計(jì)方法和雙向卷積長(zhǎng)短期記憶網(wǎng)絡(luò)的多維時(shí)間序列數(shù)據(jù)異常檢測(cè)方法MBCLE，該方法通過(guò)提取預(yù)處理數(shù)據(jù)的時(shí)空和周期性特征并生成數(shù)據(jù)預(yù)測(cè)，結(jié)合BrEWMA平滑預(yù)測(cè)誤差以檢測(cè)異常。實(shí)驗(yàn)結(jié)果表明，MBCLE在檢測(cè)精度方面優(yōu)于對(duì)比方法。未來(lái)的工作主要考慮以下兩個(gè)方面：a）本文方法是無(wú)監(jiān)督方法，引入相關(guān)領(lǐng)域的先驗(yàn)知識(shí)或者異常標(biāo)簽可能有益于性能提升；b）探索超參數(shù)選擇和優(yōu)化、在線(xiàn)訓(xùn)練等技術(shù)，進(jìn)一步提高異常檢測(cè)精度和效率。

參考文獻(xiàn)：

［1］Kong Fanhui，Li Jianqiang，Jiang Bin，et al.Integrated generative model for industrial anomaly detection via bi-directional LSTM and attention mechanism［J/OL］.IEEE Trans on Industrial Informatics.（2021-05-07）.https：//doi.org/10.1109/TII.2021.3078192.

［2］Habeeb R A A，Nasaruddin F，Gani A，et al.Real-time big data processing for anomaly detection：a survey［J］.International Journal of Information Management，2019，45（4）：289-307.

［3］Chalapathy R，Chawla S.Deep learning for anomaly detection：a survey［EB/OL］.（2019-01-23）.https：//arxiv.org/pdf/1901.03407v2.pdf.

［4］Oliveira J C M，Pontes K V，Sartori I，et al.Fault detection and diagnosis in dynamic systems using weightless neural networks［J］.Expert Systems with Applications，2017，84（10）：200-219.

［5］周大鐲，劉月芬，馬文秀.時(shí)間序列異常檢測(cè)［J］.計(jì)算機(jī)工程與應(yīng)用，2008，44（35）：145-147. （Zhou Dazhuo，Liu Yuefen，Ma Wen-xiu.Effective time series outlier detection algorithm based on segmentation［J］.Computer Engineering and Applications，2008，44（35）：145-147.）

［6］Manevitz L M，Yousef M.One-class SVMs for document classification［J］.Journal of machine Learning research，2001，2（3）：139-154.

［7］Goldstein M，Uchida S.A comparative evaluation of unsupervised anomaly detection algorithms for multivariate data［J］.PLoS One，2016，11（4）：e0152173.

［8］Siffer A，F(xiàn)ouque P A，Termier A，et al.Anomaly detection in streams with extreme value theory［C］//Proc of the 23rd International Confe-rence on Knowledge Discovery and Data Mining.New York：ACM Press，2017：1067-1075.

［9］李貝貝，彭力，戴菲菲.結(jié)合馬氏距離和自編碼器的網(wǎng)絡(luò)流量異常檢測(cè)［J］.計(jì)算機(jī)工程，2022，48（4）：133-142. （Li Beibei，Peng Li，Dai Feifei.Network traffic anomaly detection combining Mahalanobis distance and autoencoder［J］.Computer Engineering，2022，48（4）：133-142.）

［10］Malhotra P，Vig L，Shroff G，et al.Long short term memory networks for anomaly detection in time series［C］//Proc of European Sympo-sium on Artificial Neural Networks，Computational Intelligence and Machine Learning.2015：89-94.

［11］Zhang Minghu，Guo Jianwen，Li Xin，et al.Data-driven anomaly detection approach for time-series streaming data［J］.Sensors，2020，20（19）：article No.5646.

［12］Kim T Y，Cho S B.Web traffic anomaly detection using C-LSTM neural networks［J］.Expert Systems with Applications，2018，106（9）：66-76.

［13］Hundman K，Constantinou V，Laporte C，et al.Detecting spacecraft anomalies using LSTMs and nonparametric dynamic thresholding［C］//Proc of the 24th International Conference on Knowledge Discovery amp; Data Mining.New York：ACM Press，2018：387-395.

［14］Zheng Yi，Liu Qi，Chen Enhong，et al.Time series classification using multi-channels deep convolutional neural networks［C］//Proc of International Conference on Web-Age Information Management.Cham：Springer，2014：298-310.

［15］衡紅軍，劉靜.基于混合方法的多維時(shí)間序列駕駛異常點(diǎn)檢測(cè)［J］.計(jì)算機(jī)工程，2020，46（3）：99-104. （Heng Hongjun，Liu Jing.Driving outlier detection using multidimensional time series based on hybrid methods［J］.Computer Engineering，2020，46（3）：99-104.）

［16］Zheng Haifeng，Lin Feng，F(xiàn)eng Xinxin，et al.A hybrid deep learning model with attention-based conv-LSTM networks for short-term traffic flow prediction［J］.IEEE Trans on Intelligent Transportation Systems，2020，22（11）：6910-6920.

［17］Tariq S，Lee S，Shin Y，et al.Detecting anomalies in space using multivariate convolutional LSTM with mixtures of probabilistic PCA［C］//Proc of the 25th International Conference on Knowledge Discovery amp; Data Mining.New York：ACM Press，2019：2123-2133.

［18］Zhang Haofan，Nian Ke，Coleman T F，et al.Spectral ranking and unsupervised feature selection for point，collective，and contextual anomaly detection［J］.International Journal of Data Science and Analytics，2020，9（1）：57-75.

［19］Chandola V，Banerjee A，Kumar V.Anomaly detection：a survey［J］.ACM Computing Surveys，2009，41（3）：article No.15.

［20］Ma Chunbo，Lyu Xuewei，Ao Jun.Difference based median filter for removal of random value impulse noise in images［J］.Multimedia Tools and Applications，2019，78（1）：1131-1148.

［21］Zhang Minghu，Li Xin，Wang Lili.An adaptive outlier detection and processing approach towards time series sensor data［J］.IEEE Access，2019，7：175192-175212.

［22］Shi Xingjian，Chen Zhourong，Wang Hao，et al.Convolutional LSTM network：a machine learning approach for precipitation nowcasting［C］//Proc of the 28th International Conference on Neural Information Processing Systems.Cambridge MA：MIT Press，2015：802-810.

［23］Riaz M，Abbas Z，Nazir H Z，et al.On designing a progressive EWMA structure for an efficient monitoring of silicate enactment in hard bake processes［J］.Arabian Journal for Science and Engineering，2021，46（2）：1743-1760.

［24］Raza H，Prasad G，Li Yuhua.EWMA model based shift-detection methods for detecting covariate shifts in non-stationary environments［J］.Pattern Recognition，2015，48（3）：659-669.

［25］Theumer P，Zeiser R，Trauner L，et al.Anomaly detection on industrial time series for retaining energy efficiency［J］.Procedia CIRP，2021，99：33-38.

［26］Song Hongmei，Wang Wenguan，Zhao Sanyuan，et al.Pyramid dilated deeper ConvLSTM for video salient object detection［C］//Proc of the 15th European Conference on Computer Vision.Cham：Springer，2018：744-760.

［27］宋宇，李治霖，程超.基于CNN-BILSTM的工業(yè)控制系統(tǒng)ARP攻擊入侵檢測(cè)方法［J］.計(jì)算機(jī)應(yīng)用研究，2020，37（S2）：242-244. （Song Yu，Li Zhilin，Cheng Chao.Intrusion detection method of ARP attack in industrial control system based on CNN-BILSTM［J］.Application Research of Computers，2020，37（S2）：242-244.）

［28］霍緯綱，王慧芳.基于自編碼器和隱馬爾可夫模型的時(shí)間序列異常檢測(cè)方法［J］.計(jì)算機(jī)應(yīng)用，2020，40（5）：1329-1334. （Huo Weigang，Wang Huifang.Time series anomaly detection method based on autoencoder and hidden Markov model［J］.Journal of Computer Applications，2020，40（5）：1329-1334.）