結合對比學習的雙分支多維時間序列異常檢測方法

摘 要：多維時間序列異常檢測是維持復雜工業系統有效運行的必要環節，如何準確識別大量設備中的異常模式是一項重要挑戰。現有方案大多對多維時間序列下實體存在的動態依賴關系提取不足并且會受異常數據影響難以重構出正常的模式。為此，提出一種結合對比學習的雙分支多維時間序列異常檢測方法。首先，通過圖結構學習和圖特征增強得到實體之間的關聯圖以捕獲動態變化的實體相關性，以及使用長短期記憶網絡對時間依賴關系進行提取得到時間編碼；接著，插入分塊重組并采用圖卷積操作提取不同尺度間的時空融合關系；最后，將融合后的關系特征進行聯合對比訓練得到正異常差異表示以評估異常。在SWaT、WADI、SWAP和MSL四個公開工業數據集上進行實驗，與近年來的方法相比，所提方法取得了較好的F₁分數，分別為91.63%、90.60%、90.06%和93.69%，比MTGFLOW方法平均高出1.52百分點。實驗結果表明，所提方法在提取動態依賴關系和區分正常與異常模式方面具有顯著優勢，驗證了其在多維時間序列異常檢測中的有效性和先進性，并顯示出廣泛的應用潛力。

關鍵詞： 異常檢測； 多維時間序列； 對比學習； 圖卷積

中圖分類號： TP391 文獻標志碼： A 文章編號： 1001-3695（2025）02-025-0507-07

doi： 10.19734/j.issn.1001-3695.2024.07.0286

Integrating contrastive learning dual-branch multivariate

time series anomaly detection method

Zhou Dan， Ling Jie

（School of Computer Science amp; Technology， Guangdong University of Technology， Guangzhou 510006， China）

Abstract：Multivariate time series anomaly detection is essential for maintaining the effective operation of complex industrial systems. Accurately identifying anomalous patterns across numerous devices presents a significant challenge. To address this challenge， this paper proposed a dual-branch multivariate time series anomaly detection method that incorporated contrastive learning. Firstly， it used graph structure learning and feature enhancement to construct relational graphs that captured dynamic correlations among entities. Long short-term memory （LSTM） networks were then employed to extract temporal dependencies and generate temporal encodings. Next， it introduced block reassembly and applied graph convolution operations to extract spatiotemporal relationships across different scales. Finally， the fused relational features underwent joint contrastive training to produce differential representations that effectively distinguished between normal and anomalous patterns. It validated the proposed method through experiments on four public industrial datasets： SWaT， WADI， SWAP， and MSL. The results demonstrate that this method achieves superior F₁ scores of 91.63%， 90.60%， 90.06%， and 93.69%， respectively， averaging 1.52 percentage points higher than the MTGFLOW method. The experimental results confirm that this method significantly enhances the extraction of dynamic dependencies and the distinction between normal and anomalous patterns. This validates its effectiveness and advancement in multivariate time series anomaly detection， indicating its broad potential for practical applications.

Key words：anomaly detection; multivariate time series; contrastive learning; graph convolution

0 引言

時間序列數據的異常檢測是當前科技領域中的一項重要任務，它在健康監控、能源管理以及網絡安全等多個行業有著廣泛的應用^［1］。例如，發現金融行業中的欺詐行為對于減少經濟損失具有關鍵意義，及時檢測能源行業中的風力渦輪機傳感器異常有助于避免災難性故障^［2］。隨著物聯網和智能設備快速發展，大數據時代已經到來。越來越多的設備能夠實時收集和傳輸數據，這使得從大規模的時間序列數據中及時識別出異常變得尤為重要^［3］。盡管時間序列異常檢測的重要性日益凸顯，但在實際應用中仍然面臨許多挑戰。首先，定義何為異常本身就具有挑戰性，因為異常的界定往往依賴于具體的應用場景和產生數據的環境。其次，異常往往是稀有事件，這使得相關數據的標注尤為困難，從而限制了許多基于監督學習方法的應用^［4］。此外，時間序列中各數據點之間存在關聯性，異常檢測時必須考慮序列內部各采樣點的順序邏輯與潛在依賴關系，僅對單個數據點進行分析不足以揭示整個序列的時間依賴性^［5］。最后，多維時間序列的處理更加復雜，因為不同的數據維度之間可能存在著內在相關性，同時數據本身可能不具有穩定性，這些因素都給有效的異常檢測帶來了額外的難度。因此，開發能夠處理這些復雜數據特性的高效異常檢測方法是研究的重點。目前，時間序列異常檢測的方法主要可以分為統計方法^［6］、機器學習方法^［7］以及深度學習方法三種類型。另外，還有一些將兩種類型結合在一起的混合方法^［8］。統計方法依賴于對數據分布的嚴格假設，這在實際應用中往往因數據分布的復雜性而難以滿足。機器學習方法雖然能夠處理一些簡單的時間序列關聯，但通常缺乏捕捉復雜時間動態聯系的能力。相比之下，深度學習方法通過學習時間序列數據的深層特征和時間依賴性，能夠更好地識別和處理其中的復雜關系，但其面臨的主要挑戰是如何在保持時間序列的時間依賴關系和實體相關性的同時，學習出可以準確區分異常的表示。近年來，研究者們在深度學習領域開發了多種模型來處理這些挑戰，如基于重構的模型、預測模型、判別模型和其他少量的混合模型。基于重構的模型通過嘗試重建正常行為的時間序列來識別異常。這種方法正在迅速發展，因為它能夠結合復雜數據與多種機器學習模型來處理復雜數據，并解釋實例中的異常行為。在情況頗為復雜的時間序列異常檢測中，由于異常的數量未知，且正常點與異常點可能同時出現在一個實例中，這使得構建一個能清晰和準確地重建出正常數據的模型十分困難。特別地，當異常數據在訓練集中占比較大時，重構模型可能會重構出一些異常模式，在一些特定的數據集上表現效果不佳。預測模型則利用歷史數據預測未來行為，通過分析預測結果與實際觀測值之間的偏差識別異常，但對于復雜和非線性的時間序列模式，預測可能不夠準確。在計算機視覺任務中，對比學習因其多樣化應用和卓越表現而受到了廣泛關注^［9］，并取得了顯著成就，但其在時間序列異常檢測方面的應用和效果尚未得到足夠充分的研究。對比學習可以找到一種能夠清晰區分任何實例和其他實例的表示，極大減少異常和噪聲對模型性能的干擾，能夠為時間序列異常檢測帶來更準確的表示。

為了完整提取多維時間序列的時間依賴關系和動態實體相關性的深層特征，獲取具有差異性的正常數據和異常數據的對比表示，進一步驗證和探討對比表示學習在此領域的潛在效益，本文提出一種結合對比學習的雙分支多維時間序列異常檢測方法（integrating contrastive learning dual-branch anomaly detection，CLDAD）。CLDAD通過圖結構學習得到實體之間的動態變化圖，并使用殘差線性層進行圖特征增強，同時使用長短期記憶網絡對時間依賴關系進行提取得到時間編碼。接著，使用圖卷積網絡融合時間維度和實體維度上的關系特征。最后，通過插入分塊重組操作分別得到不同尺度的融合特征和同尺度子序列間的融合特征，將其進行聯合對比訓練，得到異常評分，判斷異常。CLDAD是一種新穎的端到端對比學習異常檢測方法，充分關注實體之間的關系變化，增強了對比表示魯棒性的同時，放大了正常數據和異常數據的表示差異，能夠更好地區分出正異常。

1 相關工作

檢測多維時間序列中的異常可以采用多種方法。統計方法包括移動平均和自回歸積分滑動平均模型等。機器學習方法則涵蓋了聚類算法和基于密度的方法以及分類算法，如決策樹和支持向量機。隨著深度學習在非線性學習中表現出強大性能，大量研究開始將深度學習運用于多維時間序列異常檢測任務中。由于現實世界中有標簽的時間序列數據十分昂貴和稀少，無監督方法更適用于現實世界中的異常檢測。目前主流的深度學習時間序列異常檢測方法可以分為預測方法^{［10，11］}、重構方法^{［12～16］}以及判別方法^{［17～19］}三類。

預測方法通過學習時間序列的歷史數據來預測未來的值，異常檢測則基于預測值與實際值之間的偏差進行^［7］。這類模型通常使用長短期記憶網絡（long short-term memory，LSTM）^［10］和GRU等循環神經網絡進行學習。圖神經網絡在時間序列的預測上具有卓越的能力，特別是在挖掘實體間關系方面。例如，文獻［11］提出了一種圖偏差網絡GDN，該網絡通過學習傳感器之間的依賴關系圖，運用圖注意力機制和實體嵌入向量進行預測，并識別和解釋正異常模式的偏差。盡管該方法在探究實體依賴關系特征方面表現出色，但在時間維度上的特征提取仍顯不足。在復雜的實際系統中，由于歷史數據固有的無標記性質和異常的不可預測性，對于非線性和復雜的時間序列模式，預測可能不夠準確，從而導致誤報率提高。這使得基于歷史數據的預測方法在實際應用中面臨著挑戰。

重構方法是指通過輸入正常的時間序列對模型進行訓練，在學習到正常時間序列的模式后，通過數據的重構誤差是否大于閾值來標記異常。重構方法使用重構誤差作為異常分數，主要分為基于變分自動編碼器（variational AutoEncoder，VAE）的方法和基于生成對抗網絡（generative adversarial network，GAN）的方法。文獻［12］提出了一種隨機遞歸神經網絡 OmniAnomaly，利用平面歸一化流和隨機變量之間的連接等技術學習多維時間序列的魯棒表示，但時間序列依賴關系強度會使該方法的性能受到不同程度的影響。文獻［16］提出了MTAD-GAT，使用兩個平行圖注意層來動態學習不同時間序列和時間戳之間的關系，利用每個信道變量重構概率的可用性，通過計算各變量對差異得分的貢獻來診斷異常。但是當異常數據在訓練集中占比較大時，重構模型可能會重構出一些異常模式，在一些數據集上的表現效果不佳。

判別方法是指輸入標記正常、異常的時間序列數據訓練模型，使其學習到正常、異常數據之間的差別，進而可以對待測數據進行正異常判別。文獻［17］提出GANF模型，其利用歸一化流進行無監督異常檢測，開發了一種用于多維時間序列密度估計的圖增強流來尋找低密度區域，從而實現異常檢測。由于在實際采集過程中工業實體設備運行的穩定性，使得異常數據較為稀疏，所以缺乏異常標簽。判別模型高度依賴標注數據的質量和數量，在數據標注不充分的實際應用中表現可能不佳。

從上文中可以看到，圖神經網絡已被廣泛應用在時間序列異常檢測任務中，它將數據建模為圖節點，并通過節點之間的信息更新與傳遞，在空間和節點建模方面展現出強大的能力^［20］。盡管圖神經網絡已成熟地應用于主流方法中，但除了這些方法本身的缺陷外，圖神經網絡仍面臨以下挑戰：首先，時間序列數據本身并不具備圖結構，但圖神經網絡需要圖結構作為輸入，如何準確地學習和構建合適的圖結構成為難題。其次，圖神經網絡的引入使模型更傾向于捕捉實體依賴關系，而忽略了數據中存在的時間依賴關系。針對以上挑戰，本文將多維時間序列中的實體視為圖節點，利用自注意力來學習動態圖結構。同時，添加了殘差線性層，用以增強學習到的動態圖特征。

最近的一些研究表明，對比學習是時間序列表示學習的一種突出的自我監督方法，它可以很好地緩解上述主流方法面臨的問題。在預測方法和重構方法中，對比學習可以幫助模型更好地理解正常數據的結構，從而在遇到異常時更加敏感。在判別方法中，對比學習則可以用來增強模型的區分能力，尤其是在標簽數據不足的情況下。對比學習的目標是學習一個嵌入空間，在這個空間中，相似的數據樣本彼此靠近，而不相似的樣本則相距甚遠^［21］。經典的對比模型創建正、負樣本對，以學習正樣本相互拉近、負樣本相互遠離的表示方法^［22］。但是，并非所有正樣本對都有利于時間序列的對比學習^［25］。由于時間序列數據中不同實體和不同時間窗口之間都存在一定程度的聯系，不良正對的出現會干擾其對比學習的效果，從噪聲中學習模式，并且可能會破壞重要的時間模式。因此，出現了可以擺脫負樣本影響的模型^［23］。文獻［24］提出DCdetector模型，設計了一種基于對比學習的雙注意力結構，擴大了正常點和異常點之間的表示差異，但在處理時采取的上采樣操作，丟失了一些時間序列關聯信息。另外，其采用的多個patch的分塊方式帶來了額外的時間成本。本文方法延用其思想，針對上采樣信息丟失的問題，設計了只需進行一次的分塊重組操作。此外，加入了不同尺度間的時間序列對比，增強了對比學習表示的魯棒性，從而提高模型分辨能力。

綜上，面對圖神經網絡和對比學習在時間序列異常檢測任務中的挑戰，本文設計了結合對比學習的雙分支多維時間序列異常檢測方法，它學習時間序列表示區分多維時間序列的異常點和正常點。

2 本文方法

2.1 問題描述

2.2 整體框架

本文提出一種新的多維時間序列異常檢測方法CLDAD，方法框架如圖2所示。結合對比學習的雙分支多維時間序列異常檢測方法由空間關系提取和時間關系提取兩個分支以及分塊重組和融合對比兩個模塊構成。空間關系提取分支通過圖結構學習和圖特征增強得到動態圖，捕捉在空間維度上多維時間序列的實體相關性；時間關系提取分支捕捉在時間維度上對多維時間序列的時間依賴關系。分塊重組模塊插入兩個分支用于得到不同尺度時空關系。最后，融合對比模塊將兩個分支的結果進行圖卷積操作，融合時間維度和空間維度上的關系特征，通過聯合對比差異計算總損失，得到最終異常評分。

2.3 分塊重組

分塊操作是將多維時間序列數據X^K平均分為長度為p的m塊，p表示分塊大小，m=?K/p」。重組操作是取這m塊中的第i個窗口，i∈{0，1，…，p}，構成p個長度為m的重組序列。圖3是分塊大小p=4時的分塊重組圖。分塊重組是為了從不同尺度內提取多維時間序列特征進行對比學習，正常模式在不同時間尺度內的特征應具有正相關性，但異常模式具有明顯的差異。同時，同尺度間的子序列也具有其特征。因此，本文進行多塊重組來提取子序列，加入重組序列之間的對比，來增強對比學習表示的魯棒性。同時，這種方式可以避免上采樣操作，上采樣操作是為了解決表示進行對比時維度不一致的操作，但同時會造成信息缺失。

圖3 分塊重組Fig.3 Block reorganization

2.4 空間關系提取分支

將注意力矩陣視為學習圖的鄰接矩陣A^k。注意力矩陣由每個節點的注意力分數組成，所以包含了實體間的依賴關系。由于輸入的時間序列是隨時間變化的，所以A^k也會發生變化，用以捕捉動態相關性。在圖卷積操作中，當鄰接矩陣的特征值處于-1到1時，會使時間維度特征幅值減小，因此為了后續更好的圖卷積融合特征操作，本文對學習到的鄰接矩陣A^k在用殘差連接保留原始圖特征的情況下，縮放和增強圖特征，圖增強模塊由n層殘差線性層組成， f（x）=wx+x，鄰接矩陣A^k在經過圖增強模塊以后，表示為=f^h（A^k），其中h指殘差線性層的層數。最后本文通過分塊重組操作，將得到的^K，k∈{1，…，K}分為ⁱ_in和ⁱ_wise。當分塊大小為p時，分塊數量為m=?K/p」，ⁱ_in和ⁱ_wise可以表示為

2.5 時間關系提取分支

在時間序列數據中，存在著豐富的時間依賴關系。LSTM是一種循環神經網絡變體，能夠有效捕獲長短期依賴關系，它適用于長時間序列和短時間序列。因此，本文使用LSTM來捕捉時間依賴關系。如圖5所示，首先，X^K通過分塊重組操作被分為X_in和X_wise，當分塊大小為p時，m=?K/p」：

X_in={Xⁱ_in|i=0，1，…，m}（7）

X_wise={Xⁱ_wise|i=0，1，…，p}（8）

其中：X_in中元素Xⁱ_in={xⁱ，xⁱ⁺¹，…，x^i+p}， X_wise中元素Xⁱ_wise={xⁱ，x^i+p，…，x^i+mp}。

對于第k窗口x^k，其時間t∈［kW：kW+S），得到時間編碼為H^k（t）=LSTM（x^k（t），H^k（t－1））。H^k（t）是LSTM的隱藏狀態，節點本身的歷史信息有助于增強時間序列的時間依賴關系。

然后得出X_in和X_wise的時間編碼表示為

H_in={H^k_in（t）|k={0，1，…，K}}（9）

H_wise={H^k_wise（t）|k={0，1，…，K}}（10）

2.6 融合對比

如圖6所示，本文對X^K分別在空間關系提取分支和時間關系提取分支得到的分塊時間編碼H_in和分塊圖_in進行融合，進一步提取時間依賴關系和實體相關性，采用圖卷積的方式，經由兩層圖卷積后的融合，計算公式為

C^i（0）_in=ReLU（ⁱ_inHⁱ_inW₁）W₂（11）

C^i（1）_in=ReLU（ⁱ_inC^i（0）_inW₃）W₄（12）

其中：W₁ 和W₃為兩層圖卷積權重；W₂和W₄用于提高融合表示的表達能力。本文用Cⁱ_in表示C^i（1）_in。同樣地，如圖7所示，對X^K得到的重組時間編碼和重組圖進行融合，采用圖卷積的方式，經由兩層圖卷積后的融合，計算公式為

C^i（0）_wise=ReLU（ⁱ_wiseHⁱ_wiseW₁）W₂（13）

C^i（1）_wise=ReLU（ⁱ_wiseC^（0）_wiseW₃）W₄（14）

其中：W₁ ～W₄表示同式（12）（13），本文將用Cⁱ_wise表示C^i（1）_wise。

如圖8所示，將得到的每個重組融合表示連接得到C_in，C_in={Cⁱ_in|i=0，1，…，m}，其中Cⁱ_in={C^ip，C^ip+1，…，C^ip+p}，i∈{0，…，p}則可以表示為C_in={C¹_in，C²_in，…，C^k_in}。將每個Cⁱ_wise按重組順序還原得到C_wise，表示為C_wise={C¹_wise，C²_wise，…，C^k_wise}。然后，使用一個長度為5的小窗口進行移動平均去平滑還原后的C_wise，得到C′_wise。隨后，經過多層感知機得到最終的塊融合表示M_in和重組融合表示M_wise。最后，將M_in和M_wise之間的對比，以及對比重組融合表示中兩個不同的C^k_wise和C^k+im_wise進行學習，增強對比學習表示的魯棒性。C^k+im_wise中m表示重組序列長度，i∈{1，2，…，p}。本文將用C^′k_wise表示C^k+am_wise。

2.7 模型訓練與異常判別

CLDAD方法的模型訓練損失函數由兩部分組成，使用均方根誤差（RMSE）來度量表示的相似性。第一部分為重組融合表示C^k_wise和C^′k_wise之間的損失函數：

較高的異常分數，表明異常的可能性較高。由于訓練集和驗證集中存在著異常序列，所以不能直接設置閾值來標記異常。因此，為了減少異常干擾，存儲整個訓練集的S（X^K），并使用四分位差（IQR）來設置閾值： S_thre=Q₃+1.5（Q₃－Q₁），其中Q₁和 Q₃分別為S（X^K）的第25個和第75個百分位數。

3 實驗與結果分析

3.1 數據集

本文在多維時間序列數據異常檢測主流的四個公開數據集上開展實驗，數據集特點描述如表1 所示。

SWaT是一個集成監控系統行為的現代網絡物理系統，其特征主要包括傳感器數據和多個制動器的開關狀態數據。WADI是一個由大量水分配管道組成的分配系統所記錄的數據集合，包含來自正常操作的兩周數據。在記錄的時間段內，分配系統在不同的時間間隔進行了一些受控的物理攻擊。SMAP由美國宇航局NASA和美國農業部USDA合作開發的一個真實世界專家標記數據集，用于土壤水分監測和預測。MSL是好奇號火星探測器在火星表面上進行探測期間所收集的大量科學數據集。

3.2 對比方法

本次實驗使用的對比方法為目前有一定影響力的基線方法和主流方法。

a）OmniAnomaly^［12］。基于變分自編碼器的時間序列異常檢測重構模型，利用隱變量建模復雜時間序列數據的分布，從而識別異常。

b）MAD-GAN^［28］。基于生成對抗網絡的時間序列異常檢測重構模型，通過生成器和判別器之間的對抗學習來捕捉數據的正常模式。

c）USAD^［14］。基于生成對抗模型的異常檢測模型，通過兩個解碼器對一個編碼器進行訓練，使其能夠有效地檢測時間序列中的異常點。

d）GDN^［18］。基于圖神經網絡的模型，利用圖結構學習不同傳感器之間的耦合關系， 對于多維時間序列數據有著較強的維度相關分析。

e）FuSAGNet^［29］。聯合優化重構模型和預測模型，建模了多維時間序列中的特征關系。

f）MTGFLOW^［30］。基于密度估計的模型，通過圖結構學習挖掘實體動態關系，使用歸一化流建立多維時間序列的精確分布。

3.3 評價指標

本文的性能評估將使用精確率（precision）、召回率（recall）和 F₁ 分數為衡量檢測效果的指標。精確率表示被模型預測為異常的真實異常樣本占所有被模型預測為異常的比例，用 Prec 表示精確率：

Prec=TPTP+FP（19）

召回率表示被模型預測為異常的真實異常樣本占所有真實異常樣本的比例，用Rec 表示召回率：

Rec=TPTP+FN（20）

F₁ 分數為綜合考慮精確率和召回率的性能衡量指標，用F₁ 表示 F₁ 分數：

F₁=2×Prec×RecPrec+Rec（21）

其中：TP表示被識別為正的正樣本數量；FP表示被識別為正的負樣本數量；FN表示被識別為負的樣本的負樣本數量。

3.4 實驗環境與設置

實驗在型號為NVIDIA GeForce RTX 4060Ti 16 GB的顯卡上進行。在 SWAT 和 WADI 數據集上設置窗口長度 w=60，在 SMAP 和 MSL 數據集上設置窗口長度 w=30， 實驗中訓練集和驗證集的劃分比例為6∶4。另外，在實驗中使用 ADAM 優化器，其初始學習率為1E-3，殘差線性層的層數為3。按照各個模型公開的源代碼進行實驗，更公平地對比出不同算法之間的模型性能。

3.5 對比實驗

為了驗證本文方法的普適性，本節主要在公開數據集上對其模型性能進行評估與分析，對比實驗結果如表2 所示，其中粗體數據表示排名第一的數值，下劃線數據表示排名第二的數值。可以看到，CLDAD在四個數據集上的F₁分數均位居首位，分別是91.63、90.60%、90.06%和93.69%，比其他方法提高了0.83～61.03百分點。在WADI、SWAP和MSL數據集上的精確度排名第一，分別是96.83%、95.45%和98.65%，比其他方法提高了1.68～53.74百分點。這充分說明模型能夠適應不同數據集，具有可靠性和穩定性。

SWAT數據集比其他數據集連續量特征和離散量特征的數量更加平衡，GDN 在SWaT 數據集上的精確率最高，因為其引入了圖神經網絡和節點嵌入表示讓其能在更具平衡的數據集上通過圖偏差識別異常； CLDAD通過聯合對比訓練可以有效提高模型的泛化能力和魯棒性，其在數據集上的所有性能指標均表現良好。WADI數據集是四個數據集中維度最高、異常比例最低的，CLDAD運用雙圖卷積并通過多尺度的時空融合表示和聯合對比學習框架提取復雜的特征維度耦合關聯，提高了模型的判別能力，取得了其排名第一的精確度和F₁分數。說明CLDAD能夠高效識別異常模式，適合處理具有復雜空間依賴關系的數據。OmniAnomaly取得了優異的召回率，說明了重構模型利用隱變量建模復雜時間序列數據的分布在異常比例低的數據上表現優異。SMAP數據集也存在較高的異常污染，CLDAD在精確率上表現最佳，在召回率和F₁分數上排名第二，說明CLDAD受異常干擾小。MTGFLOW 利用異常通常位于低密度區域的假設，通過動態圖結構學習和實體感知密度估計，能夠有效地捕捉時間序列數據中的復雜依賴關系，使得它在該數據集上取得了略高于CLDAD的召回率；在MSL數據集上，CLDAD在精確率和F₁分數上排名第一，說明CLDAD能夠較好地捕捉衛星傳感器數據中的細微異常，模型充分捕捉復雜的時間依賴和空間依賴關系得到正異常區分表示，這對于處理火星探測器數據中的異常檢測非常有效。綜上所述，GDN、OmniAnomaly和MTGFLOW在特定數據集上表現較好，但總體來看，本文CLDAD更為優異。

3.6 消融實驗

為了證明模型中的圖增強模塊（GA）和重組融合表示對比損失項（RCL）的有效性，進行兩項消融研究，性能指標F₁分數如表3所示。w/o GA和w/o RCL分別表示移除GA和RCL后的CLDAD模型。首先可以觀察到，相比于原模型，w/o GA的檢測性能有所下降。這是因為在模型中的圖增強模塊中使用了殘差線性層，讓模型在保留原有圖特征的同時，放大了鄰接矩陣的特征值并增大了特征值之間的差異，豐富了圖結構中節點的特征信息，讓其于時間特征融合時避免幅值減少帶來的影響， 具有了更強的表達能力和健壯性。加上GA模塊后，四個數據集中各個指標上的效果提升了2.2～3.57百分點，SWaT的F₁分數從 89.43%增加到91.63%，WADI從87.64%增加到90.60%，SMAP從86.89%增加到90.06%，MSL從90.12%增加到93.69%。 其次，w/o RCL的整體性能相較于CLDAD下滑了7.61～8.53百分點。這是因為本文進行多塊重組，加入重組融合表示之間的對比，最大限度地排除了噪聲的干擾，增強了對比學習表示的魯棒性。同時，這種方式可以解決不同尺度的數據表示之間因維度不一致，產生上采樣操作造成信息缺失問題。

3.7 超參數實驗

為了探索模型中超參數的敏感性，本文針對模型訓練過程中四個主要的超參數，分別是滑動窗口大小（W）、圖增強層數（H）、分塊大小（P）、批處理大小（B），進行了參數敏感性的實驗。為了檢驗設置不同的超參數對模型訓練中的性能影響，實驗在SWaT和MSL兩個數據集上進行。實驗結果如圖9所示。

其中，圖9（a）比較了選取滑動窗口大小 W= {30， 45， 60， 75， 90}時模型的 F₁ 分數。由圖可知，模型的 F₁在窗口大小分別取W=45 和W=60時最高，其他取值稍有降低。圖9（b）則比較了模型中編碼后的圖增強層數（H）的影響，分別選取并實驗了H={1，2，3，4，5}時模型的 F₁分數。由圖可知，模型的 F₁分數均在圖增強層數（H） 取2時最高。圖9（c）則比較了模型中編碼后的分塊大小（P）的影響，分別選取并實驗了P={2，4，6，8，10}時模型的 F₁分數。由圖可知，模型的 F₁分數在分塊大小（P） 取4和6時最高。圖9（d）則比較了模型中批處理大小（B）的影響，分別選取并實驗了B= {16，32，64，128，256}時模型的 F₁分數。由圖可知，模型的 F₁分數均在批處理大小（B）取128時最高。經過分析，模型對圖增強層數（H）和滑動窗口大小（W）并不敏感，其變化范圍在較小的可控范圍內。批處理大小（B）和分塊大小（P）對模型的性能有較大的影響。

3.8 模型復雜度分析

在相同硬件條件下，將本文CLDAD方法與各對比方法進行計算效率比較，在MSL數據集上進行四個輪次的實驗，計算方法平均運行時間和平均占用顯存大小，結果如圖10所示。在運行時間方面，CLDAD也展現了較好的性能。它的運行時間為344 s，僅次于GDN，與其他方法相比顯著更快。例如，與OmniAnomaly和USAD相比，CLDAD明顯縮短了運行時間，提升了計算效率。在顯存占用方面，CLDAD占用顯存為10.02 GB，在所有方法中并不是最低的，但與占用顯存最多的FuSAGNet相比，顯存占用更為合理，避免了顯存占用過高的問題。同時，它的顯存使用量也比MAD-GAN和MTGFLOW等方法低，證明了它的資源利用效率。因此，CLDAD在顯存占用和運行時間之間實現了良好平衡，既保證了較低的顯存需求，又在運行時間上表現出色，證明了其在效率和資源使用上的優越性。

3.9 實驗結果可視化

圖11繪制了某一個時間窗口圖結構學習后的鄰接矩陣在經過GA模塊前后的特征值對比圖。圖11（a）和（b）分別表示經過GA模塊前后的鄰接矩陣特征值分布，可以觀察到特征值的波動范圍明顯變大。

為了更直觀地展示異常檢測結果，繪制了本文方法在MSL數據集時間戳上的M-6和T-12傳感器的觀測值、異常區域與異常分數可視化圖，如圖12所示（見電子版）。其中，紅色陰影區域為實際異常段。另外，圖12的前兩個圖中藍色線為數據集中不同傳感器的實際真實值，后兩個圖分別為方法計算出的異常分數和真實異常標簽，從圖中看出異常分數在正常時間段內較小，在異常時間段內顯著變大，能夠通過對比較好地區分出正常值與異常值的差異，這充分驗證了CLDAD方法的準確性與有效性。

4 結束語

本文提出了一種新的多維時間序列異常檢測方法 CLDAD，它通過圖結構學習和圖特征增強得到實體之間的動態變化圖以捕獲動態變化的實體相關性，以及使用長短期記憶網絡對時間依賴關系進行提取。通過設計的分塊重組操作和圖卷積融合提取了不同尺度間和子序列間的時空融合表示。設計了聯合對比訓練得到了更具魯棒性的正異常差異表示。實驗表明，與近年來的模型進行對比，在SWaT、WADI、SWAP和MSL四個公開工業數據集上進行實驗，本文方法取得了較好的F₁分數，分別為91.63%、90.60%、90.06%和93.69%，比MTGFLOW方法平均高出1.52百分點。

方法的局限性在于采用多層感知機進一步提取融合表示的特征對整體工作貢獻度不高，下一步的目標是研究更適用于多維時間序列數據的時空特征表示降維模塊優化方法。此外，未來另一個研究方向是探究如何同時提取多維時間序列的時空特征以避免融合操作，進一步提高方法的表示能力。

參考文獻：

［1］Lacoquelle C， Pucel X， Travé-massuyès L， et al. Warped time series anomaly detection ［EB/OL］. （2024-08-18） ［2024-07-16］.https：//arxiv.org/abs/2404.12134.

［2］滕飛，黃齊川，李天瑞，等. 大規模時間序列分析框架的研究與實現［J］.計算機學報，2020，43（7）：1279-1292.（Teng Fei， Huang Qichuan， Li Tianrui， et al. An analysis framework for large-scale time series［J］. Chinese Journal of Computers，2020，43（7）：1279-1292.

［3］謝偉，盧士達，時寬治，等. 面向工業物聯網時序數據的異常檢測方法［J］.計算機工程與應用，2024，60（12）：270-282.（Xie Wei， Lu Shida， Shi Kuanzhi， et al. Anomaly detection method for industrial IoT timing data［J］. Computer Engineering and Applications， 2024，60（12）：270-282.）

［4］陳文禮，蘇宇，陳玲俐，等. 雙特征層次嵌入的多維時序異常檢測方法［J］.計算機工程與應用，2024，60（21）：142-153.（Chen Wenli， Su Yu， Chen Lingli， et al. Double feature hierarchical embedding multivariate time series anomaly detection method［J］. Computer Engineering and Applications， 2024，60（21）：142-153.）

［5］曹晨曦，田友琳，張昱堃，等. 基于統計方法的異常點檢測在時間序列數據上的應用［J］.合肥工業大學學報：自然科學版，2018，41（9）：1284-1288.（Cao Chenxi， Tian Youlin， Zhang Yukun， et al. Application of statistical methods in outlier detection for time series data［J］. Journal of Hefei University of Technology：Natural Science，2018，41（9）：1284-1288.）

［6］吳彥文，譚溪晨，葛迪，等. 結合重構和圖預測的多元時序異常檢測框架［J］.計算機工程與應用，2024，60（13）：301-310.（Wu Yanwen， Tan Xichen， Ge Di， et al. Combining reconstruction and graph prediction for multi-dimensional time series anomaly detection framework［J］. Computer Engineering and Applications， 2024，60（13）：301-310.）

［7］霍緯綱，王慧芳. 基于自編碼器和隱馬爾可夫模型的時間序列異常檢測方法［J］.計算機應用，2020，40（5）：1329-1334.（Huo Weigang， Wang Huifang. Time series anomaly detection method based on autoencoder and HMM［J］. Journal of Computer Applications，2020，40（5）：1329-1334.）

［8］伍冠潮，凌捷. 基于自適應交互學習的CPS時間序列異常檢測［J］.計算機應用研究，2023，40（10）：2933-2938.（Wu Guanchao， Ling Jie. Time series anomaly detection for cyber physical systems based on adaptive interactive learning［J］. Application Research of Computers，2023，40（10）：2933-2938.）

［9］Caron M， Misra I， Mairal J， et al. Unsupervised learning of visual features by contrasting cluster assignments ［C］// Proc of the 34th International Conference on Neural Information Processing Systems. New York： Curran Associates Inc.，2020：9912-9924.

［10］Chen Ting， Kornblith S， Norouzi M， et al. A simple framework for contrastive learning of visual representations ［C］// Proc of the 37th International Conference on Machine Learning. New York： Curran Associates Inc.，2020： 1597-1607.

［11］He Kaiming， Fan Haoqi， Wu Yuxin， et al. Momentum contrast for unsupervised visual representation learning ［C］//Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway， NJ： IEEE Press， 2020：9729-9738.

［12］Su Ya， Zhao Youjian， Niu Chenhao， et al. Robust anomaly detection for multivariate time series through stochastic recurrent neural network ［C］// Proc of the 25th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press， 2019： 2828-2837.

［13］Tuli S， Casale G， Jennings N R. TranAD： deep transformer networks for anomaly detection in multivariate time series data ［C］// Proc of the 48th International Conference on Very Large Databases. New York： ACM Press， 2022.

［14］Garg A， Zhang Wenyu， Samaran J， et al. An evaluation of anomaly detection and diagnosis in multivariate time series［J］. IEEE Trans on Neural Networks and Learning Systems，" 2021， 33（6）： 2508-2517.

［15］Xu Jiehui， Wu Haixu， Wang Jianmin， et al. Anomaly Transformer： time series anomaly detection with association discrepancy ［EB/OL］. （2022-06-29） ［2024-07-16］. https：//arxiv.org/abs/2110.02642.

［16］Zhao Hang， Wang Yujing， Duan Juanyong， et al. Multivariate time-series anomaly detection via graph attention network［C］// Proc of IEEE International Conference on Data Mining. Piscataway， NJ： IEEE Press， 2020： 841-850.

［17］Hundman K， Constantinou V， Laporte C， et al. Detecting spacecraft anomalies using LSTMs and nonparametric dynamic thresholding ［C］// Proc of the 24th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press， 2018： 387-395.

［18］Deng A， Hooi B. Graph neural network-based anomaly detection in multivariate time series ［C］// Proc of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 4027-4035.

［19］Dai Enyan， Chen Jie. Graph-augmented normalizing flows for anomaly detection of multiple time series ［EB/OL］. （2022-05-08） ［2024-07-16］.https：//arxiv.org/abs/2202.07857

［20］Zong Bo， Song Qi， Min M R， et al. Deep autoencoding Gaussian mixture model for unsupervised anomaly detection ［EB/OL］. （2018-02-16）［2024-07-16］. https：//openreview.net/forum？id=BJJLHbb0-.

［21］Zhang Chuxu， Song Dongjin， Chen Yuncong， et al. A deep neural network for unsupervised anomaly detection and diagnosis in multivariate time series data ［C］// Proc of the 33th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 1409-1416.

［22］Jin Ming， Koh H Y， Wen Qingsong， et al. A survey on graph neural networks for time series： forecasting， classification， imputation， and anomaly detection ［EB/OL］. （2023-07-07）. https：//arxiv.org/abs/2307.03759.

［23］Grill J-B， Strub F， Altché F， et al. Bootstrap your own latent-a new approach to self-supervised learning［C］// Proc of the 34th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc. 2020： 21271-21284.

［24］Yang Yiyuan， Zhang Chaoli， Zhou Tian， et al. DCdetector： dual attention contrastive representation learning for time series anomaly detection ［C］// Proc of the 29th ACM SIGKDD Conference on Know-ledge Discovery amp; Data Mining. New York： ACM Press，2023： 3033-3045.

［25］Lan Xiang， Yan Hanshu， Hong Shenda， et al. Towards better time series contrastive learning： a dynamic bad pair mining approach ［EB/OL］. （2023-02-07）［2024-07-16］. https：//arxiv.org/abs/2302.03357.

［26］Jin Yixuan， Wei Yutao， Cheng Zhangtao， et al. Multi-scale dynamic graph learning for time series anomaly detection： student abstract ［C］// Proc of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021：23523-23524.

［27］Kipf T N， Welling M. Semi-supervised classification with graph con-volutional networks［EB/OL］. （2017-02-22）. https：//arxiv.org/abs/1609.02907.

［28］Li Dan， Chen Dacheng， Jin Baihong， et al. MAD-GAN： multivariate anomaly detection for time series data with generative adversarial networks ［C］//Proc of International Conference on Artificial Neural Networks. Berlin： Springer， 2019： 703-716.

［29］Han S， Woo S S. Learning sparse latent graph representations for anomaly detection in multi-variate time series ［C］// Proc of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2022： 2977-2986.

［30］Zhou Qihang， Chen Jiming， Liu Haoyu， et al. Detecting multivariate time series anomalies with zero known label ［C］// Proc of the 37th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press，2023：4963-4971.