融合多種機制的交通時序數據異常檢測模型研究

中圖分類號：TP183 文獻標識碼：A DOI：10.7535/hbkd.2025yx03003

Research on anomaly detection model for traffic time series data integrating multiple mechanisms

ZHANG Peipei，LIU Jiaqi

（SchoolofEconomicsandManagement，NorthChinaUniversityofScienceandTechnology，Tangshan，HebeiO63oo，China）

Abstract：Toenhancetheanomalyrecognitionabilityof trafictimeseriesdata，ahybrid modelwasconstructed.Firstly，the multi-headatention，residualsandprobabiliticsparseself-atentionwerecombined toformaglobalfeaturerecognition（GFR） module，enhancing theability whilereducingcomputationalcomplexity.Secondly，the dilated convolutionandmulti-scale convolution werecombined to formalocalfeaturerecognition（LFR）module，furtheroptimizing local featureextraction. Thirdly，the FreeRunning training strategy wasused to improve model robustness.Fourthly，the modules and training strategy werecombined withLSTM，whiletheresultof theself-atention mechanismreplaced theLSTM input gate，soas to optimize long sequence memoryabilityand reducecomputing complexity.Finally，a multivariate Gausian distribution probabilityfunction wasused to discriminateanomalies.Theresults show that ading each moduleon the basis of LSTM significantly improvesthemodel'spredictionandanomalydetectionability；Comparedwiththegeneralhybridmodel Transformer-Bi-LSTM，the proposed model hasstronger prediction abilityandlowercomputational complexity.The proposed modelperformsefectivelyinrecognizingboth globalandlocalanomalies in trafictime seriesdata，which provides reference forimproving the operational efficiency and safety of the traffic system.

Keywords：computer neural networks；long sequence time-series data;anomaly detection; attention mechanism;LSTM

在交通領域，交通時序數據異常檢測至關重要。這類數據包括交通流量、速度和占有率等信息，其異常檢測對保障交通安全、優化資源和提升交通效率意義重大。深度學習模型（如RNN、LSTM和Transformer）被廣泛用于異常檢測[1]，通過學習數據模式和長期依賴關系，比較預測值與實際值，來判斷異常[2]。然而，交通數據動態性強、復雜度高，受多種因素干擾[3]，需識別全局和局部特征異常[4]。1）全局特征檢測問題：傳統RNN難以處理長期依賴問題，LSTM雖有改進，但對極長序列的處理仍有限制[5]，Transformer雖能捕捉遠距離依賴[6]，但計算復雜度高，不利于超長序列處理[7]。2）局部特征檢測問題：卷積層雖能提取局部特征[8]，但因卷積核感受野固定，難以捕捉多尺度特征[9]。3）混合模型問題：如 Transformer-Bi-LSTM混合模型雖能提升預測能力[10]，但在局部特征提取、魯棒性和計算效率方面仍有不足。針對上述問題，本文提出一種混合模型，旨在優化交通時序數據的異常檢測能力。

1 模型設計

交通時序數據的復雜性使得交通數據的預測極具挑戰性，單一方法難以滿足高效、精準的預測需求。為此，本文提出的交通時序數據預測模型融合了三大核心模塊：1）全局特征識別（global feature recognition，GFR）模塊，通過集成 Transformer的多頭注意力、殘差和概率稀疏自注意力機制，在精準提取全局特征的同時降低計算復雜度;2）局部特征識別（local feature recognition，LFR）模塊，結合膨脹卷積和多尺度卷積技術，靈活捕捉交通數據中的局部細節特征，優化局部特征提取效果;3）FreeRunning 訓練策略，增強模型訓練的魯棒性。將上述特征識別模塊和訓練策略與LSTM相結合，并將全局特征識別模塊的輸出作為LSTM的輸入門控，進一步降低計算復雜度，提升長序列數據的記憶與預測能力。

1）GFRGRF是模型的核心部分，用于高效提取交通時序數據的全局特征。自注意力機制通過對輸入序列的全局建模捕捉長距離依賴，但其計算復雜度隨序列長度增加而呈平方增長，限制了在長序列數據中的應用[1]。概率稀疏自注意力機制通過稀疏性度量方法對注意力得分進行概率稀疏采樣，從而降低了計算復雜度[7]。然而，采樣后的鍵值對數量減少可能導致后續計算的缺失。為此，本模塊通過補零操作，結合卷積、ELU激活和最大池化對特征降采樣，使其在較短子序列上計算，降低計算量并防止過擬合。之后，利用反卷積進行上采樣，恢復到原始序列長度，在減少計算成本的同時，保持對序列的有效建模能力。此外，Trans-former的多頭注意力結構能從不同子空間中提取信息，增強模型對復雜關系的捕捉能力，殘差結構能有效解決訓練過程中梯度消失問題。基于此，GFR融合了概率稀疏自注意力、殘差和多頭注意力機制，能更全面、精準地捕捉數據中的全局特征。如圖1所示，該模塊包含6層編碼器，每層均采用概率稀疏自注意力、殘差和多頭注意力結構。

初始輸入為 17856×3 的矩陣（17856為時間點數，3為交通流量、平均速度和平均占用率三方面的數據）。輸入數據首先經過位置編碼以獲取序列位置依賴關系，然后通過多頭概率稀疏自注意力和降采樣獲取自注意力輸出。經上采樣后，與位置編碼輸出相加并歸一化，再經過前饋網絡處理，最后進行殘差求和與歸一化，得到與輸入形狀一致的編碼器輸出結果。本模塊采用8頭注意力機制，具體結構如圖2所示。

2）LFRLFR是本模型的關鍵部分，專注于捕捉交通時序數據中的局部細節特征，以增強模型對短時波動和局部模式的感知能力。卷積神經網絡能自動從輸人數據中提取具有代表性的局部特征，但在處理序列數據時，通常需要更深的網絡結構來獲得較大的感受野，這可能導致梯度消失[12]。而時空卷積通過卷積輸入的間隔采樣，有效擴大了感受野[13」，避免出現梯度消失。但模型還需捕捉不同時間尺度的特征，多尺度卷積網絡通過使用不同大小的卷積核來獲取不同尺度的特征[9]。本模塊結合膨脹卷積和多尺度卷積，使模型對不同頻率和幅度的變化具有更強的適應性。如圖3所示，卷積輸入通道數為3，輸出通道數為1，模型共有4個尺度的卷積核 {2，4，8，16} ，所以卷積核大小分別為 {3×1×2，3×1×4，3×1×8，3×1×16} 。每個尺度的卷積核又對應著4個膨脹率，大小分別為 1，2，4，8 。模型共產生 4×4=16 個卷積結果。接下來，利用拼接技術將16個卷積結果進行拼接，拼接后大小為 17856×16 ，再經過前饋網絡，輸出數據維度修改為17856×3 。

3）FreeRunning混合訓練策略在時序數據處理中，傳統訓練模式常采用TeacherForcing策略，即直接用真實標簽作為下一時間步的輸人，從而加快模型學習輸入與輸出映射關系的速度[14]，如圖4a）所示。然式可能導致模型過度依賴外部輸入，忽視自身預測誤差的處理，在面對新數據時因缺乏糾錯能力而無法有效適應。FreeRunning 訓練模式通過將前一步的輸出作為后一步的輸入（如圖4b）所示），迫使模型基于自身預測進行訓練，增強其對預測誤差的魯棒性和泛化能力，但也會增加訓練的時間成本。本模型采用 TeacherForcing與FreeRunning混合訓練策略，在 400個訓練周期中，前40個周期用36個epoch 進行TeacherForcing 訓練，4個epoch 進行FreeRunning 訓練;最后40個epoch完全采用FreeRunning模式。通過動態調整2種模式比例（如圖5所示），模型從依賴真實標簽逐步過渡到依賴自身預測，有效緩解過擬合，兼顧快速收斂與強泛化能力，特別適用于交通預測這類復雜任務和長序列數據，顯著提升模型在實際應用中的表現。

4）整體結構本文模型在LSTM的基礎上，融合了GFR、LFR以及 FreeRunning 混合訓練策略：a）GFR經過歸一化處理后，獲取輸入樣本的權重，記為 β ，并將其作為LSTM輸入門的門控，如圖6所示。LSTM的輸入門決定了當前輸入信息能保存至細胞狀態的數量，而自注意力機制的輸出是給輸入的不同部分賦予不同程度的關注以及權重，恰好可以作為LSTM輸入門的門控參數。這種方法不但加快了模型的收斂速度，而且增強了其提取全局特征信息的能力。b）輸入數據經過LFR模塊，提取出局部特征向量并輸人預測模型，進而能夠更高效地提取局部特征。c）為了避免預測誤差持續累積，采用了FreeRunning 策略，有效地緩解了過擬合問題，為后續的異常檢測打下基礎。

2異常檢測方法

在完成預測之后，模型使用多元高斯分布概率函數來識別異常，如圖7所示。

獲取時序數據集 X_M=[x₁，x₂，…，x_i，…，x_M] ，其中， M 代表數據集 X_M 的大小； i 為正整數； x_i 代表時間 i 的記錄值。使用預測模型對所述數據集 X_M 進行預測，得到預測結果 ，并計算 X_M 中每個預測值 與真實數值 y_i 的誤差向量 e_i ，如式（1）所示。然后，計算每個 e_i 的高斯分布概率密度 ?_Pi，?_Pi 通過多元高斯分布模型計算，參數包括高斯分布的均值 μ 和協方差 Σ，μ 和 Σ 的計算如式（2）、（3）所示。最后，計算每個誤差向量 e_i 的高斯分布概率密度值，如式（4）所示。當概率密度值 ?_Pi 小于閾值 τ 時，記錄值 Ψ_Xi 為異常，否則為正常。通過F1最大化的方式來確定區分異常值和正常值的閾值 τ 。

3 結果與討論

為了全面評估本文提出的交通時序數據異常檢測模型的性能，從多個維度對模型進行實驗驗證。

3.1 實驗準備

1）樣本數據情況本實驗使用美國加州交通系統的PEMsO8 數據集，包含17O 個探測器每隔 5min 采集的交通數據，共62d、17856個時間點。每個探測器的數據有交通平均占有率、交通流量和交通平均速度3個特征，如圖8所示。隨機選取136個探測器 （80% ）作為訓練集，34個探測器 20% 作為測試集。

2）訓練環境和參數設置硬件：CentOS7操作系統，CPU為 Intel Core i5-8250U，GPU為NVIDIAGeForceMX150。軟件：CUDA9.2，CuDNN7.6，Python3.8，Keras 框架。訓練參數：初始學習率為 1× 10^-4 ，均方誤差損失，Adam優化器，迭代400次。GFR參數：編碼器為6層，注意力頭數為8，dropout為0.2。LFR參數：4個尺度卷積核大小為 {3×1×2 ， 3×1×4 ， 3×1×8 ， ，膨脹率為 {1， 2， 4， 8} 。LSTM參數：隱含層大小為10，dropout為0.2。

3.2 訓練收斂狀況比較

通過消融實驗，逐一添加模塊并分析影響，如圖9所示。1）添加1個模塊：收斂效果總體優于原始LSTM模型，其中GFR 收斂最快，FreeRunning 次之，LFR 再次之。2）添加2個模塊：總體優于單模塊模型，GFR + FreeRunning表現最佳，GFR + LFR次之，LFR + FreeRunning再次之。3）添加3個模塊：初始收斂速度不如雙模塊模型，但后期收斂效果最好。總之，3個模塊都添加的模型最優，雙模塊優于單模塊，且均優于原始LSTM模型。

3.3 預測能力比較

通過平均絕對誤差（MAE）和 R² 值（見式（5）—（7））評估模型性能，結果如表1所示。1）添加1個模塊：總體優于原始LSTM模型，GFR 表現最好，FreeRunning 次之，LFR 稍弱。2）添加 2個模塊：總體優于單模

塊模型，其中GFR + FreeRunning表現最佳，GFR+LFR 次之，LFR+FreeRunning稍弱。3）添加3個模塊：預測能力最強。總之，3個模塊都添加時模型最優，其次是雙模塊，再次是單模塊。

3.4異常檢測能力比較

圖10和圖11分別呈現了長時和短時數據的異常檢測結果，a）圖均為歸一化后的交通流量（藍色）、交通平均速度（橙色）和交通平均占有率（綠色），b）圖均為基于多元高斯分布概率密度倒數的異常分值。由圖可知，模型能有效察覺長時和短時數據的異常情況。實驗數據證明了模型的有效性。

數據定義：將62d數據定義為長時數據，1d數據為短時數據。測試集包含34個探測器，共607104個數據點，其中長時異常73個，短時異常2740個。

實驗方法：通過消融實驗對比各模型的異常檢測能力，結果見表2和表3。

評價指標：TP為正常數據被正確判定的數量，TN為異常數據被正確判定的數量，FN為漏檢數量， P 為精確度，R為召回率（見式（8）一（10））。

結果分析：3個模塊均添加的模型優于雙模塊模型，雙模塊模型優于單模塊模型，單模塊模型優于原始LSTM。長時異常檢測中，GFR模塊貢獻最大;短時異常檢測中，LFR模塊貢獻最大。FreeRunning混合訓練策略對長時和短時異常檢測均有提升作用。

3.5 對比分析

將模型的預測能力和異常檢測能力做對比分析。

1）預測能力如表4所示，單模塊總體提升了LSTM的預測能力，其中GFR提升效果最佳，FreeRun-ning次之，LFR較小。雙模塊優于單模塊，GFR + FreeRunning提升幅度最大，其次是GFR + LFR，LFR + FreeRunning稍遜一籌。3個模塊均添加的模型預測能力提升最為顯著。

2）異常檢測能力如表5所示，在長時異常檢測中，單模塊GFR 優化效果最佳，FreeRunning 次之，LFR貢獻不明顯，雙模塊GFR + FreeRunning表現最佳，GFR + LFR其次，LFR + FreeRunning最差，3個模塊均添加的模型提升效果最佳;在短時異常檢測中，單模塊 LFR貢獻最大，FreeRunning 次之，GFR最小，雙模塊GFR + LFR貢獻最大，LFR + FreeRunning其次，GFR + FreeRunning最差，3個模塊均添加模的型優化效果最好。

總之，3個模塊皆有助于提升模型的預測能力，長時異常檢測中GFR貢獻最大，短時異常檢測中LFR貢獻最大，FreeRunning混合訓練策略對長時和短時異常檢測均有貢獻。

3.6 與Transformer-Bi-LSTM模型比較

本文模型在PAN等[10]提出的 Transformer-Bi-LSTM模型基礎上進行了改進。1）對預測能力而言，本文模型與Transformer-Bi-LSTM模型相同，均結合了多頭自注意力與LSTM，但本模型還通過以下3個優化措施提升了預測能力：一是使用LFR模塊增強局部特征提取；二是引人FreeRunning混合訓練策略提升模型魯棒性；三是將自注意力機制的輸出作為LSTM的輸入門控。如表6所示，在單一改進中，將 Bi-LSTM替換為FreeRunning混合訓練策略的效果最顯著，其次為添加LFR模塊，最后是門控改進。在雙重改進中，LFR + FreeRunning組合提升最明顯，其次是門控改進 + FreeRunning組合，最后是LFR + 門控改進組合。3處改進均實施時，模型預測效果最佳。2）對計算復雜度而言，本文模型在Transformer-Bi-LSTM 模型基礎上，主要通過以下2個優化措施降低計算復雜度：一是引入概率稀疏自注意力機制，將自注意力機制的復雜度由 O（N²） 降到了 O（NlogN ）（見式（11）—（12））[15]；二是把自注意力機制的結果作為LSTM輸入門控，進一步減少計算量（見式（13）—（14））[16]。雖然本文模型與 Transformer-Bi-LSTM模型相比多了一個LFR模塊的計算（見式（15）—（16）），但該模塊計算量并不大（見式（17）），具體計算復雜度比較如表7所示[17]。總之，本文模型通過 LFR 模塊、FreRunning 混合訓練策略和將自注意力機制的輸出作為LSTM的輸入門控，顯著提升了模型的預測能力，降低了計算復雜度，整體性能優于Transformer-Bi-LSTM。

FLOPs_Bi-LSTM=2×N×4×（d×W+W×W），

FLOPs_FreeRuning=2×N×3×（d×W+W×W）

式中：num_layers為encoder層數; h 為注意力頭數； N 為時間序列個數； d 為輸入特征維度； W 為隱含層參數數目； C_in 為輸入通道數； C_out 為輸出通道數； M 為不同卷積核種類個數；size_kernal，為第 i 個卷積的大小；num_dilation為膨脹卷積個數。

4結語

提出了一種新型交通時序數據異常檢測模型，旨在提升交通系統中長時和短時異常檢測的性能：1）通過融合多頭注意力、殘差及概率稀疏自注意力來構建GFR，在增強模型對全局特征識別能力的同時還降低了計算復雜度;2）將膨脹卷積與多尺度卷積相結合形成LFR，優化局部特征提取，提升模型對細節的捕捉能力;3）運用FreeRunning 混合訓練策略，提升模型的魯棒性;4）與LSTM相結合，并將自注意力機制的結果替代LSTM輸入門控，在優化長序列記憶和預測能力的同時降低計算復雜度。該模型在預測和異常檢測方面全面優于基礎的LSTM模型，且相比Transformer-Bi-LSTM混合模型展現出更強的實踐推廣價值，為滿足交通領域中既要求長時異常檢測又要求短時異常檢測的復雜需求提供了一種高效且精準的解決方案，能夠顯著提升交通系統的運行效率與安全性。

本文交通數據異常檢測主要基于單一模態數據[18]，未來擬針對多模態數據融合研究尚不完善的情況[19]，進一步探索多模態數據融合技術以及協同學習機制，以獲取更全面和準確的交通信息，從而更精準地識別各類交通異常情況，為交通系統的智能化管理提供技術支持。

參考文獻/References：

[1]ZHAOMengmeng，ENGHaipeng，Liiangetal.Multivariatetieserisaomalyetectionbasedspatil-temporaltwokad transformerinindustrial Internetof Things[J].Computers，MaterialsandContinua，2O24，8o（2）：2815-2837.

[2]ULLAH1，MAHMOUDQH.DesignanddevelopmentofRNNanomalydetectionmodelforIoTnetworks[J].IEEEAccessPractical Innovations，Open Solutions，2022，10：62722-62750.

[3]PAPACHARALAMPOUS G，TYRALIS H，PAPALEXIOU SM，et al. Global-scale masive feature extraction from monthly hydrocli matictimesertaiicalaacterzatiosatialedhdoloicalilityiefeotalEvio. DOI：10.1016/j. scitotenv. 2020.144612.

[4]HONGYu，WANGZngqing，XIEYongfang，etal.Amultigranularityherarchicalnetworkforlongandshrt-teforecastigon multivariate time series data[J]. Applied Soft Computing，2024. DOI：10.1016/j.asoc.2024.111537.

[5]ZHNG Wendong，ZHAOPutian，KAIHuang，etal.Understanding thepropertyoflongtermmemoryfortheLSTMwithatention mechanismC]/Proceedingsofthe3thCMInternationalCnferenceonInformationamp;KnowledgeManagement.S.1.]C2 2708-2717.

[6]YUBaiFAChn，HUAWangetal.TansformersasStatisticiansProvablein-ContextLearingwithi-ContextAlgoritheleco [DB/OL].[2024-10-19].https：//arxiv.org/abs/2306.04637.

[7]ZHOU Haoyi，ZHANGShanghang，PENGJieqi，etalInformer：BeyondEficientTransformerforLongSequenceTimeSeriesForecasting [DB/OL].[2024-10-19].https：//arxiv.org/abs/2012.07436.

[8]LIUChen，ZHENJuntao，SHANWeiTimeseriesclasificationbasedoconvolutionalnetwork withagatedlinearunitskeelngineering Applications of Artificial Inteligence，2023.DOI：10.1016/j.engappai.2023.106296.

[9]CUIZhicheng，CHENWenli，CHENYixinMulti-ScaleConvolutionalNeuralNetworksforTimeSeriesClassficationDB/O]22- 10-19].https：//arxiv.org/abs/1603.06995.

[10]PAGuangliang，JELi，LMinglei.Multi-Channel Multi-StepSpectrumPrediction UsigTransformerandStacked Bi-LSTMDB/OL]. [2024-10-19].https：//arxiv.org/abs/2405.19138.

[11]VASWAAAZEERNARMARN，etalAtentionisallyounedC//roceedingsofthe31stInternatioalCferecenNeu ral Information Processing Systems. [S.1.]：ACM，2017：60o0-6010.

[12]WANGYumiaoFENGLuweiSUNWei，etal.AlightweightCNN-transformernetworkforpixel-basedcropmappngusingtieies sentinel-2 imagery[J].Computersand Electronics in Agriculture，2024.DOI：10.1016/j.compag.2024.109370.

[13]BAI Shaojie，KOLTERJZKOLTUNV.Anempiricalevaluationofgenericconvolutionalandrecurent networksforsequence odeling [DB/OL].[2024-10-19].https：//arxiv.org/abs/1803.01271.

[14]LIShiyang，WANGTongtong，LIGuoyuan，etal.Short-termshiprollmotionpredictionusingtheencoder-decoderBi-LSTMwith teacher forcing[J].Ocean Engineering，2024.DOI：10.1016/j.oceaneng.2024.116917.

[15]崔欣瑩.基于注意力機制和 BiLSTM的輿情情感分析[D].哈爾濱：哈爾濱理工大學，2024. CUIXinying.AnalysisofPublicOpinionandEmotionBasedonAtentionMechanismandBiLSTMD].Harbin：HarbinUniversityofScience and Technology，2024.

[16]吳海，蔣林，李遠成，等.面向可重構結構的LSTM混合壓縮優化方法[J/OL].電訊技術[2025-04-30].htps：//doi.org/10.20079/j.isn. 1001-893x.240926004. WU HaiJIANGLin，Yuanceng，etalLSThybridcompressnoptimzationmethodforreonfigurablestructures/OL.eleco munication Engineering[2024-10-19].https：//doi.org/10.20079/j.issn.1001-893x.240926004.

[17]胡潤文，項世軍，李曉龍，等.基于CNN計算局部復雜度的可逆信息隱藏算法[J].計算機學報，2024，47（4）：776-789. HURunwen，XIANGShijun，LIXiaolong，etal.CNNbasedlocalcomplexityetimationforreversibledatahdingJ].ChineseJoualf Computers，2024，47（4）：776-789.

[18]宮曉蟀，董培信.基于改進孤立森林算法的交通流異常數據檢測模型[J].重慶交通大學學報（自然科學版），2024，43（5）：61-69. GONG Xiaoxing，DONGPeixinTraficflowanomalydatadetectionmodelbasedonimprovedisolationforestalgorithmJ].Jouralof Chongqing Jiaotong University（Natural Science），2024，43（5）：61-69.

[19]吳精乙，景峻，賀熠凡，等.基于多模態大模型的高速公路場景交通異常事件分析方法[J].圖學學報，2024，45（6）：1266-1276. WUJingyi，JINGJun，HEYifan，etalTraffcanomalyeventanalysis methodforhighwaysenesbasedonmultimodallargelanguage models[J].Journal ofGraphics，2024，45（6）：1266-1276.