時間序列預測模型發展趨勢分析

摘要：時間序列預測是當前研究的主要方向之一，能有效解決工業、交通等領域的工藝指標和客流量預測問題。通過分析現有的時間序列模型，可以預測未來的發展趨勢。首先，分析現有時間序列預測模型的結構，以了解其技術實現方式；其次，根據技術手段的不同，將模型分為優化提升類和創新類；最后，討論了時間序列預測模型的未來發展趨勢。

關鍵詞：時間序列優化提升神經網絡時間序列預測模型

中圖分類號：TP3

TheAnalysisofDevelopmentTrendsinTimeSeriesForecastingModels

WANGRuifangMAPinganYUTing

（LanzhouResources&EnvironmentVOC-techUniversity，Lanzhou，GansuProvince，730021，China）

Abstract：Timeseriesforecastingisoneoftheprimaryresearchdirectionsintimeseriesanalysiscurrently.Iteffectivelyaddressesissuessuchasforecastingprocessindicatorsandpassengerflowinfieldslikeindustryandtransportation.Inthispaper，thefuturedevelopmenttrendsarespeculatedthroughtheanalysisandresearchofexistingtimeseriesmodels.Firstly，ananalysisofthestructureofexistingtimeseriesforecastingmodelsisconductedtoidentifythetechnicalimplementationmethodsofthemodels.Then，basedondifferenttechnicalapproaches，theyareclassifiedintooptimization-enhancementandinnovationcategories.Finally，thefuturedevelopmenttrendsoftimeseriesforecastingmodelsarediscussed.

KeyWords：Timeseries；Optimizationandimprovement；Neuralnetwork；Timeseriespredictionmodel

隨著深度學習的快速發展，針對不同的預測任務需求，早期的時間序列預測模型已經難以實現當下的時間序列預測任務。傳統的機器學習主要以融合集成為主，但同時也容易造成模型的復雜度提升，內存占用空間大等情況。因此，根據任務需求設計出具有新型網絡架構的時間序列預測模型成為必然趨勢，不僅可以更深層次地捕獲數據特征，也降低了模型復雜度。本文主要通過對傳統及新興時間序列預測模型進行總結分析，總結出時間序列預測模型未來的發展趨勢。

1問題的提出

時間序列是指一組或者多組按照時間先后順序排列的數據點，其數據間隔點可以根據需求自行規定進行數據采集，如秒、分、小時等。另一方面，根據時間序列特性及不同的任務需求，時間序列模型的功能也不盡相同。眾所周知，良好的數據支持可以極大地捕獲數據之間的變化特性從而進一步提升模型的精度。

從任務需求分析，對于時間序列而言主要有分類、聚類及預測。時間序列分類任務，主要是根據已經標記好的訓練數據來確定時間序列屬于預先定義的類別。時間序列聚類任務，通過對時間序列數據預處理，特征提取以及聚類算法等操作，發現時序數據的趨勢等，為任務提供有效決策。時間序列預測任務主要是通過先前的歷史數據，計算分析其變化特征或規律并對未來數據的變化做出預測。參數組成主要可分為單時間序列和多元時間序列，單時間序列預測任務只受自身數據影響，而多元時間序列預測任務不僅受自身數據影響，同時也會由于其他參數變化而受到影響。

而在現實工業等預測任務中，多元時間序列預測占較高比重。一方面，由于現實世界情況較為復雜，預測參數之間存在特定的影響因子；另一方面，通過計算多元時間序列相關性可以提高模型的預測精度。例如：為實現煤礦巷道變形風險預測，需要對溫度與孔隙水壓等參數變化進行預測[1]；為了對不同氣象條件下的客流量做出精準預測，需要對交通需求與天氣變化等參數進行融合預測[2]；根據采空區煤自燃這一嚴重威脅，以一氧化碳、二氧化碳、甲烷、乙炔等氣體濃度指標進行預測分析，確定不同階段的氣體濃度指標，避免煤自燃情況發生[3]；針對空氣污染事件頻發，選取氣溫、氣壓、固體顆粒物、風速等參數進行建模預測，規避空氣污染問題[4]；對于海洋污染問題，通過對海水溫度、pH值、溶解氧及鹽度等參數分析預測，可以及時有效了解海域的變化情況[5]；為做好人口出生率研究，通過對GDP，保險保費收入與財政收入等多個變量進行分析研究，最后以GDP、城鎮居民可支配收入、農村居民可支配收入等促進生育率的參數為指標進行預測，實現人口出生率預測[6]。

在早期的時間序列預測任務中，預測模型種類較少，主要代表有Transformer[7]、CNN（ConvolutionalNeuralNetworks）[8]、ARIMA（AutoregressiveIntegratedMovingAverageModel）[9]、LSTM（LongShort-TermMemory）[10]、GNN（GraphNeuralNetwork）[11]等。

上述模型分別提出了注意力機制、卷積神經網絡、差分移動自回歸架構、長短時記憶網絡等。早期的時間序列預測模型對于時間序列噪聲處理、缺失值補充、特征提取等處理不足，模型精度較低，但他們創造的模型網絡架構為時間序列預測任務提供了很好的發展思路。

2現有時間序列預測模型

根據當下的模型結構分析，現有時間序列預測模型主要可以分為優化提升類和創新類兩大類。優化提升是指通過對已有的時間序列預測方法進行研究分析，優化模型中存在的不足之處，或者對兩種或多種已有的時間序列預測方法進行研究分析，提取各自模型中的“有效”模塊進行融合等操作。創新是指根據時間序列預測任務，通過對時間序列分析及任務需求，設計出新的時間序列預測方法或者神經網絡架構，并且可以在預測任務中展現出比較高的預測精度及較低的模型復雜度等。

2.1優化提升

2.1.1Former類

長期以來，Transformer模型作為老牌的時間序列預測模型一直備受關注，其編碼器，解碼器網絡架構及注意力機制也作為熱點研究內容。而在近幾年中，以Transformer模型為基礎架構，衍生出了一系列Former類時間序列預測模型，主要通過對Transformer模型存在的數據處理及時序特征提取不足等問題進行優化集成或者設計出新的網絡架構模型進行融合等，主要代表有以下幾種模型。

（1）Reformer[12]：使用局部敏感哈希及可逆殘差層對注意力結構進行優化，降低模型復雜度。

（2）Performer[13]：設計出一個廣義的注意力框架，對于長序列預測任務有較高的精度。

（3）Longformer[14]：針對Tramsformer處理長文本的不足，提出了滑窗機制（Slidingwindowattention）、膨脹滑窗機制（Dilatedslidingwindow）、融合全局信息的滑窗機制（Dilatedslidingwindow），降低了模型的時間復雜度。

（4）Informer[15]：設計出新的ProbSparseself-attention注意力機制，并針對傳統解碼器層進行優化提升generativedecoder，通過以上改進提升模型性能，降低時間復雜度。

（5）Autoformer[16]：針對傳統注意力機制存在的時序依賴問題，提出了一種自相關機制的深度分解架構。

（6）FEDformer[17]：引入傅里葉分析法將時間序列的頻域部分與Transformer結合，從而改善了模型在長時間序列中的預測精度問題。

（7）Non-stationaryTransformers[18]：構建多層感知網絡計算時間序列的非平穩因子，并將其引入到注意力計算中得到非平穩注意力，通過非平穩性特征還原解決時間序列模型的過度歸一化問題。

（8）Crossformer[19]：將時間序列進行分段處理，并構建雙層注意力網絡架構，關注自身注意力得分的同時也關注多元時間序列之間的相關性，以此來提升模型預測精度。

（9）iTransformer[20]：對于多元時間序列預測，將每一個獨立的時間序列看作一個Token，并通過注意力機制挖掘多變量參數之間的相關性。

上述模型分別通過對Transformer模型進行不同程度的優化改進，在時間序列預測任務中表現出良好的性能，在一定程度上彌補了Transformer模型的不足之處，在增強模型功能的基礎上也提高了模型的預測精度，降低了預測誤差。

2.1.2其他神經網絡

神經網絡作為深度學習的主要內容貫穿整個時間序列研究，主要可分為前饋神經網絡和反饋神經網絡，而隨著神經網絡的不斷發展，在時間序列預測任務中單一的卷積神經網絡，LSTM等神經網絡的功能已經相形見絀，難以達到目標要求。伴隨著神經網絡的不斷發展，對于時間序列數據處理以及數據特征捕獲，模型算法復雜度等要求也逐步提升，因此在此基礎上對CNN等模型進行結構優化，性能提升是一個不可避免的技術手段。通過對原有模型的結構拆分以及特性分析，提取出原有模型中的閃光點進行融合嵌套等，設計搭建出一系列新的神經網絡架構，組成功能更好的時間序列預測模型。以下述時間序列預測模型為代表。

（1）RNN（RecurrentNeuralNetwork）[21]：針對CNN模型中輸出僅考慮前一個輸入的影響而忽略了其他時刻輸入在運算過程中的作用，設計出一種可以對以前的信息進行記憶保留，并有效應用于當前輸出計算中的網絡架構。

（2）TCN（TemporalConvolutionalNetwork）[22]：通過優化模型結構可并行處理時間序列，并根據不同的任務要求可以更加靈活地指定模型的感受野，通過對每一層的卷積核共享降低了內存的使用率。

（3）ModernTCN[23]：模型主要通過空洞卷積擴大卷積核的感受野，同時通過殘差連接等提升模型性能。

（4）GCN（GraphConvolutionalNetwork）[24]：對于傳統卷積結構無法處理非歐幾里的結構類數據，GCN通過將拓撲圖使用拉普拉斯矩陣進行表述，將其映射到頻域中卷積，最后再利用逆轉變換完成圖卷積操作。

（5）SegRNN[25]：在輸入端通過分段迭代的方法，將輸入進行分段來提高運算效率，輸出端使用并行多步預測方法提升模型性能。

（6）MTGCN[26]：設計出一個通用的多元時間序列圖神經網絡架構，解決了GNN無法直接應用到未知相關性的多元時間序列預測問題。

（7）FourierGNN[27]：設計了一種新的超變量圖結構，將每一個變量或時間戳都視為圖節點。同時提出傅里葉圖神經網絡，將傅里葉圖算子進行堆疊，并進行矩陣運算等操作。

（8）CrossGNN[28]：針對時間序列中存在的意外噪聲，構建出自適應多尺度識別器，Cross-ScaleGNN及Cross-VariableGNN等進行多尺度時間序列模擬、動態關系捕獲等，通過上述方式來降低噪聲對時間序列預測任務的影響。

2.2創新

根據不同的時間序列預測任務研究可以得出，傳統的Transformer或者CNN等神經網絡互相嵌套融合難以解決全部問題。因此，根據任務需求，針對特定問題進行研究分析，設計出新的神經網絡架構是極其重要的。與此同時，隨著神經網絡的不斷深入研究，時間序列預測模型也得到飛速發展。例如：對于時間序列的分析研究，已經不再局限于從一維角度出發，可以通過技術手段對其進行映射變為二維等，在這樣的技術創新可以更加準確地捕捉到變化特征。另一方面，對于時間序列存在的噪聲影響以及模型結構復雜但功能不足等問題，現如今已創新設計出大量時間序列預測模型予以解決。以下述模型為代表。

（1）MSDR（Multi-StepDependencyRelation）[29]：主要針對時間序列的復雜時空依賴性，設計出一種新的多步依賴關系神經網絡將多個歷史時間步步驟進行融合作為每一個時間單位的輸入，以此捕獲時間序列復雜的動態依賴關系。

（2）RevIN（ReversibleInstanceNormalization）[30]：對于存在時序分布偏移的預測任務，設計出可逆實例歸一化方法并可適用于大量預測模型中。

（3）DEPTS（DeepExpansionLearningforPeriodicTimeSeries）[31]：大部分時間序列存在一定的周期性，該模型通過對時序間的復雜關系進行逐層擴展，并設計周期模塊進行信息捕獲，通過上述方式提升模型性能。

（4）MICN（Multi-scaleIsometricConvolutionNetwork）[32]：通過一種新的建模視角設計出IsometricConvolution模塊對局部及全局信息進行特征計算，極大地降低了模型復雜度。

（5）TimesNet[33]：將時間序列從1維映射到2維，在二維空間中分析時序周期內及周期間的變化，從而提升模型的預測精度。

（6）OneNet[34]：使用基于強化學習的方法與傳統在線編程框架相融合，將跨時間維度與跨空間維度模型進行線性融合，極大地降低了在線預測誤差。

（7）ClimODE[35]：設計出一種結合了物理信息的氣候預測方法，以全球氣候信息作為神經流，實現了氣候預測的全新技術突破。

（8）FITS[36]：設計出一種新的周期性解耦網絡架構，通過捕獲二維時序變化建模實現的時間序列預測。

（9）Time-LLM（LargeLanguageModels）[37]：通過將大型語言模型重新編程，利用Prompt-as-Prefix強化模型的數據處理能力。

（10）STanHop（SparseTandemHopfield）[38]：提出一種新的STanHop-Net網絡架構，把Hopfield與外部存儲模塊相融合，提升了模型的學習能力以及響應速率。

上述模型根據不同的時間序列預測任務，創新性地設計出了不同的神經網絡架構或者算法，通過這種不同創新的模型設計，也讓時間序列預測模型得到了快速發展。

3未來趨勢分析

通過對最近幾年的國內及國際學術期刊發表的時間序列論文研究分析，不難發現時間序列預測模型仍存在巨大潛力且發展越來越多元化。優化提升與創新仍舊作為時間序列預測模型發展的兩條主干線。對于不同需求的時間序列預測任務，很難設計出一種完全符合其要求的時間序列模型。同時在當下的神經網絡模型中，也沒有在數據預處理及時間序列特征提取，模型復雜度這幾個方面中都展現出優異性能的預測模型。因此，創新與優化提升將繼續作為主要技術手段推進時間序列預測模型的發展。

（1）對于已經存在的時間序列預測模型，首先，研究重點在于通過對模型及模塊功能分析，剖析其主要創新點。其次，分析出現有創新點的不足之處或者模型中存在的問題等。再次，進行可行性分析，將兩個或者多個時間序列預測模型的主要創新點進行分析，研究模型融合的可行性以及最終模型所具有的功能等。最后，再與其他類模型進行融合集成，所構建的新模型表現出更好的預測性能。以Transformer、CNN模型為例，雖然提出的時間較早，但現在仍然有很多研究人員以此為基礎進行優化改造，設計出新的預測模型。因此，在優化提升這一技術路線中，主要在于發現現有模型的不足之處與長處，只有完完整整地理解了一個時間序列預測模型的網絡架構及所表現出的性能，才可以獲得好的設計思路，并在此基礎之上進行優化提升，構建出新的時間序列預測模型。

（2）根據時間序列預測任務需求，需要設計出新的神經網絡架構以及預測模型。通過對現有的模型結構分析，可以發現時間序列分段，特征還原以及圖神經網絡的設計是當下主流的研究方向之一。在之前的研究過程中，時間序列的特征提取等研究比較局限，研究人員習慣于把時間序列固定在一個特定的維度并將其看作一個大的整體。這種整體性的處理方法難以挖掘出數據潛在的變化特征，而在最近幾年的發展研究過程中，研究重點側重于對原始數據進行切割分段，通過將時間序列進行等份分割等操作來捕獲時間序列更深層次的數據變化特征。同時針對時間序列預處理過程，當下的研究重點已經不局限于處理好數據，更關注如何在模型訓練過程中保留數據的原始特性。創新設計的神經網絡不僅可以很好地完成時間序列預測任務，同時也為時間序列預測模型發展注入新鮮血液，提供了新的設計思路。

同時85788b6aebcfe9ad63548df4dae83208，根據目前的時間序列預測模型性能分析，可以發現時序預測模型的功能不再單一。過去的時間序列預測模型研究重點僅限于如何做好時間序列特征提取，提高模型預測精度完成時間序列預測任務。而當下時間序列預測模型研究擴展為，在保證模型預測精度的前提下，研究人員開始對模型性能進行擴展提升。從過去的單一的時序預測到現在的時序預測、分析、填補及分類等。簡而言之，使用一個模型可以滿足不同的時序處理任務。這樣的模型功能整合雖然擴展了模型的性能，但同時也應該注意模型的算法復雜度等問題。

綜上所述，未來時間序列預測模型發展將保持創新與優化的主要路線，研究重點應該更側重于對時間序列的特征還原及保留，避免由于追求高的預測精度而進行過度數據處理。同時，對于時間序列的特征提取，時間序列分段、圖像神經網絡設計搭建等技術也將成為主要的研究手段。在時間序列預測任務中圖神經網絡表現出了良好的性能，而時間序列分段等創新的技術手段不僅有效提取了時間序列特征也提供了新的研究路線。而時間序列預測模型的性能擴展也將作為新的挑戰推動時間序列的研究發展。在此過程中，也需要將模型復雜度及內存占用空間等指標作為重點關注指標，在保證模型性能的前提下盡可能地降低模型的復雜度。

參考文獻

• 賈連鑫，劉永鑫，丁總意.煤礦巷道變形風險的多元時間序列模型研究與應用[J].工業建筑，2023，53（S2）：602-605，610.
• 祝瑋琦，陳海燕，劉莉，等.基于多元時序和模式挖掘的終端區交通流預測（英文）[J].TransactionsofNanjingUniversityofAeronauticsandAstronautics，2023，40（5）：595-606.
• 李沂蔓.采空區煤自燃多元指標時間序列預測研究[D].廊坊：華北科技學院，2024.
• 馬園.基于深度學習的空氣質量預測研究[D].濟5c5a102c2fad57c8e6d4faa8f7036fec南：山東大學，2024.
• 許崇軒.基于相空間重構和雙向門控循環單元神經網絡的海水指標預測研究[D].秦皇島：燕山大學，2023.
• 郭良箴.湖北省人口出生率影響因素研究及趨勢預測[D].武漢：華中師范大學，2022.

[7]VASWANIA，SHAZEERN，PARMARN，etal.Attentionisallyouneed[J].AdvancesinNeuralInformationProcessingSystems，2017，30：112-127.

[8] LECUNY，BOSERB，DENKERJS，etal.Backpropagationappliedtohandwrittenzipcoderecognition[J].NeuralComputation，1989，1（4）：541-551.

[9] SHUMWAYRH，STOFFERDS，SHUMWAYRH，etal.ARIMAmodels[J].TimeSeriesAnalysisandItsApplications：withRexamples，2017，102（479）：75-163.

[10] HOCHREITERS，SCHMIDHUBERJ.Longshort-termmemory[J].NeuralComputation，1997，9（8）：1735-1780.

[11] SCARSELLIF，GORIM，TSOIAC，etal.Thegraphneuralnetworkmodel[J].IEEETransactionsonNeuralNetworks，2008，20（1）：61-80.

[12] KITAEVN，KAISERL，LEVSKAYAA.Reformer：Theefficienttransformer[J].arXivPreprint，2020：arXiv：2001.04451.

[13] GROTOWSKIJ.Performer[M]//TheGrotowskiSourcebook.Routledge，2013：376-380.

[14] BELTAGYI，PETERSME，COHANA.Longformer：Thelong-documenttransformer[J].arXivPreprint，2020：arXiv：2004.05150.

[15] ZHOUH，ZHANGS，PENGJ，etal.Informer：Beyondefficienttransformerforlongsequencetime-seriesforecasting[C]//ProceedingsoftheAAAIconferenceonartificialintelligence.2021，35（12）：11106-11115.

[16] CHENM，PENGH，FUJ，etal.Autoformer：Searchingtransformersforvisualrecognition[C]//ProceedingsoftheIEEE/CVFinternationalconferenceoncomputervision.2021：12270-12280.

[17] ZHOUT，MAZ，WENQ，etal.Fedformer：Frequencyenhanceddecomposedtransformerforlong-termseriesforecasting[C]//InternationalConferenceonMachineLearning.PMLR，2022：27268-27286.

[18] LIUY，WUH，WANGJ，etal.Non-stationarytransformers：Exploringthestationarityintimeseriesforecasting[J].AdvancesinNeuralInformationProcessingSystems，2022，35：9881-9893.

[19] ZHANGY，YANJ.Crossformer：Transformerutilizingcross-dimensiondependencyformultivariatetimeseriesforecasting[C]//TheEleventhInternationalConferenceonLearningRepresentations.2022.

[20] LIUY，HUT，ZHANGH，etal.itransformer：Invertedtransformersareeffectivefortimeseriesforecasting[J].arXivPreprint，2023：arXiv：2310.06625.

[21] GROSSBERGS.Recurrentneuralnetworks[J].Scholarpedia，2013，8（2）：1888.

[22] LEAC，VIDALR，REITERA，etal.Temporalconvolutionalnetworks：Aunifiedapproachtoactionsegmentation[C]//ComputerVision–ECCV2016Workshops：Amsterdam，TheNetherlands，October8-10and15-16，2016，Proceedings，PartIII14.SpringerInternationalPublishing，2016：47-54.

[23] LUOD，WANGX.ModernTCN：Amodernpureconvolutionstructureforgeneraltimeseriesanalysis[C]//TheTwelfthInternationalConferenceonLearningRepresentations.2024.

[24] ZHANGS，TONGH，XUJ，etal.Graphconvolutionalnetworks：acomprehensivereview[J].ComputationalSocialNetworks，2019，6（1）：1-23.

[25] LINS，LINW，WUW，etal.Segrnn：Segmentrecurrentneuralnetworkforlong-termtimeseriesforecasting[J].arXivPreprint，2023：arXiv：2308.11200.

[26] WUZ，ZHANM，ZHANGH，etal.MTGCN：Amulti-taskapproachfornodeclassificationandlinkpredictioningraphdata[J].InformationProcessing&Management，2022，59（3）：102902.

[27] YIK，ZHANGQ，FANW，etal.FourierGNN：Rethinkingmultivariatetimeseriesforecastingfromapuregraphperspective[J].AdvancesinNeuralInformationProcessingSystems，2024，36：459-481.

[28] HUANGQ，SHENL，ZHANGR，etal.Crossgnn：Confrontingnoisymultivariatetimeseriesviacrossinteractionrefinement[J].AdvancesinNeuralInformationProcessingSystems，2024，36：761-797.

[29] LIUD，WANGJ，SHANGS，etal.Msdr：Multi-stepdependencyrelationnetworksforspatialtemporalforecasting[C]//Proceedingsofthe28thACMSIGKDDConferenceonKnowledgeDiscoveryandDataMining.2022：1042-1050.

[30] KIMT，KIMJ，TAEY，etal.Reversibleinstancenormalizationforaccuratetime-seriesforecastingagainstdistributionshift[C]//InternationalConferenceonLearningRepresentations.2021.

[31] FANW，ZHENGS，YIX，etal.DEPTS：Deepexpansionlearningforperiodictimeseriesforecasting[J].arXivPreprint，2022：arXiv：2203.07681.

[32] WANGH，PENGJ，HUANGF，etal.Micn：Multi-scalelocalandglobalcontextmodelingforlong-termseriesforecasting[C]//TheEleventhInternationalConferenceonLearningRepresentations.2022.

[33] WUH，HUT，LIUY，etal.Timesnet：Temporal2d-variationmodelingforgeneraltimeseriesanalysis[C]//TheEleventhInternationalConferenceonLearningRepresentations.2022.

[34] KIMYB，LEES，STRATOSK.Onenet：Jointdomain，intent，slotpredictionforspokenlanguageunderstanding[C]//2017IEEEAutomaticSpeechRecognitionandUnderstandingWorkshop（ASRU）.IEEE，2017：547-553.

[35] VERMAY，HEINONENM，GARGV.ClimODE：ClimateForecastingWithPhysics-informedNeuralODEs[C]//TheTwelfthInternationalConferenceonLearningRepresentations.2023.

[36] XUZ，ZENGA，XUQ.FITS：ModelingTimeSerieswith$10k$Parameters[J].arXivPreprint，2023：arXiv：2307.03756.

[37] JINM，WANGS，MAL，etal.Time-llm：Timeseriesforecastingbyreprogramminglargelanguagemodels[J].arXivPreprint，2023：arXiv：2310.01728.

[38] WUD，HUJYC，LIW，etal.Stanhop：Sparsetandemhopfieldmodelformemory-enhancedtimeseriesprediction[J].arXivPreprint，2023：arXiv：2312.17346.