基于TimesNet的大類資產指數長期預測

收稿日期：2023-04-10

DOI：10.19850/j.cnki.2096-4706.2023.21.033

摘" 要：大類資產指數預測常用于衡量投資組合的收益表現，若能對其進行準確的長期預測，則可據此構建投資組合以獲取更高的收益。與傳統的機器學習和常見的神經網絡相比，TimesNet在處理多變量長期預測任務方面具有更好的效果。文章基于10個大類資產指數的歷史數據，采用TimesNet模型進行長期預測，并在實證分析中與線性回歸、隨機森林、支持向量回歸和LSTM四種預測模型進行對比，驗證了該模型的準確性。

關鍵詞：多變量預測；時間序列；TimesNet；殘差網絡

中圖分類號：TP391；TP301.6 文獻標識碼：A 文章編號：2096-4706（2023）21-0145-05

Long-Term Forecast of Major Asset Index Based on TimesNet

CHEN Yingrui

（South China Normal University， Guangzhou" 510631， China）

Abstract： Major asset index prediction is commonly used to measure the return performance of investment portfolios. If accurate long-term predictions can be made， investment portfolios can be constructed based on this to obtain higher returns. Compared with traditional machine learning and common neural networks， TimesNet has better performance in handling multivariate long-term prediction tasks. This paper is based on historical data from 10 major asset index and uses the TimesNet model for long-term prediction. In empirical analysis， it is compared with four prediction models： linear regression， random forest， support vector regression， and LSTM to verify the accuracy of the model.

Keywords： multivariate prediction; time series; TimesNet; residual network

0" 引" 言

大類資產指數是指反映不同大類資產市場表現的指數（如股票、債券、商品等），可用于衡量一個投資組合的整體表現。在大類資產配置等投資策略中，需要對不同的資產進行組合配置，因此大類資產指數的參考作用尤為重要。與此同時，確定一個投資組合不僅需要考慮當下的行情，還要對未來一段時間內數據的變化趨勢進行預測[1]。在實踐中，相關從業者往往通過自身的經驗及專業知識完成對行情的長期預測，但對普通投資者而言，則需要較高的理論基礎，因此需要采用一種基于數據本身的長期預測方法來輔助普通投資者進行決策[2，3]。

傳統的大類資產指數預測方法包括支持向量機[4]和LSTM[5]等模型。這些模型對多變量時序數據長期趨勢及周期信息的學習能力不足，只能在短期預測中取得較好的效果，無法滿足多變量長期預測的要求。近年來，由于深度神經網絡在學習復雜時序特征方面具有明顯的優勢，出現了諸如基于Transformer的Autoformer[6]之類的復雜結構預測模型。其中，TimesNet模型[7]在長期預測方面優勢突出，因此本文提出一種基于TimesNet的多變量長期預測模型，通過對真實數據進行預測，并與其他模型的預測結果進行對比分析，發現該模型能夠在大類資產指數的長期預測任務中取得良好的預測效果。

1" 時序特征提取

1.1" 時間編碼嵌入（TimeEmbedding）

編碼嵌入（Embedding）廣泛應用于自然語言處理等任務中，這些任務的特點是需要反映數據的位置信息，這與時序數據中需要使用“時間戳”來反映數據時間信息的目標是一致的。因此，TimesNet通過在時序數據中添加由深度學習生成的時間編碼和人為設置的時間編碼來反映數據中的時間信息。

第一種Embedding被稱為TokenEmbedding，常見于自然語言處理任務中詞向量的處理，它通過深度神經網絡自動提取數據中的時間信息，本質上是通過多個一維卷積核的卷積運算提取時序數據中的前后時間趨勢特征。變量的個數在卷積計算中的表現是輸入數據的通道數，因此可以在這一層通過卷積核個數的設置實現輸出通道數的統一，這將有利于后續統一模型的設計。同時，為了確保輸出長度與輸入長度的一致，在卷積計算過程中會對數據進行池化（Pooling）。本文選取的池化方式是在對應位置使用0對數據進行填充。

第二種Embedding被稱為PositionEmbedding，在Transformer等模型中非常常見。它基于三角函數的周期性修改三角函數的周期長度以完成將位置信息或時間信息嵌入數據的任務。設該嵌入編碼的函數為：

（1）

（2）

其中，pos表示當前接受編碼嵌入的數據位置索引，d表示接受編碼嵌入的數據長度，而2i和2i+1則表示在數據長度為偶數或奇數的情況下所應使用的計算公式，10 000表示最大不重復編碼長度，即表示輸入的數據長度在小于10 000的情況下位置編碼不會出現重復。

第三種Embedding被稱為TemporalEmbedding，與第一種類似，它同樣是利用深度神經網絡自動提取時間信息，不同之處在于它使用的是前饋神經網絡，提取的是數據中整體的時間信息，并通過控制神經網絡中輸出層神經元的個數來確保輸入長度與輸出長度的一致。

這三種Embedding通過結果相加的方式得到最終的時間編碼，同樣通過相加的方式將其嵌入到時序數據中，所以它們之間不存在先后關系。

1.2" 周期特征提取模塊

周期特征提取模塊（TimesBlock）是TimesNet的核心部分。時序中的每個變量均是一維數據，以一個變量為例，展示數據中時序信息的提取過程。

首先，對該一維數據進行離散傅里葉變換，并根據振幅對所有頻率的周期進行降序排序，在去除無意義的高頻周期后，提取前k個頻率作為該時序數據的周期特征；其次，根據周期長度對數據序列進行分割，并將同一周期長度下的切割結果進行拼接得到二維數據，結果如圖1所示，不同的周期長度對應不同的二維結果（若時序數據無法被周期長度整除，則在對應的周期結果中丟棄剩余部分）。

經過維度變換后，數據被轉換為大小各異的二維形式。為保證數據大小的統一，需要對二維數據進行池化操作。為了從不同周期下的二維數據中提取時序信息，這里采用InceptionBlock[8]（基礎模塊堆疊結構）作為二維特征提取子模塊。InceptionBlock是GoogleNet中重要的組成部分，由傳統的卷積神經網絡衍生而來，該網絡并沒有在網絡結構的深度上下功夫，而是通過寬度的拓展實現更好的信息提取。

如圖2所示，InceptionBlock通過不同大小卷積核的并行計算提取二維數據中的不同信息，最后在深度維度上對結果進行堆疊得到輸出。

在該卷積運算過程中存在一個問題，即同一大小的輸入經過不同的卷積核運算后會得到不同大小的輸出。若所輸入的二維數據大小為nh×nw，卷積核大小為kh×kw，在卷積核的移動步長為1時，輸出結果的大小將為（nh - kh + ph + 1）×（nw - kw + pw + 1），ph和pw分別表示高度和寬度兩個維度上池化的填充大小。通過池化操作中填充大小的選擇，可以保持同一個二維數據輸入在經過不同大小卷積核的卷積運算后得到相同大小的輸出結果。

經過上述所有運算后，得到的結果仍為二維數據，現在將不同周期特征下的二維數據各自展開為一維數據。利用Softmax函數將前文計算得到的周期振幅數據轉換為不同周期的權重，對不同周期特征下的數據進行加權求和，得到的結果為一維數據，該數據即為TimesBlock的輸出結果。

值得注意的是，該模塊往往通過InceptionBlock中卷積核個數的設置使展開后的輸出結果與同一變量下所輸入的數據長度相同。

2" 預測模型設計

2.1" TimesNet預測模型結構

為了實現大類資產指數的長期預測，依照圖3建立TimesNet網絡預測模型，該網絡模型包含時間編碼嵌入層、全連接層（DenseLayer）、失活層（Dropout）、歸一化層（NormLayer）和周期特征提取模塊。

若輸入模型的時序數據長度為l，變量個數為n，則輸入數據的大小可表示為l×n，即表示該數據有l行n列，設需要預測的數據長度為l′，則模型的具體結構即計算過程中數據大小的變化可以表示為：

1）第一層為時間編碼嵌入層，由TokenEm-bedding、PositionEmbedding和TemporalEmbedding構成，這三個Embedding的結果相加后得到輸出值。通過卷積過程中的池化操作和全連接層中輸出神經元個數的設置，輸出值的大小為l×256，輸出值完全進入下一層。

2）第二層為Dropout，以0.1的概率隨機丟棄部分神經元，數據大小不變。

3）第三層為DenseLayer，首先將輸入數據進行轉置，轉置后的大小為256×l，其次對其輸入神經網絡進行運算，輸出神經元的個數設置為l + l′，將神經網絡的輸出結果轉置后得到輸出，輸出值的大小為

（l + l′ ）×256，該層的輸出值仍完全進入下一層。

4）第四層由兩個TimesBlock疊加而成，其中InceptionBlock的個數設置為2，且均由卷積核大小為1、3、5、7、9、11的6個子卷積核構成。為保證各卷積核輸出大小的一致，各自設置對應的池化填充大小為0、2、4、6、8、10（該處大小為對應維度上總的數據填充個數）。第一個InceptionBlock的輸出通道設置為512，第二個InceptionBlock的輸出通道設置為256。該層輸出值的大小為（l + l′ ）×256。每一個TimesBlock的輸出值與輸入值進行殘差連接[9]后完全進入下一層。

5）第五層為NormLayer，該層對輸入數據的最后一個維度進行標準化，數據大小不變。

6）第六層為DenseLayer，其輸出神經元個數設置為n，輸出值的大小為（l + l′ ）×n。

7）第七層是結果輸出層，通過對上一層輸出中

l + l′維度的后端進行裁剪，得到大小為 l′×n的數據即為該模型的預測結果。

2.2" 全連接層與失活層

全連接層與前一層神經網絡的每個輸出神經元都存在連接，其運算通過矩陣乘法實現。與其他網絡結構類似，參數的更新由反向傳播實現。在該模型中，全連接層的兩次引入均起到了改變特征個數的作用。

除此之外，全連接層還可以在數據的整體維度上提取信息并通過激活函數構建非線性映射，常常被應用于深度神經網絡中的輸入處理和輸出處理。其計算式為：

（3）

其中，W表示權重，X表示由樣本向量組成的矩陣，b表示偏置量。

為解決深度神經網絡的過擬合（OverFitting）問題，在模型的訓練過程中往往會在神經網絡輸出后使用失活層。失活層以一定的概率使輸出神經元停止工作，即將該神經元的數值設置為0。在深度學習模型中添加失活層是一種成本最小的提升模型泛化能力的訓練方式。

2.3" 歸一化層

歸一化層是一種對數據進行歸一化的方法，與批歸一化（BatchNorm）方法不同，批歸一化方法是對同一訓練批次內的每個特征進行歸一化，而該方法是對每個樣本的所有特征進行歸一化，使一個樣本內所有特征的均值為0，方差為1。該方法可以使模型更加穩定，提高訓練的速度和效果。

2.4" 殘差連接

殘差連接（ResidualConnection）是一種神經網絡結構，如圖4所示，其中x表示輸入的數據，f（x）表示該深度學習模塊的輸出結果，而F（x）則表示殘差連接的輸出結果。該過程通過將一個深度學習模塊的輸出結果與輸入相加，可以讓信息在網絡中跨越多層進行傳遞。

除此之外，還可以通過殘差連接來設計更深的神經網絡，因為該方法可以使深度學習模塊在產生過擬合前自動失活，在解決過擬合問題的同時避免了反向傳播中梯度消失（Vanishing Gradient）和梯度爆炸（Exploding Gradient）的問題。

3" 實驗與結果

本文的實驗數據集取自2005年1月4日至2022年1月4日這17年中的上證50指數、滬深300指數、中證500指數、中證1000指數、南華商品指數、標普高盛商品全收益指數、中債-綜合財富（1年以下）指數、中債-綜合財富（3～5年）指數、中債-綜合財富（7～10年）指數及貨幣基金指數的每日歷史數據，10個指標作為預測模型的多變量輸入。要求模型預測的結果為未來96天的指標預測數據。

3.1" 數據處理和模型設置

3.1.1" 數據歸一化

考慮到經過歸一化的數據可以使深度神經網絡最優參數的尋找過程變得更為平緩，更容易收斂到最優解，本文將所有數據縮放到均值為0、方差為1的標準正態分布以完成歸一化過程。

3.1.2" 缺失值處理

由于各指數的數據通常是按照交易日進行計算，而節假日不是交易日，這就導致大類資產指數數據中缺乏節假日的數據，但節假日不會進行交易，即節假日后的數據與節假日前的數據是完全連貫的，所以可以忽略節假日導致的數據缺失而直接對前后數據進行拼接。

3.1.3" 對比模型選擇

為了驗證本文模型的優越性，特設置線性回歸（LinearRegression）、隨機森林[10]（RandomForest）、支持向量回歸（SVR）和長短期記憶模型（LSTM），與本文的TimesNet進行對比。

3.1.4" 參數設置

線性回歸模型采用Scikit-Learn庫中的原始回歸模型；隨機森林模型設置最大深度為5，子分類器個數為100；支持向量回歸模型設置懲罰系數為1，容忍偏差為0.2，核函數為徑向基核函數（Radial Basis Function， RBF）；LSTM模型設置LSTM層數為5，每兩層之間存在失活層，最后通過全連接層進行輸出；本文的TimesNet模型設置TimesBlock中k為5，訓練輪數為30，批數據大小為32，參數優化算法為學習率自適應Adam（Adaptive Moment Estimation）算法。上述所有使用神經網絡的模型均以均方誤差（MeanSquareError）作為損失函數。

3.2" 評價指標

本文選取平均絕對百分誤差（MAPE）、均方根誤差（RMSE）作為衡量模型預測準確性的指標。MAPE的數值越小表示預測結果與實際值的偏離程度越小，預測效果越好；RMSE的數值越小表示預測結果與實際值的絕對值差距越小，模型越優。

各指標的計算式為：

（4）

（5）

其中，N表示預測的步長，yi表示真實值， 表示模型輸出的預測值。

3.3" 實驗結果與對比分析

為驗證模型長期預測的能力，本文設置模型的預測步長為96，即在預測值與真實值的對比中，所有96個預測值由模型一次預測得到，而非依據真實值逐個預測。為統一模型的預測結果進行評價，本文選取大類資產指數中的上證50指數進行結果的對比與分析。根據歸一化后的結果計算不同模型的評價指標結構，如表1所示。

可以看出，TimesNet在長期預測任務中的預測結果明顯優于其他模型。進一步分析TimesNet預測值與真實值的對比，可知該模型在整體上預測了數據未來變化的趨勢，但隨著預測時間的增加，誤差也會相應變大，如圖5所示。

4" 結" 論

針對大類資產指數長期預測等極具挑戰性的多變量長期預測任務，相對于線性回歸、隨機森林、支持向量回歸和LSTM，本文基于TimesNet構建的深度神經網絡模型具有良好的長期預測效果，能夠較為準確地預測數據未來的變化趨勢。通過實驗可以發現，該模型在長期預測結果的末端仍無法完美擬合真實值趨勢，對此提出幾個未來需要解決的問題：

1）輸入數據的長度較短，模型無法從數據中提取足夠的時間趨勢信息。

2）在TimesBlock的數據維度轉換后，通過池化解決數據大小不一的方法會導致訓練數據中存在錯誤數據，影響模型精度。

除此之外，本文的模型并不局限于大類資產指數的長期預測，經過參數的調整和相應的數據處理，可以在城市用電負荷等多變量長期預測任務中加以使用。

參考文獻：

[1] 張沐光，吳文倩.大類資產配置原理與相關指數的國內外實踐分析 [J].金融市場研究，2021，114（11）：72-82.

[2] 郭平剛.技術分析法的邏輯基礎 [J].中國證券期貨，2012（11）：283.

[3] 吳威廷.股票基本面分析的主要內容 [J].財經界，2020（20）：49-50.

[4] 李悅.基于支持向量機的股市預測 [D].上海：復旦大學，2016.

[5] 彭燕，劉宇紅，張榮芬.基于LSTM的股票價格預測建模與分析 [J].計算機工程與應用，2019，55（11）：209-212.

[6] WU H X，XU J H，WANG J M，et al. Autoformer： Decomposition transformers with auto-correlation for long-term series forecasting [J].Advances in Neural Information Processing Systems，2021，34：22419-22430.

[7] WU H，HU T，LIU Y，et al. TimesNet： Temporal 2D-Variation Modeling for General Time Series Analysis [J/OL].arXiv：2210.02186 [cs.LG].[2023-02-19]. https：//arxiv.org/abs/2210.02186.

[8] SZEGEDY C，LIU W，JIA Y Qangqing，et al. Going Deeper with Convolutions [J/OL].arXiv：1409.4842 [cs.CV].[2023-02-24].https：//arxiv.org/abs/1409.4842v1.

[9] 陳登建，杜飛霞，夏換.基于ARIMA與SVR滾動殘差模型組合的股票預測 [J].計算機時代，2022，359（5）：76-81.

[10] 林娜娜，秦江濤.基于隨機森林的A股股票漲跌預測研究 [J].上海理工大學學報，2018，40（3）：267-273+301.

作者簡介：陳英瑞（2002—），男，漢族，廣東茂名人，本科在讀，研究方向：機器學習。