基于注意力時間卷積網絡的農產品期貨分解集成預測

張大斌 黃均杰 凌立文 林銳斌

基于注意力時間卷積網絡的農產品期貨分解集成預測摘要針對農產品期貨時間序列數據受多方面因素影響，非線性、非平穩數據特征難以提取而導致預測準確性不高的問題，基于“分解-集成”的預測思想，本文提出一種基于自適應噪聲完備經驗模態分解（CEEMDAN）與Transformer-Encoder-TCN的農產品期貨預測方法．首先，使用CEEMDAN將時間序列分解為多尺度多頻率的本征模態分量（IMF）與殘差，降低了序列建模復雜度;其次，使用融合多階段自注意力單元Transformer-Encoder的時間卷積網絡（TCN）對各個分量子序列進行特征提取與預測，優化了序列顯著特征建模權重;最后，將各個子序列預測值線性相加集成得到最終預測結果．以南華期貨公司農產品指數中的大豆期貨指數為研究對象，采用時序交叉驗證與參數遷移的方式進行模型重訓練，消融和對比實驗結果表明，提出的新模型在RMSE、MAE和DS三個評價指標上具有良好的效果，驗證了該模型對農產品期貨預測的有效性．

關鍵詞農產品期貨;自適應噪聲完備經驗模態分解;自注意力機制;Transformer-Encoder;時間卷積網絡

中圖分類號F830.91;TP183

文獻標志碼A

0引言

農產品作為關系國計民生的大宗商品之一，是農業經濟發展中重要的組成部分，其價格劇烈波動將阻礙農產品經濟的可持續健康發展．而期貨市場具備套期保值與價格發現功能，穩定高效的農產品期貨交易市場預測機制在穩定農產品供應量、糧食現貨價格預警方面具有重要意義，也能為政府決策者制定農業經濟政策提供重要參考［1］．

傳統的農產品時間序列預測建模方法主要基于計量統計模型，該類模型具有較強的線性擬合能力，包括ARIMA、ETS、GARCH等［2］．然而，以上傳統計量統計模型非線性建模能力較差，隨著市場影響因素的增多，模型泛化能力也隨之下降．因此，不少學者將分解集成策略與預測模型相結合以提高農產品時間序列預測精度［3］．分解集成預測方法是一種分而治之的策略，常見的分解方法包括小波分解（WD）［4］、經驗模態分解（EMD）［5］以及自適應噪聲完備經驗模態分解（ComplementaryEnsembleEmpiricalModeDecompositionwithAdaptiveNoise，CEEMDAN）［6］等，這些分解方法在時序預測任務中起到重要作用．例如：唐振鵬等［7］利用VMD與EMD進行糧食期貨價格序列二次分解，再進行集成學習預測;Zhou等［8］利用CEEMDAN分解原油價格序列后使用XGBoost算法對其進行集成預測．

隨著人工智能算法的發展，基于神經網絡的深度學習預測模型被應用于農產品時間序列預測領域，常見的算法包括長短期記憶網絡（LSTM）［9］、時間卷積網絡（TemporalConvolutionNetwork，TCN）［10］等．以往的研究表明，LSTM具備記憶時序特征能力，TCN則具有較強的局部時序相關性建模能力，上述模型在農產品時間序列短期預測領域具有較強優勢［11-12］．此外，這些模型在各類農產品時間序列預測任務上呈現優越的非線性建模能力．Wang等［13］利用LSTM對大連期貨交易所的大豆期貨價格進行預測，驗證了LSTM模型具有更好的預測精度;Chuluunsaikhan等［14］將主題文本建模技術與深度學習模型CNN、LSTM相結合，預測了韓國市場豬肉每日零售價格;張杰等［15］構建了融合傳遞熵的圖神經網絡，有效地提高了大豆期貨價格走勢預測精度．

然而，上述深度學習模型對于長序列的全局建模仍具有局限性，因此有學者開始嘗試將全局建模能力極佳的注意力機制與深度學習模型融合并應用到農產品時間序列預測領域［16］．

注意力機制最早應用于計算機視覺中［17］．2017年，谷歌機器翻譯團隊提出了經典的Transformer模型［18］，該模型采用多頭自注意力機制（Multi-headSelf-Attention）自動捕捉輸入序列不同位置處的相對關聯來進行機器翻譯任務，并且取得了良好的效果;Niu等［19］利用CEEMDAN分解能源類時間序列，再利用融合注意力機制的GRU模型進行預測，預測精度得到顯著提高;賈寧等［20］設計了LSTM-DA模型用于蔬菜類農產品價格預測，先利用CNN層提取局部特征，再利用LSTM提取序列特征，兩層均融合了注意力機制，有效地降低了預測誤差;Yin等［21］利用STL分解策略將蔬菜價格分解為趨勢成分、季節性成分和殘差成分，并使用融合注意力機制的LSTM進行預測，解決了因季節性影響而產生的預測滯后問題．

本文結合傳統復雜時間序列分解集成建模策略與最新人工智能理論研究各自的優勢，提出一種分解集成預測策略下融合多階段自注意力單元Transformer-Encoder的時間卷積網絡模型，并應用在農產品期貨收益率序列預測任務中．本文設計的CEEMDAN-Transformer-Encoder-TCN方法主要的創新點和貢獻點如下：

1）在TCN建模過程中融合了多階段自注意力單元Transformer-Encoder，注意力機制與TCN模型的因果卷積機制兩者形成互補，有效地增強了模型局部與全局建模能力，自動優化農產品期貨顯著性時間點與季節性成分的建模權重，構建了一種新穎的時間卷積神經網絡結構．

2）由于農產品期貨收益率具有非平穩、非線性特征，基于CEEMDAN將收益率序列分解為多個頻率的IMF（IntrinsicModeFunction）分量，降低了序列復雜度．同時，采用時序交叉驗證與參數遷移的方式構建的模型訓練流程有效地挖掘了子序列特征，改善了預測效果．

3）基于真實大豆期貨收益率數據集進行實驗，探索了一種新的農產品期貨收益率預測方法，未來可擴展運用到多種農產品期貨預測任務上．

1研究方法

1.1自適應噪聲完備經驗模態分解（CEEMDAN）

CEEMDAN是一種有效的信號序列分解算法，由Torres等［22］在2011年提出，其對殘差加入高斯白噪聲并繼續分解計算IMF分量均值，有效地解決了白噪聲從高頻到低頻的轉移傳遞問題．CEEMDAN算法過程描述如下：

1.2Transformer-Encoder模型

人類大腦在處理接收到的畫面信息時無法同時仔細觀察眼前的一切，會選擇性地聚焦某些重要且較有價值的區域，這種機制被稱為注意力機制．本文將其作為神經網絡組件的一部分以有效地提取全局特征權重信息，其公式如下：

1.3時間卷積網絡（TCN）

在基于神經網絡模型處理時序問題的研究中，通常采用經典的RNN結構，但最新的研究發現TCN在多種任務上表現不輸于RNN．TCN本質上是針對一維空間進行全維度卷積以處理時序問題的神經網絡，具有捕捉長期時序關系的能力，其優點如下：不同于RNN的順序計算，TCN的計算速度更快，所需內存量更少，可以進行大規模的并行處理從而縮短了神經網絡訓練和驗證的時間;TCN為改變卷積核感受域大小提供了更多靈活性，通過堆疊更多的卷積層、使用更大的膨脹系數及增大濾波器大小等更好地控制模型時間記憶的長短;TCN運用了殘差連接，避免了RNN中經常出現的梯度爆炸或梯度消失問題．

圖2對TCN整體結構進行了說明，圖3則表示TCN中每一層的殘差結構．TCN主要包含3種基本結構：因果卷積、膨脹卷積與殘差連接．TCN的每一個隱層之間使用膨脹卷積進行連接，每一個隱層即為一個因果卷積殘差模塊，TCN由多個因果卷積殘差模塊組成．

1.4Transformer-Encoder-TCN模型

本文設計了一種新的時間卷積網絡結構，設膨脹系數為4，構建包含有4層殘差塊的TCN網絡，并在每一層因果殘差塊之間引入由自注意力單元構成的Transformer-Encoder，將每一層經因果卷積編碼后的時間步特征作為其輸入，通過自注意力機制進行特征權重優化后繼續作為下一層因果殘差塊的輸入，最后拼接一層全連接層作為預測輸出，模型如圖4所示．

Transformer-Encoder-TCN結構設計思路如下：

1）在時間步特征中融合位置編碼能為模型提供當前時間步的前后順序信息．最新的研究表明，模型層數越深、感受域越大，卷積操作可以在一定程度上編碼目標的更多絕對位置信息［23］．在本文提出的模型中，TCN的因果卷積殘差模塊為了保證輸入與輸出的神經元數量一致，在時間步中添加了Zero-padding進行時間步補全，這一機制同樣為下一層Transformer-Encoder層隱式建模了位置信息，有助于更深層次的時序信息建模．

2）從互補性角度看，卷積是一種模板匹配式的局部操作運算，不同位置采用相同的卷積核進行濾波，一個卷積層通常只會建模鄰域數據之間的關系．而自注意力機制則屬于自適應濾波式的全局操作運算，一個Transformer-Encoder層具有并行化建模數據內部全局關系的能力，但其缺少對于局部信息的先驗知識，因此卷積操作和自注意力機制可以形成良好的互補［24］．

除此之外，由于農產品期貨時間序列具有顯著的季節性，自注意力機制在季節性特征建模中能發揮有效作用．自注意力機制能增強保留重要特征、減弱冗余特征，而季節性是一種周期性的重復特征，其往往在時序預測任務中發揮重要作用，運用自注意力機制能自動有效地增強季節性成分的建模權重，省略繁瑣的季節性調整步驟;同時，由于其優越的時間維度全局加權能力，不同周期的季節性成分加權后能獲得較為平穩顯著的季節性序列特征．

1.5本文預測模型

本文的模型框架主要包括3個步驟：1）使用CEEMDAN分解方法對時間序列進行多尺度自適應分解，得到多個高頻到低頻排序的IMF分量與殘差;2）分解子序列的預測，使用Transformer-Encoder-TCN模型對各個IMF分量序列進行特征抽取;3）將子序列預測值線性相加集成．本文預測模型結構如圖5所示．

2實驗結果與分析

2.1數據材料

為驗證所提出模型的有效性，本文選取大豆期貨作為實證研究對象，數據集爬取于中國南華期貨公司的多類商品指數歷史走勢網站（http：／／www.nanhua.net／nhzc／varietytrend.html），該樣本涵蓋了2011年1月4日至2021年1月4日期間的大豆價格指數日度數據，共2428個時間觀測值，并對其進行對數處理以獲得2011年1月5日至2021年1月4日期間大豆期貨對數收益率序列（對數收益率rt=lnxt+1xt）．

從經濟學意義的角度上講，由于對數收益率具備可加性，其均值能正確反映出該投資物的真實收益率，收益率的預測更具重要意義．而從計算建模的角度看，對數收益率易于統計處理的性質給模型構建帶來了巨大的便利性，取對數可以讓數據更加平穩，削弱了原始價格變量的異方差與共線性．由圖7可知，對數收益率序列圍繞著0均值上下波動，數據呈正態分布，具有波動聚集性．

此外，本文通過單位根檢驗（AugmentedDickey-Fullertest，ADF）進行平穩性檢驗，判斷序列是否存在單位根：如果序列平穩，則單位根不存在;反之，序列不平穩即存在單位根．原假設存在單位根，如果得到的顯著性檢驗統計量小于5％顯著性水平下的臨界值，則對應有95％的把握來拒絕原假設，說明序列平穩具有顯著性.檢驗結果如表2所示，對數收益率序列在顯著性水平為5％的情況下平穩性遠高于價格序列．

2.2預測過程

為提高預測模型的泛化能力，緩解時序預測中常出現的過擬合與概念漂移問題，本文采用時間序列交叉驗證中的前向滾動窗口方法［25］，通過分段預測［26］并求誤差均值來測試模型的整體預測效果．為了保證模型能學習到較長時間段內的規律，在每一個預測周期內，用過去3年的數據來構造輸入序列，將時序排序的前90％數據作為訓練集，并使用CEEMDAN進行序列逐級分解，得到當前預測周期由高頻到低頻排序的多尺度分量．

序列分解結果如圖8所示，紅色序列為原收益率序列，藍色序列為IMF分量與殘差，可以觀察到序列被分解為高中低三類頻級的分量．殘差代表著收益率的長期發展趨勢，低頻項波動幅度代表重大事件對收益率的影響期限長短，期限越長期貨市場受影響時間越久，高頻項則代表短期期貨市場受突發事件和供需事件引起的收益劇烈波動．

本文選擇遷移學習式的訓練策略，模型依次對當前周期得到的多尺度分量進行特征趨勢提取，當上一個頻率分量訓練結束后，模型在上一個頻率分量訓練得到的參數基礎上不斷進行重訓練，這種在預訓練模型上進行參數微調（fine-tune）的訓練方式有利于更好地捕捉不同時期的時序規律，加快模型訓練收斂速度．而過去3年里最后10％數據則作為驗證集，并將在驗證集上預測效果最好的模型權重保存，接著使用未來6個月數據構造的測試集來檢驗模型預測效果．

在下一輪周期驗證中，將構造的訓練集、驗證集與測試集整體往后推移6個月，以此類推，直至覆蓋全部10a樣本，最后將分段訓練得到的模型預測誤差求平均．交叉驗證分段預測過程如圖9所示．

2.3參數設置

超參數的合理設置對于模型效果具有至關重要的影響．由于本文的關鍵改進在神經網絡模型結構創新，因此CEEMDAN分解方法僅采用py-EMD庫中的內置默認參數設置，經過多次實驗，TCN中因果卷積殘差模塊層數設置為4，各層卷積核數量分別設置為20、15、10、5，卷積核大小設置為2，膨脹因子則為2n，n為殘差塊層數，而Transformer-Encoder中blocks設置為1，heads設置為5，即五頭自注意力．

為了構建適合TCN輸入格式的數據集，本文將時間滑動窗口設置為10，即使用過去10天的信息來預測下一個交易日的收益率，批大小（batch_size）設置為128，使用均方誤差（MSE）作為損失函數，選擇Adam算法進行梯度訓練，初始學習速率設置為0.001，訓練過程中使用余弦退火算法進行學習率調節，最大訓練輪數設置為5000，當連續5輪驗證集誤差不再下降時使用早停機制停止訓練．

2.4評價指標

本文對模型的評價指標從兩個維度來選取：第1個維度采用均方根誤差（RootMeanSquaredError，RMSE）和平均絕對誤差（MeanAbsoluteError，MAE）來衡量真實值和預測值之間的誤差，其值越小越好;第2個維度是方向性命中率（DirectionalSymmetry，DS），這一指標能衡量模型預測走勢的精確度，取值范圍為0至1，其值越接近1越好．

2.5消融實驗

本文模型主要由CEEMDAN、TransformerE-ncoder與TCN3個核心組件構造．為了驗證本文模型的有效性，對其進行消融實驗，設計了如下4種組合方式：

1）TCN，記為模型1;

2）Transformer-Encoder-TCN，記為模型2;

3）CEEMDAN-TCN，記為模型3;

4）CEEMDAN-Transformer-Encoder-TCN，記為本文模型．

由表3消融實驗的結果可知，本文所提出的模型通過多個周期交叉驗證后在3個評價指標上均取得了最佳預測效果．模型1作為基線模型，預測精度較低．模型2由于添加了自注意力單元模塊，建模了全局時序信息后在RMSE與MAE兩個指標上預測精度比起單一的TCN模型略有提高，但受限于數據復雜的全局波動性，DS精度有所降低．而模型3由于采用了先分解再集成的預測策略，依據分而治之的思想降低了預測復雜度，比起單一TCN模型預測效果有了非常顯著的提升．本文模型整合了分解集成策略與自注意力單元各自的優勢，通過分解算法得到多尺度分量后，自注意力單元更容易聚焦于不同頻率的顯著特征，比起單一TCN模型，RMSE誤差指標降低了33.7％，MAE誤差指標降低了31.5％，DS精度提升了43.4％．

為了更直觀地觀測本文模型的預測效果，由于篇幅限制，僅取多折交叉驗證中最后一折的測試集作出預測，結果如圖10所示，黑色實線代表真實值，灰色虛線代表預測值，本文模型在一定程度上能較好地擬合真實值，但更傾向于保守預測，少數異常波動收益率點的預測結果具有滯后性，這符合期貨投資收益率中寧可少賺也不多虧的原則．以上實驗結果表明，本文提出的預測模型改進方式具有一定可行性．

2.6對比實驗

為了進一步驗證本文所提出模型的優越性，將其與LSTM、CEEMDAN-LSTM、SVR、CEEMDAN-SVR模型進行對比實驗．為了保證實驗公平性，對比模型預測流程與本文模型一致.其中：LSTM隱藏層神經元數量根據經驗與滑動窗口長度設置為10，隱藏層數設置為1，隱藏層激活函數設置為ReLU，其余訓練參數如學習速率等則與本文模型一致；SVR模型使用sklearn庫中的默認參數，核函數為RBF．對比實驗結果如表4所示．

由表4可知，LSTM作為深度學習模型的一種，能建模序列時間尺度上的依賴關系，其獨特的門控記憶機制使得其在序列建模任務上比起傳統機器學習模型SVR更具優勢，而兩者在應用分解集成策略將復雜序列轉換為簡單子序列后，從3個評價指標結果上看預測精度均獲得顯著提升，驗證了分解策略的有效性．

4種對比模型中，LSTM模型容易陷入梯度彌散或爆炸的困境，SVR模型則無法很好地捕捉時間尺度上的依賴關系，而本文模型在應用分解集成策略的基礎上同時融合了局部信息與全局信息進行建模，避免了梯度消失或爆炸問題，因果卷積的Zero-padding機制與自注意力單元形成互補，較好地建模了農產品期貨季節性成分，在誤差精度和方向性精度上均展示出較強優勢．本文模型改進了大豆期貨收益率短期預測效果，在農產品期貨預測上具有一定潛力．

3結論

針對農產品期貨預測精度低的問題，本文提出一種基于CEEMDAN與Transformer-Encoder-TCN模型的分解集成預測方法，并在真實大豆期貨收益率數據集上進行實驗．CEEMDAN通過挖掘序列多尺度特征，降低了序列建模復雜度，TCN模型的Zero-padding機制為自注意力單元抽象表達了時序數據中的絕對位置信息，而自注意力單元Transformer-Encoder則有效地增強了TCN模型的全局關聯建模能力，優化了顯著特征的建模權重．實驗通過時間序列交叉驗證與參數遷移訓練的方式進行，研究結果表明本文模型在農產品期貨收益率預測研究中具備一定可行性．

本文仍存在一些不足之處，CEEMDAN分解后的子序列數量不確定，其中高頻子序列仍存在較大復雜性，這增加了建模難度．另外，由于CEEMDAN的計算時間較長，因此本文模型更側重于離線計算場景，對于眾多農產品期貨在線高頻交易場景的需求無法滿足，未來研究將重點將針對其他農產品期貨高頻交易場景下的預測問題進行擴展研究．

參考文獻

References

［1］

劉洋，羅其友，周振亞，等.我國主要農產品供需分析與預測［J］.中國工程科學，2018，20（5）：120-127

LIUYang，LUOQiyou，ZHOUZhenya，etal.AnalysisandpredictionofthesupplyanddemandofChinasmajoragriculturalproducts［J］.StrategicStudyofCAE，2018，20（5）：120-127

［2］HanZY，ZhaoJ，LeungH，etal.Areviewofdeeplearningmodelsfortimeseriesprediction［J］.IEEESensorsJournal，2021，21（6）：7833-7848

［3］張永安，顏斌斌.一種股票市場的深度學習復合預測模型［J］.計算機科學，2020，47（11）：255-267

ZHANGYongan，YANBinbin.Deeplearninghybridforecastingmodelforstockmarket［J］.ComputerScience，2020，47（11）：255-267

［4］趙娜，孫紅，黎銓祺，等.基于小波分解的時序預測模型mWDLNet及其應用研究［J］.小型微型計算機系統，2022，43（3）：561-567

ZHAONa，SUNHong，LIQuanqi，etal.ResearchonapplicationoftimeseriesforecastmodelmWDLNetbasedonwaveletdecomposition［J］.JournalofChineseComputerSystems，2022，43（3）：561-567

［5］WangS，MuL，LiuDR.AhybridapproachforElNiopredictionbasedonempiricalmodedecompositionandconvolutionalLSTMencoder-decoder［J］.Computers＆Geosciences，2021，149：104695

［6］WangYN，YuanZ，LiuHQ，etal.AnewschemeforprobabilisticforecastingwithanensemblemodelbasedonCEEMDANandAM-MCMCanditsapplicationinprecipitationforecasting［J］.ExpertSystemswithApplications，2022，187：115872

［7］唐振鵬，吳俊傳，張婷婷，等.基于二次分解和集成學習的糧食期貨價格預測研究［J］.系統工程理論與實踐，2021，41（11）：2837-2849

TANGZhenpeng，WUJunchuan，ZHANGTingting，etal.Researchongrainfuturespriceforecastingbasedonsecondarydecompositionandensemblelearning［J］.SystemsEngineeringTheory＆Practice，2021，41（11）：2837-2849

［8］ZhouYR，LiTY，ShiJY，etal.ACEEMDANandXGBOOST-basedapproachtoforecastcrudeoilprices［J］.Complexity，2019，2019：1-15

［9］韓金磊，熊萍萍，孫繼紅.基于LSTM和灰色模型的股價時間序列預測研究［J］.南京信息工程大學學報（自然科學版），2023，15（6）：631-642

HANJinlei，XIONGPingping，SUNJihong.StockpricetimeseriespredictionbasedonLSTMandgreymodel［J］.JournalofNanjingUniversityofInformationScience＆Technology（NaturalScienceEdition），2023，15（6）：631-642

［10］BaiS，KolterJZ，KoltunV.Anempiricalevaluationofgenericconvolutionalandrecurrentnetworksforsequencemodeling［J］.arXive-print，2018，arXiv：1803.01271

［11］LiGQ，ChenW，LiDH，etal.Comparativestudyofshort-termforecastingmethodsforsoybeanoilfuturesbasedonLSTM，SVR，ESandwavelettransformation［J］JournalofPhysics：ConferenceSeries，2020，1682（1）：012007

［12］ChengW，WangY，PengZ，etal.High-efficiencychaotictimeseriespredictionbasedontimeconvolutionneuralnetwork［J］.Chaos，Solitons＆Fractals，2021，152：111304

［13］WangCH，GaoQ.HighandlowpricespredictionofsoybeanfutureswithLSTMneuralnetwork［C］／／2018IEEE9thInternationalConferenceonSoftwareEngineeringandServiceScience（ICSESS）.November23-25，2018，Beijing，China.IEEE，2019：140-143

［14］ChuluunsaikhanT，RyuGA，YooKH，etal.Incorporatingdeeplearningandnewstopicmodelingforforecastingporkprices：thecaseoftherepublicKorea［J］.Agriculture，2020，10（11）：513

［15］張杰，甄柳琳，徐碩，等.融合傳遞熵的圖神經網絡農產品期貨預測模型［J］.計算機工程與應用，2023，59（2）：321-328

ZHANGJie，ZHENLiulin，XUShuo，etal.Graphneuralnetworkmodelbasedontransferentropyforagriculturalfuturesforecasting［J］.ComputerEngineeringandApplications，2023，59（2）：321-328

［16］WeiXL，LeiBB，OuyangHB，etal.Stockindexpricespredictionviatemporalpatternattentionandlong-short-termmemory［J］.AdvancesinMultimedia，2020，2020：1-7

［17］MnihV，HeessN，GravesA，etal.Recurrentmodelsofvisualattention［C］／／AdvancesinNeuralInformationProcessingSystems，2014：2204-2212

［18］VaswaniA，ShazeerN，ParmarN，etal.Attentionisallyouneed［C］／／Proceedingsofthe31stInternationalConferenceonNeuralInformationProcessingSystems，2017：6000-6010

［19］NiuHL，XuKL，LiuC.Adecomposition-ensemblemodelwithregroupingmethodandattention-basedgatedrecurrentunitnetworkforenergypriceprediction［J］.Energy，2021，231：120941

［20］賈寧，鄭純軍.基于LSTM-DA神經網絡的農產品價格指數短期預測模型［J］.計算機科學，2019，46（增刊2）：62-65，71

JIANing，ZHENGChunjun.Short-termforecastingmodelofagriculturalproductpriceindexbasedonLSTM-DAneuralnetwork［J］.ComputerScience，2019，46（sup2）：62-65，71

［21］YinHL，JinD，GuYH，etal.STL-ATTLSTM：vegetablepriceforecastingusingSTLandattentionmechanism-basedLSTM［J］.Agriculture，2020，10（12）：612

［22］TorresME，ColominasMA，SchlotthauerG，etal.Acompleteensembleempiricalmodedecompositionwithadaptivenoise［C］／／2011IEEEInternationalConferenceonAcoustics，SpeechandSignalProcessing（ICASSP）.May22-27，2011，Prague，CzechRepublic.IEEE，2011：4144-4147

［23］IslamMA，JiaS，BruceNDB.Howmuchpositioninformationdoconvolutionalneuralnetworksencode？［J］.arXive-print，2020，arXiv：2001.08248

［24］WangXL，GirshickR，GuptaA，etal.Non-localneuralnetworks［C］／／2018IEEE／CVFConferenceonComputerVisionandPatternRecognition.June18-23，2018，SaltLakeCity，UT，USA.IEEE，2018：7794-7803

［25］NairBB，MohandasVP，SakthivelNR.Adecisiontree-roughsethybridsystemforstockmarkettrendprediction［J］.InternationalJournalofComputerApplications，2010，6（9）：1-6

［26］MNgJCP，MehralizadehM.ForecastingEastAsianindicesfuturesviaanovelhybridofwavelet-PCAdenoisingandartificialneuralnetworkmodels［J］.PLoSOne，2016，11（6）：e0156338

Forecastingagriculturalcommodityfutureswithdecompositionand

ensemblestrategybasedonattentionaltemporalconvolutionnetwork

ZHANGDabin1HUANGJunjie1LINGLiwen1LINRuibin1

1CollegeofMathematicsandInformatics，SouthChinaAgriculturalUniversity，Guangzhou510642，China

AbstractToaddressthelowpredictionaccuracyinagriculturalcommodityfuturesduetotheirnonlinearandnon-smoothfeaturesresultingfromvariousinfluencingfactors，thispaperproposesadecompositionandensembleforecastingapproachbasedonCEEMDANandTransformer-Encoder-TCN.First，theComplementaryEnsembleEmpiricalModeDecompositionwithAdaptiveNoise（CEEMDAN）isusedtodecomposethetimeseriesintomultiscaleIntrinsicModeFunction（IMF）andresiduals，reducingthecomplexityofseriesmodeling.Second，eachsubseriesispredictedviaTemporalConvolutionalNetwork（TCN）incorporatingmulti-stageself-attentionunit（Transformer-Encoder），whichoptimizesthemodelingweightsofsignificantfeatures.Finally，thepredictionresultsofeachsubseriesarelinearlysummedandintegratedtoobtainthefinalpredictionresults.ThesoybeanfuturesrevenueindexintheagriculturalcommodityindexofSouthChinaFuturesCompanyisusedastheresearchobject.Themodelisretrainedbytime-seriescross-validationandparametertransfer.TheablationandcomparisonexperimentalresultsshowthattheproposedmodelhassuperiorityinRMSE，MAEandDS，verifyingitseffectivenessinpredictingagriculturalcommodityfutures.

Keywordsagriculturalcommodityfutures;complementaryensembleempiricalmodedecompositionwithadaptivenoise（CEEMDAN）;self-attention;Transformer-Encoder;temporalconvolutionnetwork（TCN）