基于Informer神經網絡的福建省貨運量預測

摘要：為準確預測貨運量，以福建省貨運量為研究對象，分別從產業結構水平、經濟發展水平、物流發展水平和人文因素等4個方面選取貨運量的主要影響因素，以1978—2022年福建省貨運量及貨運量影響因素數據構建數據集，基于Informer神經網絡構建貨運量預測模型，通過交叉驗證法訓練模型，同時采用長短時記憶（long short-term memory，LSTM）神經網絡和Transformer神經網絡預測福建省貨運量，對比三者預測結果的準確性。結果表明：Informer神經網絡模型測試集預測結果的平均相對誤差為3.75%，LSTM和Transformer神經網絡模型預測結果的平均相對誤差略高，分別為4.45%、4.38%，Informer神經網絡模型的預測結果較準確。采用Informer神經網絡模型預測2023年福建省的貨運量為184 289.0萬t，比2022年增大8.9%。福建省的貨運量逐年增大，應不斷完善物流配送機制，提高運輸效率以滿足福建省及周邊地區的物流需求。

關鍵詞：貨運量；預測；Informer神經網絡；交叉驗證法

中圖分類號：U116；F572文獻標志碼：A文章編號：1672-0032（2025）01-0016-08

0 引言

隨互聯網技術的發展，消費場景從線下拓展到線上，網絡購物用戶規模不斷擴大，對物流服務質量提出更高要求。精確預測貨運量對促進物流業健康發展、提高物流運輸服務質量及運輸效率、更好滿足消費者需求具有重要意義[1]。

在提高貨運量預測準確度方面，鐘蒙等[2]以第一、二產業增加值和人均國內生產總值為自變量，采用灰色-反向神經網絡預測江西省公路貨運量；龍宇等[3]以2007—2021年的全國鐵路貨運量月度數據集為參考，構建加權組合模型預測2021年鐵路貨運量，結果表明加權組合模型的預測準確度高于單一模型；楊宇鴿等[4]基于NeuralProphet模型與長短期記憶（long short-term memory，LSTM）神經網絡構建組合模型，預測上海港和廈門港的貨物吞吐量，結果表明組合模型可有效解決數據異常波動造成的預測結果誤差大、預測效果不穩定等問題；彭婷等[5]采用機器學習的線性回歸方程預測武漢天河機場的貨郵吞吐量，結果表明線性回歸模型比二次指數平滑模型預測準確度更高；張冠東等[6]提出多維LSTM神經網絡預測模型，分別預測鐵路、公路、民航的貨運量，預測效果優于向量自回歸模型；李國祥等[7]基于LSTM神經網絡，提出基于深度學習的區域物流預測模型，預測性能較好；徐曉燕等[8]采用5種不同的研究方法預測山東省生鮮農產品物流需求，結果表明LSTM神經網絡的預測準確度和穩定性較好；Laan等[9]研究緊急情況下如何準確預測救援物資并有效規劃訂單，以優化資源配置和物流效率；左敏等[10]建立Informer神經網絡預測模型預測河北、湖北和湖南的農產品物流需求，預測結果較準確；劉妙男等[11]考慮天氣、節假日等因素對公交客流量的影響，建立Informer神經網絡預測模型預測公交車客流量，為城市交通規劃提供依據；程元棟等[12]構建加權馬爾科夫-自回歸移動平均模型預測區域物流需求，結果表明組合模型的預測準確度高于單一模型；王雷等[13]分別采用季節性指數平滑法和季節差分自回歸移動平均法預測鐵路客運量，后者的預測準確度更高。以上研究多通過改進預測模型提高預測準確度，研究多集中在預測港口、鐵路等特定交通方式的貨運量，無法準確反映省份的整體物流需求。

福建省地處我國東南沿海，是重要的物流中心和交通樞紐，在滿足省際物流需求同時面臨物流資源投入大、物流負擔重等問題[14]。本文分別從福建省的產業結構水平、經濟發展水平、物流發展水平和人文因素等方面選取貨運量的主要影響因素，構建貨運量及其影響因素的數據集，建立Informer神經網絡模型[15-16]，通過模型訓練預測福建省貨運量需求，為提升物流配送效率、降低成本提出相關建議。

1 研究數據

1.1 數據獲取

在數據源中有多種因素直接或間接影響預測準確度，需合理選取主要影響因素，減少數據冗余度。分別從產業結構水平、經濟發展水平、物流發展水平和人文因素等4方面選取第一產業增加值G1、第二產業增加值G2、第三產業增加值G3、工業增加值G4、人均國內生產總值G5、年末常住人口G6、公路運營里程G7、貨物發送量G8、貨物周轉量G9、鐵路運營里程G10作為貨運量X的10個主要影響因素，構建預測模型分析變量。其中，G1～G4為產業因素，G5為經濟因素，G6為人文因素，G7～G10為物流因素。通過文獻[17]獲取1978—2022年福建省的貨運量及貨運量主要影響因素數據，如表1所示。

1.2 數據規范化

不同影響因素數量級及單位存在較大差異，采用最小-最大規范化方法處理數據量綱。采用該方法將數據映射到統一區間內，降低特殊樣本數據的不良影響。規范化后的數據

G′=（G－Gmin）/（Gmax－Gmin），

式中：G為原始數據，Gmax為原始數據中的最大值，Gmin為原始數據中的最小值。

2 研究方法

通過回歸分析法構建因變量和自變量間的關系預測貨運量時，難以獲取所需的標準數據，預測準確度較低。采用長時間序列預測方法分析長時間的歷史數據，獲取相對客觀的關聯系數公式，得到現象發展規律及與其他現象間的關聯。

深度學習算法是人工智能的分支，在圖像處理[18]、自然語言處理[19]、語音識別[20]、推薦系統[21]等方面應用廣泛。Transformer神經網絡模型具有較強的捕獲長距離依賴能力，在長時間序列預測中實用性較好，但存在堆疊多層網絡、內存占用過高、解碼速度較慢等問題。Informer神經網絡模型在Transformer神經網絡模型上改進3點：提出多頭概率稀疏自注意力機制篩選查詢矩陣，降低計算復雜度；提出自注意力蒸餾機制，減少維度和網絡參數；提出生成式解碼器，一次性獲得所有預測結果，提高預測速度。

基于Informer神經網絡構建福建省貨運量預測模型，如圖1所示。Informer神經網絡模型由編碼器和解碼器組成。編碼器負責對輸入的時間序列進行編碼，提取內部依賴關系，將歷史貨運量{Xt，Xt+1，…，Xt+i，…，XT}與貨運量影響因素規范化數據作為Informer神經網絡模型的輸入，基于Prophet經典傳統算法標記時間序列并設為位置編碼，捕捉時間序列中的局部和全局前、后時間位置關系。解碼器處理編碼器提取的特征，經全連接器后輸出預測貨運量XT+1。

編碼器由不同功能的堆棧組成，第1個堆棧處理全部輸入序列，后續堆棧依次處理前1個堆棧輸出的1/2，每個堆棧包括編碼層和蒸餾層，結構如圖2所示。

編碼層由多頭注意力和多頭概率稀疏自注意力層兩部分組成。多頭注意力捕捉時間序列中不同位置間的長距離依賴性，進行初步編碼和特征提取；多頭概率稀疏自注意力機制模仿人類的選擇性視覺注意力，篩選關聯度緊密的信息，通過稀疏選擇策略捕捉時間序列中的關鍵特征，建立預測數據間的內部關系，降低計算復雜度，提高計算效率。

蒸餾層比編碼層少1層，蒸餾層通過降采樣操作提取關鍵特征，減小時間序列長度，降低計算復雜度，提高模型的魯棒性。蒸餾層操作公式為[22]：

xj+1=MaxPool（ELU（Conv1d（［xj］AB））），

式中：xj+1、xj分別為第j+1和第j層的輸入特征；MaxPool為最大池化操作，用于減小輸入長度；Conv1d為一維卷積操作，用于提取時間序列的特征；[xj]AB為xj在通道AB上的值，表示對xj進行某種操作，如多頭概率稀疏自注意力機制操作；ELU為激活函數，用于引入非線性變換，

每一層歸一化操作后的輸出

O=LayerNorm（x+Sublayer（x）），

式中：LayerNorm為正則化操作函數；x為當前層的輸入；Sublayer為多頭概率稀疏自注意力機制處理函數。

最后，將所有堆棧的輸出連接起來，得到編碼器的最終隱藏表示，即圖2中的特征圖。

解碼器通過注意力機制提取歷史數據中的特征信息，生成預測數據，輸入兩部分內容：一部分為編碼器的最終隱藏表示，另一部分為待預測的貨運量，使用0占位，并引入掩蓋機制，在模型預測時忽略這部分輸入。其注意力機制包含Masked多頭稀疏自注意力機制和交叉注意力機制，前者保證在解碼過程中保持因果關系，在生成未來時間步的預測時，只能訪問序列前的時間步；后者確保解碼器參考編碼器生成的特征。Masked多頭稀疏自注意力機制公式為：

式中：Q為查詢矩陣；K為鍵矩陣；V為值矩陣；Softmax為激活函數；d為鍵向量的維度；M為屏蔽矩陣，用于計算時屏蔽未來的時間步。

交叉注意力機制公式為：

式中：Ke為編碼器輸出的鍵矩陣，Ve為編碼器輸出的值矩陣。

全連接器接收解碼器的輸出，整合不同的多頭自注意力機制提取的不同特征信息，輸出預測貨運量。

3 預測結果分析

分別采用Informer、LSTM和Transformer 神經網絡模型預測福建省的貨運量，對比預測結果的準確性。

3.1 試驗方法

采用深度學習框架PyTorch，基于Windows 11操作系統，在Python 3.6環境下進行貨運量預測試驗，使用Numpy 1.19.4、Scikit-Learn 0.21.3、Pandas 0.25.1、Torch 1.8.0 和 Matplotlib 3.1.1等工具。

采用交叉驗證法訓練模型，即在數據集中切割出小部分作為測試集，剩余的大部分作為訓練集，在訓練過程中，隨機更換不同的小部分作為測試集，以此不斷更換。不斷變化訓練集和測試集，充分利用數據集中所有樣本進行模型訓練，提高模型的泛化能力；匯總多個不同測試集的預測結果，更準確地評估模型性能，減少對單一劃分結果的依賴性；交叉驗證可幫助檢測模型是否過擬合，過擬合現象指在測試集上表現效果不好，在訓練集上表現效果好。

3.2 結果分析

Informer神經網絡模型的輸入包括歷史貨運量、時間及貨運量影響因素數據，模型的輸出為待預測年份的貨運量。選取LSTM神經網絡和Transfoemer神經網絡模型作為試驗的對照組。LSTM神經網絡基于循環神經網絡，解決梯度消失問題，可有效捕捉和保留長期的時間依賴關系，在預測長時序問題上有一定優勢。Transformer神經網絡不使用隱藏層傳遞相關的信息參數，直接計算任意詞間的相關性，有并行計算能力，可最大程度使用圖形處理器資源。

Informer、LSTM和Transformer神經網絡預測模型的損失函數隨迭代次數的變化如圖3所示。由圖3可知：Informer神經網絡模型在初始階段損失函數較大，隨不斷迭代訓練，損失函數減小，測試集迭代約200次后趨于0；LSTM神經網絡模型的訓練集和測試集迭代約300次后損失函數趨于0，預測效果不如Informer神經網絡模型；Transformer神經網絡模型的測試集迭代約250次后，損失函數接近0，訓練集迭代約200次后損失函數趨于0，迭代至300次時有輕微波動，預測效果穩定性比Informer神經網絡模型差。

對比Informer、LSTM和Transformer神經網絡模型預測結果的絕對誤差和相對誤差，及經交叉驗證后的平均絕對誤差和平均相對誤差，結果如表2所示。由表2可知：經交叉驗證后，Informer、LSTM和Transformer神經網絡模型預測結果的誤差均顯著減小，預測可靠性提高；3種預測模型中，Informer神經網絡模型測試集預測結果的平均絕對誤差和平均相對誤差均最小，預測準確度最高。

采用Informer神經網絡模型進行預測，2022年福建省的貨運量為163 379.34萬t，該省實際貨運量為169 107.00萬t，二者相對誤差為3.39%，誤差較小。預測2023年福建省的貨運量為184 289.00萬t，貨運量比2022年增大8.9%，說明福建省應改進配送機制，優化運輸路線，加強物流信息管理，增強供應鏈風險管理的能力，不斷提高配送效率，面對不斷變化的市場需求提前做出準備。

3.3 消融試驗

基于2022年福建省貨運量相關數據進行消融試驗，驗證所選貨運量影響因素的合理性及建模參數的科學性。貨運量影響因素的消融試驗結果如表3所示。

由表3可知：以9個影響因素為自變量時的Informer神經網絡模型預測結果的相對誤差均大于以10個影響因素作為自變量時的預測結果的相對誤差，說明所選影響因素合理，符合建模需求。

4 結束語

為預測福建省貨運量，分別從產業結構水平、經濟發展水平、物流發展水平和人文因素等方面選取貨運量的10個主要影響因素，構建Informer神經網絡模型，與LSTM神經網絡和Transformer神經網絡模型對比，分析3種模型的預測準確度。結果表明：LSTM和Transformer神經網絡模型的預測準確度略低，Informer神經網絡模型預測效果最好。采用Informer神經網絡模型預測2023年福建省的貨運量為184 289.00 萬t，比2022年增大8.9%。福建省應改進物流設施建設，提升運輸能力和完善物流配套服務，以應對不斷增長的市場需求。

本文選取的數據指標較多，數據的索引難度較大，效率較低。下一步可細分為航空貨運、港口貨運、鐵路貨運等不同物流領域，從經濟發展水平、產業結構水平和人文因素3個方面，選取代表各領域發展水平的貨運量評價指標，以簡化數據，提高研究效率及可操作性。

參考文獻：

[1] 徐玉萍，鄧俊翔，蔣澤華.基于組合預測模型的鐵路貨運量預測研究[J].鐵道科學與工程學報，2021，18（1）：243-249.

[2] 鐘蒙，薛運強，周珣，等.基于灰色-反向傳播神經網絡的江西省公路貨運量預測[J].科學技術與工程， 2021，21（24）：10478-10484.

[3] 龍宇，許浩然，余華云，等.基于ARIMA-LSTM-XGBoost組合模型的鐵路貨運量預測[J].科學技術與工程，2023，23（25）：10879-10886.

[4] 楊宇鴿，郝楊楊，王逸文.基于NeuralProphet-LSTM組合模型的港口貨物吞吐量預測[J].中國航海，2023，46（4）：85-92.

[5] 彭婷，鄧旭東.基于機器學習的天河機場物流預測研究[J].物流科技，2023，46（5）：97-100.

[6] 張冠東，楊琛.基于多維長短時記憶網絡的貨運量預測[J].統計與決策，2022，38（12）：180-183.

[7] 李國祥，馬文斌，夏國恩.基于深度學習的物流需求預測模型研究[J].系統科學學報，2021，29（2）：85-89.

[8] 徐曉燕，楊慧敏，呂修凱，等.基于山東省不同模型的物流需求預測比較研究[J].包裝工程工程版，2022，43（23）：207-215.

[9] LAAN E V D， DALEN J V， ROHRMOSER M， et al. Demand forecasting and order planning for humanitarian logistics： an empirical assessment[J].Journal of Operations Management， 2016， 45：114-122.

[10] 左敏，胡天宇，董微，等.基于Informer神經網絡的農產品物流需求預測分析：以華中地區為例[J].智慧農業（中英文），2023，5（1）：34-43.

[11] 劉妙男，王魏，胡顯輝，等.基于因果卷積和Informer模型的城市公交客流預測[J].控制工程，2024，31（8）：1445-1454.

[12] 程元棟，喻可欣，李先洋.基于加權馬爾科夫-ARIMA修正模型的區域物流需求預測[J].山東交通學院學報，2023，31（3）：22-28.

[13] 王雷，金勇，劉巖.鐵路客運量預測模型對比分析[J].山東交通學院學報，2020，28（3）：25-32.

[14] 陳懷鈞.新時代福建物流業高質量發展對策研究[J].現代營銷（經營版），2020（8）：80-81.

[15] 楊海民，潘志松，白瑋.時間序列預測方法綜述[J].計算機科學，2019，46（1）：21-28.

[16] ZHOU H Y， ZHANG S H， PENG J Q， et al. Informer：beyond efficient transformer for long sequence time-series forecasting[C]//Proceedings of the AAAI conference on artificial intelligence.[S.l.]：AAAI-51，2020.

[17] 福建省統計局，國家統計局福建調查總隊.福建統計年鑒[M].北京：中國統計出版社：1979-2023.

[18] 劉皓皎，劉力雙，張明淳.基于YOLOv5改進的紅外目標檢測算法[J].激光技術，2024，48（4）：534-541.

[19] 李建平，陳海鷗.基于改進長短時記憶網絡的文本分類方法[J].重慶大學學報，2023，46（5）：111-118.

[20] 沈逸文，孫俊.結合Transformer的輕量化中文語音識別[J].計算機應用研究，2023，40（2）：424-429.

[21] 林幸，邵新慧.基于圖神經網絡的推薦系統模型[J].計算機應用與軟件，2023，40（3）：325-330.

[22] 熊佳豪，李鋒，湯寶平，等.基于策略梯度Informer模型的滾動軸承剩余壽命預測[J].工程科學與技術，2024，56（4）：273-286.

Freight volume prediction of Fujian Province based on

Informer neural network

Abstract：To accurately predict freight volume， this study examines the freight volume in Fujian Province by selecting the main influencing factors of freight volume from four aspects： industrial structure level， economic development level， logistics development level， and human factors. A dataset is constructed using data on freight volume and its influencing factors in Fujian Province from 1978 to 2022. Based on the Informer neural network， a freight volume prediction model is constructed and trained using cross-validation methods. Simultaneously， the study employs long short-term memory （LSTM） neural networks and Transformer neural networks to predict the freight volume in Fujian Province， comparing the prediction accuracies of the three models. The results show that the average percentage error of the test set for the Informer neural network model is 3.75%， which is smaller than that of the LSTM and Transformer neural network models， at 4.45% and 4.38%， respectively，which indicates that the Informer neural network model provides more accurate predictions. The Informer neural network model predicts that the freight volume in Fujian Province in 2023 will be 1 842.89 million tons， an increase of 8.9% over 2022. The freight volume in Fujian Province is increasing year by year， and there should be continuous improvements to the logistics distribution mechanism and enhancements in transportation efficiency to meet the logistics demands of Fujian Province and the surrounding regions.

Keywords：freight volume; prediction; Informer neural network; cross-validation