基于 LSTM-Transformer 的船閘通航流量預測研究

基金項目：

2021年度廣西高校中青年教師科研基礎能力提升項目（編號：2021KY1131）；2024年度廣西高校中青年教師科研基礎能力提升項目“新一代信息技術背景下船閘安全風險預警閉環管控系統研究與應用”（編號：2024KY1185）

作者簡介：

張 舜（1990—），碩士，講師，主要從事云計算、計算機應用技術研究工作。

摘要：文章提出了一種基于LSTM-Transformer混合模型的船閘通航流量預測方法。該方法采用LSTM與Transformer混合模型解決了在船閘通航流量預測中的問題。通過在西江船閘過閘數據集上進行試驗驗證，該方法相較于傳統方法具有更高的準確率，也證明了其在船閘通航流量預測領域的應用前景和可行性。

關鍵詞：船閘通航；LSTM-Transformer模型；流量預測

中圖分類號：U641.7+3文獻標識碼：A 62 204 3

0 引言

通過對船閘通航流量的精確預測，可對船閘的運行情況進行有效掌握。同時，對通航流量的準確預測可以有效地預測整個航道的交通流壓力，實時進行風險評估與制定預處理方案。因此，對于船閘通行流量進行準確的預測是很有必要的。

1 研究方法概述

目前，西江黃金水道管理部門根據國家相關規定部署了船閘聯合調度系統，在船舶過閘之前會在手機端通過該系統進行預報操作。本文獲取了船閘聯合調度系統中預報的過閘數據，并對其進行處理，按照一定的時間間隔統計各個船閘不同時間段的過閘數據，并將得到的船舶過閘數量輸入LSTM-Transformer混合預測模型，通過訓練更好地提取數據的時間序列特征，以達到更準確的預測效果。

1.1 LSTM

LSTM［1］是RNN的一種變體，能夠有效解決RNN訓練過程中的梯度爆炸和梯度消失問題，在處理長時間依賴的時序數據問題上更有優勢。LSTM由輸入門、遺忘門和輸出門構成，并通過激活函數引入了非線性要素。LSTM的核心在于引入門機制來控制特征的流通和損失。

1.2 Transformer

Transformer模型的結構主要由編碼器-解碼器組成。輸入的歷史序列首先經過詞編碼和位置編碼，然后輸入到編碼器中，目標序列為解碼器的輸入。編碼器-解碼器由多個編碼層和解碼層堆疊組成，每個編碼層和解碼層都包含多個注意力和歸一化等神經網絡層。為了便于理解公式中矩陣的含義，設定公式中矩陣的對應時間序列，矩陣的行對應時間序列的時長，短陣的列對應時間序列變量個數。編碼器提取歷史序列的特征信息作為被查詢向量，K、V為內容向量，將解碼器中目標序列經過歸一化的輸出作為查詢向量Q。Transformer是一種基于自注意力機制的深度學習模型，通過多層自注意力機制和注意力權重，能夠捕捉輸入序列中的長期依賴關系。

1.3 時間序列預測

在時間序列預測中，Transformer能夠有效地處理復雜的非線性關系，提高預測精度。Transformer將輸入序列分為兩部分：編碼器輸入和解碼器輸入。編碼器負責對輸入序列進行特征提取和編碼，而解碼器則將編碼器的輸出作為輸入，并逐步預測未來的時間步。

2 基于LSTM-Transformer的船閘通航流量預測模型構建

2.1 LSTM-Transformer模型構建

Transformer框架主要用于NLP領域，在將其運用到船閘通航流量預測之前，需要將Transformer框架進行一定的改動。由于船閘通航流量預測數據是典型的多變量輸入單變量輸出的時間序列數據，不需要解碼器的并行計算，因此可以取消解碼器的設置。在編碼器的前饋神經網絡部分使用一維卷積層代替全連接層，在編碼器層后增加平均池化層，使用多層感知機和全連接層輸出結果，從而增強Transformer的局部特征捕捉能力。將改進的Transformer框架與LSTM相耦合以增強對時序數據的捕捉能力，構建如圖1所示的LSTM-Transformer模型。此模型由多個LSTM單元、多個編碼層、池化層、MLP層和輸出層組成。

2.2 LSTM-Transformer模型的船閘通航流量預測流程

基于LSTM-Transformer船閘通航流量預測模型預測流程如圖2所示。

（1）獲取長洲船閘的通航數據，對缺失值進行線性插補。

（2）將處理后的數據進行歸一化并按照比例劃分訓練集和測試集。

（3）使用滑動窗口的方法對輸入的數據進行分割，將分割好的數據輸入模型，并將模型的均方根誤差作為粒子的適應度進行超參數優化，從而得到最優參數組合并保存訓練的模型。

（4）將測試集的數據分割并輸入模型進行預測，將輸出反歸一化得到預測結果，將其和預測集數據進行比較，評價模型精度。

基于LSTM-Transformer的船閘通航流量預測研究/張 舜

模型采用平均絕對誤差（MAE）、均方根誤差（RMSE）和決定系數R2（R-squared）3 個評價指標來進行綜合評估。評價指標公式如下：

MAE=1N∑Ni=1|ypre（i）-ytrue（i）|

（1）

RMSE=1N∑Ni=1（ypre（i）-ytrue（i））2

（2）

R2=1-［∑Ni=1ypre（i）-ytrue（i）2/∑Ni=1y-（i）-ytrue（i）2］

（3）

式中：ypre、y-——測試集樣本的真實值和平均值；

N——樣本數；

ytrue——模型輸出值。

3 西江船閘實例試驗

3.1 數據集的選取

本文以廣西西江航運干線上的12座船閘作為研究對象，開展基于LSTM-Transformer的船閘通航流量預測模型研究。西江航運干線是我國南方重要的內河航運通道，由5個梯級共12座船閘構成，包括大藤峽、西津、貴港、長洲等船閘。這些船閘在保障內河航運安全、促進區域經濟發展等方面發揮著重要作用。本文選用12座船閘2023-03-01至2023-05-01的船舶過閘數據，取5 min作為時間間隔，因船閘聯合調度系統在船舶過閘時會多次記錄數據，同一船閘每5 min內同一艘船只統計一次。

3.2 試驗結果

本文詳細闡述一個使用PyTorch 1.10.1和CUDA 11.3環境的LSTM-Transformer模型試驗。該試驗通過優化超參數、調整模型結構以及使用合適的數據處理方法，實現了對時間序列數據的有效預測。

本文選擇了ADAM優化器和MSELoss函數來訓練LSTM-Transformer模型。ADAM優化器是一種自適應學習率的優化算法，其在訓練過程中能夠動態調整學習率，從而加快模型的收斂速度。而MSELoss函數則用于計算模型預測值與真實值之間的均方誤差，以評估模型的性能。

為了充分發揮模型的性能，進行了細致的調參試驗。經過多次嘗試，確定了最佳的超參數組合，包括隱藏單元數、學習率和批量大小等。試驗結果顯示，當批量大小為32時，模型既能保證訓練速度，又能避免顯存溢出的問題。同時，學習率設為10-3時，模型能夠在300個訓練周期內達到較好的收斂效果。

在處理時間序列數據時，采用了滑動窗口方法。具體而言，就是將時間序列數據切分為大小為7的窗口，并以步長為1的方式依次提取窗口內的數據作為模型的輸入數據。這種方法既能夠捕捉時間序列的局部特征，又能夠保持數據之間的連續性。

在模型結構方面，采用了2層卷積和LSTM的組合。其中，卷積層用于提取輸入數據的局部特征，而LSTM層則用于捕捉時間序列數據中的長期依賴關系。為了充分利用LSTM的特性，將LSTM的回溯步長設為6，即模型在預測當前時刻的數據時，會考慮過去6個時刻的信息。

此外，根據輸入、隱藏和輸出層的需求，分別設置了特征數為3、128和3的神經元。這樣的設置既能滿足模型的計算需求，又能保持模型的簡潔性。

綜上所述，通過優化超參數、調整模型結構以及使用合適的數據處理方法，在PyTorch 1.10.1和CUDA 11.3環境下成功訓練了一個性能良好的LSTM-Transformer模型。該模型在處理時間序列數據時表現出色，為實現更精確的預測提供了有力支持。

為驗證LSTM-Transformer模型預測船閘通航流量的效果，將其與ChebNet［2］、LSTM、GCNN［3］和GAT模型進行了比較，各個船閘的各模型預測結果見表1。結果表明，LSTM-Transformer模型擬合效果更佳，預測精度更高。盡管ChebNet、LSTM和GCNN的預測效果稍遜，但仍符合流量變化趨勢，而GAT模型預測效果不穩定，原因在于其難以有效提取區域船舶流量數據空間特征。

綜合各模型的試驗數據，LSTM-Transformer預測模型的3個評價指標結果都是最好的，這表明單一神經網絡模型難以同時處理時間和空間特性，而混合模型更能有效捕獲時空特征。

4 結語

本文提出了一種基于LSTM-Transformer混合模型的船閘通航流量預測方法。采用LSTM與Transformer混合模型解決了在船閘通航流量預測中的問題。通過在西江船閘過閘數據集上進行試驗驗證，結論如下：

（1）LSTM-Transformer模型比 LSTM、ChebNet等模型在訓練數據較少的情況下預測精度更高，模型的魯棒性和泛化能力更強。

（2）LSTM-Transformer模型在預測分鐘級的船閘通航數據中有著良好的泛化能力與預測精度，改善了傳統 RNN 類模型出現的時間滯后性現象。

與傳統的預測模型相比，優化后的模型檢測能力得到了提升，對于船閘通航流量預測效率更高，可滿足實際應用的條件。

參考文獻

［1］MALHOTRA P，VIG L，SHROFF G，et al. Long short term memory networks for anomaly detection in time series［C］.23rd European Symposium on Artificial Neural Networks，2015.

［2］DEFFERRARD M，BRESSON X，VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering［J/OL］.https：//doi.org/10.48550/arXiv.1606.09375，2022-11-12.

［3］WU ZH，PANSR，CHENFW，et al. A comprehensive survey on graph neural networks［J］.IEEE Transactions on Neural Networks and Learning Systems，2021，32（1）：4-24.