基于iTransformer與LSTM模型融合的農(nóng)場氣溫多步預(yù)測

關(guān)鍵詞：iTransformer;LSTM；模型融合；多特征；農(nóng)場氣溫；多步預(yù)測

中圖分類號：TP183 文獻(xiàn)標(biāo)識碼：A

文章編號：0439-8114（2025）05-0134-07

DOI：10.14088/j.cnki.issn0439-8114.2025.05.021 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Multi-step temperature prediction for farms based on iTransformer and LSTM model fusion

XIE Qi， ZHANG Tai-hong，LIU Hai-peng

（Colegefftteala of Intelligent Agriculture，MinistryofEducation，Xinjiang Agricultural University，Urumqi830o52，China）

Abstract：Toadressthenonlinearandomplexcharacteristicsoffarmtemperaturedata，basedonmeteorologicalstationdatafrom HuaxingFarminChangji City，XinjiangUygurAutonomous Region，sevenfeaturesincludingtemperature，groundinfraredtemperature，dewpointtemperaturerelativehumidityaporpressure，stationpressure，andsea-levelpressurewereselectedasmodelinput features throughSpearancorelationanalysis，andomparativeanalsisascoductedamongtheiransformer-LSTodelras former model，LSTMmodel，iTransformermodel，andTransformer-LSTMmodel.TheresultsshowedthattheiTransformer-TM modelachievedthebestperformance.Comparedwiththeoptimal baselinemodeliTransformer，thismodelreducedtherootmean square error（RMSE）by 13.72% ，mean absolute error （ MAE ）by 14.12% ，and mean absolute percentage error （ MAPE ）by 13.61% TheiTransformer-LSTMmodelcouldefectivelyextracttime-series featurerepresentations，capturelong-termdependencies，and characterize globalaturesandcontextualinformation，makingitsuitableforulti-featureulti-steptimeseries temperatureprediction tasks.

Key Words：iTransformer;LSTM;model fusion；multi-feature; farm temperature；multi-step prediction

氣候變化可能引發(fā)極端天氣事件，如干旱、洪澇、低溫和霜凍，這些現(xiàn)象對農(nóng)業(yè)生產(chǎn)造成嚴(yán)重風(fēng)險。農(nóng)業(yè)是受氣候變化影響較顯著的領(lǐng)域，農(nóng)業(yè)氣象災(zāi)害約占全部農(nóng)業(yè)自然災(zāi)害的 70%^[1] 。農(nóng)業(yè)氣象災(zāi)害的頻率和強(qiáng)度不斷增加，給中國農(nóng)業(yè)帶來了嚴(yán)重的經(jīng)濟(jì)損失，促使各地氣象部門高度重視并積極開展相關(guān)研究。

農(nóng)作物的生長和發(fā)育受到多個因素的影響，包括溫度、光照、降水量和二氧化碳濃度等，因此，氣候變化將直接影響其產(chǎn)量和品質(zhì)[2]。其中，溫度變化對農(nóng)作物的生長周期有明顯的影響。當(dāng)平均氣溫每上升 1^°C 時，全國水稻、冬小麥和玉米的生育期縮短7＼～17d，氮肥中能被植物直接吸收利用的速效氮釋放量增加約 4% ，釋放期縮短 3.6d^[3] 。因此，預(yù)測溫度對中國農(nóng)業(yè)生產(chǎn)至關(guān)重要。王怡等4構(gòu)建CNN-BiLSTM-Attention融合神經(jīng)網(wǎng)絡(luò)模型來預(yù)測大氣溫度，預(yù)測精度和準(zhǔn)確性較單一神經(jīng)網(wǎng)絡(luò)有了進(jìn)一步提升。王強(qiáng)等5提出了SA-PSO-XGBoost預(yù)測模型。陳嵐等提出基于GRA-Conv-BiLSTM的氣溫預(yù)測方法，該方法能夠有效適應(yīng)動態(tài)非線性變化。

Vaswani等提出Transformer模型，該模型通過自注意力機(jī)制捕捉序列數(shù)據(jù)中的長距離依賴關(guān)系。由于其靈活的架構(gòu)、自注意力機(jī)制的優(yōu)勢以及出色的穩(wěn)定性，Transformer不僅在自然語言處理、計(jì)算機(jī)視覺和語音處理等領(lǐng)域表現(xiàn)突出[8]，還在時間序列預(yù)測任務(wù)中得到廣泛應(yīng)用。錯誤地使用自注意力機(jī)制會導(dǎo)致時間信息的丟失，使得Transformer的表現(xiàn)甚至不及線性模型[9]。Transformer的現(xiàn)有結(jié)構(gòu)可能并不適合多特征時序分析，因此需對Transformer結(jié)構(gòu)進(jìn)行改進(jìn)。InvertedTransformer是Liu等[]提出的一種Transformer變體，簡稱為iTransformer。此變體簡化了Transformer結(jié)構(gòu)，并將每個特征映射為token，而不是同一時間點(diǎn)上多特征的數(shù)據(jù)映射為to-ken。iTransformer在多個時序分析中表現(xiàn)最佳，模型效果遠(yuǎn)優(yōu)于Transformer。Hochreiter等[1]提出長短期記憶網(wǎng)絡(luò)（Long short-termmemeory，LSTM），該網(wǎng)絡(luò)廣泛應(yīng)用于時序預(yù)測模型的構(gòu)建。然而，LSTM不適用于捕捉多特征數(shù)據(jù)，且計(jì)算量較大，數(shù)據(jù)處理不充分可能會顯著增加模型整體計(jì)算資源和時間。

Transformer和LSTM的融合模型適合捕捉長期依賴關(guān)系。Cao等[1]提出LSTM-Transformer混合預(yù)測模型，該模型結(jié)合在線學(xué)習(xí)和知識蒸餾技術(shù)，專門用于多任務(wù)實(shí)時預(yù)測。Shi等[3]提出LSTM-Trans-former時序預(yù)測模型，用于預(yù)測非線性、不穩(wěn)定的礦井涌水量。Han等4提出LSTM-Transformer模型對交通流和風(fēng)險駕駛行為進(jìn)行實(shí)時碰撞風(fēng)險評估。Ma等[15]提出基于Transformer的CNN-LSTM模型，解決多變量時間序列預(yù)測任務(wù)。然而現(xiàn)有的Trans-former和LSTM組合模型在處理多特征數(shù)據(jù)時表現(xiàn)不佳，難以有效捕捉多特征之間的復(fù)雜關(guān)系，甚至可能導(dǎo)致偏差累積或放大。因此，本研究提出基于iTransformer和LSTM融合的多特征多步氣溫預(yù)測模型（iTransformer-LSTM），旨在解決現(xiàn)有組合模型在長期依賴關(guān)系和多特征關(guān)系捕捉上的缺陷。

數(shù)據(jù)來源與方法

1.1 數(shù)據(jù)來源

研究區(qū)位于新疆維吾爾自治區(qū)昌吉市華興農(nóng)場0 87^°17^′24^′′E 44^°13^′12^′′N ），數(shù)據(jù)來源于農(nóng)場的農(nóng)業(yè)氣象站，該氣象站位于農(nóng)田區(qū)域內(nèi)分布均勻且地勢開闊的位置，能夠較好地反映該農(nóng)田的整體氣候特征。

氣象站配備傳感器，可監(jiān)測溫度、濕度、風(fēng)速、風(fēng)向、氣壓、降雨量、日照、光合有效輻射、總輻射等，數(shù)據(jù)采樣頻率為 5min1 次。采集時間為2024年1月15日16：00至9月1日16：00。溫度傳感器位于距離地面 1.5m 高處的百葉箱內(nèi)。

1.2 數(shù)據(jù)處理

由于每 5min 的氣溫變化較小，故對原始數(shù)據(jù)進(jìn)行平均值重采樣，重采樣時間間隔設(shè)定為每小時1條，最終數(shù)據(jù)量為5520條。選取的時間滑動窗口長度為240，預(yù)測序列長度為240，即根據(jù)前10d的數(shù)據(jù)，預(yù)測第11＼～20天的數(shù)據(jù)。數(shù)據(jù)集劃分為訓(xùn)練集（ 70% ）驗(yàn)證集（ 10% 和測試集（ 20% ）。

因原始數(shù)據(jù)的特征數(shù)較多，對特征進(jìn)行斯皮爾曼相關(guān)性分析。斯皮爾曼相關(guān)性分析可以在不滿足線性關(guān)系或正態(tài)分布的數(shù)據(jù)中，提供準(zhǔn)確且魯棒的評估結(jié)果；斯皮爾曼相關(guān)性分析適合小樣本和非參數(shù)統(tǒng)計(jì)方法，且對異常值具有一定的魯棒性。選取斯皮爾曼相關(guān)系數(shù) （r） 絕對值大于0.7的特征，剔除相關(guān)系數(shù)較低的特征，最終保留7個特征作為模型的輸人。特征信息如表1所示。

斯皮爾曼相關(guān)性分析（圖1）表明，氣溫與地面紅外溫度、水汽壓、露點(diǎn)溫度均呈顯著正相關(guān)，相關(guān)系數(shù)分別為 0.95，0.80，0.77 ；氣溫與海平面氣壓、本站氣壓、相對濕度均呈顯著負(fù)相關(guān)，相關(guān)系數(shù)分別為-0.82，-0.80，-0.71 。

多個多特征時序數(shù)據(jù)集上實(shí)現(xiàn)了性能的顯著提升，特別適合處理特征數(shù)量多且相互關(guān)聯(lián)的時序數(shù)據(jù)[10]。iTransformer模型能夠有效提取豐富的全局特征表達(dá)和上下文信息，但在捕捉長距離依賴關(guān)系方面表現(xiàn)相對不足。相比之下，LSTM模型能有效處理時序中的動態(tài)變化并保持長期記憶，但在高維度的多特征時序數(shù)列中，難以有效捕捉特征之間的關(guān)系。將二者結(jié)合有助于網(wǎng)絡(luò)對特征表達(dá)和時間依賴性的綜合理解，從而增強(qiáng)對多特征長時序數(shù)據(jù)的預(yù)測性能。因此本研究提出iTransformer-LSTM模型，用于多特征多步時序預(yù)測任務(wù)，模型的結(jié)構(gòu)如圖2所示。

相較于傳統(tǒng)的Transformer模型和LSTM模型，iTransformer-LSTM模型在以下方面進(jìn)行了優(yōu)化和改進(jìn)。

1）iTransformer-LSTM模型首先用轉(zhuǎn)置嵌入層將每條特征序列映射為token，將時間序列中的離散數(shù)據(jù)映射到低維度的稠密向量空間中，從而減少模型的復(fù)雜度和參數(shù)量，提取出有效的時序特征，接著傳人LSTM模型，最后傳人iTransformer模型余下的部分。iTransformer-LSTM模型的結(jié)構(gòu)更加合理、更有創(chuàng)新性，充分融合了2個基礎(chǔ)模型的優(yōu)點(diǎn)。

2）該模型采用單向架構(gòu)（Encoder-Only架構(gòu)），取代原有的序列到序列架構(gòu)（Encoder-Decoder架構(gòu)）。單向架構(gòu)更適合多特征序列的特征學(xué)習(xí)和自適應(yīng)關(guān)聯(lián)。單向架構(gòu)能夠減少近 50% 的模型參數(shù)，節(jié)省計(jì)算資源并降低學(xué)習(xí)成本，同時有效避免過擬合等問題[16]

3）該模型取消了對Transformer模型的具體要求，通過選擇不同類型的注意力機(jī)制，該模型能適應(yīng)不同的任務(wù)和數(shù)據(jù)特征，有助于提升模型處理長距離依賴的能力，進(jìn)一步提升模型性能。

4）該模型使用GELU（Gaussianerror linearunit）激活函數(shù)，取代Sigmoid激活函數(shù)。采用GELU激活函數(shù)，能夠幫助神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的非線性關(guān)系。在時序預(yù)測任務(wù)中，數(shù)據(jù)通常具有復(fù)雜的時序特性和非線性趨勢，因此使用非線性激活函數(shù)能夠更好地捕捉這些特征。GELU激活函數(shù)的平滑性有助于優(yōu)化算法更快地收斂，計(jì)算效率比Sigmoid函數(shù)更高；同時，GELU激活函數(shù)允許神經(jīng)網(wǎng)絡(luò)在多種激活狀態(tài)下輸出更廣泛的值域，有助于提升模型的表達(dá)能力。GELU激活函數(shù)的計(jì)算式如下。

式中， x 表示神經(jīng)網(wǎng)絡(luò)中某個神經(jīng)元的輸入。

2.1 iTransformer模型

iTransformer將每條特征序列映射為token，嵌入后的特征token不僅聚合了各特征的全局信息，還通過注意力機(jī)制有效挖掘以特征token為單位的跨特征關(guān)聯(lián)性。iTransformer模型采用單項(xiàng)架構(gòu)，包含嵌人層（Embedding） ?ⁿ 個可堆疊的Transformer模型和映射層（Projector）。

1）嵌入層。通過多層感知機(jī)（MLP）將離散數(shù)據(jù)映射為連續(xù)的實(shí)數(shù)向量并以學(xué)習(xí)特征的序列表達(dá)。嵌人層的參數(shù)在網(wǎng)絡(luò)反向傳播過程中不斷優(yōu)化。時間點(diǎn)順序已經(jīng)隱含在神經(jīng)元的排列順序中，因此不需要在嵌入層引入位置編碼。

2）Transformer模型由注意力層、前饋神經(jīng)網(wǎng)絡(luò)和層歸一化組件3部分組成。

選取多頭注意力機(jī)制，應(yīng)用于經(jīng)過嵌入處理的特征token，這種方法不僅增強(qiáng)模型的可解釋性，還揭示多特征之間的相關(guān)性。多頭注意力的輸出矩陣（A_i，j） 如式（2）所示。

式中， q_i?k_j 分別表示任意2個以特征為主體的查詢向量和鍵向量， d_k 表示注意力頭的維度； Q 表示輸入的查詢矩陣； K 表示輸入的鍵矩陣；T表示矩陣的轉(zhuǎn)置操作。

前饋神經(jīng)網(wǎng)絡(luò)利用密集的非線性連接，對未來序列的表征進(jìn)行解碼。前饋神經(jīng)網(wǎng)絡(luò)對每個變量的token應(yīng)用相同的編碼。根據(jù)通用近似定理，前饋神經(jīng)網(wǎng)絡(luò)具備提取復(fù)雜特征的能力，因此能夠有效描述時間序列。

層歸一化組件將所有特征token歸一化為高斯分布，從而減少變量之間的差異，提高深度網(wǎng)絡(luò)的收斂性和訓(xùn)練穩(wěn)定性。在傳統(tǒng)的Transformer結(jié)構(gòu)中，對不同時間步的token進(jìn)行歸一化，會導(dǎo)致時間序列過于平滑。層歸一化的計(jì)算式如下。

式中， LayerNorm（H） 表示輸入張量經(jīng)過層歸一化處理后的輸出； h_n 表示歸一化維度上的元素；Mean表示輸入張量在歸一化維度上的平均值； Var 表示輸人張量在歸一化維度上的方差； n 表示輸人張量在歸一化維度上的元素個數(shù)。

3）映射層。通過多層感知機(jī)（MLP）將特征token映射到多層感知機(jī)隱藏層的特征空間中，提取非線性特征，并將輸入維度映射為預(yù)測序列長度。

2.2 LSTM模型

LSTM（Longshort termmemory）是一種用于捕捉長期依賴關(guān)系的循環(huán)神經(jīng)網(wǎng)絡(luò)。LSTM模型采用遺忘門、輸入門和輸出門的結(jié)構(gòu)，通過門控機(jī)制對信息流進(jìn)行調(diào)節(jié)，能夠有效應(yīng)對訓(xùn)練過程中的梯度消失和梯度爆炸問題[1]。這3個門的引入使LSTM模型能夠維持內(nèi)存狀態(tài)，并選擇性地存儲或丟棄信息，從而在傳播過程中去除不相關(guān)的信息[17]。因此，LSTM模型憑借其獨(dú)特的門控機(jī)制，能夠在長時間跨度內(nèi)保持信息的持久性，并有效利用歷史信息進(jìn)行預(yù)測。

式中， Φ_t 表示當(dāng)前時間 ;f 表示遺忘門； i 表示輸人門； Σ_o 表示輸出門； c 表示記憶單元； h 表示短期記憶；σ_σσσ 表示Sigmoid函數(shù)； ? 表示逐元素相乘； W 表示權(quán)重，其下標(biāo)表示相應(yīng)連接的起點(diǎn)和終點(diǎn)； x 表示輸人值。輸入門的作用是篩選當(dāng)前輸入信息，并將其有選擇地整合到細(xì)胞狀態(tài)中，從而有效避免無關(guān)信息的干擾。遺忘門決定了細(xì)胞狀態(tài)中的哪些信息會被遺忘，有助于網(wǎng)絡(luò)“忘記\"不重要的信息，從而使網(wǎng)絡(luò)更關(guān)注當(dāng)前的輸人。輸出門的作用是篩選細(xì)胞狀態(tài)中的信息，從而生成當(dāng)前時刻的輸出結(jié)果。

2.3 模型優(yōu)化方法

將預(yù)處理后的氣象數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測試集。利用訓(xùn)練集的數(shù)據(jù)對iTransformer-LSTM模型進(jìn)行訓(xùn)練。在訓(xùn)練過程中，選擇均方誤差（MSE）作為損失函數(shù)，以在驗(yàn)證集上損失函數(shù)最小的模型作為最優(yōu)模型，并調(diào)整超參數(shù)，計(jì)算式如下。

式中， 表示時間點(diǎn) Φ_t 的預(yù)測值， y_t 表示時間點(diǎn) Φ_t 的觀測值； n 表示樣本數(shù)量。

優(yōu)化方法采用 AdamW ，其在Adam的基礎(chǔ)上引入了L2正則化和權(quán)重衰減機(jī)制，從而提高模型的泛化能力[18]

2.4模型評估方法

通過訓(xùn)練集評估模型性能，選擇均方根誤差（RMSE）、平均絕對誤差（ （MAE） 、平均絕對百分比誤差（MAPE）作為評估模型精度的指標(biāo)，指標(biāo)值越小，表示模型的擬合效果越好，計(jì)算式如下。

式中， 表示時間點(diǎn) Φ_t 的預(yù)測值; y_t 表示時間點(diǎn) Φ_t 的觀測值； n 表示樣本數(shù)量。

3 結(jié)果與分析

每個模型的迭代周期（Epochs）為10，采用早停法防止過擬合，耐心值（Patience）為3。將驗(yàn)證集上損失函數(shù)最小的模型保存為最優(yōu)模型，iTransformer模型的參數(shù)如下：注意力頭（heads）為8，模型維數(shù)（dim）為256，前饋網(wǎng)絡(luò)隱藏層的維度（d_ff為256，塊數(shù) η（n） 為3，dropout為0.1。LSTM的參數(shù)如下：隱藏狀態(tài)的維度（hidden_size）為256，層數(shù)（num_layers）為2，dropout為0.5。各模型預(yù)測結(jié)果的評估指標(biāo)如表2所示。相較于iTransformer模型，iTransformer-LSTM模型的RMSE下降了 13.72% ，MAE 下降了 14.12% ，MAPE下降了 13.61% 。

根據(jù)滑動窗口長度對測試數(shù)據(jù)進(jìn)行劃分，共有865組數(shù)據(jù)，選擇第 0，120，240，360，480，720 組數(shù)據(jù)進(jìn)行分析。由圖3可知，Transformer模型、LSTM模型和Transformer-LSTM模型在多組數(shù)據(jù)中與觀測值均存在較大偏差，iTransformer模型和iTransformer-LSTM模型與觀測值的偏差較小。Transformer模型無法有效處理時序數(shù)據(jù)中的波動和震蕩，因此Transformer模型預(yù)測值存在短期劇烈波動；LSTM模型在前幾個時間戳的預(yù)測值偏低，但隨著時間推移，其逐步修正了初始誤差。

Transformer-LSTM模型的表現(xiàn)略優(yōu)于LSTM模型，但仍存在系統(tǒng)性偏差，證明Transformer-LSTM模型不能有效綜合2個基準(zhǔn)模型的優(yōu)點(diǎn)；iTransformer-LSTM模型更貼近氣溫變化的規(guī)律。當(dāng)氣溫在短時間內(nèi)變化劇烈時，各模型都表現(xiàn)出一定偏差，無法準(zhǔn)確反映短期內(nèi)的氣溫變化。

由圖4可知，Transformer模型、LSTM模型和Transformer-LSTM模型在多組測試數(shù)據(jù)上的殘差較大，模型的預(yù)測值普遍低于觀測值；iTransformer模型和iTransformer-LSTM模型的殘差基本以 0% 為中心呈對稱分布，但是在b組和e組數(shù)據(jù)中，大部分殘差分布在 0°C 的一側(cè)，表示模型在預(yù)測中可能存在系統(tǒng)性偏差。

這種系統(tǒng)性偏差可能與較短的時間滑動窗口和較長的預(yù)測序列長度有關(guān)；通過適當(dāng)增加時間滑動窗口的長度，有望降低模型的預(yù)測誤差。此外，系統(tǒng)性偏差還可能與模型對天氣事件的敏感度有關(guān)，由于氣溫變化受到多種因素的影響，例如冷鋒、暖鋒等氣象系統(tǒng)的移動與交互，模型可能無法充分捕捉到這些復(fù)雜因素的交互影響，引入其他特征并調(diào)整模型參數(shù)，能夠進(jìn)一步減少模型的誤差。

4小結(jié)

本研究提出基于iTransformer和LSTM模型融合的多特征多步的氣溫預(yù)測模型（iTransformer-LSTM）。該模型利用新疆維吾爾自治區(qū)昌吉市華興農(nóng)場氣象站采集的數(shù)據(jù)作為數(shù)據(jù)集，其中 70% 的數(shù)據(jù)用于模型訓(xùn)練， 10% 的數(shù)據(jù)用于模型驗(yàn)證， 20% 的數(shù)據(jù)用于模型測試。根據(jù)各特征的斯皮爾曼相關(guān)性分析，選取氣溫、地面紅外溫度、露點(diǎn)溫度、相對濕度、水汽壓、本站氣壓、海平面氣壓7個特征作為模型輸入特征。模型的時間滑動窗口長度為240，預(yù)測序列長度為240，即根據(jù)前 10d 的數(shù)據(jù)，預(yù)測第11～20天的數(shù)據(jù)。采用 RMSE，MAE，MAPE3 個指標(biāo)評估模型，相較于模型iTransformer模型，iTransformer-LSTM模型的RMSE下降了 13.72% ，MAE下降了 14.12% ，MAPE下降了 13.61% 。iTransformer-LSTM模型適用于多特征多步時序預(yù)測任務(wù)，通過優(yōu)化基礎(chǔ)模型的結(jié)構(gòu)能夠有效提取時序特征、捕捉長期依賴關(guān)系、表征全局特征及上下文信息。本研究為農(nóng)戶提供合理的決策支持，幫助其根據(jù)未來幾天的氣溫變化，合理安排農(nóng)作物的種植時間、灌溉方案、施肥方案，促進(jìn)農(nóng)業(yè)生產(chǎn)的可持續(xù)發(fā)展。

參考文獻(xiàn)：

[1]王春乙，張繼權(quán)，霍治國，等.農(nóng)業(yè)氣象災(zāi)害風(fēng)險評估研究進(jìn)展與展望[J].氣象學(xué)報，2015，73（1）：1-19.

[2]李勇，童紹玉.氣候變化對我國農(nóng)業(yè)的影響及其適應(yīng)研究[J].安徽農(nóng)學(xué)通報，2023，29（5）：151-157，175.

[3］肖風(fēng)勁，張海東，王春乙，等.氣候變化對我國農(nóng)業(yè)的可能影響及適應(yīng)性對策[J].自然災(zāi)害學(xué)報，2006（S1）：327-331.

[4］王怡，普運(yùn)偉.基于CNN-BiLSTM-Attention融合神經(jīng)網(wǎng)絡(luò)的大氣溫度預(yù)測[J].中國水運(yùn)（下半月），2023，23（1）：25-27.

[5]王強(qiáng)，秦華旺，齊春帥，等.基于自適應(yīng)SA-PSO改進(jìn)的XG-Boost氣溫預(yù)測方法[J].電子測量技術(shù)，2023，46（7）：67-72.

[6]陳嵐，文斌，賀南，等.基于融合模型動態(tài)權(quán)值的氣溫預(yù)測[J].電子測量技術(shù)，2022，45（15）：68-74.

[7]VASWANIA，SHAZEERN，PARMARN，etal.Attentionisallyou need[J]. Advances in neural information processing systems，2017，30：5998-6008.

[8]LINT，WANGY，LIU X，et al.A survey of transformers[EB/OL].（2021-6-15）.https：//doi.org/10.48550/arXiv.2106.04554.

[9]ZENG A，CHEN M，ZHANG L，et al. Are transformers effectivefortime series forecasting[J]Proceedings of the AAAI conferenceonartificial intelligence，2023，37（9）：11121-11128.

[10]LIU Y，HU TG，ZHANG HR，et al. iTransformer： Inverted trans-formers are effective for time series forecasting[EB/OL].（2024-03-14）.https：//arxiv.org/abs/2310.06625.

[11]HOCHREITER S，SCHMIDHUBER J. Long short-term memory[J].Neural computation，1997，9（8），1735-1780.

[12]CAO K，ZHANG T，HUANG J. Advanced hybrid LSTM-trans-former architecture for real-time multi-task prediction in engineer-ing systems[J].Scientific reports，2024，14（1）：4890.

[13] SHI J，WANG S，QU P，et al. Time series prediction model usingLSTM-Transformer neural network for mine waterinflow[J].Sci-entific reports，2024，14（1）：18284.

[14]HAN L，ABDEL-ATY M，YUR，et al.LSTM + Transformer re-al-time crash risk evaluation using traffic flow and risky drivingbehavior data［J]. IEEE transactions on intelligent transportationsystems，2024，25（11）：1-13.

[15]MA S，ZHANG T，ZHAO Y，et al. TCLN：A Transformer-basedCONV-LSTMnetwork formultivariate time series forecasting[J].Applied intelligence，2023，53（23）：28401-28417.

[16]CAIPX，F(xiàn)ANYC，LEUFY.Compare encoder-decoder，encod-er-only，and decoder-only architectures for text generation onlow-resource datasets[A].Advances on broad-band wireless com-puting，communication and applications：Proceedings of the 16thinternational conference on broad-band wireless computing [C].Communication and applications，2021.216-225.

[17]張馳，郭媛，黎明.人工神經(jīng)網(wǎng)絡(luò)模型發(fā)展及應(yīng)用綜述[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（11）：57-69.

[18]常禧龍，梁琨，李文濤.深度學(xué)習(xí)優(yōu)化器進(jìn)展綜述[J].計(jì)算機(jī)工程與應(yīng)用，2024，60（7）：1-12.

（責(zé)任編輯 雷霄飛）