多頭時(shí)空注意力機(jī)制在ENSO長(zhǎng)期預(yù)測(cè)中的應(yīng)用

關(guān)鍵詞：厄爾尼諾-南方濤動(dòng)（ENSO）；Nino3.4指數(shù)；Linformer-ST模型；時(shí)空預(yù)測(cè)中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1000-5137（2025）02-0194-07

Abstract：TheElNino-SouthernOscilation（ENSO）wasoneofthemostsignificant climate phenomena inthetropicalPacific region，exerting asignificantimpactontheglobal climatesystemandcapableof trigering extremeclimateeventssuchas drought，floods，and heatwaves.Accuratepredictionof ENSO wascrucial foragricultural production，waterrsource management，disasterpreventionandeconomic planning.However，duetoitsnonlinearandcomplexcharacteristics，it was chalenging toaccuatelypredictthe intensity，duration，andtiming.Toaddressthisissue，aspatiotemporaltransforermodel basedonlinearattntionmechanism（Linformer-ST）wasproposedinthispaper.IntheconstructedmodelthetraditionalSoftmax atentionmechanismwasreplacedwithalinearatentionmechanism，whichreducedthecomputationalcomplexityof spatiotemporal feature modeling from O（n²） to O（nlog（n）） ，and improved computational efficiency significantly. The model was pre-trainedontheCMIP6dataset，fine-tunedontheSODAdataset，andvalidatedontheGODASdataset.Experimentalresults demonstratedthat themodel performed exceptionallywellin predicting Nino 3.4 seasurface temperature anomalies，maintaining high correlation and accuracy over a 2O-month prediction horizon.

Key Words：ElNino-SouthernOscillation（ENSO）；Nino3.4index;Linformer-STmodel;spatiotemporalprediction

0 引言

厄爾尼諾-南方濤動(dòng)（ENSO）是指發(fā)生在熱帶太平洋地區(qū)的一種氣候現(xiàn)象，主要表現(xiàn)為海洋和大氣之間異常的相互作用[.準(zhǔn)確預(yù)測(cè)ENSO對(duì)于農(nóng)業(yè)、水資源管理、災(zāi)害防控和經(jīng)濟(jì)規(guī)劃至關(guān)重要.傳統(tǒng)的統(tǒng)計(jì)模型和基于物理的動(dòng)力模型在捕捉ENSO非線性過(guò)程和高維動(dòng)態(tài)交互方面存在局限性[2-4]，尤其在長(zhǎng)期預(yù)測(cè)中，預(yù)測(cè)精度仍有待提高.

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，數(shù)據(jù)驅(qū)動(dòng)的建模方法為預(yù)測(cè)ENSO提供了新的可能性.深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）[5]、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[6及基于自注意力機(jī)制的Transformer架構(gòu)7，在氣候系統(tǒng)復(fù)雜非線性建模中展現(xiàn)了顯著的優(yōu)勢(shì).傳統(tǒng)的ENSO預(yù)測(cè)模型在長(zhǎng)時(shí)間序列預(yù)測(cè)中表現(xiàn)較差，主要原因在于難以有效捕捉時(shí)間和空間維度上的全局依賴性.特別是在深度學(xué)習(xí)方法中，現(xiàn)有的自注意力機(jī)制雖然能夠?qū)?fù)雜的時(shí)空關(guān)系進(jìn)行建模，但計(jì)算復(fù)雜度通常為 O（n²）^[8] ，處理長(zhǎng)時(shí)間序列和高分辨率數(shù)據(jù)時(shí)，計(jì)算成本較高.為此，本文作者提出了一種基于線性注意力機(jī)制的改進(jìn)方法，將計(jì)算復(fù)雜度降低到 O（nlog（n）） ，顯著提高了模型的效率，同時(shí)保留了自注意力機(jī)制在捕捉全局長(zhǎng)程依賴關(guān)系中的強(qiáng)大能力.通過(guò)多頭時(shí)空注意力機(jī)制，模型能夠在時(shí)間和空間維度上靈活地提取關(guān)鍵特征，為預(yù)測(cè)ENSO長(zhǎng)時(shí)間序列提供了可靠的技術(shù)支撐.

1 Linformer-ST模型

1.1 模型架構(gòu)

本模型以連續(xù)12個(gè)月的多變量海洋和大氣異常數(shù)據(jù)作為輸入，包括海面風(fēng)應(yīng)力的東西向分量 τ_x 和南北向分量 τ_y ，以及上層海洋7個(gè)深度 （5，20，40，60，90，120 和 150m 的溫度異常9.輸入數(shù)據(jù)為三維場(chǎng)數(shù)據(jù)，數(shù)據(jù)的總維度為 T_in×C×N_lat×N_lon ，式中： T_in=12 ，表示輸入的時(shí)間維度 T_in 為12個(gè)月； C=9 ，表示變量通道數(shù)； N_lat 和 N_lon 分別表示緯度和經(jīng)度的網(wǎng)格數(shù).

為降低計(jì)算復(fù)雜度并有效提取局部和全局特征，輸入數(shù)據(jù)首先被劃分為固定大小的非重疊Patch編碼器模塊，通過(guò)多頭時(shí)空注意力機(jī)制提取輸入數(shù)據(jù)的時(shí)空特征.Patch劃分方式使模型能以較低的計(jì)算成本處理高維數(shù)據(jù)，同時(shí)保留空間上的關(guān)鍵信息.數(shù)據(jù)隨后通過(guò)嵌入模塊轉(zhuǎn)換為固定維度的符號(hào)表示，并輸人到編碼器中.對(duì)輸人數(shù)據(jù)的時(shí)間維度，編碼器應(yīng)用注意力機(jī)制捕獲時(shí)間點(diǎn)之間的長(zhǎng)期依賴關(guān)系.在注意力計(jì)算過(guò)程中，采用線性注意力機(jī)制，通過(guò)調(diào)整注意力公式，大幅提高計(jì)算效率.隨后應(yīng)用空間注意力機(jī)制，進(jìn)一步捕獲不同地理位置間的相關(guān)性和交互特性，最終將時(shí)間和空間維度的信息融合為一個(gè)高維特征表示矩陣，作為解碼器的輸入數(shù)據(jù).

解碼器模塊接收編碼器輸出的高維特征表示矩陣并生成預(yù)測(cè)結(jié)果.解碼器由多個(gè)解碼塊組成，包括多頭時(shí)空注意力機(jī)制、殘差連接和前饋網(wǎng)絡(luò).解碼器以未來(lái)20個(gè)月的預(yù)測(cè)目標(biāo)為輸出，輸出數(shù)據(jù)的維度為 T_out×C×N_lat×N_lon=20×9×51×120 ，式中： T_out=20 ，表示輸出的時(shí)間維度 T_out 為20個(gè)月.通過(guò)多頭時(shí)空注意力機(jī)制，解碼器能夠?qū)幋a器提取的特征和預(yù)測(cè)目標(biāo)之間的依賴關(guān)系進(jìn)行建模，從而實(shí)現(xiàn)對(duì)目標(biāo)區(qū)域海表溫度異常的準(zhǔn)確預(yù)測(cè).

1.2嵌入模塊

在時(shí)間嵌入中，通過(guò)將輸入數(shù)據(jù)嵌入一個(gè)可理解的時(shí)間嵌入向量，以確保模型在處理時(shí)間序列數(shù)據(jù)

時(shí)能夠捕捉到序列中的相對(duì)位置信息.由于數(shù)據(jù)增強(qiáng)操作可能會(huì)打亂時(shí)間序列，時(shí)間嵌入至關(guān)重要.通過(guò)結(jié)合正弦和余弦函數(shù)生成時(shí)間編碼，

式中： P（p_os，2i） 是使用正弦函數(shù)生成的偶數(shù)索引維度的嵌入值； P（p_os，2i+1） 是使用余弦函數(shù)生成的奇數(shù)索引維度的嵌入值； d_model 表示嵌入的總維度； p_os 表示序列中的位置； i 表示維度索引的一半（每個(gè)位置生成2個(gè)值）.在每個(gè)維度上以對(duì)數(shù)頻率分布的形式為時(shí)間點(diǎn)創(chuàng)建唯一的嵌入值，確保模型能夠識(shí)別時(shí)間點(diǎn)的正確順序，并保留時(shí)間序列數(shù)據(jù)中的相對(duì)位置信息.

在空間嵌入中，為學(xué)習(xí)海表溫度和風(fēng)應(yīng)力等數(shù)據(jù)在不同經(jīng)緯度的位置關(guān)系，模型通過(guò)嵌入層將每個(gè)空間位置映射到高維空間中.通過(guò)為每個(gè)位置分配唯一的標(biāo)識(shí)符，將嵌入向量添加到輸人數(shù)據(jù)中，從而為模型提供詳細(xì)的空間分布信息，使其能夠識(shí)別和理解不同空間位置之間的關(guān)系，更好地捕獲和建模數(shù)據(jù)的空間特性.

最后，通過(guò)線性層將原始數(shù)據(jù)轉(zhuǎn)換為高維空間，保留數(shù)據(jù)的原始特征信息.通過(guò)將輸入數(shù)據(jù)從原始維度轉(zhuǎn)換到嵌入空間維度，使時(shí)間和空間嵌入向量能夠有效地結(jié)合到模型輸入中.

1.3 編碼器

傳統(tǒng)自注意力機(jī)制的計(jì)算公式為

式中： S_im 表示查詢 Q 和鍵 K 之間的相似性函數(shù); V 表示查詢操作的數(shù)值.

式中： d 表示特征維度.傳統(tǒng)自注意力機(jī)制需要對(duì)每一個(gè)查詢 和鍵 K 成對(duì)計(jì)算，在處理長(zhǎng)序列數(shù)據(jù)時(shí)候，計(jì)算負(fù)擔(dān)較重.

本模型的編碼器模塊對(duì)Transformer架構(gòu)進(jìn)行了優(yōu)化設(shè)計(jì)，引人了多頭時(shí)空注意力機(jī)制，以捕獲輸入數(shù)據(jù)中復(fù)雜的時(shí)空依賴關(guān)系.首先，模型在時(shí)間維度上通過(guò)多頭注意力機(jī)制計(jì)算不同時(shí)間步之間的相關(guān)性，提取時(shí)間序列中長(zhǎng)期和短期依賴關(guān)系.注意力權(quán)重矩陣為不同時(shí)間點(diǎn)對(duì)當(dāng)前預(yù)測(cè)任務(wù)的重要性進(jìn)行動(dòng)態(tài)調(diào)整.模型在空間維度上通過(guò)獨(dú)立的多頭注意力機(jī)制對(duì)每個(gè)網(wǎng)格點(diǎn)進(jìn)行操作，捕獲不同地理區(qū)域間的交互和依賴關(guān)系.通過(guò)這一時(shí)空注意力機(jī)制，模型能同時(shí)關(guān)注全局空間特性和局部時(shí)間動(dòng)態(tài)，從而為預(yù)測(cè)任務(wù)提供更全面的特征表示.

在線性注意力機(jī)制中，使用一個(gè)映射函數(shù) φ 來(lái)近似模擬 S_im 函數(shù)，

傳統(tǒng)自注意力公式被改寫為：

在線性注意力中，模型將查詢、鍵和值的計(jì)算順序重新排列，不僅減少了注意力計(jì)算的冗余，還保留了對(duì)全局依賴關(guān)系進(jìn)行建模的能力.此外，通過(guò)引入特定的映射函數(shù) φ（Q） 和 φ（K） ，注意力機(jī)制能夠進(jìn)一步優(yōu)化矩陣的計(jì)算，使得模型在保持高效計(jì)算的同時(shí)，提高了對(duì)復(fù)雜時(shí)空依賴的表達(dá)能力.

編碼器的整體結(jié)構(gòu)由多個(gè)重復(fù)堆疊的編碼塊組成，每個(gè)編碼塊包括3個(gè)主要部分：多頭時(shí)空注意力機(jī)制、歸一化層和前饋網(wǎng)絡(luò).在每個(gè)編碼塊中，輸人數(shù)據(jù)首先經(jīng)過(guò)多頭時(shí)空注意力模塊，提取出時(shí)間和空間維度上的多變量依賴關(guān)系.接著，模型通過(guò)殘差連接將原始輸人與注意力輸出相加，并通過(guò)歸一化層確保數(shù)值穩(wěn)定性，減輕梯度消失現(xiàn)象.隨后，歸一化后的輸出被輸入到前饋網(wǎng)絡(luò)中，該網(wǎng)絡(luò)由一系列非線性激活函數(shù)和線性變換組成，進(jìn)一步增強(qiáng)了模型的表達(dá)能力和對(duì)復(fù)雜非線性關(guān)系的建模能力.通過(guò)多層編碼塊的堆疊，模型能夠在每一層逐步捕獲更高層次、更抽象的特征，從而有效支持對(duì)ENSO長(zhǎng)期、復(fù)雜的預(yù)測(cè)任務(wù).

1.4 解碼器

在本模型中，解碼器模塊旨在將編碼器提取的高維時(shí)空特征轉(zhuǎn)化為目標(biāo)時(shí)間序列的預(yù)測(cè)結(jié)果.解碼器模塊的設(shè)計(jì)與編碼器相輔相成，特別針對(duì)ENSO預(yù)測(cè)中復(fù)雜的時(shí)空交互特性，采用多頭時(shí)空注意力機(jī)制，通過(guò)引入動(dòng)態(tài)學(xué)習(xí)機(jī)制，提高預(yù)測(cè)的準(zhǔn)確性和穩(wěn)健性.

解碼器的輸入包括兩部分：一是來(lái)自編碼器的特征矩陣，表示從輸入時(shí)間序列提取的全局時(shí)空特征;二是解碼器自身的歷史預(yù)測(cè)值，用于捕獲預(yù)測(cè)序列的自回歸特性.通過(guò)結(jié)合這兩部分?jǐn)?shù)據(jù)，解碼器能夠在多時(shí)間尺度上整合歷史輸入與當(dāng)前特征，強(qiáng)化其對(duì)未來(lái)狀態(tài)的建模能力.

在解碼過(guò)程中，首先將歷史預(yù)測(cè)值輸人到解碼器的多頭時(shí)空注意力模塊中，以捕獲預(yù)測(cè)時(shí)間步之間的時(shí)間相關(guān)性和空間交互關(guān)系.解碼器的多頭時(shí)空注意力機(jī)制由兩部分組成：時(shí)間注意力機(jī)制和空間注意力機(jī)制.時(shí)間注意力機(jī)制通過(guò)引入掩碼矩陣，確保模型只能訪問(wèn)當(dāng)前時(shí)間步及其之前的時(shí)間點(diǎn)，從而有效避免信息泄漏問(wèn)題;空間注意力機(jī)制通過(guò)計(jì)算不同網(wǎng)格點(diǎn)之間的相互依賴性，捕獲地理空間上的全局動(dòng)態(tài)關(guān)系.

多頭注意力機(jī)制后的輸出通過(guò)歸一化層和前饋網(wǎng)絡(luò)作進(jìn)一步處理.歸一化層在每個(gè)時(shí)間步和空間位置上執(zhí)行標(biāo)準(zhǔn)化操作，從而提升模型的數(shù)值穩(wěn)定性并加速收斂.前饋網(wǎng)絡(luò)由一系列線性變換和非線性激活函數(shù)構(gòu)成，其作用是對(duì)注意力模塊的輸出進(jìn)行非線性變換，挖掘更深層次的特征關(guān)系.多層解碼塊的堆疊進(jìn)一步增強(qiáng)了模型對(duì)復(fù)雜非線性時(shí)空關(guān)系的建模能力.

所有解碼器的輸出將通過(guò)一層線性映射轉(zhuǎn)化為預(yù)測(cè)目標(biāo)的異常值.線性映射層不僅保留了解碼器提取的核心時(shí)空特征，還將其調(diào)整為與目標(biāo)數(shù)據(jù)一致的空間分辨率和時(shí)間尺度.

2 評(píng)價(jià)指標(biāo)

本研究的評(píng)估指標(biāo)包括皮爾遜相關(guān)系數(shù) P_cc 、異常相關(guān)系數(shù) A_cc 均方根誤差 R_MSE 和平均絕對(duì)誤差M_AE ，分別用于評(píng)估 Nino 指數(shù)的空間分布精度和預(yù)測(cè)效果.

首先，將模型的預(yù)測(cè)值 y^p 和真實(shí)值 y^t 分別進(jìn)行中心化處理（即對(duì)數(shù)據(jù)進(jìn)行中心化消除偏差操作，減去其平均值），以消除整體偏差，

式中： n 表示預(yù)測(cè)的月份數(shù)量； i 表示特定的月份； ε 是一個(gè)小的正數(shù)，用于防止分母為零. P_cc 反映了調(diào)整后的預(yù)測(cè)值和觀測(cè)值之間波動(dòng)模式的一致性.

基于經(jīng)驗(yàn)構(gòu)造一個(gè)加權(quán)向量 W_Nino ，為每個(gè)預(yù)測(cè)月份分配不同的權(quán)重.對(duì)預(yù)測(cè)精度有較大影響的關(guān)鍵月份，被賦予更高的權(quán)重，以確保評(píng)估結(jié)果的準(zhǔn)確性和實(shí)用性，

R_MSE 是通過(guò)計(jì)算預(yù)測(cè)值和真實(shí)值之間差異的L2范數(shù)，取均值平方根，來(lái)量化模型預(yù)測(cè)誤差的程度，

結(jié)合 A_cc 和 R_MSE 計(jì)算綜合得分

A_cc 衡量了模型預(yù)測(cè)值與觀測(cè)值之間的相關(guān)性.較高的 A_cc 值表明模型有效捕獲了實(shí)際數(shù)據(jù)的趨勢(shì).相反， R_MSE 量化了預(yù)測(cè)值與真實(shí)值之間的平均誤差，較低的 R_MSE 值表明模型具有較高的預(yù)測(cè)精度.S通過(guò)結(jié)合這兩個(gè)指標(biāo)綜合評(píng)估了模型的預(yù)測(cè)性.

M_AE 也被用于評(píng)估預(yù)測(cè)值與實(shí)際觀測(cè)值之間的平均絕對(duì)差異，

3實(shí)驗(yàn)

本文使用了1850—2014年參加耦合模式比較項(xiàng)目第6階段（CMIP6）[10]的23個(gè)氣候模式數(shù)據(jù)對(duì)模型進(jìn)行初步訓(xùn)練.然而，由于CMIP6數(shù)據(jù)集是模擬數(shù)據(jù)集，與真實(shí)數(shù)據(jù)集存在一定的偏差，會(huì)影響所構(gòu)建模型的預(yù)測(cè)精度，在遷移訓(xùn)練中使用了1871—1979年的小目標(biāo)檢測(cè)數(shù)據(jù)集（SODA）[]的再分析產(chǎn)品來(lái)進(jìn)一步校準(zhǔn)預(yù)訓(xùn)練模型，包括連續(xù)12個(gè)月的預(yù)測(cè)因子和在預(yù)訓(xùn)練中具有相同空間分辨率的未來(lái)20個(gè)月的預(yù)測(cè)因子.然后，將這些數(shù)據(jù)集按照9：1的比例分成訓(xùn)練集和驗(yàn)證集.此外，利用1980—2021年全球海洋資料同化系統(tǒng)（GODAS）2再分析的目標(biāo)場(chǎng)進(jìn)行交叉驗(yàn)證分析，評(píng)價(jià)預(yù)測(cè)能力.

為了適配本模型的輸入需求，所有數(shù)據(jù)集均進(jìn)行了統(tǒng)一的處理流程，包括去趨勢(shì)化、異常值計(jì)算和空間網(wǎng)格化.具體而言，選取海表風(fēng)應(yīng)力以及不同深度的海洋溫度作為核心變量，覆蓋范圍為太平洋區(qū)域.數(shù)據(jù)分辨率在經(jīng)緯度上被調(diào)整至統(tǒng)一的網(wǎng)格格式，時(shí)間維度則按月度進(jìn)行序列化，確保模型能夠充分學(xué)習(xí)時(shí)空特征.此外，缺失值通過(guò)插值法進(jìn)行填補(bǔ)，陸地區(qū)域設(shè)置為零，確保輸入數(shù)據(jù)的完整性.

通過(guò) P_cc R_MSE 和 M_AE 等指標(biāo)評(píng)估模型性能，并在測(cè)試集GODAS上進(jìn)行了驗(yàn)證，結(jié)果表明該模型在短期到中期預(yù)測(cè)中表現(xiàn)出顯著的優(yōu)勢(shì)，如圖1（a）所示.隨著預(yù)測(cè)提前時(shí)間的增加，相關(guān)性有所下降，但模型仍能夠保持一定的預(yù)測(cè)能力.同時(shí)， R_MSE 和 M_AE 指標(biāo)呈現(xiàn)出類似趨勢(shì)：初始誤差值隨著預(yù)測(cè)周期逐漸增加，但總體增長(zhǎng)率相對(duì)平緩，表明模型在整個(gè)預(yù)測(cè)周期中有效控制了誤差的增長(zhǎng).

本研究采用了綜合處理方法，減少季節(jié)性波動(dòng)對(duì)預(yù)測(cè)性能評(píng)估的影響.首先，通過(guò)對(duì)所有預(yù)測(cè)起始時(shí)間的數(shù)據(jù)進(jìn)行整體處理，避免了單月季節(jié)性波動(dòng)引起的評(píng)估偏差.具體而言，使用窗口大小為3個(gè)月的移動(dòng)平均函數(shù)處理數(shù)據(jù)，從而減少短期波動(dòng)并突出長(zhǎng)期趨勢(shì).

此外，為詳細(xì)分析季節(jié)性波動(dòng)對(duì)預(yù)測(cè)性能的影響，本研究還計(jì)算了不同起始月份的預(yù)測(cè)能力.圖1（b）是相關(guān)性的等值線圖，展示了ENSO預(yù)測(cè)模型性能的季節(jié)性變化，通過(guò)評(píng)估不同起始月份和預(yù)測(cè)提前時(shí)間，對(duì) P_cc 值進(jìn)行可視化.縱軸顯示模型預(yù)測(cè)的起始月份（從1月到12月），橫軸為預(yù)測(cè)提前時(shí)間，即從預(yù)測(cè)起始月份到目標(biāo)月份的時(shí)間間隔.等值線和顏色陰影表示相關(guān)系數(shù)的水平.由圖1可知，當(dāng)預(yù)測(cè)起始月份為12月至次年8月時(shí)，模型在提前1＼～5個(gè)月的預(yù)測(cè)中表現(xiàn)出較高的準(zhǔn)確性 （P_cc 值接近或超過(guò)0.9）.然而，在春季，尤其是從2月至5月，其性能顯著下降，即使僅提前3個(gè)月進(jìn)行預(yù)測(cè)， P_cc 值也低于0.8，反映了模型特有的春季預(yù)測(cè)障礙，這可能與春季期間復(fù)雜的大氣-海洋相互作用有關(guān)[13]，使模型難以準(zhǔn)確識(shí)別ENSO的演化特征.

圖2展示了1980—2020年Nino3.4指數(shù)的預(yù)測(cè)值與實(shí)際觀測(cè)值的對(duì)比，包含4個(gè)子圖，分別對(duì)應(yīng)不同的預(yù)報(bào)時(shí)效：提前1個(gè)月、提前3個(gè)月、提前6個(gè)月和提前12個(gè)月.實(shí)際的 Nino3.4 指數(shù)值用藍(lán)色實(shí)線表示，而預(yù)測(cè)值則用紅色虛線表示.從圖2中可以看出，隨著預(yù)報(bào)時(shí)效的增加，預(yù)測(cè)準(zhǔn)確性逐漸下降.對(duì)于1個(gè)月和3個(gè)月的短期預(yù)報(bào)，模型能夠較好地捕捉 Nino3.4 指數(shù)的時(shí)間依賴性和變異性，預(yù)測(cè)值與實(shí)際值高度一致，表現(xiàn)出較高的準(zhǔn)確性.然而，隨著預(yù)報(bào)時(shí)效延長(zhǎng)到6個(gè)月和12個(gè)月，預(yù)測(cè)準(zhǔn)確性有所下降，尤其是12個(gè)月的預(yù)報(bào)，模型難以準(zhǔn)確捕捉實(shí)際數(shù)據(jù)中的急劇波動(dòng)，導(dǎo)致某些波峰和波谷較為平滑，這一現(xiàn)象表明，隨著預(yù)報(bào)周期的增加，氣候模式的復(fù)雜性和不可預(yù)測(cè)性也逐漸增大，微小誤差可能導(dǎo)致較大的預(yù)測(cè)結(jié)果偏差.盡管如此，12個(gè)月的預(yù)報(bào)結(jié)果仍能較好地反映實(shí)際Nino3.4指數(shù)的長(zhǎng)期趨勢(shì).

4結(jié)語(yǔ)

本文提出了Linformer-ST模型，通過(guò)直接對(duì)時(shí)空全局關(guān)系進(jìn)行建模，有效解決了傳統(tǒng)模型在長(zhǎng)時(shí)間序列預(yù)測(cè)中較高的計(jì)算復(fù)雜度問(wèn)題，顯著提升了計(jì)算效率和預(yù)測(cè)性能.實(shí)驗(yàn)結(jié)果表明，該模型能夠捕捉

ENSO時(shí)空動(dòng)態(tài)特征，但在特定季節(jié)（如春季）下，性能仍不穩(wěn)定.未來(lái)工作可探索更復(fù)雜的注意力機(jī)制和動(dòng)態(tài)建模方法，以進(jìn)一步提升模型的泛化能力和極端天氣預(yù)測(cè)的適應(yīng)性.

參考文獻(xiàn)：

[1]MU B，QINB，YUAN S.ENSO-GTC：ENSO deep learning forecast model with a global spatial-temporal teleconnection coupler[J].Journal of Advances in Modeling Earth Systems，2022，14（12）：e2022MS003132.

[2]ZHANG R H，GAO C，F(xiàn)ENG L. Recent ENSO evolution and its real-time prediction challenges [J].National Science Review，2022，9（4）：1-3.

[3] MU B，QIN B，YUAN S.ENSO-ASC 1.0.0： ENSO deep learning forecast model with a multivariate air-sea coupler[J]. Geoscientific Model Development，2021，14（11） ：6977-6999.

[4] LATIFM，ANDERSOND，BARNETT T，et al.A review of the predictability and prediction of ENSO[J]. Journal of Geophysical Research：Oceans，1998，103（C7） ：14375-14393.

[5] LECUNY，BOTTOUL，BENGIOY，et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324.

[6] RUMELHART D E，HINTON G E，WILLIAMS R J. Learming internal representations by error propagation[M]/ ParallelDistributed Processing：Explorations intheMicrostructureof Cognition，Volume1：Foundations.Cambridge： MIT Press，1986：318-362.

[7] VASWANIA，SHAZEERN，PARMARN，etal.Attention isallyou need[C]//AdvancesinNeural Information Processing Systems.Long Beach： NIPS，2017：5998-6008.

[8] HAND，PANX，HANY，etal.Flatten transformer：vision transformer using focused linear attention[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision.Paris：IEEE，2023：10012-10022.

[9] HAMYG，KIMJH，LUOJJ.Aself-attention-based neural network for three-dimensional multivariate modeling and itsskillfulENSO predictions[J].ScienceAdvances，2019，5（1O）：1-11.

[10] EYRING V，BONY S，MEEHL G A，et al. Overview of the coupled model intercomparison project phase 6（CMIP6） experimental design and organization[J]. Geoscientific Model Development，2016，9（5）：1937-1958.

[11] CARTON JA，GIESE B S.Areanalysis of ocean climate using simple ocean data assimilation （SODA）[J].Monthly WeatherReview，2008，136（8）：2999-3017.

[12] BEHRINGER DW，XUEY.Evaluationof the global ocean data assimilation system at NCEP： the Pacific Oean[C]/ Proceedingsof theEighth Symposiumon Integrated Observingand Assmilation Systems forAtmosphere，Oceans，and Land Surface.American Meteorological Society，2O04：2.3.

[13]ZHANG Z，WANG J，WANG F.A new subsurface precursor across the spring predictability barrier for the ENSO prediction [J].Deep Sea Research Part I： Oceanographic Research Papers，2O24，203：104213.

（責(zé)任編輯：包震宇，郁慧）