基于注意力機制LSTM的電離層TEC預測

劉海軍,雷東興,袁靜*,樂會軍,單維鋒,李良超,王浩然,李忠,袁國銘

1 防災科技學院,河北廊坊 065201 2 中國科學院地質(zhì)與地球物理研究所中國科學院地球與行星物理重點實驗室,北京 100029

0 引言

電離層是地球空間的一個重要區(qū)域,向上與磁層耦合,向下受低層大氣的影響(Li et al.,2022).電離層還受到太陽活動和地磁活動的影響,因此電離層具有非常復雜的時空變化(Sivavaraprasad et al.,2020).電離層中有許多帶電粒子,它們對無線電波的傳播有著重要的影響(Kaselimi et al.,2020).電離層影響短波通信、導航和定位(譚述森等,2011).總電子含量(TEC)是電離層的一個重要參數(shù)(Sharma et al.,2017).TEC越大,無線電波通過它的延遲就越大(Tang et al.,2022).因此,對總電子含量的監(jiān)測和預測是空間天氣的重要研究內(nèi)容(Karpov et al.,2019;Jiang et al.,2019).

電離層短期預報主要有兩大類方法:第一類方法是將觀測數(shù)據(jù)與電離層理論模型相結合的方法(孔慶顏等,2010; 樂新安等,2010),另一類是基于大量觀測數(shù)據(jù)的神經(jīng)網(wǎng)絡方法(Yue et al.,2008; Habarulema et al.,2009; 劉先冬等,2010; Ratnam et al.,2012; 翁利斌等,2012;Qiao et al.,2021).其中神經(jīng)網(wǎng)絡方法以其強大的非線性表示能力,已成為電離層TEC建模和預測中的熱門工具(Akhoondzadeh,2013; 熊波等,2022;Wen et al.,2022; Hu et al.,2024).目前應用于電離層TEC預測的神經(jīng)網(wǎng)絡主要包括淺層神經(jīng)網(wǎng)絡和深層神經(jīng)網(wǎng)絡兩大類,其中淺層神經(jīng)網(wǎng)絡包括人工神經(jīng)網(wǎng)絡(Artificial Neural Network,ANN)、徑向基函數(shù)神經(jīng)網(wǎng)絡(Radial Basis Function Neural Network,RBF-NN)等(Cander,1998; Tulunay et al.,2006).如Unnikrishnan等(2018)采用ANN模型預測印度赤道站上TEC的日效應和季節(jié)效應.Watthanasangmechai等(2012)提出了一個神經(jīng)網(wǎng)絡模型來預測泰國的TEC.然而,TEC數(shù)據(jù)為時間序列數(shù)據(jù),其前后數(shù)據(jù)具有很強的時間相關性,基于淺層人工神經(jīng)網(wǎng)絡類的TEC預測方法只考慮數(shù)據(jù)的空間位置,無法表征數(shù)據(jù)前后的時間相關特性,這將導致較大的預測誤差.Inyurt和Sekertekin(2019)表明,ANN模型不能反映數(shù)據(jù)的時間序列特征,導致不同季節(jié)的預測誤差較大,預測精度較低;Huang和Yuan(2014)的研究表明,RBF神經(jīng)網(wǎng)絡對TEC的日變化不敏感,導致模型在夜間的TEC預測誤差較大;Habarulema等(2007)的研究表明,ANN模型容易受到太陽活動的干擾,TEC預測誤差在太陽活動高年和低年變化較大,模型對TEC的季節(jié)變化不敏感,導致預測精度較低.深層神經(jīng)網(wǎng)絡包括循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)、長短期記憶神經(jīng)網(wǎng)絡(Long Short-Term Memory,LSTM)等(Hochreiter and Schmidhuber,1997; Sun et al.,2017).RNN模型是一種以序列數(shù)據(jù)作為輸入,在序列的演進方向不斷進行遞歸(recursion)的鏈式連接的神經(jīng)網(wǎng)絡,是一種既能表征數(shù)據(jù)的空間特征又能表征數(shù)據(jù)的時間特征的深度學習模型,是目前時間序列建模的主流算法(Ruwali et al.,2021).袁天嬌等(2018)表明RNN可以預測TEC,但在長時間序列預測時,RNN會出現(xiàn)梯度消失現(xiàn)象,導致其無法表示長時間跨度的非線性關系,即無法解決數(shù)據(jù)的長期依賴問題.為了解決數(shù)據(jù)長期依賴問題,LSTM通過精心設置的三種門控結構,來記住長時間序列中的信息(Tang et al.,2020).Galassi等(2021)使用LSTM模型來預測TEC,但是由于LSTM建模時對歷史時間序列同等對待,不能自適應關注重要特征,其預測精度有限;為了解決LSTM不能自適應精細化關注特征問題,本文在LSTM中添加了注意力機制.注意機制可以重新分配輸入到網(wǎng)絡中的多個特征向量的權重,提高重要信息的權重(Ren et al.,2021),并在自然語言處理和其他領域取得了巨大成功(Li et al.,2021;Liu et al.,2022).本文在經(jīng)典的LSTM中添加注意力機制,對電離層TEC數(shù)據(jù)進行建模,稱之為注意力機制LSTM模型(Attentional LSTM,Att-LSTM).為了驗證模型性能,論文在北半球100°E線上,從0°到北緯87.5°,每2.5°選擇一個位置,共計36個位置進行了未來2小時的TEC預測實驗,并與常見的時間序列預測模型如DNN、RNN、LSTM進行了對比.論文還討論了緯度對模型預測性能的影響、磁靜期和磁暴期對預測性能的影響及對未來多個時間點的預測效果.

1 基于注意力機制的長短期記憶網(wǎng)絡模型

1.1 長短期記憶網(wǎng)絡(LSTM)

電離層TEC是典型的時間序列數(shù)據(jù),其預測屬于典型的seq2seq問題.LSTM就是解決該類問題的經(jīng)典模型.LSTM(Graves,2012)是一種循環(huán)神經(jīng)網(wǎng)絡,由若干LSTM單元構成,一個LSTM單元包括三種門結構,如圖1所示,分別為輸入門it,遺忘門ft和輸出門ot,這三種門結構通過記憶細胞單元狀態(tài)ct連接起來,實現(xiàn)對網(wǎng)絡中的特征進行有目的性的選擇.LSTM單元種各個模塊的計算公式如下:

it=σ(Wi×[ht-1,xt]+bi),

(1)

ft=ot(Wf×[ht-1,xt]+bf),

(2)

(3)

ot=σ(Wo×[ht-1,xt]+bo),

(4)

(5)

ht=ot*tanh(ct),

(6)

1.2 基于注意力機制的LSTM模型

采用LSTM模型對TEC數(shù)據(jù)建模時,歷史序列中任意位置的數(shù)據(jù)對未來數(shù)據(jù)的預測權重都相等,無法自適應精確建模.為解決該問題,本文添加了在自然語言處理領域廣泛使用的注意力機制(Wang et al.,2020),為各個輸入序列重新自適應分配權值,使模型有選擇地關注歷史序列,降低模型的預測誤差.Att-LSTM的TEC預測模型如圖2所示.

圖2 Att-LSTM網(wǎng)絡結構圖

該模型共包括五個層:輸入層、網(wǎng)絡層、注意力層、回歸層和輸出層.

輸入層接收樣本的特征.每個樣本包含特征和回歸值兩部分,其中第n個樣本的特征用xn表示,回歸值用yn表示.本文采用連續(xù)24小時數(shù)據(jù)去預測未來2個小時,即用連續(xù)的13個TEC值去預測第14個TEC值,因此xn為含有13個連續(xù)觀測值的TEC序列,yn是該序列對應的回歸值(即第14個TEC值).樣本的詳細制作過程見2.2.4.[xn,yn]的表達公式如下:

[xn,yn]=[xn,xn+1,xn+2,…,xn+12,yn=xn+13],

(7)

網(wǎng)絡層用于對數(shù)據(jù)進行建模,包括兩個獨立的LSTM神經(jīng)元層,分別處理輸入層輸出的TEC序列,通過拼接函數(shù)(concat)將兩個LSTM層輸出的TEC特征向量進行拼接,作為網(wǎng)絡層的輸出hn,計算公式如下:

kn=LSTM([xn,yn]),

(8)

mn=LSTM([xn,yn]),

(9)

hn=concat([kn,mn]),

(10)

其中kn表示第一個LSTM層的輸出,mn表示第二個LSTM層的輸出,hn表示將kn和mn拼接后的向量.

注意力層:注意力層用來依據(jù)輸入信息的重要程度分配不同的權重參數(shù),即注意力值.網(wǎng)絡層的輸出[h0,h1,…,hn]作為注意力層的輸入,首先通過注意力函數(shù)來計算輸入向量中每個特征與回歸值之間的相似度,本文中所選用的注意力函數(shù)計算公式如下:

score(hn,yn)=VTtanh[Whn+Uyn],

(11)

其中W,V,U神經(jīng)網(wǎng)絡訓練過程中可學習的參數(shù).得到注意力函數(shù)之后,接著采用softmax函數(shù)對注意力進行歸一化處理,得到注意力的概率分布,具體計算公式如下:

an=softmax(score(hn,yn)),

(12)

其中an是注意力分布值.最后將an與hn進行矩陣點乘運算,得注意力值為

tn=hn×an.

(13)

回歸層包含4個全連接層(Dense層),用于將前面輸入的結果映射成預測值,為了防止過擬合,每個全連接層后添加了Dropout層.

輸出層:輸出輸入序列對應的預測值.

2 實驗設置

2.1 數(shù)據(jù)集介紹

本文中使用的電離層數(shù)據(jù)來自歐洲軌道確定中心(Center for Orbit Determination of Europe,CODE)TEC網(wǎng)格數(shù)據(jù),該數(shù)據(jù)時間分辨率為2 h.為了研究中國不同經(jīng)緯度地區(qū)的預測性能,選擇北半球100°E,北緯0°到北緯87.5°之間,每2.5°選擇一個位置,累計36個位置作為研究對象.每個位置上,選擇實驗數(shù)據(jù)的時間范圍為2002年1月1日0∶00—2014年12月30日24∶00,累計13年的TEC觀測數(shù)據(jù).

所選位置經(jīng)緯度描述如表1所示.其中部分位置(A11)2002年1月1日0∶00—2014年12月30日24∶00的TEC值如圖3所示.

表1 本文實驗選取的所有地區(qū)

圖3 表1中A11地區(qū)2002—2014年的TEC值

2.2 數(shù)據(jù)預處理

某一確定位置的TEC數(shù)據(jù)是一種典型的時間序列數(shù)據(jù),只有平穩(wěn)的非隨機時間序列方可預測,因此在對TEC數(shù)據(jù)預測之前,需要進行一系列預處理.本文對所選電離層TEC數(shù)據(jù)的預處理包括TEC數(shù)據(jù)平穩(wěn)性檢驗、差分處理、純隨機平穩(wěn)性檢驗、TEC數(shù)據(jù)歸一化等過程.這些預處理完成之后,再進行樣本制作.

2.2.1 TEC數(shù)據(jù)平穩(wěn)性檢驗和差分處理

時間序列平穩(wěn)性是時間序列分析的基本假設,平穩(wěn)時間序列是指時間序列的均值和方差不隨時間改變.因此,在進行TEC預測之前,首先需要檢驗時間序列的平穩(wěn)性.本文采用單位根檢驗(Augmented Dickey-Fuller,ADF)方法對TEC序列進行平穩(wěn)性性檢驗.36個地區(qū)的平穩(wěn)性檢驗結果均為非平穩(wěn)時間序列,因此需要對其進行一階差分處理.將其轉化為平穩(wěn)序列.一階差值的計算公式如下:

Δxt=xt-xt-1,

(14)

其中,Δ為一階差分算子,xt為t時刻的觀測數(shù)據(jù).圖4為圖3中A11區(qū)域的TEC數(shù)據(jù)的一階差分的結果.一階差分處理后,再對36個地區(qū)差分后的TEC數(shù)據(jù)進行ADF檢驗,36個地區(qū)均通過檢驗,即36個地區(qū)的一階差分數(shù)據(jù)為平穩(wěn)時間序列.

圖4 表1中A11區(qū)域一階差分后的TEC值

2.2.2 純隨機平穩(wěn)性檢驗

平穩(wěn)時間序列并非一定可以預測,純隨機平穩(wěn)時間序列就是不可預測的.因此還需要檢驗差分后的TEC序列的純隨機性.本文采用LB(Ljung-Box)方法來檢測時間序列的純隨機性.LB檢驗結果表明,經(jīng)過一階差分處理后的TEC數(shù)據(jù)不是純隨機數(shù)據(jù),可以進行預測.

2.2.3 TEC數(shù)據(jù)歸一化

經(jīng)過一階差分處理后,原始TEC數(shù)據(jù)變成平穩(wěn)的非隨機時間序列,可以進行預測.但是,整個數(shù)據(jù)空間的數(shù)據(jù)仍然有很大的變化,這將影響數(shù)據(jù)預測的結果,需要將該數(shù)據(jù)進行歸一化.本文使用Min-Max歸一化將一階差分后的TEC數(shù)據(jù)映射在0和1之間.該計算公式如下:

(15)

其中xi為某一位置時刻i的TEC觀測值,yi為該位置時刻i歸一化后的TEC值,x為某一位置所有TEC觀測值.

2.2.4 樣本制作

經(jīng)過前面的平穩(wěn)性檢驗、差分處理、純隨機性檢驗和TEC數(shù)據(jù)歸一化處理后,接下來制作實驗樣本.本文選取36個中國地區(qū)2002年1月1日0∶00—2014年12月30日24∶00之間的TEC觀測數(shù)據(jù),每個位置觀測點總數(shù)為61711個.經(jīng)過一階差分處理后,變成61710個數(shù)據(jù)點.采用滑動窗口為14的分割方法,將歸一化后數(shù)據(jù)制成樣本.其中第i個滑動窗口中前13個點是樣本的輸入xi,第14個點是該樣本的輸出yi.依次制作滑動窗口,共計61697個滑動窗口樣本,其中前90%TEC數(shù)據(jù)作為訓練樣本(55527個訓練樣本),剩余10%TEC數(shù)據(jù)作為測試樣本(6170個測試樣本).樣本制作過程如圖5所示.

圖5 樣本制作過程

樣本制作完成后,利用訓練樣本對本文所提出的模型進行訓練,然后利用測試樣本進行預測,對預測結果進行反歸一化和反一階差分處理,得到最終的結果作為預測值.整個實驗流程如圖6所示.

圖6 實驗流程圖

2.3 實驗環(huán)境

基于python 3.6使用keras機器學習庫構建Att-LSTM模型.實驗設備配置為:Intel i5-7200u CPU、8G內(nèi)存、500G固態(tài)硬盤,GPU卡為NVIDIA Geforce 940MX.

2.4 評價指標

為了檢驗各種模型預測電離層TEC的性能,使用兩個評價指標來評價模型:均方根誤差(Root Mean Square Error,RMSE)和R-Square,其計算公式如式(16)和式(17)所示:

(16)

(17)

其中,n為測試樣本的數(shù)量,ytruei為測試樣本的真實值,yprei為測試樣本的預測值,ymean為測試樣本的平均值.RMSE用于描述預測的誤差,其值越小,模型預測性能越好;R-Square用于描述預測值與真實值的擬合程度,其越接近1,則該模型對TEC觀測數(shù)據(jù)的擬合能力越好.

3 實驗結果與討論

3.1 模型的參數(shù)選擇

使用Att-LSTM進行TEC建模時,首先需要確定模型的最優(yōu)參數(shù),論文采用網(wǎng)格搜索法(Grid-Search),搜索到本文模型最優(yōu)超參數(shù)設置如表2所示.

表2 Att-LSTM參數(shù)設置

3.2 不同模型對未來2小時TEC的預測

首先采用Att-LSTM模型對TEC數(shù)據(jù)建模,采用過去24小時TEC觀測序列來預測未來兩小時TEC值,并與經(jīng)典的時間序列模型DNN、RNN、LSTM進行了對比實驗.四種模型分別按照2.2小節(jié)處理后的數(shù)據(jù)集上進行訓練,再進行預測.預測數(shù)據(jù)選取2013年9月12日8∶00—2014年12月30日24∶00共6170個TEC觀測值,占總樣本個數(shù)的10%.DNN、RNN、LSTM以及本文所提出的Att-LSTM在表1中所有地區(qū)TEC預測的RMSE和R-Square預測結果如圖7所示.該四種模型在表1中所有地區(qū)TEC預測的RMSE和R-Square的均值、最小值及最大值如表3所示的數(shù)據(jù)(加黑的數(shù)據(jù)為最優(yōu)結果).

表3 四種模型在表1所有地區(qū)TEC預測性能對比

圖7 不同模型在表1的A1—A36地區(qū)預測性能對比

從表3可以看出,在本文所選擇的36個地區(qū),Att-LSTM模型的預測誤差RMSE的均值、最小值、最大值均遠遠低于對比模型,其預測誤差最小僅為0.0495 TECU,最大為4.7105 TECU,在所有所選地區(qū)預測誤差RMSE的均值為1.4007,與DNN、RNN、LSTM三個模型相比,本文所提出的Att-LSTM平均預測誤差RMSE分別降低4.017 TECU,3.1984 TECU,0.6218 TECU;Att-LSTM預測擬合度R-Square在所有地區(qū)中最低為0.9493,最高為0.9999,平均值為0.9869,與DNN、RNN、LSTM三個模型相比,平均擬合度分別提高0.3467、0.1772、0.0167.圖7以柱狀圖的形式直觀展示了本文模型與3個對比模型在所選的36個地區(qū)預測誤差RMSE與擬合度R-Square的情況.可以看出,無論是在哪個地區(qū),本文所提出的模型預測誤差及模型擬合度均明顯優(yōu)于對比模型.

本文所提出的Att-LSTM模型預測性能超過DNN、RNN、LSTM,主要原因在于本文模型中添加了注意力機制.將注意力機制添加到LSTM層和回歸層之間,這樣輸入序列中不同的數(shù)據(jù)經(jīng)過LSTM層處理之后,進入到注意力層.該層中的注意力機制能自適應的為LSTM處理后的各個數(shù)據(jù)分配不同的權值,使模型有選擇地關注歷史序列,從而提高模型的預測精度.而其他對比模型如DNN、RNN和LSTM,將所有輸入序列中所有的觀測數(shù)據(jù)同等處理,因而精度有限.

圖8給出了Att-LSTM模型在36個地區(qū)的絕對誤差分布圖(絕對誤差=預測值-真實值),可以看出,本文的Att-LSTM模型在6170個訓練樣本上,絕對誤差主要分布在0.00～0.80 TECU之間.

圖8 在0°—87.5°N緯度區(qū)域的Att-LSTM模型的TEC預測值與TEC真實值的絕對誤差分布圖

圖9給出了Att-LSTM預測性能隨緯度的變化情況.可以看出,在北緯60°之前,隨著緯度的增加,Att-LSTM模型預測的誤差RMSE緩慢增加,但始終保持在1TECU以內(nèi),預測值與真實值的擬合度也比較高,均在0.99以上.在北緯62.5°到87.5°地區(qū),模型的預測性能出了擾動,預測誤差增加到了3～5 TECU,預測擬合度在0.95～0.98之間,預測效果比0～60°稍差,引起預測性能擾動的原因不詳.

圖9 Att-LSTM模型對未來2小時TEC預測效果

3.3 Att-LSTM模型在磁靜期和磁暴期TEC的預測性能

為了進一步驗證Att-LSTM模型的預測性能,在100°E,30°N地區(qū)的TEC觀測數(shù)據(jù)為例,對比了該模型在磁暴期和磁靜期的預測效果.訓練數(shù)據(jù)選取2002年1月1日0∶00—2012年9月14日16∶00,共50826個TEC觀測值,測試數(shù)據(jù)選取2012年9月14日18∶00—2013年11月22日24∶00,共5646個TEC觀測值,在此期間,將地磁指標Kp>3以及-100

圖10 磁靜期和磁暴期絕對誤差分布直方圖

圖11展示了一個磁靜日(2012年10月11日0∶00—2012年10月11日24∶00)和一個磁暴日(2012年10月12日0∶00—2012年10月12日24∶00)的預測效果,可以看出,無論是在在磁靜期還是磁暴期,Att-LSTM預測值與TEC真實觀測值擬合程度均較好.分析其原因,主要在于本文對原始的TEC數(shù)據(jù)進行了預處理,經(jīng)過差分處理和規(guī)范化處理之后,無論是磁靜期還是磁暴期的TEC數(shù)據(jù),均變成了平穩(wěn)的時間序列數(shù)據(jù),本文的Att-LSTM模型對處理后的平穩(wěn)TEC數(shù)據(jù)進行建模,預測,再將預測的結果進行反規(guī)范化和反差分,得到最終的預測值.這種預處理方法可以消除原始數(shù)據(jù)不平穩(wěn)所帶來的預測誤差波動大問題.

圖11 磁靜期(a)和磁暴期(b)Att-LSTM模型的TEC預測性能對比(Att-LSTM代表Att-LSTM模型的TEC預測值,CODE代表原始TEC觀測值)

3.4 Att-LSTM模型對未來多時間段TEC的預測

論文還選擇了100°E,25°N—100°E,45°N之間9個地區(qū)(A11—A19)進行未來多點預測實驗(本文分別選擇預測未來第4、6、8、10時),即預測未來第2、3、4、5個點.訓練數(shù)據(jù)選取各地區(qū)2002年1月1日0∶00—2013年9月12日6∶00共55539個TEC觀測值,預測數(shù)據(jù)選取該9個地區(qū)2013年9月12日8∶00—2014年12月30日24∶00共6171個TEC觀測值,樣本制作方法與圖5類似,不同的是多時間點預測時采用13+num的滑動窗口(num為未來預測樣本點數(shù)),第i個滑動窗口中前13個做為第i個樣本的輸入向量xi,后面的num個數(shù)據(jù)作為該樣本的輸出向量yi.各個地區(qū)未來多個時間段TEC預測效果如圖12所示.

圖12 Att-LSTM模型對A11—A19地區(qū)未來多個時間段TEC的預測效果

從圖12可以看出,隨著預測時間點的增加,Att-LSTM模型在各個地區(qū)的預測誤差RMSE逐漸升高,而R-Square逐漸降低.即隨著預測時間的增加,模型預測性能下降,預測未來4個小時的時候,預測擬合度R-Square在0.95以上,預測6個小時的時候,R-Square降低到0.75～0.8之間,而預測未來10個小時的時候,R-Square下降到0.7左右,可見本文所提出的Att-LSTM模型在預測未來2、4小時的TEC值十分可靠,預測未來6、8、10個小預測結果不可靠.

未來多點預測的具體實驗結果如表4所示.從表4可以看出,模型的預測誤差隨著預測時間的增加而逐漸增加,模型擬合度逐漸降低,預測未來4個小時,模型預測誤差較小,在9個地區(qū)中,最高為A14地區(qū),為1.5852 TECU,最低為A18地區(qū),僅為0.9083 TECU.未來4小時預測擬合度較高,在所選擇的9個地區(qū),該模型預測擬合度最低為0.9545,最高為0.9850.在預測未來6個小時,R-Square明顯下降,以A13地區(qū)為例,未來6小時預測擬合度降低至0.7667,與預測未來4小時相比,R-Square降幅為20.82%;而預測誤差RMSE升高至3.8501 TECU,與第4小時預測RMSE相比,RMSE增幅為200.3%.

表4 Att-LSTM模型對A11—A19地區(qū)未來多個時間段TEC的預測性能(加黑部分為最優(yōu)結果)

圖13給出了未來多點預測的絕對誤差分布圖.其中圖13(a、b、c、d)分別表示預測未來4、6、8、10時的絕對誤差分布.從圖13中可以直觀的看出,預測未來4小時的時候,絕對誤差分布比較集中,主要集中在-1 TECU到1 TECU之間,而預測未來第6、8、10小時,絕對誤差甚至有相當一部分比例達到了±4 TECU及以上.這說明應用Att-LSTM模型,采用過去24小時預測未來2、4小時基本可靠,而預測更久的時間,則結果不可靠.

圖13 Att-LSTM模型對A11—A19地區(qū)未來多個時間段TEC真實值與觀測值的絕對誤差分布直方圖

4 結論

本文將注意力機制引入到 LSTM 神經(jīng)網(wǎng)絡,構建了基于注意力機制的LSTM電離層 TEC 預測模型(Att-LSTM),并應用該模型在36個所選地區(qū)中,采用過去24小時TEC觀測數(shù)據(jù)預測未來2小時TEC值,并與經(jīng)典時間序列模型DNN、RNN,LSTM模型進行了對比實驗.結果表明,本文所提出的Att-LSTM模型性能明顯優(yōu)于對比模型.論文討論了緯度對TEC預測的影響,發(fā)現(xiàn)在0°到北緯60°之間,隨著緯度的增加,Att-LSTM模型預測的誤差RMSE緩慢增加,但始終保持在1 TECU以內(nèi),在該范圍內(nèi)模型預測值與真實值的擬合度比較高,均在0.99以上.在北緯62.5°到87.5°地區(qū),模型的預測性能出了擾動,預測誤差增加到了3～5 TECU,預測擬合度在0.95～0.98之間,預測效果比0～60°稍差.進一步討論了Att-LSTM模型在磁靜期及磁暴期的預測效果,結果表明,無論是磁靜期還是磁暴期,采用過去24 h預測未來2 h的時候,Att-LSTM模型預測RMSE均較小,不足1 TECU,模型預測效果均很好.還采用Att-LSTM模型對未來多點的TEC進行預測,預測結果表明,本文所提出的Att-LSTM模型對未來2、4個小時的預測擬合度均超過0.95,十分可靠,而對未來第6、8、10個小時的預測最高為0.7934,預測擬合度迅速下降,預測結果不可信.

未來將研究采用更長的歷史TEC觀測序列,添加混合注意力機制,來對未來多點TEC值進行更精準的預測.