深度學習LSTM模型的電離層總電子含量預報

吉長東，王 強，王貴朋，劉亞南

深度學習LSTM模型的電離層總電子含量預報

吉長東1，王 強1，王貴朋2，劉亞南1

（1. 遼寧工程技術大學 測繪與地理科學學院，遼寧 阜新 123000；2. 日照市城鄉建設勘察測繪院有限公司，山東 日照 276800）

針對TEC時間序列高噪聲、非線性和非平穩的動態序列的特性，基于分解-預測-重構的思想，運用總體經驗模態分解和深度學習長短期記憶神經網絡，構建了EEMD-LSTM預測模型。同時，以測試集上預測結果的均方根誤差最小為目標，運用多層網格搜索算法對EMD-LSTM預測模型進行參數優選。以IGS中心2015年全年1 h時間尺度的TEC格網數據進行實驗分析，結果表明，EEMD-LSTM組合模型的預報結果能夠很好的反應電離層TEC的變化特性，在低、中、高緯度地區平均預報殘差分別為1.37、0.82和0.96個TECu，預測平均相對精度分別為92.8 %、91.9 %和87.8 %。

長短期記憶神經網絡；遞歸神經網絡；總體經驗模態分解；電離層總電子含量；時間序列

0 引言

預報電離層總電子含量（total electric contents, TEC）對研究電離層隨時間的變化以及以全球衛星導航系統（global navigation satellite system, GNSS）作為主要技術手段的各類工程活動和科學研究都有著重要的意義[1-2]。目前應用國際GNSS服務組織（International GNSS Service, IGS）提供的格網數據建立高精度的TEC預報模型已經從傳統的統計學和計量經濟學模型[3-4]逐漸發展為學習能力更為優秀以及在處理非線性與時變性問題上更有優勢的神經網絡模型[5-8]。然而傳統的前饋式神經網絡預測模型的靜態特性無法很好的表示TEC時間序列的動態變化情況，對電離層TEC值的預報精度很難進一步提升。遞歸神經網絡（recurrent neural network, RNN）是一種具有記憶功能的深度學習模型[9]，能夠記憶以往時間序列的信息并加入到當前的輸出計算中，被廣泛應用于序列化數據分析和預測中。長短期記憶（long-short term memory, LSTM）模型[11]改進了RNN在反向傳播過程中計算參數更新值時會出現梯度爆炸梯度消失等缺點，可以學習長期依賴時序信息。文獻[11]首先利用經驗模態分解（empirical mode decomposition, EMD）的方法對電離層TEC時間序列進行分解變換，再對分解后的各個序列分別建立模型進行預報，有效的提高了TEC值預報精度[11]，而采用EMD對TEC時間序列進行分解變換常常會導致模態混疊的現象出現。

針對于以上問題，本文采用總體經驗模態分解（ensemble empirical mode decomposition, EEMD）[13]與長短期記憶神經網絡模型相結合的方法對電離層TEC值進行短期預報，并通過網格搜索對組合模型的進行超參數優選。最后，利用平均絕對誤差（mean absolute difference, MAD）、平均相對精度（relative accuracy, RA）和均方根誤差（root mean square error, RMSE）3個性能指標來評估模型的有效性。

1 算法原理

1.1 遞歸神經網絡

遞歸神經網絡是一種可以有效提取、利用和處理時間序列的高維非線性動力學系統。圖1為一個標準的RNN模型及其內部結構示意圖，可以看出遞歸神經網絡是一個擁有重復單元的循環式模型。

圖1 RNN模型及循環層內部結構圖

LSTM模型神經元結構如圖2所示。

圖2 LSTM模型神經元結構示意圖

1.2 總體經驗模態分解（EEMD）

經驗模態分解實質是對原始信號中不同尺度的信號和趨勢進行篩分，得到有限個特征單一的不同頻率的本征模態分量（intrinsic mode function, IMF）和一個趨勢序列。各個IMF分量可以看作是影響原始信號的不同因數，趨勢項則反映了原始信號的整體變化趨勢。EMD在分解TEC時序信號時由于TEC時序中一些高頻信號與噪聲頻率接近，導致模態混疊現象的出現。總體經驗模態分解（EEMD）在原始TEC時序信號中加入高斯白噪聲再進行多次EMD分解，并將多次分解得到的IMF總體平均得到最終的IMF分量，有效的避免了模態混疊問題。由于高斯白噪聲具有不相關隨機序列零均值特性，整體平均后可以將高斯白噪聲剔除。高斯白噪聲振幅值（所加白噪聲占原始信號幅值標準差的比例）和重復進行EMD分解的次數是EEMD分解的兩個重要參數，通過不斷實驗進行調整。

1.3 網格搜索與k折交叉驗證

1.4 研究方法

LSTM模型的算法流程圖如圖3所示，主要包括3個部分：原始TEC時序數據預處理、模型的超參數優化和模型的建立和預測。

圖3 LSTM模型的算法流程圖

具體計算過程如下：

1）EEMD分解：選區高斯白噪聲0.2倍標準差，加入到TEC時間序列中，對復合序列進行100次EMD分解得到一系列不同頻率且特征單一的IMF分量。

2）模型訓練：對得到的各分量和趨勢項進行標準化建立LSTM模型,激活函數為線性函數，優化器為Adma算法，目標函數為均方差。

4）模型預測：利用訓練好的模型采用迭代的方法進行預測。

5）精度評定：將預測結果與IGS提供的觀測數據進行比較，采用MAD、RMSE和RA 3個性能指標來評估模型的有效性，當MAD、RMSE值越小RA值越大時，表明預測值與真實值擬合程度更好，倆者的誤差越小，其相應的定義為

2 實驗分析

分別以IGS提供的2015年時間間隔為1 h的全年的高緯度（67.5°N, 65°E）、（67.5°N, 125°E）；中緯度（45°N, 65°E）、（45°N, 125°E）和低緯度（22.5°N, 65°E）、（22.5°N, 125°E）數據建立電離層樣本序列。將所選數據分為3個部分，以65 %的數據作為訓練集訓練模型，以30 %的數據作為驗證集來輔助模型的構建，以5 %的數據作為測試數據用于評估模型的精度。

2.1 超參數優選

圖4 LSTM模型3參數多層網格搜索結果

表1 LSTM模型的前五組最優參數組合以及預測精度

2.2 不同模型的精度分析

為了驗證LSTM模型的預報精度，采用BPNN模型和RNN模型進行對比分析。以預測擬合電離層TEC值圖形與計算誤差的形式來實證其差異。圖5為RNN、LSTM、BPNN 3種模型的預報結果對比圖。其中橫坐標為預測歷元的個數，1 h為一個歷元；縱坐標表示TEC值（以TECu個數計）。由圖5可以看出相較于其他模型LSTM模型的預測結果明顯優于RNN模型和BPNN模型，能夠更好的擬合IGS中心提供的TEC值，誤差更小。

計算不同模型在不同緯度預測結果的性能指標得到表2，可以看出LSTM模型的MAD和RMSE的值是上述模型中最小的，即LSTM模型的預測誤差比BPNN、RNN模型都小，預測精度更高。同時LSTM模型的預報精度在不同緯度地區的略有差異，低緯度和高緯度地區預報結果的平均絕對百分比誤差明顯高于高緯度地區，這是由于在不同緯度地區TEC值含量有很大不同所導致的。

表2 不同模型預報結果的MAD、RMSE和RA統計表

為了驗證EEMD算法對LSTM模型的預測性能的改進效果，分別采用單一的LSTM模型和EEMD-LSTM組合模型對2015年不同經緯度數據進行24 h預報，以預測擬合電離層TEC值圖形與計算誤差的形式來實證其差異。圖6為EEMD-LSTM模型和單一的LSTM模型在不同經緯度地區的預報結果對比圖。其中橫坐標為預測歷元的個數，1 h為1個歷元；縱坐標表示TEC值，單位為TECu的個數。可以看出相較于單一模型EMD-LSTM模型的預報結果能更好的反應電離層TEC值的變化情況，預測性能更好，且預報結果與IGS中心提供的TEC值更為接近，誤差更小。

計算單一LSTM模型和EEMD-LSTM組合模型在不同經緯度預測結果的性能指標得到表3和表4，可以看出在同一位置組合模型的預測精度普遍高于單一模型。在經度相同時預測的相對精度大致隨著緯度的增加而降低，均方根誤差和平均絕對誤差則在高緯度地區更優；緯度相同時不同經度之間的預報結果相差不大。

圖6 LSTM/EEMD-LSTM模型預報結果對比圖

表3 LSTM/EEMD-LSTM模型預報結果的MAD、RMSE和RA統計表（65°E）

表4 LSTM/EEMD-LSTM模型預報結果的MAD、RMSE和RA統計表（125°E）

3 結束語

本文首先對比了單一LSTM模型和EEMD-LSTM模型的在相同環境下的預報性能，驗證了組合模型的優越性，并以測試集上預測結果的均方根誤差最小為目標，運用多層網格搜索算法對EMD-LSTM預測模型進行參數優選，經過大量實驗得到如下結論：

1）與一般BP神經網絡相比，遞歸神經網絡的擬合和預測性能更優。LSTM作為遞歸神經網絡的一種變體，可以充分利用長距離的TEC時序信息來實現更好的預測效果。

2）相較于單一LSTM模型EEMD-LSTM模型預報效果和精度都有很好的提升，與實際數據吻合更好；在低、中、高緯度地區預測平均相對精度分別提高了2.8 %、5.8 %和6.6 %。

[1] 張小紅, 任曉東, 吳風波, 等. 震前電離層TEC異常探測新方法[J]. 地球物理學報, 2013, 56(2): 441-449.

[2] 曹華東, 郭金運, 李旺, 等. 2015年4月20日花蓮M_W6. 4級地震震前電離層TEC異常[J]. 地球物理學進展, 2016, 31(5): 1889-1894.

[3] 張小紅, 任曉東, 吳風波, 等. 自回歸移動平均模型的電離層總電子含量短期預報[J]. 測繪學報, 2014, 43(2): 118-124.

[4] 謝劭峰, 陳軍, 黃良珂, 等. 基于Holt-Winters的電離層總電子含量預報[J]. 大地測量與地球動力學, 2017, 37(1): 72-76.

[5] 何春梅, 模糊神經網絡的性能及其學習算法研究[D]. 南京: 南京理工大學, 2010, 19-30.

[6] 袁景凌, 鐘珞, 李小燕. 灰色神經網絡的研究及發展[J]. 武漢理工大學學報, 2009, 31(3): 91-93.

[7] 李淑慧, 彭軍還, 徐偉超, 等. 利用神經網絡預報短期電離層TEC變化[J]. 測繪科學, 2013, 38(1): 8-9, 12.

[8] 王建敏, 黃佳鵬, 祝會忠, 等. 電離層總電子數預報方法研究[J]. 測繪科學, 2016, 41(12): 47-52.

[9] 張承釗. 一種金融市場預測的深度學習模型: FEPA模型[D]. 成都: 電子科技大學, 2016.

[10] 王鑫, 吳際, 劉超, 等. 基于LSTM循環神經網絡的故障時間序列預測[J]. 北京航空航天大學學報, 2018, 44(4): 772-784.

[11] 湯俊, 姚宜斌, 陳鵬, 等. 利用EMD方法改進電離層TEC預報模型[J]. 武漢大學學報(信息科學版), 2013, 38(4): 408-411, 444.

[12] 袁天嬌, 陳艷紅, 劉四清, 等. 基于深度學習遞歸神經網絡的電離層總電子含量經驗預報模型[J]. 空間科學學報, 2018, 38(1): 48-57.

[13] WU Z H, HUANG N E. Empirical model decomposition: a noise-assisted data method[J]. Advances in Adaptive Data Analysis, 2009, 1 (1): 1-14.

[14] NAKAMURA M I, MARUYAMA T, SHIDAMA Y. Using a neural network to make operational forecasts of ionospheric variations and storms at Kokubunji, Japan[J]. Earth Planets & Space, 2007, 59(12): 1231-1239.

[15] LI S, LI L, PENG J. Variability of ionospheric TEC and the performance of the IRI-2012 model at the BJFS station, China[J]. Acta Geophysical, 2016, 64(5): 1970-1987.

TEC prediction of ionosphere based on deep learning LSTM model

JI Changdong1, WANG Qiang1, WANG Guipeng2, LIU Yanan1

（1.School of Geomatics, Liaoning Technical University, Fuxin, Liaoning 123000, China; 2. Rizhao Geotechnical Investigation and Surveying Institute of Urban and Rural Construction Co., Ltd, Rizhao, Shandong 276800, China）

The total electron content (TEC) is a representative parameter. For its non-linear and non-stationary characteristics taking the TEC data which varies from high latitude to low latitude in both quiet and active period provided by the IGS as sample data. A new combined forecasting model is built in this paper by using ensemble empirical mode decomposition (EEMD) and Long-Short Term Memory Model (LSTM). Furthermore, a multilayer grid search algorithm is proposed to optimize the parameters of EMD-LSTM prediction model. Results from numerical experiments show that the predicted results are highly fitted to the actual observation data. The average prediction residuals in different latitudes are 1.37TECu, 0.82TECu and 0.96TECu, respectively. The predicted average relative accuracy is 92.8 %, 91.9 % and 87.8 %, respectively.

LSTM; RNN; EEMD; TEC; Time series

TN967.1

A

2095-4999(2019)03-0076-06

2018-10-22

吉長東（1970—），男，遼寧錦州人，博士，教授，研究方向為衛星導航與定位。

王強（1993—），男，內蒙古烏蘭察布人，碩士生，研究方向為衛星導航與定位。

吉長東，王強，王貴朋，等.深度學習LSTM模型的電離層總電子含量預報[J].導航定位學報,2019,7(3):76-81.（JI Changdong, WANG Qiang, WANG Guipeng, et al.TEC prediction of ionosphere based on deep learning LSTM model[J].Journal of Navigation and Positioning,2019,7(3):76-81.）

10.16547/j.cnki.10-1096.20190313.