基于深度學習的電離層參數預測研究

馮蘊天，吳霞，許雄，張榮慶

（1.電子信息系統復雜電磁環境效應國家重點實驗室，河南 洛陽 471003；2.同濟大學電子與信息工程學院，上海 201804；3.同濟大學軟件學院，上海 201804）

1 引言

傳統的電磁態勢演化預測采用純電磁理論，時間復雜度高，并且不能實時獲得計算數據。相比之下，使用深度學習的電磁態勢演化預測可以大大降低計算的復雜度和時間，并且可以得到實時的仿真數據。因此，使用深度學習建立電磁態勢的預測模型具有重要意義[1]。

對電離層參數預測是電磁態勢預測的重要組成部分。電離層環境變化對電子信息系統有著重要影響，高頻通信中，準確預測電離層參數在無線通信的多個領域，例如通信裝備、航天器、雷達及導航裝備的設計和運行維護都具有重要意義[2]。

為了改進傳統純電磁理論預測方式的缺點，考慮到電離層的非線性屬性，國內外的學者提出了一些新的預測方法以期獲得更精確的電磁態勢預測模型[3-4]。已有研究證明了人工神經網絡在預測非線性的短波電離層參數上的優勢[5]。針對反向傳播（BP,back propagation）神經網絡預測存在的梯度消失等問題，長短期記憶（LSTM,long short-term memory）于1997 年被提出[6]。在逐點預測電離層參數的短期變化中，LSTM 網絡對于周期性最強的F2層臨界頻率f0F2的預測效果較好，因此本文以LSTM 為基礎，搭建神經網絡模型實現電離層參數的短期和日均值變化預測，并在LSTM 網絡結構中加入經驗模態分解（EMD,empirical mode decomposition）算法。作為處理非線性信號的網絡優化方法，EMD 算法已被廣泛應用于深度學習中的數據處理[7]。文獻[8-9]分別在BP 神經網絡和小波神經網絡中使用EMD算法進行地鐵沉降監測和短期電力負荷預測，EMD算法的引入減小了預測均方誤差，證明了EMD 算法在提高神經網絡預測精度上的可行性。

本文提出的電離層參數預測算法使用逐點預測和序列預測2 種方法，在使用多維預測的基礎上，又使用了在處理非線性數據上表現良好的EMD 算法進行優化，預測電離層參數的每小時和每天的變化規律，并分析EMD 算法和多維預測在提升預測精度上的優劣性。此外，本文將Adam 優化器作為網絡的優化器[10]，以期在不降低網絡對短期變化的預測精度的條件下，改善電離層參數的日均值預測，使整個網絡結構可以同時應用于電離層數據的短期和日均值變化預測。

2 LSTM 網絡結構

LSTM 網絡是一種特殊的循環神經網絡（RNN,recurrent neural network）。循環神經網絡實質是把所有模塊鏈式連接的遞歸神經網絡，以鏈式相連的重復模塊稱為循環單元。LSTM 網絡循環單元如圖1 所示。

LSTM 網絡內部有4 個網絡層，其與傳統的循環神經網絡（包含3 個網絡層，即輸入層、隱藏層和輸出層）最大不同之處就是在循環單元中增加了一個細胞狀態ct。細胞狀態是LSTM 網絡的核心，從圖1 可以看出，LSTM 網絡通過3 個門控制細胞狀態，分別是輸入門、輸出門、遺忘門。循環單元的輸出ht不只取決于當前的輸入和上一步的輸出，還取決于細胞上一步的狀態。3 個門中最重要的是遺忘門，其作用是當數據xt輸入網絡循環單元時決定是否丟棄上一步的循環單元狀態ht?1。遺忘門狀態ft為

圖1 LSTM 網絡循環單元

其中，σ是sigmoid 函數，bf是遺忘門偏置項，Ct?1代表細胞的上一步狀態；Wxf、Whf、Wcf分別是遺忘門狀態下xt,ht?1,ct?1對應的權重矩陣（后續計算式中W的含義同理），矩陣中元素的數值為0～1，0表示將數據全部丟棄，1 表示全部保留。通過權重矩陣確定是否保留上一步的細胞狀態，以及上一步循環單元的輸出狀態與輸入數據xt。確定需要丟棄的數據后，將輸入數據與隱藏層狀態通過輸入門得到輸入門狀態it。輸入門狀態it為

其中，bi是輸入門偏置項，通過式(1)和式(2)得到輸入門狀態和遺忘門狀態后，就可以通過遺忘門狀態丟棄一部分舊的細胞狀態，并通過輸入門更新得到新的細胞狀態。新的細胞狀態ct為

其中，bc是細胞狀態偏置項，*是卷積符號。通過式(2)和式(3)得到輸入門狀態和更新細胞狀態后，根據輸入數據以及隱藏層上一步狀態就可以得到新的循環單元輸出狀態ht。將細胞狀態ct與輸入數據xt通過輸出門得到輸出門的狀態。輸出門狀態ot為

其中，ot的作用是確定循環單元的輸出狀態。將細胞狀態ct經過一個tanh 層得到一個?1～1 的量值，該量值與輸出門相乘就可以得到該循環單元的最終輸出ht，如式(5)所示。

3 電離層參數逐點預測

3.1 數據預處理與模型訓練

本文用于預測電離層短期變化的數據來自漠河電離層觀測站2014 年的觀測數據。漠河電離層觀測站的數據透明度高，并且觀測準確度高，是合適的測試數據。這些觀測數據包括F2層臨界頻率f0F2、B1參數、F2層最低虛高hpf、F2層3 000 km傳播因子M(3000)F2改變、F2層最小反射頻率fmin等。從中選取質量較高的連續1 400 h 的數據作為樣本，將得到的數據樣本分為訓練集和測試集。取樣本中86%的數據（共1 200 h）作為訓練集，剩下200 h 的數據作為測試集。為了使網絡更快收斂，首先將訓練集數據采用Minmaxscaler 方法進行歸一化預處理；然后用預處理后的數據訓練網絡，用訓練好的網絡得到預測結果，通過對比測試集中的真實數據和預測結果分析預測效果。

訓練網絡時，將24 h（即一天）的數據作為一個序列輸入，使用24 h 的數據預測后1 h 的數據。經過多次實驗調整，將網絡的batchsize 設置為16，一次訓練16 個數據，網絡一個周期迭代75 次，共訓練3 個周期，即迭代225 次。預測采用逐點預測，即每次只預測單一的點，LSTM 網絡中的序列本身是一個滑動窗口，窗口大小與序列長度相同，預測完一個點后，窗口移動到下一個測試數據，這樣每次預測時都可使用完整的測試數據進行預測。例如，預測漠河電離層F2層臨界頻率時，如果要預測某時刻的數據，則將前面24 h 的數據輸入訓練好的LSTM 網絡，依次類推，不斷使用測試集的數據得到每一小時的預測結果。使用逐點預測方法預測電離層的不同參數，預測評價標準采用真實數據與預測數據之間的均方誤差（MSE,mean-square error）。

其中，yi表示真實數據，y0表示預測數據。

在LSTM 網絡的基礎上使用優化器Adam。為了防止訓練過程中出現過擬合，本文在第一層和第三層神經網絡后面加入dropout 層，以0.2 的概率隨機斷開輸入的LSTM 神經元，減少了神經元之間的共同適應性和相互依賴性，確保了模型在丟失個體的情況下依然能保持良好的穩健性，避免發生過擬合。

3.2 EMD 算法與多維預測算例分析

本文在搭建的LSTM 網絡結構中加入EMD 算法，使用Python 的經驗模態分解工具箱Pyhht 將預處理后的數據分解為多個本征模函數。將電離層數據分解為9 個本征模函數，每個本征模函數訓練4 個周期，一個周期迭代75 次，每個本征模函數共迭代300 次，將EMD 算法得到的預測結果與多維預測（prediction2）結果對比，如圖2 所示。通過比較預測數據波形與真實數據波形的誤差以及均方誤差可以看出，基于EMD 算法的預測數據在75 h 后偏離真實數據。

圖2 EMD 算法和多維預測的f0F2預測結果對比

基于EMD 算法的電離層傳輸因子M(3 000)F2和最低虛高hpf 與多維預測結果對比分別如圖3 和圖4所示。顯然，基于EMD 算法的M(3 000)F2預測波形在幅度上比多維預測更接近真實數據。由于M(3 000)F2序列穩定性較差，使用LSTM 預測或者多維預測得到的預測結果較差，通過EMD 可以將數據進行平穩化處理，使預測效果大大提高。與fmin參數預測結果相似，基于EMD 算法的hpf 在60 h 后的預測數據比多維預測更接近真實數據，總體預測效果也更好。

圖3 EMD 算法和多維預測的F2層M(3 000)F2預測結果對比

根據實驗結果可以看出，EMD 算法可以作為短期變化預測的優化方法，并且對于非平穩時間序列的優化效果要好于多維預測。但對于本身具有周期性的數據，EMD 算法的作用有限。不同預測方法的MSE 比較如表1 所示。與直接使用LSTM 網絡預測的均方誤差相比，基于EMD 算法的fmin預測比多維預測減少了23%；M(3 000)F2的預測均方誤差比多維預測減少了18.8%；hpf 的預測均方誤差比多維預測減少了11.8%。

圖4 EMD 算法和多維預測的hpf 短期變化預測結果對比

表1 預測算法的MSE 比較

4 電離層參數時間序列預測

LSTM 網絡在電離層的短期變化和日均值變化預測中都能較好地匹配真實數據。但這種算法存在一定的局限性，因為每一個預測點在預測前都能得到真實數據，即使預測出現錯誤，算法也會直接使用真實數據來預測下一個點從而忽略這個錯誤。但在實際研究中有時需要直接預測一段時間內的電離層參數變化，這是逐點預測無法做到的。為此，本節首先采用全序列預測，通過訓練好的神經網絡一次性預測電離層參數在一段時間內的變化規律。全序列預測與逐點預測的不同之處在于，預測時采用上一時刻的預測數據而不是真實數據。通過預測24 個數據點后，使用神經網絡前24h 的電離層數據預測下一時刻的數據，可以一次性預測電離層參數在未來多個小時內的變化趨勢。電離層參數f0F2的全序列預測結果如圖5所示。實驗結果證明，電離層參數的短期變化的序列預測可以和逐點預測一樣通過EMD 算法優化預測精度。

圖5 f0F2短期變化全序列預測結果

5 結束語

本文以LSTM 為基礎，搭建神經網絡模型以實現電離層參數的短期和日均值變化預測。通過預測結果分析了LSTM網絡對不同類型的電離層參數的預測效果，并將這些結果作為對照組，分別使用多維預測和EMD 算法對網絡進行優化，驗證多維預測和EMD 算法在提高預測精度上的可行性。未來工作可以嘗試在新的LSTM 網絡結構變式，例如門控循環單元（GRU,gated recurrent unit）和雙向LSTM（Bi-LSTM）網絡使用多維預測和EMD 算法，降低網絡的計算成本，并且不再局限于預測電離層數據，還包括預測經緯度、地磁指數、場強等電磁態勢參數，進一步提高預測精度。