回聲狀態網絡在氣候預測方面的應用研究

王人杰 劉海忠＊ 朱 洋

（蘭州交通大學，甘肅 蘭州 730070）

21 世紀，經濟的發展速度比以往任何時候都要快。但工業文明的過快擴張也促使我們生存的環境受到了極大的破壞，最為典型的問題就是全球變暖。這是一個全球范圍內的嚴重問題，每一個國家和地區都無法置身事外[1]。

1 研究現狀

Zhang 等學者[2]在前人研究成果的基礎上創新性地提出了SCAD 罰函數模型，能夠把樣本當中的小變量設置為0，從而更好地反映出變量稀疏性，同時設置大變量為常數以解決過擬合，使最終的結果符合無偏估計。在處理多維且復雜的氣象數據時效果良好，但SCAD 的本身方程中涵蓋了過多需要調整的超參數的值，大大的增加了計算量，盡管也有人試圖采用粒子群算法(PSO)對超參數進行聯合估計，但計算仍然復雜繁瑣，而且粒子群算法本身也存在著一些不足[3]，如：算法容易陷入局部最優解[4]，后期收斂速度慢，導致算法求解精度不高。謝倩[5]采集了近年來嶺南地區的氣候變化數據，圍繞著廣州周邊的數據樣本來進行量化分析，從人體熱感覺、風向以及日軌等多個不同的維度來梳理總結出氣候變化所表現出的特征，最終總結出氣候變化的規律。這樣通過數據的表示使氣候的特征更為直觀，但該研究的問題在于，考慮的變量并不全面，忽略了一些影響可能相對顯著的因素。

本文選擇以PCA-ESN 的氣候預測模型來進行樣本分析。第一步，先對采集的數據進行預處理，然后以主成分分析方法(PCA)提取樣本數據的主要特征，減少數據中的冗余信息。第二步，以ESN 方法構建氣候預測模型，有效地解決傳統方法極易出現的梯度消失等問題，該模型在實際的應用過程中表現出十分優異的信息處理能力。

2 數據簡介及預處理

2.1 數據簡介

原始數據為廣東省廣州市黃埔區1980 年1 月1 日至2020 年12 月31 日的氣象日數據，共14976 組。本次研究采集的數據包括當地的平均地表氣溫、當日最高與最低地表氣溫、最大風速、各個時間段的降雨量、當地最高與最低氣溫、平均氣壓、平均相對濕度等指標。

2.2 數據預處理

數據樣本的預處理會直接影響數據分析結果的準確性和真實性[6]。在多元統計分析中，主成分分析法能夠從數據樣本當中有效提出變量特征，降低數據的冗余度，為之后數據模型的應用和預測奠定良好的基礎。此外，主成分分析法還能解決信息重疊所帶來的負面影響，提高分析結果的準確度[7]。

設原始數據集包括n 個數據樣本，每個樣本具有p個變量，將數據在SPSS 軟件中進行主成分分析，得到成分矩陣如表1 所示[8]：

表1 成分矩陣

根據上表1 的對應數據，可以得到經過標準化之后的6 個主成分因子表達式，以第一個主成分為例，計算過程為：首先從表1 成分矩陣中，計算第一列數據的平方和，即0.9322+0.7152+…+0.2542，根據主成分分析的定義，該平方和被稱為“第一主成分的方差”。將該方差的平方根除成分矩陣第一列的每個元素，即0.932/√(主成分方差), 0.715/√(主成分方差), …, 0.254/√(主成分方差)，便得到第一個主成分的各個系數0.370694, 0.28453, …,0.100956。

3 模型和算法

3.1 主要模型

本次研究選擇使用的ESN 模型屬于儲備池計算網絡范疇[9]，表現出鮮明的動力學特征。從結構上來看，ESN可以分為3 層，分別是輸入層、輸出層以及儲備層。在儲備層中，ESN 包含了大量的神經元，以隨機的方式進行連接，具有儲備短期記憶的功能。在整個網絡中，儲備池是最重要的核心部分，也關乎網絡的運行性能，內部結構可參考圖1。

圖1 ESN 結構圖

設輸入矩陣、狀態矩陣、輸出矩陣分別為：

其中，K 為輸入維數，N 為儲備池內部神經元個數，M 為輸出維數，T=1，2，……，T。

狀態矩陣的更新如下式所示：

其中，Win是輸入層到儲備層的N×K 的權重矩陣，W 是儲備層權重矩陣，Wout是儲備層到輸出層的M×K的權重矩陣，此矩陣的更新如下式所示：

其中，β 表示非負正則化系數，S 表示全部狀態矩陣，I 表示單位矩陣，D 為全部輸出矩陣。

3.2 訓練算法

ESN 模型訓練過程如圖2 所示。

圖2 ESN 訓練過程示意圖

第一步，進行初始化操作，先確定儲備池的規模，即神經元的個數。

第二步，隨機生成兩個矩陣，分別是輸入層和儲備層的權重矩陣，并通過縮放因子大小的調整，確保譜半徑位于[0,1]的范圍內。

第三步，樣本數據依次加載到輸入、輸出，更新儲備池內部狀態。

第四步，刪除x（1）至x（n）的數據，這個數據并不涉及模型訓練，但卻都會不同程度地受到初始瞬變影響，并訓練該n 個數據之后的變量。

第五步，計算輸出權重矩陣Wout。

第六步，用新輸入和訓練好的Wout計算相應輸出，進行測試。

4 實驗

本次研究先將所有的樣本數據（14976 組）進行歸一化處理，接著通過PCA 算法來獲取新主成分。之后，以樣本中11980 組數據作為模型訓練，后面的數據用作模型測試。將ESN 模型的各項參數設置為：節點數為2；神經元稀疏度為5%；儲備池中含有神經元總數為50，輸出節點數為1。

以調參后的ESN 模型作為氣溫預測的系統，當模型反復運行30 次后，最終的結果逐步穩定，可以作為模擬結果，具體測試效果可參考圖3。

圖3 ESN 預測效果圖

將預測結果和原數據放在同一張表格中，這里決定選取絕對預測誤差率APE 對預測輸出的結果的偏離程度進行整體分析，計算公式如下：

其中，fi表示第i 次的預測值，Oi表示相對應的實際值。誤差測試圖如圖4 所示。

從圖4 可看出，預測誤差率全部介于(0,1)內，且大多數預測誤差都在15%以下，極少部分計算值存在著較大偏離，不具備參考價值。由此可知，ESN 的測試輸出能夠很好的擬合真實的氣溫數據，預測效果良好。

圖4 誤差測試圖

繼續選用ARIMA 模型[10]和LSTM 模型對原始數據進行預測，并計算ESN 模型、ARIMA 模型和LSTM 模型的預測結果的均方誤差(MSE)，MSE 的計算公式為[11]：

結果詳情可見表2。

表2 三種預測模型的均方誤差比較

由表2 可知，ESN 的均方誤差是最小的，在量級上遠小于另外兩個模型。由此也可以進一步顯示出ESN 預測模型在預測方面的優越性。

5 結論

本文以廣州市黃埔區的氣象數據作為研究對象，將主成分分析法和回聲狀態網絡相結合，提出了基于PCA的ESN 模型進行氣候預測，總結如下：

我們利用了主成分分析法本身的特性，使得本文模型可以有效處理規模龐大的數據集，避免迭代次數過多。本研究以PCA 算法來對原始氣候數據展開預處理，并獲得6 個主成分。以這6 個主成分作為模擬預測的輸入變量，在此基礎上建立ESN 預測模型，反復運行后可以預測當地的氣溫，有效地降低了樣本數據的計算復雜度。由于本文所研究的數據集具有非線性、季節性等特征，常用預測模型在面對這樣類型的數據時，往往要經過十分繁瑣和復雜的數據處理和運算階段，但ESN 模型在預測這樣的時間序列數據時具有更為良好的性能。實驗結果表明，利用ESN 模型預測經過PCA 處理之后的氣候數據，預測值和實際值的總體偏差小，均保持在較低水平，絕對預測誤差普遍處于15%以下，預測效果優于LSTM 模型和ARIMA 模型。因此，本次研究構建的PCA-ESN 模型能夠被應用到氣候預測中，為今后的氣候數據分析提供了重要的參考。