基于Seq2Seq模型的GRACE降尺度研究

呂博文，陳 雨

（四川大學電子信息學院，成都 610065）

0 引言

隨著全球人口和水需求的增加，監控全球水的儲量與趨勢對于水資源管理、危害分析與減災以及糧食安全是十分有必要的，而擁有高分辨率且連續的水文數據對于預測水文氣候趨勢和水資源可用性至關重要［1-4］。在全球水資源總體儲量中，淡水儲量占比不到百分之三，而可供人開采飲用的部分中，地表水所占比重僅為0.39%，地下水量占比則達到了30.06%［5］。傳統監測地下水儲量變化（GWSA）的手段有很大局限性，如偏遠地區測量難度大、設備維護不易等。重力恢復和氣候試驗（gravity recovery and climate experiment，GRACE）衛星的發射為區域水儲量估算提供了一種新的手段［6］。GRACE 衛星可以獲取全球重力場的微小變化，通過反演可得到陸地水儲量變化，從而可以間接監測到地下水儲量變化［7］。但是由于GRACE 數據本身的低空間分辨率，使得其在中、小尺度區域上的應用受到了很大限制。近年來，研究人員為了克服GRACE 數據低空間分辨率的限制，做了很多降尺度的研究，降尺度一般分為動態降尺度與統計降尺度［8］，相比于動態降尺度，統計降尺度有著計算簡單、誤差小等優勢，統計降尺度是通過獲取預測因子與被預測因子的統計經驗關系，將經驗關系用于高分辨率的預測因子，從而得到高分辨率的被預測因子。早期的統計降尺度方法一般采用非線性回歸建立預測因子與被預測因子的統計經驗關系，隨著計算機技術的發展，很多機器學習方法被用于GRACE 統計降尺度的研究。主要用到的方法有隨機森林回歸［9］、增強回歸樹［10］、人工神經網絡（ANN）［11］等。

目前的GRACE 統計降尺度研究中，尋求的是單月的預測因子與單月GRACE 之間的經驗關系，但是對于時間步長大于1情況下的關系探尋的研究很少。基于以上情況，本文采用Seq2Seq模型提取作為預測因子的氣象遙感數據的時間特征，并用于預測其對應的GRACE 數據，然后結合高分辨率的氣象遙感數據將美國加利福尼亞州月尺度的GRACE 數據分辨率從1°×1°提高為0.1°×0.1°，并結合實測數據驗證降尺度結果，以論證該模型在GRACE降尺度上的可行性。

1 研究數據

1.1 GRACE數據

GRACE 數據是美國NASA（美國國家航空航天局）一組GRACE 衛星測量地球重力場變化的數據。通過反演算法能夠解算出地球等效水高、地球冰川、地殼形變等物理量的變化。本文采用的是JPL 發布的Level-3-RL06-v04 版本的GRACE 數據集，其反映的是地球等效水高的變化量，空間分辨率為1°×1°，包含2002 年4 月到2017年6月共183個月份的數據（有缺失月份），數據下載地址為https://podaac.jpl.nasa.gov/GRACE。

1.2 氣象遙感數據

本文用于模型預測的氣象遙感數據有地表溫度（land surface temperature, LST）、歸一化植被指數（normalized difference vegetation index,NDVI）和降雨。其中LST 數據和NDVI 數據來自美國地質調查局（Geological Survey, USGS）和陸地過程分布式數據檔案中心（land processes distributed active archive center, LPDAAC）發布的MODIS 數據產品。LST、NDVI 分別選用了MOD11C3、MOD13C2 產品，提供的是0.05°×0.05°的月度LST 和NDVI。降雨數據是NASA 全球降雨測量的IMERG 月度產品，其空間分辨率為0.1°×0.1°。三種數據選取的時間范圍均為2002年4月到2017年6月共183個月份。

1.3 地下水數據

本文選取美國加州自然資源局開放數據門戶發布的連續地下水位測量數據（https://wdl.water.ca.gov/waterdatalibrary），用作降尺度結果驗證。

2 模型與方法

2.1 LSTM

對于時間序列，其特征復雜，傳統的基于統計學的方法難以獲取準確的時間特征。循環神經網絡RNN 提供了一種全新的能提取數據時間特征的方法，但是RNN 網絡在短的時間步長表現良好，而在長時間步長的訓練過程中容易出現梯度消失或梯度爆炸現象［12］。Hochreiter等［13］提出的長短時記憶（long short-term memory，LSTM）網絡結構克服了這方面的問題，在提取時間特征時的效果顯著提高。

所有的循環神經網絡都具有神經網絡重復模塊鏈的形式，在標準RNN 中，這個重復模塊是一個非常簡單tanh層結構，而LSTM 網絡是一種特殊的RNN 網絡，Hochreiter等［13］通過設計特殊的結構（見圖1）取代RNN 中簡單的線性神經元，來學習數據的長期依賴關系。

圖1 LSTM Cell結構

LSTM 能學習長期依賴關系的關鍵在于其結構中的細胞狀態Cell，它在整個網絡運行過程中只會經歷一些簡單的線性變換，信息能更好地保留，然后通過門結構對細胞狀態中的信息進行刪除和添加。其中遺忘門ft決定上一時刻Ct-1中的哪些信息會被丟棄。更新門it決定向細胞狀態中添加哪些信息。而輸出門Ot決定的是該LSTM Cell 的最終輸出，這些過程對應于以下計算公式：

其中：σ是Sigmoid 激活函數，ht-1是t-1 時刻的隱藏層權重，Ct-1是t-1 時刻的細胞狀態值，W,b是不同門結構的權重與偏置。

2.2 Seq2Seq

LSTM網絡雖然在長期依賴問題上比RNN做的更好，但是在處理高度非線性、時間間隔長的數據時，很難直觀地獲取到準確的時間序列的復雜特征。在考慮數據的時序特性時，本文的降尺度問題可以看作是多對多的序列到序列問題，因此，本文采用基于注意力機制的Seq2Seq 模型［14］來學習輸入時序到輸出時序的對應關系，其結構如圖2所示。

圖2 Seq2Seq模型結構

在模型中，編碼器的主要任務是將輸入序列編碼為固定長度的向量表示，以捕捉輸入時序的時間特征。常用的編碼器結構包括RNN、CNN 等，本文的模型采用的是雙向LSTM，雙向LSTM 不僅能捕捉過去的信息，還能捕捉后續的信息，相比于單向LSTM 對時間特征的捕捉能力更強；解碼器則是將特征解碼為可變長度的輸出序列，對于時間序列任務，解碼器一般是單向的RNN 模型，本文的解碼器采用的是結合注意力機制的單向LSTM，注意力機制會計算編碼器每個時刻的輸出與解碼器當前時刻隱藏層狀態向量的權重，從而決定當前時刻解碼器的輸出更注重哪個時刻的編碼器輸出，這就使得整個模型在長序列任務上的魯棒性更強。

3 模型訓練

3.1 數據預處理

對于LST、NDVI和降雨數據，其原始空間分辨率分別為0.05°×0.05°、0.05°×0.05°和0.1°×0.1°，本文使用最近鄰重采樣將這三種數據重采樣至1°×1°，與GRACE 數據原始空間分辨率保持一致，另外，LST 和NDVI 數據需要再重采樣一份到0.1°×0.1°的空間分辨率，與降雨數據原始分辨率保持一致，用于組成高分辨率的預測因子。由于GRACE 數據中存在缺失月份，不能直接作為時間序列使用。本文采用線性插值方法填補空缺月份數據。

由于LSTM 網絡激活函數采用tanh 激活函數。tanh 激活函數可將輸入從[-∞, +∞]映射到[-1,1]之間,但是當輸入值很大時，其梯度幾乎為0，導致使用梯度優化算法時權重更新很慢，因此還要把輸入數據歸一化到[-1,1]之間。

3.2 超參數設置

Seq2Seq 模型中的超參數主要有編碼器、解碼器里LSTM 的隱藏神經元個數和輸入數據的時間步長。為了方便注意力機制的計算，一般將編碼器和解碼器的隱藏層神經元個數設置相同。本文采用遺傳算法（genetic algorithm，GA）優化模型超參數。GA 算法是借鑒了自然進化規律而設計出的一種尋找全局最優解的模型，通過群體N代間的不斷遺傳、交叉、變異找到問題的最優解。實驗將編碼器與解碼器的隱藏神經元設置為2 的4～8 次方，時間步長設置為1～12，隨機產生8 個群體，通過20 代的遺傳進化找到最優解，最后綜合每種超參數組合下的模型評價指標（見4.1 小節）選擇最優模型，實驗結果表明當編碼器與解碼器的隱藏神經元個數為64，時間步長為12時，模型表現最佳。

3.3 模型訓練

本文的研究地區為美國加利福尼亞州的15個點位，其中12 個點位（80%）的數據用作訓練集，3個點位（20%）的數據用于測試，每個點位的數據都是2002 年4 月到2017 年6 月共183 個月份的數據。為了防止訓練出現過擬合，本文在編碼器和解碼器后面都加了一層Dropout層［15］，并且模型最后的輸出層使用RReLU 非飽和激活函數［16］。GA 算法的實現采用了Python 分布式進化算法庫（DEAP）。模型運行環境主要基于PyTorch 1.11.0版本搭建而成，Python版本為3.8，運行系統為64位Windows10系統。

4 實驗結果與分析

4.1 模型評價

本文采用的模型評價標準是均方根誤差RMSE、納什系數NSE和相關系數r。

RMSE是一種估計測量方法，計算的是預測值與實際值之間的數值差異。RMSE的值域為[0, + ∞)，誤差越小，RMSE越小。其表達式為

NSE系數可以測量模型相對于實際數據平均值的預測能力，用來表明實際值與模型預測數據的曲線是否符合1∶1 的線性關系，可以用于對比不同模型對同一數據的擬合優度。NSE取值為負無窮至1，NSE接近1，表示模式質量好，模型可信度高；NSE接近0，表示模擬結果接近觀測值的平均值水平，即總體結果可信，但過程模擬誤差大；NSE遠遠小于0，則模型是不可信的。計算公式如下：

相關系數r是衡量向量相似度的一種方法，可以用來表示未來結果在多大程度上可被模型預測，取值范圍為[-1,1]，正值表示正相關，且越接近1表示越相關。其計算公式如下：

圖3 實測地下水驗證

在使用相同數據的情況下，本文分別訓練了Seq2Seq 模型、LSTM 模型以作對比，其中LSTM 模型的超參數同樣通過GA 算法進行調優，實驗結果為隱藏層神經元個數為64，時間步長為6時表現最佳。訓練好的模型在測試集的評價指標見表1。可以看出在三種評價指標中，Seq2Seq 模型的表現強于LSTM 模型，說明Seq2Seq 模型在時間特征的提取與利用上要優于LSTM模型。

表1 模型表現

4.2 降尺度結果分析

本文使用實測地下水數據來驗證GRACE 降尺度結果。首先，使用地下水數據驗證GRACE降尺度結果前需要經過一定處理，根據GRACE數據的官方說明可知，GRACE 數據是減去了2005 年到2010 年平均值的，于是對應的地下水水位數據也需要經過相同的處理。本文從美國加利福尼亞州的連續地下水數據中選取了4個點位作為驗證區，編號No1～No4。然后向訓練好的模型輸入0.1°×0.1°的由LST、NDVI 和降雨組成的輸入數據，得到降尺度后的GRACE 數據，結果如圖3所示。

圖3 中，從左到右分別為驗證區No1～No2、No3～No4，圖中的實線obs 為地下水實測值，虛線pre 為降尺度后的GRACE 數據。可以看出，降尺度后的GRACE 數據與實測地下水的整體趨勢基本一致，能夠通過降尺度后的GRACE 數據反映地下水的變化。

通過對比計算實測地下水與降尺度后的GRACE 數據的相關系數（結果見表2），可以看出Seq2Seq模型的降尺度結果整體表現良好，相比于LSTM能捕獲更多的時間特征。

表2 降尺度結果驗證

5 結語

本文通過基于注意力機制的Seq2Seq模型獲取LST、NDVI、降雨三種時間序列與GRACE 序列的對應關系，將美國加利福尼亞州地區2002—2017 年的GRACE 數據的空間分辨率從1°×1°提高為0.1°×0.1°。實現了一種基于時間序列映射到時間序列的降尺度方法。并且通過對比降尺度后的GRACE 數據與實測陸地水儲量變化量的差異可以發現，Seq2Seq 模型捕獲的時間特征相比于LSTM 模型更多，更適用于GRACE降尺度的研究。

鑒于當前研究中存在的不足，后續可以進行更深入的改進。首先是本文選用的預測因子僅為LST、NDVI和降雨，雖然有數據獲取容易、降低模型復雜度等優勢，但是因為沒有考慮蒸散發、人為因素等對GRACE 數據的影響，降低了降尺度的準確度，在對準確度要求較高的應用中需要將這些因素考慮進去。另外由于GRACE 數據存在缺失月份，本文使用線性插值進行了補全，但是也帶來了新的不確定性，這可能會丟失部分時間特征。而隨著GRACE-FO衛星的升空，繼續執行重力場探測任務，這意味著會有更多的訓練數據，這將更有利于深度學習模型發揮自身的優勢，得到更準確的預測結果。