優化循環神經網絡在滑坡位移預測中的應用

李 璐 瞿 偉 張 勤 李久元 王宇豪 劉祥斌

1 長安大學地質工程與測繪學院，西安市雁塔路126號，710054

滑坡在我國已成為一種嚴重危害社會經濟可持續發展及威脅人民生命財產安全的主要地質災害之一。開展滑坡災害研究尤其是對滑坡位移的高精度預測研究，對滑坡災害的防災預警具有重要的理論與現實意義。

造成滑坡災害頻發原因十分復雜，會受多種外部環境因素的影響，如強降雨、農業灌溉等；受人類活動的影響，如塬邊人工削方等；也會受滑坡內部自身地質條件影響，如自身重力與巖層巖性變化等。為解決滑坡災害預測預警難題，近些年許多學者利用神經網絡在滑坡時序位移預測方面展開相關研究。而相較于神經網絡，循環神經網絡可克服傳統神經網絡模型存在的模型簡單、預測穩定性差、未充分挖掘形變數據中蘊含的時間信息特征等局限性，已在機器翻譯和圖像注釋等數據分析領域得到成功應用[1]，并結合主成分分析法與隨機森林法等應用于滑坡位移預測[2-3]、結合重標方差法為滑坡變形綜合評價提供決策支撐[4]及應用到滑坡長時序位移的預測分析[5]。但上述研究在利用循環神經網絡對滑坡位移進行預測分析時，對循環神經網絡參數的選取仍采用網格搜索法或傳統手動調參法，會造成算法計算量大，并且構建的循環神經網絡適應性較差。因此，探索一種有效改進循環神經網絡參數自動化最優選取的方法，將更好地服務于循環神經網絡在滑坡位移的實際預測應用。

為此，本文選取我國黃土滑坡最為典型的黑方臺黨川6#滑坡體為示范實驗區，主要基于滑坡體北斗與位移計時序監測數據[6]，分別建立簡單循環神經網絡(SimpleRNN)、長短期記憶網絡(LSTM)、門控循環單元(GRU)3種循環神經網絡預測模型。在此基礎上進一步利用遺傳算法(GA)對循環神經網絡層數及每層網絡記憶體數量進行隨機搜索，并以均方誤差最小為目標函數，自動確定循環神經網絡最佳參數組合，分別構建出3種基于遺傳算法改進的循環神經網絡高精度位移預測模型(GA-SimpleRNN、GA-LSTM、GA-GRU)，通過計算對比驗證改進后的循環神經網絡預測模型在滑坡時序位移預測中的突出優勢。

1 循環神經網絡及其優化模型

1.1 簡單循環神經網絡(SimpleRNN)

SimpleRNN是深度學習中重要的一種神經網絡模型，具有可循環遞歸地處理滑坡歷史形變數據及可對歷史記憶進行建模的特殊性能，適用于解決滑坡位移時間序列預測問題[7]。循環核中記憶體內存儲著每個時刻的滑坡位移狀態信息ht可表示為：

ht=tanh(xtwxh+ht-1whh+bh)

(1)

式中，wxh、whh為權重矩陣，bh為偏置，xt為當前時刻的滑坡位移輸入特征，ht-1為記憶體上一時刻存儲的滑坡位移狀態信息，tanh為激活函數?；挛灰戚敵鎏卣鱵t計算公式為：

yt=softmax(htwhy+by)

(2)

式中，why為權重矩陣，by為偏置，softmax為激活函數，相當于一層全連接層。可通過設定記憶體數量改變記憶容量，當記憶體個數及xt、yt被指定時，待訓練參數的維度即被限定。在前向傳播時，記憶體內存儲的滑坡位移狀態信息ht在每個時刻均被刷新，而3個參數矩陣wxh、whh、why和2個偏置項bh、by均固定不變；在反向傳播時，3個參數矩陣和兩個偏置項則可利用梯度下降法進行更新確定[8]。

1.2 長短期記憶網絡(LSTM)

輸入門：it=σ(Wi·[ht-1,xt]+bi)

(3)

遺忘門：ft=σ(Wf·[ht-1,xt]+bf)

(4)

輸出門：ot=σ(Wo·[ht-1,xt)+bo)

(5)

(6)

記憶體：ht=ot·tanh(Ct)

(7)

(8)

式中，3個門限的取值范圍為0～1，σ代表Sigmoid激活函數，Wi·、Wf·、Wo·、Wc·分別為待訓練參數矩陣，bi、bf、bo、bc分別為待訓練偏置項，tanh為激活函數[10]。輸入門決定新輸入的滑坡位移特征是否容許被更新，是否被保存至記憶體；遺忘門控制著記憶體記住或遺忘之前的滑坡位移狀態；輸出門決定滑坡位移信息是否容許被輸出；細胞態存儲長期滑坡位移信息；記憶體存儲短期滑坡位移信息；候選態則代表循環神經網絡歸納出的滑坡新位移信息。

1.3 門控循環單元(GRU)

更新門：zt=σ(Wz·[ht-1,xt])

(9)

重置門：rt=σ(Wr·[ht-1,xt])

(10)

(11)

(12)

式中，σ代表Sigmoid激活函數，Wz·、Wr·、W·代表待訓練參數矩陣，其余參數含義同LSTM。更新門決定當前時間步t的滑坡位移輸入特征xt是否對網絡產生影響；重置門決定新的滑坡位移輸入特征與歷史滑坡位移信息相結合的方式；記憶體則通過更新門將長期滑坡位移信息與短期滑坡位移信息相結合；候選隱藏層代表現在的滑坡位移信息，其由過去滑坡位移信息通過重置門和當前滑坡位移輸入特征xt共同決定。

1.4 遺傳算法(GA)及其優化的循環神經網絡

遺傳算法是一種通過模擬自然進化過程搜索最優解的方法。該算法利用計算機進行仿真運算，將問題求解過程轉換成染色體基因的交叉、變異等過程，適合求解較復雜優化問題。鑒于遺傳算法的良好拓展性且易與其他算法相結合的特性[12]，適用于循環神經網絡參數尋優，可避免人工設置循環神經網絡參數的盲目性，提高循環神經網絡預測的運行效率和準確度。

基于遺傳算法優化循環神經網絡預測模型技術路線主要可分為以下6個步驟(圖1)：

1)產生初始種群。設置種群規模、交叉概率、變異概率與進化代數。隨機產生初始種群，每個個體基因編碼為[P，N1，N2，N3]，其中P表示神經網絡層數，范圍為1～3；N1、N2、N3分別代表第1層、第2層和第3層記憶體數量。

2)計算適應度。適應度函數設計為均方誤差的倒數乘以常系數k，這樣就將尋求均方誤差最小的目標轉化為搜索適應度最高的個體，即最佳網絡結構參數。根據個體基因編碼配置循環神經網絡的網絡結構參數，訓練模型并進行預測。根據預測結果計算第i組網絡結構參數的適應度fi：

(13)

3)選擇。該運算利用每組網絡結構參數的適應度占種群適應度總和的比重決定其遺傳到下一代的可能性。若設種群數為n，第i組網絡結構參數的適應度為fi，該組參數在進化中遺傳的概率pi可表示為：

(14)

4)交叉。以2組網絡結構參數為一對，將種群中所有網絡結構參數組合隨機分成若干對。每對參數組合給定一個0～1的隨機數p0，在給定交叉概率pc的情況下，若p0

5)變異。如果只進行交叉操作，適應度較高的某組網絡結構參數可能會造成算法過早收斂而陷入局部最優解。因此，需要對少量參數組合進行變異操作從而產生新的網絡結構參數組合。每組網絡結構參數給定一個0～1的隨機數p1，在給定變異概率pm的條件下，如果p1

6)逐代進化。循環計算適應度，由交叉和變異操作產生新的網絡結構參數組合，返回到步驟2)。進化結束時，種群中適應度最大的參數組合即為循環神經網絡的最佳參數組合。

圖1 基于遺傳算法優化循環神經網絡技術路線Fig.1 Technology road map of recurrent neural network optimized by genetic algorithm

2 滑坡時序位移預測實例

2.1 示范實驗區滑坡概況與監測信息

黑方臺位于甘肅省永靖縣鹽鍋峽鎮，是我國典型且近年最為頻發的黃土滑坡災害域之一。黑方臺為典型黃土塬地貌，其上堆積有離石黃土和馬蘭黃土。離石黃土在臺塬北部堆積而在臺塬南部則無大量堆積。馬蘭黃土在研究區內分布廣泛，堆積厚度約為25～50 m。粘土層(4～17 m)結構致密，具有弱透水性，其下為卵礫石層(2～5 m)，透水性較好，最下層為單斜構造的砂質泥巖[13]。本文所選典型滑坡體黨川6#位于永靖縣西北向約25 km的黑方臺臺塬南側，黑方臺曾發生過多起滑坡災害事件，本次滑塌事件發生于2019-03-26。

為精細刻畫出滑坡體運動變形過程，依據切線角判別法作為滑坡階段演變的劃分依據。對HF08北斗監測偏移量進行分析發現，黨川6#滑坡體是一個較典型的漸變破壞型滑坡體?；麦w從2018-11-03～2019-01-24為等速變形階段(α≈45°)，2019-01-25～03-12為初加速變形階段(45°<α<80°)，2019-03-13～03-24為中加速變形階段(α≥80°)，2019-03-25起滑坡則進入臨滑階段[14]。

鑒于研究區域滑坡災害具有多發性，長安大學空間定位與災害監測研究所在該區域建設了由12個北斗監測站組成的滑坡位移實時監測網絡(基準點為HF01)，此外還布設了12個位移計監測點(圖2)。

HF**為北斗監測站，DCF**為位移計監測站，白色虛線框代表黨川6#典型滑坡體圖2 黑方臺黨川6#典型滑坡區域監測站點分布Fig.2 Distribution of monitoring stations of 6# typical landslide in Dangchuan, Heifangtai

2.2 循環神經網絡位移預測分析

本文以黨川6#滑坡體2019-03-26滑塌事件為例，選取該滑坡體上HF08北斗監測站和DCF10位移計監測數據，數據段均為2018-10-25～2019-03-25，數據采樣間隔為1 h，經聚合運算后轉換為間隔1 d的時間序列，最終獲得的位移計與北斗監測數據均為152期。需要說明的是，DCF10位移計監測的是滑坡體的后緣裂縫寬度變化，位移計累積位移的量值在2019-01-14為11.43 mm，2019-03-25為85.79 mm，2個時段位移計的累積位移變化了74.36 mm。HF08北斗監測站監測的是滑坡體E、N、U三個方向的位移，其中E方向累積位移量值在2019-01-14為-29.86 mm，2019-03-25為-94.67 mm，2個時間段累積位移變化了-64.81 mm；N方向累積位移量值在2019-01-14為-62.63 mm，2019-03-25為-190.91 mm，累積位移變化了-128.28 mm；U方向累積位移量值在2019-01-14為-97.86 mm，2019-03-25為-357.69 mm，累積位移變化了-259.83 mm。為同時對兩類滑坡時序監測數據進行高精度預測分析，將北斗三維監測數據歸算至偏移量，并聯合位移計監測獲得的滑坡后緣裂縫累積位移形成位移時間序列。位移時間序列進行歸一化處理后，取前5 d的累積位移和偏移量作為訓練輸入特征，第6 d的數據作為訓練輸出結果。訓練數據構建成三維結構，第1個維度為樣本數量(147個)，第2個維度為樣本長度(5 d)，第3個維度為輸入特征維度(2類)；測試數據構建成二維結構，第1個維度為樣本數量(71個)，第2個維度為輸出特征維度(2 d)；采用測試集作為驗證集，每迭代一次使用驗證集驗證一次結果。

實驗采用Keras-Sequential方法分別搭建SimpleRNN、LSTM、GRU三種循環神經網絡預測模型，配置均方誤差作為損失函數，配置訓練方法為自適應矩估計(加速神經網絡的訓練)，配置自動保存網絡權重參數。循環神經網絡一般很少超過3層。記憶體數量太少或太多均會導致模型的預測精度降低，而記憶體數量越多則網絡規模越大，網絡權重參數越多，模型訓練時間也就越長。因此，基于實測數據經多次測試后，本文構建3種循環神經網絡模型時網絡結構參數(神經網絡的層數及記憶體數量)均設置為[2，10，10，0]。

基于黨川6#滑坡體的HF08北斗監測偏移量和DCF10位移計監測累積位移，首先采用SimpleRNN、LSTM、GRU三種循環神經網絡分別進行訓練和預測，訓練過程中，循環核按時間步展開，記憶體根據更新公式進行刷新，最后循環核提取滑坡位移數據的時間特征后將其送入全連接網絡。經30次迭代后，3種神經網絡均收斂，模型預測結果與實測結果對比如圖3所示。

圖3 3種循環神經網絡預測模型預測值與觀測值對比Fig.3 Comparison of prediction and observation results of the three kinds of recurrent neural network models

從圖3可看出，3種循環神經網絡對滑坡的等速和大部分初加速變形趨勢整體上能進行較好的預測，但在部分滑坡初加速、中加速和臨滑變形階段則相差較大，GRU整體的預測效果相比SimpleRNN與LSTM略好。

由表1可定量看出，SimpleRNN(HF08)、SimpleRNN(DCF10)預測均方根誤差分別為18.2 mm、5.3 mm；LSTM(HF08)、LSTM(DCF10)預測均方根誤差分別為10.6 mm、4.4 mm，可見LSTM在解決長時序預測問題上較SimpleRNN具有優勢；而GRU(HF08)、GRU(DCF10)預測均方根誤差僅分別為7.9 mm、3.2 mm。此外，計算得到LSTM網絡權重參數總量為1 371，而GRU網絡權重參數總量則為1 091，表明GRU網絡中的參數較LSTM少，這也與GRU網絡模型復雜度較LSTM更低、訓練速度更快、收斂時間更短且預測精度更高的優異性能相符。

表1 3種循環神經網絡對HF08北斗與DCF10位移計位移時序預測精度對比

2.3 基于GA優化的循環神經網絡高精度位移預測分析

當前對循環神經網絡中參數的選取多是憑經驗進行手動調參或是采用效率低下的網格搜索法，這些做法主要有兩點弊端：一是計算效率低下，二是建立的網絡魯棒性差。因此，本文進一步基于§1.4優化策略引入遺傳算法改進循環神經網絡，使其具有自動調參功能。

在執行遺傳算法時有4個參數需提前設定，這些參數一般在以下區間內進行設置：群體大小為20～100，交叉概率為0.4～0.99，變異概率為0.000 1～0.1，進化代數為10～500。上述4個參數的設置均會影響到網絡結構參數以及計算效率等，如種群規模太小進行交叉操作時會產生低效的網絡結構參數，規模太大則難以收斂；交叉概率太小也不能有效更新參數庫且易導致有效參數迅速丟失，交叉概率太大則易破壞現有參數庫且會破壞已找到的較優解；進化代數太小會導致算法不易收斂，進化代數太大又會浪費計算資源。因此，本文基于實測數據經多次測試，應用遺傳算法進行參數尋優時最終設置如下：種群個體為40，交叉概率為0.5，變異概率為0.1，進化代數為20，記憶體數量搜索范圍為10～50，變異范圍為50～100[15]。

經遺傳算法優化循環神經網絡調參，僅在20次種群進化后3種循環神經網絡算法在搜索空間即能快速找到最優解(對應神經網絡的層數及最佳記憶體數量)：遺傳算法對SimpleRNN、LSTM與GRU分別進行優化后得到的最優網絡結構參數分別為[2，24，10，0]、[3，19，24，47]與[3，21，18，36]。圖4顯示，GA-SimpleRNN的種群平均適應度在進化中從121.71逐漸上升至191.92，GA-LSTM從28.34逐漸上升至209.05，GA-GRU則從780.86逐漸上升至1 048.04?；谶z傳算法改進的3種循環神經網絡種群平均適應度變化曲線整體均呈現上升趨勢，這種特性體現了種群在進化中經過了優勝劣汰(輪盤賭法)、交叉、變異的算法優化過程。

圖4 基于遺傳算法改進的3種循環神經網絡預測模型種群平均適應度變化曲線Fig.4 Variation curves of population average fitness based on the three types of recurrent neural network models optimized by genetic algorithm

利用遺傳算法搜索得到的最優參數分別重新訓練3種循環神經網絡，優化后3種模型的預測結果與監測結果對比如圖5所示。

圖5 基于遺傳算法優化后3種循環神經網絡預測模型預測值與觀測值對比Fig.5 Comparison of prediction and observation results of the three kinds of recurrent neural network models optimized by genetic algorithm

對比圖3和圖5可明顯看出，基于遺傳算法優化后的3種循環神經網絡較優化前對滑坡變形趨勢無論在滑坡初加速與中加速變形，還是加速變形階段均表現出更優的預測性能，特別是GA-GRU模型預測值與觀測值相關系數達到0.99。

對比表1和表2可以直觀定量地看出，遺傳算法優化后的3種循環神經網絡整體預測性能均較優化前有顯著提升，其中GA-SimpleRNN(HF08)、GA-SimpleRNN(DCF10)預測的均方根誤差分別為7.2 mm、3.0 mm，較優化前的SimpleRNN(HF08)與SimpleRNN(DCF10)分別減少11.0 mm與2.3 mm；GA-LSTM(HF08)、GA-LSTM(DCF10)預測的均方根誤差分別為6.9 mm、2.3 mm，較優化前的LSTM(HF08)與LSTM(DCF10)分別減少3.7 mm與2.1 mm；GA-GRU(HF08)、GA-GRU(DCF10)預測的均方根誤差僅分別為3.1 mm、1.7 mm，較優化前的GRU(HF08)與GRU(DCF10)分別減少4.8 mm與1.5 mm。

表2 基于遺傳算法優化后3種循環神經網絡模型對時間序列的預測精度對比

為進一步展示遺傳算法優化后的3種循環神經網絡在位移計與北斗監測時序位移預測中的突出優勢，綜合給出神經網絡優化前后模型預測精度對比柱狀圖(圖6)。由圖可見，優化后的3種循環神經網絡無論在位移計還是在北斗監測時序位移的預測中其預測性能均有顯著提升，其中GA-GRU相較于GA-SimpleRNN與GA-LSTM在滑坡位移時間序列預測中表現出更優的預測性能。

圖6 遺傳算法優化前后的循環神經網絡預測模型對比Fig.6 Comparison chart of recurrent neural network prediction models before and after genetic algorithm optimization

3 結 語

本文針對循環神經網絡預測模型存在的預測精度低，特別是調參困難的突出問題，通過引入遺傳算法用于改進循環神經網絡參數的自動化最優選取，構建出GA-SimpleRNN、GA-LSTM和GA-GRU三種改進循環神經網絡預測模型，并將其成功應用于我國典型黃土滑坡區域黑方臺黨川6#滑坡體形變時間序列高精度預測研究，取得主要結論如下：

1)遺傳算法可對循環神經網絡層數及每層網絡記憶體數量進行隨機搜索且自動確定出最佳參數組合，從而優化循環神經網絡結構，顯著提高網絡預測性能。

2)3種基于遺傳算法改進后的循環神經網絡預測模型的預測均方誤差、均方根誤差、平均絕對誤差均較改進前循環神經網絡預測精度更高，特別是GA-GRU模型預測精度最優，更加適用于滑坡長時間時序位移的高精度預測。

本文構建出一種主要針對滑坡時序監測位移的改進循環神經網絡預測模型，但在實際中影響滑坡高精度預測的因素極為繁雜。隨著深度學習算法研究的不斷發展，結合滑坡多源監測數據、先進深度學習算法、滑坡外部多環境影響因素及滑坡自身地質條件的滑坡災害綜合高精度預測模型將是本文下一步重點研究方向。