基于融合自注意力機制的GRU邊坡預測算法研究

賈學明,黃 河,毛友平,周 偉

(招商局重慶交通科研設計院有限公司,重慶 404100)

0 引言

邊坡的穩定性預測對于保障人員和財產安全至關重要。然而,傳統的邊坡預測方法往往無法準確捕捉邊坡演化的復雜性和非線性特征[1-2]。近年來,基于循環神經網絡(Recurrent Neural Network,RNN)的深度學習技術在時序數據建模和預測方面取得了顯著進展[3],但是傳統的預測模型難以捕捉到序列中不同位置之間的復雜依賴關系,導致預測結果的不穩定。為解決長時間序列預測趨勢偏差太大的問題,本研究提出了一種基于融合自注意機制的門控循環單元(Gate Recurrent Unit,GRU)邊坡預測算法,旨在提高預測準確性和可靠性。自注意機制能夠加權不同位置的序列元素,更好地關注關鍵時間步,捕捉到邊坡演化的重要特征,從而實現邊坡趨勢的有效預測。

本文詳細介紹了融合自注意機制的GRU模型的原理和方法,并建立了神經網絡模型。實驗驗證了該算法在不同邊坡數據集上的性能,與傳統方法進行了對比分析。本研究的成果對于邊坡管理和風險防控具有重要意義。提高邊坡預測的準確性和可靠性,可以及時發現邊坡的潛在風險,并采取相應措施進行干預和修復。該研究為深入理解邊坡演化機制和優化預測模型提供了借鑒價值。合理應用基于融合自注意機制的GRU邊坡預測算法,為邊坡工程的安全性和穩定性提供可靠保障。

1 基于融合自注意力機制的GRU邊坡預測算法

1.1 循環神經網絡

循環神經網絡是一種能夠處理序列數據的神經網絡模型。與傳統的前饋神經網絡不同,RNN可以循環連接,使得信息能夠在網絡內部進行傳遞和保存。這種內部的循環結構使得RNN能夠對序列數據中的時間依賴關系進行建模。

RNN的核心思想是在每個時間步,網絡會接受當前輸入和上一個時間步的隱藏狀態,并輸出當前時間步的隱藏狀態和預測結果。這種隱藏狀態的傳遞和更新機制使得網絡能夠通過時間的推移捕捉到序列數據中的動態模式和信息[4]。

1.2 門控循環單元

門控循環單元是一種循環神經網絡(RNN)的變體,旨在解決傳統RNN模型中的梯度消失和梯度爆炸問題。GRU通過引入更新門(Update Gate)和重置門(Reset Gate)來控制信息的傳遞和遺忘,從而在序列數據建模中表現出色。

GRU的核心思想是在每個時間步,它接受當前輸入和上一個時間步的隱藏狀態,并輸出當前時間步的隱藏狀態。通過引入更新門,GRU能夠決定應該從上一個時間步的隱藏狀態中保留多少信息。更新門可以控制隱藏狀態的更新幅度,從而更好地處理長期依賴關系。此外,GRU還引入了重置門,用于控制隱藏狀態中歷史信息的遺忘程度,使模型能夠更好地適應不同時間步的序列模式[5-6]。結構如圖1所示。

圖1 GRU結構

GRU相對于傳統的RNN模型具有更少的參數和更高的計算效率,同時在某些任務上表現出更好的性能。它適用于處理序列數據,如自然語言處理、語音識別、時間序列分析等領域。在邊坡預測中,GRU能夠學習邊坡序列中的演化規律,通過隱藏狀態的傳遞和更新,提取序列中的重要特征,并進行預測和分析。GRU在邊坡預測中的應用可以提高預測的準確性和可靠性,有助于邊坡工程的安全性評估和風險控制。

1.3 自注意力機制

自注意力機制(Self-Attention Mechanism)是一種用于建模序列數據中元素之間相互關系的技術。它被廣泛應用于自然語言處理和計算機視覺等領域,用于捕捉序列中不同位置之間的依賴關系和重要性。

自注意力機制通過計算序列中不同元素之間的關聯度(或稱為注意力權重),來確定不同元素在模型計算中的重要性。具體來說,自注意力機制引入了3個線性變換:查詢(Query)、鍵(Key)和值(Value)。通過計算查詢和鍵之間的相似度,得到注意力權重,然后將權重與值相乘得到加權值的總和作為輸出[7]。

自注意力機制的優勢在于能夠對不同位置之間的依賴關系進行建模,無論這些位置在序列中相隔多遠。這使得模型能夠在處理長序列時更好地捕捉到全局上的依賴關系,而不僅僅局限于局部信息。此外,自注意力機制還具有并行計算的特性,使得模型能夠高效地處理大規模序列數據[8]。

在邊坡預測中,自注意力機制可以用來對邊坡序列中的不同時間步進行加權處理,從而更好地關注重要的時間步和邊坡特征。通過引入自注意力機制,邊坡預測模型能夠更準確地捕捉到邊坡演化過程中的關鍵特征,提高預測的準確性和可靠性。

1.4 融合Self-Attention的GRU的預測模型

GRU作為序列建模的經典模型,具有門控機制,可以有效地處理長期依賴問題[9]。通過引入自注意力機制,注意力機制模塊用于計算輸入序列的自注意力權重[10-11],將自注意力權重與隱藏狀態的更新和輸出相結合。模型可以更加有效地關注傳感器數據跳變部分,并將相關信息加權融合到隱藏狀態和輸出中,以增強模型對序列數據的建模能力和表征能力。融合自注意力機制的GRU預測模型如圖2 所示。

圖2 融合自注意力機制的GRU預測模型

2 實驗驗證

2.1 實驗環境

本實驗采用Python3.8進行編程,Pytorch作為模型基本框架實現,學習率為0.001,優化器選擇Adam,120個epoch進行訓練,實驗環境具體信息如表1所示。

2.2 數據集構建

本文數據集來源于邊坡監控企業實測數據,結合業主對于短期監測趨勢預測的需要,從已安裝的傳感器中,選取典型的位移傳感器3個月數據,共1 680個數據點作為數據集,其中訓練80%作為訓練集,20%作為測試集。

2.3 處理異常值

邊坡監測設備中,由于測量誤差、環境變化、元器件特性、測量方法、數據采樣和外部干擾等,導致采集到的元數據存在抖動數據。處理抖動數據,可以最小化抖動對數據分析和解釋的影響。

中值濾波是一種非線性數字濾波器[12-13],它使用濾波器窗口內所有數據點的中位數來替換每個數據點的值。與其他濾波器不同,中值濾波器對于去除脈沖噪聲或其他不規則噪聲效果明顯。傳感器數據濾波前后如圖3所示。

圖3 數據濾波對比

2.4 重復值處理

由于同一時刻采集到多組數據映射到時間軸上且由于設備采樣頻率不穩定,采集的原始數據中,會產生異常跳變數據。在正常情況下,設備的采樣間隔為每1 h采集1個樣本點,但是在實際的工程應用中,由于設備及通信環境的不穩定性,導致設備在很短的時間間隔進行了多次采樣,反映在折線圖中就會產生斜率很大的折線,如圖4所示。重復數據通常根據時間數據一對一的關系,直接剔除第二個重復數據。處理后的數據如圖5所示。

圖4 重復數據

圖5 重復數據處理結果

2.5 預測消融實驗

經過前期數據預處理后,分別構建雙層LSTM、GRU、SA-GRU,將預處理后的數據輸入模型中進行訓練,訓練完成后對傳感器未來48個數據點(4天)趨勢進行預測。實驗結果如圖6—8所示。通過對傳感器的預測消融實驗對比分析可知,LSTM模型能夠對過去某一段數據變化趨勢進行預測,但對于整體的變化趨勢預測效果不佳,如圖6所示。GRU模型與LSTM模型對于未來趨勢預測效果類似,能對于大致趨勢進行預測,但預測值出現了較大范圍的整體躍變情況,不完全符合工程中的變化規律,如圖7所示。融合自注意力機制的SA-GRU預測模型在整體變化趨勢上,捕捉了歷史的變化規律,短期變化趨勢也有較好的預測效果,對于未來趨勢的預測更符合實際變化規律,如圖8所示。本實驗的證明,對于未來一段時刻的邊坡趨勢預測,SA-GRU能夠較好地捕捉歷史變化規律,更好地預測效果。

圖6 LSTM模型預測結果

圖7 GRU模型預測結果

圖8 SA-GRU模型預測結果

3 結語

本文針對邊坡穩定性預測的準確性和可靠性存在的誤報和漏報問題,融合自注意力機制的GRU模型,解決了邊坡形變監測中趨勢預測值與實際變化趨勢吻合度差的問題。文章對歷史邊坡監測數據進行預處理,構建基于GRU的循環神經網絡模型;為了捕捉序列中的長期依賴關系,引入了自注意機制,以增強模型的關注能力;通過訓練和優化模型,使用歷史數據來學習邊坡的演化規律,并預測未來邊坡的狀態;通過與實際觀測數據的比較,評估了模型的預測性能。實驗結果表明,融合自注意機制的GRU邊坡預測算法在邊坡預測方面具有較高的準確性和可靠性,為邊坡管理和風險防控提供了重要參考依據。

雖然本文方法在邊坡預測取得了一定效果,但是對于不同的邊坡類型,需要確定不同的模型參數,因此,研究人員有必要探索樣本更小、預測時間更長的預測方法。針對樣本數量較少的數據,研究人員可以加入增強學習算法或者增加更多傳感器種類數據作為預測模型訓練數據,從而進一步提高整體邊坡預測準確度。