基于正交參數優化的LSTM結構變形預測模型①

甘文娟,陳永紅,韓 靜,王亞飛

(長安大學 信息工程學院,西安 710064)

1 引言

隨著社會大型建筑需求量的增大,在結構施工和運營過程中,自動監測已成為不可缺少的內容,通過現代化、自動化的技術對結構關鍵部位進行變形監測,對監測數據進行分析,可以對結構的安全狀態進行預測和評價.基于結構實測數據來建立科學的預測模型,能夠及時、準確地掌握結構的變形發展趨勢,有效地減少安全事故,對降低生命財產損失、保障結構安全性具有重要的意義.

國內外學者對變形預測模型做了大量研究工作,現有的預測模型分為如下幾類:回歸預測模型、灰色模型、時間序列模型、神經網絡模型及組合預測模型.由于引起結構變形的因素有很多,因此不同的預測模型對不同的監測數據有各自的適應性.

回歸分析是確定結構變形與相關變形因素之間關系的數理統計方法,基于回歸的預測在處理較少的變量和大量可靠有效的數據時最為有效[1],常用于大壩[2]及邊坡[3]的變形預測,Dai 等[4]研究了基于統計模型和隨機森林回歸(RFR)模型的混凝土壩變形預測方法,RFR方法根據不同的重要性提取具有代表性的影響因素,然后用影響因素描述混凝土壩的變形,結果表明,RFR模型可用于其它結構行為的分析和預測.由于回歸分析模型屬于靜態模型,沒有充分考慮到結構監測數據之間的長期記憶性,因此有一定的局限性.1982年,Deng[5]提出灰色系統理論(GST),而基于非統計方法的灰色預測模型是灰色理論的重要內容之一,具有對于不確定因素的復雜系統預測效果較好,所需樣本數據較小的優點.朱惠群等[6]在傳統灰色GM(1,1)模型的基礎上,利用模糊數學思想,建立灰色和模糊馬爾可夫鏈模型的滑坡變形預測模型,通過優化誤差提高預測精度.郝忠等[7]建立了不等間距多變量灰色模型來預測路基沉降變形,該模型通過灰導數和背景值對模型進行優化,可以精確有效地預測沉降變形.但灰色系統要求累加生成的新數據序列具有灰指數規律,這限制了在結構變形預測中的廣泛應用.由于結構變形數據是典型的時間序列,常用的時間序列分析方法有自回歸移動平均模型(ARMA)及其改進方法自回歸差分移動平均模型(ARIMA).陳國良等[8]建立了基于ARMA 的變形預測模型,實測數據分析結果表明,該方法具有較高的可靠性和準確性.徐北海等[9]利用ARIMA 和ARMA 對結構變形進行預測,通過分析結構的時域特性,能夠準確反映建筑物的變形.時間序列分析要求數據是線性的、穩定的,而工程結構變形監測數據具有復雜的非線性特征,這將影響模型預測的準確性.

近年來,神經網絡及其改進算法在結構變形預測中得到充分的應用.Luo 等[10]提出一種基于TS 模糊神經網絡的軟土地基沉降變形預測模型,結果表明該方法僅適用于短期沉降.Gao 等[11]采用人工神經網絡方法提取大壩變形特征,預測大壩長期靜態變形.而神經網絡的預測結果受樣本類和模型參數的影響較大,容易陷入局部最優.

由于需要考慮的變形因素較多,單個模型難以達到預期的預測精度.因此,針對單一模型存在的問題,常采用組合預測模型對結構變形進行預測[12-15].Jiang 等[13]提出了最小二乘支持向量機-馬爾可夫鏈模型(LS-SVMMC),通過誤差修正來提高大壩預測精度.Chen 等[14]通過徑向基神經網絡(RBF-NN)和核主成分分析(KPCA)建立了土壩安全監測模型.為了提高橋梁結構變形預測精度,Xin 等[15]建立了廣義自回歸條件異方差Kalman-ARIMA-GARCH 模型.組合預測模型結合了不同模型的優點,但其預測性能受融合算法的影響較大,融合算法在結構變形預測模型中也是一個難點.

隨著信息技術的發展,變形監測數據正在進入大數據時代,利用人工智能方法,特別是深度學習,來預測結構變形成為一種趨勢.基于循環神經網絡(RNN)改進的LSTM 模型能夠克服RNN 的問題獲得時間序列的長期依賴關系,Yang 等[16]利用LSTM 模型預測滑坡的周期性位移.結果表明,LSTM 模型能夠充分利用歷史信息,獲得長時間的序列記憶,提高模型的性能,但也存在參數多、訓練時間長的問題.

因此,結合LSTM 模型的優點,本文提出基于正交參數優化的LSTM 結構變形預測模型,采用LSTM 網絡提取變形時間序列的特征,通過全連接得到預測輸出,最后采用正交試驗進行參數優化,篩選出最佳試驗方案從而確定最優的模型參數組合.既減少試驗次數與試驗時間,也最大限度保證試驗結果的準確性.實測數據對模型進行驗證,結果表明,與現有預測模型相比,該方法預測誤差較小,精度較高,是一種合理有效的結構變形預測模型.

2 基本理論

2.1 循環神經網絡

RNN 作為一種典型的神經網絡(圖1),依然由輸入層,隱藏層,輸出層組成,其本質特點是在網絡層中既有前饋連接又有反饋連接,因此網絡的輸出取決于當前時刻的輸入和前一時刻隱藏層的輸出,能夠有效利用時間序列的依賴關系來獲得時間特征,使它在處理時間序列上有更大的優勢.同時RNN 模型也存在問題,當時間跨度過大時,會出現由于梯度爆炸和梯度消失而導致RNN 模型難以訓練,預測結果不準確等問題.

圖1 RNN 網絡模型展開圖

2.2 長短時記憶模型

針對RNN 模型的長距離依賴的問題,它的改進模型LSTM 應運而生,可以有效解決梯度爆炸、梯度消失的問題.模型結構如圖2所示,LSTM 選擇用“記憶塊”代替傳統的隱含節點,“記憶塊”中加入3 個門函數,分別為輸入門、遺忘門、輸出門,每個門都使用σ激活函數來控制,內部具體結構如圖3所示.

圖2 LSTM 模型結構圖

圖3 LSTM 記憶塊結構圖

在LSTM 網絡模型中引入一個新的內部狀態ct來進行線性信息傳遞,同時將非線性輸出信息給隱藏層ht的外部狀態,每個記憶塊的具體計算公式如下:

其中,it、ft、ot、ct、ht分別代表的是輸入門、遺忘門、輸出門、記憶細胞以及隱含層,在t時刻的輸出值;xt為t時刻的輸入,ct-1和ht-1分別為記憶細胞和隱含層在t-1時刻的輸出,是通過非線性函數得到的候選狀態;W∈R4d×(d+e)和b∈R4d為網絡參數,W表示權重矩陣,b表示偏置向量,t anh(·)和 σ (·)為 激活函數,⊙表示向量元素乘積.

2.3 正交試驗

正交試驗是通過正交表來研究多因素多水平的實驗方法,它以均勻性和正交性為原則,通過選擇對試驗結果影響較大的因素,用部分實驗可以有效代替全面實驗,能夠從中找出優化的參數組合,具有效率高,準確度高的優點.通過分析可能影響模型預測性能的參數,試驗時采用的正交試驗表為L16(45),也就是因素種類確定為5 種,每種因素的水平設置為4 個等級,和非正交實驗次數相比,能夠大大提高了實驗效率.

3 基于正交參數優化對的LSTM 結構變形預測模型

為保證結構的安全,采用自動化的監測設備對結構變形進行監測.通過對監測數據的分析,能夠科學預測未來結構的變形趨勢.本文結合LSTM 的優點,提出一種基于正交參數優化的LSTM 結構變形預測模型,LSTM 的變形預測模型分為3 個部分,數據的預處理、網絡的訓練和模型測試及參數優化.

假設X=[x1,x2,···xi,···xN]是由單個傳感器監測的結構數據(N是采樣點數).根據結構變形數據確定LSTM 網絡的訓練集輸入輸出和測試集的輸入輸出.前面M個樣本點作為訓練集,后面的N-M個樣本點作為測試集,訓練集的輸入和目標輸出為式(4)和式(5).

式中,L是滑動窗口的長度,Xtr是訓練輸入,Ytr是目標輸出,式(6)是LSTM 模型函數,是訓練輸出.

模型的預處理包括數據插值和歸一化處理.

模型訓練的時候加入正則化防止過擬合,用Adam優化算法來更新網絡的權重.首先,初始化模型中的所有參數θ;然后利用LSTM 網絡提取的時間特征作為全連接層的輸入,通過線性關系得到訓練輸出.再根據損失函數調整模型參數,求出參數θ 的最優解.

模型測試及參數優化過程如圖4所示,通過測試輸入XT,提取序列的時間特征,根據公式(8)得到預測輸出,經過正交試驗,找到誤差最小的預測值作為最終預測結果.

在式(8)中,W和b是通過訓練獲得的參數,St是經過網絡輸出的時間特征,g(·)是激活函數,本實驗中激活函數采用線性激活函.

本實驗具體步驟如下:

步驟1.對原始數據進行插值和歸一化,并劃分訓練集和測試集.

步驟2.將訓練集輸入LSTM 模型進行訓練,得到最優預測模型,也就是找到使目標值和預測值之間的誤差最小化的參數.

步驟3.通過測試集驗證預測算法的準確性.

步驟4.通過正交實驗對LSTM 模型的參數進行優化,并將最優參數對應的預測結果作為模型的最終預測結果.

圖4 LSTM 預測模型

4 實驗

4.1 數據及數據預處理

為驗證模型的有效性,利用天津地鐵5 號線地下隧道沉降數據進行了試驗研究.監測時間為2016年3月10日至2016年12月29日,共計131 個點.由于在數據采集、傳輸、存儲以及分析過程中可能導致數據錯誤或者數據缺失,且小樣本無法驗證模型的有效性.因此,在建立預測模型之前對變形數據進行插值.本文采用三次樣條插值方法將原始數據轉換為1310 個點.為了加快速度梯度下降,尋求最優解,提高準確性,把數據歸一化,再將數據的前70% 的作為訓練集,后30%作為測試集,歸一化具體公式如下:

在式(9)中,Xi代表原始時間序列,Xmin代表序列的最小值,Xmax代表序列的最大值,代表歸一化后的數據.

從圖5可以看出,結構監測數據可以反映地表累積沉降的變化趨勢.插值數據和歸一化數據的趨勢與原始數據是一致的,即使在拐點處也能與原始數據很好地吻合.

圖5 數據預處理

4.2 模型評價指標

評價預測模型精確程度的常用指標有均方誤差(Mean Square Error,MSE)、均方根誤差(Root mean Square Error,RMSE)、平均絕對誤差(Mean Absolute Error,MAE)、平均絕對百分比誤差(Mean Absolute Percentage Error,MAPE)等,在本實驗中選取RMSE、MAE、MAPE作為評價指標,具體計算公式如下:

在式(10)～式(12)中,yi為結構的實際變形值,為結構的變形預測值,N為預測樣本個數.

4.3 實驗結果及分析

4.3.1 模型參數優化

LSTM 模型的超參數對預測結果的影響很大,因此通過分析對模型預測性能影響較大的參數,將正交試驗的因素種類設置為LSTM 預測模型的迭代次數、隱含層節點個數、學習率、輸入層節點數、批處理大小,分別用A、B、C、D、E 表示,并依據現有經驗將每種因素的水平設置為4 個等級,分別用數字1、2、3、4 表示,具體的參數設置情況如表1所示.

表1 正交試驗因素種類及水平等級

為了驗證模型的準確性,每次實驗進行5 次并且取其平均值作為最終結果,表2列出了由正交試驗表設計的16 次模型參數優化試驗的試驗結果.通過分析模型預測結果的RMSE、MAE、MAPE及運行時間,以預測誤差最小、準確率最高及運行時間相對較短為原則篩選出模型性能最優的模型參數組合.

表2 正交試驗及試驗結果

由表2的實驗結果可知,在實驗編號為3 的各類誤差最小,運行時間相對較短,因此選取其對應的參數組合作為模型的最優參數.即迭代次數為500,隱藏層節點數為16,學習率為0.01,輸入層節點數為7,批處理大小32,預測結果如圖6.

由圖6可見,模型的預測值和真實值非常接近,在拐點處也能很好的擬合,表明LSTM 模型在結構變形的時間序列上有很高的預測效果.

圖6 模型預測結果圖

4.3.2 模型對比分析

本實驗通過LSTM 模型與其他常用預測模型的結果對比分析,來驗證LSTM 模型在結構變形預測領域的有效性,預測模型有小波神經網絡(Wavelet Neural Network,WNN)、深度置信網絡-支持向量回歸(Deep Belief Networks,Support Vector Regression,DBNSVR)、門控循環單元(Gated Recurrent Unit,GRU),由于超參數對于模型的預測精度來說至關重要,因此經過多次試驗的交叉驗證選取模型的最佳超參數值,通過上述預測模型的對比實驗,具體結果如圖7所示.

圖7 不同模型對比實驗

圖7可知WNN 預測結果最差,整體能夠反映數據變化的趨勢,局部差異性很大,與WNN 相比較,組合預測模型DBN-SVR 的性能較好,但是不如基于門控循環神經網絡的GRU 模型,這是因為GRU 模型通過各種門把需要的信息盡可能的保留,有選擇的遺忘不需要的信息,更好地捕捉時間序列中時間步距較大的依賴關系.基于正交參數優化的LSTM 模型的預測效果最好,其預測值與真實值吻合度最高,對應的曲線圖基本重合,利用記憶塊更好地控制模型的記憶長短,充分提取時間特征.且通過真實結構變形數據的驗證,充分說明本文提出的基于正交參數優化的LSTM 結構變形預測模型在實際應用時具有很好的可行性.為了明確不同預測方法的具體誤差值,不同模型的性能比較結果如表3所示.

由表3可知,與WNN、DBN-SVR、GRU 和LSTM模型相比,基于正交參數優化的LSTM 結構變形預測模型的RMSE分別降低了79.10%、58.75%和30.18%,平均RMSE降低56.01%.模型的平均MAE分別下降78.73%、53.08%和27.01%,平均MAE下降52.94%.模型的MAPE分別下降了78.57%、53.25%和26.53%,平均MAPE下降了52.78%.預測結果表明,與傳統模型相比,該模型的誤差較小,預測精度較高.

表3 不同模型性能比較

5 結論

針對現有預測模型存在的問題,本文提出了一種基于正交參數優化的LSTM 結構變形預測模型.由于結構變形數據具有時間相關特性,通過LSTM 模型得到時間序列的長期記憶,能夠有效提取時間特征.通過正交實驗來獲得網絡的最優超參數組合,最后得到預測結果,既減少實驗時間,也保證了預測精度.最后通過與WNN、DBN-SVR 和GRU 模型的預測結果分析,表明基于正交參數優化的LSTM 結構變形預測模型在處理結構變形時間序列時具有較小的預測誤差,能夠為結構變形預測提供科學依據.