基于深度學習框架的長序列大壩監測缺失數據插補模型

雷 未,王 建,吉同元,李鵬飛

(1.河海大學水利水電學院,江蘇 南京 210098; 2.華設設計集團股份有限公司,江蘇 南京 210014)

通過大壩安全監測手段獲得的大量監測數據可為大壩運行狀態提供評價依據。然而,由于儀器故障、系統停機、傳感器老化、人為干擾等因素,不可避免地會發生監測數據丟失的情況,這給大壩安全的客觀診斷帶來了困難。測點的部分數據缺失不利于數據綜合利用而影響整體安全評價;同時也會影響監測量可視化過程線的完整性。因此,需要針對大壩監測缺失數據提出一個有效的插補模型,以提高大壩結構監測的數據可靠性。本質上,傳感器缺失數據的重建,特別是針對大壩效應量缺失數據的重建可以被認為是一個回歸問題,可以通過因果模型建立外部荷載和大壩響應之間的關系來預測缺失部分的數據[1]。然而,在實際工程中大壩的行為可能取決于不可獲知的變量因素,對于成熟的監測模型也可能存在環境資料缺乏的情況,無法為因果模型提供完整的特征數據。此外,也可以通過附近測點來判斷目標測點的缺失值。這種插補模型通過分析測點序列的相似性,將高相似度的測點引入輸入特征集來調控缺失部位的插補結果[2]。但當實際工程中的測點分布較稀疏,找不到目標測點的高相似度測點,或該高相似度測點也存在相同時間段的數據缺失問題時,這種插補方式將不再適用。本文從監測量自身時間序列的角度,探究監測量在時間軸上的變化規律,結合過去監測值與未來監測值的發展趨勢對中間缺失數據進行插補。

目前,常用的缺失數據插補方法有拉格朗日插值法、均值法、最大頻率法等[3],這些方法理論簡單,操作方便,可以為少量零散的缺失部分提供較為準確的插補值。當面對長時間段的數據缺失情況時,通過以上填補技術則往往難以獲得高精度的填補數據。近些年國內外學者將許多新興的技術手段融入其中,并提出了很多優化插補模型,如支持向量機[4]、XGBoost[5]、高斯過程回歸[6]等。以上研究均是以傳統機器學習算法為導向,為解決數據缺失問題提供了較好的技術支持,但淺層機器學習算法依賴于一些需要人工設定的超參數,技術人員的操作經驗決定了模型的訓練效果。隨著神經網絡技術的發展,更加復雜層次的深度學習在相關領域中已取得重大突破[7-9]。深度學習存在兩個重要的分支——循環神經網絡(recurrent neural network,RNN)[10]與卷積神經網絡(convolutional neural network,CNN)[11]。RNN在傳統神經網絡的基礎上嵌入反饋、循環結構,具備記憶功能,但其結構相對簡單,只能設置為神經元之間權重共享的連接形式,因此RNN在梯度傳遞方面存在缺陷,無法解決長時依賴問題,從而無法得到預期的結果。長短期記憶神經網絡(long short-term memory,LSTM)作為RNN的一種變體,彌補了RNN的梯度缺陷,被廣泛應用于時間序列的預測分析[12-13]。CNN通過利用局部相關性和權值共享的思想,極大地減少了網絡參數,提高了訓練效率,更容易搭建超大規模的深層網絡。因此,CNN常被用于實現圖像識別[14]、圖像分類[15]以及目標檢測[16]等。

本文提出一種基于深度學習框架的雙向CNN-BiLSTM-Attention大壩監測缺失數據插補模型。該模型融合CNN與雙向LSTM(BiLSTM)的算法優勢,以提取大壩監測量時間軸的全局特征,同時引入注意力機制(Attention)來捕捉長時間序列中的依賴關系,進一步優化插補過程。此外,針對中間長序列缺失部位,按插補時間步遞減的權重融合時間序列正反向插補值,消除時間步累計誤差以提高插補精度。

1 雙向CNN-BiLSTM-Attention大壩監測缺失數據插補模型

1.1 CNN

作為深度學習的代表算法之一,CNN是一種包含卷積計算的具有深度結構前饋神經網絡。與傳統模型相比,CNN可以實現網絡結構中的參數共享,減少了模型訓練計算所需的內存。一維卷積神經網絡主要由輸入層、卷積層、池化層、全連接層和輸出層組成。輸入層接收完整的歷史觀測變形數據。一維卷積層將預設的卷積核應用于歷史觀測數據時間軸的特征提取,卷積核在輸入數據上滑動產生的一維濾波處理大壩監測數據y通常可以表示為

(1)

式中:xi-j+k為輸入時間序列;wj為卷積核的權重矩陣;b為偏差;k為卷積核個數。

得到濾波后的大壩變形特征數據后,需要通過池化層進行維數壓縮,以減少后續模型構建的計算量,同時賦予這些特征平移不變性,保證特征的可識別性。然后將這些降維特征與全連接層的神經元連接起來進行非線性回歸計算,最后通過輸出層輸出預測結果。

1.2 LSTM

圖1 RNN、LSTM 與BiLSTM結構

在LSTM基礎上,進一步引入雙向LSTM(BiLSTM),BiLSTM由分別獲得前部和后部特征的前向LSTM和后向LSTM組成。與LSTM相比,BiLSTM當前循環單元的狀態受前后數據的影響,因此在處理時間序列數據時可以更好地掌握整個數據流的信息。BiLSTM的結構如圖1(c)所示。圖中xi為輸入數據,yi為輸出數據,wi為權重。前向LSTM的隱藏層狀態Ai和后向LSTM的隱藏層狀態Bi以及BiLSTM的輸出數據按以下方程進行處理:

Ai=f1(w1xi+w2Ai-1)

(2)

Bi=f2(w3xi+w5Bi+1)

(3)

yi=f3(w4Ai+w6Bi)

(4)

1.3 注意力機制

注意力機制源于人腦的視覺信號處理模式,通過快速掃描信息以獲取人們想要關注的焦點與目標區域,無用的信息將被忽略。在深度學習中,注意力機制根據不同特征信息分配權重,對關鍵信息分配更大權重,不重要的內容則分配較小權重,這種差異化的權重分配使得信息處理更加高效。

注意力機制的基本思想是從海量數據中提取對后續預測更有用的信息,而實現該目標的本質是計算LSTM隱藏層的輸出序列,即訓練后的輸入特征向量,進而得到特征權重向量,從中找到更重要的影響因素,使信息處理更高效和準確。

1.4 模型構建步驟

雙向CNN-BiLSTM-Attention大壩監測缺失數據插補模型框架如圖2(a)所示。該模型構建步驟如下:①構建CNN-BiLSTM-Attention深度學習框架,采用Conv1D和池化層組成的卷積層提取監測數據的內部特征,其中Conv1D提取監測數據時間軸的局部特征,池化層進一步壓縮局部特征并生成特征的關鍵信息;②搭建BiLSTM隱藏層,從卷積層提取的局部特征信息中迭代學習,生成動態變化的全局特征;③將全局特征輸入Attention層,利用注意力機制對全局特征通過加權方式進行重要性篩分,挖掘監測數據的時間相關性,過濾冗余信息以突出對插補結果影響更為關鍵的重要特征;④將Attention層與一個全連接層銜接,通過全連接層的激活函數輸出最終的插補結果。此外,為了防止過擬合現象,在卷積層后添加Dropout層隨機丟棄部分神經元,以提高模型的泛化能力與訓練速度。

圖2 雙向CNN-BiLSTM-Attention大壩監測缺失數據插補模型

時間序列插補采用滑動窗口模式,即由窗口內的數據插補下一時刻的監測量,伴隨著窗口的滑動,插補值逐漸被更新到窗口內,但這種插補方式會造成插補誤差逐步累加。針對中間監測數據缺失的情況,本文采用雙向插補模式來對缺失部分進行插補,即通過正向插補與反向插補方式,從時間序列兩端同時對缺失數據進行插補,再按插補時間步遞減的權重對兩組插補值加權平均,二者結果互補形成新的插補值以避免插補誤差在時間步中累積增加。如圖2(b)所示,假設缺失部分的數據總時間步為Δt,正向插補過程的第1個插補值的權重為1,第2個插補值的權重為1-1/Δt,依此類推,最后1個權重為0,則記正向插補結果y1的權重為w1=(1,1-1/Δt,…,0)。同理,反向插補結果y2的權重為w2=1-w1=(0,1/Δt,…,1),由此獲得插補模型最終的插補值為w1y1+w2y2。

2 工程實例

本文使用的模型測試數據來自某水電站工程的大壩變形監測數據。該工程始建于1937年,1985年建立真空激光測壩變形系統并開始觀測。攔河壩為混凝土重力壩,共由60個壩段組成。選取11號壩段1985年1月11日至2010年3月22日的水平位移作為研究對象,人為刪除中間段部分數據,采用雙向CNN-BiLSTM-Attention大壩監測缺失數據插補模型進行數據填補以驗證該模型的性能。

2.1 數據預處理

以水平位移監測數據為例,取11號壩段1985年1月11日至2010年3月22日共612組的歷史測值作為訓練集,分別刪除兩段長序列監測數據作為測試集(圖3):①缺失部位Ⅰ對應1995年9月15日至1997年4月17日的30組監測數據;②缺失部位Ⅱ對應2000年4月11日至2001年11月15日的20組監測數據。

圖3 11號壩段水平位移樣條插值

采用時間序列插補模式對缺失部位進行插補,所分析的研究數據需為等間隔時間測值以避免時間效應誤差,但實際監測數據資料為不等間隔時間觀測,因此需要采用插值技術將其變為等時間間隔時間序列。這里采用三階樣條插值法對監測數據進行規整,如圖3所示,每天取1組插值數據,則612組原始數據變為9200組插值數據。從圖中可以看出,樣條插值法對于少量零散的缺失數據插補效果較好,能基本覆蓋原始數據的變化曲線。然而,對于長時間的數據缺失,其插補效果尚不能滿足精度要求。

以滑動窗口模式對時間序列進行分析訓練,設定窗口尺寸為L,即以當前時刻的前L個連續監測值推算當前監測值。插補模型的輸入數據(特征)為{yt-L,…,yt-2,yt-1},模型的輸出數據(標簽)為yt。依照此方式,將數據集重構成特征集與標簽集。為提高損失函數收斂速度、防止梯度爆炸,在訓練模型前需將數據按公式(5)進行標準化處理,使數據全部落在[0,1]區間內。通過插補得到缺失部分的插補值后,再利用公式(6)對其進行反標準化處理,將數據恢復到實際監測范圍內。

(5)

(6)

2.2 模型訓練

基于Python軟件深度學習框架keras搭建CNN-BiLSTM-Attention缺失數據插補模型。根據Chen等[17]的建議,應使用至少3個年度周期進行建模方可得到較好的訓練結果。以缺失部位Ⅰ為例,本次訓練設置正向插補滑動窗口尺寸為1200,反向插補滑動窗口尺寸為1600。表1給出了反向插補模式下的神經網絡模型結構(總參數201401個,可訓練參數201401個,不可訓練參數0個),訓練時采用Adam優化算法更新各層網絡的參數。圖4為模型在正向與反向訓練時損失函數的變化情況,可以看出損失函數在訓練過程中變化穩定,且總體呈下降趨勢,反映了模型較好的訓練性能。

表1 反向插補模式下的神經網絡模型結構

圖4 模型訓練的損失函數曲線

基于CNN-BiLSTM-Attention大壩監測缺失數據插補模型,缺失數據的正向插補與反向插補結果如圖5所示。從圖5可以看出,該模型兩個方向均可獲得較好的插補結果,但也反映了插補過程中時間步的累計誤差。時間序列插補方式是由滑動窗口內的監測值組合插補下一個時刻未知值,并將窗口滑動一步(去掉第1個實測值,在末尾添加獲得的插補值),形成新的窗口監測值組合。依照這種方式不斷滑動窗口,直至所有的缺失數據均被插補。隨著插補過程的推進,這種方式會將插補誤差逐漸累加,使得插補值的走向逐漸偏離真實監測值。

為了消除這種累積誤差,同時使兩個方向的插補結果更好地融合,按插補時間步遞減的權重對兩組插補值加權平均,從而使得誤差較小的插補值作為最終插補值的決定因素。如圖5所示,融合后的計算結果很好地將正反向插補優勢階段組合在一起,其插補值與實測值的擬合程度優于單向插補結果。

2.3 模型對比

選擇平均絕對誤差(MAE)、均方根誤差(RMSE)和決定系數(R)這3個評價指標,定量表示模型插補值f(xi)與實測值yi之間的誤差。

為進一步體現本文所搭建的神經網絡模型的優勢,選取Spline、RNN、LSTM依照雙向插補模式分別對缺失數據進行插補,其插補結果的誤差對比如表2所示。由于Spline模型對于長時間段缺失數據的插補效果不佳,其誤差指標和擬合程度均不如神經網絡模型,故而未對Spline插值結果的誤差指標進行計算。圖6、圖7分別為4種模型缺失部位Ⅰ、缺失部位Ⅱ插補結果與實測值的差異。基于3種神經網絡模型,通過時間步遞減的權重融合后的結果相較于單向插補值的精度都得到一定的提升。LSTM的插補精度總體高于RNN,但單向插補結果易出現較大的偏差,其插補性能無法得到穩定的保障。

表2 各模型插補誤差對比

圖6 各模型缺失部位Ⅰ插補結果與實測值的差異

本文所搭建的CNN-BiLSTM-Attention雙向插補模型在正向與反向插補過程中均展現了較佳的插補性能,其雙向融合插補值更為貼近實際監測值。這是因為CNN從原始時間序列中學習并提取時間軸上的局部特征,BiLSTM再根據局部特征提取全局特征后,冗余或非關鍵的特征被引入會影響最后的插補精度。此時,采用注意力機制來提取序列的關鍵特征,捕捉長時間序列中的依賴關系,克服了傳統LSTM模型的不足。因此,CNN-BiLSTM-Attention網絡能更有效地優化插補過程,從而提升插補精度。

2.4 插補效果

基于CNN-BiLSTM-Attention雙向插補模型,對11號壩段水平位移缺失數據進行插補,結果表明插補值與實測值基本吻合。此外,為了驗證該插補模型針對其他壩段監測量的插補效果,選取14號壩段的揚壓力、滲流量以及垂直位移的監測序列,分別對中間缺失部位進行插補,表3為各效應量最終的插補誤差,其中垂直位移插補值與實測值的吻合效果更好,揚壓力與滲流量的插補值相較實測值稍有偏差,但總體趨勢一致。

3 結 論

a.搭建了CNN-BiLSTM-Attention神經網絡框架,CNN從原始時間序列中學習并提取時間軸上的局部特征,BiLSTM再根據局部特征提取全局特征,注意力機制捕捉長時間序列中的依賴關系,進一步優化插補過程。在工程實例中,這種神經網絡框架展現了比RNN以及LSTM神經網絡模型更優越的插補性能。

b.針對監測量中間缺失部分,提出了雙向插補模式,并按插補時間步遞減的權重對兩向插補值加權平均,使誤差較小的插補值主導最終插補結果的走向。工程實例表明,雙向融合插補值與實測值的擬合程度優于單向插補結果,其處理長序列監測數據缺失問題時具有較高的插補精度。