基于循環神經網絡的自適應濾波方法及應用研究

任鴻燚, 劉翔宇, 咸甘玲, 蘭景巖,2

(1.桂林理工大學 土木與建筑工程學院,廣西 桂林 541004;2.桂林理工大學 廣西巖土力學與工程重點實驗室,廣西 桂林 541004)

在地震勘探中,地震波從激發、在地層中傳播到地面檢波器接收,最終被地震儀記錄下來,過程中不可避免地混雜了一些干擾波[1-2]。干擾波與有效波在頻譜、傳播速度、傳播方向和能量等方面存在著差異,它們并不是地下地質體的真實反映。在處理相關數據時,需要去除或壓制干擾波產生的影響,從而突出有效波作用結果,提高地震資料的質量和精度。濾波作為抑制和防止干擾的一項重要舉措,許多學者做了大量研究:Trifunuc[3]針對加速度時程低頻成分率先提出高通濾波方法;美國地質調查局(United States Geological Survey,USGS)采用的濾波方法是以一條最佳直線擬合加速度時程零線,再從加速度時程中減去該直線[4];Boore等[5]探討了加速度時程背景噪聲的由來和特征,從加速度軌跡中減去一個或多個可以是直線或低階多項式基線,作為一種未知頻率特性的低切濾波器消除長周期噪聲的濾波技術;Graizer等[6]采用最小二乘法擬合加速度時程骨架曲線消除低頻成分作為濾波手段;Yang等[7]提出了最小化均方擬合加速度基線后設計窗口濾波器對加速度數據進行處理。目前的濾波處理方法基本是通過基線擬合加減和傳統人為經驗公式經過多次修正與結果對比,最終得到一個合適的濾波參數和加速度時域曲線。

近年來通過地震波數據反演試驗,在濾波領域普遍認為USGS濾波法相較于其余方法展現出了更穩定的性能,濾波后的波形基本與原始波形保持一致,沒有出現由于基線調整而產生的波峰雜亂以及被過度放大或縮小的現象。但是USGS濾波法也存在著兩方面的缺陷:①濾波功能相對單一、沒有針對性。不同類型的加速度時程曲線具有不同的曲線特征,在濾波處理時也應該遵循通權達變原則,對于存在高頻雜音的地震波應采取部分高斯濾波部分帶通濾波,而采用USGS濾波法進行濾波時只能采用統一的濾波方法,難以達到理想的濾波效果,甚至會出現信號丟失的現象。②人為經驗的主觀因素干預處理結果。使用USGS濾波法需要提前設置濾波參數,每一次參數的變化都會產生不一樣的結果,為了得到合適的波形通常需要進行多次的嘗試。為了實際操作的可行性、便利性,預先采用前期已統計的濾波參數用于同等類型地震波信號的處理。由于土體類型、震源深度的不同,所產生的干擾信號頻率不同,對同類型的地震波信號將會造成有差異的影響,因而不能確保得到與前次試驗相同的結果。這種單靠人為經驗預先設定參數進行的濾波方法,得到的濾波結果難以保證達到最佳效果。

針對大部分濾波方法存在的弊端,借鑒目前深度學習模型在地球物理部分取得的經驗,本文提出了在信號處理及系統分析領域發展迅速的神經網絡系統與最小二乘法相結合,構成了一種自適應濾波法。針對時間域的信號計算RNN循環神經網絡是最優選擇,同時將遞歸最小二乘法(recursive least squares,RLS)[8]加入網絡中完善了整體系統的優化性與循環結構中的魯棒性[9]。通過大量的訓練數據集對網絡進行訓練,使得網絡內部可以從數據中自動學得輸入的地震信號與期望輸出的地震信號之間的誤差關系,最終利用改變階數進行縮減,對噪聲的抵消和譜線增強起到了決定性作用。

1 RNN自適應濾波法的基本原理

深度學習模型具有自動獲取特征規律的優勢,對數據處理過程中的異常數據、摻雜數據能夠自我分析及優化。針對現有的濾波方法的不足以及應用加速度時程積分速度和位移時對地震信號的精度需求,研發了一種循環神經網絡[10](recurrent neural network,RNN)的自適應濾波方法,通過深度學習[11]、自我優化、參考自辨識和殘差學習[12]等現代數據處理技術及MATLAB等軟件豐富的函數庫和自編優化算法,能夠有效地避免人為因素、經驗參數、頻域濾波等影響。

1.1 循環神經網絡應用

循環神經網絡(RNN)是深度學習領域中一類特殊的內部存在自連接的神經網絡,可以學習復雜的矢量到矢量的映射,如圖1和圖2所示。RNN由兩個階段組成:第一階段為訓練階段,首先將含有隨機噪聲的測試信號Dt和不含噪聲的期待信號Xt轉換為矩陣形式輸入編碼器(Encoder)進行初步計算,再通過Kt增益向量為濾波匹配最佳濾波器階數,即自適應,最后由解碼器中神經網絡單元LSTM算出最佳信號Yt,訓練階段完成;第二階段為濾波階段,因為經過訓練后的神經網絡已經能夠自動識別原始信號不同頻率的噪聲,將原始含噪信號矩陣輸入后會自動匹配濾波階數進行計算,最后通過反歸一化得到濾波后的信號。

圖1 RNN循環神經網絡Fig.1 RNN recurrent neural network

圖2 LSTM神經網絡單元結構示意圖Fig.2 Structure diagram of LSTM neural network unit

RNN與深度神經網絡[13](deep neural network,RNN),卷積神經網絡[14](convolutional neural network,CNN)不同之處在于:RNN不僅考慮前一時刻的輸入,而且賦予了網絡對前面內容的“記憶”功能,即一個序列當前的輸出與前面的輸出也有關聯。具體的表現形式為網絡會對前面的信息進行記憶并應用于當前輸出的計算中,即隱藏層之間的節點不是孤立的而是有連接的,并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。加速度時程曲線在測量過程中存在較多的不可控因素,例如地層子波反射、地震波頻率、背景噪聲等等,這些都會對加速度時程曲線產生較大影響。常規的濾波手段需要人工調節濾波頻率以及濾波階數,通過每一次濾波后的曲線變化對濾波參數進行調整,并且時常存在過度壓縮峰值、相位超前以及譜線不清晰等結果。

圖2中,動態更新參數如下

it=σ(Wixt+UiYt-1+bi)

(1)

ft=σ(Wfxt+UfYt-1+bf)

(2)

ot=σ(Woxt+UoYt-1+bo)

(3)

(4)

ct=ft⊙ct-1+it⊙ct

(5)

ht=ot⊙tanh(ct)

(6)

本文采用RNN自適應濾波方法濾波,通過引入遺忘調節因子賦予不同誤差以不同的權重,對地震信號進行預處理,減少了LSTM神經網絡數據處理的參數量,顯著提高神經網絡的訓練速度以及數據處理的精度。遺忘因子調節方法如下:

第n次循環始終與第n-1次循環的輸出結果相關,在循環中加入遺忘因子調節,對離n時刻越近的誤差附以較大的權重,遺忘越少;而對離n時刻越遠的誤差附以較小的權重,遺忘越多。由此,對于誤差的辨別分析能力相比于常規濾波手段有了更精準的控制,最終通過隱藏層內部循環以及自適應環節擬合最優濾波器階數,達到在濾波過程中加速度時程信號與噪聲信號的誤差值最小的結果。

1.2 RLS算法

本文采用RLS輔助RNN神經網絡進行濾波,通過RLS算法使原始含噪信號與期望信號之間的誤差無限趨近于零,有效減少濾波過程中出現的峰值突刺與噪聲干擾。

RLS算法是基于一種確定性思想最小化誤差向量模的平方和,即:

(7)

式中:λ為遺忘因子(0<λ<1);e為誤差向量;d(i)為期望加速度時程記錄;x(i)為輸入地震波加速度時程記錄;wT(n)為第n個濾波器系數矩陣的轉置。首先將Jn(w)對w求導并令梯度等于0得到關于w的公式,即

(8)

根據R(n)與r(n)的等式,可以得到其時間遞推公式如下

R(n)=λR(n-1)+x(n)xT(n)

(9)

r(n)=λr(n-1)+x(n)d(n)

(10)

由于RLS算法是對輸入地震信號的自相關矩陣[15]的逆矩陣Rxx(n)進行遞推估計更新。推導運算k(n)每一個點的逆矩陣計算量大,求解過程復雜,因此引用矩陣求逆引理[16]是必要的。考慮到Hermitain自相關矩陣的復共軛對稱性,引入時間遞推公式,可得到增益向量和濾波器系數的時間遞推公式,即:

(11)

w(n)=w(n-1)+k(n)ε(n)

(12)

增益向量k(n)結合遺傳因子λ對加速度時程曲線特征分析與判定,建立加速度時程x(n)與最優濾波器階數w(n-1)之間的匹配關系。式(6)中的ε(n)為先驗估計誤差向量,在自適應階段對誤差向量辨別分析,保證誤差向量不超出最大閾值,修正w(n)權重避免濾波器階數出現突增與驟減引起自相關矩陣Rxx(n)出現發散現象。

在循環神經網絡RNN中每一次循環RLS算法都在迭代中依據上一次循環的輸出誤差更新參數,依據先驗算誤差環節對第i-1次輸出誤差進行分析后反饋給第i次循環的隱藏層,神經網絡自動匹配最優濾波器階數對第i次Rxx(n)濾波。此外RLS為迭代算法,通過多次迭代得到最優解,計算結果更精準。

2 RNN循環神經網絡訓練

網絡訓練[17]主要包括數據集構建、數據集歸一化(或標準化)、網絡訓練和驗證三個步驟。

2.1 數據集構建與預處理

在濾波之前基于神經網絡的本身特征需要使用MATLAB軟件生成訓練集對RNN神經網絡算法進行在線訓練和優化。為了保證濾波器對真實地震波的適應性,本文選用1995年日本Kobe的地震加速度記錄、1994年1月17日美國Northridge地震的302條水平向地震加速度記錄和1999年9月20日臺灣 Chi-Chi 地震的399條水平向地震加速度記錄作為原始無噪波信號,使用MATLAB自帶的噪聲生成程序生成10 Hz、20 Hz和40 Hz的隨機白噪聲時間序列,將所有噪聲各自疊加在無噪Kobe波、Chi-Chi波、Trinidad波時間序列上,合成100組含噪信號。在每組原始信號中隨機截取30組長度為2 940個點的信號,共產生3 000組信號作為訓練集,確保網絡得到充分訓練能夠準確識別出不同頻率下的隨機白噪聲以及優化自適應環節,防止過度過濾地震信號。選取與訓練集Ex對應的Ey時間序列數據,將該段數據采用與合成訓練集同樣的方式生成20組含噪聲時間序列,而后每組信號隨機截取30組長度,共600組信號作為試驗集,以驗證網絡的實際處理能力。

2.2 數據歸一化

為了提高網絡的收斂速度和網絡精度對所選輸入數據集進行數據歸一化處理,并且經過歸一化訓練的網絡會減少后期使用動力模型試驗大數量級特征值加速度時程序列時對模型的計算的影響。本文采用max-min數據歸一化方法根據地震波時間序列數據的特征,將其歸一化至1～-1之間,計算如下所示。

對于網絡的輸入數據

xnorm=(xn-xmin)/(xmax-xmin)

(13)

dnorm=(dn-dmin)/(dmax-dmin)

(14)

式中:xnorm、dnorm為歸一化值;xn為添加模擬噪聲的地震波時間序列數據;dn為無噪聲的地震波時間序列;xmin、dmin分別為有噪聲與無噪聲地震波時間序列數據最小值;xmax、dmax分別為有噪聲和無噪聲地震波時間序列數據最大值。

由于對所有輸入網絡的數據都進行歸一化處理,網絡的理想輸出結果也為歸一化值,輸出后還要進行反歸一化處理

ypred=dmax·ynorm_pred

(15)

式中:ypred為反歸一化值,即網絡處理后無噪聲的地震波序列;ynorm_pred為網絡輸出的歸一化預測值;dmax為網絡輸入的無噪地震波時間序列數據最大值。

2.3 網絡訓練和驗證

取MaxEpochs為200(使用訓練集中的全部樣本訓練一次即為1個epoch),Batchsize30選擇小批量大小30以均勻劃分訓練數據,并減少小批量中的填充量,指定初始學習率為0.005,在125輪訓練后通過乘以因子0.2降低學習率。

模型求解器利用自適應動量梯度下降算法計算,并調整模型各適應度參數,確保網絡得到充分訓練能夠準確識別出不同頻率下的隨機白噪聲以及優化自適應環節,防止過度過濾地震信號。

損失函數使用均方誤差損失函數(MSEl-oos),優化器使用適應性矩估計優化器(adaptive moment estimation, Adam),該優化器具有收斂速度快、參數調整方便等優點,適合解決含有大規模數據和參數的優化問題。為了加快訓練速度采用BPTT算法[18]進行訓練,在訓練前,需要合理初始化權重值,約束誤差值的增長或縮小速度,避免出現梯度爆炸和梯度消失的問題。

圖3為神經網絡訓練進度圖,LOSS損失曲線升高代表網絡訓練速度減緩,峰值點代表網絡訓練過程中擬合遇見瓶頸,網絡模型權重發生變化,訓練速度達到最慢;曲線下降直到達到零值,代表訓練度加快并最終完成擬合。RMSE曲線,即均方根誤差曲線,曲線上升代表網絡訓練過程中計算出的均方根誤差增大,峰值點代表均方根誤差達到最大,網絡將根據前一次的擬合進行修改再擬合;曲線下降代表網絡訓練過程中計算出的均方根誤差減小,該曲線越趨近于零值證明網絡擬合的效果越好。

圖3 神經網絡訓練進度圖Fig.3 Neural network training progress chart

由于本文使用RLS遞歸最小二乘法輔助循環神經網絡,將數據交予RLS算法先行計算,再輸入神經網絡計算,故降低了網絡的初期計算難度,優化了網絡模型初始化權重,在訓練剛開始時,網絡較好訓練,損失曲線起點較低(圖3),從第二次迭代開始損失曲線與RMSE曲線急劇上升,說明網絡訓練初期多次尋找最佳擬合方式導致進度緩慢,前期計算均方根誤差較大,第3～6次損失曲線與RMSE曲線急劇下降證明網絡訓練初步擬合成功,計算出的均方根誤差逐漸變小。但是由于輸入多組不同的訓練信號數據,第6次迭代后初次擬合與部分數據不匹配,導致損失曲線和RMSE曲線出現第二峰值,隨后根據前一次的擬合進行修改再擬合直到擬合結果與所有數據均相匹配為止。通過網絡訓練損失曲線和RMSE曲線可以看出,當迭代次數達到200次時,損失曲線達到零值,RMSE曲線降低至0.000 03,并趨于穩定,說明此時網絡已經完成訓練。

3 自適應濾波試驗分析

選取網絡訓練中使用的Kobe波、Trinidad波和Chi-Chi波作為無噪原始波,通過MATLAB編程軟件中awgn函數和rand函數向信號中隨機疊加高斯白噪聲信號,形成仿真含噪信號。awgn函數語法為Y=awgn(x, SNR, signalpower),其中x為原始波信號,SNR為信噪比大小,單位是dB, signalpower為以dBW為單位的原始波信號功率;rand函數語法為M=rand,生成一組隨機數組M。將隨機數組M代入awgn函數中的SNR即可生成隨機仿真含噪信號。分別使用訓練后的RNN自適應濾波法以及USGS濾波法對試驗集數據進行處理,得到原始波、自適應濾波、USGS濾波對比圖形,如圖4所示。

圖4 Kobe波、Chi-Chi波、Trinidad波濾波后的加速度時程記錄比較Fig.4 Comparison of Kobe waves、Chi-Chi waves and Trinidad waves filtered acceleration time history records

由圖4可知,通過對比自適應濾波法濾波后波形、USGS濾波法濾波后波形、原始波形使用自適應濾波法對Kobe波、Trinidad波和Chi-Chi波的波形進行處理后,曲線連續、平滑,與原始波形契合度較高,具有更好穩定性;而使用USGS濾波法濾波后,Kobe波出現了信號失真現象,Trinidad波和Chi-Chi波的波峰出現尖刺問題。由此可見,RNN自適應濾波法相較于USGS濾波法在濾波過程中對地震加速度信號有更強的分析辨別能力,在濾波后更貼近原始波形。

4 不同濾波方法比較

4.1 濾波準確率對比

通過濾波試驗分析可以看出RNN自適應濾波法較USGS濾波法具有一定的優勢,為了從客觀方面驗證RNN自適應濾波法在地震濾波方面的精度,本文采用計算均方根誤差對數據進行量化分析,其公式為

(16)

式中:n為觀測次數;Xobs,i為濾波后數值;Xmodel,i為原始數值。RMSE的值越小,濾波的準確度越高,表1為兩種方法濾波后的RMSE。

表1 兩種濾波法的RMSE對比Tab.1 Comparison of RMSE between two filtering methods

由表1可知,RNN自適應濾波法相較于USGS濾波法,Kobe波濾波誤差降低了0.14%, Trinidad波濾波誤差降低了6.05%,Chi-Chi波濾波誤差降低了3.50%,并且RNN自適應濾波法處理地震波后的平均準確率達到93.37%,較USGS濾波法高出6.63%,說明在地震波信號處理結果中,RNN自適應濾波法處理后的波形與原始波形還原率較高,具有更強的適應性。

為了驗證在不同噪聲下,兩種濾波處理方法的適應性,選取Chi-Chi波作為原始波形,在10 Hz、20 Hz、40 Hz隨機噪聲加載下生成100組測試數據,其中10 Hz占25組,20 Hz占35組,40 Hz占40組。將100組測試數據隨機分布并在同一時間開始濾波測試,比較兩種方法的濾波準確率以及濾波速度,測試結果如圖5和表2所示。

圖5 2種濾波法的速度對比Fig.5 The velocity comparison of two filtering methods

表2 各噪聲下2種濾波法的準確率對比Tab.2 Comparison of accuracy between two filtering methods under different noises

由圖5可知,前36組USGS濾波速度高于自適應濾波,在第36組后自適應濾波速度迅速提升最終達到5 s左右即可濾完一組,而USGS速度逐漸下降,最慢甚至達到48 s濾完一組。由表2可知,通過訓練兩種方法在無噪聲狀態下均能較好反饋原始波形,當加入噪聲后,由于噪聲湮滅了一部分原始數據特征,導致準確率下降。但是RNN自適應濾波法相比于USGS濾波法的準確率下降程度較小且能夠保持較高的準確率。

結合表1、表2以及圖5發現兩種濾波方法在處理大量數據時,USGS法濾波結果精度較低,濾波速度隨著組數增加逐漸降低,而自適應濾波法在濾波結果精度較高的前提下,依然能夠保持高效的濾波速度。兩種方法對比得出,不論是濾波速度還是濾波精度,自適應濾波法均優于USGS濾波法。

4.2 實際地震波濾波效果對比

為進一步證明自適應濾波方法在不同類型場地條件應用方面的優越性,本文選取美國太平洋地震研究中心PEER數據庫中不同場地類別觀測臺陣的地震記錄[19](如表3所示),對比了兩種不同濾波方法在五種不同場地類型[20]的含速度脈沖近場地震記錄的濾波結果。可以看出自適應濾波和USGS濾波在C、D、E場地的濾波結果差異顯著(如圖6所示)。在A、B場地中自適應濾波和USGS濾波均有較好的結果,但是USGS濾波結果存在明顯的峰值尖刺,而自適應濾波結果沒有表現出異常峰值。在C、D、E場地中,USGS濾波結果出現相位提前以及壓縮峰值過度導致信號丟失現象,自適應濾波法在濾波的過程中能夠最大程度地保留地震信號的原始波形。通過實際地震記錄的濾波結果可以看出自適應濾波法明顯優于USGS濾波法。

表3 含速度脈沖近場地震記錄Tab.3 Near-field seismic records containing velocity pulses

(a) A場地

(b) B場地

(c) C場地

(d) D場地

(e) E場地圖6 A、B、C、D、E場地速度脈沖近場地震記錄濾波結果Fig.6 A,B,C,D,E field velocity pulse near field seismogram filtering results

5 結 論

地震信號的濾波是目前巖土模型試驗和數值模擬中的關鍵步驟,本文介紹了一種基于循環神經網絡的自適應濾波方法,為研究地震動響應開拓了一種新的思路。通過與目前公認度最高的USGS濾波法進行比較驗證本方法的有效性,主要結論有:

(1) 循環神經網絡(RNN)在處理多條時間序列數據的速度呈現上升的趨勢。本文提出的循環神經網絡充分結合RLS算法的自匹配濾波階數與數據篩選,降低傳統人為干擾、經驗參數、單一校正等因素的影響,提高了循環神經網絡數據序列的處理速度。

(2) 遞歸最小二乘法(RLS)的加入對于濾波的速度和精準度有顯著影響。本文的RLS算法通過引入遺傳因子和先驗估計誤差向量,對于復雜的時間序列數據進行預處理, 防止訓練網絡時出現梯度爆炸現象,提高RNN神經網絡濾波速度和精度。

(3) 自適應濾波方法能夠更大程度還原原始地震波形,保證數據的完整性和準確性。通過訓練后的自適應濾波法在處理多條復雜的地震波時所展現的準確度遠高于傳統USGS濾波法,大幅度降低了濾波階數以及濾波頻率對結果的影響,在不同頻率噪聲干擾下自適應濾波法能夠保持更好的濾波效果,為地震工程研究提供更為真實的記錄數據具有重要的參考價值和工程意義。