基于注意力機(jī)制的無監(jiān)督學(xué)習(xí)地震數(shù)據(jù)隨機(jī)和不規(guī)則噪聲衰減方法

楊柳青 ，王守東 *，杜寶強(qiáng)

1 中國石油大學(xué)(北京)油氣資源與探測國家重點(diǎn)實(shí)驗(yàn)室，北京 102249

2 中國石油大學(xué)(北京)海洋石油勘探國家工程實(shí)驗(yàn)室，北京 102249

0 引言

地震資料在采集時(shí)受環(huán)境和設(shè)備等因素干擾，導(dǎo)致在采集到的地震數(shù)據(jù)中產(chǎn)生大量噪聲。野外采集到的信號通常由有效信號和干擾信號(噪聲)構(gòu)成，其中有效信號含有油氣勘探和分析的重要信息。被強(qiáng)噪聲覆蓋的地震數(shù)據(jù)嚴(yán)重影響了地震資料的后續(xù)偏移和成像等處理。因此有必要開發(fā)一種高效且自適應(yīng)的噪聲衰減方法來提高地震資料的信噪比(Signal-to-Noise Ratio, SNR)。常規(guī)的地震隨機(jī)噪聲衰減方法經(jīng)過幾十年的發(fā)展大致可分為4 類，即基于預(yù)測濾波的算法，基于變換域?yàn)V波的算法，基于模態(tài)分解的算法和基于矩陣降秩的算法。Canales[1]提出f-x域預(yù)測濾波算法來衰減隨機(jī)噪聲，該算法基于有效反射信號的可預(yù)測性來實(shí)現(xiàn)。此外，還有t-x域預(yù)測濾波[2]和非平穩(wěn)預(yù)測濾波[3]。基于變換域的噪聲衰減方法通過設(shè)置閾值的方法來衰減地震數(shù)據(jù)變換到特殊域的噪聲，這是利用有效信號與噪聲在變換域的差異性來達(dá)到衰減噪聲的目的。常見的變換域去噪方法有Seislet變換[4]，小波變換[5]和曲波變換[6]等。基于模態(tài)分解的去噪算法將含噪地震數(shù)據(jù)分解為多個(gè)成分，并從中篩選出有效信號的表示成分，最后通過疊加重構(gòu)有效信號來達(dá)到衰減噪聲的目的。具有代表性的模態(tài)分解方法有經(jīng)驗(yàn)?zāi)B(tài)分解算法(Empirical Mode Decomposition,EMD)[7]和集合經(jīng)驗(yàn)?zāi)B(tài)分解(Ensemble Empirical Mode Decomposition，EEMD)[8]。基于矩陣降秩的去噪算法假設(shè)有效信號在頻域的表示是低秩的，而噪聲將提高有效信號低秩矩陣的秩。因此通過恢復(fù)低秩矩陣就可以重建有效信號，進(jìn)而分離出噪聲。常見的矩陣降秩方法有多道奇異譜分析(Multichannel Singular Spectrum Analysis, MSSA)[9]和阻尼多道奇異譜分析(Damped multichannel singular spectrum analysis, DMSSA)[10]。與服從高斯分布的隨機(jī)噪聲不同的是，異常值噪聲具有高振幅的特點(diǎn)。

近年來隨著計(jì)算機(jī)硬件和軟件的發(fā)展，深度學(xué)習(xí)技術(shù)在地震勘探領(lǐng)域得到了廣泛應(yīng)用。深度學(xué)習(xí)技術(shù)利用大量非線性模塊來建立源域與目標(biāo)域數(shù)據(jù)之間的非線性映射關(guān)系[11]。在地球物理領(lǐng)域，深度學(xué)習(xí)技術(shù)已用于斷層識別[12]、儲層參數(shù)預(yù)測[13]和高分辨率處理[14]等。當(dāng)前，研究學(xué)者已經(jīng)將深度學(xué)習(xí)技術(shù)應(yīng)用于地震數(shù)據(jù)中的隨機(jī)噪聲和高振幅異常值噪聲衰減中，主要分為監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)算法。對于監(jiān)督學(xué)習(xí)算法，韓衛(wèi)雪等[15]構(gòu)建了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)來衰減疊前地震數(shù)據(jù)中的隨機(jī)噪聲。隨機(jī)噪聲服從均值為零且方差為常數(shù)的高斯分布。王鈺清等[16]在數(shù)據(jù)增強(qiáng)技術(shù)的基礎(chǔ)上提出使用卷積神經(jīng)網(wǎng)絡(luò)對地震數(shù)據(jù)的噪聲進(jìn)行分離。滑世輝和韓立國[17]利用公開模型生成大量帶有標(biāo)簽的合成數(shù)據(jù)并制作數(shù)據(jù)集來訓(xùn)練卷積自編碼器，該框架在二維合成數(shù)據(jù)與實(shí)際地震數(shù)據(jù)中具有良好的隨機(jī)噪聲衰減表現(xiàn)。基于監(jiān)督學(xué)習(xí)的框架需要人工構(gòu)建標(biāo)簽來擬合網(wǎng)絡(luò)，這將增加人力成本。對于三維地震數(shù)據(jù)，大量帶有標(biāo)簽的數(shù)據(jù)集將帶來巨大的計(jì)算成本。宋輝等[18]提出一種無監(jiān)督卷積自編碼器來衰減二維地震數(shù)據(jù)中的隨機(jī)噪聲，該框架無需生成標(biāo)簽即可自適應(yīng)地提取出有效反射信號。Saad and Chen[19]提出一個(gè)基于自編碼器的無監(jiān)督框架來衰減隨機(jī)噪聲，在多個(gè)合成和實(shí)際地震數(shù)據(jù)中取得了比傳統(tǒng)算法更優(yōu)的效果。目前基于深度學(xué)習(xí)的隨機(jī)噪聲衰減框架大多利用均方根誤差(MSE)損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)。對于具有高振幅特性的異常值噪聲，其頻率直方圖近似拉普拉斯分布曲線。Qian等[20]提出一個(gè)卷積自編碼器來衰減二維地震資料中的隨機(jī)和異常值噪聲，該算法采用Welsch損失函數(shù)來衰減異常值噪聲。Wang等[21]提出一種基于監(jiān)督學(xué)習(xí)的注意力卷積神經(jīng)網(wǎng)絡(luò)來衰減異常值噪聲，該算法以噪聲為學(xué)習(xí)目標(biāo)來分離出有效信號。面對日益精細(xì)的高精度勘探，開發(fā)一個(gè)高效且自適應(yīng)的無監(jiān)督框架來處理多維地震資料中的噪聲非常重要。

為了提高多維地震數(shù)據(jù)的隨機(jī)噪聲衰減效率和自適應(yīng)性，本文基于無監(jiān)督學(xué)習(xí)策略構(gòu)建了一種帶有注意力機(jī)制的隨機(jī)和異常值噪聲衰減框架。該框架采用全連接層作為主要的特征提取層。編碼器和解碼器分別由帶有多分支特征提取能力的注意力塊構(gòu)成。為了增強(qiáng)淺層級至深層級之間的特征傳遞以避免丟失重要特征，我們在對應(yīng)的編碼與解碼器之間增加一個(gè)跳躍連接機(jī)制。我們采用有助于保持地震波形橫向連續(xù)性的數(shù)據(jù)增廣方法來分割地震數(shù)據(jù)以擴(kuò)充訓(xùn)練樣本數(shù)量。為了更有效地衰減異常值噪聲，我們采用對異常值噪聲更具魯棒性的Huber損失函數(shù)來衰減隨機(jī)和異常值噪聲，該損失函數(shù)結(jié)合了帶有l(wèi)2范數(shù)的均方根誤差和l1范數(shù)的平均絕對誤差損失。此外，在構(gòu)建的網(wǎng)絡(luò)中加入總變分(Total Variation, TV)正則化項(xiàng)來捕捉地震資料局部的光滑結(jié)構(gòu)。通過實(shí)驗(yàn)調(diào)整Huber損失函數(shù)與TV正則化項(xiàng)的權(quán)重，從而使得網(wǎng)絡(luò)獲取最佳的去噪表現(xiàn)。二維和三維的合成與實(shí)際數(shù)據(jù)測試表明：相比傳統(tǒng)的地震噪聲衰減算法和先進(jìn)的無監(jiān)督深度學(xué)習(xí)算法，本文提出的框架具有更好的噪聲衰減與有效信號提取性能。

1 理論方法

1.1 全連接特征提取結(jié)構(gòu)

無監(jiān)督自編碼器的去噪過程是對受損數(shù)據(jù)的重建，利用迭代的方式從含噪數(shù)據(jù)中提取重要特征的表示。利用編碼器和解碼器對數(shù)據(jù)進(jìn)行壓縮和重構(gòu)來提取特征和去噪。在編碼階段，含有多個(gè)神經(jīng)元的編碼器對含噪數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮以提取抽象的特征表示。在解碼階段，高階抽象特征被多個(gè)含有不同數(shù)量神經(jīng)元的解碼器重構(gòu)為去噪后的數(shù)據(jù)。

在多維地震數(shù)據(jù)隨機(jī)噪聲衰減中，有效反射信號y可以表示為：

其中，x表示為含噪數(shù)據(jù)，n表示地震數(shù)據(jù)中包含的噪聲。我們旨在采用一種自適應(yīng)的方式從受損壞的地震數(shù)據(jù)x中重構(gòu)出干凈數(shù)據(jù)y。

我們提出的多分支注意力去噪網(wǎng)絡(luò)(multi-branch attention denoising network, MADNet)是一個(gè)端到端的無監(jiān)督學(xué)習(xí)框架，即無需人工生成標(biāo)簽來訓(xùn)練網(wǎng)絡(luò)。MADNet由多個(gè)編碼器和解碼器構(gòu)成，其中每個(gè)層級中對應(yīng)的編碼器和解碼器之間都含有一個(gè)跳躍連接層。這種結(jié)構(gòu)類似于淺層級與深層級中添加了一個(gè)殘差連接結(jié)構(gòu)，這有助于在深層級中遷移并重用淺層級提取到的重要特征。該框架采用全連接層(Fully Connected Layer, FCL)作為主要的特征提取層，具體結(jié)構(gòu)如圖1中的線框A所示。編碼階段中全連接特征提取塊在第i個(gè)全連接層輸出Oei可表示為：

圖1 多分支注意力去噪網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 1 The structure of multi-branch denoising framework

其中，Wei和bei網(wǎng)絡(luò)在編碼器階段e中該全連接層需要學(xué)習(xí)的權(quán)重和偏置，X表示輸入的含噪樣本。

含噪數(shù)據(jù)經(jīng)過全連接層后，我們采用非線性激活函數(shù)將Oei轉(zhuǎn)換為非線性模式以增強(qiáng)非線性映射能力。本文采用ELU激活函數(shù)，經(jīng)過非線性轉(zhuǎn)換后編碼器的輸出Rei可表示為：

其中α表示ELU激活函數(shù)，表達(dá)式為：

隨著迭代次數(shù)和層級的增加，網(wǎng)絡(luò)容易造成誤差累積。為了減少由協(xié)變量偏移導(dǎo)致的誤差累積，我們在非線性激活函數(shù)層后加入批歸一化層(Batch Normalization, BN)[22]來修正偏差并提高網(wǎng)絡(luò)的收斂速度，它可以表示為：

其中，μ和σ2分別表示均值和方差，δ和γ分別表示BN層的可訓(xùn)練參數(shù),ε表示用于防止為0 的固定值。為了避免網(wǎng)絡(luò)在迭代過程中出現(xiàn)的過擬合現(xiàn)象，我們在BN層后添加一個(gè)dropout層。最后我們添加一個(gè)一維全局平均池化層來編碼先前提取到的特征，該層可表示為：

全連接特征提取塊采用非線性操作將線性特征提取轉(zhuǎn)換為非線性模式。全連接層有助于提取輸入地震數(shù)據(jù)的全局特征。MADNet中采用BN層和dropout層來減少過擬合現(xiàn)象和神經(jīng)元之間特征的依賴，進(jìn)而起到了正則化的作用。

1.2 多分支特征提取注意力塊

為了增強(qiáng)網(wǎng)絡(luò)在計(jì)算過程中對重點(diǎn)區(qū)域的關(guān)注程度，注意力機(jī)制[23]受到了研究人員的廣泛關(guān)注。注意力機(jī)制通常分為軟注意力(Soft Attention)，硬注意力(Hard Attention)和自注意力 (Self Attention)。本文提出的框架采用帶有軟注意力機(jī)制的多分支特征提取注意力塊來提取重要的波形特征。相比硬注意力，軟注意力利用加權(quán)的方式通過前向訓(xùn)練和后向反饋實(shí)現(xiàn)對重要的特征信息進(jìn)行關(guān)注。Li等[24]提出一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度注意力機(jī)制來提取不同感受野的特征。我們構(gòu)建了一個(gè)多分支特征提取模塊作為MADNet主要的波形特征提取結(jié)構(gòu)，如圖1 的線框B所示。經(jīng)過全連接特征提取塊后，我們添加兩個(gè)全連接層進(jìn)行特征融合，即將先前由多個(gè)分支提取到的特征信息相融。特征融合階段可以表示如下：

其中，pe表示先前多分支提取的特征的融合，W1和W2分別表示第一個(gè)和第二個(gè)全連接層的權(quán)重矩陣，b1和b2分別表示第一個(gè)和第二個(gè)全連接層的偏置向量，α表示ReLU激活函數(shù)。特征融合階段后我們采用加權(quán)的方式對特征提取和特征融合階段進(jìn)行特征選擇。Softmax函數(shù)被用來從前層中選擇重要信息，多分支特征提取注意力塊的輸出可以表示為：

跳躍連接是在不同層級中添加一個(gè)恒等映射的連接機(jī)制，用來提升網(wǎng)絡(luò)的魯棒性和特征遷移能力。隨著研究的深入，研究人員發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的性能并非隨著層級加深而提高。相反，當(dāng)層級加深至一定程度，其非線性映射能力將出現(xiàn)退化，即出現(xiàn)梯度消失等現(xiàn)象。He等[25]提出了ResNet來解決由于網(wǎng)絡(luò)層級加深而導(dǎo)致的精度飽和問題。為了提升淺層與深層級網(wǎng)絡(luò)的特征共享與遷移能力，我們在搭建的MADNet中加入跳躍連接機(jī)制，如圖1 所示。

1.3 無監(jiān)督學(xué)習(xí)策略與網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的MADNet使用含噪數(shù)據(jù)即可利用迭代的方式實(shí)現(xiàn)自適應(yīng)地震數(shù)據(jù)去噪。Ulyanov等[26]提出一種自監(jiān)督去噪策略來衰減圖片噪聲，該策略基于l2范數(shù)實(shí)現(xiàn)。對于地震數(shù)據(jù)中的隨機(jī)噪聲和異常值噪聲衰減，我們采用均方根誤差函數(shù)和平均絕對誤差函數(shù)的Huber函數(shù)作為損失函數(shù)，可以表達(dá)為：

其中，ΓNet表示提出的MADNet, ΓNet(x; )θ表示去噪后的地震數(shù)據(jù)，θ表示網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)，x表示含噪地震數(shù)據(jù)，c表示Huber函數(shù)中的調(diào)諧參數(shù)。接下來，我們在損失函數(shù)中加入TV正則化項(xiàng)來捕捉地震數(shù)據(jù)局部的光滑結(jié)構(gòu)，TV項(xiàng)可以表示為：

其中?表示梯度算子。最后我們通過合并兩個(gè)損失函數(shù)并使用β來分配各自的權(quán)重，β為0.9。總損失函數(shù)可以表示為:

在迭代過程中為了使網(wǎng)絡(luò)達(dá)到最佳的訓(xùn)練狀態(tài)，我們采用了兩個(gè)優(yōu)化策略。一個(gè)是早停止優(yōu)化策略，即當(dāng)驗(yàn)證集損失連續(xù)5 次迭代不下降時(shí)保存先前得到的最優(yōu)模型和參數(shù)。另一個(gè)是自適應(yīng)學(xué)習(xí)率優(yōu)化策略，即每經(jīng)過20 次迭代，學(xué)習(xí)率將下降一倍。為了加速網(wǎng)絡(luò)收斂并優(yōu)化網(wǎng)絡(luò)訓(xùn)練的權(quán)重矩陣和偏置，我們采用善于處理稀疏梯度和非平穩(wěn)目標(biāo)的Adam[27]優(yōu)化算法。

本文搭建的MADNet是一個(gè)端到端的無監(jiān)督框架，共包含全連接特征提取塊和多分支特征提取注意力塊，如圖1 所示。我們共采用3 個(gè)編碼器和3 個(gè)解碼器分別對含噪數(shù)據(jù)進(jìn)行降維提取波形特征和恢復(fù)數(shù)據(jù)尺寸。每個(gè)多分支特征提取注意力塊中包含兩個(gè)并行計(jì)算的全連接特征提取塊，在編碼階段，從頂端到低端的全連接特征提取塊中全連接層的神經(jīng)元數(shù)量分別為64,32 和16。在解碼階段，全連接特征提取塊中全連接層的神經(jīng)元數(shù)量分別為16,32 和64。在構(gòu)建的網(wǎng)絡(luò)中間我們添加了一個(gè)全連接層中神經(jīng)元數(shù)量為8 的多分支特征提取注意力塊。每個(gè)對應(yīng)的編碼器與解碼器之間添加了跳躍連接機(jī)制，該全連接塊中全連接層的神經(jīng)元數(shù)量與對應(yīng)層級的編碼器和解碼器一致。此外，在多分支特征提取注意力塊的特征融合階段還包含兩個(gè)全連接層，其神經(jīng)元數(shù)量分別為當(dāng)前層級全連接特征提取塊中全連接層的神經(jīng)元數(shù)量的四倍和原始值。

2 數(shù)值測試

2.1 數(shù)據(jù)預(yù)處理及去噪表現(xiàn)評估方法

本文構(gòu)架構(gòu)建的網(wǎng)絡(luò)使用單個(gè)含噪地震數(shù)據(jù)作為輸入。然而，大尺度地震數(shù)據(jù)輸入到網(wǎng)絡(luò)中難以有效的被提取局部特征。本文采用小尺度數(shù)據(jù)分割技術(shù)[28]將大尺度二維或三維地震數(shù)據(jù)分割為大量一維小尺度地震信號。小尺度數(shù)據(jù)分割技術(shù)有兩個(gè)主要參數(shù)來控制數(shù)據(jù)的分割維度。如圖2 所示，以二維數(shù)據(jù)分割為例：一個(gè)是分割尺寸P，即將數(shù)據(jù)分割為P×P尺寸的一維數(shù)據(jù)；另一個(gè)是滑動(dòng)尺寸，即分割窗口沿空間和時(shí)間的位移大小。假設(shè)分割和滑動(dòng)尺寸為40 和1，原始含噪數(shù)據(jù)尺寸為496 ×48 的數(shù)據(jù)經(jīng)過分割后生成4113組1600 ×1 的一維數(shù)據(jù)。大量小尺度數(shù)據(jù)經(jīng)過噪聲衰減后，我們采用數(shù)據(jù)重構(gòu)技術(shù)將去噪后的一維信號恢復(fù)至原始地震數(shù)據(jù)尺寸，重構(gòu)流程如圖2b所示。小尺度數(shù)據(jù)分割技術(shù)有助于保持?jǐn)?shù)據(jù)的波形橫向連續(xù)性。

圖2 小尺度數(shù)據(jù)分割技術(shù)流程圖Fig. 2 Flow chart of small scale data segmentation technique

由于實(shí)際數(shù)據(jù)缺乏干凈的標(biāo)簽，因此難以使用信噪比(SNR)進(jìn)行定量的對比。在本文中我們采用兩種評估方法來評價(jià)合成數(shù)據(jù)和實(shí)際數(shù)據(jù)的去噪效果，分別為SNR對比和局部相似性檢測。SNR的公式表達(dá)如下所示:

其中，y無噪數(shù)據(jù)，ΓNet(x; )θ表示去噪后的地震數(shù)據(jù)。另一個(gè)去噪效果評價(jià)方式是局部相似性對比[29]。該方法可以通過計(jì)算移除的噪聲與去噪后數(shù)據(jù)的局部相似度來檢測去噪數(shù)據(jù)中的有效信號泄露情況。

2.2 二維地震數(shù)據(jù)測試

本文提出的方法是一種基于無監(jiān)督的噪聲衰減框架，即無需制作標(biāo)簽來擬合網(wǎng)絡(luò)。為了測試網(wǎng)絡(luò)在二維地震數(shù)據(jù)中的去噪表現(xiàn)，我們首先采用二維合成數(shù)據(jù)進(jìn)行去噪實(shí)驗(yàn)。無噪數(shù)據(jù)如圖3a所示，該數(shù)據(jù)的時(shí)間采樣間隔為4 ms。含噪數(shù)據(jù)和添加的噪聲如圖3b和3c所示，其中含噪數(shù)據(jù)的SNR為-3.44 dB。為了驗(yàn)證提出的網(wǎng)絡(luò)的去噪有效性，本文采用DMSSA[10]和一個(gè)無監(jiān)督深度學(xué)習(xí)框架(PATCHUNET)[19]作為對比方法進(jìn)行二維地震數(shù)據(jù)去噪測試。

圖3 二維合成地震數(shù)據(jù)Fig. 3 2D synthetic seismic data

PATCHUNET與本文提出的MADNet具有相同的底層框架，即采用編碼和解碼的結(jié)構(gòu)來壓縮和重構(gòu)地震數(shù)據(jù)。圖4 展示了3 種方法的去噪結(jié)果，從中可以看到DMSSA(圖4a)中存在大量未去除的噪聲。MADNet相比DMSSA的去噪數(shù)據(jù)更干凈且同相軸更清晰。本文提出的方法與PATCHUNET的去噪后地震數(shù)據(jù)相似，難以直觀的分辨出差異。圖4d～f展示了三種方法移除的噪聲剖面，DMSSA方法移除的噪聲剖面中存在明顯的有效信號，表明存在有效信號損失問題。從視覺中本文提出的方法和對比方法都能較好的衰減噪聲。3 種方法的SNR如表1 所示，DMSSA、PATCHUNET和MADNet的SNR分別為8.57 dB、9.45 dB和10.32 dB。本文提出的方法相比DMSSA和PATCHUNET的SNR分別提高了1.75 dB和0.87 dB。評價(jià)去噪方法的優(yōu)劣不僅是噪聲衰減能力，還需要從信號保護(hù)能力來看。為了進(jìn)一步檢測三種方法的有效信號泄露情況，我們繪制了局部相似性圖。圖5 展示了三種方法由去噪后的數(shù)據(jù)和移除的噪聲計(jì)算得到的局部相似性對比圖。色標(biāo)顏色越深則表示信號泄露越嚴(yán)重。相比MADNet(圖5c)的檢測結(jié)果，DMSSA(圖5a)的局部相似性圖在0.5～0.8 s的范圍存在高能量區(qū)域，表明更多的有效信號泄露。PATCHUNET的局部相似性對比圖(圖5b)顯示同相軸附近出現(xiàn)明顯的有效信號能量。評價(jià)不同方法的去噪表現(xiàn)需要從去噪后的數(shù)據(jù)，移除的噪聲和信噪比這三方面來衡量。從3 種方法的二維合成數(shù)據(jù)去噪結(jié)果來看，本文提出的MADNet具有最高SNR，即10.32 dB。從去噪后的數(shù)據(jù)中來看，MADNet重構(gòu)后的同相軸更加清晰且包含的噪聲更少。

表1 三種網(wǎng)絡(luò)在二維合成數(shù)據(jù)測試中的信噪比對比Table 1 Comparison of the SNR using three networks in 2D synthetic data testing

圖4 三種不同方法的去噪效果對比Fig. 4 Denoising comparison using three different methods

為了進(jìn)一步驗(yàn)證本文提出的網(wǎng)絡(luò)的去噪效果，我們使用二維實(shí)際地震數(shù)據(jù)進(jìn)行測試。實(shí)際地震數(shù)據(jù)如圖6 所示，該數(shù)據(jù)曾被Chen等[30]用于噪聲衰減。從實(shí)際數(shù)據(jù)中可以看到大量反射信號被噪聲嚴(yán)重覆蓋。DMSSA、PATCHUNET和本文提出的網(wǎng)絡(luò)的去噪結(jié)果如圖7 所示。圖7a～c展示了3 種方法去噪后的地震數(shù)據(jù)。從圖7a中可以看到DMSSA的去噪數(shù)據(jù)過于平滑。反觀PATCHUNET和MADNet，其去噪剖面在衰減噪聲的同時(shí)沒有改變構(gòu)造的細(xì)節(jié)。在圖7a中，DMSSA去噪后地震剖面的局部區(qū)域出現(xiàn)微斷裂，這在實(shí)際地震數(shù)據(jù)中被噪聲嚴(yán)重覆蓋。在圖7c中本文提出的MADNet不僅可以有效的衰減強(qiáng)噪聲，還可以清晰的重構(gòu)出有效信號。圖7d～f展示了3 種方法移除的噪聲剖面。相比DMSSA，本文提出的MADNet的噪聲剖面中的有效信號更少。從圖7d中可以看到明顯的高振幅數(shù)據(jù)泄露問題。對比圖7e和圖7f，本文提出的MADNet在移除的噪聲剖面中具有更少的有效信號。

圖6 二維實(shí)際地震數(shù)據(jù)Fig. 6 2D field data

圖7 三種不同方法的去噪效果對比Fig. 7 Denoising comparison using three different methods

2.3 三維地震數(shù)據(jù)測試

本文提出的方法的特征提取層為全連接層。三維地震數(shù)據(jù)輸入網(wǎng)絡(luò)前使用小尺度數(shù)據(jù)分割技術(shù)將其分割為大量一維數(shù)據(jù)以提高訓(xùn)練效率。輸入的三維地震數(shù)據(jù)如圖8 所示，其時(shí)間采樣為4 ms。含噪數(shù)據(jù)如圖8b所示，其SNR為-2.47 dB。本次測試采用一種字典學(xué)習(xí)算法(SGK)[31]和優(yōu)化阻尼降秩(ODRR)[32]作為對比方法。我們采用的分割和滑動(dòng)尺寸為15 和1，共生成36 288 個(gè)一維樣本輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

圖8 三維合成地震數(shù)據(jù)Fig. 8 3D synthetic seismic data

3 種方法的去噪結(jié)果如圖9 所示，其中圖9a～c為SGK、ODRR和MADNet的去噪數(shù)據(jù)。從SGK(圖9a)的去噪數(shù)據(jù)中可以看到同相軸的連續(xù)性較差且不清晰。ODRR的去噪數(shù)據(jù)如圖9b所示，去噪后的數(shù)據(jù)體中仍殘留未衰減的噪聲。相比兩個(gè)對比方法，本文提出的MADNet重構(gòu)的波形特征更加清晰且殘留的噪聲較少，與干凈數(shù)據(jù)(圖8a)最接近。從重建后的地震數(shù)據(jù)來看，MADNet幾乎看不到明顯的噪聲殘留。圖9d～f展示了3 種方法移除的噪聲。相比SGK和ODRR，MADNet移除的噪聲包含更輕微的有效信號，表示在去噪過程中對有效反射信號的損害最小。接下來從數(shù)值的角度來對比3 種方法的去噪表現(xiàn)，如表2 所示。SGK、ODRR和MADNet的SNR分別為8.89 dB、9.44 dB和10.43 dB。相比兩個(gè)對比方法，本文提出的網(wǎng)絡(luò)具有高的SNR。為了進(jìn)一步檢測三種方法在去噪過程中的信號泄露情況，我們繪制了3 種方法的局部相似性對比圖，如圖10 所示。從圖10b中可以看到SGK的有效信號泄露問題相比剩余兩種方法較大。ODRR和MADNet的局部相似性對比圖結(jié)果接近，即檢測到的有效信號能量相似。綜合兩個(gè)對比方法和本文提出網(wǎng)絡(luò)的去噪表現(xiàn)，MADNet在衰減噪聲時(shí)可以更好的保護(hù)有效信號。

表2 三種網(wǎng)絡(luò)在三維合成數(shù)據(jù)測試中的信噪比對比Table 2 Comparison of the SNR using three networks in 3D synthetic data testing

圖9 三種不同方法的去噪效果對比Fig. 9 Denoising comparison using three different methods

圖10 三種不同方法的局部相似性對比圖Fig. 10 Comparison of local similarity maps using three different methods

為了進(jìn)一步驗(yàn)證本文提出的網(wǎng)絡(luò)在三維地震數(shù)據(jù)中的去噪表現(xiàn)，我們將算法應(yīng)用到實(shí)際地震數(shù)據(jù)中，并與SGK和ODRR算法進(jìn)行對比。我們采用小尺度數(shù)據(jù)分割技術(shù)將三維實(shí)際地震數(shù)據(jù)分割為一維含噪信號輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。這里的一維信號表示沿三維地震數(shù)據(jù)的各個(gè)方向根據(jù)分割和滑動(dòng)尺寸分割得到。小的分割尺寸將生成更多的小尺度數(shù)據(jù)，這將增加訓(xùn)練時(shí)間。選擇合適的分割和滑動(dòng)尺寸將不僅可以提高訓(xùn)練效率，還可以提升去噪表現(xiàn)。如圖11 所示，該數(shù)據(jù)先前被Wang等[33]用于隨機(jī)噪聲衰減測試。實(shí)際地震數(shù)據(jù)體中的有效反射信號被噪聲嚴(yán)重覆蓋，難以觀察到反射信號。本文提出的方法和對比方法的去噪結(jié)果如圖12 所示。圖12a～c展示了SGK、ODRR和MADNet去噪后的地震數(shù)據(jù)。從SGK(圖12a)的去噪數(shù)據(jù)可以看到重構(gòu)后的地震信號受到了損壞。ODRR(圖12b)去噪后的地震數(shù)據(jù)衰減掉了大部分噪聲，但重建后的地震信號過于平滑。從圖11c中可以看到本文提出的MADNet不僅衰減掉了大部分隨機(jī)噪聲，而且有效的恢復(fù)了反射信號。圖12d～f展示了3 種方法去除的噪聲。對比3 種方法去除的噪聲，ODRR的有效信號泄露問題相比提出的MADNet更加嚴(yán)重。SGK方法移除的大量噪聲，但仍能從移除的噪聲看到高振幅的有效信號。

圖11 三維實(shí)際地震數(shù)據(jù)Fig. 11 3D field data

圖12 三種不同方法的去噪效果對比Fig. 12 Denoising comparison using three different methods

2.4 討論

深度學(xué)習(xí)技術(shù)通常分為監(jiān)督和無監(jiān)督兩種方式，本文構(gòu)建了一種基于無監(jiān)督的框架來衰減多維地震數(shù)據(jù)中的隨機(jī)噪聲。由于實(shí)際數(shù)據(jù)難以制作干凈的標(biāo)簽，因此監(jiān)督學(xué)習(xí)框架受到了標(biāo)簽的限制。實(shí)際應(yīng)用時(shí)，使用小尺度地震數(shù)據(jù)分割技術(shù)將含噪數(shù)據(jù)分割為大量一維地震數(shù)據(jù)直接輸入到網(wǎng)絡(luò)中即可自適應(yīng)的完成去噪工作。本文使用提出的網(wǎng)絡(luò)在二維和三維的合成以及實(shí)際地震數(shù)據(jù)中進(jìn)行了測試，該網(wǎng)絡(luò)同樣可以對更高維度的地震數(shù)據(jù)進(jìn)行去噪處理。為了測試本文提出的方法的魯棒性，我們在二維和三維合成地震數(shù)據(jù)中添加不同水平的噪聲進(jìn)行去噪測試。測試結(jié)果如圖13 所示，圖13a和13b分別為本文提出的方法和對比方法在二維與三維合成地震數(shù)據(jù)中的降噪結(jié)果。圖13a中的黑色、紅色、藍(lán)色和紫色線條分別表示含噪數(shù)據(jù)DMSSA、PATCHUNET和MADNet的去噪結(jié)果。從圖中可以看到本文提出的方法相比兩個(gè)對比方法有最高的信噪比。在強(qiáng)噪聲背景下，本文提出的方法依然可以有效的提高地震數(shù)據(jù)的信噪比。圖13b展示了3 種方法在三維合成地震數(shù)據(jù)中的去噪結(jié)果。與二維合成地震數(shù)據(jù)去噪表現(xiàn)一致，本文提出的網(wǎng)絡(luò)有最佳的去噪表現(xiàn)。小尺度地震數(shù)據(jù)分割技術(shù)有助于提高波形特征的提取。

圖13 二維和三維合成數(shù)據(jù)中不同水平噪聲下不同方法的去噪表現(xiàn)Fig. 13 Denoising performance of different methods on different noise levels of 2D and 3D synthetic data

本文提出的MADNet的主要結(jié)構(gòu)為多分支特征提取注意力塊，該結(jié)構(gòu)通過特征提取、融合和選擇對重要的波形特征提供更大的權(quán)重。為了驗(yàn)證注意力塊在噪聲衰減中的作用，我們通過消融實(shí)驗(yàn)進(jìn)行對比。不含注意力機(jī)制的MADNet中的注意力塊由全連接特征提取塊組成，包含一個(gè)全連接層，一個(gè)激活函數(shù)層，一個(gè)批歸一化層和一個(gè)dropout層。圖14 展示了本文提出的MADNet和不含注意力機(jī)制的MADNet在二維和三維合成數(shù)據(jù)中的訓(xùn)練和驗(yàn)證集損失對比。從訓(xùn)練集損失的迭代曲線可以看出含有注意力機(jī)制的網(wǎng)絡(luò)具有更低的誤差。對于二維合成數(shù)據(jù)，MADNet和不含注意力機(jī)制的網(wǎng)絡(luò)的訓(xùn)練參數(shù)分別為519 168 和317 896。從訓(xùn)練效率來看，MADNet不含注意力機(jī)制的網(wǎng)絡(luò)的訓(xùn)練時(shí)間分別為134 秒和51 秒。為了進(jìn)一步展示兩種網(wǎng)絡(luò)的去噪效果，我們在圖15 和圖16 分別展示了在二維和三維合成數(shù)據(jù)中的去噪結(jié)果。對比圖15 中兩種網(wǎng)絡(luò)移除的噪聲剖面和局部相似性圖，含有注意力機(jī)制的網(wǎng)絡(luò)具有更好的保幅性。兩種網(wǎng)絡(luò)的SNR分別為8.98 dB和10.32 dB。從圖15 的兩種網(wǎng)絡(luò)在三維合成數(shù)據(jù)去噪結(jié)果的對比中，可以看到含注意力機(jī)制的網(wǎng)絡(luò)去噪后的地震數(shù)據(jù)中殘留的噪聲更少。兩種網(wǎng)絡(luò)去噪后數(shù)據(jù)的SNR分別為7.33 dB和10.43 dB。綜合去噪后的地震數(shù)據(jù)和移除的噪聲，含有注意力機(jī)制的網(wǎng)絡(luò)在去噪性能和保幅性中均具有更好的表現(xiàn)。

圖14 不同網(wǎng)絡(luò)結(jié)構(gòu)的損失曲線對比Fig. 14 Comparison of loss curves using different network structures

圖15 二維合成數(shù)據(jù)中不同網(wǎng)絡(luò)結(jié)構(gòu)的去噪效果對比Fig.15 Comparison of denoising performance using different network structures on 2D synthetic data

圖16 三維合成數(shù)據(jù)中不同網(wǎng)絡(luò)結(jié)構(gòu)的去噪效果對比Fig. 16 Comparison of denoising performance using different network structures on 3D synthetic data

3 結(jié)論與認(rèn)識

本文針提出了一種無監(jiān)督學(xué)習(xí)框架來衰減多維地震數(shù)據(jù)中的隨機(jī)和異常值噪聲，該網(wǎng)絡(luò)無需生成干凈的標(biāo)簽來擬合網(wǎng)絡(luò)。我們使用小尺度地震數(shù)據(jù)分割技術(shù)將多維含噪地震數(shù)據(jù)分割為大量一維數(shù)據(jù)并輸入到網(wǎng)絡(luò)中進(jìn)行迭代。本文所構(gòu)建的框架使用全連接層來提取波形特征，并采用多分支特征提取注意力塊以加權(quán)的方式來分配權(quán)重，進(jìn)而提高網(wǎng)絡(luò)對重要特征的提取能力。本文提出的網(wǎng)絡(luò)分為編碼和解碼兩個(gè)階段，其中編碼層用于壓縮數(shù)據(jù)并提取抽象特征，解碼層用于進(jìn)一步提取特征并重構(gòu)特征。為了更有效的衰減異常值噪聲，本文采用對異常值噪聲更具魯棒性的Huber損失函數(shù)來衰減隨機(jī)和異常值噪聲。此外，在構(gòu)建的網(wǎng)絡(luò)中加入總變分正則化項(xiàng)來捕捉地震資料局部的光滑結(jié)構(gòu)。二維和三維合成與實(shí)際地震數(shù)據(jù)的測試結(jié)果表明本文提出的框架可以有效的衰減噪聲。相比經(jīng)典的地震數(shù)據(jù)去噪方法和無監(jiān)督去噪方法，本文提出的方法具有更好的噪聲衰減和同相軸重構(gòu)能力。通過對含有不同水平噪聲地震數(shù)據(jù)的衰減測試，實(shí)驗(yàn)結(jié)果表明本文提出的方法具有良好的魯棒性。