基于自適應(yīng)損失均衡梯度增強(qiáng)的物理信息神經(jīng)網(wǎng)絡(luò)微地震定位

關(guān)鍵詞： 微地震，物理信息神經(jīng)網(wǎng)絡(luò)，相對(duì)到時(shí)，程函方程，自適應(yīng)損失均衡梯度增強(qiáng)中圖分類號(hào)：P631 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10. 13810/j. cnki. issn. 1000-7210. 20240291

Adaptive?loss?weighting gradient?enhanced physics?informed neural network for microseismic localization

PAN Deng1，2，TANG Jie1，2，F(xiàn)AN Zhonghao1，2，CHAN Jiayi1，2，PENG Jingyan ^1，2 School of Geosciences，China University of Petroleum（East China），Qingdao，Shandong 266580，China；2. Laboratory for Ma?rine Mineral Resources，Qingdao National Laboratory for Marine Science and Technology，Qingdao，Shandong 266071，China）

Abstract：Microseismic localization is a major challenge in microseismic monitoring tasks and is helpful for analy ? zing the effect of hydraulic fracturing. Physics ? informed neural network（PINN）can achieve microseismic loca ? lization. However，the trade ? off among multiple loss terms plays a crucial role in the training stage of PINN. Thus，this paper proposes a novel microseismic localization method based on an adaptive?loss?weighting gradient? enhanced PINN. First，a combined loss function is constructed by integrating the residuals of relative arrival time and the eikonal equation. Second，an adaptive term is introduced to automatically update the loss weights，and gradient information is also incorporated to enhance the performance of the network. Finally，network training is performed to obtain the traveltime distribution across the computational domain，and the hypocenter location is predicted by identifying the minimum traveltime. Test results demonstrate that this method can enhance the trai ? ning stability and prediction accuracy of the network and achieve a reliable microseismic localization effect.

eywords：microseismic，physics?informed neural network，relative arrival time，eikonal equation，adaptive?loss? weighting gradient?enhanced

潘登，唐杰，范忠豪，等 . 基于自適應(yīng)損失均衡梯度增強(qiáng)的物理信息神經(jīng)網(wǎng)絡(luò)微地震定位［J］. 石油地球物理勘探，2025，60（3）：618?630.PAN Deng，TANG Jie，F(xiàn)AN Zhonghao，et al. Adaptive ? loss ? weighting gradient ? enhanced physics ? informedneural network for microseismic localization［J］. Oil Geophysical Prospecting，2025，60（3）：618?630.

0 引言

隨著國(guó)家能源需求的日益增加，非常規(guī)油氣資源的勘探與開(kāi)發(fā)越來(lái)越受到重視[1]。水力壓裂技術(shù)是非常規(guī)油氣資源開(kāi)發(fā)的重要手段，在壓裂過(guò)程中，隨著巖石破裂會(huì)產(chǎn)生大量微地震事件，利用微地震監(jiān)測(cè)技術(shù)分析這些微地震事件的震源參數(shù)信息能夠進(jìn)行壓裂效果評(píng)價(jià)[2]。微地震定位作為微地震監(jiān)測(cè)數(shù)據(jù)處理和解釋中的核心環(huán)節(jié)，如何快速而準(zhǔn)確進(jìn)行震源定位尤為重要。地震事件定位的常用方法包括基于波形信息的繞射疊加法、波形反演法以及基于旅行時(shí)信息的射線追蹤法等[3]。繞射疊加法基于地震波的傳播特性，通過(guò)對(duì)微地震數(shù)據(jù)的聚焦成像實(shí)現(xiàn)震源定位，并利用波形疊加來(lái)提升信噪比；波形反演法是一種非線性優(yōu)化的反演方法，能夠利用完整的波形信息來(lái)獲取高分辨率的速度模型和準(zhǔn)確的震源位置；射線追蹤算法常用于計(jì)算初至波旅行時(shí)，由于復(fù)雜模型中射線路徑存在多解性，易陷入局部極小值[4]。在此基礎(chǔ)上發(fā)展的程函方程（EikonalEquation）法能夠更有效地進(jìn)行旅行時(shí)層析成像以及微震震源定位等[5]。求解程函方程最常用的算法包 括 快 速 行 進(jìn) 法 （Fast Marching Method，F(xiàn)MM）和快 速 掃 描 法 （Fast Sweeping Method，F(xiàn)SM） 等 。FMM 通過(guò)模擬波前擴(kuò)散來(lái)求解程函方程，有較高的計(jì)算效率；FSM 能夠在多個(gè)方向上交替掃描計(jì)算域，適用范圍廣，穩(wěn)定性更高。兩者都能夠快速找到射線最短傳播路徑，但在復(fù)雜模型中的計(jì)算精度和計(jì)算效率仍有待提高。

近年來(lái)，隨著機(jī)器學(xué)習(xí)算法的快速發(fā)展以及大型數(shù)據(jù)集的日益普及，深度學(xué)習(xí)在求解偏微分方程（Partial Differential Equation，PDE）和微地震定位領(lǐng)域也得到了廣泛應(yīng)用[6-7]。其中，利用監(jiān)督學(xué)習(xí)進(jìn)行微地震定位的方法得到了迅速的發(fā)展，這些方法通常使用數(shù)據(jù)集訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)并實(shí)時(shí)推斷震源位置[8]。然而，監(jiān)督學(xué)習(xí)方法通常需要訓(xùn)練大量的數(shù)據(jù)，這些數(shù)據(jù)往往難以獲得。此外，由于純數(shù)據(jù)驅(qū)動(dòng)網(wǎng)絡(luò)模型的黑盒性質(zhì)，很難深入了解模型所學(xué)習(xí)到的 特 征 信 息 。 隨 后 發(fā) 展 的 物 理 信 息 神 經(jīng) 網(wǎng) 絡(luò)（Physics-informed Neural Network，PINN） 通 過(guò) 使用自動(dòng)微分將偏微分方程嵌入神經(jīng)網(wǎng)絡(luò)的損失函數(shù)中來(lái)求解 PDE，可以實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí)的微地震定位。該方法不需要標(biāo)簽數(shù)據(jù)來(lái)學(xué)習(xí)輸入和輸出之間的映射，而是通過(guò)底層偏微分方程構(gòu)建的損失函數(shù)來(lái)完成學(xué)習(xí)更新[9-10]。相較于傳統(tǒng)數(shù)值方法，PINN無(wú)網(wǎng)格的特性在復(fù)雜條件下能夠更方便地獲得旅行時(shí)解；相較于傳統(tǒng)監(jiān)督學(xué)習(xí)方法，PINN 通過(guò)增強(qiáng)對(duì)所求問(wèn)題實(shí)際物理機(jī)制的控制，確保相關(guān)偏微分方程的有效性以限制可容許解的空間。Raissi 等[11]提出利用 PINN 求解非線性偏微分方程的正反演問(wèn)題；Izzatullah 等[12]開(kāi)發(fā)了基于深度學(xué)習(xí)的直接反演框架，可以進(jìn)行微地震震源定位；Huang 等[13]提出了一種硬約束下的 PINN 直接微震源定位方法。

PINN 通過(guò)梯度下降進(jìn)行模型訓(xùn)練，使得神經(jīng)網(wǎng)絡(luò)能夠最小化每個(gè) PDE 的殘差。多重?fù)p失函數(shù)的組合在 PINN 的收斂中起著重要作用[14-15]，因此在不同的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)階段，調(diào)整相互競(jìng)爭(zhēng)的多個(gè)損失函數(shù)至關(guān)重要[16-17]。PINN 的損失函數(shù)通常包括偏微分方程損失、邊界條件損失以及其他約束損失等。組合每個(gè)約束損失的最常見(jiàn)方法是加權(quán)求和，手動(dòng)調(diào)整這些權(quán)重的超參數(shù)不僅耗時(shí)，而且過(guò)于主觀，因此需要一種更方便、更經(jīng)濟(jì)的自適應(yīng)方法來(lái)均衡這些權(quán)重，以實(shí)現(xiàn)每個(gè)相互競(jìng)爭(zhēng)的目標(biāo)之間的平 衡[18]。

為此，本文提出了一種基于自適應(yīng)損失均衡梯度 增 強(qiáng) 的 物 理 信 息 神 經(jīng) 網(wǎng) 絡(luò) （Automatic WeightedLoss Gradient Enhanced PINN，AWL-gPINN）微 地震定位方法。首先通過(guò)最小化觀測(cè)和預(yù)測(cè)的旅行時(shí)差，在每次迭代中自動(dòng)更新每個(gè)損失項(xiàng)的權(quán)重并利用 PDE 殘差的梯度信息來(lái)增強(qiáng)神經(jīng)網(wǎng)絡(luò)；其次利用訓(xùn)練好的網(wǎng)絡(luò)來(lái)獲得整個(gè)計(jì)算域的旅行時(shí)分布；最后通過(guò)查找最小傳播時(shí)間對(duì)應(yīng)的位置以實(shí)現(xiàn)微地震的震源定位。模型和實(shí)際數(shù)據(jù)測(cè)試結(jié)果驗(yàn)證了該方法的有效性。

1 原理

通過(guò) PINN 進(jìn)行微地震位置直接反演，首先需要將程函方程納入神經(jīng)網(wǎng)絡(luò)，并結(jié)合觀測(cè)旅行時(shí)與計(jì)算旅行時(shí)的差異，獲得 PINN 的損失函數(shù)。

1. 1 PINN 微地震定位

Eikonal 方程是一個(gè)一階非線性雙曲偏微分 方 程[19-20]

式中： Q 是空間 R^d 中的一個(gè)區(qū)域，其中 R 表示實(shí)數(shù)集， d 為空間維度； T（x） 是從源 x_s 到任意點(diǎn) x 的旅行時(shí)； v（x） 為 Q 中定義的速度； abla 表示空間微分算子。PINN 可以表示為物理信息網(wǎng)絡(luò)參數(shù) θ 的優(yōu)化問(wèn)題，用于求取旅行時(shí)和估計(jì)震源位置。

微地震數(shù)據(jù)中拾取的到時(shí)由于其發(fā)震時(shí)刻未知，所以需要采用相對(duì)到時(shí)（Relative Arrival time），即選擇其中一道的到時(shí)為基準(zhǔn)，利用其他道的到時(shí)減去該道的到時(shí)。PINN 中的損失函數(shù)是多個(gè)損失項(xiàng)的加權(quán)和，可以使用均方誤差（MSE）損失函數(shù)組合其中的加權(quán)損失項(xiàng)來(lái)求解。另外還可以引入物理正則化項(xiàng)或約束條件，使得物理信息網(wǎng)絡(luò)具有更高的可靠性和泛化能力[21]。損失函數(shù)的表達(dá)式為

式中： I 代表采樣點(diǎn)； N_I 是采樣點(diǎn)的數(shù)目； D 代表檢波點(diǎn)； N_D 則表示檢波器的數(shù)量； T（x） 是 Eikonal 方程的真實(shí)解； T_θ（x） 則表示神經(jīng)網(wǎng)絡(luò)所計(jì)算的方程近似解； f（x）=|?T_θ（x^*）|²-1/v²（x^*） 為 PDE 的 殘差； 為通過(guò)網(wǎng)絡(luò)計(jì)算得到的相對(duì)到時(shí)； 為拾取的相對(duì)到時(shí)。式（2）右側(cè)的第一項(xiàng)要求式（1） 中的 Eikonal 方程在給定的訓(xùn)練點(diǎn)集合x(chóng)^*∈I 上成立；第二項(xiàng)作為檢波器位置 處給定旅行時(shí)數(shù)據(jù)集的數(shù)據(jù)損失，且 ；當(dāng)式（2）中的損失減至最小時(shí)，可以獲得震源位置的良好近似。網(wǎng)絡(luò)訓(xùn)練首先需要從全部采樣點(diǎn)中按一定數(shù)量選取采樣點(diǎn)作為訓(xùn)練點(diǎn)，最后利用選定訓(xùn)練點(diǎn)的旅行信息對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，一旦訓(xùn)練完成，即可利用旅行時(shí)分布的最小值得到震源位置

圖 1 為自適應(yīng)損失均衡的網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練模式。本文采用了前饋神經(jīng)網(wǎng)絡(luò)，它是一組按層組織的神經(jīng)元，在這種全連接神經(jīng)網(wǎng)絡(luò)中，相鄰層中的神經(jīng)元相互連接，而單層中的神經(jīng)元沒(méi)有連接。研究表明，具有隱藏層（Hidden Layer）和若干神經(jīng)元組合的神經(jīng)網(wǎng)絡(luò)可以用來(lái)表示任意精度的有界連續(xù)函數(shù)。全連接層（Fully Connected Layers）是物理信息網(wǎng)絡(luò)的主要結(jié)構(gòu)，能夠?qū)W(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間，其由一個(gè)輸入層、若干個(gè)隱藏層和一個(gè)輸出層組成，層與層的每個(gè)神經(jīng)單元之間都是相互連接的。

圖1 物理信息網(wǎng)絡(luò)定位過(guò)程示意圖

單個(gè)隱藏層中包括了線性池化、Mish 激活函數(shù)等。激活函數(shù)是為了增加神經(jīng)網(wǎng)絡(luò)模型的非線性，負(fù)責(zé)將神經(jīng)元的輸入映射到輸出端，能夠增加神經(jīng)網(wǎng)絡(luò)模型的非線性變化。在深度學(xué)習(xí)發(fā)展初期，傳統(tǒng)的非線性激活函數(shù) Sigmoid 和 Tanh 得到了廣泛應(yīng)用。隨著網(wǎng)絡(luò)深度的不斷增加，為解決梯度彌散效 應(yīng) 而 發(fā) 展 出 了 ReLU（Rectified linear units） 和Softplus 等激活函數(shù)；神經(jīng)網(wǎng)絡(luò)的快速發(fā)展也使得Swish、Mish 等激活函數(shù)得到了廣泛的應(yīng)用[22-23]。Swish 激活函數(shù)是一種介于線性函數(shù)與 ReLU 之間的平滑函數(shù)；Mish 激活函數(shù)作為一種較新的激活函數(shù)，與 ReLU、Swish 等其他激活函數(shù)相比具有更平滑的非線性和非單調(diào)性，既保留了輸入信號(hào)的有用信息，又引入了非線性來(lái)增強(qiáng)模型的表達(dá)能力，有助于模型更好地捕捉和表示數(shù)據(jù)中的復(fù)雜模式。

1. 2 自適應(yīng)損失均衡梯度增強(qiáng)

本文采用自適應(yīng)損失均衡目標(biāo)函數(shù)，將殘差和不確定性正則化組成聯(lián)合項(xiàng)以自動(dòng)調(diào)整殘差權(quán)重[24]

式中： ε_d 和 分別為數(shù)據(jù)和 PDE 損失的權(quán)重參數(shù)； 為 自 適 應(yīng) 損 失 均 衡 項(xiàng) 。 在PINN 中，一般只強(qiáng)制 PDE 的殘差 f（x） 為零，若f（x） 對(duì)于任何 x 都是零，其導(dǎo)數(shù)也為零。則在式

的增強(qiáng)項(xiàng)[25]

（4）中可以加入與 PDE 殘差的梯度 的信息有關(guān)

此時(shí)，經(jīng)梯度增強(qiáng)后的 PINN 的損失函數(shù)為

式中 ε_g1 和 ε_g2 為 PDE 梯度中的權(quán)重參數(shù)。通過(guò)增強(qiáng) PDE 殘 差 的 梯 度 ，梯 度 增 強(qiáng) 物 理 信 息 網(wǎng) 絡(luò)gPINN 具有比 PINN 更快的收斂速度和更準(zhǔn)確的未知參數(shù)學(xué)習(xí)能力，當(dāng)使用相同數(shù)量的殘差點(diǎn)時(shí)，gPINN 能夠?qū)崿F(xiàn)更好的預(yù)測(cè)精度。當(dāng)然，由于gPINN 具有更高階導(dǎo)數(shù)的附加損失項(xiàng)，其計(jì)算成本略高于 PINN。

物理信息網(wǎng)絡(luò)構(gòu)建后，需要對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使用物理信息網(wǎng)絡(luò)求解偏微分方程需要網(wǎng)絡(luò)輸出相對(duì)于輸入的導(dǎo)數(shù)，求導(dǎo)的方法有解析求解、符號(hào)微分、數(shù)值近似以及自動(dòng)微分法等。手工計(jì)算導(dǎo)數(shù)可能是準(zhǔn)確的，但在處理大量數(shù)據(jù)時(shí)并不實(shí)際。符號(hào)微分雖然準(zhǔn)確，但內(nèi)存消耗大且速度慢。數(shù)值微分易于實(shí)現(xiàn)，但由于舍入誤差，可能不夠準(zhǔn)確。而自動(dòng)微分法使用帶有浮點(diǎn)數(shù)的準(zhǔn)確表達(dá)式，避免了近似誤差，從而能夠在機(jī)器精度下精確計(jì)算導(dǎo)數(shù)。網(wǎng)絡(luò)訓(xùn)練指的是調(diào)整網(wǎng)絡(luò)的權(quán)值和偏差，以使得在給定訓(xùn)練點(diǎn)集上的損失函數(shù)最小化[26-27]。與監(jiān)督學(xué)習(xí)不同，PINN 的網(wǎng)絡(luò)學(xué)習(xí)過(guò)程無(wú)需標(biāo)簽集。在實(shí)踐中，為了達(dá)到所需的精度，需要調(diào)整所有超參數(shù)，如網(wǎng)絡(luò)大小、學(xué)習(xí)率和殘差計(jì)算點(diǎn)的數(shù)量等，所需的網(wǎng)絡(luò)大小在很大程度上取決于 PDE 解的平滑度。PINN 還可能會(huì)從不同的網(wǎng)絡(luò)初始值收斂到不同的解，因此，一種常見(jiàn)的策略是從隨機(jī)初始化中訓(xùn)練多次網(wǎng)絡(luò)，并選擇訓(xùn)練損失最小的網(wǎng)絡(luò)作為最終解。

2 模型測(cè)試分析

為了驗(yàn)證本文方法的有效性，構(gòu)建不同的模型進(jìn)行測(cè)試，其中包括隨深度變化的變速模型和二維、三維復(fù)雜速度模型。同時(shí)使用傳統(tǒng) Eikonal 方程求解方法 FMM 計(jì)算模型空間旅行時(shí)分布來(lái)對(duì)比驗(yàn)證網(wǎng)絡(luò)預(yù)測(cè)旅行時(shí)的準(zhǔn)確性，此外觀測(cè)旅行時(shí)也可通過(guò) FMM 計(jì)算得到。

2. 1 恒定速度梯度模型

考慮速度隨深度及橫向距離變化的模型，該模型垂直方向速度變化率為 0.5s^-1 ，橫向速度變化率為 0.4s^-1 ，網(wǎng)格間距為 20m ，將點(diǎn)源放置在橫向1.5km 、縱向 1.0km 處代表微地震事件。速度模型、檢波器分布以及點(diǎn)震源位置如圖 2a 所示；圖 2b為該模型中 FMM 計(jì)算的旅行時(shí)經(jīng)網(wǎng)格離散化處理后的空間分布情況。

圖2 恒定速度梯度模型

2. 1. 1 網(wǎng)絡(luò)初始化參數(shù)的影響

初始化物理信息網(wǎng)絡(luò)的參數(shù)時(shí)，應(yīng)該使得初始權(quán)重分布具有隨機(jī)性：如均勻（Uniform）分布或正態(tài)（Normal）分布等。輸入信號(hào)在多層神經(jīng)網(wǎng)絡(luò)中傳遞時(shí)，其方差會(huì)不斷減小，這導(dǎo)致反向傳播中的梯度也逐層遞減。若初始權(quán)重的絕對(duì)值過(guò)小，當(dāng)信號(hào)傳遞至輸出層時(shí)，其影響會(huì)變得微乎其微。此時(shí)輸入信號(hào)難以對(duì)最終結(jié)果產(chǎn)生顯著影響，這不僅會(huì)導(dǎo)致訓(xùn)練效果不佳，更可能引發(fā)梯度消失等問(wèn)題。相反，如果權(quán)重的絕對(duì)值太大，隨著網(wǎng)絡(luò)深度的增加，可能會(huì)導(dǎo)致輸入信號(hào)的方差激增，進(jìn)而引發(fā)梯度爆炸或消失的問(wèn)題[28]。

要解決梯度消失的問(wèn)題，最理想的方法是使每層的輸出值（激活值）保持高斯分布來(lái)避免其方差的衰減。Kaiming 初始化和 Xavier 初始化是兩種深度學(xué)習(xí)領(lǐng)域廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)權(quán)重初始化方法，兩者的基本思想都是使得輸入信號(hào)經(jīng)過(guò)網(wǎng)絡(luò)層后使其方差保持不變，這可以有效地解決深層神經(jīng)網(wǎng)絡(luò)在初始化時(shí)可能遇到的梯度消失或梯度爆炸的問(wèn)題。

為了研究不同初始化方式對(duì)網(wǎng)絡(luò)訓(xùn)練的影響，在計(jì)算域中隨機(jī)選取 3000 個(gè)采樣點(diǎn)，并收集表面11 個(gè)檢波器處的到達(dá)時(shí)間作為觀測(cè)數(shù)據(jù)。圖 3 為真實(shí)震源位置以及采用四種不同隨機(jī)權(quán)重初始化策略的震源定位結(jié)果。由圖可見(jiàn)，對(duì)于 Kaiming 和Xavier 兩種正態(tài)分布，通過(guò) PINN 的微震定位結(jié)果與圖 2b 中所示的真實(shí)位置相匹配。由表 1 可見(jiàn)，Xavier 正態(tài)分布初始化策略的預(yù)測(cè)結(jié)果更為接近真實(shí)位置，而 Kaiming 和 Xavier 兩種均勻分布初始化策略的預(yù)測(cè)結(jié)果與真實(shí)值偏差較大。采用不同的隨機(jī)權(quán)重初始化策略會(huì)導(dǎo)致網(wǎng)絡(luò)預(yù)測(cè)結(jié)果出現(xiàn)偏差，這表明在進(jìn)行物理信息網(wǎng)絡(luò)微地震定位時(shí)，需要選擇合適的權(quán)重初始化方式。

圖3 采用不同隨機(jī)權(quán)重初始化策略的預(yù)測(cè)震源位置對(duì)比

表1 不同隨機(jī)權(quán)重初始化策略的PINN 估計(jì)的震源位置表

由圖 4 可見(jiàn)，不同隨機(jī)權(quán)重初始化策略的損失函數(shù)隨著迭代次數(shù)的增加總體都顯現(xiàn)下降趨勢(shì)，其中 Kaiming 均勻分布（橙色曲線）和 Xavier 兩種均勻分布（紅色曲線）中的初始權(quán)重記錄了相較其他兩種正態(tài)分布更低的總損失值，但它們未能正確預(yù)測(cè)Eikonal 方程的解，從而將震源定位在了錯(cuò)誤的位置。當(dāng)物理信息網(wǎng)絡(luò)采用均勻的先驗(yàn)權(quán)重分布時(shí)，可能會(huì)導(dǎo)致訓(xùn)練過(guò)程陷入不良的局部最小值，盡管在訓(xùn)練期間能獲得較低的總損失值，但這種局部最小值實(shí)際上是物理信息網(wǎng)絡(luò)中的零空間解。為了緩解這一問(wèn)題，可以采取多種策略，例如設(shè)計(jì)專門(mén)針對(duì)特定任務(wù)的網(wǎng)絡(luò)架構(gòu)、采用不同初始權(quán)重的先驗(yàn)分布等。以上策略可以使網(wǎng)絡(luò)更有效地捕捉數(shù)據(jù)的關(guān)鍵特征，并有助于算法更好地探索參數(shù)空間。另外，通過(guò)調(diào)整最優(yōu)超參數(shù)，可以平衡模型對(duì)訓(xùn)練數(shù)據(jù)的擬合度，從而進(jìn)一步提升網(wǎng)絡(luò)性能。綜上所述，后續(xù)試驗(yàn)中將采用效果較好的 Xavier 正態(tài)分布初始化策略來(lái)進(jìn)行網(wǎng)絡(luò)訓(xùn)練。

圖4 不同訓(xùn)練損失隨著迭代次數(shù)的變化曲線

2. 1. 2 激活函數(shù)的影響

為了對(duì)比不同激活函數(shù)對(duì) PINN 震源定位結(jié)果的影響，選用傳統(tǒng)的 ReLU 和 Sigmod 激活函數(shù)與Swish、Mish 激活函數(shù)對(duì)模型進(jìn)行訓(xùn)練。圖 5 為四種不同激活函數(shù)的 PINN 定位結(jié)果，表 2 為具體位置坐標(biāo)。由圖 5 可見(jiàn)，相較于其他三種激活函數(shù)，使用 Mish 激活函數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練能得到更為準(zhǔn)確的定位結(jié)果。

結(jié)合表 2 和圖 5 可知，ReLU 和 Sigmod 激活函數(shù)無(wú)法使網(wǎng)絡(luò)得到較好的收斂，并且對(duì)參數(shù)初始化比較敏感，不適當(dāng)?shù)某跏蓟呗钥赡軙?huì)導(dǎo)致大量神經(jīng)元在訓(xùn)練開(kāi)始時(shí)就處于“死亡”狀態(tài)，從而無(wú)法進(jìn)行有效學(xué)習(xí)。Swish 能夠在一定程度上平衡研究問(wèn)題的線性和非線性特性，從而減少深層神經(jīng)網(wǎng)絡(luò)中的梯度消失或梯度爆炸問(wèn)題。Mish 相比于 Swish具有更好的非線性和光滑性，避免了梯度飽和的問(wèn)題。理論上，對(duì)負(fù)值的輕微正則化處理能夠使訓(xùn)練過(guò)程獲得更好的梯度流，更平滑的激活函數(shù)則可以得到更深層神經(jīng)網(wǎng)絡(luò)的信息，從而取得更好的準(zhǔn)確性和泛化能力，有助于增強(qiáng)網(wǎng)絡(luò)在優(yōu)化過(guò)程中的收斂 性[29]。

圖5 使用不同激活函數(shù)的PINN 定位結(jié)果

表2 采用不同激活函數(shù)的PINN 預(yù)測(cè)的震源位置

2. 2 二維復(fù)雜模型測(cè)試

為了驗(yàn)證本文方法在復(fù)雜模型中的適用性，選用 Marmousi 模型進(jìn)行測(cè)試。模型深度為 1.13km ，寬度為 3.85km ，并于表面均勻布置 25 個(gè)檢波器，用于訓(xùn)練的初始采樣點(diǎn)數(shù)為 5000 個(gè)。

2. 2. 1 損失函數(shù)的影響

傳統(tǒng)損失函數(shù)是不同損失項(xiàng)的加權(quán)和，而AWL 可以通過(guò)更新每個(gè)歷元中的噪聲參數(shù)來(lái)自動(dòng)分配損失權(quán)重，并在損失項(xiàng)中自適應(yīng)地添加一定權(quán)重以提高網(wǎng)絡(luò)的模擬精度。后者通過(guò)在每次迭代中自動(dòng)更新每個(gè)損失項(xiàng)的權(quán)重，并最小化損失來(lái)盡可能滿足物理約束，其中可訓(xùn)練的權(quán)重隨著訓(xùn)練損失的增加而增加。

為了驗(yàn)證 AWL 相較于傳統(tǒng)損失函數(shù)的優(yōu)勢(shì)，使用Marmousi 模型進(jìn)行測(cè)試。震源位于橫向 1.0km 、縱向 0.7km 處。選取 3000 個(gè)采樣點(diǎn)進(jìn)行訓(xùn)練，最大迭代次數(shù)為 5000，初始權(quán)重選擇從 Xavier 正態(tài)分布中進(jìn)行采樣。圖 6 為 AWL 與傳統(tǒng)損失函數(shù)的PINN 震源位置預(yù)測(cè)結(jié)果，表 3 為兩種方法預(yù)測(cè)的震源位置。由圖 6 可見(jiàn)，AWL 網(wǎng)絡(luò)在震源位置的預(yù)測(cè)準(zhǔn)確性有所提升。圖 7 為兩種不同損失函數(shù)的網(wǎng)絡(luò)預(yù)測(cè)旅行時(shí)與 FMM 求出的觀測(cè)旅行時(shí)曲線對(duì)比，結(jié)果顯示使用 AWL 網(wǎng)絡(luò)預(yù)測(cè)的相對(duì)旅行時(shí)與觀測(cè)旅行時(shí)的曲線擬合程度更好。

圖6 網(wǎng)絡(luò)預(yù)測(cè)震源位置與真實(shí)震源位置對(duì)比

表3 兩種不同損失函數(shù)的PINN 預(yù)測(cè)位置坐標(biāo)

圖7 PINN 預(yù)測(cè)旅行時(shí)和觀測(cè)旅行時(shí)對(duì)比

2. 2. 2 稀疏數(shù)據(jù)的影響

AWL-gPINN 可以利用梯度增強(qiáng)來(lái)有效提升網(wǎng)絡(luò)的穩(wěn)定性，并且訓(xùn)練過(guò)程所需要的訓(xùn)練點(diǎn)數(shù)量更少。為了測(cè)試 AWL-gPINN 在訓(xùn)練樣本減少時(shí)的網(wǎng)絡(luò)預(yù)測(cè)效果，模擬了一種稀疏數(shù)據(jù)的情況，即假設(shè)部分檢波器因噪聲干擾或儀器故障而無(wú)法正常提供數(shù)據(jù)（圖 8b）；同時(shí)還模擬了在訓(xùn)練數(shù)據(jù)稀缺的條件下，僅使用 1000 個(gè)采樣點(diǎn)進(jìn)行模型訓(xùn)練的場(chǎng)景（圖 8c）。圖 8 為兩種情形的網(wǎng)絡(luò)預(yù)測(cè) Eikonal 解及網(wǎng)絡(luò)預(yù)測(cè)旅行時(shí)和 FMM 計(jì)算旅行時(shí)的殘差。由圖 8

可見(jiàn)，當(dāng)數(shù)據(jù)稀疏或用于訓(xùn)練的樣點(diǎn)數(shù)量大幅減少時(shí)，旅行時(shí)殘差增大，AWL-gPINN 仍能較準(zhǔn)確地預(yù)測(cè)震源位置。考慮到速度模型的大小，即使在觀測(cè)條件有限的情況下，本文方法也能提供穩(wěn)健的定位能力。主要原因在于，經(jīng)梯度增強(qiáng)后的網(wǎng)絡(luò)穩(wěn)定性提高，此時(shí)所需的訓(xùn)練樣本更少；且初始化后的網(wǎng)絡(luò)損失函數(shù)中包含的 Eikonal 殘差項(xiàng)，實(shí)際上起到了物理正則化的作用，這一特性使得該方法能夠以符合物理原理的方式有效地克服反問(wèn)題中的不適定性。

2. 2. 3 震源多次定位測(cè)試

利用網(wǎng)絡(luò)進(jìn)行定位時(shí)，受作為訓(xùn)練集的采樣點(diǎn)選取影響，結(jié)果會(huì)產(chǎn)生一定的隨機(jī)誤差。為了驗(yàn)證網(wǎng)絡(luò)多次預(yù)測(cè)精度并分析預(yù)測(cè)旅行時(shí)誤差，在 Mar?mousi 模型選定范圍內(nèi)隨機(jī)放置 50 個(gè)不同位置的震源點(diǎn)并利用 AWL-gPINN 進(jìn)行多次定位預(yù)測(cè)。速度模型及震源分布如圖 9 所示。由圖 10 可見(jiàn)，AWL-gPINN 在進(jìn)行多次震源預(yù)測(cè)定位時(shí)能達(dá)到較高的準(zhǔn)確度，且網(wǎng)絡(luò)預(yù)測(cè)震源位置的誤差集中分

圖9 用于震源多次定位測(cè)試的模型

圖10 震源多次定位結(jié)果對(duì)比及誤差統(tǒng)計(jì)

布在理想范圍內(nèi)。

2. 3 三維模型測(cè)試

為測(cè)試本文方法在三維速度模型中的適用性，使用平滑后的三維 SEAM 模型中的一部分進(jìn)行測(cè)試。模型的長(zhǎng)、寬和深度均為 2km ，震源位于中心點(diǎn)處，檢波器間隔為 25m 且在模型表面呈星形排布（圖 11）。圖 12 為 X，Y 和 Z 分量不同方向中心切片的震源真實(shí)位置和預(yù)測(cè)位置。由圖 12 可見(jiàn)，在三維模型中， AWL-gPINN 通過(guò)訓(xùn)練能夠精確計(jì)算出空間旅行時(shí)分布，并得到較為準(zhǔn)確的震源定位結(jié)果。

圖11 三維速度模型及檢波器（白色三角）分布

2. 3. 1 不同觀測(cè)系統(tǒng)的影響

為了測(cè)試不同觀測(cè)系統(tǒng)對(duì)網(wǎng)絡(luò)定位性能的影響，在三維模型中增加三種不同的檢波器排布方式進(jìn)行測(cè)試：第一種，在初始星形排布的基礎(chǔ)上將檢波器間隔增加至 100m ；第二種，在模型表面檢波器按矩形均勻排布的方式，間隔為 25m ；第三種，將均勻排布的檢波器間隔增加到 100m 。圖 13 為四種觀測(cè)系統(tǒng)的平面示意圖（含初始星型排布方式）。

圖12 不同方向切片上空間旅行時(shí)分布和定位結(jié)果

圖13 四種觀測(cè)系統(tǒng)的檢波器分布平面示意圖

使用 AWL-gPINN 在不同檢波器排布的情況下進(jìn)行震源定位。表 4 為在不同觀測(cè)系統(tǒng)下具體的網(wǎng)絡(luò)預(yù)測(cè)位置，圖 14 為在不同方向上的網(wǎng)絡(luò)定位結(jié)果對(duì)比。由圖 14 可見(jiàn)，AWL-gPINN 在兩種不同的地表觀測(cè)系統(tǒng)中均有良好的適用性，當(dāng)采用高密度檢波器排列方式時(shí)，網(wǎng)絡(luò)定位結(jié)果更為準(zhǔn)確；當(dāng)檢波器覆蓋范圍減小時(shí)，仍能保證一定的預(yù)測(cè)精度。

圖14 四種觀測(cè)系統(tǒng)條件下的網(wǎng)絡(luò)預(yù)測(cè)定位結(jié)果

表4 四種觀測(cè)系統(tǒng)條件下的網(wǎng)絡(luò)預(yù)測(cè)位置坐標(biāo)

2. 3. 2 不同信噪比的影響

為了驗(yàn)證 AWL-gPINN 在不同信噪比模型中的預(yù)測(cè)準(zhǔn)確性，采用間隔為 25m 的均勻檢波器排布方式。通過(guò)在模型中添加一定比例的高斯隨機(jī)噪聲以模擬不同信噪比的情況；同時(shí)設(shè)置五個(gè)不同位置且具有一定間隔的震源點(diǎn)，利用 AWL-gPINN 和傳統(tǒng) PINN 進(jìn)行定位測(cè)試對(duì)比。圖 15 為震源真實(shí)位置、AWL-gPINN 預(yù)測(cè)震源位置以及傳統(tǒng) PINN 預(yù)測(cè)震源位置在添加不同比例隨機(jī)噪聲模型中的空間分布情況。圖 16 統(tǒng)計(jì)了兩種網(wǎng)絡(luò)對(duì)于不同震源位置的平均預(yù)測(cè)準(zhǔn)確率。結(jié)合兩者可以看到，AWL-gPINN 在三維模型中能保證一定的預(yù)測(cè)高精度，其相比于傳統(tǒng) PINN 擁有更高的預(yù)測(cè)精度，且擁有更好的抗噪能力。

圖15 隨機(jī)噪聲條件下兩種PINN 的預(yù)測(cè)震源位置對(duì)比

圖16 隨機(jī)噪聲下兩種PINN 震源位置的預(yù)測(cè)精度

3 實(shí)際數(shù)據(jù)測(cè)試

為測(cè)試本文方法在實(shí)際數(shù)據(jù)中的應(yīng)用能力，使用某工區(qū)井中因水力壓裂所產(chǎn)生的實(shí)際微地震數(shù)據(jù)進(jìn)行定位測(cè)試。結(jié)合測(cè)井?dāng)?shù)據(jù)建立的三維速度模型深度為 4.5km ，東西向和南北向的長(zhǎng)度分別為 7km 和 6km 。根據(jù)實(shí)際數(shù)據(jù)的分布情況，采用位于表面的星形排布檢波器共 1771 道進(jìn)行接收，道間距為20m 。三維模型及檢波器排布如圖 17 所示。選取地表監(jiān)測(cè)微地震事件中具有較高信噪比的重采樣數(shù)據(jù)進(jìn)行定位測(cè)試，記錄長(zhǎng)度為 501ms ，采樣間隔為1ms 。因?yàn)閷?shí)際數(shù)據(jù)中震源位置未知，所以需要先從實(shí)際地震數(shù)據(jù)中拾取 P 波初至旅行時(shí)并對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過(guò)網(wǎng)絡(luò)從模型中預(yù)測(cè)震源位置。

圖17 用于測(cè)試的工區(qū)三維速度模型及檢波器排布

使用 AWL-gPINN 和傳統(tǒng) PINN 預(yù)測(cè)旅行時(shí)并進(jìn)行震源定位，同時(shí)利用傳統(tǒng)網(wǎng)格搜索法通過(guò)實(shí)際旅行時(shí)做震源定位對(duì)比。圖 18 為垂直分量的實(shí)際觀測(cè)數(shù)據(jù)以及拾取的初至 P 波實(shí)際旅行時(shí)曲線；圖 19 為不同方法的震源定位結(jié)果對(duì)比。同時(shí)，圖 20為 AWL-gPINN 和傳統(tǒng) PINN 的預(yù)測(cè)旅行時(shí)與實(shí)際旅行時(shí)的擬合曲線及絕對(duì)殘差分布切片。由圖可見(jiàn)，本文方法的預(yù)測(cè)旅行時(shí)相對(duì)于實(shí)際旅行時(shí)的誤差總體上更小，其中各采樣點(diǎn)的 AWL-gPINN 預(yù)測(cè)旅行時(shí)與實(shí)際旅行時(shí)的平均絕對(duì)誤差約為 3.6ms ；傳統(tǒng) PINN 預(yù)測(cè)旅行時(shí)與實(shí)際旅行時(shí)的平均絕對(duì)誤差約為 5.8ms 。測(cè)試結(jié)果表明，AWL-gPINN 能有效應(yīng)用于實(shí)際數(shù)據(jù)并進(jìn)行震源定位。相比于傳統(tǒng)PINN 方法，本文方法能夠預(yù)測(cè)出更準(zhǔn)確的旅行時(shí)信息和震源位置；相比于傳統(tǒng)數(shù)值方法，AWL-gPINN 不受網(wǎng)格大小的限制，并且能自動(dòng)進(jìn)行旅行時(shí)計(jì)算和震源定位，無(wú)需人工干預(yù)，同時(shí)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練能夠進(jìn)一步增強(qiáng)預(yù)測(cè)準(zhǔn)確性和穩(wěn)定性。

圖18 微地震事件的實(shí)際觀測(cè)數(shù)據(jù)

圖19 不同方法定位結(jié)果對(duì)比

圖20 兩種PINN 方法的旅行時(shí)擬合曲線（左）及絕對(duì)殘差分布切片（右）

4 結(jié)論

（1）基于 PINN 的微地震定位作為一種無(wú)網(wǎng)格方法，在求解程函方程時(shí)不受網(wǎng)格形狀及大小的約束，并且相比于傳統(tǒng)監(jiān)督學(xué)習(xí)方法，在訓(xùn)練時(shí)無(wú)需手動(dòng)制作標(biāo)簽。然而傳統(tǒng) PINN 的復(fù)雜物理?yè)p失項(xiàng)之間存在競(jìng)爭(zhēng)關(guān)系，這使得網(wǎng)絡(luò)學(xué)習(xí)過(guò)程不適定。本文提出的 AWL-gPINN 采用自適應(yīng)損失均衡梯度增強(qiáng)方法來(lái)自適應(yīng)分配適當(dāng)?shù)臋?quán)重，使得網(wǎng)絡(luò)能夠同時(shí)訓(xùn)練不同的物理?yè)p失項(xiàng)，并且能在網(wǎng)絡(luò)訓(xùn)練和迭代的過(guò)程中利用程函方程殘差的梯度信息來(lái)增強(qiáng)神經(jīng)網(wǎng)絡(luò)。

（2） 實(shí)驗(yàn)測(cè)試結(jié)果表明，本文方法可以改善PINN 的微地震定位效果并優(yōu)化網(wǎng)絡(luò)收斂過(guò)程，相比于使用傳統(tǒng)損失函數(shù)的 PINN，該方法能夠在復(fù)雜模型中實(shí)現(xiàn)更穩(wěn)定且準(zhǔn)確的震源定位，其有效性在二維、三維速度模型和實(shí)際數(shù)據(jù)中也得到了驗(yàn)證。（3）利用旅行時(shí)信息進(jìn)行震源定位的一個(gè)主要限制在于它假設(shè)的初始速度模型是準(zhǔn)確的，后續(xù)需要研究震源定位與速度模型的協(xié)同反演過(guò)程。

參 考 文 獻(xiàn)

［1］ 毛慶輝，陳君武，王鵬，等. 基于優(yōu)化波形疊加的井中 微地震定位方法[J]. 石油地球物理勘探，2023，58（5）： 1164?1172. MAO Qinghui， CHEN Junwu， WANG Peng， et al. Downhole microseismic location method based on waveform stacking optimization[J]. Oil Geophysical Prospecting， 2023， 58（5）： 1164?1172.

［2］ 唐杰，方兵，藍(lán)陽(yáng)，等. 壓裂誘發(fā)的微地震震源機(jī)制及 信 號(hào) 傳 播 特 性 [J]. 石 油 地 球 物 理 勘 探 ，2015，50（4）： 643?649. TANG Jie， FANG Bing， LAN Yang， et al. Focal mechanism of micro ? seismic induced by hydrofracture and its signal propagation characteristics[J]. Oil Geo? physical Prospecting， 2015， 50（4）： 643?649.

［3］ 唐杰，唐正威， 韓盛元，等. 基于Tene?cor 自動(dòng)聚焦成 像算子的彈性波微地震逆時(shí)定位[J]. 石油物探，2024， 63（5）： 968?980. TANG Jie， TANG Zhengwei， HAN Shengyuan， et al. Reverse?time elastic?wave localization of microseis? mic events based on Tene ? cor autofocusing imaging operator[J]. Geophysical Prospecting for Petroleum， 2024， 63（5）： 968?980.

［4］ COMAN R， GAJEWSKI D. Traveltime computation by wavefront ? orientated ray tracing[J]. Geophysical Prospecting， 2005， 53（1）： 23?36.

［5］ GRUBAS S， DUCHKOVA， LOGINOV G. Neural eikonal solver： improving accuracy of physics?informed neural networks for solving eikonal equation in case of caustics[J]. Journal of Computational Physics， 2023， 474： 111789.

［6］ 都國(guó)寧， 譚軍， 宋鵬， 等 . 基于物理信息驅(qū)動(dòng)神經(jīng)網(wǎng) 絡(luò)的三維初至波旅行時(shí)計(jì)算方法[J]. 石油地球物理勘 探， 2023， 58（1）： 9?20. DU Guoning， TAN Jun， SONG Peng， et al. 3D tra? veltime calculation of first arrival wave using physics ? informed neural network[J]. Oil Geophysical Prospec ? ting， 2023， 58（1）： 9?20.

［7］ TAUFIK M H， WAHEED U B， ALKHALIFAH T A. Upwind， no more： flexible traveltime solutions using physics ? informed neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1?12.

［8］ 王維波，官?gòu)?qiáng)，高明，等. 利用殘差網(wǎng)絡(luò)和地震發(fā)射層 析成像的微地震事件檢測(cè)[J]. 石油地球物理勘探， 2022，57（2）：251?260. WANG Weibo， GUAN Qiang， GAO Ming， et al. Detection of microseismic events based on residual net? work and seismic emission tomography[J]. Oil Geo? physical Prospecting， 2022， 57（2）： 251?260.

［9］ WAHEED U B， HAGHIGHAT E， ALKHALIFAH T， et al. PINNeik： Eikonal solution using physics ? in? formed neural networks[J]. Computers amp; Geosciences， 2021， 155： 104833.

［10］ TAUFIK M H， WAHEED U B， ALKHALIFAH T A. A neural network based global traveltime function （GlobeNN）[J]. Scientific Reports， 2023， 13： 7179.

［11］ RAISSI M， PERDIKARIS P， KARNIADAKIS G E. Physics?informed neural networks： A deep learning framework for solving forward and inverse problems in? volving nonlinear partial differential equations[J]. Jour? nal of Computational Physics， 2019， 378： 686?707.

［12］ IZZATULLAH M，YILDIRIM I E，WAHEED U B， et al. Laplace HypoPINN： physics ?informed neural net? work for hypocenter localization and its predictive un? certainty[J]. Machine Learning： Science and Technol? ogy， 2022， 3（4）： 045001.

［13］ HUANG X， ALKHALIFAH T A. Microseismic source imaging using physics ?informed neural networks with hard constraints[J]. IEEE Transactions on Geo? science and Remote Sensing， 2024，62： 1?11.

［14］ YANG L， MENG X， KARNIADAKIS G E. B ? PINNs： Bayesian physics?informed neural networks for forward and inverse PDE problems with noisy data[J]. Journal of Computational Physics， 2021，425： 109913.

［15］ ALKHALIFAH T， SONG C， WAHEED U B， et al. Wavefield solutions from machine learned functions constrained by the Helmholtz equation[J]. Artificial In? telligence in Geosciences， 2021， 2： 11?19.

［16］ SONG C， ALKHALIFAH T， WAHEED U B. A versatile framework to solve the Helmholtz equation using physics ? informed neural networks[J]. Geophysi? cal Journal International， 2021， 228（3）： 1750?1762.

［17］ SONG C， ALKHALIFAH T. Wavefield reconstruc? tion inversion via physics ? informed neural networks [J]. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1?12.

［18］ HUANG X， ALKHALIFAH T. Single reference fre? quency loss for multifrequency wavefield representa? tion using physics ? informed neural networks[J]. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 1?5.

［19］ FOMEL S， LUO S， ZHAO H. Fast sweeping method for the factored eikonal equation[J]. Journal of Compu? tational Physics， 2009， 228（17）： 6440?6455.

［20］ 張?jiān)疲钕＃壮ⅲ? 2D/3D 起伏地表多震相地 震波走時(shí)的因式分解程函方程算法[J]. 石油地球物 理勘探，2023，58（4）： 857?871. ZHANG Yun， LI Xihai， BAI Chaoying， et al. Multi? phase seismic traveltime computation in 2D/3D undu? lated surface model using factored eikonal equation[J]. Oil Geophysical Prospecting， 2023， 58（4）： 857?871.

［21］ NABIAN M A， GLADSTONE R J， MEIDANI H. Efficient training of physics ? informed neural networks via importance sampling[J]. Computer?Aided Civil and Infrastructure Engineering， 2021， 36（8）： 962?977.

［22］ RAMACHANDRAN P， ZOPH B， LE Q V. Sear ? ching for Activation Functions[EB/OL]. （2017?10?27） [2024?07?15]. https：∥arxiv. org/abs/1710. 05941.

［23］ BENCHAMA A， ZEBBARA K. Optimizing CNN ? BiGRU performance： Mish activation and comparative analysis with ReLU[J]. International Journal of Com ? puter Networks and Communications， 2024， 16（3）： 69?87.

［24］ 唐杰，高翔，孟濤，等. 深度域自適應(yīng)加權(quán)多模態(tài)多任 務(wù)學(xué)習(xí)聲阻抗反演[J]. 地球物理學(xué)報(bào)，2023，66（10）： 4332?4348. TANG Jie， GAO Xiang， MENG Tao， et al. Depth domain adaptive weighted multimodal multitask lear ? ning acoustic impedance inversion[J]. Chinese Journal of Geophysics， 2023， 66（10）： 4332?4348.

［25］ YU J， LU L， MENG X， et al. Gradient ? enhanced physics informed neural networks for forward and in? verse PDE problems[J]. Computer Methods in Ap? plied Mechanics and Engineering， 2022， 393： 114823.

［26］ RAISSI M， PERDIKARIS P， KARNIADAKIS G E. Physics?informed neural networks： A deep learning framework for solving forward and inverse problems in? volving nonlinear partial differential equations[J]. Jour nal of Computational Physics， 2019， 378： 686?707.

［27］ GARIPOV T， IZMAILOV P， PODOPRIKHIN D， et al. Loss surfaces， mode connectivity and fast en? sembling of DNNs[C]. Proceedings of the 32nd Inter? national Conference on Neural Information Processing Systems， 2018， 31： 8803?8812.

［28］ AGUIRRE D， FUENTES O. Improving weight ini? tialization of ReLU and output layers[C]. Artificial Neural Networks and Machine Learning?ICANN 2019： Deep Learning， 2019： 170?184.

［29］ KUMAR R. APTx： better activation function than MISH， SWISH， and ReLU′s variants used in deep learning[J]. International Journal of Artificial Intelli? gence and Machine Learning， 2022， 2： 56?61.

（本文編輯：張偉）

作 者 簡(jiǎn) 介

潘登 碩士研究生，1997 年生；2019 年獲中國(guó)石油大學(xué)（華東）勘查技術(shù)與工程專業(yè)學(xué)士學(xué)位；現(xiàn)在中國(guó)石油大學(xué)（華東）攻讀地質(zhì)工程專業(yè)碩士學(xué)位，主要從事微地震方面的學(xué)習(xí)和研究。