基于Transformer 的地震數據斷層識別

摘要： 利用地震資料識別斷層在油氣勘探中有著重要的作用。目前，機器學習和深度學習技術提高了斷層識別的精度和效率，但斷裂預測結果仍難以滿足生產需求。為此，提出基于Transformer 的地震斷層識別方法，即3D SwinTrans‐U‐Net。該網絡由Swin Transformer 模塊、卷積模塊組成。其中，Swin Transformer 模塊可以利用Transformer 的注意力機制提取全局信息，并將計算全局注意力轉變為計算窗口的注意力，從而比Transformer減少了計算復雜度； 卷積模塊具有歸納偏置的特性，避免了Swin Transformer 存在弱歸納偏置的缺陷；最后，利用U‐Net 結構，結合Swin Transformer 層與卷積層，融合深層與淺層的信息并提取相關特征，充分學習全局性和局部依賴性信息，在保證斷層識別精度的基礎上提高了計算效率，實現端到端的地震斷層學習。模型數據和實際數據測試均表明，3D SwinTrans‐U‐Net 網絡能進一步提升斷層識別精度。

關鍵詞： 深度學習，3D SwinTrans‐U‐Net，斷層識別，Transformer，Swin Transformer，卷積

中圖分類號：P631 文獻標識碼：A DOI：10. 13810/j. cnki. issn. 1000‐7210. 2024. 06. 003

0 引言

斷層識別一直是地震資料解釋的一個重要部分。傳統的斷層解釋主要基于人工，其精度和效率都難以滿足生產需求。

隨著計算機技術的發展，自動、半自動檢測方法提高了斷層識別效率。Xiong 等[1]利用卷積神經網絡（Convolutional Neural Network， CNN）將斷層檢測視為圖像分類問題，斷層識別結果具有更高的分辨率。殘差連接[2]可以加深網絡結構，提高模型性能。據此，張政等[3]提出了一個與遷移學習相結合的34 層深度的殘差網絡，更全面地解析了地震數據中的斷層結構。

U‐Net 是一種常用的語義分割網絡，可以得到不同層次的斷層特征。據此，Wu 等[5‐6]利用合成地震數據對U‐Net 網絡進行訓練，實現了端到端的斷層智能識別。王海龍等[7]利用GeoEast 軟件斷層智能檢測技術逐級識別斷層，解決了實際需求。常德寬等[8]聯合ResNet 與U‐Net，提高了地震資料斷層的識別效率。何濤等[9]將殘差模塊引入U ‐ Net 網絡，提出了ResU‐Net 網絡，進一步提高了模型的泛化性能。路鵬飛等[10]利用VNet 網絡進行斷層識別，該網絡可以在下采樣過程中增加信號感受野，從而能夠更好地保留信號的細節信息。

在面對特征較復雜的地震數據時，U‐Net 無法對復雜的特征給予更多關注，而注意力機制可以關注某些特定信息，忽略無關信息。Transformer[11]是一種基于自注意力機制的編碼器—解碼器結構的神經網絡模型，可以有效提取全局信息，具有強大的表達能力。Dosovitskiy 等[12]將Trasnsformer 用于圖像分類，提出了Vision Transformer（ViT）模型，然而所帶來的問題是計算量的劇增。為了提高計算效率，Liu 等[13]提出了Swin Transformer 網絡架構，與Vision Transformer 相比，基于窗口的自注意力機制僅僅只用計算窗口內的自注意力，降低了計算成本，并且基于移動窗口的多頭自注意力機制可以引入相鄰窗口之間的信息，從而能夠獲取全局信息，因此能夠在保證精度的同時能夠提高計算效率。Tang等[14]在U‐Net 網絡中引入Transformer 模塊進行特征提取，使用2. 5D 地震合成數據進行訓練，相比于3D U‐Net，該方法可以獲得更連續的斷層預測結果。目前，Swin Transformer 多應用于醫學、遙感領域中，均取得了不錯的效果。Cao 等[15]設計了一個U型純Transformer 網絡，在多器官和心臟分割任務方面具有出色的性能和泛化能力。Liang 等[16]建立了一個3D U 型對稱的Swin Transformer 網絡，在分割遠離腫瘤中心的小面積的病變時，該網絡性能幾乎優于基于卷積的方法。Cai 等[17]設計了基于Swin Transformer 和卷積的醫學圖像分割網絡，在模型參數數量和精度之間達到了很好的平衡。

因此，基于注意力機制能夠提取全局信息的優勢以及卷積的歸納偏置特性，為了滿足對復雜構造區域斷裂預測的油氣勘探需求，本文將Swin Transformer[13]與卷積層進行結合，提出基于Transformer的地震斷層識別方法，即3D SwinTrans‐U‐Net，以提高斷層識別的精度。