基于條件對抗增強的Transformer 煤礦微震定位方法?

丁琳琳 胡永亮 李昱達 王凱璐 王慧穎

（1.遼寧大學信息學院 沈陽 110036）（2.國網遼寧省電力有限公司信息通信分公司 沈陽 110065）

1 引言

近年來，由于煤礦生產采掘深度的逐漸增大和煤礦企業開采掘進速度的逐漸加快，頻繁發生一系列因采礦引發的煤礦動力災害，比如煤礦沖擊地壓災害和瓦斯突出災害等［1］。為了減少事故災害造成的人員傷亡，及時組織救援，同時監測礦區的微震能量變化，目前大多數礦區均采用微震監測系統作為煤礦動力災害的主要監測手段，如波蘭的SOS系統、南非的ISSI系統和加拿大的ESG系統以及國內的部分系統等［2］。

微震監測系統通過組網臺站接收的震源時空數據來反演震源位置，反演出微震事件發生的位置并對定位結果做出適當的評價。但是定位結果受到監測臺組網布置、定位算法選取、到時拾取、可用定位震相、地殼速度模型等諸多方面的影響［3］，導致震源定位結果與實際震源位置相差較大，影響了在礦山的實際應用效果。為了避免上述諸多因素帶來的影響，文獻［4］介紹了一種將全卷積神經網絡與三維高斯分布結合的方式，將定位問題轉化為分類問題求解震源坐標；文獻［5］介紹了一種將卷積神經網絡CNN 與Transformer 模型結合并引入了臺站位置信息的方式，進一步提高了震源定位精準度，保證了定位精度優于深度學習基線。

針對上述問題，本文提出一種基于條件對抗增強的Transformer 煤礦微震定位方法CGAN-Transformer，該方法首先通過條件生成對抗網絡CGAN［6］對現有的微震信號（波形數據）進行學習和模仿，利用其生成器生成與指定標簽的微震數據具有相同數據分布的偽微震數據；其次通過Transformer編碼器層將微震信號轉換成特征向量后再通過以α的倍率放大首個P 波臺站在微震信號數據中所占比重的方式抵消了不同地質條件對微震波傳播的消極影響后，同時也利用其注意力機制進一步學習微震波形數據深層次特征和復雜的站間依賴關系；最后通過混合密度輸出層特征向量與震源位置之間的映射依賴關系，并利用高斯分布參數計算最優的震源位置。在本文的最后，通過在兩個波形數據集上的對比實驗驗證了模型的實際效果。

2 相關工作

為了提高定位精度，有許多研究人員在此震源定位領域上進行了大量的研究和優化，大致可分為三大類，即傳統定位算法、機器學習定位算法、深度學習定位算法。

在傳統定位算法中，文獻［7］介紹了一種求解到時函數的偏導數與逆矩陣，經過迭代公式求解出到時誤差的極小值，即震源參數；文獻［8］介紹了一種避免了求解偏導數或者逆矩陣，通過選取最小到時臺站空間位置即可；文獻［9］介紹了一種搜索迭代的方式尋找符合微震事件條件震源點。以上傳統算法對算法的初始值的依賴性較強，如果采用靜態波速模型，在迭代求解的過程中會造成誤差累加效應，使算法陷入局部最優。文獻［10］雖然在一定程度上減小了定位誤差，但是影響微震事件定位精度的相關參量并不是相互獨立的，所以在求解過程中隱形地增加了困難。

在機器學習定位算法中，文獻［11］介紹了一種利用高密度臺陣的和粒子群算法分析了定位誤差與傳感器數量、位置之間的關系；文獻［12］介紹了一種利用方位角優化的方法結合模擬退火算法與粒子群算法提出了改進全局搜索算法；文獻［13］介紹了一種差分進化遺傳算法進行尋優的定位方法，這些方法提高定位精度的同時實現了從傳統的“數學模型”到“仿生模型”的演變。

在深度學習定位算法中，文獻［14］介紹了一種利用卷積神經網絡（CNN）的方法從單臺站三分量波形數據中檢測地震事件；文獻［15］介紹了一種考慮到單臺站波形數據不足以代表整個地震事件，使用深度卷積對多臺站波形數據進行特征提取。

然而，上述的定位模型需要一定規模的標簽事件，才能在訓練階段充分學習數據特征，并對無標簽的事件進行定位。由于數據的限制，如訓練數據中高質量事件的數量不足、標簽缺失、規模較小，最終導致模型定位精度不高、魯棒性差等問題。文獻［16］介紹了一種利用CGAN 生成數據樣本的能力，解決了在故障診斷領域由于數據量小導致的數據不平衡問題；文獻［17］介紹了一種利用遷移學習將大樣本源域地震數據的特征遷移到小樣本源域地震數據的模型中，從而改善了數據規模不足、特征不足等問題。

3 CGAN-Transformer模型結構

模型的整體結構可以分為三層，條件對抗增強層、Transformer編碼器層以及混合密度輸出層。條件對抗增強層：先利用判別器D來學習真實微震信號所具有的數據特征分布后，再利用生成器G生成符合真實微震分布的偽微震數據。Transformer 編碼器層：先將微震信號提取成特征向量后，再利用其注意力機制對數據特征進一步混合提取，尋找深層次微震特征和復雜的站間依賴關系，同時引入了監測臺站的地理位置編碼并通過放大首個P波臺站的數據比重的方式，抵消由地質結構不確定引起的定位結果遠離煤礦區域的問題。最后通過混合密度輸出層獲取震源的高斯分布參數，根據分布參數計算最優的震源位置。完整的模型結構如圖1所示。

圖1 CGAN-Transformer模型結構圖

3.1 條件對抗增強層

雖然煤礦微震監測系統的監測臺站每時每刻都在記錄著傳感器所受到的原始應力數據，但對于本項工作來說，并不是所有的應力數據都是有用的。只有在發生煤礦微震事件時，處于[t0,t1]區間的波形數據才是有效數據。其中，t0=tp-5s；t1=tp+25s。tp為P波到時。從微震監測數據中發現的數據不平衡問題，是影響震源定位精度不高的主要原因；再加上微震事件的震源位置與微震信號是一對多的關系（即不同的微震信號可引起同震源位置的微震事件）降低了模型的震源定位精度。因此本文采用一種基于CGAN 架構的數據增強方法對現有的微震數據集進行擴充增強。條件對抗增強層主要由判別器D、生成器G和條件Cond三部分組成。具體結構如圖1（a）所示。生成器G 將輸入的隨機噪聲z 映射到輸出信號y 中；判別器D 將其輸入信號y映射成概率值；將條件Cond分別輸入到生成器G和判別器D中用控制生成器G的輸出。

首先，對判別器D 進行訓練。該判別器由7 層卷積層和一個多層感知機（Multilayer Perceptron，MLP）組成，本文將真實微震事件的震源坐標作為條件Cond 添加到判別器D 的輸入端，判別器D 既要判斷輸入數據的真偽，也要判斷輸入數據與作為條件信息的震源坐標是否匹配。設輸入判別器D的數據X是一個三維的張量Z0n,t,c，代表一個臺站截取的有效波形數據，其中n?{1,2,3}代表微震波三分量，c=1 代表通道數。則每層卷積的計算過程如下公式所示：

其中，σ(x)代表的是LeakyReLU 函數；c代表的是第i層的第c通道；t代表的是第i層的第c通道的第t元素；同理可以得，c'和t'代表的是第i-1 層的通道和數據元素；Ci-1代表第i-1 層的通道數；s代表卷積核的步幅；Ti-1代表的是第i-1 層的第Ci-1通道的數據元素總長度。在經過7層卷積層的內容學習和特征提取后，通過一層MLP 將特征數據進行展平并映射到一維的評價標量上，用于指導生成器G的訓練。

其次，對生成器G 進行訓練。該生成器由7 層反卷積層和一層MLP 組成，即為判別器D 的逆過程。不同于判別器D 的是除最后一層σ(x)為Tanh函數外，其余層均為ReLU函數。

其中，Pdata(x)為真實微震事件特征分布；Pg(z)為噪聲分布；D(x|cond)表示判別器D 判斷為真實微震事件為真的概率；D(G(z|cond)|cond)表示隨機噪聲生成的偽微震事件特征分布；D（G（z））為判別器D 判斷生成器G 輸出為真的概率；c表示該真實微震事件對應的震源標簽。為了避免模式坍塌，保證生成數據的多樣性，本文采用Wasserstein距離［19］作為Pdata(x)分布與Pg(z)分布之間距離的衡量標準。

3.2 帶有位置嵌入的Transformer編碼器層

Transformer 模型是一種基于注意力機制的序列到序列的經典模型，GPT 以及Bert等大型的語言模型都是基于Transformer 模型衍變而來的。該模型的主要貢獻有以下兩點：第一點則是通過引入注意力機制和位置編碼的方式，解決了傳統網絡記憶長度過短，提取出的信息無法保留較多上下文信息，以至于難以處理長序列數據等的問題；第二點則是通過引入多頭注意力機制，解決傳統NLP模型中并行計算能力不足的問題。

本文通過注意力機制來量化在一次微震事件中每個激發臺站（波形特征和位置）和其他臺站之間的相關度或依賴程度，從而在確定震源位置時知道更偏向哪幾個臺站。Transformer 編碼器層的具體結構如圖1（b）所示。

首先，由于條件對抗增強層是直接對微震波形數據進行增強，屬于線下增強。因此，在進行自注意力運算之前需要重新對波形數據進行特征提取。該卷積提取與式（1）的不同之處在于：σ(x)代表的是ReLU 函數；Ci-1={1,8,32,64,128,64,32,8}。在經過卷積提取之后，先將特征向量展平，再通過多層感知機MLP 將特征向量微震映射到dmodel維。

其次，目前將臺站的位置信息嵌入到特征向量中有二種方式：第一種方式為ConCatenate，即直接在特征向量的尾部串聯上對應臺站的經緯度和深度信息，則嵌入之后的特征向量維度為；第二種方式為PositionEmbedding，即通過三角函數將臺站位置信息映射到特征向量中，特征向量維度保持不變。本文采用基于不同波長的正弦函數對臺站位置信息進行編碼，具體編碼計算方式如下公式所示：

其中，PE 為二維矩陣[numstation,dmodel]，矩陣的列數和上游提取出來的波形特征向量列數保持一致；矩陣PE 的每一行代表微震事件觸發臺站的位置向量，列表示位置向量的維度。pos1,2,3代表的是臺站的經度、緯度和深度；經度即該位置向量的第一個維度。經度是地理位置的一個重要指標，用來表示一個地點在東西方向上的位置。緯度即該位置向量的第二個維度。緯度是地理位置的另一個重要指標，用來表示一個地點在南北方向上的位置。深度即該位置向量的第三個維度。深度是用來表示一個地點在垂直方向上的位置，通常用距離地表的距離來表示。dmodel表示位置向量維度，i表示位置向量具體的維度，i的取值范圍是[0,dmodel/2-1]；PE(pos1,2,3,2i)代表在臺站位置向量中的偶數位置的值，PE(pos1,2,3,2i+1)表示奇數位置的值。對經度、緯度、深度全部按照該編碼函數映射成dmodel維的向量后再逐元素相加，組合成一個位置向量。

理論上來說，當一個微震事件發生時距離震源最近的臺站是第一個接收到微震P 波的；但由于震源到臺站之間的地質結構復雜多變，吸收波、反射波等情況的存在，所以實際上不一定是離震源最近的臺站最先接收到P 波?？紤]到上述情況的存在，本文以概率α?[0,1]來模擬這種情況的發生：當α=0 時，則認為存在上述情況，不做任何處理；當α=1 時，則認為不存在上述情況，通過放大特征向量的方式表達該特征向量與震源的關聯度最大；當α=(0,1)時，則認為上述情況不同程度的存在；隨機變量α的取值符合高斯分布。對于微震事件激發的任意臺站，其位置向量展開如下公式所示：

3.3 混合密度輸出層

本文提出的煤礦微震震源定位模型中，Transformer 編碼器層的輸出只能獲取包含上下文及臺站位置信息的特征向量，還需要考慮到輸入的微震波形數據與最終震源位置標簽之間的依賴關系。因此，模型中采用混合密度輸出層建立特征向量到震源位置的依賴關系來獲取全局最優的震源位置?；旌厦芏染W絡是一種特殊的用于密度估計的高斯混合模型，該模型常常被應用于多元預測任務上［20］?；旌厦芏容敵鰧拥木唧w結構如圖1（c）所示。

混合密度網絡（Mixture Density Network，MDN）是一種神經網絡模型，也是一種生成模型，用于對多峰分布的條件概率密度函數進行建模。MDN 的思想是通過利用混合高斯分布來建立對數據的概率密度函數。即：每個高斯分布函數都由一個均值、方差和加權系數組成，其中加權系數代表的是每個高斯分布函數所占的比重。

混合密度網絡先假設某一區域所有微震事件為總體樣本（包括未發生的事件）X=x1,x2,…,xn，并且該樣本集的總體分布是由K 個高斯分布加權混合而成，則對于微震事件來說屬于該樣本集的概率就是分別屬于k個高斯分布概率的加權和。即

4 實驗結果與分析

為了驗證本文提出的基于Transformer 條件對抗增強的煤礦震源定位方法的有效性，同時與其他基于深度學習的震源定位模型進行對比，本文采用遼寧某礦真實數據集和智利地震數據集（M<1.5）進行實驗驗證。

4.1 實驗數據

實驗數據來源于遼寧某礦的真實微震數據和智利公開的地震數據集。其中遼寧某礦的所有微震數據均為微震監測系統在非人為干預情況下的自動拾取，計算過程中涉及的運算參數與微震信號所在礦區實際匹配。具體包括了從2019年到2021年礦區所發生的全部微震事件，共計240 個微震事件；智利數據集選取震級小于1.5，觸發臺站個數等于20的微地震事件，共計2665個微地震事件；兩個數據集的詳細統計如表1所示。

表1 數據集信息統計表

4.2 實驗環境

實驗模型采用由Facebook 人工智能研究院（FAIR）搭建的Pytorch 框架。其中，條件對抗增強模型訓練了大致3.5 個小時，Transformer 震源定位模型訓練了大致0.8 個小時，實驗中使用了Dropout層防止模型過擬合。具體的實驗環境如表2 所示，實驗中采用的超參數如表3所示。

表2 實驗環境統計表

表3 實驗超參數設置表

其中，在條件對抗增強模型中1e-4為生成器G的學習率，3e-4為判別器D的學習率。并且該學習率隨著迭代次數的增加而線性衰減，幫助模型在后期快速收斂。在Batch大小的選擇上通過采用觸發臺站個數的倍數，進而控制輸入模型批量訓練個數為微震事件的整數倍。

4.3 實驗結果

為了驗證本文提出的基于Transformer 條件對抗增強的煤礦微震定位方法的性能，同時比較其他的微震震源定位方法，本節引入基于卷積神經網絡的CNN-EL 模型［15］和基于圖卷積神經網絡的DGNN 模型［21］作為對比模型。在本文提出的基于Transformer 條件對抗增強的煤礦微震定位模型中不僅增加了條件對抗增強層，還對Transformer編碼器層的位置向量嵌入進行了改進，其中條件對抗增強層可以將隨機噪聲轉換為指定震源對應的波形數據，Transformer編碼器層引入了隨機變量。為了驗證這些改動的有效性，本文引入原生的Transformer 震源定位模型在智利數據集和遼寧某礦數據集上作進一步對比實驗，其中Transformer為原生模型，Concatenate 與PositionEmbedding 均為本文提出的基于條件對抗增強的Transformer 微震定位模型，區別在于監測臺站位置信息的嵌入方式不同。

五個模型分別在智利數據集和遼寧某礦數據集上進行對比實驗，采用震中誤差（Epicenter Error）和震源誤差（Hypocentral Error）作為評價指標，通過最終的實驗結果驗證該微震震源定位方法的有效性。其中震中誤差EE 和震源誤差HE 分別表示為

其中，(x,y,z)為震源的預測坐標；(x',y',z')為震源的真實坐標，五個模型在智利數據集和遼寧某礦數據集上的震中誤差變化曲線如圖2 所示、震源誤差變化曲線如圖3所示。

圖2 五種模型在兩個數據集上的震中誤差變化曲線

圖3 五種模型在兩個數據集上的震源誤差變化曲線

從圖2 中可以看出，本文提出的基于Transformer 條件對抗增強的微震定位方法在智利數據集和遼寧某礦數據集上均取得了最優成績，在智利數據集上震中誤差降低到6.29km，比CNN-EL模型和DGNN 模型分別降低72%和54%；改進后的CGAN-Transformer 模 型 比 原 生Transformer 模 型 震中誤差降低34%，PositionEmbedding方式比Concatenate 方法震中誤差降低了8%。在遼寧某礦數據集上，CGAN-Transformer 模型震中誤差比CNN-EL模型和DGNN 模型分別降低46%和34%；改進后的CGAN-Transformer 模 型 比 原 生Transformer 模 型 震中誤差降低11%，PositionEmbedding方式比Concatenate 方法震中誤差降低了2%。這說明不管是在智利數據集上還是遼寧某礦數據集上，本文提出的基于條件對抗增強的Transformer 微震定位模型的精準度是優于CNN-EL 模型和DGNN 模型以及原生Transformer模型的，而監測臺站位置的嵌入方式在智利數據集上對定位精準度的影響較大，在遼寧某礦數據集上的對定位精度的影響較小。

從圖3 中可以看出，本文提出的基于Transformer 條件對抗增強的微震定位方法在智利數據集和遼寧某礦數據集上均取得了最優成績，在智利數據集上震中誤差降低到6.52km，比CNN-EL模型和DGNN 模型分別降低75%和57%；改進后的CGAN-Transformer 模 型 比 原 生Transformer 模 型 震中誤差降低42%，PositionEmbedding方式比Concatenate 方法震中誤差降低了21%。在遼寧某礦數據集上，CGAN-Transformer 模型震中誤差比CNN-EL模型和DGNN 模型分別降低46%和36%；改進后的CGAN-Transformer 模 型 比 原 生Transformer 模 型 震中誤差降低13%，PositionEmbedding方式比Concatenate方法震中誤差降低了5%。

從圖4 中可以看出，五個模型在兩個數據集上的誤差大致呈右偏分布，本文提出的基于條件對抗增強的Transformer 微震定位模型在智利數據集上表現較好，誤差分布較為集中，其震中誤差峰值和震源誤差峰值都低于10km，其中位誤差也低于其他四個模型，定位效果較好。但是本文提出的基于條件對抗增強的Transformer 微震定位模型在遼寧某礦數據集上的誤差分布較為離散、數據波動較大、定位效果不穩定，這可能是因為遼寧某礦數據集中可能存在一些數據質量問題，例如數據噪聲、不準確的測量值等，并且數據集的數據規模可能較小，相比智利數據集而言可能數據量有限。這些問題會導致模型在處理數據時產生不穩定性，從而導致誤差分布較為離散。但其中位誤差依舊低于其他四個模型。因此，可以得出條件對抗增強層的引入以及首個P 波臺站隨機增強的引入提升了CGAN-Transformer模型的最終定位效果。

圖4 誤差分布式小提琴圖

5 結語

本文針對煤礦微震定位領域中出現的微震事件單一導致的定位模型泛化弱、定位精度不高，提出了一種基于條件對抗增強的Transformer 煤礦微震定位方法，該方法通過對抗增強的方式自主學習已有微震事件的特征并由生成器G 生成符合微震特征的偽微震事件對現有微震事件進行多樣變種，在Transformer 編碼器層通過高斯隨機變量模擬在不同地質條件下首個P 波臺站情況。實驗表明本文提出的CGAN-Transformer 模型在智利數據集上的震中誤差和震源誤差分別降低到6.29km 和6.52km，比改進前分別降低了34%和42%（即誤差降低了38%）；其在遼寧某礦數據集上的震中誤差和震源誤差比改進前分別降低了11%和13%（即誤差降低了12%），說明了改進的有效性。在后續工作中，將在更多的數據集上與更多其他的基于深度學習的模型進行對比，同時進一步優化模型。