基于Attention 機(jī)制的CNN-BiLSTM 瞬變電磁實(shí)時(shí)反演方法

古 瑤，解海軍，周子鵬，李 璐

(1.西安科技大學(xué) 地質(zhì)與環(huán)境學(xué)院，陜西 西安 710054；2.自然資源部煤炭資源勘查與綜合利用重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710048)

瞬變電磁法作為時(shí)間域掃面性方法被廣泛應(yīng)用于礦產(chǎn)勘查、地下水調(diào)查等領(lǐng)域[1]。在其數(shù)據(jù)解釋方面，線性反演雖取得一定的應(yīng)用效果，但存在過(guò)于依賴初始模型、易丟失細(xì)節(jié)信息且分辨率低等缺點(diǎn)[2]，不適用于高精度反演；而模擬退火、人工魚(yú)群優(yōu)化算法等完全非線性方法又受限于復(fù)雜的正反演理論和數(shù)據(jù)處理過(guò)程而難以真正投入使用[3-4]，因此，尋找簡(jiǎn)潔快速、具有高分辨率的實(shí)時(shí)反演方法是亟待解決的問(wèn)題。

Today, it’s all about bargains and Black Friday’s dark roots are for the history books.

近年來(lái)，神經(jīng)網(wǎng)絡(luò)憑借其突出的學(xué)習(xí)能力、非線性映射和泛化能力，被大量應(yīng)用于地球物理領(lǐng)域的反演成像問(wèn)題[5-7]，該方法可避免復(fù)雜的正演計(jì)算，極大地提高了反演效率。在瞬變電磁反演方面，李實(shí)[8]、王秀臣[9]等基于反向傳播(Back Propagaton，BP)算法設(shè)計(jì)了瞬變電磁實(shí)時(shí)反演系統(tǒng)；秦善強(qiáng)[10]利用遺傳算法優(yōu)化的BP 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了瞬變電磁的即時(shí)反演；閆國(guó)才[11]利用3 層人工神經(jīng)網(wǎng)絡(luò)分析了孔隙度與瞬變電磁數(shù)據(jù)的關(guān)系，成功預(yù)測(cè)了巖層的富水性。以上研究雖利用神經(jīng)網(wǎng)絡(luò)達(dá)到了實(shí)時(shí)反演的目的，但未考慮到瞬變電磁數(shù)據(jù)的時(shí)間序列性和時(shí)空相關(guān)性，且從深度學(xué)習(xí)角度來(lái)看，BP 神經(jīng)網(wǎng)絡(luò)適用性較低，不利于復(fù)雜地質(zhì)條件下的精細(xì)化反演。此后，范濤等[12]利用專門解決時(shí)序問(wèn)題的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(Long-Short Term Memory，LSTM)實(shí)現(xiàn)了基于大量正演數(shù)據(jù)的瞬變電磁實(shí)時(shí)反演成像，并驗(yàn)證了其在3 層、5 層模擬地層結(jié)構(gòu)上的應(yīng)用效果，證明了LSTM 反演在理論層面的合理性。但單一的LSTM 對(duì)于空間特征的提取能力相比時(shí)間特征而言略顯薄弱[13]，這使得該網(wǎng)絡(luò)壓制隨機(jī)干擾、提取空間局部信息的能力不足，而瞬變電磁反演的主要目的是突出高阻或低阻異常區(qū)，因此，需要對(duì)其進(jìn)行優(yōu)化或與其他算法聯(lián)合使用，進(jìn)一步提高反演精度。從實(shí)現(xiàn)難易程度和應(yīng)用效果來(lái)看，算法的聯(lián)合使用更為適用，且聯(lián)合算法已經(jīng)在地球物理領(lǐng)域成功開(kāi)展。袁英淏[14]利用深層卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)實(shí)現(xiàn)了層位的自動(dòng)追蹤，利用基于前饋?zhàn)⒁饬C(jī)制(Attention)的LSTM 實(shí)現(xiàn)了全剖面彈性波阻抗的預(yù)測(cè)；Cao Wei 等[15]利用架構(gòu)在編碼器-解碼器(Encoder-Decoder)模型的卷積-長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(CNN-LSTM)算法成功進(jìn)行了地震速度反演；冼錦熾等[16]基于CNN-LSTM 組合結(jié)構(gòu)研究了拖曳式地面瞬變電磁的快速成像問(wèn)題。以上研究證明了CNN-LSTM算法適用于反演領(lǐng)域，但將該方法聯(lián)合Attention 機(jī)制用于地面瞬變電磁勘探還未見(jiàn)論述。

本文在綜合考慮瞬變電磁數(shù)據(jù)時(shí)空特征和不同神經(jīng)網(wǎng)絡(luò)優(yōu)勢(shì)情況下，以正演和常規(guī)反演結(jié)果為學(xué)習(xí)基礎(chǔ)，在特定地電模型條件下，將瞬變電磁反演思想與機(jī)器學(xué)習(xí)方法相結(jié)合，研究了瞬變電磁反演電阻率的預(yù)測(cè)方法，以期快速、準(zhǔn)確地實(shí)現(xiàn)資料反演。

1 AC-BiLSTM 反演方法原理

根據(jù)不同的網(wǎng)絡(luò)組合特性、反演需求及數(shù)據(jù)集大小，本次AC-BiLSTM 反演算法整體框架使用Encoder-Decoder 模型，編碼器(Encoder)部分使用CNN 和Bi-LSTM；解碼器(Decoder)為L(zhǎng)STM[15-16]。整體反演流程如下：首先，將各測(cè)點(diǎn)數(shù)據(jù)歸一化后輸入二維卷積神經(jīng)網(wǎng)絡(luò)(2D CNN)，通過(guò)卷積層挖掘數(shù)據(jù)間的空間相關(guān)性并剔除隨機(jī)干擾，再將處理后的數(shù)據(jù)作為整體傳入雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(Bi-LSTM)中提取時(shí)間特征，獲得具有深度向長(zhǎng)期相關(guān)性的數(shù)據(jù)體；最后，利用Attention 機(jī)制計(jì)算不同數(shù)據(jù)點(diǎn)的注意力權(quán)重，將加權(quán)平均后的數(shù)據(jù)輸入全連接層，對(duì)輸出數(shù)據(jù)進(jìn)行反歸一化計(jì)算，獲得反演結(jié)果。詳細(xì)流程如圖1 所示。

圖1 AC-BiLSTM 模型工作流程Fig.1 Flow chart of the AC-BiLSTM model

1.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)

CNN 作為深度學(xué)習(xí)代表算法之一，是仿造生物的視知覺(jué)機(jī)制構(gòu)建，可進(jìn)行監(jiān)督學(xué)習(xí)或非監(jiān)督學(xué)習(xí)，其不完全連接、卷積核參數(shù)共享、池化等特性可顯著降低網(wǎng)絡(luò)復(fù)雜度，提高模型的運(yùn)算容錯(cuò)能力[17]，目前已廣泛應(yīng)用于大地電磁[18]、地震[19]、測(cè)井[20]等領(lǐng)域。經(jīng)典CNN 結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層，其中池化層通過(guò)舍棄部分信息實(shí)現(xiàn)數(shù)據(jù)降維，然而在反演過(guò)程中，計(jì)算成本遠(yuǎn)小于圖像處理，因此，本文設(shè)計(jì)的CNN 包括1 個(gè)輸入層、2 個(gè)卷積層、1 個(gè)全連接層和1 個(gè)輸出層。

多個(gè)瞬變電磁測(cè)點(diǎn)在空間上處于相鄰位置，故數(shù)據(jù)以二維張量X(t×n)的形式輸入神經(jīng)網(wǎng)絡(luò)，X為一個(gè)t行n列的二維矩陣，t為時(shí)間道數(shù)，n為測(cè)點(diǎn)數(shù)。為保留多個(gè)測(cè)點(diǎn)的空間相關(guān)性，本次使用二維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)處理，卷積核按照測(cè)道和測(cè)點(diǎn)兩個(gè)方向進(jìn)行卷積。根據(jù)范振宇[21]、王琪凱[22]等的研究，對(duì)于二維矩陣的卷積計(jì)算公式如下：

式中：g(l,j)為第l測(cè)點(diǎn)第j時(shí)間道的卷積結(jié)果輸出，l∈n,j∈t；X(l-m,j-k)為以第l測(cè)點(diǎn)第j時(shí)間道數(shù)據(jù)為中心的尺寸為 (m,k)的 實(shí)數(shù)矩陣；h(m,k)為二維卷積核及尺寸，按照濾波需求，設(shè)置二維卷積核尺寸為3×3，即∑長(zhǎng)度∑m為3，寬度k為3，核數(shù)組首次輸入為隨機(jī)值；m∈nk∈t為遍歷輸入特征；b為 偏置參數(shù)；σ()為非線性激活函數(shù)。

1.2 雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(Bi-LSTM)

LSTM 是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)的變體算法，其通過(guò)增加輸入門、遺忘門、輸出門來(lái)保持和更新細(xì)胞狀態(tài)，以門控結(jié)構(gòu)解決一般循環(huán)神經(jīng)網(wǎng)絡(luò)處理長(zhǎng)序列數(shù)據(jù)時(shí)所產(chǎn)生的梯度爆炸或梯度消失問(wèn)題[23]。其單元內(nèi)部結(jié)構(gòu)如圖2所示。

圖2 LSTM 單元內(nèi)部結(jié)構(gòu)Fig.2 Internal structure of the LSTM unit

超參數(shù)用于定義模型的高層次概念，它的選取對(duì)深度學(xué)習(xí)算法的質(zhì)控起到直接作用，不同超參數(shù)的組合會(huì)定義不同的反演模型性能。

式中：ωxi、ωx f、ωxo、ωxC為Xn對(duì)應(yīng)的權(quán)重矩陣；ωhi、ωhf、ωho、ωhC為ht-1的 權(quán)重矩陣；bi、bf、bo、bC為偏置向量；tanh()為激活函數(shù)。

Bi-LSTM 是前向-后向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的拼接，即利用concat 函數(shù)將前向隱藏狀態(tài)與后向隱藏狀態(tài)拼接為最終隱藏狀態(tài)記為[h1,h2,···,ht]。該網(wǎng)絡(luò)可對(duì)瞬變電磁數(shù)據(jù)按時(shí)間序列進(jìn)行雙向?qū)W習(xí)，以保證數(shù)據(jù)在深度向的前后依賴關(guān)系[12,26]，相比單向LSTM 在地層預(yù)測(cè)方面有更好的效果。

1.3 Attention 機(jī)制

地層信息復(fù)雜多變，Encoder 中僅以最后一層網(wǎng)絡(luò)對(duì)應(yīng)的隱藏層作為輸出結(jié)果容易忽略數(shù)據(jù)中的部分關(guān)鍵內(nèi)容，同時(shí)，對(duì)所有信息賦予相同的權(quán)值亦不能滿足精細(xì)反演需求，因此，引入Attention 機(jī)制對(duì)不同層次的數(shù)據(jù)進(jìn)行偏向性選擇，以大權(quán)重聚焦關(guān)聯(lián)性大且重要的信息，以低權(quán)重分配給特征平淡的信息，以此對(duì)數(shù)據(jù)進(jìn)行更深層次的特征提取，降低多步預(yù)測(cè)的誤差[27]。

本次根據(jù)實(shí)際權(quán)重計(jì)算需要，選擇Bahdanau Attention 計(jì)算方式。詳細(xì)架構(gòu)如圖3 所示。

圖3 Attention 詳細(xì)架構(gòu)Fig.3 Detailed architecture of the Attention mechanism

本次實(shí)測(cè)數(shù)據(jù)使用V8 電法工作站在陜北某煤礦勘測(cè)獲得，施工參數(shù)同表1。選取已知采空區(qū)附近500 個(gè)實(shí)測(cè)數(shù)據(jù)和鉆孔附近的28 個(gè)正演數(shù)據(jù)共同作為實(shí)測(cè)數(shù)據(jù)集。加入正演數(shù)據(jù)的目的是提高模型穩(wěn)定性和準(zhǔn)確率，使神經(jīng)網(wǎng)絡(luò)更好地控制地層視電阻率、深度及厚度變化。

式中：V、W、U、b為模型學(xué)習(xí)參數(shù)矩陣或向量；為Bi-LSTM 隱藏層輸出值對(duì)當(dāng)前輸入的臨時(shí)權(quán)重，經(jīng)softmax 轉(zhuǎn)換為網(wǎng)絡(luò)使用的注意力權(quán)重αti；[h1,h2,···,ht]為對(duì)應(yīng)輸入序列的隱藏層狀態(tài)值。以上參數(shù)隨模型訓(xùn)練過(guò)程不斷更新。

大幅提高平時(shí)考核的比例，從改革前的30%提高到50%，根據(jù)學(xué)生平時(shí)上課的出勤率、課堂活動(dòng)參與情況等環(huán)節(jié)進(jìn)行綜合考察，有利于教師對(duì)課堂教學(xué)活動(dòng)的管理，引導(dǎo)、督促和激勵(lì)學(xué)生積極參與課堂活動(dòng)，突出其主體地位。

需要提醒的是，在使用Attention 機(jī)制判斷不同層次樣本對(duì)結(jié)果貢獻(xiàn)度的過(guò)程中，需將Bi-LSTM 的隱含層狀態(tài)輸出值從雙向轉(zhuǎn)化為單向，再對(duì)LSTM 的輸出值和轉(zhuǎn)換順序后的隱含層數(shù)據(jù)執(zhí)行矩陣乘法，否則會(huì)產(chǎn)生關(guān)于維度不匹配的報(bào)錯(cuò)命令。

2 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

瞬變電磁反演的主要思想是利用神經(jīng)網(wǎng)絡(luò)接收原始數(shù)據(jù)，用訓(xùn)練好的模型預(yù)測(cè)出相對(duì)精細(xì)的地層分布情況，并盡可能地使其與實(shí)際地層分布誤差最小。本次以采樣時(shí)間-視電阻率作為輸入特征進(jìn)行參數(shù)訓(xùn)練，規(guī)定模型的優(yōu)化目標(biāo)為最小化擬合誤差[12]。

由于各個(gè)鎮(zhèn)的建設(shè)用地變化量代表了城市發(fā)展?jié)摿Γ浞捶矫嬲么砹顺鞘薪ㄔO(shè)用地減退的城市衰減潛力，因此，可由各個(gè)鎮(zhèn)的建設(shè)用地變化量計(jì)算出三地區(qū)各個(gè)鎮(zhèn)集體建設(shè)用地減量面積分別為 7.14km2、17.01km2、21.55km2。

此外BIM技術(shù)還可在施工組織階段中得到應(yīng)用，通過(guò)BIM技術(shù)可幫助施工人員更好地了解施工計(jì)劃安排、施工方案設(shè)計(jì)以及施工場(chǎng)地實(shí)際情況，從而確保施工組織的合理安排。值得注意的是，施工地形各有差異，有些地方較低，有些地方較高，通過(guò)BIM技術(shù)便可對(duì)施工現(xiàn)場(chǎng)情況進(jìn)行模擬，對(duì)工作平臺(tái)加以構(gòu)建，為后續(xù)施工的開(kāi)展奠定基礎(chǔ)。基于BIM技術(shù)下可實(shí)現(xiàn)施工質(zhì)量的全面管理，確保施工質(zhì)量的有效提升，施工人員可通過(guò)移動(dòng)設(shè)備來(lái)查詢施工方案、建立數(shù)據(jù)模型，將分布式云平臺(tái)技術(shù)運(yùn)用其中，以便施工人員在施工現(xiàn)場(chǎng)及時(shí)發(fā)現(xiàn)問(wèn)題，促進(jìn)施工管理效率的提升。

2.1 模擬數(shù)據(jù)集

在模型訓(xùn)練過(guò)程中，由于實(shí)測(cè)數(shù)據(jù)準(zhǔn)確性無(wú)法判斷，故設(shè)計(jì)了模擬數(shù)據(jù)集。首先對(duì)區(qū)內(nèi)28 個(gè)鉆孔的測(cè)井曲線進(jìn)行歸一化，按照曲線變化規(guī)律提取層間視電阻率，設(shè)計(jì)出28 個(gè)趨勢(shì)相同但細(xì)節(jié)不同的6 層地電模型，基于該28 個(gè)模型正演得到模擬數(shù)據(jù)集，在理論層面展示并論證算法的可行性和準(zhǔn)確度。訓(xùn)練期間通過(guò)超參數(shù)優(yōu)化提升模型性能，用設(shè)定的評(píng)估指標(biāo)分辨模型的優(yōu)劣，最終得到的訓(xùn)練模型用于瞬變電磁數(shù)據(jù)反演。

正演模型參數(shù)設(shè)置與實(shí)際采集參數(shù)相同，詳細(xì)參數(shù)見(jiàn)表1。

表1 參數(shù)設(shè)置Table 1 Parameter settings

2.2 實(shí)測(cè)數(shù)據(jù)集

假設(shè)共有t個(gè)時(shí)間步的輸入，Encoder 第t時(shí)間步的輸出表示為ht；Decoder 第i時(shí)間步的輸出為si，則第i時(shí)間步的Ci(Context vector)計(jì)算過(guò)程及公式如下[27-28]：

2.3 評(píng)價(jià)指標(biāo)選取

評(píng)價(jià)指標(biāo)用來(lái)計(jì)算反演數(shù)據(jù)與實(shí)際地層情況的擬合程度及偏差，以便對(duì)模型進(jìn)行定量評(píng)價(jià)[29-30]。本次選用以下指標(biāo)，從擬合程度、偏離程度和模型相似度3 個(gè)方面對(duì)算法有效性和準(zhǔn)確率進(jìn)行評(píng)估。

由圖7可見(jiàn)，換流器MMC1閥側(cè)發(fā)生A相不對(duì)稱短路故障時(shí)，對(duì)端MMC2、VSC同樣感應(yīng)到故障導(dǎo)致A相電壓降低，非故障相BC電壓升高，且有幅值相等的故障電流流入各換流端中性點(diǎn)。各換流端中性點(diǎn)故障電流與接地電阻R成反比，當(dāng)直流系統(tǒng)接地電阻取2.0 kΩ時(shí)的中性點(diǎn)電流明顯減小，如圖8所示。

1)決定系數(shù)(R2)

決定系數(shù)主要計(jì)算模型的擬合優(yōu)度，值越接近于1，則說(shuō)明擬合程度越好。用于非線性回歸模型時(shí)，其計(jì)算公式如下：

2)均方根誤差(ERMS)

本研究包括以下變量：①自變量。針對(duì)障礙人士提出的無(wú)障礙網(wǎng)絡(luò)課程設(shè)計(jì)及其有效性；②因變量。實(shí)驗(yàn)對(duì)象的學(xué)習(xí)興趣、活動(dòng)參與積極性等；③其他變量。實(shí)驗(yàn)對(duì)象本身并不是殘障人員，因此不能夠完全客觀的站在他們的角度去辨別有效性。另外還會(huì)受到遮擋物本身的影響等。

該指標(biāo)反映預(yù)測(cè)值的精密程度，值越小，表明預(yù)測(cè)值與真實(shí)值的偏離越小。

3)平均相對(duì)誤差(EMR)

該指標(biāo)通過(guò)各點(diǎn)之間的絕對(duì)差值衡量預(yù)測(cè)地層結(jié)構(gòu)與真實(shí)地層結(jié)構(gòu)的相似程度，值越小，說(shuō)明相似程度越大，即預(yù)測(cè)地層結(jié)構(gòu)越接近實(shí)際。

顧青有些歉疚，房子是太簡(jiǎn)陋了，沒(méi)有廚房沒(méi)有客廳，只有小小的一間，放了床、桌子和一臺(tái)電腦之后，空間就占掉了大半。溫簡(jiǎn)在樓梯口生了個(gè)爐子，燒蜂窩煤，味道很濃嗆，她總是一邊炒菜一邊咳嗽，但她并不覺(jué)得苦。

式中：N為數(shù)據(jù)總個(gè)數(shù)，yt、分別為真實(shí)地層結(jié)構(gòu)曲線第t道數(shù)據(jù)和數(shù)據(jù)平均值；分別為反演地層結(jié)構(gòu)曲線第t道數(shù)據(jù)和數(shù)據(jù)平均值。

3 超參數(shù)選擇

令第n測(cè)點(diǎn)處數(shù)據(jù)為其中為第t時(shí)間道的視電阻率數(shù)據(jù)，令Xn為當(dāng)前輸入，則LSTM 對(duì)于t時(shí)刻的工作流程如下[24-26]：每一個(gè)當(dāng)前時(shí)刻，LSTM 單元通過(guò)遺忘門(ft)、輸入門(it)、輸出門(ot)接受上一時(shí)刻隱藏狀態(tài)ht-1與 當(dāng)前狀態(tài)Xn兩類信息的輸入，其中遺忘門決定上一時(shí)刻ht-1保留到當(dāng)前單元狀態(tài)Ct的比例，輸入門決定Xn輸入到當(dāng)前單元狀態(tài)Ct的比例，輸入門的信息經(jīng)過(guò)非線性變換后與經(jīng)遺忘門變換的記憶狀態(tài)疊加，形成新的臨時(shí)記憶單元；輸出門決定上一輸出ht-1和 當(dāng)前Xn輸 入到當(dāng)前隱藏層狀態(tài)ht的比例，為臨時(shí)細(xì)胞狀態(tài)；最后，當(dāng)前記憶單元Ct與ot輸出信息經(jīng)過(guò)運(yùn)算，形成了當(dāng)前單元的輸出ht。

3.1 學(xué)習(xí)率

學(xué)習(xí)率是梯度下降過(guò)程中判斷如何根據(jù)損失函數(shù)梯度調(diào)整網(wǎng)絡(luò)權(quán)重的超參數(shù)。學(xué)習(xí)率過(guò)低會(huì)增加網(wǎng)絡(luò)復(fù)雜度，使整個(gè)網(wǎng)絡(luò)困在局部最優(yōu)點(diǎn)；過(guò)高會(huì)使損失函數(shù)梯度在最小值附近震蕩，甚至造成模型無(wú)法收斂[31]。

本次選擇均方誤差作為目標(biāo)損失函數(shù)，圖4 為不同學(xué)習(xí)率損失曲線對(duì)比。如圖所示，學(xué)習(xí)率為0.5 和0.1 時(shí)，訓(xùn)練一定輪次后誤差幾乎不再改變，出現(xiàn)梯度爆炸；學(xué)習(xí)率為0.01 和0.001 時(shí)誤差下降趨勢(shì)近似一致，但值為0.001 時(shí)收斂更好；學(xué)習(xí)率為0.000 1 和0.000 01 時(shí)，網(wǎng)絡(luò)的損失值衰減較慢，經(jīng)多輪訓(xùn)練后最終誤差較小。

圖4 不同學(xué)習(xí)率誤差對(duì)比Fig.4 Errors under different learning rates

6.外部資源獲取與整合。培育自身能力的同時(shí)，建筑施工企業(yè)也應(yīng)成為資源整合方，廣泛整合專業(yè)領(lǐng)域的設(shè)計(jì)機(jī)構(gòu)、設(shè)備制造商，提升整體實(shí)施能力，滿足業(yè)主需求。

基于上述誤差對(duì)比結(jié)果，本次學(xué)習(xí)率設(shè)置選用離散下降法，即首先設(shè)置一個(gè)較大的學(xué)習(xí)率，使網(wǎng)絡(luò)的損失值快速衰減，再隨著迭代次數(shù)的增加降低學(xué)習(xí)率。設(shè)定初始學(xué)習(xí)率為0.1，規(guī)定每迭代50 輪，學(xué)習(xí)率下降為上50 輪次的1/10，共迭代250 輪[15]。

3.2 Dropout

考慮到精細(xì)反演需求，本次設(shè)定Dropout 取值范圍為[0,0.5]，詳細(xì)取值及測(cè)試效果如圖5 所示。由圖中可以看出，加入Dropout 后，損失函數(shù)快速收斂，除0.000 1 外，其他取值的損失函數(shù)均下降至極小。綜合考慮反演性能和數(shù)據(jù)要求，本次選定Dropout 值為0.01，誤差下降趨勢(shì)如圖6 所示。

在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，當(dāng)數(shù)據(jù)集較少而模型參數(shù)較多時(shí)，容易產(chǎn)生過(guò)擬合現(xiàn)象，主要表現(xiàn)為測(cè)試數(shù)據(jù)集損失函數(shù)大于訓(xùn)練集、預(yù)測(cè)準(zhǔn)確率低于訓(xùn)練集。針對(duì)該問(wèn)題引入Dropout 技術(shù)以丟棄傳播過(guò)程中部分神經(jīng)元，增強(qiáng)模型泛化能力。

圖5 不同Dropout 值誤差對(duì)比Fig.5 Errors under different dropout rates

圖6 Dropout 值為0.01 時(shí)誤差對(duì)比Fig.6 Errors under a dropout rate of 0.01

3.3 隱藏層節(jié)點(diǎn)數(shù)

在模型監(jiān)督學(xué)習(xí)和反饋過(guò)程中，設(shè)定訓(xùn)練集∶驗(yàn)證集∶測(cè)試集=0.8∶0.1∶0.1。最終確定模型超參數(shù)及其他相關(guān)參數(shù)見(jiàn)表2。

“嗯，一開(kāi)始肯定不適應(yīng)，不過(guò)我相信，學(xué)習(xí)成績(jī)好的孩子，到哪里都是好的。我也是希望你能帶動(dòng)成績(jī)不好的同學(xué)，給他們一點(diǎn)壓力和動(dòng)力！”周老師說(shuō)起這次“行動(dòng)”還挺高興的。

圖7 為隱藏層不同節(jié)點(diǎn)數(shù)誤差對(duì)比，圖8 為不同節(jié)點(diǎn)數(shù)均方根誤差對(duì)比。如圖8 所示，當(dāng)隱藏層節(jié)點(diǎn)數(shù)為16 時(shí)，網(wǎng)絡(luò)均方根誤差較大，損失的信息過(guò)多；當(dāng)節(jié)點(diǎn)數(shù)為32、64 時(shí)，兩組誤差變化在前期較為相近，訓(xùn)練后期64 節(jié)點(diǎn)誤差略小于32 節(jié)點(diǎn)，此時(shí)網(wǎng)絡(luò)的質(zhì)量提升達(dá)到瓶頸；當(dāng)節(jié)點(diǎn)數(shù)為128、256 時(shí)，網(wǎng)絡(luò)的均方根誤差降低但網(wǎng)絡(luò)整體質(zhì)量下降。綜合考慮網(wǎng)絡(luò)性能，最終設(shè)置隱藏層節(jié)點(diǎn)數(shù)為32，與輸入節(jié)點(diǎn)數(shù)較為相近，保留地質(zhì)信息的同時(shí)節(jié)省了訓(xùn)練時(shí)間。

圖7 隱藏層不同節(jié)點(diǎn)數(shù)誤差對(duì)比Fig.7 Errors under the different nodes in the hidden layer

圖8 隱藏層不同節(jié)點(diǎn)數(shù)均方根誤差對(duì)比Fig.8 Root mean square errors under different nodes in the hidden layer

不同的隱藏層數(shù)及隱藏層節(jié)點(diǎn)數(shù)會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)性能產(chǎn)生一定影響，在一定限度內(nèi)，隱藏層層數(shù)越多、節(jié)點(diǎn)數(shù)越多，網(wǎng)絡(luò)性能越強(qiáng)。經(jīng)研究以往資料[15]，本次數(shù)據(jù)量較少，同時(shí)考慮過(guò)擬合現(xiàn)象，設(shè)定隱藏層數(shù)目為3 層。在其他參數(shù)不變的情況下，以2n為變化基準(zhǔn)研究16～256 個(gè)隱藏層節(jié)點(diǎn)數(shù)對(duì)反演效率及準(zhǔn)確率的影響。

表2 超參數(shù)設(shè)置Table 2 Hyperparameter settings

4 實(shí)際應(yīng)用效果

4.1 單點(diǎn)分析

圖9 為AC-BiLSTM 最終誤差下降趨勢(shì)曲線圖，從圖中可以看出誤差快速下降至收斂，未產(chǎn)生過(guò)擬合現(xiàn)象，說(shuō)明該算法對(duì)地層數(shù)據(jù)具有較強(qiáng)的擬合能力。圖10 為從模型正演數(shù)據(jù)中隨機(jī)選取的2 組數(shù)據(jù)的反演結(jié)果，如圖11 所示，預(yù)測(cè)曲線雖與目標(biāo)模型曲線有微小差異，但趨勢(shì)基本一致，說(shuō)明該模型具備預(yù)測(cè)出6 層地層結(jié)構(gòu)的能力。

壯拳不僅是壯人生存斗爭(zhēng)的工具，更是狂歡時(shí)刻“手之舞之足之蹈之”的娛神娛人之手段。壯人有著自己獨(dú)特的事關(guān)宗教信仰的民俗和節(jié)慶活動(dòng)，如“三月三”歌節(jié)、牛魂節(jié)、螞拐節(jié)、中元節(jié)等壯族特有的節(jié)慶以及節(jié)慶中的民俗體育活動(dòng)無(wú)不體現(xiàn)著對(duì)天神、雷神、牛神、蛙神、“布洛陀”、祖先、大樹(shù)等信仰中的“自然崇拜、鬼魂崇拜、祖先崇拜、英雄崇拜、圖騰崇拜、動(dòng)植物崇拜”[12]，神祗眾多，信仰繁雜。

圖9 AC-BiLSTM 誤差下降趨勢(shì)曲線Fig.9 Downward trend curves of AC-BiLSTM errors

圖10 正演模擬數(shù)據(jù)單點(diǎn)反演結(jié)果與目標(biāo)對(duì)比Fig.10 Single-point inversion results of data from forward modeling vs.target values

圖11 實(shí)測(cè)數(shù)據(jù)不同反演方法結(jié)果對(duì)比Fig.11 Results of different inversion methods on measured data

為進(jìn)一步驗(yàn)證該方法的有效性和優(yōu)越性，引入LSTM 及Occam 方法進(jìn)行效果對(duì)比。圖11 為不同反演方法結(jié)果對(duì)比圖，圖11a 為實(shí)測(cè)數(shù)據(jù)3 600 點(diǎn)反演結(jié)果，圖11b 為3 900 點(diǎn)反演結(jié)果，如圖，3 種方法均能較好地預(yù)測(cè)出地層整體趨勢(shì)，但AC-BiLSTM 反演結(jié)果與地層結(jié)構(gòu)偏差程度最小。

表3 為不同方法的反演結(jié)果精度對(duì)比，其中評(píng)價(jià)因子為多個(gè)測(cè)點(diǎn)的平均值，由表中可以看出，相比其他兩種方法，AC-BiLSTM 反演的決定系數(shù)R2最高；均方根誤差ERMS最小；平均相對(duì)誤差EMR最小，即反演結(jié)果的準(zhǔn)確度最高。

上世紀(jì)七十年代，微電子、IT和通訊技術(shù)的發(fā)展，使電氣自動(dòng)化實(shí)現(xiàn)了質(zhì)的飛躍，融入了信息、通信、系統(tǒng)工程及人工智能等成果。

表3 不同方法反演結(jié)果精度對(duì)比Table 3 Accuracy of the results of different inversion methods

4.2 剖面對(duì)比

為進(jìn)一步驗(yàn)證反演效果，分別利用Occam、LSTM、AC-BiLSTM 方法對(duì)已知采空區(qū)附近部分實(shí)測(cè)數(shù)據(jù)進(jìn)行反演(數(shù)據(jù)經(jīng)相同預(yù)處理)，結(jié)果如圖12 所示。圖中黑色虛線為煤層位置，灰色陰影部分