基于極限梯度提升的完美匹配單層智能算法實現航空瞬變電磁問題高效吸收*

馮乃星 王歡 朱子賢 董純志 李宏楊 張玉賢? 楊利霞 黃志祥?

1) (安徽大學電子信息工程學院,合肥 230601)

2) (安徽大學,智能計算與信號處理教育部重點實驗室,合肥 230601)

對于航空瞬變電磁的低頻探地問題,除了精度和效率需要考慮,深地探測問題的復雜度也不容忽視,特別是對于低頻復雜問題存在異常體與背景間的多尺度效應.為了模擬開域問題,有限厚度區域的完全匹配層被用于截斷計算域,然而這也無形中增大了整個模型,造成計算復雜度增加.鑒于此,提出了一種新的基于極限梯度提升(extreme gradient boosting,XGB)的完美匹配單層模型,并將該模型集成到時域有限差分求解器中,以進一步提高時域有限差分仿真的性能.所提出的基于XGB 的完美匹配單層模型通過特征注意力集成學習方法可以獲得更高的精度,同時占用更少的內存、消耗更少的時間.此外,由于該模型依托于傳統機器學習模型,因此它在模型訓練的穩定性和輕量級方面具有顯著的優勢.最后,通過對航空瞬變電磁應用進行三維數值模擬,驗證了該方法的有效性和穩定性.該模型不僅在精度、效率和問題復雜性方面具有優勢,而且還可以成功地集成到時域有限差分求解器中,解決低頻航空瞬變電磁問題.

1 引言

基于極低頻激發源的航空瞬變電磁(airborne transient electromagnetics,ATEMs)問 題[1–3]可以用時域有限差分(finite-difference time-domain,FDTD)方法[4–11]來解決,這是應用最廣泛的先進數值方法之一.目前,顯式和隱式的FDTD 方法分別被用于處理ATEM 問題,而這兩種方法本身面臨著不同的挑戰.對于顯式方法,主要存在兩大挑戰: 1) 低頻地下探測問題需要非常高的空間采樣密度,這樣就需要大量的時間步長;2) 準確、高效地求解電磁波與開放區域內的極損介質相互作用需要通過吸收邊界條件(absorbing boundary condition,ABC[12–15])來截斷物理區域.對于隱式方法,受色散誤差、分割誤差、近似誤差和非對稱效應[16–19]的影響,會衍生出嚴重的計算精度誤差問題;此外,稀疏矩陣的求逆計算也是不可避免的.無論是顯式方法,還是隱式方法,都有其各自要面對的難題,而本文就是針對前兩種方法面對的挑戰,通過引入新的方法或技術,使得無論在精度、效率還是仿真問題復雜度上都能夠取得好的性能.

近年來,隨著人工智能(artificial intelligence,AI)的蓬勃發展,基于機器學習(machine learning,ML)的實現[20]被廣泛應用于許多不同的工程和科學問題上.ML 能夠從具有相同模式的訓練數據中提取潛在的映射規律,從而能夠預測并產生一個新的輸出.因其自適應、非線性建模和數據驅動等特性,ML 可以移植到多種應用中,如基于超材料的逆設計[21,22]、超表面成像儀[23]、可編程光子電路[24]、深度學習皮膚傳感器[25]、一種可基于石墨烯在吸收和透射間快速靜電調制的頻選反射器[26],基于層狀石墨烯光子結構的優化單向角度不敏感超寬帶吸收器[27]等.

最近,基于ML 的完美匹配層(perfectly matched layer,PML)分裂場方案的雙曲正切基函數(hyperbolic tangent basis function,HTBF)[26]模型被用于取代傳統的有限厚度的ABC 區域,規避了根據當前和之前步驟中的局部和鄰近場來獲取局部場的整個模擬過程中的圓形計算處理.這充分證明,ML 技術可以被應用到數值方法中,以避免在ABC 區域內的重復過程.

隨后,為了進一步有效地削弱強隱失波,并在更大程度上節省計算機資源,開發了基于深度可微森林(deep differentiable forest,DDF)的完美匹配單層(perfectly matched monolayer,PMM)模型和基于非分裂場的復頻率偏移(complex-frequencyshifted,CFS)CFS-PML 方案用于二維電磁問題模擬[27].通過仿真結果驗證,基于DDF 的PMM 不僅可以取代傳統的PML,而且具有較高計算精度并可以成功集成到FDTD 的計算過程中.

繼上述二維EM 問題,將本算法應用于三維微帶傳輸線問題的求解可進一步驗證ML 方法的通用性、準確性與高效性.因此,選擇可以利用可區分的注意機制來訪問外部內存庫中數據/程序的神經圖靈機(neural turing machine,NTM)模型合并到基于DDT[28]的FDTD 求解器中來提高計算效率.所提出的基于DDT 的NTM 模型對三維微帶傳輸線可獲得約95%的高精度.

然而,在提出的基于DDT 的NTM 模型[28]中,只考慮了單極CFS-PML 方案,因此它在吸收低頻傳播波方面的效果遠不如基于單極拉伸坐標的PML(stretched-coordinate based PML,SCPML)方案,特別是對于三維低頻ATEM 應用.為了克服上述有/無CFS 方案的局限性,提出了一些多極PML[29–31]可以明顯衰弱強低頻傳播和隱失波.此外,雙極PML(two-pole PML,TP-PML)被驗證是一種更好的選擇[32],與多極PMLs(multipole PML,MP-PML)(n>2)相比,它不僅需要更少的CPU 時間和內存,而且保持了幾乎相同的吸收精度.

本文主要關注進一步提高低頻ATEM 問題的算法精度和降低問題復雜度,因此考慮了基于Z變換技術的TP-PML 方案對開放區域問題進行建模.為了實現更高的預測精度和進一步降低問題的復雜度,本文提出了一種高效、準確的基于極限梯度提升(extreme gradient boosting,XGB)的PMM 模型來取代傳統的有限厚度PML.所提出的基于XGB 的PMM 模型通過特征注意的集成學習方法,可以獲得更高的精度,同時實現更少的內存和CPU 時間消耗.此外,基于傳統ML 模型的特點,該模型在模型訓練的穩定性和模型輕量級方面具有顯著的優勢.這種方法在這里被稱為基于XGB 的PMM 模型.在這項工作中,該方案不僅對三維低頻ATEM 問題具有較高的精度和效率,而且可以集成到FDTD 求解器中,并與一般差分方法相兼容性.

全文的研究流程框架安排如下,第1 節為全文的引言,介紹關于深地探測低頻問題建模求解過程中,顯/隱式數值算法在求解過程中所面臨的挑戰,并通過引入當前機器學習技術克服相關的困難,從而引出本文的工作要點;其次,第2 節是對基于機器學習的完全匹配層吸收邊界條件模型算法的提出、訓練、預測及優化進行闡述;第3 節則是通過相關的深地探測問題去驗證所提出算法模型的有效性及準確性,用于測試所提出模型算法的穩定性和精度是否達標;最后,對全文工作的總結.

2 基于XGB 的完美匹配單層模型

自從由Berenger[33]提出了完全匹配層吸收邊界條件以來,各種完全匹配層實現算法已經用于截斷時域有限差分網格.拉伸坐標完全匹配層[34]是將麥克斯韋方程組中的兩個旋度方程映射到復數拉伸坐標空間,其優點是在完全匹配層的角和棱上的實現非常簡單.與最初Berenger 的完全匹配層一樣,拉伸坐標完全匹配層對隱失波的吸收無效[34].隨后,復頻率偏移完全匹配層[35]的出現備受關注,這是由于復頻率偏移完全匹配層能夠更有效地衰減低頻隱失波以及減少電磁相互作用過程中后期的反射[36],其實現是通過簡單地將復平面的極點從實軸移動到負虛半平面上實現的.在文獻[36]中,基于拉伸坐標完全匹配層公式和卷積定理提出的卷積完全匹配層能夠有效地實現復頻率偏移完全匹配層.然而,復頻率偏移完全匹配層對低頻行波的吸收效果較差[37–39].因此,為了可以同時吸收行波和隱失波,雙極PML 被提出并證實其具備同時吸收二者的性能.在本文中,所采用的就是雙極PML 吸收邊界條件進行區域截斷并收集數據集,用于后期神經網絡模型的訓練.

PML ABC 通常被用來截斷計算區域,從而得到一個開放域.一般來說,使用的是有限厚度層,比如8 層、10 層或更多層,這將導致額外的資源消耗,擴大了問題的復雜性.PML 最優參數(如α,κ和σ等)的選擇主要憑借經驗以獲得滿意的吸收精度,因此在試錯時會耗費大量時間成本.為了克服這些問題,提出了基于XGB 的PMM 模型,從而取代傳統的PML 方案進行計算區域的截斷.

在第1 節中已經討論過,基于XGB 的PMM模型在模型訓練穩定性和模型輕量級方面具有明顯的優勢,其訓練過程,如圖1 所示.

圖1 XGB 的訓練過程Fig.1.Training process of XGB.

現在,對相關的表達式和符號作詳細推導,以便能夠清晰、正確地描述模型的細節.本文有N個樣本,其數據集表示為X={x1,x2,···,xN},對應的目標值定義為Y={y1,y2,···,yN}.根據不同的增強模式,XGB 模型可以學習K個決策樹,這些決策樹的裝配表示為{T1,T2,···,TN},從而訓練一個新的決策樹并將其添加到模型中以減少迭代訓練過程中的損失值,如下所示:

對于在算法流程圖中構建單個決策樹的構建過程,只關注以下表達式:

YA,YB是通過將數據預測值以大小排序并隨機取值將樣品分為小于隨機值和大于隨機值的兩部分:

(2)式的具體作用是指導決策樹單個節點對數據集的劃分取值,它在(2)式劃分葉節點的具體方法是多次取不同數據預測值的中間值將數據集劃分為不同的兩組并用c1,c2作為兩組數據的預測值,可以根據實際情況選擇損失函數Loss,預測值c1和c2可以通過求解(3)式得到最優的結果.通過多次將數據一分為二,二分為四將構成類似樹狀結構,而c1和c2也將被計算的越來越精確,因為數據的規模越來越小,達到最小的一兩個數據為一組時,幾乎沒有誤差.

上述介紹決策樹構建的簡單流程,接下來將確定XGB 的目標函數來規定算法整體公式: 已知訓練數據集T={(x1,y1),(x2,y2),···,(xn,yn)},損失函數,正則化項?(fk),則構造整體目標函數為

其中i是第i個樣本,k是第k棵樹.是第i個樣本的預測值:

將上式代入目標函數并記一階導數為g,二階導數為h,得到最終結果為

正則化項由兩個部分構成,葉子節點數量T與葉子節點權重向量ω,公式如下:

以此方式約束葉子節點的數量和權重范圍.

在單棵樹的分裂過程中,定義如下兩個參數:

而針對葉子節點劃分方式的最優計算則求解如下函數的最優解:

其中λ和γ為超參數,用于約束模型的復雜度和深度.

增強的迭代方法表明,在下一次迭代啟動之前需要前一次迭代的殘差,殘差將作為下一個決策樹的訓練集用于訓練下一個決策樹,并直接與基礎模型相加來直接降低模型的偏差,因此,XGB 模型選擇負梯度近似殘差,如下式所示:

(4)式顯示了殘差的計算方法,在每個單個決策樹構建完成后,首先根據(4)式將單個決策樹整合到整個模型中,然后用(5)式計算新的殘差以獲得新的殘差數據M={m1,m2,···,mN}.

這些殘差數據與樣本數據集X={x1,x2,···,xN}一一對應.除了第1 個決策樹是基于X和Y之間的對應關系所構造之外,后續的決策樹都是基于X和M之間的對應關系構造的.

在傳統的開域問題的FDTD 模擬中,有限的PML 層(如8 或10 層)通常用于終止物理域,這導致模擬過程需要大量的CPU 時間和內存來處理吸收邊界.為了解決這兩個問題,本文將重點介紹用基于XGB 的PML 模型來開發和實現FDTD域的終止.

本節構建了一個基于多個決策樹和注意機制的XGB 模型,如表1 所列.一般來說,XGB 是一個集成學習方法,通過迭代來訓練決策樹和注意樣本與之前的模型預測誤差,在整個仿真期間,根據當前及前一時間步內的局部和鄰近場所取得的局部場的循環計算過程可以避免.在前面的介紹中,已經詳細說明了XGB 的具體邏輯,其中損失函數的選擇和一些關鍵的超參數是至關重要的.結果表明,當單個決策樹的最大深度為10,最小樣本的分割數為8,單個采樣比為90%并采用均方誤差作為損失函數時,模型的性能更加理想.

表1 基于XGB 的ABC 模型算法Table 1.XGB-based ABC algorithms.

為了進一步驗證所提出的基于XGB 的ABC模型,進行了數值計算.如圖2 所示,三維模型的幾何形狀分別由空氣、巖石和礦體組成.該礦體是一個深度為536 m,寬度為536 m,高度為536 m的立方體,且其中心位于(2010 m,2010 m,670 m),其電導率為4 S/m,巖石的電導率為0.005 S/m.空間用的均勻網格在三個方向均為67 m 離散化.仿真是在4020 m × 4020 m × 1876 m 的區域下完成的.

圖2 三維ATEM 問題的幾何模型Fig.2.Geometry of 3D ATEM Problem.

本文采用的樣本量共為295200 組,每次采樣包括15 個元素,分別是ex_it1,ex_it2,ex_it3,ex_it4,ey_it1,ey_it2,ey_it3,ey_it4,hz_it1,hz_it2,hz_it3,hz_it4,ex_ot,ey_ot,hz_ot.這些數據被用于學習一個新模型,用于預測電場與磁場的數值.每組所耗時332.06 s,共耗時近27.23 h.文中使用了295200 個樣本作為訓練數據,訓練集的樣本量為20 萬,驗證集和測試集的樣本量為47600 個.該模型大約需要81.3 s 來訓練60 次迭代,而預測295200 測試集樣本只需要0.298 s.雖然模型在訓練過程中只能進行連續訓練,但在推理階段也可以并行執行,以顯著提高速度.該模型的內存使用量為4.08 MB.

在初始模型的設計中,我們的目的是設計一系列的實驗來確定模型的三個重要的超參數,包括樹的最大深度,葉片的最小樣本分裂數,以及單個樣本的采樣率.如圖3 所示,實驗結果表明,更深的樹狀結構可以更好地學習數據之間的潛在相關性,因此,我們選擇的最大深度為8.為了確保模型具有更強的泛化能力,在這里選擇了90%的單樣本采樣率.

圖3 訓練過程的精度 (a)樹深度;(b)葉子的最小樣本分割數;(c)單個樣本的抽樣比Fig.3.Accuracies of training process: (a) Tree depth;(b) minimum number of sample splits for the leaves;(c) sampling ratio for a single sample.

用上述的超參數對所提出模型進行訓練,然后應用該模型來預測樣本的Ex,Ey和Hz.通過預測值與真實值之間的相對誤差e來衡量精度A,如下式所示:

從圖4 可以看到,以(6)式計算的指標作為參考,所提模型的Ex,Ey,Hz的精度分別為97.6%,98.7%,98%.XGB 模型長期以來廣泛應用于各個領域,但在數值分布穩定均勻的數值模擬領域仍占有一席之地.在未來,還可以通過XGB 的特定調試來實現更高的精度和效率.

圖4 訓練過程中Ex,Ey,Hz 的相對誤差Fig.4.Relative errors of Ex,Ey,and Hz during the training process.

3 數值實例及討論

為了驗證所提出的基于XGB 模型的準確率和效率,考慮了兩種不同源的更復雜的ATEM 問題,分別為案例A——接地線源;案例B——機載磁偶極子源.圖5 中的“案例A 和案例B”代表本節中的兩個不同的例子.案例A 中,接地線源Jx被置于巖石上方,案例B 中,磁點偶極子源Mx位于空氣中.

圖5 三維ATEM 問題的幾何模型Fig.5.Geometry of 3D ATEM problems.

從圖5 可以看到,信號源是由重復頻率為25 Hz的雙極方波脈沖所激發產生.圖6 展示了一個周期(即0.04 s)的脈沖波形.

圖6 雙極方波脈沖,持續時間為0.04 s,上升時間為0.0025 s,下降時間為0.0125 sFig.6.Bipolar square wave pulse with duration of 0.04 s,rise time 0.0025 s,and fall time 0.0025 s.

案例A地面上的線源和目標

案例A 中進行模擬的水平電流線源Jx位于地表上,這是典型的大地航空瞬變電磁,如圖5 中的“案例A”所示.線源Jx從(1943 m,2010 m,1474 m)到(2077 m,2010 m,1474 m),其幾何外觀分別由空氣、巖石和礦石組成,如圖5 所示.每個礦山都是深度為536 m、寬度為536 m、高度為536 m 的立方體,其電導率σore為4 S/m,巖石的電導率為σrock為0.005 S/m.整個空間用 ?x=?y=?z=67 m的均勻網格離散化.物理域的深度為4020 m、寬度為4020 m、高度為1876 m.

如圖5 所示,為了使結構復雜,在巖石層中嵌入了3 個礦體,以驗證所提出的基于XGB 的模型的魯棒性和有效性.接下來,用五種方法對案例A進行分析,這些方法包括具有10 層PML 截斷的傳統FDTD 方法,具有5 層CFS-PML 截斷的隱式FDTD 方法,內嵌復頻率因子的深度可微森林完全匹配單層模型,內嵌復頻率因子的深度決策樹神經圖靈機模型,及內嵌雙極因子的梯度增強決策樹完全匹配單層模型.

如圖7(a)所示,在窗口的水平軸上設置時間長度為0.16 s 以觀察接收機所在位置的二次磁場(即礦體目標的總場Hz減去無礦石的主場Hz0)的穩定性.從圖7(a)和表2 可以看出,所提出的基于XGB 的PMM 模型不僅比基于DDF 的PMM模型和基于DDT 的NTM 模型有著更高的精度,而且計算效率比傳統的隱式FDTD 方法更快.此外,在基于XGB 的PMM 模型中,只考慮了單層PML,從而降低了問題的復雜性.

表2 以0.04 s 為周期的計算時間Table 2.Computational time for 0.04 s as a period.

圖7 對于案例A,利用五種不同方法所取得的二次磁場 (a)時間軸上二次場數值解與預測解對比;(b)相對反射誤差計算Fig.7.Secondary Hz achieved by five different methods for case A: (a) Comparison of secondary Hz field between numerical methods and machine learning methods;(b) computation of relative reflection errors.

為了保證吸收性能可以滿足工程問題的要求,進行了相對反射誤差與時間關系的研究.從圖7(b)可以看到,具有10 層PML 截斷的傳統FDTD 方法,具有5 層CFS-PML 截斷的隱式FDTD 方法,內嵌復頻率因子的深度可微森林完全匹配單層模型,內嵌復頻率因子的深度決策樹神經圖靈機模型,及內嵌雙極因子的梯度增強決策樹完全匹配單層模的最大相對誤差分別為–47.49 dB,–46.02 dB,–35.68 dB,–36.59 dB 和–41.59 dB.最后,結果表明,與基于DDF 的PMM 模型和基于DDT 的NTM模型相比,所提出的基于XGB 的PMM 模型達到了工程應用的要求(低于–40 dB).

從案例A 可以得出如下結論: 1) 所提出模型可以實現良好吸收精度類似于傳統FDTD 方法和隱式FDTD 方法;2) 所提出模型僅采用單層PML,可以大大降低問題的復雜度;3) 所提出模型與傳統的FDTD 方法和隱式FDTD 方法在二次磁場Hz上可以得到良好的一致性;4) 所提出模型的計算時間比其他方法少,尤其是傳統的FDTD方法;5) 所提出模型能獲得更好的數值精度和吸收精度.

案例B機載磁偶極子源和目標

為了進一步驗證所提出模型的魯棒性,對案例B 也進行了研究.如圖5 所示,案例B 的配置與案例A 的配置相同.磁點偶極子源Mx位于表面上方,由一個重復頻率為25 Hz 的雙極方波脈沖激發.

由圖8(a)可知,所提出的基于XGB 的PMM模型不僅與傳統的FDTD 方法和隱式FDTD 方法有很好的一致性,而且在數值精度方面優于其他機器學習方法,這與案例A 相似.此外,通過對相對反射誤差與時間關系的研究來觀察這些方法的吸收精度.如圖8(b)所示,所提出的基于XGB 的模型的最大相對誤差與傳統的FDTD 方法和隱式FDTD 方法相似,這些方法可以滿足電磁工程問題中對吸收精度要求的最低標準.

圖8 對于案例B,利用五種不同方法所取得的二次磁場 (a)時間軸上二次場數值解與預測解對比;(b)相對反射誤差計算Fig.8.Secondary Hz achieved by five different methods for case B: (a) Comparison of secondary Hz field between numerical methods and machine learning methods;(b) computation of relative reflection errors.

為了保證吸收性能可以滿足工程問題的要求,進行了相對反射誤差與時間關系的研究.從圖8(b)可以看到,具有10 層PML 截斷的傳統FDTD 方法,具有5 層CFS-PML 截斷的隱式FDTD 方法,內嵌復頻率因子的深度可微森林完全匹配單層模型,內嵌復頻率因子的深度決策樹神經圖靈機模型,及內嵌雙極因子的梯度增強決策樹完全匹配單層模的最大相對誤差分別為–47.26 dB,–47.02 dB,–35.29 dB,–36.98 dB 和–41.98 dB.最終結果表明,與基于DDF 的PMM 模型和基于DDT 的NTM模型相比,所提出的基于XGB 的PMM 模型符合工程應用的要求(低于–40 dB).

4 結論

本文提出了一種基于XGB 模型可替代PMM方法來解決極低頻ATEM 地下探測問題.XGB 技術可以獲得較高的精度和效率,最終數值結果表明,所提出的PMM 模型不僅能在數值和吸收的準確率上與傳統的FDTD 方法和隱式FDTD 方法達到較好的一致性,而且在很大程度上降低了問題的復雜度,從而節省了更多的計算資源.此外,由于將基于Z變換方法的TP-PML 方案納入基于XGB的PMM 模型中,使得系統的求解精度得到了進一步的提高.鑒于此,可以看到,所提出的模型可以成功地集成到FDTD 求解器中來解決ATEM 問題的建模.