基于神經網絡的偏微分方程求解方法研究綜述1)

查文舒 李道倫 沈路航 張 雯 劉旭亮

(合肥工業大學數學學院,合肥 230009)

引言

人工智能引發多領域技術變革,廣泛應用于計算機視覺,生物醫學,油氣工程開發等領域.深度學習(deep learning)在工程技術,流體力學,計算力學等領域的研究具有重要的理論指導意義與工程應用價值.近年來,基于油藏動、靜態數據,人工智能有望實現油藏精細描述與精準開發,提高采收率.將測井、壓裂施工、生產數據等進行智能融合,大幅提升壓裂改造效果,降低開發成本.大數據與智能優化方法相結合,將變革油田數據分析方法、油田開發控制與優化方法[1].非常規油氣開發難題與人工智能相結合,有望解決非常規復雜油氣物理規律建立、偏微分方程求解等難題.人工智能與大數據將“實現石油勘探開發主體技術更新換代的宏偉目標,從技術層面上促進石油勘探開發行業整體轉型升級”[2].

人工智能方法因其處理高度復雜問題的突出能力,已引起油田領域的特別關注[3-6].傳統人工神經網絡已在石油工程領域得到廣泛應用,例如預測未知年份的測井數據[3]、預測油品壓力-體積-溫度屬性[4]、預測注產剖面[5]、估算孔隙度[6]、井底流動壓力[7]、選擇頁巖氣藏完井方法[8]、試井解釋[9-13]等.

深度學習是機器學習的一個新領域.深度學習的本質是構建含有多個隱藏層的網絡模型,通過學習大規模的數據,獲得更具代表性的特征,從而提高預測和分類的精度.Tian和Horne[14]利用遞歸神經網絡學習永久井下壓力計(PDG)數據,用于識別油藏模型及生產預測.Sudakov 等[15]將深度學習用于滲透率預測.Mosser 等[16]利用深度學習進行三維多孔介質重構.張東曉等[17]利用循環神經網絡研究測井曲線的生成與修補.近兩年,深度學習在試井參數自動反演得到了很好的應用[18-20].

同時,在解決參數反演、數字巖心、測井曲線、試井解釋等問題上,深度學習作為人工智能發展引擎有著優秀的表現[21-25].以深度學習為核心的人工智能正在油氣開發領域掀起新的研究熱潮,其中最具前瞻性、顛覆性的研究當屬基于深度學習的偏微分方程求解.該方法一旦突破,物理規律建立、參數反演和數值模擬方法都將發生變革,我國也將在以偏微分方程(偏微分方程)求解為核心的工業計算軟件中迎來巨大機遇.自2017 年來,深度學習在物理規律發現、油藏參數反演和偏微分方程求解中發揮了令人驚訝的作用[26-30].

在實際開發現場或其他應用場景中,只能獲取相關測量數據,而數據背后所潛在的物理規律需要進一步分析得到,偏微分方程模型是刻畫其特性的重要工具.目前,解決基于大量數據尋找物理規律的主要思路有:在有一定的先驗知識下,列出偏微分方程所描述的物理過程的備選項,利用稀疏回歸技術或其他方法進行特征選擇和參數估計[31-35];其二用神經網絡作為逼近器的功能,使用不同的神經網絡結構表征偏微分方程系統,通過學習網絡結構達到發現物理規律的目的[1,36].

現有的偏微分方程求解方法要進行網格劃分、非線性方程組求解,計算成本高,技術突破難度大.基于深度學習的偏微分方程求解方法不僅能快速正演、快速反演[37-38],而且能很好解決非線性問題[39-42],能對更復雜、更高維的偏微分方程[27,30,43]進行求解,有望顛覆傳統偏微分方程數值求解技術,引發數值模擬技術的巨大變革.

雖然技術路線存在差異,但深度學習在物理模型建立、偏微分方程求解和參數反演中的應用,其核心仍是如何用深度學習表征偏微分方程.當前的研究多集中在無源匯的偏微分方程,多是數據驅動(data driven)、物理約束(physics informed),少量為物理驅動(physical based,physical constraint,theory based or without labeled data).由于當前處于研究初始階段,很多學者都提出了自己的術語,導致當前術語復雜,然而不同術語往往表示同一含義.為此,本文約定:數據驅動(data driven)為僅用標簽數據約束的方法,物理驅動(physics driven)為不含任何標簽數據約束的方法.物理約束(physics informed)介于二者之間,即標簽數據約束、偏微分方程約束共存的方法.因而,若僅用偏微分方程約束,物理約束方法就是物理驅動方法.另外,遵循于傳統偏微分方程解析解、偏微分方程數值解術語,這里稱用深度學習進行偏微分方程求解的方法為偏微分方程智能求解方法或偏微分方程神經網絡求解方法.

本文將深度學習表征偏微分方程分為兩個場景:構建未知偏微分方程與求解已知偏微分方程.對于構建未知偏微分方程,本文簡要介紹了網絡結構與偏微分方程、微分算子或演化算子等的內在聯系,概述神經網絡逼近未知偏微分方程的表示方法,并給出其中有待解決的問題與難點.對于求解已知偏微分方程,本文從數據驅動、物理約束和物理驅動3 個角度介紹神經網絡求解已知偏微分方程方法,主要包括神經網絡求解偏微分方程原理,網絡框架構建,損失函數構造等,結合國內外研究現狀,系統梳理該領域的研究脈絡,分析神經網絡求解偏微分方程中存在的關鍵問題和解決方案,并對可行的未來研究方向和內容進行討論和展望.此外,雖然深度學習在近年來得到了迅猛發展,但其在求解偏微分方程等力學問題上的研究仍然有限,在實際應用中的表現仍有待考驗.因此,本文主要側重研究方法上的進展.

1 基于神經網絡的偏微分方程求解方法探索研究

1943 年McCulloch和Pitts[44]建立了神經網絡及其數學模型,開創了人工神經網絡研究的新時代.20 世紀80 年代中期,首次提出的反向傳播算法算法及其發展[45]引起了人工神經網絡領域研究的第二次熱潮.

一直以來,人們希望找到無須網格劃分、無須非線性方程求解的偏微分方程數值求解新方法.其探索之一就是基于人工神經網絡的求解方法.自動微分(automatic differentiation) 能使用鏈式法則精確計算導數[46-48],可以根據神經網絡的輸入坐標和網絡參數對整個神經網絡模型進行微分,從而代替偏微分方程中復雜的梯度計算,為基于人工神經網絡的偏微分方程求解奠定了基礎.

在20 世紀90 年代,便有學者開始研究使用神經網絡求解微分方程的數學基礎與方法.1990 年Wornik 等[49]證明了多層神經網絡能夠逼近任意函數及其導數.這為微分方程的神經網絡求解奠定了理論基礎.隨后,Li[50]證明了一個隱藏層的神經網絡可逼近多元多項式函數及其導數.Lagaris 等[51]將微分方程中的初值與邊界條件獨立表征,提出頗為新穎的偏微分方程求解方法.隨后,不少學者進行了探索研究,例如,Aarts和Van[52]將表征不同階微分算子的單隱層前饋網絡聯合起來,共同訓練來求解偏微分方程;又如,Ramuhalli 等[53]將有限元模型嵌入到神經網絡中,提出了有限元神經網絡.由于早期多層前饋神經網絡模型的局限性,早期方法只能求解簡單的偏微分方程,基于神經網絡的偏微分方程求解方法沒引起足夠的重視.

早期方法主要基于數據驅動,即事先獲得偏微分方程的輸入及精確解(常稱為“標簽數據”),然后用神經網絡逼近標簽數據,從而獲得能夠表征偏微分方程的神經網絡模型,如圖1(a)所示.網絡的輸入可以是參數或空間、時間等,可根據需要選擇.

圖1 基于PDE 智能求解方法的兩種技術路線Fig.1 Two technical routes based on PDE intelligent solution method

隨著深度學習算法在多個領域的成功應用[54-55],國內外學者重新開啟了基于神經網絡的偏微分方程求解方法研究,取得了系列突破,提出了新方法,如純物理驅動的偏微分方程求解方法.該方法用控制方程進行約束,無需標簽數據,如圖1(b)所示.

根據不同的應用場景,本文將從深度學習反演構建未知偏微分方程和求解已知偏微分方程兩個方面展開介紹.下節主要介紹如何通過神經網絡逼近線性或非線性算子,從數據中找出隱藏的偏微分方程模型.

2 基于深度學習反演未知偏微分方程

利用深度學習方法從數據中反演未知的偏微分方程是當前的研究熱點之一.對于未知的偏微分方程,主要的研究目標是通過深度學習找出數據背后蘊藏的偏微分方程模型,從數據中反演未知的偏微分方程(例如方程的右端項、方程的積分形式或方程的演化算子等),進一步構建模型用于求解.

恢復方程的傳統思路是構建簡單函數和偏導數的備選字典.這些函數和偏導數很可能出現在未知的控制方程中.根據已知偏微分方程的非線性響應的形式構建模型,然后利用稀疏回歸類方法來學習這些未知參數,選擇最準確代表數據的項.這種傳統的恢復方式要求假設非線性響應形式已知或確定微分算子的有限差分逼近的方法,而深度學習大大降低了對偏微分方程先驗知識的要求,只需要簡單的先驗知識,如方程最大可能的階.此外稀疏回歸方法需要事先確定字典中空間差分的數值近似,限制了字典的表達能力和預測能力且需要建立一個足夠大的字典,這可能會導致高的內存負載和計算成本,特別是當模型變量的數量很大的時候.深度學習方法采用可學習的卷積近似微分算子或近似演化算子,從根本上提高從噪聲數據中識別動力學的能力,從而使模型具有更強的表達能力和和預測準確性.如果沒有足夠的數據知識,也有可能通過調整多項式的微分來獲得更好的表征效果,神經網絡在偏微分方程求解和恢復問題中都大有可為.

近幾年,國內外學者致力于探究網絡結構與偏微分方程、各項微分算子或方程的演化算子等的內在聯系,從理論上支撐用深度學習來表征偏微分方程.2018 年Long 等[56-57]提出一種基于數據驅動的前饋神經網絡(PDE-Net),其核心思想是:時間導數項做歐拉離散,受約束卷積核近似微分算子,進而使用神經網絡或其他機器學習方法近似方程右端項,構建網絡來逼近偏微分方程系統,并對其解進行長期預測.此外結合Symnet (symbolic neural network)[58-59],使用可學習濾波器PDE-Net2.0[56-57]更加靈活,能夠在少量先驗知識的情況下揭示方程的解析形式,尤其對于非線性問題有更好的結果,并能夠更強大地逼近未知動態和更長的時間預測.

變分和偏微分方程框架下卷積與微分之間存在內在關聯[60-61].據此關聯,Long 等[56]提出受約束的卷積核,即在數學上能證明該卷積能表征微分算子,因而卷積核是受限的.深度學習在受限的基礎上學習卷積核,從而有更好的偏微分算子表征能力.例如,對于卷積核,將該卷積核作用在二維空間變量u上,得到

類似于小波理論中的消失矩的階,對于卷積核q,定義q的消失矩的階 α=(α1,α2)∈滿足

其中β=(β1,β2)∈,對于滿足|β|＜|α| 或|β|=|α|,但β≠α的所有β都有式(1) 成立.滿足以上條件的α=(α1,α2)稱為q的消失矩的階.卷積核q有α ∈階消失矩,其作用于一個連續函數F(x)∈R2有,應用泰勒展開進行推導得

最終可通過式(2)構造卷積核來近似微分算子,詳見文獻[56].基于受約束的卷積核,構造卷積神經網絡來逼近偏微分方程,并使用神經網絡或其他機器學習方法確定非線性響應項.當偏微分方程對應以下格式時

對時間導數項做歐拉離散,空間類導數項做約束卷積近似,方程(3)可表示為

其中D0和Di j表示卷積核,cij是二維矩陣,相當于偏導項的系數,可以插值得到,也可以直接在訓練過程中學習得到,再根據矩陣是否為零來判斷對應的項是否存在,從而反演出未知偏微分方程.

González-García 等[62]基于人工神經網絡體系結構提出物理模型建立方法,其本質是在一定的先驗知識下,列出描述物理過程的偏微分方程所有的備選項,利用人工神經網絡進行自動選擇和參數估計,從而發現數據后隱藏的物理規律.

Wu 等[63-64]首次基于殘差網絡(ResNet)構建了從數據中學習未知微分方程的新框架.該框架以微分方程內在的積分形式為基礎,以逼近方程的流譜(flow map,針對常微分方程)和演化算子(evolution operator,針對偏微分方程)為目標,從根本上避免了傳統框架(以逼近方程的右端項為目標)所依賴的數值微分.文獻[63-64]提出了兩種多步的ResNet 神經網絡結構,從精確演化算子的角度,首次在理論上建立了ResNet 與精確演化算子的內在數學關系、由此給出了該深度學習方法的數學解釋.不同于Wu和Xiu[64]在模態/傅里葉空間學習方程,Chen 等[65]在物理空間進行學習和建模,利用DNN學習測量數據,從而學習未知偏微分方程.Chen 等[66]提出一種無梯度的符號遺傳算法(SGA-PDE),使用符號數學靈活表示任意給定偏微分方程,優化其表示形式,從數據中發現開放形式的偏微分方程.Xu和Zhang[67]在PINN 的基礎上提出一種更具魯棒性的深度學習遺傳算法(R-DLGA),將深度學習-遺傳算法提供的潛在項的初步結果作為物理約束加入損失函數,提升了在高階導數等影響下導數的計算精度,從而在高噪聲稀疏數據中獲得偏微分方程.

迄今為止,該領域提出的許多方法都存在一些局限性.特別是,目前的方法通常研究ut=N(u,x,t)形式的方程,但許多物理方程不在此類.此外,如果測量一個具有參數依賴性的系統,如何消除演化動力學及其參數依賴性之間的歧義是有待解決的問題.盡管神經網絡表現出強大的數據學習能力,但對于有噪聲數據的學習,尤其在非線性、多耦合的復雜物理系統中,網絡模型的精確性以及穩定性有待提升.

而對于已知的給定的偏微分方程,神經網絡可用于逼近偏微分方程的解或表征方程,本文下節將從數據驅動、物理約束和物理驅動3 個方面對神經網絡求解偏微分方程展開介紹,并簡述所用的神經網絡,如全連接神經網絡,卷積神經網絡(CNN)、殘差網絡(ResNet)、DenseNet、自編碼網絡(autoencoder)、長短期記憶(LSTM)網絡等,總結現有研究的重要進展,并探討下一步的發展趨勢,對未來偏微分方程智能求解的研究提出建議.

3 基于深度學習的偏微分方程求解方法

3.1 偏微分方程神經網絡求解方法概述

深度神經網絡的基本結構是前饋全連接深度神經網絡[68],以此為例介紹已知偏微分方程的神經網絡求解方法.以d維行向量x∈Rd為網絡輸入,一個單隱層神經網絡的k維輸出形式為

式中,W1和W2分別為d×q和q×k的權重矩陣,b1和b2分別為 1×q和1×k的偏置向量;σ(·) 是一個非線性模型,稱為激活函數.

對于多層神經網絡,模型參數可以表示為

式中,θ 表示網絡參數{W,b} 的集合.參數的優化采用隨機梯度下降(SGD) 或其變體方法[69-71].以SGD 為例,第i次迭代過程如下

式中,η為第i次迭代的步長.損失函數相對于模型參數的梯度 ?θJ通常使用反向傳播[72]計算,這是反向模式自動微分[48]技術的特殊情況.關于神經網絡的優化過程不再詳細描述,具體可參考文獻[48,68,72].

對于給定的一般偏微分方程,在初始條件I(·)(IC)以及邊界條件 B(·) (BC)的約束下可表述為[73]

式中,u(t,x;θ) 是方程的近似解,θ 是近似解在方程中對應的參數;N(·) 是一個微分算子包含時間微分,空間微分等組成的線性或非線性項;x為定義在有界連續空間域 D?RD中的位置向量,?D 為邊界.

一般來說,根據訓練方法的不同,基于深度學習的偏微分方程求解方法可以分為數據驅動和物理驅動兩種方法.數據驅動方法所需的標簽數據形如u(t,x),通過尋找一組最優的網絡參數 (W,b),以局部最小化訓練數據u(t,x)和神經網絡預測(t,x;W,b)之間的差.也就是說,可以將數據驅動的優化問題表示為

式中,W*和b*為神經網絡的優化目標.

對于物理驅動方法,通常使用控制方程和IC,BC 構造殘差,然后將殘差添加到損失函數中,從而優化網絡參數.其中,網絡的輸出(t,x;W,b) 被代入控制方程構造殘差,再通過最小化殘差來優化參數.基于物理約束的優化問題如下所示

3.2 數據驅動下的偏微分方程神經網絡求解方法

偏微分方程已知情況下,基于數據驅動求解偏微分方程,其核心問題是探究方程及其中各項微分算子的表征方法,進而得到方程的解.

3.2.1 基于CNN 的求解方法

由于受約束的卷積核數學上具有偏微分算子特征,用其來表征與求解偏微分方程會具有很好的效果.為此,基于受限卷積核來表征微分算子的思想[57],Zha 等[73]將二維受限卷積核推廣到三維受限卷積核,構建新的三維偏微分方程智能求解方法.

對卷積核q,其矩矩陣M(q)=(mi,j,t)N×N×N,i,j,t=0,1,···,N-1.當三維微分算子最大可能的階為1 時,在卷積核表征微分算子過程中,約束q最大階i+j+t=1 時,mi,j,t≠0.例如,對 23受限卷積核近似微分算子有

顯然,可以用約束下的卷積核近似對應階數的微分算子,對偏微分方程N(t,x,y,z;u):=ut-F(x,y,z,ux,uy,uz,uxx,...)進行卷積近似時,有

在此基礎上,引入分層自適應激活函數構建3D-PDE-Net,如圖2 所示,其中激活函數可以表示為σ(naiDijtu),n≥1 為預定義的比例因子,參數ai是激活函數的斜率,可學習參數,σ 采用Tanh激活函數.

數值實驗表明,3D-PDE-Net 求解精度L∞誤差比求解比數值格式Douglas-Gunn ADI 降低20倍[73];所加入分層的自適應激活函數可10 倍提高訓練速度,且局部誤差得到改善.但此時3D-PDE-Net不是顯式可解釋的.

圖23 D-PDE-Net 網絡結構示意圖[73]Fig.2 The schematic diagram of a δt-block[73]

3.2.2 基于其他網絡的偏微分方程求解方法

Liu 等[26]探討了全連接神經網絡在函數逼近中的應用,并提出了一個通用的基礎微分方程求解器,主要利用自動微分對方程的初值問題和邊值問題進行求解.E 等[30]與Han 等[27]用深度學習逼近梯度算子,基于偏微分方程的離散格式,對高維偏微分方程給出深度學習求解新方法.對有H個隱藏層、N個時間間隔的半線性拋物型偏微分方程的網絡結構如圖3 所示,整個網絡共有 (H+1)(N-1) 層,通過損失函數共同優化所有的網絡參數.t=t1,t2,···,tN-1中的每一列對應一個t時間步的子網絡,是每一個子網絡中的中間神經元.基于標簽數據,用多層前饋神經網絡逼近梯度算子,從而可得到高于100 維的偏微分方程解,并給出了多種類型高維偏微分方程方程的求解結果.

圖3 有H 個隱藏層、N 個時間間隔的半線性拋物型偏微分方程的網絡結構(修改自文獻[30])Fig.3 Illustration of the network architecture for solving semilinear parabolic PDEs with H hidden layers for each sub-network and N time intervals (modified from Ref.[30])

3.3 物理約束下的偏微分方程神經網絡求解方法

由于數據驅動存在泛化能力弱等缺點,物理驅動可提高泛化能力,減少標簽數據.物理驅動與數據驅動相融合,即物理約束的方法,受到廣泛的關注.

在近幾年的研究中[74-76],已經看到利用結構化先驗信息構建基于數據和物理信息的機器學習算法的研究前景.Sirignano 等[77]給出了類似于LSTM 人工神經網絡的deep Galerkin method (DGM)網絡,提出了基于Galerkin 方法的二階微分算子計算方法,同時給出了物理約束下的神經網絡逼近定理.

3.3.1 PINN

Raissi 等[39-40]利用偏微分方程的控制方程以及邊界條件等恒等式構造殘差,利用各項殘差之和構造損失函數,并將此方法拓展到解決非線性問題,提出了物理約束下的神經網絡(physics informed neural network,PINN).PINN 將數據驅動與物理約束相結合,從而提出了偏微分方程建立與求解的新思路,即,對偏微分方程

PINN 中的損失函數主要由3 部分組成,分別為偏微分方程的控制方程,網絡輸出與初始條件、邊界條件的標簽數據的殘差.

同時,Raissi 等[41]還研究了連續時間模型與離散時間模型在方程求解和方程恢復兩種場景下的應用,以及標簽數據噪音對求解精度的影響及誤差傳播.

以求解Dirichlet 邊界下的Burgers 方程為例,其方程為

則有函數D(u) 為

可定義損失函數為

通過最小化損失函數優化神經網絡參數,使得網絡輸出逼近Burgers 方程的解.

3.3.2 基于PINN 的改進方法

基于PINN 算法,Toshiyuki 等[78]使用由3 個DNNs 組成的PINN 框架對Richardson-Richards 方程進行參數反演,并估算保水曲線和水力傳導函數.Han 等[79]介紹了一種基于深度學習的一般高維拋物型偏微分方程的求解方法.先對偏微分方程進行重新構造,再利用神經網絡逼近未知解的梯度,在非線性方程計算中得到了滿意的數值結果.Meng 等[80]提出了一種改進的PINN 方法,稱為PPINN,將一個長時間的問題分解為多個獨立的短時間問題,以加速偏微分方程的求解.Michoski 等[81]研究了激波偏微分方程神經網絡求解方法,神經網絡方法與傳統方法結果對比表明,基于神經網絡的求解方法有優勢,標簽數據可有效提升求解精度.Kani和Elsheikh[82]將物理約束求解偏微分方程方法與正交分解(POD)和離散經驗插值方法(DEIM)相結合,提供了一個高精度的非線性動力系統降階模型,降低了高保真數值模擬的計算復雜度.

Jagtap 等[83-84]提出自適應激活函數,有效地提高了PINN 逼近非線性函數和偏微分方程的效率、魯棒性和準確性,自適應激活函數如下,圖4 為各自適應激活函數的圖像

圖4 Sigmoid,tanh,ReLU和leaky-ReLU 的對應變量 a 的激活函數[83]Fig.4 Sigmoid,tanh,ReLU and leaky-ReLU activation functions for various values of a [83]

然而,含標簽數據的偏微分方程神經網絡求解方法,存在很大的局限性.對很多問題,其精確解是未知的.若需要偏微分方程的精確解才能構造損失函數,這大大限制了其應用范圍.例如,在油田開發過程中,儀器只能測量井底的壓力、井口的產量,而不能獲得其他地區的壓力.這意味著基于標簽數據的偏微分方程求解方法無效.從而,基于純物理約束(即物理驅動)的求解方法具有更廣闊的應用前景,有著與傳統求解方法一樣的便利性(無須任何標簽數據).這一旦突破,將引發偏微分方程求解技術的真正變革.

3.3.3 可測量標簽數據下的偏微分方程神經網絡求解方法

上述數據驅動下的偏微分方程求解方法往往需要未知量的分布數據,例如需要知道壓力空間分布數據.這往往在實驗條件下才能獲得.例如,可在實驗中布置多個壓力傳感器,才能獲得壓力的空間時變數據.但對實際工程問題,這部分數據是不可測量的.例如,在油藏開發中,只能測量井中的壓力,其他的壓力數據無法獲知.因而,上述數據驅動下的偏微分方程智能求解方法難以有真正應用.

實際工程中,存在一部分可測量的數據,若能使用少量的可測量數據作為標簽,就能對偏微分方程進行求解,將具有重要的理論意義與應用價值.部分學者對此進行了積極的探索研究.

Wang 等[85-86]將實際工程中的專家經驗、物理規律和稀疏觀測數據等整合為理論指導神經網絡(theory-guided neural network,TgNN),如圖5 所示,利用TgNN 解決地下流動建模,不確定性量化等問題.

圖5 TgNN 模型的網絡結構[85]Fig.5 Structure of the TgNN model[85]

Li 等[87]使用深度神經網絡解決單相滲流問題,加入部分可測量的井底流壓數據作為標簽,有效提高非穩態、具有源匯的偏微分方程問題的求解精度.該方法的最大特點是,除將可觀測的井底壓力數據作為標簽外,不再需要任何其他的標簽數據,而是用偏微分方程約束代替壓力分布的標簽數據,從而大大提高該方法實際應用可行性.此外,利用源匯項引起的梯度特征構造梯度模型,作為“路標”加入神經網絡,通過添加固定神經元的方式幫助網絡提高優化能力,同時提出了預訓練獲得“路標”的解決思路.圖6 為智能求解所獲得的壓力分布、井底壓力(BHP)圖.

圖6 智能求解得到的壓力分布和井底壓力圖[87]Fig.6 Pressure distribution and BHP obtained by intelligent solution [87]

Chen 等[88]提出一種基于協方差矩陣優化的無梯度神經網絡,有效提升學習小數據樣本的魯棒性,適合實際工程應用.在后續研究中,Chen 等[89]提出一種硬約束投影(hard constraint projection,HCP)的方法提升機器學習方法對小樣本數據的學習能力.

3.4 物理驅動下的偏微分方程神經網絡求解方法

相較于傳統數值求解,偏微分方程智能求解仍受標簽數據的約束,在實際應用中,往往會面臨數據獲取困難的情況.對此,無需標簽數據的物理驅動方法成為重要的研究方向,是最終的解決方案.

3.4.1 全連接神經網絡(FC-NN)求解偏微分方程

Nabian 等[90]使用無監督的前饋深度殘差神經網絡近似高維偏微分方程,利用隨機梯度下降(SGD)算法優化神經網絡參數.Cai 等[91]研究了基于無監督深度學習的一維二階橢圓偏微分方程數值求解方法,并利用一階系統最小二乘(FOSLS)作為損失函數來優化神經網絡的參數.Sun 等[92]提出了基于“硬邊界約束”的神經網絡求解方法,將偏微分方程的控制方程和邊界條件作為損失函數來約束神經網絡,通過構造“硬編碼”的結構化深度神經網絡來加強初始條件和Dirichlet 邊界條件,有效增強物理約束下的偏微分方程智能求解,如圖7 所示.對于下述不可壓縮Navier-Stokes 方程[92]

圖7 基于“硬邊界約束”的FC-NN 框架(修改自文獻[92])Fig.7 Schematic diagram of FC-NN framework based on“hard boundary constraint”(modified from Ref.[92])

其中t和x分別代表時間和空間,θ是d維向量,包括流體性質、域的幾何形狀等參數;速度u(t,x,θ)和壓力p(t,x,θ) 都是時間、空間和可變參數的函數;ρ和ν分別表示流體的密度和黏度;bf是身體力參數;Ωf?R3為流體域.

對初始條件和Dirichlet 邊界條件的“硬編碼”過程如下所示

其中,uparticular,pparticular是滿足初始和邊界條件的特解,D(t,x,θ) 是定義的從內部點到“邊界”的平滑函數.即,D在邊界 ?Ωf×[0,T]和Ωf×0 處為零且在遠離邊界處增大.對于IC/BC和簡單幾何域 Ωf,t的問題,可以用解析的方法寫出函數D和特解.

然而,對于具有Neumann 邊界條件的偏微分方程問題,仍將Neumann 邊界條件以懲罰項的形式加入損失函數,在求解精度上仍有所欠缺.綜上所述,Sun 等[92]為一部分具有Dirichlet 邊界的穩態問題的物理約束求解提供了很好的解決方法,但由于需要解析解構造邊界平滑函數,對非穩態,具有Neumann邊界的問題存在一定的局限性.

3.4.2 CNN 求解偏微分方程

在人臉識別、AlphaGo 等大顯身手的CNN 在偏微分方程求解中也受到廣泛關注.偏微分方程的屬性空間(如滲流方程中的滲透率)與解空間的對應關系,非常適合用卷積算子進行表征.基于這一特性,卷積神經網絡求解偏微分方程會有很大的優勢.然而,多數偏微分方程求解網絡都基于FC-NN 的“點態”(基于時空域中離散的分布點)方式進行訓練,這意味著FC-NN 訓練樣本分布自由度很大.而CNN則需要輸入相對完整的樣本分布,是以“點陣”圖像的形式進行訓練.這就帶來了諸多新挑戰,如不規則域、卷積網絡損失函數構造等.對于不規則域,Gao等[93]通過對CNN 網絡輸入的物理量約束,得到偏微分方程求解神經網絡模型,再通過保形變換,實現對不規則區域下的偏微分方程求解.

對于卷積網絡的損失函數,Zhu和Zabaras[94]提出了貝葉斯損失函數約束下的新偏微分方程求解網絡.該網絡模型將CNN 與編解碼器網絡相融合,吸取了DenseNet 特征重用的優點,使得在參數和計算成本更少的情形下實現比ResNet 更優的性能[95].如圖8 所示.

圖8 貝葉斯損失函數約束下的DenseED-c16 網絡(修改自文獻[94])Fig.8 DenseED-c16 network with Bayesian loss function constraints(modified from Ref.[94])

隨后,Zhu 等[96]研究了數據驅動、物理驅動等損失約束下的偏微分方程求解方法,并提出物理約束的稠密卷積編解碼器網絡(如圖9 所示),提高求解精度以及泛化能力,并使用Sobel 算子計算CNN框架下的導數.與FC-NN 不同,CNN 以卷積的形式提取圖像特征,其本質就是對圖像的像素求導數,Sobel 算子是以濾波算子的形式計算一階導數,從而可利用卷積函數快速計算.

圖9 物理約束下的稠密卷積編解碼器網絡(修改自文獻[96])Fig.9 Dense convolutional encoder-decoder network as the deterministic surrogate (modified from Ref.[96])

然而,目前研究的物理驅動方法(無標簽數據)尚不能有效解決非穩態與源匯的問題.物理驅動的研究仍在起步階段,離實際需求還很遠.

總體上,基于深度學習的偏微分方程建立、求解與參數反演研究還處于初始階段,主要存在以下問題:(1)很多方法只能應用于簡單的偏微分方程,例如,偏微分方程中沒有時間導數項,或沒有源匯項.這說明求解方法還有待深入研究.(2)多數方法都是基于數據驅動的:數據驅動下,神經網絡受到了強有力的約束,從而更容易收斂,但其場景有限.(3)物理驅動方法亟待突破:一旦物理驅動下的偏微分方程求解方法獲得突破,偏微分方程求解方法將獲得顛覆性的變革,基于深度學習的偏微分方程重建、參數反演方法都將隨之變革.然而,少了標簽數據的約束,深度學習收斂將十分困難,大量的科學技術問題亟待解決.

4 研究前景與展望

國內外研究進展表明,當前的應用場景主要有3 種.

(1)基于神經網絡的偏微分方程建立:在大量實測數據的基礎上,可以利用深度學習網絡在大量備選的偏微分算子中,尋找合適的算子來“擬合”實測數據,從而“人工智能”地建立偏微分方程.相關研究很多,Raissi和Karniadakis[42]認為,深度學習有能力在少量的數據中就可發現其背后的物理規律;對高噪聲稀疏數據,Xu和Zhang[67]將深度學習和遺傳算法相融合來提算法高魯棒性.

(2)參數反演:參數反演是眾多工程問題的難點之一.利用神經網絡的逼近能力,可以進行快速反演.該方法一般是基于標簽數據的.數據驅動下的參數反演可無須考慮物理過程,例如試井參數自動反演就可從數據到數據[18-19].然而,將數據驅動與物理信息相結合,可能會有更好的反演效果[86,97].從另一個角度,將物理信息(如控制方程)加入預測模型,能夠根據容易獲得的數據預測更難獲得的數據[89,98-99].為此,將物理驅動與數據驅動相結合,將大幅降低標簽數據的數據量,相關研究將給工業應用帶來很大的便利.

(3) 偏微分方程智能求解:基于深度網絡的偏微分方程求解,無須網格劃分、線性方程組求解、沒有維度災難.然而,由于約束少,純物理約束下的求解方法挑戰仍很大.這也是偏微分方程深度學習求解必須攻克的難題.

另一求解偏微分方程的思路是利用神經網絡對非線性方程組的逼近能力,進行偏微分方程求解.神經網絡的權值修正方法可以用來逼近與求解非線性方程組,且能證明,通過對權值的限制,該方法一定是收斂的[100].由于偏微分方程方程離散后仍是非線性的,從而可用此方法進行求解.按此思路,Ebadi等[101]用自適應神經網絡代替傳統的牛頓迭代法,提出了一種技術路線與上完全不同的偏微分方程求解方法,并利用該方法對一維的單項與兩相流動進行了求解.

另一研究思路是,將偏微分方程與深度學習混合使用,相互學習、相互支撐.存在這樣的情形,數據中隱藏的物理規律部分已知,部分未知.未知部分用深度學習表征,已知部分用偏微分方程表征,從而整個損失函數將包含這兩部分內容.這樣,在神經網絡訓練時,二者能相互約束、相互修正,既能防止過擬合,也能彌補數據丟失等引起的誤差[102],使精度更高,效果更好.

除傳統數值計算具備的應用前景外,基于深度網絡的偏微分方程求解還將大幅提升強非線性偏微分方程求解能力,借助深度學習的并行能力,提升數值模擬速度.再借助物理約束與深度學習本身認知能力,在歷史擬合中,有望自我完善偏微分方程,從而極大豐富與增強建模途徑與能力,流動模型建立與數值模擬能力都將發生巨大變化.

5 結語

從反演未知偏微分方程與求解已知偏微分方程兩個角度,本文總結了偏微分方程智能求解方法的發展歷程,從數據驅動、物理約束和物理驅動3 個方面,重點介紹了已知偏微分方程的智能求解方法,簡要介紹了應用場景和未來研究方向.數學界更注重一般偏微分方程方程智能求解方法研究,結合具體領域的應用研究研究正受到重視.若能突破物理驅動求解方法瓶頸,有望顛覆傳統偏微分方程數值求解技術,引發數值模擬技術的巨大變革.

偏微分方程深度學習求解具有深厚的科學內涵,需要將深度學習理論、數值模擬技術、偏微分方程數學本質、偏微分方程物理意義和工程背景等有機融合,深度交叉,方能得到物理意義明確、數學基礎堅實、能解決工程問題的偏微分方程求解新方法,將推動數學、力學、人工智能和油藏工程等學科融合與學科發展.