基于物理信息神經(jīng)網(wǎng)絡(luò)的Burgers-Fisher方程求解方法

徐健，朱海龍，朱江樂，李春忠

(安徽財(cái)經(jīng)大學(xué) 統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院，安徽 蚌埠 233030)

隨著以數(shù)據(jù)為載體的智能時(shí)代的到來，數(shù)據(jù)驅(qū)動(dòng)方法已經(jīng)成功應(yīng)用于多種科學(xué)和工程研究領(lǐng)域[1].這些領(lǐng)域的很多問題都可以被描述為某種微分方程模型，通常求解這些方程有理論解析解和數(shù)值逼近解2 種思路.然而，通過直接的理論推導(dǎo)獲得解析解往往會(huì)因模型的復(fù)雜性而很難進(jìn)行，如果對(duì)模型方程進(jìn)行簡(jiǎn)化又會(huì)導(dǎo)致求解不夠精確.數(shù)值逼近的求解方法，則需要構(gòu)造各種類型的解結(jié)構(gòu)進(jìn)行擬合，方程的求解結(jié)果也往往會(huì)受到這些構(gòu)造方法特性的制約，特別是在逆問題、復(fù)雜幾何和高維空間等問題上面臨著較多挑戰(zhàn)[2].

如果可以從微分方程自身的特征出發(fā)，將表現(xiàn)方程特征的先驗(yàn)物理信息，以數(shù)據(jù)驅(qū)動(dòng)的方式融合進(jìn)求解微分方程的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，促使神經(jīng)網(wǎng)絡(luò)逼近相應(yīng)的方程特征，從而得到能夠描述這些先驗(yàn)物理信息的微分方程解.這種求解微分方程的思路更加簡(jiǎn)單和直接，避免了模型簡(jiǎn)化和復(fù)雜構(gòu)造帶來的理論和誤差問題，也提供了對(duì)方程物理信息的量化與認(rèn)知.

基于物理信息的神經(jīng)網(wǎng)絡(luò)（physics-informed neural networks,PINN）是由Raissi 等[3]在原有人工神經(jīng)網(wǎng)絡(luò)求解微分方程基礎(chǔ)上拓展出的深度學(xué)習(xí)算法框架.PINN 是由數(shù)據(jù)驅(qū)動(dòng)的用于解決有監(jiān)督學(xué)習(xí)任務(wù)的神經(jīng)網(wǎng)絡(luò)，能夠在遵循訓(xùn)練數(shù)據(jù)樣本分布規(guī)律的同時(shí)，得到符合微分方程所描述物理特征的方程解，從而適用于探索各類由微分方程表達(dá)的物理問題[4].PINN 相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，能夠融合微分方程和物理問題的先驗(yàn)知識(shí)，在減少樣本訓(xùn)練和提高模型泛化能力的同時(shí)，為神經(jīng)網(wǎng)絡(luò)提供某種程度的可解釋性，從而在一定程度上打破神經(jīng)網(wǎng)絡(luò)的黑箱效應(yīng).

近年來，由于PINN 具有計(jì)算速度快，精度高，僅從數(shù)據(jù)角度出發(fā)就可以利用神經(jīng)網(wǎng)絡(luò)直接擬合物理問題的優(yōu)點(diǎn)，發(fā)展非常迅速，也為微分方程的數(shù)值求解開辟了一條新的途徑.很多學(xué)者利用PINN 對(duì)一些偏微分方程（partial differential equation，PDE）進(jìn)行了研究，Lu 等[5]描述了PINN求解PDE 的一般性步驟.Lin 等[6]設(shè)計(jì)了兩階段PINN，在第2 階段將守恒量測(cè)量引入均方差損失中，結(jié)合第1 階段的PINN 來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而模擬Sawada-Kotera 和Boussinesq-Burgers 可積方程的局域波解.Lin 等[7]還研究了基于非線性PDE 解的初始和邊界數(shù)據(jù)，利用Miura 變換和PINN 獲得演化方程的數(shù)據(jù)驅(qū)動(dòng)解，從而克服了基于隱式表達(dá)式求解的困難，并在KdV-mKdV 方程的實(shí)驗(yàn)中發(fā)現(xiàn)了新的局部化波解：散焦mKdV 方程的kink-bell 類型解.Miao 等[8]將PINN 應(yīng)用于高維系統(tǒng)，以解決具有2N+1 個(gè)超平面邊界的N+1 維初始邊界問題，并應(yīng)用在2+1 維可積Kadomtsev-Petviashvili（KP）方程和3+1 維約化KP 方程中，再現(xiàn)了這些可積系統(tǒng)的經(jīng)典解.Pu 等[9]從神經(jīng)元局部自適應(yīng)激活函數(shù)和L2 范數(shù)的參數(shù)正則化2 個(gè)角度來改進(jìn)PINN，并在Yajima-Oikawa（YO）系統(tǒng)的正向問題中恢復(fù)了3 種不同初始邊值條件下的矢量流氓波（RW），還利用不同噪聲強(qiáng)度的訓(xùn)練數(shù)據(jù)研究了YO 系統(tǒng)的反向問題.

目前，PINN 的研究多關(guān)注將數(shù)學(xué)特性和數(shù)學(xué)方法加持到求解PDE 的過程中，對(duì)PINN 中物理信息如何影響神經(jīng)網(wǎng)絡(luò)訓(xùn)練的分析較少，對(duì)求解PDE 時(shí)PINN 的微觀表現(xiàn)，以及影響PINN 工程化應(yīng)用的神經(jīng)網(wǎng)絡(luò)規(guī)模在迭代次數(shù)和時(shí)間上對(duì)求解效果影響的討論也較少.本研究通過將方程的物理信息分為規(guī)律信息和數(shù)值信息2 類，來分析從“physics-informed,PI”到“neural networks,NN”的數(shù)據(jù)驅(qū)動(dòng)過程，給出PINN 求解PDE 的可解釋性，并探索這2 種信息對(duì)PINN 求解PDE 的影響.同時(shí)，利用PINN 求解Burgers-Fisher 方程，在數(shù)值實(shí)驗(yàn)中分析PINN 求解方程的微觀和宏觀誤差與求解穩(wěn)定性，以及2 類信息對(duì)刻畫方程的神經(jīng)網(wǎng)絡(luò)訓(xùn)練的影響，討論神經(jīng)網(wǎng)絡(luò)規(guī)模在迭代次數(shù)和時(shí)間上對(duì)求解方程效果的影響.

1 數(shù)學(xué)方程模型

微分方程可以描述眾多科學(xué)和工程領(lǐng)域的物理問題，一些經(jīng)典的方程已經(jīng)成為相關(guān)問題的基礎(chǔ)解決理論和分析方法.Burgers-Fisher 方程可以描述各類反應(yīng)系統(tǒng)，如對(duì)流傳導(dǎo)和擴(kuò)散傳播中的非線性特征等，因此已經(jīng)在物理、化學(xué)、生物、金融和社會(huì)學(xué)領(lǐng)域有了廣泛的應(yīng)用，具有較高的科學(xué)研究和工程應(yīng)用價(jià)值[10].廣義Burgers-Fisher 方程被描述為如下形式的控制方程[11]：

式中：x為空間變量，x∈[0,1.0] ；t為時(shí)間變量，t≥0；該方程描述了反應(yīng)系統(tǒng)中的耗散轉(zhuǎn)移和平流協(xié)調(diào)；u為關(guān)于x和t的函數(shù)；ut為u關(guān)于t的一階導(dǎo)數(shù)，刻畫了物理量的時(shí)間變化率；ux和uxx分別表示u關(guān)于x的一階和二階導(dǎo)數(shù)，描繪了物理量在不同位置的差異程度和變化情況；參數(shù)α、β 和δ為具體常數(shù).不同的 α、β 和 δ 數(shù)值情況可以表達(dá)不同類型的方程，例如，當(dāng) δ=1、α=0、β=0和 α=β=0時(shí)，式（1）分別為Fisher 方程、Burgers 方程和線性擴(kuò)散方程，因此對(duì)廣義Burgers-Fisher 方程的研究是非常有意義的.很多研究已經(jīng)從理論上給出了方程解析解[12-13]，具體形式如下：

式（1）概括了方程描述的物理量u須遵循的整體形態(tài)，即當(dāng)x∈[0,1.0]，t≥0 時(shí)，變量x和t的二元函數(shù)u體現(xiàn)了式（1）表現(xiàn)的方程規(guī)律，是方程的內(nèi)部條件物理信息.當(dāng)t=0 時(shí)，可以得到方程的初始條件物理信息；當(dāng)x=0，1.0 時(shí)，則體現(xiàn)了方程的邊界條件物理信息.以上各類信息表達(dá)式如下：

2 求解Burgers-Fisher 方程相關(guān)方法

除了從理論上得到廣義Burgers-Fisher 方程的解析解（式（2））外，很多文獻(xiàn)也都給出了各種數(shù)值求解方法，例如傳統(tǒng)求解PDE 的各種譜方法，包括Javidi[14]提出的譜配置法、Zhao 等[15]提出的偽譜法、Golbabai 等[16]提出的譜域分解法等.近年來，也有很多學(xué)者提出各種求解方程的數(shù)值方法，Alotaibi 等[17]利用改進(jìn)的Adomian 分解法（Adomian decomposition method，ADM）和同倫攝動(dòng)法（Homotopy perturbation method，HPM）結(jié)合Yang 變換來研究和分析廣義Burgers-Fisher 方程.潘悅悅等[10]基于交替分段技術(shù)，將古典顯式格式與隱式格式和Crank-Nicolson（C-N）格式恰當(dāng)組合，提出求解Burgers-Fisher 方程的改進(jìn)交替分段Crank-Nicolson（improved alternate segment C-N，IASC-N）并行差分方法，并從理論上分析了IASC-N 并行差分解的存在唯一性、穩(wěn)定性和收斂性.趙國(guó)忠等[18]構(gòu)造了一類局部間斷Petrov-Galerkin 方法求解Burgers-Fisher 方程，并針對(duì)2 個(gè)特殊的案例進(jìn)行包括穩(wěn)定性在內(nèi)的數(shù)值分析.Singa 等[19]將四階B 樣條配置方法應(yīng)用在Burgers-Fisher 方程的數(shù)值求解中，并證明了這種方法的收斂性，以及利用傅里葉級(jí)數(shù)分析了這種數(shù)值求解方法的穩(wěn)定性.

傳統(tǒng)的譜方法和有限差分方法都須對(duì)方程進(jìn)行離散化和區(qū)域剖分，其他的數(shù)值求解方法也都要利用數(shù)學(xué)理論和設(shè)計(jì)特殊的結(jié)構(gòu)來擬合微分方程，求解過程相對(duì)較復(fù)雜.PINN 目前雖然在計(jì)算精度方面還不如一些傳統(tǒng)的算法，但是可以直接從方程的特征入手，將物理信息通過采樣的方式數(shù)據(jù)化，來驅(qū)動(dòng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而有效地避免方程中的各類數(shù)學(xué)構(gòu)造帶來的復(fù)雜性，對(duì)解決高維問題和反問題有較大的優(yōu)勢(shì)，而且求解效率相對(duì)于傳統(tǒng)算法也具有一定的優(yōu)勢(shì).因此，本研究以Burgers-Fisher 方程為例，采用PINN 建立數(shù)值化求解方程的神經(jīng)網(wǎng)絡(luò)，通過采樣方程的物理信息數(shù)據(jù)來訓(xùn)練該神經(jīng)網(wǎng)絡(luò)逼近方程的解，并進(jìn)一步探索不同的方程物理信息對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的影響，以及神經(jīng)網(wǎng)絡(luò)規(guī)模對(duì)方程求解的影響.

3 基于物理信息的神經(jīng)網(wǎng)絡(luò)求解方法

3.1 PINN 求解過程及解釋性

科學(xué)和工程領(lǐng)域的物理問題，可以抽象成以各類條件的先驗(yàn)物理信息為特征表現(xiàn)形式的微分方程，通過采樣可以獲得相應(yīng)數(shù)據(jù)信息.PINN 基于這些數(shù)據(jù)信息，以數(shù)據(jù)驅(qū)動(dòng)的方式訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以此將這些物理信息融合進(jìn)神經(jīng)網(wǎng)絡(luò)中，得到微分方程的數(shù)值解[20].因此，PINN 將微分方程的求解問題轉(zhuǎn)換為訓(xùn)練神經(jīng)網(wǎng)絡(luò)逼近方程物理信息的優(yōu)化問題，并在一定程度上解釋了神經(jīng)網(wǎng)絡(luò)的物理意義[21]，整體思路如圖1 所示.

圖1 PINN 求解物理問題的示意圖Fig.1 Schematic of PINN dealing with physical problems

本研究認(rèn)為PINN 包含了物理信息“PI”和神經(jīng)網(wǎng)絡(luò)“NN”，體現(xiàn)了可認(rèn)知和可測(cè)量2 個(gè)方面.可認(rèn)知表現(xiàn)為方程的物理信息提供了神經(jīng)網(wǎng)絡(luò)需要逼近的目標(biāo)，從而為神經(jīng)網(wǎng)絡(luò)提供了可解釋性；可測(cè)量則是指對(duì)物理信息的數(shù)值化測(cè)度，即通過模擬、計(jì)算和實(shí)驗(yàn)等方式獲得體現(xiàn)方程物理信息的數(shù)據(jù)，最終以數(shù)據(jù)驅(qū)動(dòng)方式訓(xùn)練神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從“NN”向“PI”的逼近.具體邏輯關(guān)系如圖2所示.

圖2 PINN 求解PDE 的邏輯解釋Fig.2 Logical explanation of solving PDE with PINN

PDE 的物理信息可以分為規(guī)律信息和數(shù)值信息2 類，具體表現(xiàn)為描述微分方程特征的內(nèi)部條件、初始條件和邊界條件，以及方程的某些特殊條件.規(guī)律信息是方程解的隱式表達(dá)，如由式（1）表示的方程內(nèi)部條件或者其他體現(xiàn)方程規(guī)律的特殊條件，數(shù)值信息是方程解的顯式表達(dá)，如由式（3）～（5）表示的方程初始條件、邊界條件或者實(shí)驗(yàn)觀測(cè)結(jié)果體現(xiàn)的特殊數(shù)值條件.通過在這些規(guī)律信息和數(shù)值信息上的采樣獲得帶有這些信息的數(shù)據(jù)，以擬合方程解的規(guī)律和數(shù)值為目標(biāo)，進(jìn)行數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使得神經(jīng)網(wǎng)絡(luò)逼近PDE 的這些物理信息，從而獲得體現(xiàn)PDE 解的神經(jīng)網(wǎng)絡(luò)，最終利用這個(gè)神經(jīng)網(wǎng)絡(luò)來近似計(jì)算PDE 的所有數(shù)值解.

方程的規(guī)律信息和數(shù)值信息是實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)逼近方程物理信息的依據(jù)，可以通過設(shè)置不同的訓(xùn)練采樣平衡度和訓(xùn)練強(qiáng)度平衡度，來控制這2 種信息對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的影響.數(shù)據(jù)采樣平衡度體現(xiàn)為在這2 類信息上的不同采樣規(guī)模，訓(xùn)練強(qiáng)度平衡度體現(xiàn)為這2 類信息對(duì)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的影響權(quán)重之比.

3.2 PINN求解Burgers-Fisher方程

根據(jù)以上論述，基于Lu 等[5]提出的一般性PINN 求解PDE 的步驟，Burgers-Fisher 方程求解過程可以表現(xiàn)為如圖3 所示.將方程的物理信息分為由式（1）體現(xiàn)的方程內(nèi)部條件規(guī)律信息，以及由式（3）～（5）體現(xiàn)的方程初始條件和邊界條件數(shù)值信息.構(gòu)建一個(gè)在參數(shù)空間 Θ 下的神經(jīng)網(wǎng)絡(luò)來描述方程的解，通過將這個(gè)解的結(jié)果與2 種信息結(jié)合來計(jì)算神經(jīng)網(wǎng)絡(luò)擬合物理信息的損失.即在訓(xùn)練采樣平衡度下獲得不同條件的訓(xùn)練數(shù)據(jù)，依據(jù)訓(xùn)練強(qiáng)度平衡度構(gòu)建基于不同條件的綜合信息損失，通過多次訓(xùn)練迭代實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)逼近方程的物理信息，從而得到在神經(jīng)網(wǎng)絡(luò)參數(shù)空間 Θ 下使得綜合信息損失最小的Burgers-Fisher 方程解u(x,t|θ)，θ∈Θ，即最貼近方程物理信息的神經(jīng)網(wǎng)絡(luò).因此，這種將方程的規(guī)律信息和數(shù)值信息融合到神經(jīng)網(wǎng)絡(luò)中的方式，部分提供了神經(jīng)網(wǎng)絡(luò)的可解釋性，也就是神經(jīng)網(wǎng)絡(luò)的綜合信息損失體現(xiàn)為方程2 種信息的滿足程度，也就是神經(jīng)網(wǎng)絡(luò)能夠逼近方程物理信息的程度.

圖3 PINN 求解Burgers-Fisher 方程過程示意圖Fig.3 Schematic of PINN solving Burgers-Fisher equation

整個(gè)過程具體表現(xiàn)如下.創(chuàng)建2 階段的神經(jīng)網(wǎng)絡(luò)，在第1 階段設(shè)計(jì)由方程的2 個(gè)變量x和t作為輸入，以方程解u(x,t|θ) 作為輸出，在參數(shù)空間Θ下的神經(jīng)網(wǎng)絡(luò).第2 階段利用方程解u(x,t|θ) 結(jié)合方程的2 類物理信息：規(guī)律信息（內(nèi)部條件）和數(shù)值信息（初始條件、邊界條件），構(gòu)建基于不同條件的神經(jīng)網(wǎng)絡(luò)綜合信息損失函數(shù)L(θ|ω,τ)：

式中：LI、LIni、LB0和LB1分別為方程的內(nèi)部條件信息損失、t=0 時(shí)的初始條件信息損失、x=0 時(shí)的邊界條件信息損失和x=1.0 時(shí)的邊界條件信息損失；ωI、ωIni、ωB0和 ωB1為這些條件信息損失對(duì)神經(jīng)網(wǎng)絡(luò)綜合信息損失的影響權(quán)重，體現(xiàn)了不同條件的訓(xùn)練強(qiáng)度平衡度；一階微分ut和ux，二階微分uxx，以及零階微分u自身，都可以在神經(jīng)網(wǎng)絡(luò)反向傳播時(shí)，通過相應(yīng)訓(xùn)練數(shù)據(jù) τ（包括內(nèi)部條件訓(xùn)練數(shù)據(jù) τI、初始條件訓(xùn)練數(shù)據(jù) τIni、2 種邊界條件訓(xùn)練數(shù)據(jù) τB0和 τB1）的梯度計(jì)算獲得.

在物理信息上采樣獲得的訓(xùn)練數(shù)據(jù) τ，可以將方程的規(guī)律信息和數(shù)值信息數(shù)據(jù)化，體現(xiàn)了不同條件的訓(xùn)練采樣平衡度.以此訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到使得綜合信息損失函數(shù)L(θ|ω) 達(dá)到最小的最優(yōu)參數(shù) θ*=argmin {L(θ|ω)}，從而獲得用神經(jīng)網(wǎng)絡(luò)體現(xiàn)的逼近方程物理信息的微分方程解u(x,t|θ*).

綜上所述，PINN 求解Burgers-Fisher 方程的具體步驟如下.

1）設(shè)置各類參數(shù)創(chuàng)建一個(gè)在參數(shù)空間 Θ 下描述方程解u(x,t|θ∈Θ) 的神經(jīng)網(wǎng)絡(luò)；

2）綜合方程的內(nèi)部條件規(guī)律信息，初始條件和邊界條件數(shù)值信息，依據(jù)訓(xùn)練強(qiáng)度平衡度，設(shè)置不同條件信息損失的影響權(quán)重，構(gòu)建神經(jīng)網(wǎng)絡(luò)的綜合信息損失函數(shù)L(θ|ω,τ) ；

3）依據(jù)訓(xùn)練采樣平衡度，在方程內(nèi)部條件、初始條件和邊界條件上進(jìn)行數(shù)據(jù)采樣，獲得相應(yīng)訓(xùn)練數(shù)據(jù) τI、τIni、τB0和 τB1；

4）利用步驟3）的采樣數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，獲得實(shí)現(xiàn)步驟2）中綜合信息損失函數(shù)最小化的參數(shù) θ*，從而得到微分方程解u(x,t|θ*).

4 數(shù)值實(shí)驗(yàn)

在Windows 11 系統(tǒng)下，基于PyTorch 深度學(xué)習(xí)框架編寫實(shí)驗(yàn)代碼腳本，在處理器為Core i7-10700K，16 G 內(nèi)存的硬件條件下的Visual Studio Code 1.77.1 上運(yùn)行以下實(shí)驗(yàn).

4.1 不同方程參數(shù)的求解測(cè)試

為了驗(yàn)證PINN 求解Burgers-Fisher 方程的具體效果，依照已有文獻(xiàn)設(shè)置方程的參數(shù)為情況1（α=β=0.1 和 δ=1.0）和情況 2（α=β=0.5 和δ=2.0）[11].構(gòu)造4 個(gè)隱藏中間層、每層50 個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，采用tanh 作為激活函數(shù)[3]，設(shè)置各種條件的信息損失權(quán)重為1.0，即讓規(guī)律信息和數(shù)值信息在訓(xùn)練強(qiáng)度上達(dá)到平衡.

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段，在方程內(nèi)部條件（x∈(0,1.0)，t∈(0,10.0)）上隨機(jī)采樣3 000 個(gè)訓(xùn)練數(shù)據(jù)坐標(biāo)，分別在初始條件（t=0）和2 個(gè)邊界條件（x=0 和x=1.0）上隨機(jī)采樣1 000 個(gè)訓(xùn)練數(shù)據(jù)坐標(biāo)，讓規(guī)律信息與數(shù)值信息在訓(xùn)練采樣上也達(dá)到平衡.設(shè)置神經(jīng)網(wǎng)絡(luò)的訓(xùn)練迭代次數(shù)為1 000，對(duì)2 種參數(shù)情況下的Burgers-Fisher 方程進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練.

在神經(jīng)網(wǎng)絡(luò)測(cè)試階段，進(jìn)行網(wǎng)格化采樣（分別在x∈[0,1.0] 和t∈[0,10.0] 上等間距Δx=0.1 和Δt=1.0）獲得測(cè)試數(shù)據(jù)坐標(biāo).利用訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)計(jì)算在這些坐標(biāo)上的方程解的預(yù)測(cè)值，與式（2）得到的方程解的精確值進(jìn)行對(duì)比.首先，選取網(wǎng)格對(duì)角線上的測(cè)試數(shù)據(jù)坐標(biāo)進(jìn)行對(duì)比，如表1所示.表中，RPre、RExa和EAbs分別表示方程解的預(yù)測(cè)值、精確值和兩者的絕對(duì)誤差.可以看出，在2 種參數(shù)情況下，這些特殊測(cè)試數(shù)據(jù)上的預(yù)測(cè)值和精確值的絕對(duì)誤差較小，說明預(yù)測(cè)值和精確值較接近.其次，總體上所有測(cè)試數(shù)據(jù)在參數(shù)情況1 和參數(shù)情況2 下的預(yù)測(cè)絕對(duì)誤差均值分別為1.668 3×10-3和4.983 4×10-4，標(biāo)準(zhǔn)差分別為1.628 6×10-3和5.224 1×10-4，說明PINN 在網(wǎng)格化采樣坐標(biāo)上可以較好地求解方程，解的穩(wěn)定性也較高.

表1 網(wǎng)格采樣中對(duì)角線數(shù)據(jù)坐標(biāo)的預(yù)測(cè)結(jié)果Tab.1 Prediction results of diagonal data coordinates in grid sampling

為了繪制方程的圖像，采用已有文獻(xiàn)的2 種方程參數(shù)設(shè)置[11]，在x∈[0,1.0] 和t∈[0,20.0] 內(nèi)等均距獲取測(cè)試數(shù)據(jù)坐標(biāo)，利用上面訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)計(jì)算方程解如圖4 所示，與文獻(xiàn)得到的圖形一致.因此，PINN 在這2 種方程參數(shù)情況下，訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)都可以較好地逼近方程的精確解.

圖4 2 種參數(shù)情況下的方程解的三維曲面圖Fig.4 Three-dimensional surface of equation solution on two cases

4.2 不同迭代次數(shù)的求解測(cè)試

為了考察神經(jīng)網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)對(duì)PINN 求解方程的影響.設(shè)置方程參數(shù)為 α=β=0.1，δ=2.0，在x∈[0,1.0] 和t∈[0,20.0] 的方程內(nèi)部條件、初始條件和邊界條件上分別進(jìn)行規(guī)模分別為3 000、1 000、1 000、1 000 的隨機(jī)訓(xùn)練數(shù)據(jù)采樣，以及相同規(guī)模的隨機(jī)測(cè)試數(shù)據(jù)采樣，設(shè)置與4.1 節(jié)相同的神經(jīng)網(wǎng)絡(luò)參數(shù).隨著神經(jīng)網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)e的變化，測(cè)試數(shù)據(jù)坐標(biāo)上解的預(yù)測(cè)值與精確值的絕對(duì)誤差的最大值EMax、最小值EMin、均值EMea和標(biāo)準(zhǔn)差ESta變化趨勢(shì)如圖5 所示.可以看出，隨著神經(jīng)網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)的增加，PINN 求解方程的效果會(huì)越來越好，這種效果的提升在訓(xùn)練初期較快，但隨著訓(xùn)練次數(shù)逐漸增加提升會(huì)越來越小.具體表現(xiàn)為，在宏觀上所有測(cè)試數(shù)據(jù)的預(yù)測(cè)絕對(duì)誤差的均值隨著訓(xùn)練次數(shù)增加是在降低的，而由絕對(duì)誤差的標(biāo)準(zhǔn)差體現(xiàn)的預(yù)測(cè)穩(wěn)定性也是提高的，但幅度都在減少.在微觀上所有測(cè)試數(shù)據(jù)的絕對(duì)誤差最大值和最小值總體上也呈現(xiàn)隨迭代次數(shù)增加而減少的趨勢(shì)，但預(yù)測(cè)誤差最小值在個(gè)別地方出現(xiàn)了微小上升，這是由于測(cè)試樣本在較小數(shù)值時(shí)出現(xiàn)的波動(dòng)，并不影響總體上PINN 的預(yù)測(cè)精度和穩(wěn)定性隨迭代次數(shù)增加而提高的結(jié)論.

圖5 絕對(duì)誤差隨神經(jīng)網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)的變化Fig.5 Change of absolute error with number of epochs of neural network training

4.3 不同神經(jīng)網(wǎng)絡(luò)規(guī)模的求解測(cè)試

為了考察神經(jīng)網(wǎng)絡(luò)規(guī)模對(duì)PINN 求解方程的影響，采用與4.2 節(jié)相同的方程參數(shù)，以及訓(xùn)練和測(cè)試數(shù)據(jù)生成策略.網(wǎng)絡(luò)規(guī)模SNet由不同的隱藏層數(shù)和每層上的神經(jīng)元個(gè)數(shù)刻畫，例如SNet為“L2N40”表示2 個(gè)隱藏層，每層40 個(gè)神經(jīng)元.分別設(shè)置神經(jīng)網(wǎng)絡(luò)中間隱藏層數(shù)為2、4、6 和神經(jīng)元個(gè)數(shù)為10、20、40 共9 種網(wǎng)絡(luò)規(guī)模[3]，設(shè)定神經(jīng)網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)為1 000，統(tǒng)計(jì)測(cè)試數(shù)據(jù)的預(yù)測(cè)值與精確解的絕對(duì)誤差情況，以及訓(xùn)練時(shí)間TTim如表2 所示.可以看出，在同等層數(shù)條件下，隨著神經(jīng)元個(gè)數(shù)的增加，或者同等神經(jīng)元個(gè)數(shù)條件下，隨著網(wǎng)絡(luò)層數(shù)的增加，宏觀上的預(yù)測(cè)值與精確值的絕對(duì)誤差均值和標(biāo)準(zhǔn)差都在下降.微觀上所有測(cè)試數(shù)據(jù)的絕對(duì)誤差最大值和最小值，總體上也是隨著神經(jīng)網(wǎng)絡(luò)規(guī)模的增加而下降的.說明增加神經(jīng)網(wǎng)絡(luò)的復(fù)雜度可以提高方程解的預(yù)測(cè)精度和穩(wěn)定性，即更高維的神經(jīng)網(wǎng)絡(luò)可以更好地?cái)M合方程.

表2 固定迭代次數(shù)下預(yù)測(cè)值絕對(duì)誤差隨神經(jīng)網(wǎng)絡(luò)規(guī)模變化的描述性統(tǒng)計(jì)Tab.2 Descriptive statistic of absolute error of predicted values with scale of neural networks under a fixed epoch

從神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間來看，網(wǎng)絡(luò)復(fù)雜度的增加雖然可以提升方程的求解精度和穩(wěn)定性，但是也增加了訓(xùn)練時(shí)間.在一些工程應(yīng)用領(lǐng)域，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間是重要的考慮指標(biāo).因此，本研究固定神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間為10 s，來對(duì)比不同網(wǎng)絡(luò)規(guī)模下的求解效果和網(wǎng)絡(luò)訓(xùn)練次數(shù)TNum，如表3 所示.可以看出，當(dāng)固定神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間時(shí)，在同等網(wǎng)絡(luò)層數(shù)和神經(jīng)元個(gè)數(shù)條件下，隨著神經(jīng)網(wǎng)絡(luò)維度的增加，宏觀上的預(yù)測(cè)值與精確值的絕對(duì)誤差均值和標(biāo)準(zhǔn)差不是一直降低的，說明預(yù)測(cè)的精度和穩(wěn)定性并非一直增加.在微觀上絕對(duì)誤差最大值和最小值也顯示出相同的結(jié)果.這是因?yàn)樵礁呔S度的神經(jīng)網(wǎng)絡(luò)復(fù)雜性越高，訓(xùn)練速度就越慢，在同等時(shí)間下訓(xùn)練次數(shù)就越少（見表3的訓(xùn)練次數(shù)），根據(jù)4.2 節(jié)的結(jié)論，迭代次數(shù)越少，預(yù)測(cè)的精度和穩(wěn)定性越低.

表3 固定訓(xùn)練時(shí)間下預(yù)測(cè)值絕對(duì)誤差隨神經(jīng)網(wǎng)絡(luò)規(guī)模變化的描述性統(tǒng)計(jì)Tab.3 Descriptive statistic of absolute error of predicted values with scale of neural networks under a fixed training time

總結(jié)來說，神經(jīng)網(wǎng)絡(luò)規(guī)模的增加可以提高求解效果，但在須考慮訓(xùn)練時(shí)間的工程應(yīng)用中，神經(jīng)網(wǎng)絡(luò)規(guī)模的提升又會(huì)減少訓(xùn)練次數(shù)，從而降低求解效果.因此，在確定的訓(xùn)練時(shí)間下，如何選擇合適的神經(jīng)網(wǎng)絡(luò)規(guī)模來提高方程求解效果，就存在需要優(yōu)化博弈的選擇，這是一個(gè)值得探索的方向.

4.4 不同規(guī)律信息與數(shù)值信息平衡度的求解測(cè)試

為了考察不同的規(guī)律信息與數(shù)值信息平衡度對(duì)PINN 求解方程的影響，設(shè)置具有4 個(gè)隱藏層、每層20 個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，并采用與4.2 節(jié)相同的方程參數(shù)，固定每次神經(jīng)網(wǎng)絡(luò)的訓(xùn)練迭代的次數(shù)為1 000 次.

根據(jù)3.1 節(jié)的論述，方程的物理信息分為規(guī)律信息和數(shù)值信息，而這2 種信息對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的控制，又是通過訓(xùn)練采樣平衡度和訓(xùn)練強(qiáng)度平衡度來體現(xiàn)的.

對(duì)于訓(xùn)練采樣平衡度BSam，在體現(xiàn)方程規(guī)律信息的內(nèi)部條件上分別隨機(jī)生成3 000、6 000、9 000 個(gè)訓(xùn)練采樣數(shù)據(jù)，結(jié)合在體現(xiàn)方程數(shù)值信息的1 個(gè)初始條件和2 個(gè)邊界條件上分別隨機(jī)生成的1 000、2000 和3 000 個(gè)訓(xùn)練采樣數(shù)據(jù)，共得到9 種不同規(guī)模的訓(xùn)練數(shù)據(jù)采樣.例如，BSam為“6-2”表示在內(nèi)部條件上進(jìn)行6 000 個(gè)隨機(jī)采樣，在邊界條件和初始條件上都進(jìn)行2 000 個(gè)隨機(jī)采樣.

為了全面分析2 種信息對(duì)求解方程的影響，對(duì)體現(xiàn)規(guī)律信息的方程內(nèi)部（x∈(0,1.0) 和t∈(0,20.0)上隨機(jī)生成3 000 個(gè)測(cè)試數(shù)據(jù)）、體現(xiàn)數(shù)值信息的方程邊緣（在邊界條件和初始條件上都隨機(jī)生成1 000 個(gè)測(cè)試數(shù)據(jù)）、體現(xiàn)2 類信息的方程整體（前面方程內(nèi)部和方程邊緣獲取的所有測(cè)試數(shù)據(jù)）都進(jìn)行測(cè)試，統(tǒng)計(jì)測(cè)試數(shù)據(jù)的預(yù)測(cè)值與精確值的絕對(duì)誤差的相關(guān)情況，如表4 所示.可以看出，只采用方程的規(guī)律信息，即只利用方程的內(nèi)部采樣數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而預(yù)測(cè)處于方程內(nèi)部和方程邊緣的解是完全不可行的.同時(shí)采用方程的規(guī)律信息和數(shù)值信息進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，不論在方程內(nèi)部、方程邊緣還是方程整體，得到的預(yù)測(cè)結(jié)果在同等采樣數(shù)據(jù)規(guī)模下都是最好的.這是因?yàn)锽urgers-Fisher 方程內(nèi)部函數(shù)值波動(dòng)較小，而神經(jīng)網(wǎng)絡(luò)如果不借助x=0 和x=1.0 的2 個(gè)邊界條件的數(shù)值信息，會(huì)陷入方程的零解情況.說明邊緣的數(shù)值信息對(duì)于PINN 求解Burgers-Fisher方程是非常重要的，結(jié)合規(guī)律信息和數(shù)值信息來指導(dǎo)神經(jīng)網(wǎng)絡(luò)訓(xùn)練，可以更好地得到逼近方程物理信息的神經(jīng)網(wǎng)絡(luò).另外，也可以發(fā)現(xiàn)如果只采用方程的數(shù)值信息，即只利用方程的邊界條件、初始條件的采樣數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到的結(jié)果也可以實(shí)現(xiàn)對(duì)方程解的預(yù)測(cè).而且如果只求解方程的邊緣位置，這種只進(jìn)行邊緣采樣得到數(shù)值信息來訓(xùn)練的神經(jīng)網(wǎng)絡(luò)反而有時(shí)能得到更好的結(jié)果.另外，值得說明的是，隨著采樣規(guī)模的增加，不論是只采用規(guī)律信息還是數(shù)值信息，或者兩者的結(jié)合都能夠提高神經(jīng)網(wǎng)絡(luò)求解方程的效果，這是因?yàn)楦嗟臄?shù)據(jù)采樣提供了神經(jīng)網(wǎng)絡(luò)更多的方程信息.

對(duì)于訓(xùn)練強(qiáng)度平衡度BInt，在方程的內(nèi)部條件、2 個(gè)邊界條件、1 個(gè)初始條件上分別隨機(jī)采樣6 000、2 000、2 000 和2 000 個(gè)數(shù)據(jù)樣本.即在訓(xùn)練采樣達(dá)到平衡的前提下，設(shè)置7 種規(guī)律信息和數(shù)值信息的訓(xùn)練強(qiáng)度平衡度，例如，BInt為“10∶1”表示在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，體現(xiàn)方程規(guī)律信息的內(nèi)部條件訓(xùn)練權(quán)重 ωI=10，而 ωIni、ωB0和 ωB1體現(xiàn)方程數(shù)值信息的邊界和初始條件訓(xùn)練權(quán)重都為1.同樣采用前面的參數(shù)設(shè)置和測(cè)試數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，統(tǒng)計(jì)在這7 種訓(xùn)練強(qiáng)度平衡度下，訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)在方程內(nèi)部、方程邊緣和方程整體上的預(yù)測(cè)值與精確值的絕對(duì)誤差情況，如表5 所示.可以看出，與1∶1 的規(guī)律信息和數(shù)值信息平衡狀態(tài)相比，增加規(guī)律信息的訓(xùn)練強(qiáng)度，所得到的神經(jīng)網(wǎng)絡(luò)一開始在方程內(nèi)部、邊緣和整體上都提高了求解精度和穩(wěn)定性，但隨著強(qiáng)度的繼續(xù)增加，規(guī)律信息越來越多占據(jù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的主要部分，訓(xùn)練效果反而越來越差，這與表4 中只對(duì)規(guī)律信息采樣來訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到的結(jié)論是一致的.另外，增加數(shù)值信息強(qiáng)度的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，也呈現(xiàn)出類似的實(shí)驗(yàn)效果，即方程的求解精度和穩(wěn)定性隨著單方面信息強(qiáng)度的增加呈現(xiàn)先提高后降低的情況，這也從訓(xùn)練強(qiáng)度的角度驗(yàn)證了表4體現(xiàn)的相關(guān)結(jié)論.說明規(guī)律信息和數(shù)值信息的訓(xùn)練強(qiáng)度需要達(dá)到平衡才能得到最好的求解效果，在表5 中這種平衡表現(xiàn)為1∶50 的平衡度.

由于Burgers-Fisher 方程的內(nèi)部較為平整，沒有復(fù)雜的規(guī)律變化，因此方程初始條件和邊界條件的數(shù)值信息會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練起到更大的促進(jìn)作用，但如果是求解方程內(nèi)部有更多變化的微分方程時(shí)，規(guī)律信息則會(huì)起到更大的作用.

綜上，在采用PINN 求解微分方程時(shí)，要使用適當(dāng)?shù)奈⒎址匠桃?guī)律信息和數(shù)值信息平衡度來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，這種平衡度可以從訓(xùn)練采樣和訓(xùn)練強(qiáng)度2 種角度來實(shí)現(xiàn)，并根據(jù)所要求解的方程類型，進(jìn)行具體設(shè)置.

5 結(jié)論

（1）從偏微分方程的物理信息數(shù)據(jù)驅(qū)動(dòng)和神經(jīng)網(wǎng)絡(luò)可解釋性的角度，闡釋了PINN 從“PI”到“NN”的求解過程.

（2）將PDE 的物理信息分為微分方程的隱式規(guī)律信息和顯示數(shù)值信息2 類，并從訓(xùn)練采樣平衡度和訓(xùn)練強(qiáng)度平衡度2 個(gè)方面，設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練采樣方式，以及構(gòu)建神經(jīng)網(wǎng)絡(luò)的綜合信息損失函數(shù)，從而控制2 類信息對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的影響.

（3）提供了Burgers-Fisher 方程利用PINN 進(jìn)行數(shù)值求解方法，通過數(shù)值實(shí)驗(yàn)發(fā)現(xiàn)，PINN 不論在微觀上的方程解的最大誤差和最小誤差，還是宏觀上的方程解的誤差均值和標(biāo)準(zhǔn)差上都體現(xiàn)了較好的求解精度和穩(wěn)定性；隨著迭代次數(shù)的增加，PINN 求解方程的效果會(huì)越來越好；雖然神經(jīng)網(wǎng)絡(luò)規(guī)模的增加可以提高方程解的求解效果，但是也增加了每次訓(xùn)練的時(shí)間，因此固定訓(xùn)練時(shí)間下的神經(jīng)網(wǎng)絡(luò)規(guī)模存在最優(yōu)博弈選擇.只用規(guī)律信息訓(xùn)練神經(jīng)網(wǎng)絡(luò)無法實(shí)現(xiàn)對(duì)Burgers-Fisher 方程的求解，而加入數(shù)值信息訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以較好地求解方程.規(guī)律信息和數(shù)值信息可以通過訓(xùn)練采樣和設(shè)置訓(xùn)練強(qiáng)度進(jìn)行平衡.當(dāng)這2 種信息達(dá)到一定的平衡度時(shí)，訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)求解方程的效果最好.

有待進(jìn)一步研究的問題如下：

（1）依據(jù)微分方程的不同類型物理信息以及求解位置來設(shè)置規(guī)律信息和數(shù)值信息的平衡度，以達(dá)到更好的神經(jīng)網(wǎng)絡(luò)訓(xùn)練.

（2）在一些工程應(yīng)用領(lǐng)域，在確定的神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間下，如何設(shè)置PINN 的神經(jīng)網(wǎng)絡(luò)規(guī)模，以權(quán)衡由網(wǎng)絡(luò)復(fù)雜度提升帶來的求解精度提高和由訓(xùn)練次數(shù)減少帶來的求解精度降低.

（3）由于微分方程的復(fù)雜性，很多方程存在多解或者零解，如何利用PINN 求解多解問題和避免零解帶來的干擾.

（4）由于現(xiàn)實(shí)中很多物理問題可以通過實(shí)驗(yàn)之類的方法獲得測(cè)量數(shù)據(jù)，如何將這些特殊條件下的數(shù)值信息融入神經(jīng)網(wǎng)絡(luò)的訓(xùn)練.

（5）由于現(xiàn)實(shí)中的工程問題往往規(guī)模較大，而PINN 方法的主要限制之一是其高維優(yōu)化的高計(jì)算成本，雖然該問題可以通過采用域分解方法[22]進(jìn)行處理，但是如何提高PINN 對(duì)大型問題的求解效率也是值得研究的.