基于神經(jīng)網(wǎng)絡(luò)的粒子輸運(yùn)問(wèn)題高效計(jì)算方法*

馬銳垚 王鑫2) 李樹 勇珩 上官丹驊?

1) (北京應(yīng)用物理與計(jì)算數(shù)學(xué)研究所,北京 100094)

2) (中物院高性能數(shù)值模擬軟件中心,北京 100088)

蒙特卡羅方法是求解粒子輸運(yùn)問(wèn)題的有力工具之一,其局限性在于為達(dá)到精度要求需模擬大量粒子,計(jì)算耗時(shí)長(zhǎng),這阻礙了該方法的進(jìn)一步應(yīng)用,尤其在需快速響應(yīng)的情形.本文結(jié)合神經(jīng)網(wǎng)絡(luò)和若干蒙特卡羅方法基本原理發(fā)展了一種計(jì)算方法,能夠?qū)崿F(xiàn)源分布可變,幾何、材料和目標(biāo)計(jì)數(shù)不變的中子輸運(yùn)問(wèn)題的快速準(zhǔn)確求解.首先,為高效生成用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù),利用重要性原理實(shí)現(xiàn)在同樣模擬次數(shù)基礎(chǔ)上有效擴(kuò)充訓(xùn)練數(shù)據(jù)集容量,在一定程度上克服了使用蒙特卡羅計(jì)算獲取訓(xùn)練數(shù)據(jù)耗時(shí)長(zhǎng)的缺點(diǎn).進(jìn)而,基于目標(biāo)計(jì)數(shù)是源分布與重要性函數(shù)乘積積分的事實(shí),設(shè)計(jì)了利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)快速輸運(yùn)計(jì)算的策略.該網(wǎng)絡(luò)的輸入是中子源項(xiàng),輸出是目標(biāo)計(jì)數(shù),在幾何、材料和目標(biāo)計(jì)數(shù)固定的情況下,該神經(jīng)網(wǎng)絡(luò)可重復(fù)使用,根據(jù)新的源項(xiàng)快速準(zhǔn)確得到目標(biāo)計(jì)數(shù).本文所提出方法的原理和框架同樣適用于其他種類粒子的同類型輸運(yùn)問(wèn)題.基于若干基準(zhǔn)模型的驗(yàn)證表明,訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)能在不到1 s 的時(shí)間內(nèi)得到目標(biāo)計(jì)數(shù),且與蒙特卡羅大樣本模擬得到基準(zhǔn)結(jié)果的平均相對(duì)偏差均低于5%.

1 引言

蒙特卡羅(Monte Carlo,MC)方法和確定論方法是求解粒子輸運(yùn)問(wèn)題的兩類主要方法[1].隨著核技術(shù)的發(fā)展,各類新型核設(shè)施具有更復(fù)雜的幾何結(jié)構(gòu)和反應(yīng)機(jī)制,各向異性更強(qiáng),同時(shí)對(duì)計(jì)算精度的要求也在不斷提高.為解決這類復(fù)雜粒子輸運(yùn)問(wèn)題,在計(jì)算機(jī)硬件性能不斷提高的基礎(chǔ)上,MC 方法由于能夠?qū)ξ锢磉^(guò)程和幾何構(gòu)型進(jìn)行精確建模且并行效率高,因此得到廣泛的發(fā)展和應(yīng)用[2].同時(shí),pin-by-pin 反應(yīng)堆模型輸運(yùn)[3]、復(fù)雜多物理場(chǎng)耦合計(jì)算[4]等大規(guī)模精細(xì)模型快速計(jì)算要求也在不斷推動(dòng)MC 方法相關(guān)研究的開展[5].由于MC方法求解目標(biāo)計(jì)數(shù)的相對(duì)誤差與樣本數(shù)平方根成反比,而計(jì)算時(shí)間與樣本數(shù)成正比,為使誤差達(dá)到要求,其模擬過(guò)程非常耗時(shí)[3,6-8].國(guó)內(nèi)外研究團(tuán)隊(duì)已發(fā)展多種減方差方法[9-19],目標(biāo)是以較少的樣本數(shù)達(dá)到更低的統(tǒng)計(jì)誤差.權(quán)窗算法是其中重要的一類,一般認(rèn)為比幾何重要性等算法效率更高,其算法參數(shù)可由重要性原理產(chǎn)生.重要性原理最早由Booth 和Hendricks[14]提出,網(wǎng)格的重要性定義為進(jìn)入該網(wǎng)格的單位權(quán)重的粒子及其后代對(duì)計(jì)數(shù)器的總貢獻(xiàn).雖然存在大量研究,但MC 輸運(yùn)的絕對(duì)計(jì)算時(shí)間仍然相當(dāng)可觀,且各種減方差方法的適應(yīng)條件不同,在應(yīng)用上有一定的局限性.

深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)是一種高度并行的信息處理系統(tǒng),具有很強(qiáng)的自適應(yīng)學(xué)習(xí)能力,能處理復(fù)雜的多輸入、多輸出非線性系統(tǒng)[20-23],訓(xùn)練完成的網(wǎng)絡(luò)可根據(jù)輸入快速輸出目標(biāo)值[24-27],在諸多領(lǐng)域有廣泛應(yīng)用[28-32].近年來(lái),在核相關(guān)領(lǐng)域利用數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行中子輸運(yùn)計(jì)算的趨勢(shì)日益明顯.Berry 等[33]研究利用人工神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林分類器評(píng)估給定能群結(jié)構(gòu)的適用性,以準(zhǔn)確預(yù)測(cè)輕水堆中的中子倍增因子.Cao 等[34]提出基于神經(jīng)網(wǎng)絡(luò)的重構(gòu)中子場(chǎng)方法,用于重建反應(yīng)堆壓力容器和堆芯區(qū)域內(nèi)的中子場(chǎng).Zhang 等[35]提出一種基于神經(jīng)網(wǎng)絡(luò)的源項(xiàng)重建方法,實(shí)現(xiàn)復(fù)雜的三維源項(xiàng)快速重建.張海明等[36]建立了基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型,可用于直接預(yù)測(cè)反應(yīng)堆堆芯有效增殖因子.針對(duì)多組分中子屏蔽材料優(yōu)化設(shè)計(jì)中MC 模擬計(jì)算時(shí)間長(zhǎng)的制約問(wèn)題,林海鵬等[37]討論了利用神經(jīng)網(wǎng)絡(luò)算法快速預(yù)測(cè)不同材料中子屏蔽效果的方法.Osborne 等[38]通過(guò)上采樣方法實(shí)現(xiàn)從少量粒子數(shù)MC 模擬結(jié)果到精確結(jié)果的映射.Kim 等[39]構(gòu)建了一個(gè)以堆芯結(jié)構(gòu)為輸入的神經(jīng)網(wǎng)絡(luò),可快速優(yōu)化堆芯結(jié)構(gòu)設(shè)計(jì).與其他類型粒子輸運(yùn)結(jié)合的研究,主要是在醫(yī)學(xué)圖像處理以及人體劑量學(xué)領(lǐng)域[40-42].

在上述數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)應(yīng)用中,網(wǎng)絡(luò)通過(guò)分析所提供數(shù)據(jù)集的模式和輸入輸出之間的映射關(guān)系來(lái)學(xué)習(xí)和進(jìn)行快速預(yù)測(cè),因此訓(xùn)練數(shù)據(jù)集的數(shù)量和質(zhì)量對(duì)網(wǎng)絡(luò)的魯棒性和有效性有很大影響,而訓(xùn)練數(shù)據(jù)的獲取通常采用MC 模擬或其他數(shù)值計(jì)算方法得到,難以避免大量計(jì)算時(shí)間和計(jì)算資源的消耗.對(duì)于數(shù)據(jù)驅(qū)動(dòng)型的神經(jīng)網(wǎng)絡(luò),如何利用神經(jīng)網(wǎng)絡(luò)代替特定問(wèn)題的傳統(tǒng)計(jì)算,以及如何利用傳統(tǒng)方法高效獲取訓(xùn)練數(shù)據(jù)都具有重要的研究意義.

本文的研究對(duì)象是源分布可變,幾何構(gòu)型、材料和目標(biāo)計(jì)數(shù)不變的問(wèn)題,目標(biāo)是在結(jié)果合理的前提下提高計(jì)算速度.這類問(wèn)題在國(guó)防科技和國(guó)民經(jīng)濟(jì)領(lǐng)域存在多種應(yīng)用場(chǎng)景.例如,中子輸運(yùn)是戰(zhàn)略國(guó)防科技研究所必須的多物理耦合計(jì)算中最消耗計(jì)算資源的一環(huán),計(jì)算時(shí)間可以占總體時(shí)間的90%以上,在裝置變化緩慢階段,可認(rèn)為每一步中子輸運(yùn)的源項(xiàng)都有變化而裝置的幾何、材料變化可忽略不計(jì),因此呈現(xiàn)為變?cè)磫?wèn)題;在民用經(jīng)濟(jì)方面,反應(yīng)堆高置信度數(shù)值模擬需要快速計(jì)算壓力容器的中子注量率,而反應(yīng)堆構(gòu)型復(fù)雜、尺度大的特點(diǎn)導(dǎo)致其求解非常耗時(shí),且工況復(fù)雜、燃料布置方案多樣,以堆芯整體為源項(xiàng)進(jìn)行模擬計(jì)算時(shí)是典型的變?cè)磫?wèn)題,面臨著快速求解難題;另外,變?cè)磫?wèn)題的快速實(shí)時(shí)求解也是為“臟彈”恐怖襲擊的科學(xué)預(yù)防提供備選方案的重要技術(shù)手段.

本文的主要貢獻(xiàn)和創(chuàng)新之處在于: 1)以高效產(chǎn)生訓(xùn)練數(shù)據(jù)為目標(biāo),從重要性的定義出發(fā),首次將其應(yīng)用在等效MC 計(jì)算的訓(xùn)練樣本生成中,發(fā)展出神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)高效生成方法,達(dá)到在同樣模擬次數(shù)基礎(chǔ)上有效擴(kuò)充訓(xùn)練數(shù)據(jù)集容量的效果.2)基于目標(biāo)計(jì)數(shù)是源分布與重要性函數(shù)乘積積分的事實(shí),構(gòu)建可重復(fù)使用的高效神經(jīng)網(wǎng)絡(luò),以快速準(zhǔn)確獲得各種源分布對(duì)應(yīng)的目標(biāo)計(jì)數(shù),一定程度上突破了傳統(tǒng)MC 輸運(yùn)計(jì)算的效率瓶頸.雖然本文的研究對(duì)象是中子,但該方法可適用于其他種類粒子的同類型輸運(yùn)問(wèn)題中.

2 方法介紹

本文建立了一種利用神經(jīng)網(wǎng)絡(luò)加速M(fèi)C 模擬中子輸運(yùn)問(wèn)題的方法(圖1 為技術(shù)路線圖),該神經(jīng)網(wǎng)絡(luò)所必需的訓(xùn)練數(shù)據(jù)集是通過(guò)對(duì)相應(yīng)的輸運(yùn)問(wèn)題進(jìn)行MC 模擬而獲得的.對(duì)于新的中子源分布,將其輸入給訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)就能快速輸出相應(yīng)的目標(biāo)計(jì)數(shù).數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)需要足夠的高質(zhì)量訓(xùn)練數(shù)據(jù),但通過(guò)傳統(tǒng)的MC 模擬來(lái)獲取這些訓(xùn)練數(shù)據(jù)非常耗時(shí).針對(duì)這一問(wèn)題,將重要性原理作為一種高效生成訓(xùn)練數(shù)據(jù)的手段,由此在一定程度上提高了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率.

圖1 本文技術(shù)路線圖Fig.1.Study framework of this paper.

2.1 理論基礎(chǔ)

對(duì)于中子固定源問(wèn)題,統(tǒng)計(jì)體通量、能量沉積、劑量等物理量都與源項(xiàng)信息直接相關(guān),其中源項(xiàng)信息包括位置分布、能量分布、粒子發(fā)射方向等多維信息.中子的屬性用p=(r,E,w) 表示,其中r表示粒子空間位置,E表示能量,w表示發(fā)射方向.中子源分布滿足歸一條件:

MC 模擬中目標(biāo)計(jì)數(shù)可以表示為

其中,S(p) 為源分布,g(p) 為重要性函數(shù).將相空間Ω進(jìn)行網(wǎng)格劃分,即Ω=(M足夠大,表示劃分足夠精細(xì)),當(dāng)源分布所在相空間劃分足夠精細(xì)的假設(shè)成立時(shí),相空間內(nèi)單個(gè)網(wǎng)格的重要性函數(shù)可以用該網(wǎng)格內(nèi)一個(gè)點(diǎn)的重要性函數(shù)表示,則(2)式可被表示為

對(duì)于固定源問(wèn)題,同一個(gè)模型(包括幾何及材料)和目標(biāo)量對(duì)應(yīng)同一套,對(duì)于不同的源分布,將S(p) 離散化為代入(4)式,即可得到計(jì)數(shù)I.

本文以體平均通量作為目標(biāo)計(jì)數(shù)(相同方法可適用于任何計(jì)數(shù)).對(duì)于不考慮時(shí)間變量的固定源問(wèn)題,定義

其中,Ψ(r,w,E) 是中子角通量密度,則體平均通量可以被表示為

ΦV可以通過(guò)徑跡長(zhǎng)度估計(jì)法計(jì)算,粒子一旦通過(guò)計(jì)數(shù)區(qū)域就會(huì)對(duì)目標(biāo)計(jì)數(shù)造成貢獻(xiàn),一般而言較其他估計(jì)法效率更高,因此被多數(shù)MC 輸運(yùn)程序采用.

2.2 基于神經(jīng)網(wǎng)絡(luò)的粒子輸運(yùn)問(wèn)題高效計(jì)算方法

對(duì)于源分布多變,幾何、材料構(gòu)型及目標(biāo)計(jì)數(shù)穩(wěn)定的一系列中子輸運(yùn)問(wèn)題,MC 模擬可看作一個(gè)黑箱,其輸入是源分布,輸出是固定的目標(biāo)物理量,這個(gè)黑箱通過(guò)精確度很高,但是速度較慢的模擬將輸入轉(zhuǎn)換為輸出.通過(guò)設(shè)計(jì)合適的神經(jīng)網(wǎng)絡(luò)并以合理的形式表示輸入端的源分布函數(shù),在獲得充足的訓(xùn)練數(shù)據(jù)基礎(chǔ)上,訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)將以很快的響應(yīng)速度得到新的中子源分布對(duì)應(yīng)的目標(biāo)物理量.

在實(shí)際應(yīng)用中,難以實(shí)現(xiàn)將連續(xù)形式的、不同分布的源項(xiàng)處理為神經(jīng)網(wǎng)絡(luò)的統(tǒng)一輸入形式.為了解決此問(wèn)題,本文首先對(duì)源分布進(jìn)行N次采樣,從而產(chǎn)生N個(gè)源粒子.然后將這些粒子的六維屬性(r,E,w)作為點(diǎn)分布輸入網(wǎng)絡(luò).最終網(wǎng)絡(luò)產(chǎn)生N個(gè)輸出的平均值被視為目標(biāo)統(tǒng)計(jì)量的估計(jì)值.

為實(shí)現(xiàn)上述目標(biāo),將源分布在相空間離散化處理,進(jìn)而以(4)式表達(dá)目標(biāo)量后,可用訓(xùn)練得到合適的神經(jīng)網(wǎng)絡(luò)模型代替(4)式中權(quán)值,方法和網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖2 所示.本文采用多層感知神經(jīng)網(wǎng)絡(luò)(MLP)[21]的模型結(jié)構(gòu).神經(jīng)網(wǎng)絡(luò)中單層感知器的擬合能力有限,而多層感知器的擬合能力更強(qiáng),可用于解決復(fù)雜問(wèn)題,因而MLP 的優(yōu)勢(shì)在于它可以學(xué)習(xí)將任何輸入映射到輸出的權(quán)值.最典型的MLP 由三個(gè)網(wǎng)絡(luò)結(jié)構(gòu)組成: 輸入層、隱藏層和輸出層.本文使用的網(wǎng)絡(luò)包括一個(gè)輸入層、多個(gè)全連接層和一個(gè)輸出層.在全連接層之間加入了整流線性單元 (ReLU)激活函數(shù),激活函數(shù)為網(wǎng)絡(luò)引入了非線性特征,有助于網(wǎng)絡(luò)學(xué)習(xí)輸入和輸出之間的復(fù)雜關(guān)系,并能將神經(jīng)元的輸出限制在一定范圍內(nèi).常用的激活函數(shù)包括Tanh,Sigmoid和ReLU,ReLU 的優(yōu)點(diǎn)是能有效緩解梯度消失問(wèn)題,從而提高訓(xùn)練效率.各層之間還引入了一個(gè)dropout 層,以減少過(guò)擬合,提高神經(jīng)網(wǎng)絡(luò)的泛化能力,使其更加穩(wěn)健和精確.

圖2 用于代理加速M(fèi)C 模擬的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2.Data-driven neural network for Monte Carlo simulation.

神經(jīng)網(wǎng)絡(luò)需要大量高質(zhì)量的訓(xùn)練數(shù)據(jù),以減少過(guò)擬合和網(wǎng)絡(luò)泛化性不足等問(wèn)題.然而通過(guò)MC模擬生成如此大量的訓(xùn)練樣本必定成本高昂.因此,本文提出了一種基于重要性原理[14]的方法來(lái)高效獲取足夠的訓(xùn)練數(shù)據(jù),此方法可在單次MC模擬中獲取盡可能多的訓(xùn)練數(shù)據(jù).重要性原理最早由Booth 和Hendricks[14]提出,用于輸運(yùn)計(jì)算中的權(quán)重窗參數(shù)生成算法.在本文中,重要性不再是作為生成權(quán)重窗參數(shù)的基礎(chǔ),而是作為相應(yīng)網(wǎng)格中的源對(duì)目標(biāo)計(jì)數(shù)的最終貢獻(xiàn),從而擴(kuò)大了從單次算例模擬中獲得的網(wǎng)絡(luò)訓(xùn)練樣本的數(shù)量.具體說(shuō)明如下: 將相空間劃分為網(wǎng)格時(shí),網(wǎng)格i的重要性定義為通過(guò)該網(wǎng)格的粒子在單位權(quán)重下對(duì)目標(biāo)計(jì)數(shù)的貢獻(xiàn).

當(dāng)Ω空間內(nèi)網(wǎng)格劃分足夠細(xì)時(shí),對(duì)Ωi內(nèi)的點(diǎn)pi與其所在網(wǎng)格內(nèi)定點(diǎn)距離足夠近,則有

上述方法在開源軟件OpenMC[43]中得以實(shí)現(xiàn).對(duì)于每個(gè)網(wǎng)格,定義了兩個(gè)新的向量,分別記錄網(wǎng)格的總權(quán)重和總計(jì)數(shù).對(duì)于每個(gè)粒子,都定義了一個(gè)新的向量來(lái)記錄粒子在整個(gè)軌跡中每一步所穿過(guò)的網(wǎng)格以及當(dāng)前的權(quán)重.當(dāng)前粒子被殺死時(shí),記錄的網(wǎng)格和相應(yīng)的權(quán)重會(huì)被累加到對(duì)應(yīng)網(wǎng)格的總權(quán)重向量中.此外,如果粒子被判定已到達(dá)最終統(tǒng)計(jì)區(qū)域,當(dāng)前粒子的權(quán)重將被累加到它(及其子代粒子)穿過(guò)的所有網(wǎng)格的計(jì)數(shù)向量中.當(dāng)所有源粒子及其次級(jí)粒子的模擬結(jié)束后,根據(jù)(7)式計(jì)算所有網(wǎng)格的重要性.

3 結(jié)果與討論

3.1 重要性原理產(chǎn)生數(shù)據(jù)的正確性驗(yàn)證

為驗(yàn)證重要性結(jié)果計(jì)算的正確性,建立簡(jiǎn)單幾何算例: 幾何為10 cm×10 cm×10 cm、材料為56Fe的正方體.源項(xiàng)為位于坐標(biāo)(0,0,0)的中子點(diǎn)源,發(fā)射方向?yàn)檠豖軸正方向的單一方向,能量為10 MeV 的單一能量.在幾何相空間劃分0.1 cm×0.1 cm×0.1 cm 的虛網(wǎng)格,統(tǒng)計(jì)目標(biāo)區(qū)域探測(cè)器(1 cm×1 cm×1 cm)的通量計(jì)數(shù).分別建立10 個(gè)探測(cè)器,其中心位于X軸的不同位置.本數(shù)值實(shí)驗(yàn)基于相空間內(nèi)一個(gè)點(diǎn)源的在進(jìn)行MC 模擬的同時(shí)統(tǒng)計(jì)重要性結(jié)果,重要性結(jié)果取源項(xiàng)所在網(wǎng)格的重要性值,即以該網(wǎng)格為源對(duì)目標(biāo)區(qū)域產(chǎn)生的目標(biāo)值貢獻(xiàn),驗(yàn)證MC 計(jì)算結(jié)和重要性結(jié)果如圖3 所示.由重要性值的定義可知,本算例中重要性的統(tǒng)計(jì)過(guò)程為由該相空間網(wǎng)格內(nèi)的此點(diǎn)源產(chǎn)生的樣本對(duì)目標(biāo)區(qū)域的貢獻(xiàn)除以總粒子權(quán)重,而針對(duì)這一點(diǎn)源MC 模擬同樣為統(tǒng)計(jì)由此點(diǎn)源產(chǎn)生的目標(biāo)結(jié)果除以總粒子數(shù)的平均值,因此對(duì)于此驗(yàn)證算例重要性與MC 模擬結(jié)果完全一致,說(shuō)明本研究在OpenMC中重要性數(shù)據(jù)產(chǎn)生方法實(shí)現(xiàn)的正確性.

圖3 重要性結(jié)果和MC 模擬結(jié)果對(duì)比(MC-MC 計(jì)算結(jié)果,IMP-重要性原理計(jì)算結(jié)果)Fig.3.Comparison of results of MC simulation and importance data (MC-results of Monte Carlo simulation,IMPresults of importance data).

3.2 神經(jīng)網(wǎng)絡(luò)結(jié)果驗(yàn)證

3.2.1 簡(jiǎn)單模型

基于3.1 節(jié)所設(shè)置簡(jiǎn)單算例對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試.相空間網(wǎng)格的劃分參數(shù)如表1 所列.在相空間中隨機(jī)生成1000 個(gè)MC 算例(每個(gè)算例都是不同的點(diǎn)源),每個(gè)算例模擬106個(gè)粒子,以確保結(jié)果的最大統(tǒng)計(jì)誤差低于5%.同時(shí),用重要性生成方法計(jì)算生成1000 套重要性數(shù)據(jù)及統(tǒng)計(jì)誤差,以重要性結(jié)果的統(tǒng)計(jì)誤差小于2%為標(biāo)準(zhǔn)選取重要性數(shù)據(jù),使用傳統(tǒng)MC 模擬計(jì)算1000 個(gè)算例僅能產(chǎn)生1000 個(gè)源項(xiàng)及其目標(biāo)統(tǒng)計(jì)量作為神經(jīng)網(wǎng)絡(luò)的樣本,即訓(xùn)練集容量為1000,使用本文提出的基于重要性原理的高效訓(xùn)練數(shù)據(jù)產(chǎn)生方法后,在1000 個(gè)算例獲得MC 模擬結(jié)果的同時(shí)產(chǎn)生了24285 個(gè)重要性數(shù)據(jù),均可以視為該網(wǎng)格中點(diǎn)源產(chǎn)生的目標(biāo)統(tǒng)計(jì)量,即將1000 次模擬得到的訓(xùn)練集容量提升了24 倍,顯著提升了單次模擬獲得的訓(xùn)練樣本數(shù).分別采用以下兩組數(shù)據(jù)作為數(shù)據(jù)集對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試: 1)僅采用1000 個(gè)算例MC 模擬的結(jié)果;2)結(jié)合重要性數(shù)據(jù)和MC 模擬結(jié)果.預(yù)測(cè)通量與真值的相對(duì)偏差被用作損失,并按(9)式計(jì)算:

表1 簡(jiǎn)單模型相空間劃分參數(shù)Table 1.Phase space meshing parameters of the Fe model.

其中,x是作為真值的MC 計(jì)算結(jié)果;y是網(wǎng)絡(luò)預(yù)測(cè)的通量結(jié)果.

神經(jīng)網(wǎng)絡(luò)的構(gòu)建和計(jì)算使用TensorFlow[44]實(shí)現(xiàn).采用自適應(yīng)學(xué)習(xí)率優(yōu)化算法Adam[45]作為優(yōu)化器,學(xué)習(xí)率為10-4.Adam 優(yōu)化器的優(yōu)勢(shì)在于無(wú)需手動(dòng)調(diào)整,能根據(jù)每個(gè)參數(shù)的梯度和動(dòng)量變化來(lái)調(diào)整其學(xué)習(xí)率,可以糾正其學(xué)習(xí)率消失、收斂過(guò)慢或是高方差的參數(shù)更新導(dǎo)致?lián)p失函數(shù)波動(dòng)較大等問(wèn)題.

圖4 顯示了網(wǎng)絡(luò)訓(xùn)練過(guò)程中的損失函數(shù)曲線.在每個(gè)網(wǎng)絡(luò)的訓(xùn)練測(cè)試中,80%的數(shù)據(jù)集用于訓(xùn)練,10%用于驗(yàn)證,10%用于測(cè)試.當(dāng)基于驗(yàn)證數(shù)據(jù)的損失開始增加時(shí),即終止訓(xùn)練.兩個(gè)網(wǎng)絡(luò)分別在5000 和10000 個(gè)算例時(shí)終止訓(xùn)練.最終網(wǎng)絡(luò)輸出結(jié)果與MC 計(jì)算給出的真值的相對(duì)偏差分別收斂到19.75%和0.97%.這表明,采用重要性原理補(bǔ)充數(shù)據(jù)集可以使網(wǎng)絡(luò)更好地收斂.

圖4 網(wǎng)絡(luò)訓(xùn)練損失曲線 (a) 使用 1000 個(gè)MC 模擬結(jié)果樣本進(jìn)行訓(xùn)練;(b) 結(jié)合重要性數(shù)據(jù)和MC 結(jié)果進(jìn)行訓(xùn)練Fig.4.Network training loss curves: (a) Trained with 1000 results samples of MC simulation;(b) trained with a combination of importance data and MC results.

對(duì)MC 模擬和神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的時(shí)間耗費(fèi)進(jìn)行了比較.在MC 模擬中,模擬106個(gè)粒子以確保統(tǒng)計(jì)誤差保持在5%以下,使用1000 個(gè)實(shí)例的平均時(shí)間作為MC 模擬用.將1000 個(gè)算例輸入已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò),并計(jì)算平均預(yù)測(cè)時(shí)間作為神經(jīng)網(wǎng)絡(luò)用時(shí).結(jié)果表明,神經(jīng)網(wǎng)絡(luò)將計(jì)算時(shí)間大約從70 s減少到0.3 s,這意味著計(jì)算用時(shí)減少了約200 倍,顯著提高了計(jì)算速度.

3.2.2 Kobayashi 模型

使用Kobayashi 模型[46]中的問(wèn)題1 測(cè)試了本文所提出的方法.該模型包括三個(gè)區(qū)域: 源區(qū)域、真空區(qū)域和屏蔽區(qū)域(圖5).X=0 和Y=0 平面是該模型的兩個(gè)反射面.該例題給定單一截面,則僅在幾何和角度維度進(jìn)行相空間劃分,劃分參數(shù)如表2 所列.

表2 Kobayashi 模型相空間劃分參數(shù)Table 2.Phase space division parameters of Kobayashi benchmark.

圖5 Kobayashi-1 模型幾何示意圖Fig.5.Diagram of Kobayashi-1 benchmark.

該 Kobayash 問(wèn)題一的基準(zhǔn)包括兩套不同截面設(shè)置: 在 Kobayash-1-i 中,源區(qū)和屏蔽區(qū)的材料是純吸收體;在 Kobayash-1-ii 中,源區(qū)和屏蔽區(qū)的材料設(shè)定為50%的散射截面.這種材料的總截面為0.1 cm-1,而空隙區(qū)域的總截面為10-4cm-1.對(duì)于每種截面,分別設(shè)置四個(gè)探測(cè)器位于坐標(biāo)(15 cm,15 cm,15 cm),(25 cm,25 cm,25 cm),(35 cm,35 cm,35 cm)和(45 cm,45 cm,45 cm)處.MC 模擬使用107個(gè)源粒子,以確保所有探測(cè)器結(jié)果的最大統(tǒng)計(jì)誤差保持在5%以下.

針對(duì)不同的探測(cè)器訓(xùn)練了8 個(gè)網(wǎng)絡(luò),每個(gè)網(wǎng)絡(luò)的訓(xùn)練各基于1000 個(gè)MC 算例.隨機(jī)抽取MC 和重要性數(shù)據(jù)的80%樣本用作訓(xùn)練網(wǎng)絡(luò)的訓(xùn)練集,10%樣本作為用于優(yōu)化網(wǎng)絡(luò)參數(shù)的驗(yàn)證集,10%的樣本作為最終測(cè)試訓(xùn)練好的網(wǎng)絡(luò)預(yù)測(cè)效果的測(cè)試集合,按照(9)式分別計(jì)算訓(xùn)練樣本、驗(yàn)證樣本、測(cè)試樣本與真值的偏差作為訓(xùn)練偏差、驗(yàn)證偏差、測(cè)試偏差如表3 所列,測(cè)試偏差的分布如表4 和圖6 所示,由表3 和表4 可知所有情況的測(cè)試偏差均值均低于5%,小于5%的樣本占總測(cè)試樣本量的比例均超過(guò)90%,本數(shù)值實(shí)驗(yàn)中的神經(jīng)網(wǎng)絡(luò)輸入是相空間內(nèi)給定能量、位置、方向六維坐標(biāo)的單個(gè)離散點(diǎn),對(duì)應(yīng)到傳統(tǒng)MC 模擬中的單個(gè)樣本,而本方法利用神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)物理量的統(tǒng)計(jì)為抽樣所得源粒子對(duì)目標(biāo)量貢獻(xiàn)的均值,因此預(yù)測(cè)均值偏差低于5%可以說(shuō)明網(wǎng)絡(luò)給出的結(jié)果精度符合要求.偏差分布中最大偏差結(jié)果出現(xiàn)在源項(xiàng)距離探測(cè)器最遠(yuǎn)的位置,分析原因是該位置的訓(xùn)練數(shù)據(jù)本身統(tǒng)計(jì)誤差較大,使得訓(xùn)練得到的網(wǎng)絡(luò)對(duì)該位置單個(gè)點(diǎn)源給出的偏差較大,這一特點(diǎn)與傳統(tǒng)MC 單個(gè)樣本模擬結(jié)果的特點(diǎn)相同.此外,與原始MC 模擬相比,獲得這些結(jié)果所需的時(shí)間幾乎可以忽略不計(jì),用時(shí)從大約5 min 縮短到不到1 s,說(shuō)明神經(jīng)網(wǎng)絡(luò)對(duì)輸運(yùn)計(jì)算效率的提升效果顯著.作為參考,Igor 等[47]使用離散縱標(biāo)法在不同硬件平臺(tái)下計(jì)算完整Kobayashi 基準(zhǔn)題的時(shí)間花費(fèi)在數(shù)小時(shí)量級(jí).

表3 Kobayashi 模型不同探測(cè)器的網(wǎng)絡(luò)預(yù)測(cè)結(jié)果Table 3.Prediction results for different detectors by networks of Kobayashi-1.

表4 Kobayashi-1 模型不同探測(cè)器的網(wǎng)絡(luò)預(yù)測(cè)偏差分布Table 4.Deviation distributions of predicted-results for different detectors by networks of Kobayashi-1.

圖6 Kobayashi-1 模型不同探測(cè)器的網(wǎng)絡(luò)預(yù)測(cè)偏差分布Fig.6.Deviation distributions of predicted-results for different detectors by networks of Kobayashi-1.

3.2.3 HBR2 反應(yīng)堆基準(zhǔn)題

H.B.Robinson-2 (HBR-2)核電站是Westinghouse 公司設(shè)計(jì)的商用壓水式輕水反應(yīng)堆,于1971 年開始運(yùn)行,歸Carolina Power and Light Company 所有.H.B.Robinson-2 壓力容器測(cè)定基準(zhǔn)題[48]主要測(cè)量 HBR2 核電站壓力容器內(nèi)部和外部的中子通量.

HBR-2 反應(yīng)堆堆芯包含157 個(gè)燃料組件、堆芯外包殼、堆芯吊籃、隔熱罩、壓力容器和生物屏蔽等部件.在本研究中,在OpenMC 中構(gòu)建了HBR-2 反應(yīng)堆結(jié)構(gòu).統(tǒng)計(jì)以下兩個(gè)探測(cè)器(①和②)的通量為目標(biāo)統(tǒng)計(jì)量,圖7 展示了 OpenMC 中HBR2 基準(zhǔn)題的幾何結(jié)構(gòu)及探測(cè)器示意圖,其中左半部分為水平面示意圖,右半部分為矢狀面示意圖.在OpenMC 中使用六層立方體來(lái)表示源項(xiàng)分布,每層由157 個(gè)立方體組成.

圖7 HBR-2 模型幾何結(jié)構(gòu)示意圖Fig.7.Detector geometry diagram of HBR-2 benchmark.

幾何網(wǎng)格尺寸設(shè)定為 10.752 mm×10.752 mm×60.960 mm.源粒子發(fā)射方向?yàn)楦飨蛲?能譜為瓦特譜.MC 模擬中模擬的粒子數(shù)量因源與探測(cè)器之間的距離而異,在源與探測(cè)器距離較遠(yuǎn)的算例中,有必要模擬更多的粒子數(shù)量以確保獲得的通量統(tǒng)計(jì)誤差達(dá)到要求,因此每個(gè)算例都模擬了 4.0×106—6.0×108個(gè)粒子,以保證最大統(tǒng)計(jì)誤差保持在5%以下.最終利用MC 模擬共建立了942 個(gè)算例來(lái)生成真值數(shù)據(jù)集,其中754 個(gè)算例被用作為訓(xùn)練樣本,92 個(gè)算例被用作為驗(yàn)證樣本,92 個(gè)算例被用作為測(cè)試樣本,按照(9)式分別計(jì)算測(cè)試樣本、驗(yàn)證樣本、預(yù)測(cè)樣本與真值的偏差作為訓(xùn)練偏差、驗(yàn)證偏差、測(cè)試偏差(表5).

表5 HBR-2 模型不同探測(cè)器的網(wǎng)絡(luò)預(yù)測(cè)結(jié)果Table 5.Prediction results for different location detector networks of HBR-2 benchmark.

表5 列出了網(wǎng)絡(luò)對(duì)這兩個(gè)探測(cè)器的預(yù)測(cè)結(jié)果,測(cè)試偏差的分布見(jiàn)表6 和圖8.網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的平均相對(duì)偏差分別為3.98%和4.42%,小于5%的樣本占總測(cè)試樣本量的比例均超過(guò)90%,同前算例一樣,最大偏差結(jié)果出現(xiàn)在靠近堆芯區(qū)域即源項(xiàng)距離探測(cè)器最遠(yuǎn)的位置,由于該位置的訓(xùn)練數(shù)據(jù)本身統(tǒng)計(jì)誤差相對(duì)較大而使得單個(gè)預(yù)測(cè)結(jié)果與真值偏差超過(guò)5%.考慮到目標(biāo)物理量的統(tǒng)計(jì)過(guò)程為從源分布中多次抽樣后輸入神經(jīng)網(wǎng)絡(luò)并計(jì)算對(duì)目標(biāo)量貢獻(xiàn)的均值,因此預(yù)測(cè)均值偏差低于5%表明網(wǎng)絡(luò)輸出結(jié)果精度符合要求.在時(shí)間成本方面,相對(duì)于MC模擬將計(jì)算時(shí)間從數(shù)小時(shí)縮短至約0.3 s,實(shí)現(xiàn)了顯著提速.作為參考,Roberto[49]在不同硬件平臺(tái)下使用TORT 程序基于離散縱標(biāo)法對(duì)HBR-2 基準(zhǔn)題進(jìn)行計(jì)算,單CPU 時(shí)間花費(fèi)在數(shù)十小時(shí)量級(jí).可見(jiàn)本文提出方法可以給出滿足工程精度標(biāo)準(zhǔn)的預(yù)測(cè)結(jié)果,而計(jì)算時(shí)間與原始MC 模擬相比可以忽略不計(jì),從而獲得顯著的效率提升.

表6 HBR-2 模型不同探測(cè)器的網(wǎng)絡(luò)預(yù)測(cè)偏差分布Table 6.Deviation distributions of predicted-results for different detectors by networks of HBR-2.

圖8 HBR-2 模型不同探測(cè)器的網(wǎng)絡(luò)預(yù)測(cè)偏差分布Fig.8.Deviation distributions of predicted-results for different detectors by networks of HBR-2.

4 結(jié)論

本文設(shè)計(jì)了用于加速中子輸運(yùn)問(wèn)題MC 模擬的神經(jīng)網(wǎng)絡(luò),只需一次性訓(xùn)練即可針對(duì)不同源項(xiàng)反復(fù)使用.在訓(xùn)練該神經(jīng)網(wǎng)絡(luò)時(shí),使用重要性原理來(lái)高效獲取足夠多的高質(zhì)量訓(xùn)練數(shù)據(jù),從而一定程度上克服了數(shù)據(jù)生成成本高的難題.上述方法通過(guò)Kobayashi 和HBR-2 等基準(zhǔn)問(wèn)題進(jìn)行了驗(yàn)證.網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的相對(duì)偏差始終低于5%.而且與原始MC 模擬相比,獲得這些結(jié)果所需的計(jì)算時(shí)間可忽略不計(jì).

本文研究的一個(gè)局限性是只適用于源分布有變化,而幾何、材料及目標(biāo)計(jì)數(shù)保持不變的情形.如果幾何、材料或目標(biāo)計(jì)數(shù)發(fā)生變化,則需要重新訓(xùn)練網(wǎng)絡(luò),后續(xù)研究計(jì)劃將幾何、材料以及目標(biāo)計(jì)數(shù)的變化也作為輸入信息引入網(wǎng)絡(luò)訓(xùn)練過(guò)程,以增強(qiáng)網(wǎng)絡(luò)的泛化能力,并以遷移學(xué)習(xí)的訓(xùn)練方法提高訓(xùn)練效率.

感謝北京應(yīng)用物理與計(jì)算數(shù)學(xué)研究所勇珩研究員牽頭的“ AI++”團(tuán)隊(duì)成員的討論和幫助.