基于多門控混合專家網絡的燃燒熱化學流形表征

王意存，邵長孝，金臺，邢江寬，羅坤,4，樊建人,4

(1.浙江大學 能源高效清潔利用全國重點實驗室，浙江 杭州 310027；2.哈爾濱工業大學（深圳） 湍流控制研究所，廣東 深圳518055；3.浙江大學 航空航天學院，浙江 杭州 310027；4.浙江大學 上海高等研究院，上海 200120)

機器學習（machine learning，ML）方法已經在以計算流體力學（computational fluid dynamics，CFD）為代表的科學計算領域掀起了熱潮[1].在湍流燃燒數值模擬方面，研究者試圖用機器學習方法進行燃燒建模[2-4]，建立數據驅動的燃燒模型.熱化學流形（thermochemical manifolds）的參數化和表征是機器學習在燃燒建模中的重要應用.傳統的流形參數化技術包括各種查表（loop-up tables）技術，如原位自適應建表（in situ adaptive tabulation，ISAT）[5]、分段多項式近似（piecewise polynomial approximation）[6]以及小火焰模型（flamelet models）[7].人工神經網絡模型（artificial neural network，ANN）因更快的計算速度和更小的內存占用，在熱化學流形的參數化和表征方面已經得到研究和認可.因為基于神經網絡的模型只需存儲網絡結構信息、權重和偏置參數[8]，所以通常不會占用太多存儲空間.除此之外，與傳統的查表方法不同，基于神經網絡的模型具有采樣點之間平滑插值的優點[2,3,9].

基于機器學習已經發展出一些新型的熱化學流形表征方法.在有限速率類燃燒模型方面，求解化學反應剛性常微分方程組（system of ordinary differential equations，SODEs）使用詳細化學反應機理直接積分（direct integration，DI）方法的計算量巨大，導致計算效率較低.為此，研究者利用神經網絡模型建立熱化學狀態作為輸入和化學反應源項（或者下一時刻的狀態）作為輸出的映射關系[2,10-15].為了使神經網絡具有良好泛化能力，訓練數據集必須覆蓋真實模擬中可能遇到的熱化學狀態，復雜的反應機理會對熱化學狀態數據集的構建以及神經網絡的訓練帶來困難[2].替代方案是在小火焰燃燒模型框架下實施熱化學流形表征，這也是本研究的焦點.

在小火焰燃燒模型框架內，通常利用幾個控制變量（controlling variable）（如混合分數、過程變量）來參數化低維流形[16]，待求解的熱化學標量通過預先建立的小火焰庫訪問而無需求解組分輸運方程，因此具有較高的計算效率.然而，在一些復雜場景中（如考慮輻射和相間換熱、多進口構型），必須對小火焰模型進行維度擴展、增加控制變量的數量[16]，此時會造成小火焰庫的尺寸較大，讀取這些小火焰庫需要占用較大的內存空間以及復雜的多維插值程序.為此，研究者利用ANN 建立控制變量作為輸入、其他熱化學標量作為輸出的映射關系.CFD 程序讀取訓練好的ANN 而非小火焰庫，從而緩解內存占用問題.此類方法已成功應用于值班CH4/air 射流火焰[9]、鈍體旋流穩定火焰[17]、CH4/H2/N2射流擴散火焰[18]、具有非均勻入口的值班射流火焰[19]、火箭發動機[20]、內燃機工況下的噴霧火焰[8,21]、超聲速燃燒器[22]和超臨界CO2燃燒器[23]等.

基于小火焰的燃燒熱化學流形表征完成的都是從較少幾個控制變量到熱化學標量的映射，其中基礎的前饋神經網絡（feedforward neural network，FNN）得到最多的應用.從機器學習的角度，該問題可視作多任務學習問題，任務目標是使得各個熱化學標量都取得較好的預測精度.Owoyele等[24]采用混合專家網絡（mixture of experts，MoE）[25]完成了燃燒流形表征，并取得較好的先驗結果.MoE 是典型的多任務學習技術，由于只有1 個門控網絡，在任務相關性不強的問題中可能表現不佳.對于相關性不強的多個任務，多門控混合專家網絡（multi-gate mixture of experts，MMoE）[26]的表現更好.因此，從理論上講，MMoE 比MoE 更加適用于燃燒熱化學流形的表征.本研究采用MMoE 模型在小火焰模型框架內實現燃燒熱化學流形的表征，獲取比FNN 模型更高的精度.本研究模型訓練采用的數據集來自三維層流射流噴霧火焰的詳細化學（detailed chemistry，DC）模擬，本研究將對該數據集中的組分進行相關性分析，分別搭建MMoE 和FNN 模型，將2 種模型的結果與DC 結果對比以進行性能評估.

1 數學和物理模型

1.1 詳細化學模擬

訓練和測試用的數據由DC 模擬計算得到.在噴霧燃燒DC 模擬中，通過直接求解質量、動量、能量和組分質量分數的守恒方程建立數據庫.基于低馬赫數假設，守恒方程為

式中：ρ 為氣相密度，基于理想氣體狀態方程求解；uj為氣相速度；p為壓力；τi j為黏性應力；wk為組分k的質量分數；h為比焓；α 為熱擴散系數；D為組 分 擴 散 系數； ω ˙h為燃 燒 熱釋 率； ω ˙k是 組分k的反應速率；δlk為Kronecker 記號，其中l為液相蒸發的組分；Ns為系統中化學組分總數；S˙ρ、S˙ui和S˙h分別為液相的質量、動量和能量源項，基于點源模型（particle-source-in cell，PSI-Cell）封閉[27-29].液相采用拉格朗日顆粒追蹤方法（Lagrangian particle tracking，LPT）計算求解[30].

1.2 小火焰燃燒模型

根據Wang 等[31-33]提出的兩相噴霧小火焰過程變量（two-phase spray flamelet / progress variable，TSFPV）模型，熱化學標量ψ 可以參數化為

式中：Z、C和Zcarr分別為混合分數、過程變量以及新定義的載氣混合分數（carrier mixture fraction）[31].這3 個控制變量須在CFD 程序中同步求解，守恒方程分別為

式中：C為過程變量，C=wCO2+wH2O+wCO+wH2，w為 質 量 分數； ω ˙C為過 程變 量 源 項；DZ、DC分 別為混合分數和過程變量的擴散系數；載氣混合分數Zcarr是被動標量，其守恒方程中沒有源項，可以避免傳統混合分數Z的非單調性相關問題[31,34-36].

1.3 三維層流噴霧射流火焰數據集

使用OpenFOAM 7.0 中的噴霧燃燒求解器sprayFoam，對三維層流噴霧射流火焰進行詳細化學模擬，構建DC 數據集，以用于神經網絡模型的訓練和測試.火焰構型的示意圖如圖1 所示.中心射流直徑D= 1 mm，射流包括空氣、甲醇液滴以及預汽化的燃料蒸汽組成的混合物.射流周圍的伴隨流由氫氣/空氣在1 430 K 的貧燃平衡產物組成[37].射流入口速度為8 m/s，特征長度取中心射流直徑，取運動黏度為1.5×10-5m2/s，計算得到射流入口雷諾數為533，小于圓管流動臨界雷諾數為2 300，可以認為當前研究的火焰為層流火焰.伴隨流入口速度為1 m/s，液相質量流量為3.185×10-6kg/s.其他的入口參數參見表1.入流參數的設置參考悉尼抬升甲醇噴霧火焰Mt2A 構型[37-38].計算域是直徑為30D，流向長度為55D的圓柱體，采用的總網格數約為105 萬.采用的化學反應機理為甲醇燃燒的18 組分55 步反應骨架機理[39].

表1 噴霧射流火焰的入口參數Tab.1 Inflow parameters of spray jet flame

圖1 噴霧射流火焰構型示意圖Fig.1 Schematic of configuration of spray jet flame

對于DC 模擬生成的原始數據集，須進行數據預處理操作，預處理過程包括2 個步驟.1）組分質量分數、Z、C和Zcarr介于[0, 1]，采用Box-Cox轉換（Box-Cox transformation，BCT）[11,40]，將物理量映射至O(1)量級，解決燃燒數據的多尺度分布問題.2）對所有BCT 后的熱化學標量，使用Z-score標準化處理.對于預處理過的數據樣本，隨機選取其中80%作為訓練集，20%作為測試集.

1.4 人工神經網絡模型

FNN 也稱多層感知器（multi-layer perceptron，MLP），是應用廣泛的基礎人工神經網絡，如圖2(a)所示.FNN 中各神經元分別屬于不同的層，每一層的神經元可以接收前一層神經元的信號，并產生信號輸出到下一層.第0 層稱為輸入層，最后一層稱為輸出層，其他中間層稱為隱藏層.每個神經元視為從輸入到輸出的非線性映射.輸入層神經元接收的輸入是整個網絡的輸入值，在當前問題中也就是控制變量X=[Z,C,Zcarr].對于中間層神經元，輸入是前一層神經元的輸出.對于輸出層的神經元，輸出就是待求解的熱化學標量φ.整個網絡的運算關系為

圖2 神經網絡示意圖Fig.2 Schematic of neural network

神經網絡模型基于開源PyTorch 1.8.2 框架實現.為了公平比較2 種網絡模型的性能，保持網絡結構具有相近的可訓練參數數目.對于2 種網絡結構，網絡輸入包含3 個控制變量，即Z，C和Zcarr，網絡輸出為17 變量，即去除N2之后的17 個組分.對于FNN，網絡包含7 層隱藏層，隱藏層神經元數目為(8, 16, 32, 64, 94, 64, 32)，隱藏層激活函數為tanh，總的參數數目為17 663.對于MMoE，網絡結構包含8 個專家網絡，17 個塔網絡，17 個門控網絡.專家網絡和塔網絡結構匯總如表2，總的參數數目為17 609.這2 種網絡結構都采用均方誤差（mean square error，MSE）損失函數.函數網絡權重使用Xavier 初始化[41]，通過Adam 優化器[42]進行優化，采用自定義的指數衰減學習率l/l0=5-n/2000，其中n為訓練周期數，初始學習率l0=1.0×10-3.

表2 多門控混合專家網絡中的專家網絡和塔網絡結構Tab.2 Structure of expert network and tower network in multi-gate mixture of experts

2 結果與討論

2.1 火焰數據集分析

分析DC 模擬生成的火焰數據集，標量的分布云圖如圖3 所示，其中r為徑向位置.由圖3(a)可以看出，在上游位置（x<10D），主射流和高溫伴流之間由于相互混合，形成剪切層.剪切層的高溫促進該區域液滴的蒸發，剪切層不斷發展，隨后著火過程發生并形成火焰.由于液滴蒸發熱損失作用導致剪切層溫度降低.由圖3(b)可以看出，蒸發過程一直持續到約x=20D位置，同時混合分數達到較大值，此時射流中心位置為主要蒸發區域.由圖3(d) 可以看出，與經典的混合分數Z不同，Zcarr從射流核心向外單調變化，這將有利于小火焰模型的建模.圖3(f)中的白色實線代表等值線wOH= 6×10-4，該等值線可以用于判斷火焰抬升高度[43].結果顯示火焰抬升高度為6.8D.

圖3 熱化學量的等值線云圖Fig.3 Contour plots of thermochemical quantities

當前神經網絡模型的任務是對除了N2之外的所有組分進行預測，為了挖掘不同組分間的內在相關性，采用Pearson 相關系數（Pearson correlation coefficient）[44]分析預處理后的數據集.2 個變量X和Y之間的相關系數計算式為

式中：μ為平均值，σ 為標準差，E為期望，cov(X,Y) 為X和Y的協方差.相關系數的值介于[-1, 1]，當λX,Y= 0 時，表示X和Y不存在線性相關關系；當λX,Y接近1 或-1 時，表示2 個變量存在較強的正相關或負相關的線性關系.計算任意2 種組分的相關系數并取絕對值，繪制組分相關系數的熱力圖，如圖4 所示.圖中，深色方塊對應的2 個組分之間的相關系數絕對值接近1，淺色方塊對應的2 個組分之間的相關系數絕對值接近于0.可以看出，部分組分之間無明顯的相關性.從理論上講，使用MMoE 而非經典的FNN 將獲得更好的預測結果，原因是MMoE 比FNN 更善于處理相關性不強的多個任務[26].

圖4 組分相關系數的熱力圖Fig.4 Heatmap of correlation coefficients for different species

2.2 模型訓練結果分析

使用2 種神經網絡模型訓練5 000 步后的損失值L匯總于表3.整體來看，2 種網絡模型最終均收斂到O(10-4)量級的損失值，且訓練集損失和測試集損失接近，未出現過擬合問題.盡管MMoE相比FNN 的損失值更小，但均處于同一量級，二者更明顯的差異可以結合如圖5 所示的訓練過程損失曲線來判斷.可以看出，整體上，MMoE 的損失值低于FNN.在訓練前期（n< 2 000），FNN 損失下降過程出現明顯的振蕩，MMoE 損失值穩步下降，說明MMoE 模型在訓練過程中更加穩定.

表3 神經網絡模型最終的損失值Tab.3 Final loss values for different neural network models

圖5 神經網絡模型的損失值隨迭代步數的變化Fig.5 Loss values versus iterations for different neural networks

如圖6、圖7 所示分別為2 種模型在測試集上預測值與真實值的散點圖.圖中，橫坐標ytrue為測試集中的真實值，縱坐標ypred為模型的預測值，理想情況下，散點分布在ypred=ytrue對角線上，即圖中虛線.散點越接近虛線，表示預測結果越好.可以看出，2 種神經網絡模型的預測值都與真實值接近，尤其是質量分數較大的主要組分，例如H2O 和O2.即便是對于質量分數較小的中間組分，例如H2和OH，2 種神經網絡模型也展現出不錯的預測精度.這說明，對原始數據集的預處理操作（如BCT 轉換）可以較好地解決燃燒數據的多尺度分布問題.

圖6 FNN 模型預測值與真實值的散點圖Fig.6 Scatter plots of true and predicted values using FNN model

圖7 MMoE 模型預測值與真實值的散點圖Fig.7 Scatter plots of true and predicted values using MMoE model

采用決定系數（coefficient of determination）R2來定量評估模型的性能，表達式為

式 中：i表 示 第i個 數 據 樣 本，yˉtrue為 真 實 值 的 均值.一般來說，R2越接近1，表示模型擬合效果越好，R2=1 表明模型無誤差.2 種神經網絡模型在訓練數據集和測試數據集上各組分的決定系數匯總于表4.整體上，無論是訓練集或測試集，對于所有組分質量分數，2 種神經網絡模型的決定系數都高于0.999，這意味著2 種神經網絡均得到較好的訓練，模型均具有較高的擬合精度.

如圖8～10 所示為不同軸向位置處組分質量分數的徑向分布曲線.其中H2O、CO2和O2代表主要組分，H2、CO 和OH 為重要的中間產物組分.DC 結果作為基準數據，將FNN 和MMoE 模型的預測結果與DC 結果進行定量對比，以對模型進一步評估.如圖8 所示，在上游位置（x=15D），2 種神經網絡模型均取得較好的定量預測結果.在下游位置（x=25D、30D），如圖9、10 所示，2 種網絡模型開始顯現出差異.在下游位置，對于主要組分O2，2 種神經網絡模型都取得較好的預測結果，對于主要組分H2O 和CO2以及中間產物組分H2和CO，MMoE 模型預測結果更精確，FNN 模型的預測結果出現一定程度的偏差.總體而言，MMoE 模型在上、下游位置，對于各個尺度的組分都有較好的預測精度.MMoE在不同區域均取得較好的預測結果，這得益于MMoE 與MoE 類似，具備多個專家網絡，具有燃燒流形自動分支（autonomously bifurcating combustion manifolds）的能力[24].通過門控網絡，將不同區域的輸入數據分配給不同的專家網絡，每個專家網絡去處理給定部分的輸入，使得MMoE 取得比FNN 更好的局部預測效果.

圖8 神經網絡結果與詳細化學結果對比（x/D = 15 位置）Fig.8 Comparisons of detailed chemistry results and solutions using different neural networks at axial location of x/D = 15

圖9 神經網絡結果與詳細化學結果對比（x/D = 25 位置）Fig.9 Comparisons of detailed chemistry results and solutions using different neural networks at axial location of x/D = 25

圖10 神經網絡結果與詳細化學結果對比（x/D = 30 位置）Fig.10 Comparisons of detailed chemistry results and solutions using different neural networks at axial location of x/D = 30

為了進一步驗證MMoE 相較于FNN 的優勢，在1.3 節算例的基礎上改變工況，射流入口速度改為4 m/s，伴隨流入口速度改為0.5 m/s，溫度分布如圖11 所示.按照同樣的流程構建數據集分別訓練MMoE 和FNN 模型，對比分析相應的結果如表5 和圖12 所示.結果表明，改變工況后，MMoE依舊取得了比FNN 模型更小的損失值，并且其訓練過程更加穩定，這進一步驗證了MMoE 的優勢.綜合此前結果可以得出結論，盡管2 種神經網絡模型的損失值和決定系數相似，但MMoE 模型在訓練過程中更加穩定，定量預測結果更加準確.

表5 新工況的神經網絡模型最終的損失值Tab.5 Final loss values of different neural network for new case

圖11 新工況的溫度分布云圖Fig.11 Contour plots of gas temperature for mew case

圖12 新工況的神經網絡模型的損失值隨迭代步數的變化Fig.12 Loss values versus iterations of different neural networks for new case

3 結 語

本研究將MMoE 模型應用于小火焰燃燒模型框架內的燃燒熱化學流形表征.使用OpenFOAM對三維噴霧射流火焰進行詳細化學模擬以生成數據集.使用開源深度學習框架PyTorch 分別搭建FNN 和MMoE 模型，并進行對比.結果表明，MMoE 在訓練過程中具有更好的穩定性，2 種神經網絡模型取得了相近的損失值和決定系數.進一步定量結果表明，MMoE 模型在上、下游位置對于各個尺度的組分都有較好的預測精度，FNN 模型在下游位置出現一定的預測偏差.基于神經網絡模型的燃燒熱化學流形表征是有前途的新方法，MMoE 模型相較于基礎的FNN 模型已展現出一定優勢，下一步將進行更加全面的性能評估.此外，作為有效的多任務學習模型，MMoE 對于燃燒機器學習領域的其他問題，例如求解燃燒化學微分方程的物理信息神經網絡、熱解模型構建等，也有重要的參考價值.

致謝 感謝浙江大學計算機科學與技術學院李璽教授、繆佩翰、勵雪巍在研究中給予的幫助.