基于深度殘差網絡的高精度自然轉捩模擬方法*

鄭天韻 王圣業? 王光學 鄧小剛

1) (國防科技大學空天科學學院, 長沙 410073)

2) (中山大學物理學院, 廣州 510275)

1 引 言

邊界層轉捩普遍存在于流體機械內部或其表面, 是經典物理學中亟待解決的挑戰性問題. 在飛行器的運行過程中, 流體受到包括來流湍流度、物面粗糙度、馬赫數等諸多因素的影響, 易由分層穩定流動向混沌湍流轉變. 這一轉捩過程同時伴隨著壁面摩阻和傳熱特性的急劇變化[1]. 因此, 對轉捩流動進行快速準確的計算流體力學(computational fluid dynamics, CFD)模擬對飛行器性能和設計效率的提升有重要意義.

轉捩預測可以采用求解全尺度湍流脈動的直接數值模擬 (direct numerical simulation, DNS)或僅求解大尺度脈動的大渦模擬(large-eddy simulation, LES)方法, 但其計算量隨雷諾數Re呈指數型增長(相當于Re9/4), 當前計算機技術的發展仍舊難以滿足其工程應用的計算需求[2]. 結合湍流模型的雷諾平均數值模擬(Reynolds averaged Navier-Stokes, RANS)方法憑借其易用性及高效性, 在工程實踐中仍占有舉足輕重的地位[3,4].

轉捩流動中, 流場在同一空間位置會間歇性地呈現層流或湍流狀態, 稱為間歇現象. 若采用函數I(x,y,z,t)描述這一現象, 并定義層流時函數值為0, 湍流時為1, 那么間歇因子g即為該函數的時間平均值[5],

考慮間歇性的轉捩模式通過引入“間歇因子”定量描述湍流生成, 是目前工程轉捩預測中最流行的一類方法. 模式通過顯式方程或求解額外的輸運方程得到所需的間歇因子. 早期, Dhawan等[6]采用經驗公式描述間歇因子的流向分布, 但得到的間歇因子僅取決于來流及物面條件, 不考慮流場結構, 僅適用于簡單流動. Libby[7]首先引入帶有間歇因子的輸運方程計算湍流, 其后許多研究工作聚焦于改善輸運方程對多種流動例如自由剪切流[8]、邊界層[9]轉捩的預測效果. 然而, 這些模式往往通過非局部變量判斷轉捩起始, 難以在并行計算和非結構網格中得到應用. Menter等[10?12]采用應變率為底的雷諾數代替動量厚度雷諾數Req, 發展了完全基于局部變量的四方程SST-g-Req轉捩模型. 其中無量綱的g,Req輸運方程的守恒形式為

其中,Pg,Eg分別為g方程的生成項和耗散項,Pθt為方程的源項. 上述輸運方程僅用于獲取間歇因子, 還需耦合SST湍流模型以模擬轉捩過程. 國內外許多研究[13?15]表明該模型對轉捩流動有較好的預測能力. Bas等[16,17]提出了一種基于當地平均量的代數轉捩模型(或稱為B-C模型), 提高了計算效率, 但不適用于湍流度在(0.5, 2.0)區間內的情況[17]. 另外, 傳統轉捩模型受經驗公式束縛, 對計算平臺敏感, 往往不具備很好的通用性.

要解決上述問題, 關鍵在于找到流場當地平均量與間歇因子之間的映射關系, 而機器學習方法則提供了一種新的途徑. He等[18]于2015年提出殘差網絡 (deep residual network, ResNet), 這種新的結構在前饋神經網絡的基礎上引入跨層連接, 解決了深層網絡的訓練問題, 受到廣泛應用.ResNet憑借其復雜的網絡結構, 具備從大量數據中描述復雜非線性映射的能力且易于訓練, 已經在各領域取得了舉世矚目的成就.

有研究已經將神經網絡這類機器學習技術應用于CFD領域. 許多研究者將機器學習方法應用于重構或修正渦黏系數或雷諾應力. Ling等[19,20]構建了張量基神經網絡模型(TBNN) 以預測雷諾應力各向異性張量, 改善了對管流角渦和波形壁流動分離的預測, 但其與求解器間的迭代收斂性還有待驗證. Zhu等[21]直接構建了湍流渦黏性的純數據驅動“黑箱”代數模型, 但其對標SA湍流模型,不具備對轉捩的預測能力. Duraisamy等[22,23]基于Ge等[24]的k-w-g轉捩模型, 利用神經網絡(NN)和高斯過程(GP)重構了g輸運方程中的源項, 改善了模型對于T3系列平板算例的預測精度. 該研究證明了機器學習方法在轉捩模型構建中的可行性, 但沒有進一步探究模型對于新幾何外形和來流條件的泛化能力.

與以往研究不同, 本文基于SST-g-Req模型的計算數據, 利用深度殘差網絡ResNet重構了當地平均量與間歇因子g之間的純數據驅動“黑箱”映射模型, 并與SA模型相耦合, 發展了一種數據驅動的轉捩模型. 模型需要求解的微分方程數量僅為一, 相比于四方程的SST-g-Req模型具有更高的計算效率. 采用滿足伽利略不變性的當地流場平均特征量作為輸入特征, 便于與現代CFD求解器耦合,同時保證良好的泛化性能.

在相同網格條件下, 高精度格式相比于傳統二階格式能夠獲得更準的氣動力結果[25,26]. 本文中將基于高階精度的加權緊致非線性格式(weighted compact nonlinear scheme, WCNS)[27,28]對 RANS方程和模型方程進行數值離散.

2 模型構造方法

2.1 整體思路

本文結合深度殘差網絡技術與SA全湍流模型[29], 參考基于局部變量的間歇轉捩模型構造思路, 發展了一種數據驅動的轉捩預測方法. 模型的構建過程可分為兩個部分: 數據學習和耦合求解.數據學習部分主要包括訓練數據選擇, 神經網絡模型框架和參數優化. 在耦合求解部分, 首先將流場中間歇因子g的初值設為1(即采用全湍流模型),利用二階格式快速得到初始收斂場; 接著將流場的平均特征量 (q1,q2, …,qn) 代入神經網絡模型得到g的預測結果; 最后利用g修正SA模型, 采用WCNS高精度格式計算收斂, 使其具有預期的轉捩預測效果. 具體過程如圖1所示.

圖 1 整體框架Fig. 1. Overall framework.

2.2 訓練數據集的構建

本文選擇間歇因子g作為殘差網絡的預測對象. 相較于直接預測雷諾應力或渦黏性, 這樣做的好處在于避免神經網絡這類模糊預測方法產生的結果直接作為最終結果, 降低極端異值和非物理解的影響, 結果更具可信度. 然而g并非流場中實際存在的物理量, 無法從DNS, LES等高精度數據中直接獲得其真實分布. 即便通過貝葉斯反演等方法利用高精度數據能夠反算出一組間歇因子g, 這種結果導向型的方法不能得到唯一確定的解[30]. 消耗大量計算代價得到的g場并不一定反映了真實的流動狀態. Zhu等[21]基于SA模型的計算數據訓練 NN 模型, 取得了不錯的效果. 鑒于此, 可采用更易獲得的g-Req轉捩模型得到的間歇因子g分布作為真值, 同時訓練數據集中還包含了二階SA湍流模型的結果作為輸入特征.

本文主要針對自由流湍流強度遠小于1.0%的自然轉捩. 傳統轉捩模型中, 函數或函數中的參數總是通過一系列零壓力梯度平板算例標定得到. 在本工作中, 零壓力梯度自然轉捩平板(S&K和T3A-)扮演智能算法訓練數據來源的角色.

2.3 湍流模型

一方程SA模型控制方程為

其中ν為分子運動黏性系數,表示與湍流渦黏系數νt相關的修正渦黏系數, 具體關系由下式定義:

生成項Pν與破壞項Dν定義為

其中,d為最小壁面距離.為渦量W的函數:

上述方程中, 常數取值如下:

參考相關性間歇轉捩模型的思想, 本文將間歇因子作用于湍流模型以抑制轉捩前和轉捩過程中的湍流生成, 使得原全湍流結果向轉捩流場修正.考慮間歇因子描述流場某點處間歇狀態的客觀性定義, 通過神經網絡描述其潛在函數關系并與SA湍流模型結合具備合理性. 對于SA湍流模型的輸運方程, 間歇因子用于抑制渦黏的生成項與破壞項:

其中,Pn和Dn分別是原SA模型的生成項和破壞項,b為破壞項修正系數.

SA 模型不計算當地湍動能, 進而無法考慮湍流度的影響. Medida等[31]將g-Req模型耦合至SA 模型時, 假定湍流度在整個流場中不改變. 本工作同樣采取這種方式, 并將自由流湍流度作為ResNet的輸入特征之一.

圖 2 轉捩平板計算網格Fig. 2. Computing mesh for transition plate.

圖 3 模型參數對壁面摩阻的影響 (a) nt∞; (b) bFig. 3. The influence of model parameters on wall friction:(a) nt∞; (b) b.

在上述修改的基礎上, 為保證間歇因子與SA模型的兼容性, 需要對破壞項系數b和SA模型流場變量遠場值nt∞做相應調整. 對于新的幾何外形和來流條件, 訓練完成的ResNet模型能夠快速給出所需的g值, 而不需要再借助其他轉捩模型.

用于數值模擬的轉捩平板網格見圖2, 大小為324 × 108 (流向 × 法向), 平板上分布 291 網格單元. 如圖 3(a)所示, 在自然轉捩情況下, 過大的nt∞會導致摩阻曲線提早過渡到湍流狀態, 因此遠場值最終設置為 1.0 × 10–8. 如圖 3(b)所示, 原全湍流結果(b= 1)在湍流區域較實驗值整體偏低,破壞項修正系數b的作用就在于控制湍流區域的摩阻系數漲幅, 本文取b= 0.3.

3 間歇因子模型

上述過程通過引入間歇因子賦予SA模型預測轉捩的能力. 其中的關鍵在于, 對于一個全新的幾何外形和自由來流條件, 能否快速通過某種算法或模型給出足夠準確的間歇因子預測場. 本節利用自由來流條件和局部無量綱特征量等信息, 試圖建立一種具備理想泛化能力的間歇因子模型.

3.1 模型選擇

在轉捩問題中, 流場某一空間位置的間歇狀態與當地的平均變量間存在復雜的映射關系, 且這種關系是非線性的, 難以建立解析的表達式. 為了滿足工程需求, 往往需要建立數學模型以近似描述這類映射.

傳統間歇轉捩模型的構建往往基于將轉捩的起始與某個或某些特征量相關聯, 最終也都證明模型具有良好的效果. 這些設計的關鍵特征與流場轉捩行為的關聯性直接影響到模型的準確程度和適用范圍. Bas等[16]就在此類工作上付出過努力, 他們構建的局部量Term1比較了當地動量厚度Req是否達到轉捩的臨界動量厚度Reqc, 以判斷轉捩起始位置; Term2控制邊界層內的間歇因子生成;最后, 通過指數函數生成間歇因子. 這種簡單的代數模型在部分情況下能夠達到接近g-Req模型的效果, 但對于湍流度在(0.5, 2.0)區間內的轉捩問題并不適用. 不過該研究足以表明, 構建合適的局部特征對轉捩預測起到關鍵作用.

由于轉捩問題的復雜性和混沌性, 人工構建普適的相關特征量以構建模型絕非易事. 幸運的是,當前高性能計算的發展使得神經網絡模型的訓練更加高效, 能夠借助其強大的特征學習和表示能力構建模型. 具體來說, 神經網絡的每一層都對上一層傳遞來的信號進行加工, 這些本與轉捩不直接相關的初始特征經過多隱藏層的處理, 逐步轉換為與轉捩密切相關的特征量. 輸入層和所有隱藏層可看成“特征學習”的過程, 而最后一層的輸出層僅僅是以生成的特征量為輸入的簡單模型[32], 最終完成間歇因子的預測. 這種多層激活函數嵌套的結構普遍存在于深層的網絡結構之中. 這便是深度神經網絡為什么適合于本研究的重要原因.

本工作希望能夠利用已有高精度計算數據中的信息, 通過深層次的網絡結構和輔助優化算法提取到與轉捩密切相關的流場特征, 從而構建出當地特征量與流場間歇性之間的類代數映射模型, 以獲得高精度和高效性并存的效果.

3.2 殘差神經網絡

深度學習作為機器學習技術的典型代表, 能夠挖掘數據集中潛藏的深層次非線性映射并建立模型, 實現判斷和預測. 殘差神經網絡在一般神經網絡的基礎上引入跨層連接(skip connection), 使得誤差梯度得以跨層傳遞, 是一種典型的深度學習算法. 為保證理論的完整性, 引入跨層連接的優勢將在附錄中展開說明. 基本網絡結構可由一個輸入層、若干隱藏層、一個輸出層和跨層連接組成, 如圖4所示.

輸入層由一組代表流場不同屬性的當地平均量q= (q1,q2, …,qn)組成. 這些輸入量經歷帶權重的連接到達下一隱藏層, 新的輸入值在層中節點將與閾值比較, 然后通過非線性激活函數轉換. 特征信息每經過一個隱藏層都會被變換到新的特征空間, 直到輸出結果. 以圖4所示的神經網絡模型為例, 對于一個新的輸入xi, 第一隱藏層的輸出分量可表示為

其中, 上標(m)表示第m個隱藏層,?為非線性激活函數, 本文采用 ReLU 函數;wij為上層與本層間的連接權;cj為神經元節點處的閾值. 同樣, 第二、三隱藏層的輸出分量可分別寫為

其中m1,m2分別表示第一、二隱藏層的神經元節點數. 可以看到, 第一隱藏層的輸出通過跨層連接與第三隱藏層未經激活的輸出相加, 合并的數據流經過激活函數后向下傳遞, 這種跨層連接實際上就是在層間增加一個恒等映射, 最終第四隱藏層的輸出分量可表示為

圖 4 殘差神經網絡結構示意圖Fig. 4. Structure of residual neural network.

得益于上述多層次、非線性的激活變換, 網絡得以具備描述輸入特征與輸出量間的深層次非線性映射的能力. 常用的非線性變換函數(或稱激活函數)有Sigmoid, ReLU和TANH等, 具體形式如下.

Sigmoid函數定義為

ReLU函數定義為

Tanh函數定義為

激活函數能夠在網絡中引入非線性變換, 且連續可導, 便于后續采用梯度下降等優化算法訓練神經網絡, 曲線如圖 5所示. 對于回歸預測, 輸出層往往不需添加非線性函數, 直接按照一定權值將特征矢量線性組合并輸出結果.

損失函數是直接反映模型精度的重要指標, 本文采用損失函數設置為

對于給定的訓練數據集, 可以通過梯度下降法對網絡節點的權重wij與閾值cj進行優化:

其中f由不同優化算法決定, 這里采用Adam算法, 具體可參考文獻[33]. 一旦確定了網絡節點的最優參數, 模型的預測效果則完全取決于隱藏層、每層節點數、激活函數、權重與閾值等超參數, 而與訓練數據的規模無關.

圖 5 激活函數曲線 (a) Sigmoid; (b) ReLU; (c) TanhFig. 5. Activation function curves: (a) Sigmoid; (b) ReLU;(c) Tanh.

本研究的神經網絡部分基于TensoFlow框架.輸入層由自由來流條件、當地流場平均量及其導數等特征構成, 輸入特征量的詳細描述列于表1. 此外, 經過反復的實驗權衡計算成本與損失函數之間的平衡, 采用的網絡結構由淺到深依次由6個全連接層、兩個內含8個隱藏層的殘差塊和8個全連接層組成, 每個隱藏層有24個神經元節點, 激活函數為ReLU. 輸出層為無激活的單一變量g.

神經元和隱藏層數的增加伴隨著過擬合的風險, 研究通過5次交叉驗證確定超參數, 確保模型沒有出現過擬合. 訓練數據被隨機地均分為5組,其中一組作為驗證集, 剩余的分組作為訓練集,5次驗證的平均絕對誤差列于表2. 輸入特征采用當地無量綱量以保證泛化性. 為了降低各特征間的相關性, 降低輸入冗余, 在網絡訓練前將輸入數據進行了白化(whiting)處理, 使得其均值為0, 方差為1.

表 1 作為神經網絡輸入的流場局部平均特征量Table 1. The local average flow features used as the inputs of neural network.

表 2 5 次交叉驗證結果Table 2. Results of fivefold cross validation.

4 算例分析

計算基于自主研發的WCNS軟件平臺. WCNS格式于2000年由Deng等[28]提出, 其優勢在廣泛的流動問題中得到證明. 本文采用的WCNS-E6E5格式具備良好的渦保持特性和很強的魯棒性, 在各類工程流動問題中得到廣泛應用. 其中, 王圣業等[35]將WCNS-E6E5格式應用于三角翼的分離渦模擬中, 并和傳統基于線性渦黏模型的分離渦模擬方法進行了對比, 證明了格式在分離湍流模擬的精細度方面更加優秀.

4.1 T3系列平板

T3系列低速平板實驗將用于測試上述數據驅動間歇因子模型對流場間歇性的預測能力并結合SA模型驗證最終的預測效果. 實驗包括S&K,T3A, T3A-和 T3B, 通常用于標定轉捩模型中的經驗系數和經驗關系式. 本文主要關注于低湍流度自然轉捩實驗S&K 和T3A-的模擬. 采用的計算網格見圖 1, 網格為 324 × 108(流向 × 法向), 平板上分布 291 網格單元. 為適應低速流動條件, 計算采用預處理技術[36]. 設置的進口條件如表3.

表 3 平板算例入口條件Table 3. The entry condition of plate cases.

湍流邊界層具有更大的摩阻, 由此能夠通過摩阻曲線判斷邊界層的轉捩情況. 圖6給出了壁面摩阻的對比結果, 可以發現SA-ResNet模型和SST-g-Req模型能夠較好地預測自然轉捩, 而SA模型未能預測出轉捩, 且全湍流計算的壁面摩阻與實驗值相差很大. BC模型能夠預測到轉捩現象, 但過早地預測了T3A-平板算例的轉捩位置. 原因在于模型很大程度上依賴人為標定的經驗公式, 這在一定范圍內增加了模型的不確定度, 影響了適用性.同為一方程的SA-ResNet模型在保證了求解效率的同時, 避免了上述問題.

值得注意的是, ResNet模型完全基于SST-g-Req的計算數據進行學習, 但預測結果并不完全相同. 這是由于兩者基于的全湍流模型存在原理上的差異, 再者SA-ResNet模型中的破壞項系數和流場變量初值對轉捩位置、轉捩區長度和湍流區的摩阻幅值存在些許影響, 這在第2節中進行過說明.

圖 6 轉捩平板壁面摩阻曲線 (a) S&K; (b) T3AFig. 6. Wall friction curve of transition plate cases: (a) S&K; (b) T3A-.

圖 7 T3A-平板間歇因子和湍流黏性分布 (a) SST-g-Req 預測g 場; (b) SA-ResNet預測g 場; (c) SST-g-Req 和 SA-ResNet預測g 的差異; (d) SA-ResNet預測的湍流黏性Fig. 7. Intermittency and turbulent viscosity distribution of T3A- case: (a) g from SST-g-Req; (b) g from SA-ResNet; (c) discrepancy of g between SST-g-Req and SA-ResNet; (d) turbulent viscosity from SA-ResNet.

圖7(a),(b)比較了SA-ResNet模型和SST-g-Req模型對于T3A-轉捩平板間歇因子預測結果.兩模型結果的差異見圖7(c). 可以看出, ResNet模型能夠模擬出平板表面的層流邊界層發展和轉捩的過程, 模擬得到的邊界層厚度和轉捩位置與SST-g-Req模型基本一致. 在全湍流區上游壁面附近ResNet模型的預測結果出現不光滑的情況.原因在于壁面附近網格較為密集, 同時層流與湍流的分界區域間歇因子急劇變化, 這種情況下, 神經網絡這類模糊預測方法有時難以清晰地給出分界線. 但這并沒有影響結果的正確性, 間歇因子正確地控制了流場中湍流的生成, 如圖7(d). 這正是不直接以渦黏性或雷諾應力作為神經網絡預測對象的優勢所在.

4.2 S809翼型

S809翼型的亞聲速定常繞流模擬將作為驗證模型泛化性能的典型算例. 該翼型為厚度21%c的層流翼型, 專門為橫軸風力渦輪機設計. 翼型的低速試驗在戴爾福特科技大學(Delft University of Technology)的低湍流度風洞中進行[37]. 計算網格如圖 8 所示, 采用 C 型拓撲結構, 共劃分約 6.6 萬網格單元, 壁面首層網格距離達到 1 × 10–6c, 遠場邊界取 120c, 進口馬赫數為 0.1, 雷諾數為 2.0 × 106,翼型前緣湍流度設為0.2%.

圖9對比了S809翼型氣動特性計算值和實驗值的結果. 由圖中可以看出, 結合了ResNet的SA模型與SST-g-Req模型在升阻力特性上都與實驗值更加相符. 不考慮轉捩的原SA模型預測的升力系數偏小, 且總是過多地預測了阻力. 結合ResNet的SA模型則很大程度上修正了這一情況.

圖 8 S809 翼型計算網格Fig. 8. Computing mesh for S809 airfoil.

圖 9 S809 翼型氣動特性曲線 (a) Cl; (b) CdFig. 9. Aerodynamic characteristics of the S809 airfoil: (a) Cl;(b) Cd.

由于訓練集中不包含逆壓梯度和大分離的例子, 這里僅討論S809翼型迎風面的轉捩位置情況.轉捩位置隨迎角變化曲線見圖10, 計算中的自然轉捩位置取摩阻最小值點, 分離轉捩的位置取摩阻由負值變正值時摩阻為零點. 由圖中可以看出, 在0°—3°范圍內SA-ResNet模型的轉捩位置較實驗略微靠前, 其他迎角下計算值與實驗值符合較好.

圖 10 S809 翼型迎風面轉捩位置隨迎角變化曲線Fig. 10. S809 airfoil transition position changes with the angle of attack.

圖11給出了不同迎角下翼型表面的摩阻系數分布, 由圖可以看出 SA 模型在 1°, –6°和 9°迎角下都未能預測出轉捩. 而SA-ResNet模型與SST-g-Req轉捩模型的結果十分貼近. 在 1°迎角下, 翼型上下翼面分別在0.550和0.526附近發生分離轉捩. 上翼面轉捩位置隨迎角增大不斷前移, 在9°迎角時轉捩位置到達0.01附近, 壁面摩阻沿流動方向不斷下降, 流動再度層流化. 下翼面轉捩位置隨迎角不斷向后緣移動.

上述結果驗證了SA-ResNet模型的轉捩預測能力. 在此基礎上, 模型的另一優勢在于求解效率.相較于四方程SST-g-Req轉捩模型, SA-ResNet模型通過代數“黑箱”模型給出間歇因子分布, 不需引入額外的微分方程, 降低了計算耗時. 效率提升在大網格量的算例上更為明顯. 表4列出了S&K、T3A-轉捩平板和S809翼型3°迎角下的計算時間.對于S&K平板算例, SA-ResNet模型的計算耗時為SST-g-Req轉捩模型的85.6%, 然而在網格量更大的S809翼型上, 前者所需CPU時間僅為后者的67.2%. Wang等[38]結合了BC代數轉捩模型和WALE子網格模型對三維圓柱繞流問題進行了模擬, 結果發現每次迭代所需CPU時間不到SST-g-Req轉捩模型的30%. 這表明在流動拓展到三維后, 代數轉捩模型帶來的效率優勢十分可觀.

圖 11 S809 翼型不同迎角下的摩阻系數曲線Fig. 11. Friction coefficient of S809 airfoil at different angles of attack.

表 4 模型計算時間對比 (殘差收斂至 O(10–4))Table 4. Comparison of transition model’s computing time.

5 結論和展望

本文基于 WCNS-E6 E5格式, 結合深度殘差神經網絡方法和SA湍流模型, 參考基于當地流場變量的相關性間歇模型的構造思路, 重構了間歇因子映射模型, 發展了一種基于數據驅動的SAResNet高精度轉捩模型. 對S&K、T3A-轉捩平板試驗和S809翼型不同迎角下的亞聲速定常繞流進行了模擬, 并與SST-g-Req轉捩模型計算值和實驗值進行了對比.

轉捩平板算例表明, 深度殘差網絡方法能夠通過計算數據描述流場平均量與間歇因子間的復雜非線性映射; 得到的間歇因子能夠較好地與SA模型兼容, 準確捕捉流場中的轉捩現象. 在有限訓練數據的情況下, SA-ResNet對于未包含于訓練集的S809翼型的不同迎角情況能夠得出較為準確的預測. 這表明深度殘差網絡能夠做到的并不僅僅是對數據進行簡單的插值, 其具備探索流場變量與轉捩過程間復雜關系的強大潛力.

在S809翼型亞聲速定常繞流的模擬中, SAResNet的性能接近SST-g-Req, 但收斂到同一精度時節省了超過30%的計算成本. 下一步工作在于向多種轉捩機理的流動和不同來源的計算數據拓展, 強化模型的工程應用能力.

附錄

一般而言, 更多的神經元單元和隱藏層能夠提升網絡性能同時加速訓練收斂. 然而, 網絡增加到一定層數后, 在利用反向傳播算法訓練網絡的過程中容易出現梯度消失/爆炸問題[39,40], 導致訓練無法收斂. 例如對于一般的全連接神經網絡, 有

其中w為連接權,c為偏差,z為網絡層的輸出,s為激活函數輸入值,?為激活函數. 因此, 在誤差梯度反向傳播過程中, 對權重有

對閾值有

對于多層網絡:

誤差梯度中存在激活函數導數和權重的連乘, 當網絡層數增長到一定規模以后, 淺層隱藏層接收到的梯度由于一系列連乘而劇烈衰減/增長, 從而引發梯度消失或梯度爆炸問題. 這種問題的出現阻礙了訓練的收斂, 甚至導致網絡退化. 這種退化是由過多的隱藏層造成而非過擬合.

由于跨層連接的存在, 被連接包圍的網絡層(殘差塊)僅學習連接前后的殘差映射(因此稱為殘差網絡), 誤差梯度能夠越過殘差塊反向傳播, 減少傳播路徑, 從而降低梯度消失或梯度爆炸的風險.