航空發(fā)動機風扇葉片脫落仿真分析大規(guī)模并行計算方法研究

侯　亮　張曉云　王志強　柴象海

1.上海交通大學，上海，200240　　2.中航商用航空發(fā)動機有限責任公司，上海，2011083.中國航空研究院上海分院，上海，201108

航空發(fā)動機風扇葉片脫落仿真分析大規(guī)模并行計算方法研究

侯亮1，2，3張曉云1王志強2，3柴象海2，3

1.上海交通大學，上海，2002402.中航商用航空發(fā)動機有限責任公司，上海，2011083.中國航空研究院上海分院，上海，201108

摘要：針對航空發(fā)動機風扇葉片脫落數(shù)值仿真的問題，分析了并行計算模式與網(wǎng)格區(qū)域分解策略對并行計算效率和一致性的影響。在保證計算結果一致性前提下，提出了高效率區(qū)域分解和并行模式配置策略。最后通過工程算例進行了驗證。

關鍵詞：航空發(fā)動機；風扇葉片脫落；并行計算；一致性

0引言

航空發(fā)動機研制需要建立計算耗時短、結果一致性高的航空發(fā)動機整機數(shù)值仿真模型來獲取發(fā)動機在風扇葉片脫落(fan blade off，F(xiàn)BO)后的各種響應，以縮短設計迭代周期、提高航空發(fā)動機風扇葉片脫落試驗成功率[1-4]。

國內(nèi)學者針對航空發(fā)動機風扇葉片脫落數(shù)值仿真的計算效率和一致性問題開展了相關研究。文獻[5]研究了接觸算法對航空發(fā)動機包容性數(shù)值仿真并行計算效率的影響，通過優(yōu)化接觸設置提高了單機并行計算的效率。文獻[6]描述了航空發(fā)動機包容性數(shù)值仿真存在的計算結果不一致問題，分析了計算結果不一致的原因，在特定計算節(jié)點上獲得了一致的計算結果。已有研究對不同并行模式的并行效率、網(wǎng)格區(qū)域分解策略和并行計算結果一致性影響因素等問題研究較少，因此，本文針對航空發(fā)動機風扇葉片脫落數(shù)值仿真問題，對并行計算模式、網(wǎng)格區(qū)域分解策略和計算結果一致性等問題進行研究，提出了一種高效率、一致性和跨平臺的并行計算方法。

1并行模式計算效率研究

大涵道比渦輪風扇發(fā)動機整機FBO仿真模型通常為顯式動力學有限元模型，如圖1所示。模型由風扇、壓氣機、燃燒室、渦輪、安裝節(jié)等幾部分組成，有限元節(jié)點數(shù)為300萬。模型包含帶失效的彈塑性材料模型和非線性接觸。風扇組件的有限元網(wǎng)格、接觸和材料模型最為復雜，計算量占整個模型計算量的一半以上。

圖1　航空發(fā)動機整機FBO數(shù)值仿真模型

顯式動力學求解器的并行計算主要分為共享內(nèi)存式并行SMP、分布內(nèi)存式并行MPP和混合式并行Hybrid?；旌鲜讲⑿惺且环N新型的并行模式，綜合了SMP并行和MPP并行的優(yōu)點：在計算節(jié)點內(nèi)部通過SMP并行減少消息傳遞；節(jié)點之間通過MPP并行擴展并行規(guī)模，其原理如圖2所示[7]。

圖2　MPP與Hybrid并行的并行原理

對于計算航空發(fā)動機整機FBO數(shù)值仿真模型，三種并行模式的計算耗時如表1所示。

表1　航空發(fā)動機整機FBO計算耗時　h

注：N/A表示不適用。

采用并行效率Ep衡量三種并行模式的并行性能：

Ep=Sp/p

(1)

Sp=t1/tp

(2)

式中，Sp為加速比；p為計算核心數(shù)；t1、tp分別為計算相同算例的單核計算消耗時間和多核并行計算消耗時間。

當加速比等于計算核心數(shù)之比時，效率為100%。

3種并行計算模式的并行效率曲線如圖3所示。可見，MPP模式的并行效率最高，Hybrid模式的并行效率低于MPP模式的并行效率。并行計算核心數(shù)不大于16時，二者效率差距較小。隨著核心數(shù)增加，并行效率的差距有所增大。64核并行計算時，二者差距增大至16%。SMP模式的并行效率顯著低于另外兩種并行模式的并行效率，并行效率下降也較快。

圖3　并行效率隨并行核心數(shù)的變化曲線

在相同并行核心數(shù)量下，MPP模式的計算耗時最短，Hybrid模式計算耗時略高于MPP模式計算耗時。這是因為Hybrid模式為保證計算結果的一致性，在進程內(nèi)部開啟了一致性選項，犧牲了部分計算速度[8]。

SMP模式計算耗時最長，而且受單個計算節(jié)點內(nèi)計算核心數(shù)量的限制，最多16核并行。因此SMP模式的并行效率及可擴展性不佳。

2整機FBO模型區(qū)域分解策略研究

并行計算求解前，求解器首先對有限元模型進行區(qū)域分解。區(qū)域分解的策略直接關系到并行計算性能，均衡的區(qū)域分解可以縮短計算核心等待時間和信息傳遞時間，提高并行效率。遞歸坐標對分(recursive coordinate bisection，RCB)算法是一種常見的自動區(qū)域分解算法。該算法根據(jù)模型整體幾何尺寸對網(wǎng)格進行遞歸分解，忽略了復雜模型中接觸、網(wǎng)格疏密、子區(qū)域邊界信息傳遞等對計算效率的影響。為了提高計算效率，需要針對航空發(fā)動機整機有限元模型的特點，研究區(qū)域分解策略對并行計算速度的影響，提出適合航空發(fā)動機FBO仿真計算的區(qū)域分解策略。

航空發(fā)動機整機FBO模型近似為以發(fā)動機轉子中心線為軸線的回轉體。將模型所在的直角坐標系轉換為以航空發(fā)動機軸線為Z軸的圓柱坐標系。然后按照沿徑向、周向和軸向三種不同的分解策略進行區(qū)域分解，結果如圖4所示。

(a)徑向分解(b)周向分解

(c)軸向分解圖4　分區(qū)方案示意圖

將航空發(fā)動機整機FBO模型按上述策略進行區(qū)域分解后，在某超級計算中心集群上計算。徑向分解策略計算耗時67.0 h，周向分解策略計算耗時50.2 h，軸向分解策略計算耗時96.2 h。周向分解策略計算耗時最少，比計算耗時最長的軸向分解策略縮短了50%的計算時間。

如圖4a所示，按徑向分解策略得到以發(fā)動機軸線為圓心的若干類環(huán)形子域。按這種策略分解會導致外層子域計算量高于內(nèi)層子域計算量。脫落風扇葉片與包容機匣的沖擊區(qū)域集中在外層的子域，且外層子域周長較大，易導致外層子域單元數(shù)量較多。按此策略分解后，計算耗時較多。

如圖4b所示，按周向分解策略得到以發(fā)動機軸心為頂點的若干類扇形子域。每個扇形子域的接觸計算和有限元網(wǎng)格數(shù)量相同，各個子域計算量均衡。因此按此策略分解后，計算耗時最短。

如圖4c所示，沿模型軸向分解得到以發(fā)動機中心線為軸線的若干類柱形區(qū)域。位于發(fā)動機整機模型前端的風扇機匣單元數(shù)量多，而風扇葉片與機匣的接觸運算也主要集中在該區(qū)域。因此發(fā)動機仿真模型前端的子域運算量遠大于后端子域運算量，各子域計算量不平衡。按此策略分解后，計算耗時最多。

綜上所述，通過周向網(wǎng)格區(qū)域分解策略得到的子域計算量較為均衡，并行計算耗時最少，是針對航空發(fā)動機整機FBO仿真模型并行區(qū)域分解的最佳策略。

3整機FBO模型計算結果一致性研究

對于航空發(fā)動機FBO仿真而言，計算結果的一致性非常重要，否則會影響計算結果的可信度，甚至對工程設計產(chǎn)生誤導。顯式動力學并行計算中，存在由自動網(wǎng)格區(qū)域分解的隨機性、并行數(shù)值噪聲和并行計算平臺硬件配置差異等導致的計算結果不一致問題[6]。因此在提高并行效率的同時還需要對計算結果一致性的影響因素進行進一步的研究。

本文采用單一因素法測試了區(qū)域分解策略、并行核心數(shù)和計算平臺硬件等因素對計算結果一致性的影響。測試結果如表2所示。

表2　并行計算一致性測試

注：集群A為某超級計算中心集群，集群B為企業(yè)內(nèi)部高性能計算集群。

圖5所示為MPP模式下航空發(fā)動機FBO計算結果中某點位移的時間歷程曲線。5 ms以前，計算結果差異不大；5 ms后，計算結果差異逐漸增大。這說明MPP模式在不同的并行核心數(shù)下的計算結果不一致，并且誤差是不斷累積的。因此MPP模式并不適用于航空發(fā)動機FBO仿真分析。

圖5　MPP模式不同并行數(shù)計算結果

Hybrid模式在自動區(qū)域分解下的計算結果不一致，是因為自動化網(wǎng)格區(qū)域分解在區(qū)域邊界處的分割存在隨機性。采用周向分解策略后，不同并行數(shù)量(圖6)和不同計算平臺下(圖7)的計算結果均一致，因此圖6、圖7中的多條曲線重合。該模式在保證計算結果一致性的前提下，仍然具有較好的可擴展性和平臺無關性，適用于航空發(fā)動機FBO仿真分析。

圖6　Hybrid模式計算結果(8核、16核、32核、64核并行)

圖7　Hybrid模式計算結果(集群A、集群B)

4并行計算配置策略應用

并行計算模式、區(qū)域分解策略會影響并行計算的效率以及計算結果的一致性。針對航空發(fā)動機風扇葉片脫落顯式動力學仿真模型的特點，采用Hybrid模式和周向區(qū)域分解策略，分別在8、16、32、64、128個核心下并行計算，配置策略及計算結果如表3所示。

表3　Hybrid并行計算配置策略及計算耗時

Hybrid模式下128核心并行計算耗時為11 h，與SMP單核心串行計算耗時相比，縮短了97%的計算耗時。應用并行計算配置策略后，縮短了航空發(fā)動機整機FBO仿真的迭代周期，并保證了計算結果的一致性。

5結語

本文針對航空發(fā)動機FBO顯式動力學分析問題，首先比較了SMP、MPP和Hybrid三種模式在不同計算核心數(shù)量下的并行效率，發(fā)現(xiàn)SMP模式效率較低，MPP模式和Hybrid模式計算效率較高。然后，研究了不同區(qū)域分解策略對并行計算耗時的影響，發(fā)現(xiàn)周向區(qū)域分解策略的并行計算耗時最短。最后，對影響并行計算結果一致性的因素進行了測試。在兼顧計算結果一致性的前提下，Hybrid模式更適用于航空發(fā)動機整機FBO數(shù)值仿真計算，該種方式計算耗時顯著縮短，計算結果一致性較好。

參考文獻：

[1]Sarkar S，Atluri S N. Effects of Multiple Blade Interaction on the Containment of Blade Fragments during a Rotor Failure[J]. Finite Element in Analysis and Design，1996，23(2/4):211-223.

[2]宣海軍，陸曉，洪偉榮，等. 航空發(fā)動機機匣包容性研究綜述[J]. 航空動力學報，2010，25(8): 1860-1870.

Xuan Haijun，Lu Xiao，Hong Weirong，et al. Review of Aero-engine Case Containment Research[J]. Journal of Aerospace Power，2010, 25(8): 1860-1870.

[3]范志強，高德平，姜濤，等. 模型機匣的包容性試驗和數(shù)值模擬[J]. 南京航空航天大學學報，2006，38(5)：551-556.

Fan Zhiqiang，Gao Deping，Jiang Tao，et al. Experimental Study and Numerical Simulation of Model Casing Containment[J]. Journal of Nanjing University of Aeronautics and Astronautics，2006, 38(5): 551-556.

[4]于亞彬，陳偉. 模型機匣/葉片的包容性數(shù)值分析[J]. 航空動力學報，2005, 20(3): 429-433.

Yu Yabin，Chen Wei. Numerical Analysis of the Modeled Blade/Casing Containment[J]. Journal of Aerospace Power，2005，20(3): 429-433.

[5]史同承，柴象海，張曉云. 航空發(fā)動機包容性數(shù)值仿真并行計算效率研究[J]. 計算機仿真，2013，30(1)：86-90.

Shi Tongcheng，Chai Xianghai，Zhang Xiaoyun. Research on Parallel Computing Efficiency of Aero Engine Containment Analysis[J]. Computer Simulation，2013, 30(1): 86-90.

[6]鄭恒，柴象海. 風扇葉片脫落機匣包容性仿真并行計算一致性研究[J]. 航空科學技術，2015(2): 68-73.

Zheng Heng，Chai Xianghai. Numerical Study of Parallel Computing Consistency for FBO Case Containment Analysis[J]. Aeronautical Science and Technology，2015(2): 68-73.

[7]Wang J. Hybrid (MPP+OpenMP) Version of LS-DYNA [EB/OL]. Livermore Software Technology Corporation, LS-DYNA Forum，2011. [2015-12-01] http://www.dynamore.de/de/download/papers/forum11/entwicklerforum-2011/wang.pdf.

[8]Hallquist J O. LS-Dyna Keyword User’s Manual[EB/OL]. Livermore Software Technology Corporation, Version R7.1,2014.[2015-12-01]http://ftp.lstc.com/anonymous/outgoing/jday/manuals/LS-DYNA_manual_Vol_I_R7.1.pdf.

(編輯張洋)

Study on Parallel Computing Methods for Aero Engine Fan Blade off Simulation Analyses

Hou Liang1,2,3Zhang Xiaoyun1Wang Zhiqiang2,3Chai Xianghai2,3

1.Shanghai Jiao Tong University,Shanghai,200240 2. AVIC Commercial Aircraft Engine Co.,Ltd.,Shanghai,201108 3.Chinese Aeronautical Establishment Shanghai Branch,Shanghai,201108

Abstract:To solve the numerical simulation problem of fan blade off in aero engine, the effects of parallel mode and grid domain decomposition strategy on computing efficiency and consistence were analyzed herein. An optimal strategy for domain decomposition and parallel mode configuration was proposed to satisfy the computation consistency requirements. The superiority of the strategy was verified by a practical engineering case.

Key words:aero engine；fan blade off；parallel computing；consistency

收稿日期：2015-02-03

基金項目：國家自然科學基金資助項目(51205377)；上海市自然科學基金資助項目(13ZR142230)

中圖分類號：V231.91

DOI：10.3969/j.issn.1004-132X.2016.03.018

作者簡介：侯亮，男，1987年生。上海交通大學機械與動力工程學院碩士研究生，中航商用航空發(fā)動機有限責任公司設計研發(fā)中心工程師，中國航空研究院上海分院工程師。主要研究方向為航空發(fā)動機包容性與外物吸入損傷試驗與仿真、顯式動力學分析與應用。張曉云，男，1975年生。上海交通大學機械與動力工程學院副教授。王志強，男，1971年生。中航商用航空發(fā)動機有限責任公司設計研發(fā)中心高級工程師、博士，中國航空研究院上海分院高級工程師。柴象海，男，1979年生。中航商用航空發(fā)動機有限責任公司設計研發(fā)中心高級工程師，中國航空研究院上海分院高級工程師。