基于INTESIM5.0的氣缸體靜力學大規模分布式并行計算

劉天成 張群 代民果 宋德健

（英特工程仿真技術有限公司，大連 116000）

主題詞：工業仿真 有限元 并行計算 億級網格 發動機氣缸 計算機集群

1 引言

汽車CAE貫穿于汽車研發設計的整個流程，CAE復雜度高、計算量大，對并行計算有很高要求。缸體作為汽車發動機主體結構，幾何結構越來越復雜。現代缸體結構在傳統結構基礎上，大多增加了油泵殼體、水泵殼體和各種回油道結構。其凸臺根部、孔洞邊緣等倒角、倒圓處會產生應力集中，水套底部拐角等處容易出現結構設計上的應力集中。對此有很多基于ANSYS、Altair等CAE仿真工具的相關研究[1-5]，但普遍存在計算模型偏小，計算準確性仍有不足的問題。從有限元數學分析的角度看，在缸體薄壁、孔洞、結構過渡的關鍵區域布置充分細的網格，是缸體全模型精細化分析的關鍵，也是確保其結構可靠性耐久性的重要手段。這對計算提出了巨大挑戰。隨著計算技術的發展，使得對缸體全模型進行億級網格建模，利用超級計算集群求解數千萬自由度的力學模型成為可能。

近年來，英特工程仿真技術有限公司開發的INTESIM5.0等國產CAE軟件在功能、精度以及高性能計算方面取得長足進步，不僅可以覆蓋ANSYS和Altair等國外商業軟件的絕大部分應用領域，而且在大規模并行計算具有獨特優勢，比如完全基于分布式內存的高速I/O和并行預處理，有更大的并行計算規模等。本文采用國產工業仿真軟件INTESIM5.0，對某缸體分別建立26萬個網格單元、100個萬網格單元、1億個網格單元的3個CAE模型進行靜力學仿真分析。首先基于26萬個網格單元模型，比較INTESIM與某商軟計算結果，以驗證INTESIM計算結果的正確性。然后通過INTESIM 3個CAE模型計算結果對比，驗證對于缸體這樣的重要零部件，進行精細化建模分析的重要性和必要性。

2 缸體有限元模型

缸體基本結構和材料參數如表1所示。

如表2所示，建立3個有限元網格模型，網格數量最多達到1億7百萬個。

3 INTESIM計算精度驗證

INTESIM-Structure結構分析模塊是其核心產品之一，是技術領先的自主研發結構力學分析工具，具備強大的分析功能和豐富的模塊配置，能夠模擬復雜的固體力學問題，特別是結構高度非線性問題，包括幾何大變形、材料非線性、接觸非線性問題。目前主要支持結構穩態線性和非線性分析、瞬態分析、模態分析、轉子動力學分析、特征值屈曲分析、諧響應分析、響應譜分析和隨機振動分析。

對于模型2，分別使用INTESIM和某商業軟件在Windows系統上進行單機模擬，均采用直接法求解，計算所得合位移大小的空間分布分別如圖1所示。

圖1 合位移大小的空間分布

從圖1中對比結果可以看到，模型下部位移幅度較小，上部位移幅度較大，受直接支撐部分的位移幅度較小，受側面支撐部分的位移幅度較大，符合客觀規律。兩者合位移大小的最值基本相等，空間分布規律基本一致，相對殘差均約為10-11。由此INTESIM仿真計算的正確性得到驗證。

4 INTESIM大規模并行計算

INTESIM-HPC高性能求解模塊是面向高性能計算硬件和大型CAE模型仿真需求開發的高級功能。采用網格重疊一層的ghost技術。計算區域劃分后相當于把總體矩陣按行分配到每個處理器，每個子域內的單元分析和總體矩陣的形式都是完全并行。在對整個結構分區的過程中，同樣可以對邊界進行分區施加，因此形成右端向量以及約束處理也可以完全并行實現。這樣，系數矩陣和右端項都分布存儲在各個處理器。這種數據的獨立性，還可通過并行輸入/輸出（I/O）進一步提高程序性能。獨特的分布式并行排序算法，使得多物理場仿真高性能計算（High Performance Computing，HPC）的數據預處理完全基于分布式內存，具有很好的載平衡，因此無需單獨的胖節點，直接在計算節點即可完成億級網格規模的預處理[6-8]。另一方面，數據常駐內存，這一階段不存在硬盤I/O，省去數據文件的多次讀寫和胖瘦節點間轉移，可以迅速進入求解迭代循環。

對于模型3，使用INTESIM在神威·太湖之光的商用計算系統的q_x86_vio_share隊列，使用25個計算節點（每節點16核）進行了強擴展測試（表3）。圖2展示了加速比S及并行效率E與進程數n的變化關系。

表3 強擴展測試

圖2 加速比與進程數的變化

計算系統的CPU為Intel(R)Xeon(R)CPU E5-2630 v3@2.40GHz，求解方法采用共軛梯度法迭代求解。隨著并行規模增加到400個進程，數據粒度不斷減小，通訊時間消耗不斷增加。如果以25個進程定基，400個進程的并行效率不低于30%，基本滿足大規模并行計算要求。

為了適配不同計算隊列，在q_x86_cn_sim隊列上，還進行5節點120核測試。圖3為120進程時以矩陣表達的通信結構，共有870個非零位置，在這些位置上，進程將觸發通信。通信矩陣的特點是主對角位置均為0，表示進程自身與自身不發生通信。

圖3 120進程時通信結構矩陣

應當指出，實際收發的字節長度為每次通信收發字長的累加，約等于ghost網格點總數乘以每個網格點上所需交換的變量個數，以及整型字長（4字節）或實型字長（8字節）。本例中，ghost網格點總數為2 169 874個，若交換4個實型量，總字節長度就超過1億字節，通信量非常大。如何隱藏通信，提升并行計算效率，是另一個需要研究的方向。

圖4是該模型被劃分為120個分區的效果圖。

圖4 缸體并行計算區域分解

圖5給出了120進程計算得到的合位移大小空間分布?？梢?，其分布規律與第3節中的結果一致。不同n值對應的結果相一致，不再詳細描述。

圖5 合位移大小的空間分布（n=120）

5 不同網格計算結果對比

表4給出了使用INTESIM分別求解模型1～3得到的合位移大小最大值和馮米塞斯（Von Mises）應力最大值。

表4 模型1～3的位移和應力最大值

由此可見，隨著網格規模的增大，合位移大小最大值和Von Mises應力最大值均增大。這是因為有限元數學處理是基于空間離散、分片連續和細化的網格，提升了計算求解的逼近程度。從而使得應力集中處的計算結果更加靈敏、精確，導致測得的最大值增大，并伴隨最小值減小。如果以模型3計算結果為基準，模型1的位移最大值誤差為20.7%，Von Mises應力最大值誤差為5.8%；模型2的位移最大值誤差為9.0%，Von Mises應力最大值誤差為2.6%。這些誤差足以對設計優化和后續其它分析產生影響，如高估使用壽命和強度極限。

6 結論

使用國產INTESIM5.0軟件的INTESIM-Structure結構分析模塊，對某缸體小規模有限元模型、中等規模有限元模型和超大規模有限元模型進行靜力學分析。與億級網格的超大規模模型計算結果相比，小規模模型和中等規模模型的位移和Von Mises應力存在較大誤差。這個誤差可能對缸體設計優化和后續的其它分析帶來比較負面影響。超大規模并行計算實現了以低時間成本獲得高精度仿真結果，對提升發動機缸體的可靠性、耐久性的結構優化設計效率作用顯著。汽車其它零部件也應盡可能建立精細有限元模型，借助高性能計算，分析出更精確的結果，提出更準確的設計評估。

后續還將采取多種措施，稀疏矩陣分塊求解技術、通信隱藏技術和細粒度數據的線程加速技術，進一步提高大規模并行計算效率。