CAE高性能計算平臺解決方案

胡茹

摘要：目前在航空、航天、能源動力等工業領域，利用 CAE 進行反復設計、分析、優化已成為標準的必經步驟和手段。不同的CAE 應用程序對硬件資源例如處理器、網絡和存儲的要求各不相同，本文分析了CAE高性能計算平臺的需求和挑戰，提出了CAE高性能的主要解決方案，以供參考。

關鍵詞：CAE 高性能 計算平臺

中圖分類號：TP338 文獻標識碼：A 文章編號：1007-9416（2016）06-0227-01

1 CAE高性能計算平臺的需求和挑戰

計算機輔助工程（CAE，Computer Aided Engineering）是用計算機輔助求解復雜工程和產品結構強度、剛度、屈曲穩定性、動力響應、熱傳導、三維多體接觸、彈塑性等力學性能的分析計算以及結構性能的優化設計等問題的一種近似數值分析方法。CAE從60年代初在工程上開始應用到今天，現已成為工程和產品結構分析中（如航空、航天、機械、土木結構等領域）必不可少的數值計算工具，同時也是分析連續介質力學各類問題的一種重要手段。

2 CAE的主要步驟

CAE 應用程序基本可以分成兩大類，一類是共享內存應用程序，一類是分布式內存應用程序。其主要有三個步驟，第一步是建模亦即前處理，通常在工作站上進行；第二步是求解過程，這是至關重要的一步，需要占用大量的CPU、內存資源以及存儲空間，通常是在高性能計算機上完成。這個過程涉及到的軟件有Fluent、Ansys、Nastran、Ls-Dyna等；第三步是后處理過程，對計算結果進行處理分析，通常也是在工作站上完成。CAE計算的核心內容是高性能計算。為了使高性能計算機系統能夠更好的滿足CAE應用軟件的需求，需要對主流CAE軟件進行深入分析。

3 CAE高性能的主要解決方案

通過對CAE軟件的分析我們可以了解到，對于大部分CAE應用，對于節點間并行MPI支持非常好，適合在雙路計算節點上運行，做通用計算，而部分CAE軟件對內存的需求比較高，則適合在胖節點上用OpenMP方式來計算，因此我們推薦大內存的四路或者八路服務器作為集群胖節點。通過對于CAE應用性能的專業化分析和匯總，提供針對化的解決方案。在高性能應用集群主要解決CAE軟件應用中的一下幾個主要問題。

3.1 工作站解決方案

主要用于前后處理方面的工作，用于網格劃分和可視化顯示。由于對于服務器顯示和處理能力的要求都比較高，因此我們推薦使用帶有專業級顯卡的工作站配置。

3.2 計算節點解決方案

顯示算法和隱式算法對計算能力的需求不用，方案配置了雙路節點，適合于分布式內存的顯示計算和流體軟件CFD的計算，配置了多路胖節點適合于共享內存的隱式計算。不同架構的設計體現針對化專業化的解決方案。

3.3 網絡帶寬問題解決方案

在大型CAE軟件應用中，并行化對于網絡延時和帶寬的要求很高，因此要根據需求配置了以太網交換環境或者更快的40Gb的Infiniband網絡，滿足所有節點無阻塞的計算交換需求，網絡延時低。

3.4 存儲帶寬問題的解決方案

部分CAE軟件在計算過程中，會產生大量臨時文件，一個優秀的存儲系統能夠滿足軟件對于網絡帶寬的需求。浪潮不僅可以提供了專業級的直連存儲，更有8Gb接口的光纖存儲系統，通過專有的存儲節點構建Lustre并行文件系統，接入以太網，甚至40GB的Infiniband網絡，不至于出現CPU等待數據計算的情況，大大提高了計算效率。

4 解決方案的注意事項

4.1 計算系統緊密結合客戶應用

在高性能系統設計的過程中要充分考慮CAE客戶典型應用，針對客戶應用定制化開發系統。針對隱式有限元分析應用浪潮配置胖節點，可選八路胖節點；針對流體類應用配置雙路主流計算節點，針對前后處理可選圖形工作站，塔式、機架可選；存儲方面可提供NAS存儲、光纖存儲、IB SAN存儲等方案，對于IO帶寬需求特別高的場合，可以配置性能較好、兼容性較高的并行文件系統。

4.2 完善互聯系統

管理網絡采用萬兆為主干的千兆線速網絡，可開辟對教育網/公網的獨立IP，實現廣域網用戶登錄使用集群；IPMI網絡采用非線速千兆交換機，互聯所有節點，管理員通過辦公用機可實現集群的帶外管理；KVM本地監控網絡通過菊花鏈方式，最多實現960臺計算機的KVM監管；計算網絡采用IB網絡全線速互聯，帶寬達到56Gb/s，延時1微秒內，充分保證計算中間數據交互。

4.3 確保調度系統先進高效

集群管理軟件要通過瀏覽器（IE，firefox等）進行操作，全面實現集群的監控、管理、報警的軟件，用戶通過ClusterEngine圖形界面提交自己的科學計算任務，ClusterEngine會根據集群中的資源使用情況和作業的資源要求數量來合理的調度用戶提交的作業，從而達到提高資源利用率和作業的執行效率的作用。ClusterEngine還可以為集群管理員統計作業的資源消耗情況和用戶的資源使用情況，并生成報表，為集群管理員優化系統提供依據。

4.4 確保集群系統綠色節能

所有節點盡量采用80PLUS高效電源，提高電源轉換效率，降低用戶運維成本。結合Cluster Engine節能組件，可以自動將空閑資源設置為待機或者關機狀態，整體節能至少會降低20%。

5 結語

自二十世紀六十年代以來CAE技術得到飛速發展，其原動力是不斷增長的工業需求，這其中航天航空、能源動力等領域是其發展的強大的推動力。如大型復雜飛行器結構的流-固耦合計算，涉及計算空氣動力學、計算燃燒學、計算傳熱學、計算結構力學等眾多學科，目前CAE已成為航空、航天、能源動力等工業領域不可或缺的研究手段。CAE高性能計算平臺的建設，對于企業生產目標的實現，有核心的基礎技術支撐作用。

參考文獻

[1]艾菊梅，陸玲，陸鋼.動態信息處理技術的研究[J]；東華理工學院學報，2005年04期.

[2]王彬，許卓群.網格環境下的作業運行支持系統分析[J]；計算機應用研究，2007年02期.