Platform LSF軟件在高性能計算集群中的實施與應用

黃 強

（洪都航空工業集團，江西 南昌330024）

0 引言

隨著IT技術與計算機模擬仿真技術的突飛猛進，在飛機制造工業中，產品的設計、制造、測試的過程越來越多的由計算機虛擬化的設計、模擬、測試，甚至產品的整個制造過程都可由計算機來仿真和模擬，這大大提高了產品的研制周期、提高了產品質量同時又大量地節約了制造成本。 但是這種技術的應用是依賴于IT計算機軟/硬件資源的， 由于傳統的信息系統的局限性導致資源分散， 無法共享從而影響了產品的協同設計與制造。 解決高性能計算分布資源的共享與協同工作成為企業亟待解決的問題。

1 航空制造行業中高性能集群系統應用現狀分析

隨著現代航空技術和數字化設計技術的發展，在飛機研發的手段上也在不斷更新。 加強氣動彈性靜力學問題計算分析能力， 可使用靜氣動彈性計算軟件平臺AS/ElasticLoads； 為提高飛機氣動力計算分析的能力， 可選FLVENT、 LFX、 Ansys等軟件； 為進行結構優化和動、 靜力學分析和仿真可選用Nastran、 Dyan等軟件， 應用軟件實例見圖1。

這些軟、硬件的引進與應用，為飛機的研制發揮了重要作用， 也在研制中逐步建立和提高了數值計算分析及仿真的能力。 但是仍存在一些問題。

圖1 應用軟件實例

1.1 并行作業的CPU分配問題

應用人員在運行并行作業前,必須進入程序手工為作業分配CPU,并且往往因為各種原因失敗,如CPU被其他作業占用,許可證不夠等,應用人員往往要花費數分鐘甚至數十分鐘,才能讓作業運行,大大降低了工作效率。

1.2 應用程序運行沖突問題

由于缺乏統一的管理和協調,不同用戶的作業經常出現沖突,大大降低了雙方作業的執行效率,例如當一個用戶的Fluent作業在一臺機器上運行的時候,另一個用戶在不知情的情況下在該機啟動了網格生成軟件或CFX,這樣兩個用戶的作業會因為撞車而導致作業執行速度下降,運行時間長。 進而導致系統和許可證的無效占用,作業運行成本提高。

1.3 資源的綜合使用率問題

硬件資源往往在上班時間使用率較高,晚上和周末使用率較低。 用戶雖然采取了一些措施,如在下班前運行一個作業,但由于缺乏有效的作業排隊管理機制,無法從根本上解決問題。

1.4 優先級管理問題

由于沒有優先級調度管理,緊急的項目和用戶自動優先獲得資源,往往要通過人工協調,影響工作效率。

2 Platform LSF的設計思想及目標

為了解決高性能計算集群硬件資源和CAD/CAE軟件許可資源的共享和管理， 以及虛擬樣機設計與仿真、結構分析、氣動力計算等，需建立一個高安全、高可擴展、 易管理的軟件管理及高性能計算機群系統， 該系統將用于運行工程分析軟件：AS/ElasticLoads、 FLUENT、MGAERO、CFX11、Nastran、Dyan、Adams、Dytran、Fatigue、ANSYS等，并對工程設計和分析軟件許可證進行統一的管理調度， 提高并行、高效、可靠的計算硬件支持。

結合上述需求并把高性能和協同結合在一起，采用了Platform LSF軟件。

2.1 性能調優

針對目前的應用，改善軟/硬件的配置，達到應用程序的最優化。

2.2 機集群系統建設

通過引入機群管理和作業調度系統， 解決多作業， 多用戶情況下的計算機資源分配和使用優化問題，提高資源的利用率，提升系統的吞吐量。

2.3 航空制造業網格建設

在機群系統上，建設企業的網格系統，通過網格技術實現各場所計算資源的共享， 如許可證和高性能服務器等的共享， 并同時保證雙方對各自資源的所有權， 即各自的資源在不用的時候可以被對方使用，一旦需要的時候又可以立刻回收資源的使用權。這樣，即提高了企業資源的總體利用率，又提高了可用資源的數量，擴大了雙方的計算能力。[2]

2.4 期望的目標

1) 統一管理軟件許可證和計算機服務器資源，通過調度優化，提高資源的使用率。

2) 加強對用戶作業的管理和控制， 從而保證資源使用上的公平合理性。

3) 提供一套基于Web的用戶端接口， 方便用戶使用高性能計算相關的軟硬件資源。

4) 提供一套客戶端工具， 實現對在用戶桌面機上運行的應用程序集成， 方便交互程序的執行和管理，以及相應使用許可證的調度和控制。

5) 提供方便開發的SDK， 實現用戶化的擴展和定制。

6)為IT資源的綜合管理建設一個良好的、可擴展的體系架構。

3 Platform LSF系統的體系架構

整個系統將向用戶提供三種訪問方式， 即用戶可以通過瀏覽器、 命令行和桌面應用程序集成管理平臺（DAM Client）,訪問許可證和計算機資源。 系統將配置兩臺Linux管理服務器， 一臺作為主節點用于LSF、License Scheduler、DAM服務；另外一臺作為容錯節點，當管理員節點發生故障時，自動切換為管理節點，以提供更高的可靠性。 另外還將配置一臺Linux服務器運行LSF Perf Report報表服務， 提供統計分析報表。[1]

3.1 總體規劃（圖2）

圖2 總體設計規劃

3.2 技術方案及應用特點

通過引入機群系統， 主要解決了企業內部計算機資源管理、分配以及調度問題，并將目前大量需要手工或人工干預的工作全部通過機群管理系統自動完成，由此既可提高人員的工作效率，又提高了計算資源的使用率和利用率。 Platform LSF提供的一系列先進功能，可以有效解決目前許多應用問題。

1)LSF支持根據當前系統負載動態為并行程序分配CPU， 并且LSF與包括Fluent和Nastran在內的許多商業應用程序集成， 可自動為這些程序分配CPU。LSF還提供CPU范圍的功能，可根據當前Fluent可用許可證的數量動態分配CPU。

2）LSF可設置CPU獨占。 此功能程序可獨占所使用的CPU，從而避免與其他程序或作業沖突。

3）系統可支持的用戶數量不受限制， 相互之間互不干擾。 所有用戶提交的作業通過LSF作業調度系統進行統一管理和調度。

4）LSF提供優先級管理功能，可以保證重點項目和用戶的資源使用。

3.3 Platform LSF軟件的功能分析

整個系統的管理方案的體系結構如圖3所示，從圖中可以看出，本方案從用戶訪問、資源管理到后端的資源使用分析，提供了一整套解決方案。

圖3 體系架構圖

3.3.1 交互性質的應用

在高性能計算中，有些軟件如：有限元網格前后處理軟件Patran等。 這類應用主要使用用戶桌面機的圖形能力，對計算性能要求不高，使用過程中需要大量交互，因此最適合在用戶的桌面機上運行，但從服務器遠程申請許可證。 針對該類應用，基于本方案的使用過程如圖4所示。

另外，為了方便用戶使用，Platform專業服務還可以為用戶提供一套應用程序統一管理的桌面應用程序管理器(DAM)， 用戶可通過該管理器啟動應用程序， 管理器自動為用戶應用程序打包， 并自動與License Scheduler服務器連接實現許可證管理和調度功能。

圖4 服務器調度

3.3.2 批處理性質的應用

CFX，Fluent，Ansys，Nastran等。 這類應用對計算性能要求高，多數運行在后臺，用戶提交作業后基本不需要交互， 因此最適合在計算中心的高性能計算服務器上運行， 用戶只需要從桌面機上通過命令行或Web 方式提交作業和進行一些必要的控制和管理。 用戶操作界面見圖5。

圖5 用戶操作界面

在整個計算過程中，用戶可對作業進行控制，執行如掛起、終止等操作，通過簡單命令或操作查看作業執行的中間結果。 并且通過一定的配置，作業的最終結果可以直接從Web界面下載。

4 結論

高性能計算集群Platform LSF軟件實施和應用，對現在所面臨的問題逐一給出了相應的措施。 解決了傳統計算方式所帶來的諸多問題。

1）提高了高性能計算的工作效率， 讓員工更專注于專業；

2）提高了資源的利用率和作業的處理能力；

3）優化了系統的性能，縮短作業的執行時間。

4）增加了計算資源的總量， 提高求解大型計算問題的能力。

使得在物理上分散的資源， 可以通過網格技術邏輯上集中在一起，相互共享，統一調度和管理，從而形成一個虛擬的“資源池”，提高可使用的資源總量，從技術上解決目前計算資源普遍短缺的現狀。

[1]車靜光，微機集群組建.優化和管理[M].北京：機械工業出版社，2004.

[2]陳國良.并行計算—結構.算法.編程[M].北京：高等教育出版社，2004.