高性能計算處理集群部署應用研究

何蕓?楊敏?許濤?景少軍

摘要：鑒于高密度、高精度地震采集數據量、處理計算量幾何級增長，使處理集群高性能計算和存儲資源緊缺。為滿足油氣勘探需求，擴充數據處理能力。引進部署國產自主安全可控的海光集群，利用xCAT等技術批量部署集群節點，組建高速以太網交換網絡，部署Gridview綜合系統實現集群高效監控管理，搭建高性能計算處理集群環境，提升海量數據處理能力建設。

關鍵詞：Gridview；xCAT；LINPACK；作業管理

一、前言

海光高性能集群部署滿足了以密集計算為特征的地震資料處理新方法及其高性能計算集群運行平臺需求，適用于處理復雜地質目標研究。高效部署運維處理集群需建設綜合運維管理體系，提供契合勘探科研需求的專業應用軟件配置、調優、維護及管理。如何研發集群應用軟件高效部署、作業靈活調度等運維管理軟件，搭建高速網絡，將提高集群數據算力能力建設作為技術研究方向及重點[1]。

二、Gridview集群綜合管理系統

集群綜合管理系統對運維系統管理員來說至關重要，它能實現集群資源使用情況的統一監測與管理、各個計算節點的統一配置與維護、操作系統的統一部署與配置，降低集群管理復雜度，保障集群系統持續為地震資料處理與解釋提供穩定、可靠的計算服務[2]。

Gridview綜合管理系統具備集群統一監控、集中管理、多集群綜合管理、IPMI帶外硬件管理等功能。全方位狀態監控功能提供機群總體運行狀態視圖、機群總體IO狀態視圖、機群實際物理拓撲視圖以及多項性能視圖，用戶可直觀地監控當前機群系統運行情況。機群管理功能提供了從IP管理、Hosts管理、進程管理、服務管理到并行命令、關機管理、節點管理、用戶/組管理等機群管理功能，有效解決了大型機群管理的復雜性，保證了機群管理的擴展性、可靠性、自主性。

另外，Gridview綜合管理系統建立了系統健康標準基線，應定期線上、線下巡檢，建立數字化信息健康基準。系統可及時、準確采集系統數據，聚合告警通知，具有多樣的通知方式。系統可以一鍵顯示異常作業和節點、多維度快速排查集群異常、快速定位查看作業狀態、支持多級指標關聯分析、快速定位性能瓶頸智能分析作業性能、主動推送異常告警。系統還可以面向業務運維，實現全局業務拓撲、主動預測故障發生、構建自動化運維能力，提升業務持續運行能力，幫助客戶構建運維可視化和數據分析挖掘能力，實現精準化、智能化運維。

Gridview主要功能分為作業提交與調度、監控管理、用戶管理，以及其他一些與HPC集群和應用相關的功能需求。

（一）作業提交與調度

Gridview自主可控，支持異構的調度核心，提供統一的調度管理。調度策略靈活：支持GPU、“公平共享”“動態作業優先級”“節點獨占”等。容錯處理穩定可靠：作業斷點續算、計算節點狀態自檢、殘留進程自動查殺、作業異常處理自定義。應用Portal：提供應用的部署、發布與訂閱，ABAQUS、ANSYS、CFX、Fluent、LS-DYNA等幾十種預定義Portal，簡化作業提交，提供定義的開發規范和模板，支持定制化和自定義開發。

（二）監控管理

對集群進行監控、管理，展現集群實時運行狀態，動態顯示監控信息，永久保存歷史告警信息，實時提供告警及統計分析，秒級采集響應。系統可提供各種監控指標的自定義功能，以熱圖的方式展現集群中節點的性能指標，檢測性能瓶頸和熱點，管理、監控、作業、云桌面一切盡在掌握之中。

（三）用戶管理

隨著網絡安全越來越受到用戶的重視，根據需求將系統管理員劃分為三個角色，實現管理員權限分離，并提供三種管理員不同的管理角色分工，分別是：

系統管理員：配置系統運行參數，賬戶和賬戶組的創建、刪除、修改、查詢和導入；

安全保密管理員：賬戶授權與管理，查看系統管理員和安全審計員及用戶操作日志，監控操作行為；

安全審計員：查看系統管理員和安全保密管理員及用戶操作日志，對系統管理員和安全保密管理員的操作行為進行審計分析。

用戶管理功能建立了統一的用戶管理和認證體系，整合了支持本地用戶、NIS、LDAP、AD等多種認證系統，對管理員和用戶提供了統一的使用和管理接口，支持用戶的添加、用戶查詢、修改密碼、導入導出等功能 。

（四）數據管理

對于整個集群來說，所有節點均使用同一套計算存儲，數據在集群內共享，同時支持設計集群和仿真計算集群數據共享，權限共享，可以實現云端數據共享，權限限制，使得用戶在設計集群和仿真計算集群之間無縫銜接。支持普通用戶和管理員的數據管理功能，支持瀏覽器方式文件傳輸（E-File）和客戶端方式文件傳輸（快傳），確保用戶間數據隔離與私密性。系統支持多用戶間資源隔離，資源僅對資源的擁有者或者被擁有者賦予權限的其他用戶開放訪問。數據隔離和私密性會降低系統數據的交換，系統支持數據共享，用戶可以將自己有權限的數據分享給其他人。系統支持邏輯隔離、物理隔離等多種數據隔離方式及隔離策略。

（五）作業管理

系統具有豐富的作業管理功能，Web界面下呈現各種作業信息、統計信息，完成作業提交、查看、控制等操作。用戶提交作業后，需要查看歷史作業，找到自己需要查看結果的作業信息并查看作業狀態。若作業為正常完成，則可以在作業詳情頁面中查看日志輸出，并下載結果文件；若作業為異常結束，則支持查看錯誤輸出，進行作業腳本的調整并再次提交運行。

平臺提供狀態視圖統計集群作業運行和節點信息。采用圖表直觀地統計并顯示集群當前用戶的實時運行作業狀態、節點狀態、核心狀態、用戶狀態、隊列狀態，方便用戶了解當前作業的情況和資源使用情況。通過熱圖形式查看集群整體節點和作業情況。系統管理員需要掌握調度系統管控的各個計算節點的作業占用核心情況，用不同的顏色標識已占用節點（滿核心運行作業）、混合節點（部分核心運行作業）、空閑節點（無作業運行）、下線節點（節點狀態為drain）、不可用節點（停機節點）等不同節點狀態，可以宏觀把控整體集群的利用率。

綜合應用Gridview系統，以系統管理人員需求為導向，集群監管模塊化的管理模式、直觀的全方位狀態監控、集中的資源管理操作、實時多樣的告警管理、強大的作業調度有效提高了系統管理效率，降低了運維成本，實現了集群節點的全方位管理。

三、基于xCAT批量集群部署

勘探處理架構節點復雜，軟硬件用戶平臺各異。因勘探需要，軟件大規模遷移工作增多，傳統的軟硬件各自獨立運維導致安裝部署時間長，缺乏統一資源調度和集中管理，節點利用率低，缺乏共享，難以滿足勘探快速部署需求。計算節點為處理地震資料、處理解釋應用提供了強大的計算資源，用于處理用戶發送的處理作業。軟件及數據庫節點主要用于部署相關軟件與數據庫系統，為專業地震數據處理與解釋系統提供數據存儲支持。為高效、快速批量部署集群節點，實現節點統一管理和故障診斷，設備納管、設備配置、固件升級、設備監控、OS部署等全生命周期的管理能力幫助系統管理員提高運維效率。

首先，分析不同處理應用平臺特點，對數據庫節點、軟件安裝節點、交互節點、計算隊列節點、管理服務器等集群節點進行分類，為每類節點制作特定的操作系統和軟件鏡像文件并統一管理。其次，利用多種子點P2P快速分發技術，多臺服務器同時復制指定鏡像，實現系統快速部署。最后，利用遠程批量參數文件修改技術，實現集群大量節點批量軟件功能定義[3]。

xCAT工具軟件是自動化部署、彈性擴展和管理裸機服務器和虛擬機的開源工具，它為HPC集群、渲染農場、網格等基礎設施，以及云、數據中心等提供全面管理。作為一個開源的、可擴展的高級集群管理和配置工具，允許使用者通過一個單點控制和管理一個集群系統。

xCAT是基于客戶機/服務器架構的應用程序，客戶端和服務器端的通信主要由管理節點上運行的xCATdaemon（xcatd）來控制。當管理節點上的xcatd接收到計算節點發送過來的用XML封裝的命令時，它將通過ACL（Access Control Lists）來判定發送者是否有權限執行這些命令。此外，xcatd在安裝、配置計算節點和各個節點重新啟動的時候，還會收集各個節點發來的狀態和資源信息[4]。整個系統架構如圖1所示。

xCAT具有多種集群管理和部署功能，主要包括：批量安裝OS、批量部署無盤系統、節點配置信息管理和同步批量管理節點并行執行命令等。此文檔中使用的主要功能是采用xCAT批量啟動無盤系統，并且在無盤系統中進行節點硬盤鏡像與恢復，通過此方法可以快速進行硬盤鏡像恢復，部署操作系統。

四、組建高速以太網部署

網絡系統將各個計算節點、軟件及數據庫節點、集群管理系統、存儲系統進行高速互聯，構建高帶寬、低延時的無阻塞互聯網絡，滿足大容量地震資料與數據快速訪問與交換需求。主干核心網絡使用多通道高速100G鏈路，接入層網絡是25G鏈路，為滿足有效提升端口密度、較低部署成本的需求，組建“葉脊”網絡架構，具有更好的性價比和可擴展性，并且能夠為每個計算節點提供公平、無阻塞網絡訪問能力，更適合勘探處理集群這種高通量集群組網需求[5]。

五、模塊化機房建設方案

集群系統“局部高熱”和“高品質大容量電能需求”是集群建設必須重點攻關的技術難題。勘探處理集群經常需要上百個節點同時長期全速完成計算工作以及配套的巨量存儲系統，高速運行加劇了攻關難度。為了有效降低能耗的空調變頻技術，制定了“在集群機架行列間插水平送風制冷排機柜并封閉冷通道，利用格柵地板和地板下冷風格擋阻擋集群設備外放熱空氣對其他計算機設備影響”的模式，應對勘探處理集群制冷難題。供配電方面，選擇從集中UPS系統上直接鋪設大容量供電電纜直通機柜PDU的模式。為有效減少供電線路鋪設數量和供電連接點數量，放棄目前業界最常用的供電列頭柜方案，借鑒“供電母排”的概念確定“柜頂供電小母線”模式。為進一步減少線纜對地板下冷通道的阻擋，放棄長期沿用的“下走線”布線，選擇柜頂“上走線”布線模式部署供電線纜和網絡連接線纜。

通過多類別、多項技術研究，為勘探處理集群場地、保障環境建設制定了適宜的技術路線，采用了動力環境統一監控系統的模塊化機房建設方案，為地震勘探處理集群擴充搭建了最適宜的硬件環境。

六、利用LINPACK衡量性能

依據現有地震勘探處理應用軟件模塊運行特點，歸納常規處理和偏移處理兩大類應用下不同處理方法，適應模塊的資源需求特點以及處理員使用的作業模式，配置適宜的不同類型集群計算節點、網絡互聯技術、存儲技術，并以不同配比組合形成了適用于勘探處理集群的硬件平臺。在應用軟件運行環境約束條件下，高性能LINPACK（HPL）測試、理論浮點峰值（Rpeak）、組網測試3個關鍵性能測試領先國內石油行業。

LINPACK是常用的CPU性能測試程序。它通過計算雙精度線性方程組的求解來測試CPU的運算能力。Intel MKL提供一個優化版本的Intel Optimized LINPACK Benchmark，通過運行這個程序，可以方便地進行CPU的基準性能測試。Intel Optimized LINPACK Benchmark根據HPL優化后的程序，以及用戶指定的參數生成一個線性方程組，通過方程的求解時間與計算量，來計算CPU的浮點性能。理論浮點峰值＝CPU主頻×CPU每個時鐘周期執行浮點運算的次數×系統中CPU數。對34個集群節點進行單機LINPACK測試的結果見表1。

實測單機Linpack效率最高為80%，最低為79%，60個計算節點的單機效率平均值是79.8%。各節點運行效率正常，且表現穩定。

七、構建集群運維體系

有別于通用高性能計算集群運維，勘探處理集群運維更關心處理軟件運行狀態，關注專業軟件運行測試和參數調優。運維人員不僅要精通計算機運維，還要了解地震勘探處理工作原理和軟件模塊操作方式，需要以勘探人員視角觀察應用平臺運行狀態，模仿科研人員發送處理作業，觀察集群對作業指令的回應和支持情況，對出現的問題給出專業化解釋和解決辦法。集群運維以用戶需求為導向，借鑒IT 服務管理，結合集群運維技術和協同管理平臺技術，圍繞處理員和系統管理員，以知識管理為核心建立了集群運維體系，減少日常管理事務性工作的精力消耗。集群狀態提取、展示和分析功能實現可視化、自動化，結合協同平臺運維流程管理的建立使得運維管理工作有據可查，逐步形成運維知識管理體系，保障處理集群高效穩定運行。

八、結語

依據地震勘探數據處理方法和新方法發展及技術實現，從滿足現階段勘探精度需求出發，綜合分析研究各種高性能計算業界先進技術，從集群架構技術路線、集群管理調度到云計算、邊緣計算、遠程終端應用、本地胖節點應用等多類別特性技術實現中，搭建適用于地震勘探處理應用的高性能計算集群系統。通過多種軟件工具高效融合應用，“以軟定硬”，調整集群節點、存儲、網絡等各環節參數配置，建設一體化綜合管理平臺，持續助力油氣勘探重大發現。

參考文獻

[1]楊敏，郭清順，何海濤.基于MPI常用海洋數值模式并行處理的研究[J].實驗技術與管理，2011，28（05）：257-259.

[2] 謝希仁.計算機網絡：第五版[M].北京：電子工業出版社，2008.

[3] 黃燕.計算機網絡教程[M].北京：人民郵電出版社，2004.

[4] 劉小偉.電腦局域網全面上手[M].北京：海洋出版社，2003.

[5] 黃傳河.計算機網絡應用設計[M].武漢：武漢大學出版社，2004.

責任編輯：張津平