搭建高性能計算集群平臺探討

李淑倩 楊敏 董玉敏 侯波

摘要：隨著全球計算機技術的高速發展，本企業致力于研究高性能計算集群技術多年，且在生產和實踐中取得了良好效果。本文旨在通過對高性能計算集群平臺搭建而總結的一些粗淺認識，對高性能計算集群在本企業中的應用進行探討，為企業高性能計算集群運行維護人員提供一些借鑒和參考。

關鍵詞：搭建;HPCC;平臺;探討

中圖分類號：TP311 ? ? ?文獻標識碼：A

文章編號：1009-3044（2021）32-0147-02

1 前言

高性能計算集群High Performance Computing Cluster，簡稱HPCC，能為擁有大數據計算要求的應用程序提供高性能數據并行處理能力，應用集群技術能在部分節點出現操作系統、應用或數據存儲故障時，避免整個系統免于崩潰。

1.1 企業概述

本企業是集地震勘探處理、解釋、信息技術應用于一體的科研機構，經過多年技術研究和努力，引進了大規模高性能計算集群系統，搭建了能為地震勘探處理解釋等應用提供高效計算能力的高性能計算集群平臺，以滿足企業計算處理和存儲需求。

1.2 平臺設計

企業對用戶業務進行了詳細調研和分析，集群節點涵蓋了CPU刀片、GPU機架式和其他機架式節點，存儲以分布式為主，網絡結構基于萬兆以太網絡和InfiniBand（縮寫IB）無限帶寬技術相結合原則而搭建，計算網絡核心由2臺HPCC交換機構成，分別進行10X10G鏈路捆綁，增強數據傳輸帶寬。

圖1是本企業高性能計算集群HPCC網絡拓撲圖，大虛框內是專為高性能計算而設計的計算網，與辦公網絡隔離，業務互不交叉。隨著高性能計算處理能力的日新月異，平臺也經過升級和擴容，數據處理能力逐步提高，數據存儲容量從最早的G級到T級，直到目前的P級，此平臺也成為企業生產建設中不可缺少的重要環節。

2 平臺搭建

2.1 基礎設計

2.1.1 節點

1）CPU節點

搭建的CPU計算節點為集群刀箱刀片式，配置2個6核CPU，主頻3.2GHz，主板插槽8個I/O端口，其中4個高速I/O端口，內存48G，硬盤600G，做RAID1數據保護，配IB網卡，4臺集群管理節點和1臺軟件管理節點配置同上，為機架式節點。

2）GPU節點

GPU計算節點為機架式，配置4個6核CPU，主頻3.2GHz，內存48G，為利于圖形計算業務配2塊GPU圖形顯卡，硬盤1.5T，做RAID1數據保護，配IB網卡，2臺集群管理節點與CPU節點同樣配置。

2.1.2 存儲

存儲搭建以分布式存儲為主，相對于集中式存儲，分布式存儲除了傳統的分布式文件系統、分布式塊存儲和分布式對象存儲外，還包括分布式數據庫和分布式緩存等，在分布式架構中服務器分為管理數據的元數據節點和負責實際數據的管理服務器。

當客戶端需要從某個文件讀取數據，首先從元數據節點獲取該文件具體在哪個數據節點，元數據節點是主備部署，數據節點由大量節點構成一個集群，由于數據節點集群分散了客戶端請求，使得元數據的訪問頻度和訪問量相對要小，通常不會成為性能瓶頸，這種分布式存儲架構可通過動態擴展數據節點數量來增加承載能力。

分布式存儲也是一種完全無中心架構計算模式，客戶端通過一個設備映射關系計算出數據位置，核心組件只需安裝監控服務、對象存儲服務和客戶端軟件，其中監控服務用于維護存儲系統中服務器和硬盤等在線信息的硬件邏輯關系，監控服務通過集群方式保證其服務可用性，對象存儲服務用于實現對磁盤的管理，通常一個磁盤對應一個對象存儲服務。客戶端訪問存儲從監控服務讀取存儲資源布局信息，計算出具體的物理服務器信息和磁盤信息，最終與該位置直接通信進行讀寫存操作，不同于傳統的硬件RAID，所有數據全部由文件系統管理。

由于早期數據存儲量穩定，引進了2套T級別的分布式存儲，均10G掛載在HPCC交換機A下，為CPU和GPU節點提供數據存儲服務。

2.1.3 網絡

最初的網絡規模如圖1所示設計了一臺HPCC交換機A，此交換機是專為大數據計算應用到智能、融合的企業邊緣網絡提供強大性能、功能需求而設計，主要有模塊化體系結構、集成安全身份識別、高度虛擬化數據中心的自動化特性，可實現以太網自動保護交換、無中斷切換和自我修復功能，通用端口借助強大的事件驅動框架支持網絡部署和配置，允許基于身份的訪問控制和策略，同時具有高可用性模塊化架構，提供進程監控、內存保護功能，主備管理模塊系統的無中斷切換和模塊級軟件升級功能可為啟用了堆疊交換機提供無中斷切換保護，模塊化和內存保護設計防止系統損壞，支持融合網絡日益增長的需求設計，增強網絡安全性管理。CPU和GPU節點與客戶端通訊通過IB網關轉換為以太網絡，IB網關12X10G上連到HPCC交換機A。IB技術基于高性能計算網絡通信標準，具有極高的吞吐量和極低的延遲，可用于節點間交換互連、節點與存儲間直接或交換互連、存儲間互連，IB技術具有配置簡單、管理方便功能，適合企業級大數據計算網絡的應用。

2.1.4 軟件

節點全部安裝LINUX操作系統，建立網絡信息服務NIS和時間同步NTP服務器，針對企業需求，在不同節點安裝CGG、Geoeast、Paradigm、Tomodel、Eposdb等業務軟件，部署Light/NCI、Pns等許可服務器。

2.2 升級擴容

由于企業規模的擴大，系統已不能滿足現狀，如圖1所示，隨后設計了數據交換性能和轉發能力更強的HPCC交換機B，與HPCC交換機A 10X10G互連，新節點均為刀片式CPU計算節點，接在HPCC交換機B下，配置4個10核CPU，主頻2.8GHz，內存128G，硬盤1.2T，做RAID1數據保護，集群管理節點和IO節點配置4個12核CPU，主頻2.6GHz，內存256G，硬盤2.4T（數據庫節點為6T），做RAID1數據保護。I/O節點負責數據的存儲并響應計算節點的存儲請求，企業采用了多I/O節點服務模式，將計算所需的初始數據、計算得出的最終數據和平臺數據存儲在I/O節點上，提高運行效率。

介于企業存儲數據業務規模，設計了P級別的大型分布式存儲，接到HPCC交換機B下，由于老的分布式存儲性能和運行指標的下降，作為企業備份存儲，各自在企業生產中肩負著不同的角色。

2.3 用戶訪問

計算網雖通過匯聚交換機接入核心交換機，但沒有設立網關、不發布路由，與辦公網業務安全隔離。對于有計算業務需求的用戶，須到指定的計算網區域，使用計算網資源從事計算業務，用戶在作業進行時，通過特定的作業調度軟件自動被分配到不忙的計算節點運行程序、提交數據，縮短集群作業運行時間，杜絕網絡安全隱患的發生。

2.4 運維監控

2.4.1 節點監控

企業對節點的監控管理選用了開源的網絡監控系統Nagios Core，它可監控SMTP、POP3、HTTP、NNTP、PING等網絡服務，監視處理器負載、磁盤使用情況等節點資源情況，能檢測和區分主機是宕機或不通，可直觀地查看當前網絡狀態、問題歷史記錄、日志文件等，當主機、服務出現問題或問題解決時發出預警通知。

企業定義了對當前負載Current Load、當前用戶數Current Users、根分區Root Partition、總進程數Total Processes、交換分區Swap Usage、SSH和PING的監控。

2.4.2 存儲監控

針對存儲監控，定制了服務器運行情況、磁盤狀態、文件讀寫統計和歷史報警信息等，如磁盤狀態、總系統容量達到上限或閾值時預警。

3 實施效益

考慮到通信延遲是高性能計算集群應用面臨的最關鍵技術挑戰，因此構建了響應速度更快的IB網絡、GPU加速等技術，同時在數據方面使用更具成本效益、速度穩定的持久性存儲服務，部署這些技術均進行網絡連通性、延遲和性能、CPU和GPU穩定性以及節點間運行大數據的測試，結果均滿足各專業計算軟件傳遞數據的運行需求，使平臺業務得到穩定運行。

在實施運行中做到了勘探處理解釋研究的可視化和高效運算，使用戶在短時間內完成大數據量的分析和運算，進一步為油氣開發研究做保障，極大滿足用戶對科研生產的應用需求。未來我們將積極探索，尋求虛擬化和云計算資源對HPCC的支持，實時結合生產實際并運用新技術保障HPCC業務的穩定發展，為企業經濟發展助力。

參考文獻：

[1] 計算機技術與發展.基于MPICH2的高性能計算集群系統研究[Z].2020.10.

[2] 百度文庫.高性能計算集群系統的設計和實現[Z]. 2020.9.

[3] CSDN網.配置高性能計算集群[Z].2020.12.

【通聯編輯：李雅琪】