勘探超算中心HPC服務(wù)器性能測試研究與分析

摘要：HPC以往都是以引進(jìn)國際品牌的服務(wù)器、存儲以及網(wǎng)絡(luò)產(chǎn)品為主，隨著國產(chǎn)技術(shù)發(fā)展及信息安全原因，國家現(xiàn)階段高度重視國產(chǎn)化，HPC逐漸向國產(chǎn)化方向發(fā)展，國產(chǎn)HPC集群能否滿足本行業(yè)的業(yè)務(wù)需求，就需對服務(wù)器集群作傳統(tǒng)部署和Linpack測試。通過全都由國產(chǎn)知名品牌存儲、服務(wù)器、網(wǎng)絡(luò)部署HPC集群系統(tǒng)，并進(jìn)行各種場景的性能測試研究與分析，得出國產(chǎn)HPC性能優(yōu)越，完全符合業(yè)務(wù)需求的結(jié)論。

關(guān)鍵詞：HPC；Linpack；性能測試；國產(chǎn)

一、前言

油氣地球物理勘探[1]，占百分之九十的是地震勘探，此外還有重力、磁力、電法及遙感等勘探技術(shù)手段，而地震勘探的核心內(nèi)容是野外地震資料數(shù)據(jù)的采集、處理和解釋，這其中又以地震資料數(shù)據(jù)處理為主要技術(shù)手段，地震資料數(shù)據(jù)處理主要包括地震反褶積、疊加和偏移成像三大技術(shù)，這些技術(shù)都是依賴密集的浮點(diǎn)運(yùn)算，涉及大量的求解密集型波動方程，所以對浮點(diǎn)計(jì)算的性能要求非常高，HPC[2]正是為滿足油氣勘探的典型需要應(yīng)運(yùn)而生的。HPC的部署通常包含服務(wù)器、存儲及網(wǎng)絡(luò)設(shè)備等。

HPC在油氣勘探行業(yè)大規(guī)模使用開始后，服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備采用國際品牌，如服務(wù)器多數(shù)是IBM、HP、DELL等，存儲設(shè)備多為EMC、IBM、DDN、HITACHI等，網(wǎng)絡(luò)設(shè)備主要是Cisco、Force10、Mellanox等。近年來，隨著國產(chǎn)品牌的崛起，國產(chǎn)品牌的技術(shù)能力不斷提升，同時國家對信息安全的高度重視，油氣勘探領(lǐng)域逐步進(jìn)行了HPC部署[3]的國產(chǎn)化，目前處于引進(jìn)設(shè)備和國產(chǎn)設(shè)備混裝狀態(tài)，但服務(wù)器和存儲設(shè)備已基本達(dá)到國產(chǎn)化，只有少量網(wǎng)絡(luò)設(shè)備仍采用國外設(shè)備，其中以Cisco和Mellanox居多。用于HPC的國產(chǎn)化服務(wù)器主要有：華為、浪潮、聯(lián)想、曙光等，存儲設(shè)備主要有華為Oceanstor系列、曙光parastor系列等，網(wǎng)絡(luò)設(shè)備主要有華為、新華三、TP-LINK等。本文針對新近所部署的純國產(chǎn)HPC集群進(jìn)行全面的性能研究與分析，尤其是在Linpack性能測試中，遇到了從未遇到的問題，通過研究與分析，改變了網(wǎng)絡(luò)通信模式，成功進(jìn)行性能測試，并與以往引進(jìn)設(shè)備為主所部署的HPC集群的性能測試對比，結(jié)果出乎預(yù)料，性能優(yōu)越，完全能滿足科研、生產(chǎn)需求，為今后再購置國產(chǎn)設(shè)備提供實(shí)例依據(jù)奠定基礎(chǔ)。

二、部署方案

（一）集群拓?fù)浼軜?gòu)

整體HPC由9臺聯(lián)想高性能服務(wù)器和5臺華為Oceanstor9000v5存儲以及前后端交換機(jī)組成，組網(wǎng)拓?fù)鋱D如圖1所示。

（二）存儲部署

此次部署5臺華為Oceanstor 9000 v5[4]存儲節(jié)點(diǎn)5臺，每臺設(shè)計(jì)容量128T，1臺冗余，實(shí)際容量470T，主要通過Web方式管理。

DeviceManager是華為技術(shù)有限公司開發(fā)的集成存儲管理軟件。在任意一臺與存儲系統(tǒng)連接的維護(hù)終端上，通過瀏覽器訪問存儲系統(tǒng)控制器的管理網(wǎng)口IP地址，使用本地用戶名，可以登錄DeviceManager管理界面。

配置概述：完成存儲系統(tǒng)部署以及l(fā)icense激活后，開始進(jìn)行目錄創(chuàng)建及共享配置，包括集群網(wǎng)絡(luò)DNS、動態(tài)地址配置、創(chuàng)建目錄、創(chuàng)建共享、創(chuàng)建配額策略等內(nèi)容。

配置主要過程如下：

1.申請及導(dǎo)入許可：獲取存儲集群的ID，導(dǎo)入license文件并激活。

2.配置集群網(wǎng)絡(luò)：在管理界面選擇設(shè)置，使用InfoEqualizer選型，設(shè)置動態(tài)域名為oceanstor9000v5，保存退出。

3.創(chuàng)建目錄：填寫所要創(chuàng)建目錄的名稱，進(jìn)入資源管理器中查看所創(chuàng)建的目錄。

4.創(chuàng)建共享：勾選所創(chuàng)建目錄的共享類型，此次選NFS，字符編碼選默認(rèn)UTF-8。

5.創(chuàng)建配額：在資源分配中選InfoAllocator進(jìn)行配額管理，創(chuàng)建配額，選擇配額目錄，選強(qiáng)制配額，填入配額數(shù)值。

6.掛載使用：在集群服務(wù)器端配置DNS，讓服務(wù)器使用域名掛載，掛載共享：

mount -t nfs -o" rw，noatime，nodirplus，vers=3，wsize=1048576，rsize=1048576，noacl，nocto oceanstor9000v5：/data0" "/data0

（三）集群服務(wù)器部署

1.服務(wù)器性能參數(shù)

此次部署集群服務(wù)器9臺，為聯(lián)想高性能服務(wù)器[5]，主要參數(shù)如下：

服務(wù)器：聯(lián)想Thinksystem SR650，19\"機(jī)架式，2U（含機(jī)柜安裝套件）。

處理器：2×Intel Xeon 6248R處理器。

內(nèi)存：512 GB ECC DDR4 2933MHz RDIMM，24個槽位。

硬盤：系統(tǒng)盤2×960G SSD硬盤，4×1.92TB SSD硬盤。

RAID陣列卡：緩存2GB，支持RAID 0、1、5、6、10、50等。

網(wǎng)絡(luò)：2×25GB以太網(wǎng)端口（含25GB 模塊），2×1GB管理網(wǎng)絡(luò)端口。

2.系統(tǒng)安裝及基本配置

（1）BIOS配置：關(guān)閉超線程和虛擬化功能。

（2）配置raid：此次兩塊960G的SSD盤做raid1，其余做raid5。

（3）配置Xcat：整理9臺服務(wù)器的Mac地址。

（4）通過遠(yuǎn)程控制臺分發(fā)安裝操作系統(tǒng)，掛載光盤介質(zhì)，此次安裝RHEL7.9。

（5）安裝完成后的配置：主機(jī)名，IP地址，關(guān)閉不必要的服務(wù)，禁SELinux，配置DNS，安裝網(wǎng)卡驅(qū)動，配置Yum源，配置SSH無密訪問。

（6）配置xCAT：安裝xCAT軟件，完成xCAT基本配置后，執(zhí)行系統(tǒng)部署。

（四）交換機(jī)部署

此次部署前端交換機(jī)一臺，型號：華為CE6863E-48S6CQ，48口，25GB上行端口。連接集群的光纜（帶模塊），線長根據(jù)現(xiàn)場具體情況確定。電源冗余。

后端交換機(jī)兩臺，型號：華為CE6810-4854Q-Li數(shù)據(jù)中心交換機(jī)，48×10GE SFP+，4×40GE QSFP+ 。

管理交換機(jī)一臺，型號：S1730S-S48T4S-A1，48×1000M電口，4×1000M光口，Web管理型交換機(jī)，主要用于管理配置存儲節(jié)點(diǎn)。

以上均為國產(chǎn)華為品牌交換機(jī)。

三、測試及分析

（一）測試情況及結(jié)果

1.存儲IOZONE測試[6]情況

IOZONE是Linux文件系統(tǒng)對存儲讀寫性能的測試工具。

測試命令：

#./iozone -i 0 -i 1 -r 1M -s 1024G -w -b iozone-1n1p-0215.xls -t 1 -+m /data3/node9 -+n

#./iozone -i 0 -i 1 -r 1M -s 1024G -w -b iozone-9n1p-0215.xls -t 1 -+m /data3/node9 -+n

#./iozone -i 0 -i 1 -r 1M -s 1024G -w -b iozone-9n4p-0215.xls -t 1 -+m /data3/node9 -+n

測試結(jié)果見表1。

2.集群linpack測試情況

Linpack是國際上最流行的用于測試高性能計(jì)算機(jī)系統(tǒng)浮點(diǎn)性能的測試工具，是針對現(xiàn)代并行計(jì)算機(jī)提出的測試方式，通過對高性能計(jì)算機(jī)采用高斯消元法求解一元N次稠密線性代數(shù)方程組的測試，評價高性能計(jì)算機(jī)的浮點(diǎn)性能。

測試方法：節(jié)點(diǎn)內(nèi)SMP、節(jié)點(diǎn)間MPI。每個節(jié)點(diǎn)內(nèi)配置適當(dāng)?shù)腗PI進(jìn)程（小于CPU核數(shù)），其余的由程序自動分配線程，使CPU發(fā)揮最大性能。節(jié)點(diǎn)之間仍采用MPI方式。這種方式在保證CPU滿負(fù)荷運(yùn)行的情況下，減少M(fèi)PI個數(shù)，減緩了網(wǎng)絡(luò)延遲瓶頸帶來的CPU效率降低問題。測試結(jié)果見表2。

（二）所遇問題

在集群測試中，遇到以下錯誤信息，導(dǎo)致測試無法繼續(xù)進(jìn)行。

#./runme_intel64_dynamic

This is a SAMPLE run script. Change it to reflect the correct number of CPUs/threads， number of

Nodes， MPI processes per node， etc..

Rank=0， Node=0

Rank=1，Node=1

[qelr_create_qp：683] create qp： failed on ibv_cmd_create_qp with22

[qelr_create_qp：683] create qp： failed on ibv_cmd_create_qp with22

……

（三）分析解決

通過研究分析，發(fā)現(xiàn)引起上述問題的原因是Linpack選擇的網(wǎng)路方式默認(rèn)是走IB協(xié)議[7]，將IB協(xié)議改為以太網(wǎng)協(xié)議[8]，問題得到解決，完成測試，如圖2所示。

四、結(jié)語

為了滿足生產(chǎn)需求，響應(yīng)國家信息化產(chǎn)業(yè)必須要逐步國產(chǎn)化的要求，此次全部購置純國產(chǎn)品牌的服務(wù)器、存儲和網(wǎng)絡(luò)產(chǎn)品，搭建HPC集群系統(tǒng)，用國際標(biāo)準(zhǔn)的測試工具及流程，對集群整體性能進(jìn)行測試，存儲進(jìn)行IZONE測試，服務(wù)器采用Linpack工具[9]測試。特別在linpack性能測試[10]中，遇到了測試無法進(jìn)行的難題，通過研究分析，找到了引起問題的原因，圓滿完成性能測試，并與某進(jìn)口品牌所搭建的HPC集群進(jìn)行對比。結(jié)果出乎預(yù)料，國產(chǎn)HPC集群性能完全優(yōu)于國外品牌，完全能滿足本領(lǐng)域的科研、生產(chǎn)需求，逐漸擺脫對進(jìn)口產(chǎn)品的依賴，是HPC在油氣勘探領(lǐng)域發(fā)展的大趨勢。

參考文獻(xiàn)

[1]鄒才能.油氣勘探開發(fā)實(shí)用地震新技術(shù)[M].北京：石油工業(yè)出版社，2002.

[2]龐世明.高性能計(jì)算技術(shù)及其在油氣勘探中的應(yīng)用[J].勘探地球物理進(jìn) 展，2002（01）：35-40.

[3]陳良華，鄭輝，陳彬.一種集群并行運(yùn)算環(huán)境的部署方法[P].中國：201110065647，[2025-02-26].

[4]Fan R.Huawei OceanStor 9000 Big Data Storage System Tops SPEC Benchmark Test for the Third Consecutive Year[J].telegraphindia，2018（11）：124-125.

[5]馮保民.聯(lián)想高性能集群系統(tǒng)管理與維護(hù)——系統(tǒng)篇[C]//中國計(jì)算機(jī)學(xué)會CCF外圍設(shè)備專業(yè)委員會2006年學(xué)術(shù)年會.中國計(jì)算機(jī)學(xué)會，2006.

[6]徐德發(fā).超級計(jì)算中心網(wǎng)絡(luò)及數(shù)據(jù)傳輸?shù)脑O(shè)計(jì)與實(shí)現(xiàn)[D].上海：上海交通大學(xué)，2006.

[7]鄭明玲，劉衡竹.Infiniband協(xié)議的特點(diǎn)[C]//中國計(jì)算機(jī)學(xué)會.中國計(jì)算機(jī)學(xué)會，2002.

[8]Rui C ， Zhuo Y， Feng X. iZone： A Location-Based Mobile Social Networking System[J]. IEEE Computer Society 2011（10）：1109.

[9]都志輝，吳博，劉鵬，等.LINPACK與機(jī)群系統(tǒng)的LINPACK測試[J].計(jì)算機(jī)科學(xué)，2002（05）：8-10+59.

[10]羅水華，楊廣文，張林波，等.并行集群系統(tǒng)的Linpack性能測試分析[J].數(shù)值計(jì)算與計(jì)算機(jī)應(yīng)用，2003（04）：285-292.

作者單位：中國石油勘探開發(fā)研究院西北分院計(jì)算機(jī)技術(shù)研究所，中國石油天然氣集團(tuán)有限公司物聯(lián)網(wǎng)重點(diǎn)實(shí)驗(yàn)室

責(zé)任編輯：王穎振 楊惠娟