省級重點實驗室高性能計算平臺的建設研究

朱瑩　于泠　陳文通

摘要：為滿足各學科日益增長的高性能計算需求，2018年江蘇省“大規模復雜系統數值模擬”重點實驗室建成了高性能計算二期平臺。該文詳細闡述了平臺建設的背景、軟硬件配置情況以及系統性能測試結果，分析了計算平臺的使用情況及科研產出，對實驗室高性能計算平臺的建設進行了深入的思考。

關鍵詞：高性能計算；大規模復雜系統數值模擬；實驗室HPC平臺

中圖分類號：G482? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2023）01-0121-03

高性能計算（High Performance Computing，HPC） 又稱超級計算或并行計算，是應用超級計算機與并行處理技術解決大規模復雜計算問題的一種技術手段。目前高性能計算能力已經成為衡量一個國家綜合國力的重要標志，是國家信息化建設的根本保證。

高性能計算平臺為大規模復雜系統的研究提供了計算服務，是高校、科研院所進行科學研究、高層次人才培養、學科建設的支撐平臺[1-2]，因此，越來越多的高校都搭建了適合自身需求的高性能計算平臺。隨著大數據、云計算、人工智能的發展，高性能計算的新場景不斷涌現，對平臺也提出了更高的需求。

1 實驗室HPC平臺建設背景

大規模計算對HPC平臺提出的需求不斷增長，作為科學研究與人才培養重要基地的高等院校，建設HPC平臺勢在必行。

以江蘇省部分高校為例，南京大學高性能計算中心目前擁有910臺計算節點，理論CPU計算峰值為870TFlops，在2017年6月發布的全球超級計算機Top500排行榜中列第284位[3]；東南大學大數據計算中心先后建設了兩套集群，目前共有501臺計算節點，理論CPU計算峰值為366.5 Tflops；南京信息工程大學高性能計算中心目前擁有172臺計算節點，理論CPU計算峰值為180TFlops；南京航空航天大學高性能計算中心于2020年完成一期平臺建設，共有64臺計算節點，理論CPU計算峰值為204.8Tflops。

江蘇省“大規模復雜系統數值模擬”重點實驗室的前身是1995年成立的原南京師范大學科學與工程計算校重點實驗室，2010年成為江蘇省重點實驗室。實驗室不僅為大規模數值模擬提供軟硬件服務，還為省經濟建設、環境保護、疾病控制、交通管理等提供決策依據和解決方法。

實驗室自成立以來，先后構建了兩套HPC平臺。一期平臺于2012年建成，共108臺計算節點，總浮點運算峰值超過14TFlops，存儲容量達到198TB，是校級“共享型”計算平臺，對我校化學、地理、生物、數學、物理等學科的科學研究和人才培養發揮了重要的作用[4]。

隨著科學技術的不斷發展，各學科對高性能計算的要求越來越高。

實驗室各學科在科研項目年均使用機時數量級在十萬到百萬級別，潛在科研項目的需求更多，原有平臺可用計算機時已經無法滿足科研需求，實驗室通過調研論證，在2018年建成第二套HPC平臺，并于2018年4月正式投入使用。

2 實驗室HPC平臺的構建

構建一套完整的實驗室HPC平臺，需要進行一系列前期準備工作，對HPC平臺的軟硬件進行合理配置，并對計算系統性能進行測試。

2.1 前期準備

1） 機房選址

為確保高性能計算集群正常運行，HPC平臺除了各類計算服務器、存儲器等組成的計算系統外，還包含配電、制冷、消防和環境監控等輔助系統。因此，高性能計算機房的選址需考慮到面積、承重、層高、防潮、防盜、防干擾等問題。根據調研，國內大部分高性能計算機房一般都位于某大樓的一層或者負一層，而本實驗室一期HPC平臺位于辦公樓五層，占地面積及樓層承重均無法滿足二期平臺的建設。從承重、安全及散熱等角度出發，選擇在非架空的大樓一樓建設二期平臺。該選址達到了相應的環境需求。

2） 機房環境搭建

二期HPC平臺機房有主機房、配電間和監控室3個房間，整體機房面積約152 m2，為HPC平臺正常運行提供了環境支撐。

主機房內放置了一組冷通道封閉模塊，包括IT機柜13架，用于放置計算系統的服務器、存儲器、交換設備等；行間空調5臺；電源頭柜2架。其中5臺總制冷量為190kW的行間精密空調設為4+1備份模式，全機組定期輪巡，最大限度提高了制冷系統的利用率和冗余度。此外，主機房內還配備了無管網七氟丙烷氣體消防系統。

配電房內配備了一套配電系統及兩套200kVA的UPS，后備電池時間能滿足設備滿載不低于30分鐘。該套配電系統能確保計算系統采用UPS雙路供電，行間空調采用市電供電。配電間也配備了無管網七氟丙烷氣體消防系統。

監控室主要放置了用于對機房的所有動力設備以及環境參數進行實時檢測并起預警的環境監控系統監視終端以及計算系統的管理、任務調度監視終端。

3） HPC平臺計算系統設備選型

實驗室HPC平臺面向的學科種類繁多，應用各異，既有成熟商業軟件、主流開源軟件，又有眾多自編程序。從一期使用情況來看，平臺上有MPI并行程序、多線程并行程序、GPU程序和眾多的串行程序。不同的應用對硬件資源的需求也千差萬別，有計算密集、網絡密集型、IO密集型和耦合密集型等不同需求。二期平臺在設備選型時遵循高性能、低功耗、易管理、可擴展的總體設計原則，采用刀片式、胖節點、GPU節點、MIC節點服務器相結合的集群系統架構，配置高速的InfiniBand網絡，以滿足高帶寬和低延遲的特性，配置容量為2PB的ESS存儲系統，采用專業、可靠的國際主流商業并行文件系統，滿足海量存儲空間的需求特點。

2.2 HPC平臺計算系統整體架構

二期平臺系統拓撲圖如圖1所示，系統總浮點運算峰值超過116TFlops，存儲總裸容量達到2PB，包含112臺并行計算節點，4臺登錄管理節點，2臺胖節點，2臺GPU節點和1臺MIC節點等主要硬件設備。具體配置如表1。

2.3 HPC平臺計算系統軟件配置

該平臺采用Linux操作系統，為校內外用戶提供統一的登錄界面，為用戶提供了一個穩定、安全、高效的高性能計算共享平臺。具體軟件配置如下：

1） 操作系統：采用CentOS6.8 Linux 64位操作系統。

2） 編譯器：Intel ParallelStudioXE2018.1.163（C++/Fortran）。

3） 數學庫：Intel MKL。

4） MPI實現：openmpi3.0.0/openmpi2.1.1。

5） HPC集群管理軟件：IBM XCat2.11。

6） HPC集群作業調度軟件：Easycluster v1.6。

7） 并行文件系統：IBM Spectrum Scale。

8） 其他應用軟件：平臺還安裝了VASP、Python、Gromacs、Lammps、Gaussian、 WRF等眾多學科領域用戶常用的科學計算軟件。

2.4 計算系統性能測試結果

筆者對計算系統的linpack值和存儲IO性能分別進行了測試，測試結果都超過預期。

針對每種架構，使用相同架構的所有節點，采用Intel linpack測試工具，進行Linpack性能測試，得到每種架構節點服務器的Linpack測試結果。

1） 14臺高主頻計算節點Linpack測試結果：實測值為10901Gflops，效率為? 10901/（14*2*8*3.2*16）=95.05%。

2） 98臺低主頻計算節點Linpack測試結果：實測值為87144Gflops，效率為87114/（98*2*14*2.4*16）=82.70%。

因此，平臺HPC系統整體計算能力理論值為116838.4 Gflops，實測值為98046.1Gflops，Linpack實測效率為98046.1/116838.4=83.91%。

采用IOzone工具測試文件系統的讀寫性能[5]。

聚合帶寬實際測試結果如表2所示。

單節點帶寬測試命令如下：

iozone -i 0 –i 1 -+n -r 1024k -s 128g -t 16 -e -+m /xxx/host.list -Rb /cclba/output.xls

單計算節點帶寬測試結果見表3所示。

綜上，系統IO實測總聚合讀帶寬大于30GB/s，實測總聚合寫帶寬大于23GB/s，單計算節點實測讀帶寬6.36 GB/s，單計算節點實測寫帶寬5.35 GB/s，文件系統讀寫性能均超過了預期，為整個平臺系統的高可用性提供了保障。

3 結束語

經過3年的運行，江蘇省“大規模復雜系統數值模擬”重點實驗室HPC平臺為數學、計算機、物理、化學、地理、生物、能源與機械、食品與制藥等眾多學科領域的用戶提供了高性能計算和數值模擬的軟硬件服務環境，滿足了實驗室的科研計算需求，推動了創新人才培養，促進了學科間的交叉和融合，成效顯著。

開放共享是大型平臺的必然趨勢，作為省級實驗室的平臺，我們將進一步探索開放共享模式，統籌平臺管理，優化軟件，完善平臺激勵機制，根據平臺特點推進開放共享，開發針對實驗室高性能計算平臺的服務管理系統。

參考文獻：

[1] 解通，孫勇，魏澤發，等.校級高性能計算平臺建設的探索與實踐[J].軟件，2021，42（6）：74-76，80.

[2] 黃建強，孟永偉，曹騰飛，等.青海大學三江源數據分析中心高性能計算集群的構建與設備管理[J].實驗技術與管理，2014，31（12）：237-240.

[3] 盛樂標，周慶林，游偉倩，等.高校大型高性能計算平臺建設模式探討[J].實驗室科學，2019，22（6）：158-161.

[4] 于泠，王雨順，朱瑩，等.科學計算中心建設與服務的探索與實踐[J].實驗技術與管理，2015，32（2）：159-162.

[5] 游偉倩，盛樂標，周慶林，等.高性能計算集群存儲系統搭建方式的對比研究[J].電腦知識與技術，2018，14（9）：22-23.

【通聯編輯：唐一東】