安徽大學(xué)：公共計算平臺助力一流學(xué)科建設(shè)

文/段運生 劉輝 竺德

隨著安徽大學(xué)一流學(xué)科建設(shè)工作的推進(jìn)，理工學(xué)科對公共計算的需求快速增長。安徽大學(xué)公共計算平臺需要同時滿足高性能計算和深度學(xué)習(xí)兩方面需求。高性能計算需求主要集中在物理與材料科學(xué)學(xué)院、化學(xué)化工學(xué)院、生命科學(xué)學(xué)院，應(yīng)用方向主要包括材料計算、化學(xué)計算、生命科學(xué)、氣象等；深度學(xué)習(xí)需求主要集中在電氣工程與自動化學(xué)院、計算機(jī)科學(xué)與技術(shù)學(xué)院及電子信息工程學(xué)院，應(yīng)用方向主要包括深度學(xué)習(xí)、圖像處理、模型訓(xùn)練等。為有力支撐學(xué)科建設(shè)，2018 年初，安徽大學(xué)啟動校級公共計算平臺建設(shè)工作。

建設(shè)思路

考慮到各院系分散購置不利于資源的整合和建設(shè)效益的充分發(fā)揮，因此采用集約化方式建設(shè)校級公共計算平臺。公共計算平臺建設(shè)包括機(jī)房建設(shè)、計算集群建設(shè)及HPC 與AI 融合軟件平臺建設(shè)三個部分。平臺應(yīng)安全可靠，具備先進(jìn)性、可擴(kuò)展性和可管理性。數(shù)據(jù)中心機(jī)房基于標(biāo)準(zhǔn)化模塊建設(shè)；計算集群采用刀片服務(wù)器和機(jī)架服務(wù)器混合架構(gòu)，支持CPU 和GPU 計算；軟件平臺采用SLURM調(diào)度系統(tǒng)，支持CPU的管理調(diào)度、GPU的管理調(diào)度、集群系統(tǒng)的監(jiān)控管理。

機(jī)房建設(shè)

安全可靠的機(jī)房設(shè)施是公共計算平臺運營成功的關(guān)鍵，在機(jī)房系統(tǒng)結(jié)構(gòu)設(shè)計時，需遵循《數(shù)據(jù)中心機(jī)房設(shè)計規(guī)范》（GB50174-2017），堅持統(tǒng)一規(guī)范的原則，設(shè)計時充分考慮安全可靠性、可擴(kuò)展性及可管理性。機(jī)房采用模塊化方式建設(shè)，機(jī)房面積309m2，設(shè)計三套微模塊，裝飾裝修工程一次性到位，預(yù)留空間用于后期擴(kuò)展。

安徽大學(xué)

一期建設(shè)一套微模塊，配置19 臺服務(wù)器機(jī)柜、1 臺精密配電柜、3 臺行級精密空調(diào)（42KW），預(yù)留2 臺空調(diào)擴(kuò)容空間。供電采用雙母線結(jié)構(gòu)，配置兩臺100KVA 模塊化UPS。模塊內(nèi)建立一套全面、完善的管理和監(jiān)控系統(tǒng)。智能供配電管理，實現(xiàn)供電鏈路可視，支路端子溫度檢測預(yù)警、電池狀態(tài)檢測、PDU 級供電情況監(jiān)測，全面提升供電系統(tǒng)可靠性。基于AI 自優(yōu)化算法的溫控管理，實現(xiàn)溫度云圖-負(fù)載-溫控聯(lián)動保證無熱點，確保溫度場恒定可靠。U 位級資產(chǎn)自動管理，使得資產(chǎn)免人工清點，提升運維效率。同時該模塊還具備智能照明、eLight 模塊狀態(tài)指示燈、消防聯(lián)動、電動通道門、人臉識別門禁等便利功能。基于先進(jìn)的集中管理監(jiān)控系統(tǒng)，可以實時監(jiān)控、監(jiān)測整個數(shù)據(jù)中心機(jī)房的運行狀況，利用實時燈光、語音報警，實時事件記錄迅速確定故障，提高運行性能，簡化數(shù)據(jù)中心管理人員的維護(hù)工作，從而為數(shù)據(jù)中心安全、可靠的運行提供最有力的保障。

計算集群建設(shè)

公共計算平臺需要同時滿足高性能計算和深度學(xué)習(xí)兩方面需求（如圖1 所示）。高性能計算系統(tǒng)采用刀片服務(wù)器作為并行計算節(jié)點，共計26把刀片。機(jī)箱內(nèi)支持無狀態(tài)計算，刀片服務(wù)器關(guān)鍵部位全部采用冗余和熱插拔設(shè)計，關(guān)鍵業(yè)務(wù)不會因為單點故障而中斷，滿足高性能計算的需求。為保證集群系統(tǒng)的先進(jìn)性和更好的擴(kuò)展性，服務(wù)器平臺使用英特爾全新一代Purley 架構(gòu)。通用計算節(jié)點采用Intel Skylake CPU，每節(jié)點配置2 顆14 核CPU，12 根16GB 的內(nèi)存，1 塊240GB SSD硬盤以及100Gb/s 的Intel OPA 網(wǎng)卡。深度學(xué)習(xí)系統(tǒng)采用GPU 服務(wù)器作為基礎(chǔ)硬件平臺，GPU 采用主流的Nvidia Volta V100 專業(yè)級GPU 卡，配置3 臺一機(jī)八卡GPU 節(jié)點和1 臺一機(jī)兩卡GPU 節(jié)點。本次配置的一機(jī)八卡的GPU 服務(wù)器可以提供不同的拓?fù)淠Ｊ剑? 顆CPU 支持8 塊GPU 卡，或者2 顆CPU，每顆CPU 支持4 塊GPU 卡，有效的支持GPU P2P 功能，同時企業(yè)級GPU 卡還可提供GPU Direct RDMA 等功能，充分優(yōu)化其代碼提高作業(yè)效率。

公共計算平臺采用性價比較高的OPA（Omni-Path Architecture）網(wǎng)絡(luò)交換架構(gòu)，支持單端口最大帶寬100Gbps、時延低至110ns，并支持錯誤檢測等特性。采用Lustre 文件系統(tǒng)作為全局文件系統(tǒng)，該文件系統(tǒng)具有按需擴(kuò)展容量和性能的能力，降低了部署多個獨立文件系統(tǒng)的必要性，從而避免了在計算集群之間復(fù)制數(shù)據(jù)，簡化了存儲管理。本期配置的兩臺存儲，一臺全閃存存儲用于存儲元數(shù)據(jù)，一臺用于存儲對象數(shù)據(jù)。

HPC 與AI 融合軟件平臺建設(shè)

融合軟件平臺旨在為用戶提供完善的HPC使用和管理系統(tǒng)，以便讓最終用戶將主要精力集中在科研工作上，降低使用者的學(xué)習(xí)成本，提升組織的整體規(guī)范性、專業(yè)性以及生產(chǎn)效率。平臺基于公有云+私有云的混合云方案架構(gòu)設(shè)計，包括超算云桌面系統(tǒng)和集群管理監(jiān)控系統(tǒng)。提供國家網(wǎng)格站點連接接口，可實現(xiàn)本地計算資源與國家網(wǎng)格計算資源整合，當(dāng)本地計算資源不足，可以將作業(yè)提交至網(wǎng)格站點。

圖1 公共計算平臺邏輯拓?fù)?/p>

超算云桌面系統(tǒng)在云技術(shù)的基礎(chǔ)上提供統(tǒng)一的用戶管理功能、HPC 設(shè)備資源管理、應(yīng)用管理、本地作業(yè)管理、遠(yuǎn)程作業(yè)管理、機(jī)時統(tǒng)計管理、計費管理、系統(tǒng)便捷接入等功能。平臺既支持主流瀏覽器訪問，也可以通過輕量級C/S 客戶端訪問；集成命令行登陸方式包含WebSSH、Putty、xshell、SecureCRT；集成交互式圖形訪問方式，用戶可以進(jìn)行圖形化的前后處理工作；提供計費功能，按月給用戶提供使用報告；支持子母賬號，子賬號可獨立使用，母賬號統(tǒng)一計費；能夠集成應(yīng)用軟件，實現(xiàn)一鍵提交作業(yè)；支持移動手機(jī)端查看作業(yè)狀態(tài)信息、機(jī)時用量信息、作業(yè)性能情況、作業(yè)異常時還可通過移動客戶端遠(yuǎn)程殺除作業(yè)，支持iOS、Android 和微信客戶端。

集群管理監(jiān)控系統(tǒng)通過實時監(jiān)控、采集機(jī)群中服務(wù)器的CPU、GPU、內(nèi)存、網(wǎng)絡(luò)和存儲等關(guān)鍵設(shè)備的系統(tǒng)級和微架構(gòu)級性能數(shù)據(jù)（Gflops、MemoryBandwidth、Vectorization、CPI、GIPS），以圖形化的方式直觀顯示，快速反映提供機(jī)群系統(tǒng)中應(yīng)用軟件隨時間變化的運行特征，通過機(jī)器學(xué)習(xí)作業(yè)運行情況，智能識別作業(yè)性能異常。同時了解硬件環(huán)境的運行現(xiàn)狀，快速了解集群中隱含的硬件問題，從而在問題發(fā)生時第一時間給出解決方案。秒級采集大規(guī)模業(yè)務(wù)系統(tǒng)的系統(tǒng)級和微架構(gòu)數(shù)據(jù)進(jìn)行并列歷史線條顯示，通過多節(jié)點并列的對比分析以及資源的依賴程度分析，可迅速發(fā)現(xiàn)系統(tǒng)故障或瓶頸所在。另外所采集各項數(shù)據(jù)的峰值、均值等量化數(shù)據(jù)指標(biāo)，對于系統(tǒng)優(yōu)化具有精確的指導(dǎo)意義。

建設(shè)成效

公共計算平臺建設(shè)為各學(xué)科提供更強(qiáng)的計算能力、更好的維護(hù)手段、更優(yōu)質(zhì)的應(yīng)用服務(wù)體驗。隨著校級公共計算平臺的不斷擴(kuò)大和完善，既能夠產(chǎn)生經(jīng)濟(jì)效益，又能夠匯集各個科研領(lǐng)域的最新發(fā)展動向，促進(jìn)學(xué)校科學(xué)研究的發(fā)展。