小型超算中心基礎設施電氣設計要點

摘 要：以某小型超算中心的基礎設施建設項目為例，探討和分析小型超算中心基礎設施的電氣設計要點。小型超算中心基礎設施的主要設備包括高壓直流、模塊化UPS、微模塊機柜、磁懸浮水冷空調(diào)、板式換熱器等。電氣系統(tǒng)設計重點為高效確定供電方案和冗余，并在設計中充分考慮施工便利性。結果可供同類項目參考。

關鍵詞：小型超算中心; 基礎設施; UPS冗余; 電氣設計

中圖分類號： TU855

文獻標志碼： B

文章編號： 1674-8417（2024）11-0054-05

DOI：10.16618/j.cnki.1674-8417.2024.11.010

0 引 言

當下小型超算中心主要針對小規(guī)模的計算需求，通常配置較少的計算節(jié)點和存儲設備，適用于小型團隊的科學計算、科學研究、數(shù)據(jù)處理等。

本文以某小型超算中心的基礎設施建設項目為例，探討和分析小型超算中心基礎設施的電氣設計要點。

1 小型超算中心項目概況

本超算中心是利用已有建筑進行改造，根據(jù)需求進行平面布置的調(diào)整。超算中心位于某建筑的二層，總建筑面積1 500 m2，層高為4.7 m;一層為整棟樓的變配電室。主機房主要布置1臺超算主機;2套微模塊機柜;2臺加濕機;1臺新風機等。

主要電氣設計需求如下：

（1） 超算主機總功耗800 kW（峰值）、服務器機柜總功耗150 kW。

（2） 超算主機HVDC直流電源系統(tǒng)蓄電池后備時間要求5 min;服務器機柜UPS電源系統(tǒng)蓄電池后備時間要求30 min。

2 小型超算中心設計

2.1 機房布置

小型超算中心平面布局規(guī)劃的基本思路，是從數(shù)據(jù)中心最基本的超算主機和服務器機柜需求出發(fā)，選取能夠匹配需求的電氣、暖通系統(tǒng)技術路線和解決方案，在滿足設計規(guī)范的同時兼顧考慮建設成本和施工便利，以及相應的降低PUE指標。

關于配電室的布置，一方面考慮超算主機功耗大，電力電纜需求量較多，配電室需靠近主機房，保證HVDC直流電源至超算主機電纜敷設距離短;另一方面考慮從一層變配電室引電方便，靠墻不同方向分別設置兩個電纜孔洞，電纜路由距離最短，可大大節(jié)省投資成本;配電室主要布置2臺市電交流配電柜;2套HVDC直流電源;1臺UPS電源;2臺機房專用空調(diào)等。

考慮電池電纜敷設距離短，電池室與配電室僅一墻之隔。電池室主要布置2套HVDC直流電源系統(tǒng)后備蓄電池組4組;1套UPS主機電源系統(tǒng)后備蓄電池組2組;10臺電池柜;2臺機房專用空調(diào)等。

考慮各水泵服務不同的功能區(qū)，水泵房分為2間設置。一間為主泵房：布置3套冷凍水泵;3臺水泵控制柜;1臺水系統(tǒng)群控柜;1套超純水制造設備，主要服務液冷超純水空調(diào)系統(tǒng);1臺1立方補充水箱。另一間為副泵房：布置2臺板換;2臺冷凍水泵;2臺水泵控制箱等，主要服務模塊化機柜的列間空調(diào)系統(tǒng)。本項目規(guī)模較小，配套服務水泵功率為37 kW，采用直接起動就地控制方式進行配電和控制。

考慮超算中心所在建筑物現(xiàn)有格局情況，盡量減少平面的改動，超算中心各功能區(qū)域及其面積規(guī)劃如下：主機房區(qū)域約為270 m2、配電室區(qū)域約為50 m2、電池室區(qū)域約為80 m2、2間水泵房約為90 m2、預留機房區(qū)約為370 m2，其余為輔助區(qū)域。室外冷水機組布置在機房樓南側，位于室外一層地面;將監(jiān)控室及辦公區(qū)域空調(diào)室外機，布置在二層機房東側一層前廳屋面。超算中心功能區(qū)域平面布局圖如圖1所示。

2.2 UPS架構對比

本工程存儲區(qū)域服務器機柜采用微模塊冷通道封閉模式，設計采用2套微模塊機柜，每套模塊單元配置22臺3 kW機柜，2臺電源列頭柜（A、B兩路），共計44個服務器機柜。同步系數(shù)按0.85計算，功率因數(shù)按0.95計算，總視在功率約為150 kVA。數(shù)據(jù)中心常見的UPS架構包括2N+1、2N、N+1、BR、DR、RR等［1］，側重點各有不同。

基本型UPS架構圖如圖2所示。由一路市電接入UPS向負載直接供電，基本型方案效率最高、成本最低。

串聯(lián)冗余是一種特定的N+1架構，將冗余UPS接入主用UPS的靜態(tài)旁路中，當主用UPS故障時，通過旁路切換使備用UPS切入系統(tǒng)。其優(yōu)點在于不限定主備用UPS型號，可適性強，經(jīng)濟性好，但存在單故障點。串聯(lián)冗余UPS架構圖如圖3所示。

并聯(lián)冗余也是一種特定的N+1架構，它由多個同一規(guī)格的UPS模塊并聯(lián)在一根公用輸出母線上組成。備用的UPS容量至少要為其中一個UPS單元的容量。并聯(lián)冗余系統(tǒng)要求UPS模塊的容量、型號、頻率、相位等均相同，對設備要求較高。并聯(lián)冗余UPS架構圖如圖4所示。

模塊化UPS冗余是一種特定的N+1配置。上述串聯(lián)冗余和并聯(lián)冗余的冗余部分，多指采用獨立的UPS單元。但是模塊化UPS通過內(nèi)置算法，可從UPS架構內(nèi)功率模塊層解決冗余問題，在該配置下，內(nèi)部模塊共用一套電源、控制系統(tǒng)和電池設備。

BR和RR容錯架構基本原理相似，均為以3臺或以上的UPS單元做基礎，其中1臺UPS空載做備份。當1臺主用UPS單元損壞時，負載端通過STS切換至備份UPS供電。本架構模塊化易擴容，但是采用大量的STS架構復雜，需配套自控轉換控制，對運維有較高的要求。

DR容錯架構以3臺或以上的UPS單元做基礎，各UPS均帶載運行，1臺UPS損壞時，其負載切換至其余UPS，此時會形成單UPS單元供電，可靠性較低，對UPS負載率有要求。

2N+1、2N架構整體存在50%及以上的容量冗余，在金融、銀行行業(yè)應用較為廣泛。

供配電各類架構優(yōu)缺點對比如表1所示。

根據(jù)文獻［2］中附錄A要求，數(shù)據(jù)中心其重要性分為A、B、C三級，其中A級按容錯配置電源、B級按N+1冗余配置電源、C級按基本需求配置電源。本工程為小型超算中心，考慮本項目為改造項目，一層變壓器已存在雙重電源，同時考慮項目重要程度和保密程度，電源層面采用一套UPS電源加一路市電構成的雙路2N供電方案。每套模塊單元配置A、B路2臺電源列頭柜，A路為1路UPS電源;B路為1路市電電源引自本項目2層配電室。規(guī)范最低標準要求UPS滿足N架構即可，但在實際工程設計中，應結合項目的重要程度、業(yè)主需求做好冗余，應綜合考慮供電可靠性及工程造價的平衡。通過上述對比分析，采用一套模塊化UPS做N+1架構冗余。根據(jù)負荷計算，負載總視在功率約為150 kVA，模塊化UPS選用200 kVA，其中150 kVA做主用，其余50 kVA做冗余。根據(jù)文獻［2］第8.1.7條校驗，滿足1.2倍冗余要求，方案設計合理且經(jīng)濟。

2.3 不間斷電源旁路方案

為保障維修系統(tǒng)安全及數(shù)據(jù)中心的可持續(xù)供電，需要為UPS配備旁路方案。內(nèi)置UPS旁路按其構成可以分為分散旁路型式和集中旁路型式［3］。分散旁路是指在一套運行的UPS系統(tǒng)中，每處UPS單元均獨立配置旁路，當單元一點維修或故障時，由該旁路直接向負載供電，當多臺故障時，由各自旁路分別直接向負載供電。集中旁路是指在一套運行的UPS系統(tǒng)中，獨立設置一套靜態(tài)旁路，旁路電源的斷路器線纜等規(guī)格和主路電源一致。當UPS組有檢修需求或故障時，切換至旁路向負載直接供電。兩種旁路方式各有利弊，需根據(jù)工程實際情況進行選擇。UPS集中旁路示意圖如圖5所示。UPS分散旁路示意圖如圖6所示。

集中旁路控制系統(tǒng)具有過載能力強、可靠性高的優(yōu)點;分散旁路控制系統(tǒng)則具有可擴容性高、節(jié)約空間、成本低的優(yōu)點，但存在一定可靠性風險。本工程采用模塊化UPS方案，模塊化UPS采用熱插拔技術，允許單體模塊在不停電的情況下接入或退出，不會影響其余模塊的正常工作，能夠實現(xiàn)在線維護，減少了旁路檢修的概率。本工程為小型超算中心，負荷容量小、整體風險可控，故采用集中旁路控制系統(tǒng)。

在極端情況下，UPS故障退出運行，需要進行電氣隔離，此時需要設置外置檢修旁路開關，該旁路能夠有效保障UPS的使用安全，進一步提升系統(tǒng)的穩(wěn)定性和安全性。平時情況下，檢修旁路開關應帶鎖，以防止人為誤操作;開關合閘后，UPS的輸入輸出側均須可靠斷開;檢修完成后，先切換至靜態(tài)旁路，再接入系統(tǒng)，最后斷開維修旁路開關。

2.4 HVDC電源系統(tǒng)

本工程采用第三代主機超級計算機系統(tǒng)，設備使用電壓等級為直流336 V，超算主機分為前、后兩個模塊倉，每個模塊倉功率400 kW，平時前、后兩個模塊倉互為備份，峰時計算均為主用，即超算主機兩個模塊倉峰時功率可達800 kW。

市面上336 V直流電源系統(tǒng)廠家較多，但本工程輸出分路須非標定制才能滿足超算主機用電需求。采用HVDC直流電源系統(tǒng)單獨給超算主機供電模式，按系統(tǒng)負荷率約80%設計，配置2套336 V/500 kW直流電源系統(tǒng)，分別為超算主機前、后兩個模塊倉供電。平時兩套系統(tǒng)互為備份，設備峰值時可全部主用。每套直流系統(tǒng)額定輸出電壓為336 V，單個模塊容量為20 kW，配置30個20 kW整流模塊（含備用及充電）。系統(tǒng)不設交流配電屏，交流電源直接從一層變配電室低壓配電柜輸出斷路器引接。

每套直流系統(tǒng)輸出單元配置5路500 A熔芯，其中4路供超算主機電源接入，另外一路作為備用。每套直流電源系統(tǒng)配置12 V/200 Ah高功率蓄電池120節(jié)，按恒功率放電計算蓄電池組后備時間大于5 min，每組后備蓄電池組直流開關柜分別設置，且電池開關低電壓脫扣功能關閉。

交流輸入應與直流輸出電氣隔離。直流輸出應與地、機架、外殼電氣隔離。正負極全程均不接地，采用懸浮方式供電;系統(tǒng)應采用直流型絕緣監(jiān)察裝置，能對直流總母排和各直流輸出主分路的絕緣狀況進行監(jiān)測。HVDC直流系統(tǒng)原理圖如圖7所示。

3 結 語

本文以某小型超算中心的基礎設施建設項目為例，探討和分析小型超算中心基礎設施的電氣設計要點。在設計中，超算主機采用高壓直流系統(tǒng);存儲區(qū)域采用1路UPS（模塊化）+1路市電;UPS采用模塊化N+1冗余設計。本設計可提高施工效率，降低施工成本，對后期小型超算中心項目的電氣設計有一定的參考及借鑒意義。

［1］ 鐘景華.數(shù)據(jù)中心供配電系統(tǒng)架構及備用電源的選擇［J］.建筑電氣，2018，37（1）：4-7.

［2］ 中華人民共和國工業(yè)和信息化部.數(shù)據(jù)中心設計規(guī)范：GB 50147—2017［S］.北京：中國計劃出版社，2017.

［3］ 李平，鄭凱，袁松林，等.某超算中心電氣設計方案［J］.建筑電氣，2023，9（42）：21-26.

Electrical Design Points for Supporting Small Supercomputing Centers

Abstract：

This paper takes the infrastructure construction project of a small supercomputing center as an example to discuss and analyze the key points of electrical design of the infrastructure of a small supercomputing center.The main equipment for the design of the infrastructure of the small supercomputing center includes HVDC，modular UPS，micro-module cabinets，magnetic levon-cooled air conditioners，plate heat exchangers，etc.Electrical system design focuses on how to efficiently determine the power supply scheme and redundancy，and fully consider the construction convenience in the design.The results can be used as a reference for similar projects.

Key words：

small supercomputing center; infrastructure; UPS redundancy; electrical design