新一代云計算模塊化數(shù)據(jù)中心探討

顏博藝

[摘 要]近年來，隨著信息化建設(shè)步伐不斷加快，數(shù)據(jù)中心作為云計算及大數(shù)據(jù)分析的基礎(chǔ)設(shè)施，呈現(xiàn)出高速化、大型化的發(fā)展趨勢，傳統(tǒng)數(shù)據(jù)中心的低效率、高能耗造成了極大的資源浪費，建設(shè)新一代的數(shù)據(jù)中心與數(shù)據(jù)中心的技術(shù)改革，已經(jīng)成為當(dāng)前工作的重中之重。本文重點分析了中國電力科學(xué)研究院清河院區(qū)、昌平院區(qū)新建的云計算模塊化數(shù)據(jù)中心采用的新概念、技術(shù)亮點。

[關(guān)鍵詞]模塊化；綠色節(jié)能；高效

doi：10.3969/j.issn.1673 - 0194.2018.22.022

[中圖分類號]TP308；F270.7 [文獻標(biāo)識碼]A [文章編號]1673-0194（2018）22-00-04

0 引 言

在數(shù)據(jù)中心基礎(chǔ)設(shè)施的層面，其中模塊化數(shù)據(jù)中心的優(yōu)點還是比較突出的，比如安全系數(shù)高、高效節(jié)能等，已然成為數(shù)據(jù)中心發(fā)展的佼佼者。微模塊數(shù)據(jù)中心將傳統(tǒng)機房的機架、空調(diào)、消防、布線、配電、監(jiān)控和照明等系統(tǒng)集成為一體化的產(chǎn)品，達到了高效運營、綠色節(jié)能的目的，能夠?qū)崿F(xiàn)系統(tǒng)的快速、靈活部署，縮短數(shù)據(jù)中心的建設(shè)周期，充分發(fā)揮了模塊化設(shè)計的優(yōu)勢。數(shù)據(jù)中心的構(gòu)成如圖1所示。

1 機房設(shè)計的思路及亮點

1.1 設(shè)計思路

針對中國電力科學(xué)研究院云計算數(shù)據(jù)中心機房的物理結(jié)構(gòu)和IT設(shè)備的特點和要求，設(shè)計遵循下述指導(dǎo)思想和設(shè)計原則。①綠色環(huán)保，節(jié)能減排。遵循高效、節(jié)能、環(huán)保的要求，采取合理的基礎(chǔ)設(shè)施系統(tǒng)，如UPS模塊化N+X冗余、機柜的冷熱通道布局等提高系統(tǒng)的運行效率。②可靠性。不但具備合理的冗余能力與災(zāi)難備份能力，同時還具備穩(wěn)定工作與長期可靠的優(yōu)勢，還可以確保計算機應(yīng)用系統(tǒng)穩(wěn)定運行。③管理、維護方便。具有較強的集中式管理加分布式實施的可管理性邏輯，便于工作人員對環(huán)境及放置的設(shè)備進行集中管理，便于維護、維修。④可擴展性。各系統(tǒng)都具備靈活的系統(tǒng)擴容和升級能力。基礎(chǔ)設(shè)施的設(shè)計要求可根據(jù)負載情況不斷增加。⑤環(huán)保、節(jié)能、舒適性。使用國家認可的環(huán)保材料，設(shè)計方案要體現(xiàn)節(jié)能思想，保證工作人員擁有一個舒適的工作環(huán)境。

1.2 機房模塊化機柜系統(tǒng)

模塊化數(shù)據(jù)中心機房是新一代數(shù)據(jù)中心基礎(chǔ)設(shè)施的解決方案，單機柜IT功率可達到2～10 kW，模塊內(nèi)機柜擺成兩排，采用面對面的布局方案，形成冷通道。整個通道采用通道封閉系統(tǒng)，空調(diào)機組采用行級空調(diào)，位于機柜中間，向兩側(cè)的設(shè)備送風(fēng)，可有效提高制冷的效率，方便維護。UPS機柜、電池柜、行級空調(diào)、機柜系統(tǒng)及冷通道封閉系統(tǒng)均為標(biāo)準(zhǔn)的模塊化產(chǎn)品，可快速組建，靈活部署。

中國電力科學(xué)研究院數(shù)據(jù)中心分為清河院區(qū)云計算數(shù)據(jù)中心和昌平院區(qū)云計算數(shù)據(jù)中心。清河院區(qū)云計算數(shù)據(jù)中心按目前使用需求，首期設(shè)計規(guī)劃一號、二號機房安裝8組模塊化機柜，作為服務(wù)器區(qū)，三號機房安裝46個布線機柜，作為網(wǎng)絡(luò)配線區(qū)，設(shè)計容量5 kW。昌平院區(qū)云計算數(shù)據(jù)中心設(shè)計規(guī)劃安裝6組微模塊機房，IT機柜50多個，其中1/3為高密機柜，設(shè)計容量為1 kW，主要為刀片機，2/3為低密機柜，設(shè)計容量5 kW。由于電池柜放置于模塊化機房中所產(chǎn)生的酸性氣體會對機房設(shè)備運行產(chǎn)生不利的影響，故本項目單獨劃分電池間用于放置電池，將電池與模塊化機房隔離開。

1.3 機房制冷系統(tǒng)

數(shù)據(jù)中心能耗巨大，如何降低能耗、節(jié)能減排成為數(shù)據(jù)中心關(guān)注的焦點。在我國政府的“十一五”規(guī)劃綠色數(shù)據(jù)中心的規(guī)劃研究里已明確提出了節(jié)能降耗目標(biāo)，并作為約束性指標(biāo)。綠色數(shù)據(jù)中心作為下一代數(shù)據(jù)中心建設(shè)的主要核心理念，昌平區(qū)、清河區(qū)的云計算數(shù)據(jù)中心，在建設(shè)中引入綠色IT理念，以建設(shè)綠色節(jié)能機房為目標(biāo)，在保證機房高效安全運行的前提下，采用多個節(jié)能方案，降低機房能耗，達到節(jié)能環(huán)保的目的。

1.3.1 冷通道封閉系統(tǒng)設(shè)計

模塊化機房內(nèi)機柜擺成兩排，采用“面對面、背對背”式隔離交錯排列，形成間隔的冷通道和熱通道，冷熱通道的規(guī)劃使冷空氣從機柜前面吸入，經(jīng)過機柜和設(shè)備的內(nèi)部運行后變成熱空氣，再從機柜背面排出。這種方法使冷熱空氣形成了更強的對流循環(huán)，增強了機柜冷卻的效果。冷熱通道設(shè)計有助于對相對集中的設(shè)備進行散熱和促進整個數(shù)據(jù)中心機房的氣流循環(huán)。

整個通道采用通道封閉系統(tǒng)，模塊化機房冷通道封閉技術(shù)是在機柜間或機柜內(nèi)構(gòu)建專門限于機柜設(shè)備制冷用的冷通道，并將冷通道與機房環(huán)境熱氣完全隔離，從而將冷空氣限制在機柜中，避免了冷熱空氣混合，限制了冷氣設(shè)備散熱作用，改善了冷空氣利用率，提高了機房的制冷效率和制冷效果。依據(jù)回風(fēng)溫度每提高1 ℃，空調(diào)制冷能力提高約5%，采用冷池技術(shù)的新數(shù)據(jù)中心空調(diào)制冷能力可提高約45%。根據(jù)PUE計算公式“PUE=數(shù)據(jù)中心總負載/IT設(shè)備負載”，并按空調(diào)占整個數(shù)據(jù)中心電力負載的38%計，則采用冷池技術(shù)后，數(shù)據(jù)中心僅空調(diào)一項就可將PUE值降低約9%。

1.3.2 列間空調(diào)設(shè)計

云計算中心機房采用列間空調(diào)作為機房冷源，高密度模塊化機柜采用制冷量為35 kW的行間空調(diào)，低密度模塊化機柜采用制冷量為25 kW的行間空調(diào)，每個模塊機房列間空調(diào)數(shù)量按N+1冗余配置。列間空調(diào)通常放于服務(wù)器機柜列間，可以直接處理機房服務(wù)器機柜產(chǎn)生的熱量，防止冷熱風(fēng)交匯，機房采用風(fēng)冷式行間空調(diào)，風(fēng)機采用EC風(fēng)機，整機可以根據(jù)通道內(nèi)的熱負載調(diào)節(jié)制冷能力輸出。

列間機房空調(diào)采用緊貼熱源設(shè)計，縮短了氣流路徑。冷風(fēng)是采用從冷通道送風(fēng)、后由熱通道回風(fēng)的水平送風(fēng)方式，從而完全解決了冷熱氣流短路的問題，保障了服務(wù)器機柜溫度均勻，消除了局部熱點，進而增加了服務(wù)器運行的可靠性，同時有效降低了不必要的能耗。

1.3.3 末端EC風(fēng)機設(shè)計

機房空調(diào)是計算機房的能耗大戶，而在機房空調(diào)的各主要部件中，壓縮機的能耗占較大比重，另外室內(nèi)風(fēng)機全年不間斷運行，其能耗在空調(diào)的總能耗中占有較大的比重，存在較大的節(jié)能空間。所以降低計算機房能耗首先要從機房空調(diào)著手，尤其要從降低壓縮機和風(fēng)機能耗著手。末端EC風(fēng)機設(shè)計如圖3所示。

EC電機高效節(jié)能：EC風(fēng)機采用直流無刷技術(shù)、永磁同步電機配合后傾式風(fēng)機，整體效率要比傳統(tǒng)FC電機的風(fēng)機高30%左右。EC風(fēng)機無級變速特性：根據(jù)熱負荷情況，通過芯片控制，EC風(fēng)機可以調(diào)整轉(zhuǎn)速，在低熱負荷的情況下能耗極低。EC風(fēng)機采用后傾式風(fēng)機：比原有的前傾式風(fēng)機效率高，能夠有效提高送風(fēng)效率。電科院的云計算數(shù)據(jù)中心機房全部采用變頻EC風(fēng)機，每個空調(diào)室多臺空調(diào)自動聯(lián)機聯(lián)動，可實時根據(jù)機房內(nèi)的溫度自動變頻運行。

1.4 模塊化UPS系統(tǒng)

電科院的云計算數(shù)據(jù)中心采用模塊化UPS主機的先進設(shè)計理念，該主機可根據(jù)客戶的需求自由擴增，其中功率模為分別由20 kVA和25 kVA組成。高密度模塊化機柜設(shè)計采用1臺模塊化UPS，每臺配置6個25 kVA的UPS模塊，采用5+1冗余設(shè)計；低密度模塊化機柜設(shè)計采用1臺模塊化UPS，每臺配置5個25 kVA的UPS模塊，采用“4+1”冗余設(shè)計；（可方便擴充容量和單個模塊熱插拔維修，不影響機器正常運行，單臺最大可擴充到150 kVA），采用“4+1”雙機冗余設(shè)計適應(yīng)數(shù)據(jù)中心不斷發(fā)展的設(shè)備供電需求。

模塊化UPS與傳統(tǒng)UPS在可靠性、綜合投資的有效性、高效節(jié)能環(huán)保、可用性與擴容維護等幾個方面均有明顯的優(yōu)勢。模塊化UPS系統(tǒng)是將UPS各部分功能完全以模塊化實現(xiàn)的UPS產(chǎn)品，其具有如下特點。①系統(tǒng)主機由機架、功率模塊、靜態(tài)開關(guān)模塊和監(jiān)控模塊等組件構(gòu)成。②系統(tǒng)具有并聯(lián)冗余、在線擴容的特性，并能構(gòu)成系統(tǒng)雙總線方案，完全取代傳統(tǒng)UPS方案。③系統(tǒng)是一個“綠色、節(jié)能、環(huán)保”的電源方案，具有高輸入功率因數(shù)、低諧波失真度、高效率、高可靠性和高穩(wěn)定性的優(yōu)點。④模塊化UPS系統(tǒng)應(yīng)采用符合行業(yè)標(biāo)準(zhǔn)的結(jié)構(gòu)設(shè)計，對空間需求低，以模塊為安裝、擴容、維護單元，具備在線擴容、維護方便的特點，能夠最大限度地提高系統(tǒng)的可靠性、可用性、安全性。

1.5 機房電氣系統(tǒng)

電科院的云計算模塊化數(shù)據(jù)中心采用精密配電列頭柜設(shè)計方案，精密配電列頭柜安裝于模塊化機柜內(nèi)，是一款針對數(shù)據(jù)中心機房能源末端，綜合采集所有能源數(shù)據(jù)的智能配電柜，為終端能源監(jiān)測系統(tǒng)提供高精度的測量數(shù)據(jù)，通過顯示單元實時反映電能質(zhì)量數(shù)據(jù)。同時，云計算模塊化數(shù)據(jù)中心通過數(shù)字通訊上載至后臺環(huán)境控制系統(tǒng)，以有效管理整個配電系統(tǒng)的實時監(jiān)控和運行質(zhì)量，幫助用戶優(yōu)化網(wǎng)絡(luò)數(shù)據(jù)中心，加強能耗管理，提高服務(wù)器機架運行效率，為實現(xiàn)全方位綠色IDC提供可靠保障。

1.5.1 精密配電列柜規(guī)劃

（1）高密度冷池。①高密度冷池內(nèi)的IT用電功率為：150 kW×1=150 kW（根據(jù)UPS功率推算）。②高低密度冷池內(nèi)的精密空調(diào)用電功率為：20 kW×4=80 kW。③其他負荷按10 kW計算。④以上每個高密度冷池總功率為240 kW，配置總開關(guān)容量不小于400 A。

（2）低密度冷池。①低密度冷池內(nèi)的IT用電功率為：100 kW

×1=100 kW（根據(jù)UPS功率推算）。②低密度冷池內(nèi)的精密空調(diào)用電功率為：15 kW×4=60 kW。③其他負荷按10 kW計算。④低密度冷池總功率為170 kW，配置總總開關(guān)容量不小于250 A。

1.5.2 精密配電柜的功能特點

（1）先進的報警功能。及時通過專業(yè)網(wǎng)關(guān)配合或者顯示單元，第一時間將報警信息通過短信、郵件或聲光報警的方法傳達給管理者。在此之前，多層報警設(shè)置的作用主要是預(yù)防潛在的故障，提前做好準(zhǔn)備措施，以防止失效對一些參數(shù)進行多層的報警設(shè)置保護。

（2）完善的監(jiān)控系統(tǒng)。配合溫度傳感器附件及時檢測列頭柜溫度，在一定程度上完善供電系統(tǒng)的安全保障，同時精密配電柜也可配合漏電采集單元做好在線漏電監(jiān)測工作，測量完整的電氣狀況，不但可以監(jiān)測多條饋線回路與電源進線的電氣參數(shù)，還可以為供電系統(tǒng)提供更好的管理條件與風(fēng)險預(yù)測。

（3）智能化系統(tǒng)監(jiān)控。操作及電能管理更高效，讓用戶及時了解負載運行情況，并可實現(xiàn)監(jiān)控每個PDU電源，多層報警設(shè)置預(yù)防潛在的電源故障，便于用戶及早發(fā)現(xiàn)安全隱患，規(guī)避配電風(fēng)險。報警全面，實現(xiàn)精密配電，減少用戶因誤操作引起的局部斷電事故。系統(tǒng)本地可保存歷史記錄與故障信息，數(shù)據(jù)采集有較強的實時性，提供關(guān)鍵數(shù)據(jù)分析，便于用戶分析故障原因。

（4）高精度、寬量程。提供精確的計量數(shù)據(jù)的同時滿足多方面需求，滿足對機架式和刀片式服務(wù)器電源的監(jiān)測，多種饋線CT量程選擇將測量誤差降到最低。

（5）高性能、高集成化。良好的性能及高集成化產(chǎn)品，能夠很好地保證設(shè)備運行更加穩(wěn)定、安全，通過集中處理分支測量的方式提高產(chǎn)品的集成度高。電源監(jiān)測采集裝置尺寸小，可以在列頭柜相對狹小的空間內(nèi)自由安裝，極大地提高柜內(nèi)安裝能力及整體運行的穩(wěn)定性，更加方便用戶進行后期維護。

1.6 環(huán)境監(jiān)控系統(tǒng)

電科院的云數(shù)據(jù)中心環(huán)境監(jiān)控系統(tǒng)除了傳統(tǒng)的機房動力、環(huán)境及安防監(jiān)控外，還具備能效管理及運維管理功能，管理平臺采用網(wǎng)絡(luò)數(shù)字技術(shù)，對各監(jiān)控子系統(tǒng)信息數(shù)據(jù)進行集中監(jiān)測，對設(shè)備進行集中管理。云數(shù)據(jù)中心環(huán)境監(jiān)控系統(tǒng)通過客戶端管理軟件或IE瀏覽器，使獲得授權(quán)的相關(guān)管理人員通過網(wǎng)絡(luò)管理機房內(nèi)的運行狀況，系統(tǒng)加強了數(shù)據(jù)中心運維管理，提高了運維效率，降低了復(fù)雜性和風(fēng)險，有利于數(shù)據(jù)中心能效可視化，為實現(xiàn)全方位綠色IDC提供可靠保障。

1.6.1 環(huán)境監(jiān)控

機房環(huán)境監(jiān)控系統(tǒng)包括機房動力、環(huán)境及安防的監(jiān)控系統(tǒng)，主要監(jiān)控對象包括溫濕度、消防主機、精密空調(diào)、配電柜電量儀、開關(guān)、機房門禁和機房視頻監(jiān)控，能夠?qū)崿F(xiàn)7×24小時的全面集中監(jiān)控和管理，保障機房環(huán)境及設(shè)備安全高效運行，以最大限度提高機房的可用率，并不斷提高運營管理水平。平臺告警方式包括電話撥號報警和短信報警。

1.6.2 能效管理功能

1.6.2.1 能耗實時展示

機房環(huán)境監(jiān)控系統(tǒng)可以通過計算與測量的辦法，能夠計算出每個關(guān)鍵測點的能耗值，從而能夠更方便地掌握能效的實時變化狀況。

同時，展示的內(nèi)容還包括：①能耗的各項分類情況、監(jiān)測情況以及建筑的基本信息；②各個監(jiān)測支路的逐時原始讀數(shù)的列表；③各個監(jiān)測支路的逐年能耗值和逐月、逐日情況；④相關(guān)能耗指標(biāo)的表與圖。能耗實時展示如圖4所示。

1.6.2.2 能耗統(tǒng)計分析

能耗報表：通過能耗統(tǒng)計監(jiān)測，提供精細到機架上每個設(shè)備對應(yīng)的PDU端口在不同時期的耗電量列表，對比分析出低效、高功耗的設(shè)備，以優(yōu)化設(shè)備布局，降低能耗，并為IT設(shè)備購買提供決策支持。能耗分布狀況分析圖表：可以顯現(xiàn)出總耗電量、IT設(shè)備耗電量和其他設(shè)備耗電量的分布和變化情況，了解能耗分布是否合理，能耗分布的發(fā)展趨勢狀況。趨勢報表：通過對能耗趨勢報表（高峰時段與低谷時段、按不同季節(jié)）的分析，及時發(fā)現(xiàn)問題或能耗上升趨勢，產(chǎn)生預(yù)/告警信息。

1.6.2.3 PUE實時展示

目前，如果想更科學(xué)地測量出數(shù)據(jù)中心的能耗指標(biāo)，最適合的方法就是PUE，不但可以節(jié)能，并且可以詳細了解數(shù)據(jù)中心的能耗情況，因此要實時監(jiān)測數(shù)據(jù)中心的用電數(shù)值。

1.6.2.4 PUE分析

系統(tǒng)提供PUE趨勢分析、對比分析圖表展示及報表，可對比自定義目標(biāo)參數(shù)及理想模型。

1.6.2.5 趨勢分析

系統(tǒng)提供PUE值的記錄與統(tǒng)計，并對趨勢進行分析，呈現(xiàn)數(shù)據(jù)中心的運行狀況。數(shù)據(jù)分析圖表：PUE的測算分成樓層總PUE和分別記錄機房單獨的PUE值變化情況，生成機房/數(shù)據(jù)中心樓層的周、月、年P(guān)UE統(tǒng)計報表。趨勢報表：通過對PUE趨勢報表（高峰時段與低谷時段、按不同季節(jié)）的分析，及時發(fā)現(xiàn)問題或能耗上升趨勢，產(chǎn)生預(yù)/告警信息。

1.6.2.6 對標(biāo)分析

將實際數(shù)據(jù)與設(shè)定的當(dāng)年各月或各時段各功能機房相對應(yīng)的能耗及PUE目標(biāo)值進行比較，以驗核是否達標(biāo)。確定可以提高能耗的業(yè)界同類最佳實踐及平均值，建立持續(xù)改進目標(biāo)，將實際相關(guān)能效及PUE指標(biāo)與同類參考值（如標(biāo)桿值、平均值等）進行比較（列表和圖），經(jīng)找出差距，探討改進措施。圖表的展現(xiàn)方法分為好幾個方式，比如比較常用的如：區(qū)域圖、分布圖、線圖、混合圖等幾種，因為圖表展示也是數(shù)據(jù)展示的一個主要方法，它在表現(xiàn)手法上更顯得簡單易懂，可以直觀地反映出統(tǒng)計數(shù)據(jù)的數(shù)值與采集的數(shù)據(jù)情況。

1.6.3 運維管理功能

系統(tǒng)的運維管理主要包括工單管理、排班管理、知識庫管理和事件處理功能，這些功能共同為系統(tǒng)的應(yīng)用功能提供支撐，使整個系統(tǒng)更加安全、高效地運行。

（1）工單管理。工單管理是運維管理系統(tǒng)的重要組成部分，也是運維管理系統(tǒng)的核心。工單包括故障單、保養(yǎng)單、事件異常單、資產(chǎn)庫存提醒單、庫存?zhèn)浼嵝褑巍⒆远x任務(wù)單、資源低容量告警單和能效調(diào)節(jié)處理單8種工單。每一個工單模塊都是相互獨立的，記錄各自的內(nèi)容信息，有各自相應(yīng)的工單流轉(zhuǎn)規(guī)則。

（2）排班管理。排班功能包括8個常用功能：基本排班、自動排班、排班換崗、排班查詢、假期管理、休假/請假管理、值班事件規(guī)則設(shè)置和打印排班圖表。系統(tǒng)根據(jù)管理人員作息時間選擇排班日期段和需要排班的工作人員列表，自動排出崗位值班表。

（3）知識庫管理。知識庫是指為方便和有效地使用與管理大量的知識而把人類已經(jīng)具有的知識以一定的形式存儲在計算機中所構(gòu)建的系統(tǒng)。用戶可將能效調(diào)節(jié)、故障處理等的處理方式、效果或經(jīng)驗集中在此平臺上，為后續(xù)相似問題的處理分享經(jīng)驗，避免進入誤區(qū)或者重復(fù)無效工作。知識庫適用于知識積累型企業(yè)，可以有效地積累、管理和共享知識，成為企業(yè)提升核心競爭力的重要環(huán)節(jié)。

2 結(jié) 語

電科院的新一代云計算模塊化數(shù)據(jù)中心在綠色節(jié)能、高效、可靠、運維可控4個方面較傳統(tǒng)數(shù)據(jù)中心具有無可比擬的優(yōu)勢，在云時代數(shù)據(jù)中心趨向高密化的驅(qū)使下，模塊化數(shù)據(jù)中心建設(shè)方式成為必然的選擇。