超級計算中心功能與設計探討

中國中元國際工程公司 焦建欣

在當代信息技術(shù)高速發(fā)展的社會里，隨著云計算、新一代互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)及物聯(lián)網(wǎng)等新業(yè)務的推廣，信息資源將產(chǎn)生爆炸式的增長。數(shù)據(jù)中心是信息化的重要基礎(chǔ)設施，因而也成為了建筑設計領(lǐng)域中的一個新興的板塊。其中，又因其使用性質(zhì)和功能的不同，分為機構(gòu)或企業(yè)自用的數(shù)據(jù)中心、商用型數(shù)據(jù)中心IDC（Internet Data Center）以及超級計算機中心等不同的類型。我公司于2009年承接了國家超級計算深圳中心建設工程，由此開始了對超級計算中心的功能與設計的研究探討。

1 項目概況

國家超級計算深圳中心項目位于深圳市南山西麗大學城，工程建設用地1.2萬m2，規(guī)劃總建筑面積43 414m2，由機房樓和科研樓組成。其中，機房樓地上建筑面積9 626m2，地下建筑面積2 386m2，建筑檐口高度23.5m，地上4層，地下1層。

該項目是國家重大科技基礎(chǔ)設施項目，將建成為亞洲前列、國際一流的國家超級計算技術(shù)研發(fā)中心和技術(shù)服務中心。本中心的超級計算機是目前世界上最先進的超級計算機之一，核心主計算機為曙光6000A（代號星云）（圖2），峰值計算能力超過每秒3 000萬億次，實測Linpack性能達到每秒1 271萬億次.由一臺主計算機和多臺不同架構(gòu)和加速方案的輔助計算機共同組成了中心的混合架構(gòu)高性能計算機，其由約200套機柜組成，計算能力超過20萬臺普通筆記本電腦。本超級計算中心的建設使我國超級計算能力躋身世界前列。該項目已于2012年1月正式竣工驗收，并投入使用，至今運行良好。

2 超級計算與超級計算中心的概念

2.1 超級計算的概念

超級計算也稱為高性能計算（HPC），指通常使用很多處理器或者某一集群中組織的多臺計算機的計算系統(tǒng)和環(huán)境。

2.2 超級計算的主要特性

（1）稀缺性

對于單個作業(yè)計算速度的需求和社會整體對聚合計算能力快速增長的需求，迫使超級計算中心配置技術(shù)最先進、速度最快的超級計算機系統(tǒng)。超級計算機是一種價格昂貴的“快速消費品”。全球TOP500總計算能力（Linpack值）以每年5倍的速度增加；硬件的昂貴、軟件的多樣化以及配置的復雜性形成了超級計算機服務平臺資源的稀缺性特點。

（2）前導性

因為超級計算機都是所處時代速度最快的計算機，其硬件系統(tǒng)是最先進的，位于計算機技術(shù)和科學研究的最前沿。超級計算機硬件系統(tǒng)的先進性支撐了 圖3 基于集群的超級計算機系統(tǒng)各學科領(lǐng)域的應用軟件，有效地為各學科領(lǐng)域最前沿的研究與發(fā)展提供了服務。

（3）公共性

計算機作為一種先進的計算工具，已成為科學計算、工程設計和產(chǎn)品研制的最基本工具，而超級計算機則是各學科領(lǐng)域前沿研究的關(guān)鍵。因此超級計算中心作為跨學科研究的公共基礎(chǔ)平臺，對國家整體的科學進步起著至關(guān)重要的作用。

2.3 超級計算機的功能及應用

近年來，科學技術(shù)的飛速發(fā)展使得許多行業(yè)和領(lǐng)域不斷提出大型和超大型的計算要求，促使大規(guī)?？茖W計算和數(shù)據(jù)處理走上超級并行計算這一必由之路。

超級計算中心的超級計算系統(tǒng)主要應用領(lǐng)域為氣象災害預報、生命科學研究、家用電器研發(fā)、汽車制造、多媒體計算和學科研究等幾個主要的方向。另外，金融、氣象、教育、科研及政務等領(lǐng)域?qū)Τ売嬎愕男枨笠踩诊@突出。

超級計算能滿足未來云計算環(huán)境的應用需求，可運用先進的“云計算”理念，廣泛的應用于市政政務信息化、文化創(chuàng)意產(chǎn)業(yè)、城市規(guī)劃及管理、物聯(lián)網(wǎng)、數(shù)字新媒體以及氣象、生物工程和航天等領(lǐng)域，必將對科技、經(jīng)濟和社會發(fā)展發(fā)揮巨大作用，并可成為國家級的“云計算”節(jié)點之一。因此，目前本項目除稱之為“國家超級計算深圳中心”外，也稱為“深圳云計算中心”。

2.4 云計算的功能及應用

IT技術(shù)以及數(shù)據(jù)中心的發(fā)展趨勢將是以“云計算”和“服務”作為基礎(chǔ)的解決方案。所謂“云計算”是以用戶為中心的基于分布式計算，數(shù)據(jù)存在于云海（各類數(shù)據(jù)中心）之中，互聯(lián)網(wǎng)變成每個人的數(shù)據(jù)存儲中心、數(shù)據(jù)計算中心?！霸朴嬎恪睅ьI(lǐng)我們進入一個全新的信息化時代——云時代。

在云計算模式中，各種應用、數(shù)據(jù)和IT資源以服務的方式通過網(wǎng)絡提供給用戶使用，而用戶終端也隨著計算模式的變化而趨向于簡單化。云計算階段則以網(wǎng)絡中的所有可能的資源為計算載體，提供的是一種近似于無限的運算能力。而超級計算中心可以作為云計算的平臺，在超級計算中心的超級計算機基礎(chǔ)上，針對各行各業(yè)的不同，搭建多種云計算基礎(chǔ)平臺，通過資源的動態(tài)配置提供廣大用戶所需要的各類云服務。主要包括以下兩大類：

1）工業(yè)云、金融云、電力智能云及中小企業(yè)云，是面向不同行業(yè)領(lǐng)域的“專業(yè)云”；

2）辦公云、政務云、電子商務云、教育云、健康云、交通云、文化云、物聯(lián)網(wǎng)、數(shù)據(jù)挖掘云及公安云等，是直接與民生信息服務息息相關(guān)的。

2.5 超級計算中心的概念

超級計算中心是以超級計算機為基礎(chǔ)的數(shù)據(jù)中心，面向科研、國民經(jīng)濟、社會發(fā)展及高新技術(shù)產(chǎn)業(yè)等突出問題和核心技術(shù)，著重解決普通計算機和服務器不能完成的大型復雜課題而建設的，相對于普通的計算中心而言，它的計算能力有了飛躍的發(fā)展，可應用的領(lǐng)域和使用模式有了極大的拓展。超級計算中心是建立在足夠的科技創(chuàng)新能力和應用需求基礎(chǔ)上的，是一個國家和地區(qū)的自主創(chuàng)新能力和綜合競爭力的具體體現(xiàn)。

3 超級計算中心的設計

3.1 超級計算中心的設計依據(jù)

從建筑分類上，超級計算中心屬電子信息機房類工程，因此數(shù)據(jù)中心內(nèi)的機房部分設計主要依據(jù)為：

（1）國內(nèi)規(guī)范：《電子信息系統(tǒng)機房設計規(guī)范》（GB50147-2008）。

（2）國際標準：《數(shù)據(jù)中心電信基礎(chǔ)設施標準》（TIA-942-2005）。

（3）超算主機生產(chǎn)設備廠家的相關(guān)資料、建設單位的需求等。

（4）超級計算中心內(nèi)其他建筑主要設計依據(jù)應根據(jù)建筑規(guī)模及特點詳見各專業(yè)國家相關(guān)規(guī)范。

3.2 超級計算中心分級

超級計算中心是數(shù)據(jù)中心的一種，設計上應滿足國內(nèi)數(shù)據(jù)中心的分級標準，如有需求也可參考國際數(shù)據(jù)中心的分級標準。

1）國內(nèi)標準分級

國標《電子信息系統(tǒng)機房設計規(guī)范》（GB50147-2008）將電子信息機房分為A、B、C三級，分級的原則是從機房的使用性質(zhì)、管理要求及重要數(shù)據(jù)丟失或網(wǎng)絡中斷在經(jīng)濟或社會上造成的損失或影響程度確定的。

2）國際標準分級

對于一款電視節(jié)目來講，要想獲得較好的效果，在對其進行編制之前必須明確其定位，然后圍繞該定位塑造與之相匹配的風格與內(nèi)涵，這樣才能夠使制作出來的電視節(jié)目更加具有吸引力。但是，從當前電視節(jié)目實際制作現(xiàn)狀來看，許多節(jié)目存在定位不夠明確的問題，以

在美國通信工業(yè)協(xié)會發(fā)布的《數(shù)據(jù)中心電信基礎(chǔ)設施標準》（TIA-942-2005）中將數(shù)據(jù)中心可用性劃分為4個等級。第一級數(shù)據(jù)中心（T1級）：基礎(chǔ)級；第二級數(shù)據(jù)中心（T2級）：具冗余部件級；第三級數(shù)據(jù)中心（T3級）：可并行維護級；第四級數(shù)據(jù)中心（T4級）：容錯級。

3.3 超級計算中心的設計原則

超級計算中心設計是一項復雜的系統(tǒng)工程，在數(shù)據(jù)中心的設計過程中，涉及工藝流程、總體規(guī)劃布局、建筑、結(jié)構(gòu)、給排水、暖通空調(diào)、電氣、弱電、消防、節(jié)能環(huán)保以及機房工程等眾多方面。因此，數(shù)據(jù)中心的設計應統(tǒng)籌規(guī)劃，并應遵循以下主要原則：

1）工藝流程合理性

針對超級計算機的需求，合理確定機房等級，充分考慮超算主機房、數(shù)據(jù)機房的運作流線以及對土建、設備等技術(shù)條件的要求，滿足機房運行維護要求，組成合理的設備物流及人流流線。通過合理的布局及柱網(wǎng)配比，達到提高超算設備安裝及維護方便的目的。

2）安全可靠性

超級計算中心的安全可靠性主要應從以下幾個方面考慮：

（1）統(tǒng)籌規(guī)劃，分區(qū)布局：在總體布局中采用統(tǒng)籌規(guī)劃，分區(qū)布局的方式，將機房區(qū)域與辦公科研等區(qū)域分開設置。

（2）防洪防水：結(jié)合工程地勢的特點，適當設置場地高程，加大機房樓與室外地坪的高差，減少了雨水對機房樓的威脅。

（3）防震抗震：合理設置工程抗震設防分類及抗震措施。

（4）防火：機房樓為一類建筑，耐火等級為一級，火災自動報警系統(tǒng)按一級保護等級設計，在超算主機房、數(shù)據(jù)機房等重點部位采用氣體滅火系統(tǒng)。

（5）防雷、防電磁干擾及泄露（電磁兼容性EMC）：應綜合運用分流、均壓（等電位）、接地、屏蔽、合理布線及保護（器件）等技術(shù)手段對電子系統(tǒng)實施全面的保護。避免電磁干擾，并防止自身信號的電磁泄露。

（6）防噪聲、防污染：機電系統(tǒng)選用高效、低噪聲設備，并設減振裝置。

（7）安全防范：應采用先進的數(shù)字化、網(wǎng)絡化的安全防范系統(tǒng)，形成由周界、樓體及樓內(nèi)重要部位的實體防范、技術(shù)防范及人防構(gòu)成的多層次、全方位、多種手段的安全防范體系。

3）先進適用性

超級計算中心是為世界上最先進的超級計算機而建的，因此在設計中需采用各種與之配套的先進且適用的技術(shù)。

4）節(jié)能環(huán)保、高效

針對數(shù)據(jù)機房的高耗能、不間斷運行的特點，設計從建筑維護體系到各機電系統(tǒng)配置等全面體現(xiàn)節(jié)能環(huán)保理念，使得整個建筑在高效、經(jīng)濟、節(jié)能、協(xié)調(diào)的運行狀態(tài)，營造綠色節(jié)能的機房建筑。

5）靈活經(jīng)濟性

采用超算主機房及數(shù)據(jù)機房分層設置的布局，形成了從機房到配套設施的整體模塊化布局，可根據(jù)需要分期建設投入使用，增加了機房使用的靈活性，同時又可降低初次投資。

3.4 超級計算中心的功能布局

超級計算中心通常由機房樓、監(jiān)控中心、機房配套輔助用房及科研辦公用房等組成，根據(jù)不同類型及規(guī)模不同，可以是單體建筑或建筑群。本項目是由機房樓和科研樓兩部分組成，并通過科研樓裙房與機房樓相連。

作為安裝超級計算機的機房樓是設計的重點，本項目的機房樓地下1層，地上4層。其中，地下1層（建筑面積2386m2，層高6.1m）包括變配電室、冷凍機房、熱交換間等機房配套設備機房，為超算主機房和數(shù)據(jù)機房提供運行保證；1層（建筑面積2 382m2，層高5.7m）為預留超算主機房；2層（建筑面積2 382m2，層高5.7m）為超算主機房；3層及4層（建筑面積2 382m2，3層高5.7m，4層層高5m）均為普通數(shù)據(jù)機房。圖4為本項目機房樓2層超級機房平面圖。

1）超算主機房

超算主機房內(nèi)設置超級計算主機及其網(wǎng)絡設備等輔助設備，是存放超算中心IT設備的用房，該機房是為超級計算機量身定做的，因此設計時要與超級計算機制造廠家協(xié)商確定。

2）主機監(jiān)控室

由于超級計算機通常是由集群的多臺計算機組成，包括計算節(jié)點和控制節(jié)點，因此需要在超算主機房旁設置其控制節(jié)點或終端所需的監(jiān)控機房。

3）機房配套輔助用房

包括供配電系統(tǒng)、柴油發(fā)動機（根據(jù)需要）及空調(diào)制冷系統(tǒng)、消防系統(tǒng)等為數(shù)據(jù)機房提供動力能源的配套設施機房及其他機房配套的輔助用房，如更衣室、備件庫及休息室等。

4）參觀走廊

因超算中心具有公共性，而且是一個國家和地區(qū)的自主創(chuàng)新能力和綜合競爭力的具體體現(xiàn)，因此常常作為參觀教育基地，所以要設計參觀的入口、走廊等。

5）監(jiān)控中心

監(jiān)控中心及指揮中心，是構(gòu)成機房集中統(tǒng)一的運行管理指揮平臺。依靠先進的通訊技術(shù)和功能強大的運行管理系統(tǒng)與信息展示系統(tǒng)，反映超級計算機各系統(tǒng)運營狀況的所有信息，包括主機系統(tǒng)、網(wǎng)絡系統(tǒng)、應用系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、機房環(huán)境等。進行集中監(jiān)控管理，實現(xiàn)操作自動化，從而達到提高信息系統(tǒng)管理效率和管理質(zhì)量的目的。平時也作為參觀展示的場所，在緊急狀態(tài)下，實現(xiàn)應急指揮和控制功能。

6）科研辦公用房

為超級計算機應用和管理配套的科研辦公用房及其配套地下車庫、機電用房、職工餐廳、會議等。

3.5 超級計算中心設計應注意的問題

在超級計算中心各專業(yè)設計過程中，最為重要的是應結(jié)合超算中心的特點，有針對性地進行設計。

1）規(guī)劃及建筑

（1）項目的選址應電力、供水可靠充足，交通、通信應便捷；并遠離水災、火災隱患、粉塵、油煙、有害氣體和強電磁干擾等。

（2）工藝為本是數(shù)據(jù)中心設計的基本原則，所有的規(guī)劃及平面設計均應從工藝要求出發(fā)。由于超算主機的更新?lián)Q代通常是3～5年，而且在更新?lián)Q代期間，會有兩代超算主機同時運轉(zhuǎn)期，因此要預留出下一代超算主機安裝的空間，各相關(guān)專業(yè)也需預留容量或設備安裝的空間。

（3）由于超算中心具有參觀等公共開發(fā)性，因此在總體規(guī)劃時要特別關(guān)注各種流線的設計，包括：主機等IT設備的物流、大型機電設備的物流、車流、主機監(jiān)控維護人流、其他IT設備監(jiān)控維護人流及日?？蒲修k公人流及公眾參觀人流等。

2）結(jié)構(gòu)

（1）綜合考慮地震斷層、機房的活荷載、變形縫設置以及結(jié)構(gòu)安全等級等問題。

（2）除機房各功能房間的荷載取值的合理設計外，特別要注意支持區(qū)內(nèi)大型設備用房樓層吊掛荷載，以及屋面活荷載進行折算統(tǒng)計。

（3）配套機房內(nèi)的大型機電設備基礎(chǔ)通常需做隔振、減振設計，以避免對超算主機運行的影響。

3）給排水

（1）由于超算主機房為水冷系統(tǒng)，架空地板下均敷設水冷系統(tǒng)的管線，因此機房的排水及防水設計要引起足夠的重視。

（2）適當設計超算中心的園區(qū)抗災、抗洪能力。

4）暖通空調(diào)及動力

（1）超算主機房的功率可高達30kW/機柜，屬超高密度機房，因此要采用機柜制冷和房間制冷等多種制冷方式，使超算主機自身的制冷系統(tǒng)與機房環(huán)境的制冷系統(tǒng)形成良好的結(jié)合。

（2）保證數(shù)據(jù)中心機房環(huán)境的溫度、濕度和潔凈度，為數(shù)據(jù)中心機房設備提供一個可靠的運行環(huán)境。

（3）合理確定發(fā)電機用儲油量及儲油形式。

5）電氣

（1）供電系統(tǒng)的可靠性占首要的位置，在規(guī)范要求的基礎(chǔ)上，根據(jù)超算主機的需求、系統(tǒng)重要性等條件綜合確定機房負荷等級。

（2）在超級計算中心的投資中電氣系統(tǒng)所占比重較大，因此高低壓配電系統(tǒng)、柴油發(fā)電機系統(tǒng)以及UPS不間斷電源系統(tǒng)的設計應在系統(tǒng)可靠性、運行維護可操作性以及經(jīng)濟性上綜合確定。

6）弱電智能化

（1）應與超算主機制造廠家配合，預留超算主機房布線系統(tǒng)的通道和路由。

（2）除常規(guī)的弱電系統(tǒng)外，應設置機房環(huán)境監(jiān)控系統(tǒng)；KVM管理系統(tǒng)；大屏幕綜合顯示系統(tǒng)以及總控中心集成等數(shù)據(jù)中心特有的系統(tǒng)。

7）綠色節(jié)能

超級計算機有出眾的計算能力，但其耗電能力也非常驚人。據(jù)有關(guān)數(shù)據(jù)顯示，一個每秒運行10億次的超級計算中心的電費每年近400萬元。以本項目為例，項目總負荷為10 972kVA；主機房空調(diào)循環(huán)冷卻水系統(tǒng)用水量為75 600m3/d，最大時循環(huán)水量為3150m3/h，系統(tǒng)補水量為1 100m3/d，由此可見超級計算機的耗電及耗水量都是很大的。因此，在超級計算機中心的設計上應結(jié)合IT設備自身以及建筑、散熱與制冷、電氣節(jié)能、節(jié)水等措施，形成系統(tǒng)的綠色節(jié)能設計體系。

8）技術(shù)經(jīng)濟

由于超級計算中心通常是由各級地方政府或政府機構(gòu)建設，屬國家投資，因此，在項目各階段技術(shù)經(jīng)濟分析要準確詳實，貼合設計，保障投資充足。而各階段的設計也應以上一階段的經(jīng)濟分析為依據(jù)，避免超投資設計，并配合業(yè)主在設備采購招標及施工等階段做好投資控制。超級計算中心的投資比較高，以本項目為例，機房樓的單方造價約1.5萬元/m2，其中，土建及裝修只占到10%左右，其他大約90%都是機電工程和為超算主機配套的工程費用。

4 結(jié)束語

超級計算中心是數(shù)據(jù)中心領(lǐng)域中的一個特殊的類型，對國家科學技術(shù)研究的發(fā)展起著極其重要的推動作用，其高精尖的技術(shù)含量使項目具有自身的獨特性。本文僅以國家超級計算深圳中心為例，簡單介紹了超級計算中心的功能及設計，希望能有更多的人關(guān)注超級計算中心，并對今后類似的設計有所幫助

[1]中華人民共和國電子工業(yè)部. GB50174-2008電子信息系統(tǒng)機房設計規(guī)范[S]. 北京: 中國計劃出版社, 2008.

[2]美國電信產(chǎn)業(yè)協(xié)會，TIA技術(shù)工程委員會.數(shù)據(jù)中心電信基礎(chǔ)設施標準TIA-942-2005[S].2005.

[3]張偉. 超級計算機[J]. 百科知識, 2008（12）.