校園綠色數據中心的建設與實踐

支 琴 尹惠鏡 姚仁忠 上海交通大學

據IDC發布的研究報告顯示[1]，2012年中國數據中心數量己達到510 530個，約占全球數據中心的13%，2012至2017年的復合增長率（CAGR）為9.8%，并預測未來5年仍將保持接近兩位數的增長。綠色和平的一份報告也預測，到2020年，全球主要IT營運商云計算的能耗將近2萬億kWh，超過德國、法國、加拿大和巴西等4國的能耗總和。而按我國現有數據中心規模統計，其用電量已經占到我國全社會總量的1.5%左右。

隨著學校信息化建設的不斷深入，校園網建設日趨完善，應用系統也隨之日益增多，校園數據中心的數據和規模都持續增長[2]，以上海交通大學閔行校區網絡信息中心為例：168個機柜，600多臺服務器、網絡設備等，配置9臺空調，每年總耗電量200萬kWh左右；超級計算中心415個節點（其中雙路高密度計算節點332個），每節點2*8核IntelXeonE5-2670處理器，DDN存儲陣列720TB，水冷空調，每年電費130萬kWh左右。

在建設“數字大學”的信息化藍圖的歷史進程中，學校的信息化支撐條件和服務水平得到了持續改善提高，然而如何從節能環保的角度，構建科學規劃、創新實施和有效管理的現代大學綠色數據中心，對深化落實節約型校園建設具有重要意義，也是學校信息化建設的重要課題。本文從綠色數據中心的構建內涵、技術應用和運營管理等方面闡述了適用于學校校園的綠色數據中心的建設實踐，期望對其他學校在綠色數據中心建設方面有所借鑒。

1 校園數據中心的特點

1.1 數據中心概念

數據中心從廣義上[3]說是以外包方式讓許多網上公司存放它們設備（主要是網站）或數據的地方，是場地出租概念在因特網領域的延伸。數據中心是一整套復雜的設施。它不僅包括計算機系統和其它與之配套的設備（例如通信和存儲系統）還包含冗余的數據通信連接、環境控制設備、監控設備以及各種安全裝置。

數據中心主要提供主機托管、服務器租用、虛擬主機、云服務器（虛擬機租用）、CDN加速等服務。從功能上數據中心分為部門級、企業級、互聯網級、主機托管和云計算數據中心等，從規模上數據中心分為微型（面積小于200㎡）、小型（200～500㎡）、中型（500～2000㎡）和大型（大于2000㎡）。

1.2 校園數據中心的構成

校園數據中心是數字校園的神經中樞，它存放著服務于學校信息化的各類服務器系統，是保證數字校園的各個應用系統穩定、高效運行的基礎。普遍意義上來講校園數據中心主要由機房環境、網絡環境、計算資源、集中存儲、數據運行環境、安全體系、容災中心等部分組成。

（1）機房環境。主要指提供防塵防靜電的環境、充足持續的電力系統、恒溫恒濕的制冷系統、氣體滅火消防系統、電子門禁系統、環境監控報警系統；綜合布線及機柜系統。

（2）網絡環境。主要指在數據中心內部建立冗余的網絡鏈接，當校園網的某一部分出現故障時，數據中心內部的所有數據交換不會因此而中斷，保證網絡的暢通無阻，并配備及時發現問題的網絡監控系統。

（3）計算資源環境。主要指服務器架構的設計必須從整體上進行容量規劃，根據應用的需求合理布局，使系統易于擴展性，實現資源共享，避免經費浪費。

（4）集中存儲。集中存儲是實現數據共享、建立高可用運行環境的關鍵環節，根據數據訪問方式及重要程度采用不同的技術，實現數據集中存儲。

（5）數據運行環境，主要涉及數據庫管理系統、數據倉庫管理系統和數據共享與交換。

（6）安全體系主要分物理安全、審計系統、安全監控系統。校園數據中心要保證各應用系統的安全運行，同時還要保證數據的安全性，因此在系統架構上要充分考慮網絡安全和數據安全。

（7）容災中心建設需要根據學校的實際情況分步進行。數據的丟失可以有很多因素，誤操作、磁盤等設備出問題等，都可以導致數據丟失。因此數據備份應是數據中心提供的基本服務。從校園數據中心的角度來講，不僅要考慮到數據的快速備份、恢復等問題，還要提供應付災難性的后備與恢復措施。

1.3 校園數據中心的能耗特點

通過對校園數據中心的現場排摸，結合其承擔的工作內容，數據中心總能耗主要是用電消耗，其耗電包括IT設備、電源系統、制冷系統和照明等其他設施（如圖1）。

圖1 校園數據中心的能耗構成

根據校園節能監管體系建設對重點用能建筑分項計量的具體要求以及數據中心設計規范，以上海交通大學閔行校區數據中心為典型案例，采集其分項用電消耗如圖2：

從校園數據中心的能耗占比來看，主要消耗來源于對外服務的主體，即IT設備，以及數據中心環境建設的主要內容，即制冷系統。

圖2 校園數據中心的能耗占比

2 校園綠色數據中心的建設應用

2.1 技術路線

校園綠色數據中心[2]的概念，主要是指數據機房中的IT系統、機械、照明和電氣等能取得最大化的能源效率和最小化的環境影響。其建設需要緊跟學校信息化建設進程，在保證各應用系統穩定、安全、持續運行的前提下，實現各系統的綠色高效運行。這不僅是技術層面的項目改造，對綠色運營也提出了新的要求。因此校園綠色數據中心的建設主要從兩方面入手：

1）技術環境建設

根據數據中心能耗結構情況，技術環境的建設可以從防塵防靜電、電力系統保障、恒溫恒濕制冷系統、綜合布局等方面實施。而一般情況下，數據中心的設計均需按照數據中心建設的相關標準進行，如《電子信息系統機房設計規范》（GB50174－2008）、《電子信息系統機房施工及驗收規范》（GB50462－2008）、《數據中心通信設施標準》（TIA/EIA-942）等，對防塵、電力系統保障等方面在數據中心規劃建設初即需進行整體性的頂層設計，且后期改造空間不大。因此，對于己投入使用的及即將規劃建設的校園綠色數據中心，恒溫恒濕制冷系統和綜合布局設計調整成為改善優化技術環境和建設校園綠色數據中心的突破口。

2）綠色運營管理

隨著各項節能技術的廣泛應用，數據中心的技術環境建設其實并不難，關鍵是后期的完善和管理，這也是目前大部分學校在數據中心方面做的不足的地方，因此，實施高效的綠色運營管理對構建綠色數據中心能夠起到事半功倍的作用。這也進一步確立了校園綠色數據中心建設的另一有效途徑，即在高可用的校園數據中心硬件設施完善的基礎上，建立綠色數據中心運行、協調和監管的相應機制，應用科學的、標準化的制度、職能和結構設計，架構并實施一套完整、合理的管理工作規范體系。

以下將以上海交通大學綠色數據中心建設為例介紹校園綠色數據中心的建設應用。

2.2 技術應用

學校數據中心存在熱負荷大、濕負荷小的特點，其熱點主要在設備端的發熱、結構型散熱、機房照明等，對不同密度布置的數據中心需采用不同的制冷系統和綜合布局設計。

2.2.1 低密度設備布置的節能設計改造

（1）冷熱通道隔離

對機柜前導入下送風冷通道和機柜后頂部熱通道進行隔離，在機柜未裝設備的地方安裝盲板，防止冷空氣從空隙中流過，從而讓冷空氣只能通過服務器等IT設備，這樣避免發生冷熱混風和廢熱倒灌現象，改變機房環境氣流組織和減低冷通道的溫度梯度，使冷量的利用率提高,從而改良機柜內的有效制冷效果,最大限度地提高能效。

（2）自然風制冷系統設計

對原下送風精密空調加裝乙二醇+水間接自由制冷循環系統，充分利用自然界存在的豐富冷源，降低原空調系統的能耗。 當室內外溫度差高于室內設定溫度5℃時（此值可以自由設定2～5℃），壓縮機制冷；當室外溫度低于室內設定溫度值大于5℃時，壓縮機制冷進入熱備份狀態，水-乙二醇被室外干冷器冷凝后通過水+乙二醇換熱器冷卻室內空氣，利用室外的低溫空氣，對設備冷卻降溫，減少空調壓縮機的工作時間，從而達到機房節能降耗的目的。根據機房溫度控制標準點24攝氏度的要求，本系統在19℃以下開始進入工作狀態。該溫度范圍貫穿上海市氣溫環境秋、冬、春三個季節，節能效益明顯。

綜上所述兩項技術的實施，經測算原有的數據中心節能率為13%。

2.2.2 中密度設備布置的節能設計改造

（1）水平送風系統

采用列間精密空調水平前送風后回風方式。縮短了風流路徑可減少冷熱氣流混合的機會，借以提高氣流分配的可預測性。預測針對 IT 設備的氣流分配可更精確地控制不斷變化的氣流速度，實現自動調節，以滿足就近 IT 負載的需求。可變速風扇只以 IT 負載所需的速度旋轉，不會像恒速風扇那樣浪費能源。平衡了機柜上下之間的溫差，冷量損耗得到降低，提高了單元機柜的載荷密度，同面積同功耗卻極大提升了機房的承載力。

（2）熱通道隔離

機柜擺放采用背靠背方式。對后頂部熱通道進行隔離，在機柜沒裝設備的地方裝上盲板，防止熱空氣從空隙中流過，從而讓空調捕獲IT 負載剛剛釋放出的熱空氣，減少其與周圍空氣混合的機會，這樣既避免發生冷熱混風和廢熱倒灌現象，也極大地提高了空調工作效率。

（3）空調外機冷凍水制冷機組和自然冷卻單元

冷凍水制冷方式，極大地減少了二氧化碳的排放，還可實現市電停電一段時間內仍有冷量連續輸出。方便加載自然冷卻單元，在室外溫度低于12℃以下時可停止壓縮機工作，僅靠大自然提供冷卻水對IT負載提供冷量。

當前學校的災備機房，面積120㎡，設計最大負載能力200kW。當前配備21臺IT設備機柜，30kw制冷量列間空調5臺。采用上述3項改造技術，相對原傳統機房設計節能在20%左右。

2.2.3 高密度設備布置的節能設計

采用液冷密閉機柜系統，即密閉機柜與冷水機組組成的制冷系統，加之自然冷卻模塊和冗余的變頻水泵的使用，其節能效果將更加明顯，單柜負載極大地得到提升，也大大降低了IT設備高速運轉產生的噪音。據測算，機柜級的制冷方式相對列間的制冷方式節能在40%左右。

當前學校超算中心機房選用了威圖的液冷密閉機柜系統,已在正式運行。

2.3 綠色運營管理

綠色數據中心的運營管理需充分建立在“管控結合”的基礎上。

（1）加強組織建設、提高專業技術人員配備

對于學校信息中樞的數據中心，必須建立一支強有力的業務與技術兼備的管理團隊實施管理，以實現數據中心的高可靠運行。管理團隊除了對機房數據、運行配套等非常熟悉之外，還需對數據技術的應用比較精通。同時，在人員配備上要考慮用不同層次的人員，完成不同的任務，明確每個角色的職責，在建設初期、正式運行及交付運行的全生命周期建立各類工作規范，并嚴格執行。

（2）統籌規劃設計、嚴把設備采購關口

綠色數據中心規劃時要考慮綜合使用、管理、運維，按照學校數據中心增長預測和技術情況對數據中心進行統一規劃，采用模塊化設計，根據運維情況分步啟用相應模塊以及配置相應設備。同時，IT產品的采購，能耗作為其中一個重要指標，設備按需采購，根據業務增長和安全管理要求設置和一定冗余量。

（3）優化數據資源、加強設備管理

采用數據技術對龐大數據資源的優化配置是實現運營的有效手段。如當前比較流行的虛擬化技術和云技術，可以大大提升能效。另一方面，須對耗能設備實施高效的設備管理。如對服務器可采用自動休眠技術，降低待機能耗；對IT設備實行定期評估，對低能效設備實行下線或遷移；對UPS及電池定期維護、定期放電，延長電池壽命的同時提高電源效率；對制冷系統實行定期維護、定期沖洗。

（4）實施機房能耗監測、提高管理能效

數據機房能耗是數據中心綠色化首要考量的指標，因此，數據機房的能耗監測勢在必行。對數據中心包含的各個方面須單獨計量，如制冷系統、照明系統、IT設備等的分項計量，測算數據中心相關能耗評價值。目前用的較多有：PUE值（數據中心消耗的能源與負載能耗的能源之比）和CLF值（制冷與供電負載系數）是否在有效控制范圍內。除了能耗評價外，對能耗的監測也是實現管理的自動化，降低人力投入成本的同時，提高了管理的質量和效率。

3 結語

如今中國是目前唯一一個擁有最多超大型數據中心項目的國家，同時也是增長最快的數據中心市場，學校信息化的進程已經進入高速發展階段，這不僅得益于信息技術創新應用，而且也是教育事業發展的必然結果。上海交通大學網絡信息中心承擔著中國教育和科研計算機網絡（Cernet）華東南地區網、上海教育與科研計算機網（Shernet）和上海交通大學校園網（SJTUnet）的建設、學校各類信息系統建設。對不同規模及配置的數據機房實行相應的技術環境探索應用，并建立了相應的綠色運營管理體系，在保障數據中心安全、持續、穩定運行的同時，有效降低成本，提高了能效，建立并實施校園綠色數據中心建設的示范。

[1]IDC：http://www.idc.com.cn/about/press.jsp?id=NzU0. 2013；

[2] 谷立靜，周伏秋，孟輝.我國數據中心能耗及能效水平研究.中國能源[J]，2010（11）：42-45；

[3] 陳希楠.高校綠色數據中心的建設與管理.軟件導刊[J]，2012（8）：138-140。