面向綠色數據中心創建的節能技術和能源管理集成應用

卜 震 王安光 沈 佳 孫海峰

上海市建筑科學研究院

周俊茂

中國移動通信集團上海有限公司

面向綠色數據中心創建的節能技術和能源管理集成應用

卜 震 王安光 沈 佳 孫海峰

上海市建筑科學研究院

周俊茂

中國移動通信集團上海有限公司

從提升數據中心能效水平的目標出發，介紹了國家綠色數據中心試點項目的創建思路和原則，通過上海地區某電信類IDC機房的創建案例，詳述了在上海地區綠色數據中心建設和運營的節能技術和能源管理措施的集成應用情況，分析了幾項節能創新技術的應用技術要點，為綠色數據中心推廣提供了參考。

互聯網數據中心；高壓直流電源；光纖測溫技術；能源管理措施

Fund Item: Shanghai Municipal Scientific Technology Committee Science Research Plan Topic（16DZ1202401）

統計數據顯示全球數據中心總量已超過300萬個，耗電量約占全球總耗電量的1.5%，數據中心的高能耗問題已經引起全球關注。近年來，我國城市數據中心建設進入了快速發展期，總量已超過50萬，年耗電量超過全國總耗電量的1.5%[1]。特別是隨著全球信息化飛速發展，互聯網數據中心（IDC）建設步伐更是明顯加快。根據上海統計局統計，至2013年末，上海已建成700處宏基站和300處室內分布系統，覆蓋中心城區190 m2，各類互聯網數據中心（IDC）機架總量達3.4萬個，增加4 000個；至2014年末，IDC機架數總量達3.8萬個。

國際發達國家普遍重視數據中心節能，通過采用節能低碳產品和技術以及先進的管理方法優化數據中心運營能效，降低其環境影響。美國環保署（EPA）在2010年提出并實施了“數據中心能源之星計劃”，節能效率在行業內排名前25的才有資格獲得能源之星標簽；美國政府還積極推進“聯邦數據中心整合計劃”，關閉小型數據中心，取而代之的是集中式的數據中心，目前，美國數據中心平均電能使用效率（PUE）已達1.9，先進數據中心PUE已達到1.2以下。2008年，歐盟發布了《數據中心能效行為準則》，提供了減少數據中心整體能耗和碳排放的解決方案，引導數據中心節能環保水平的提升。我國大多數數據中心的PUE普遍大于2.2，與國際先進水平相比有較大差距，節能需求及潛力巨大。近年來，我國從政府層面重視綠色數據中心的示范建設，2015年制定了《國家綠色數據中心試點工作方案》，提出創建百個綠色數據中心試點，能效平均提高8%以上的目標。

綠色數據中心的建設應與數據中心類型、當地氣候條件、節能技術利用水平和使用情況等相適應，我國綠色數據中心的設計、建設、運營、監管、評價、改造等諸多環節還存在不少問題有待開展專項技術研究和技術集成研究。本文首先簡要介紹綠色數據中心的創建思路和原則，然后以上海地區某電信類IDC為例，重點分析綠色數據中心創建中的節能技術措施，闡述實施過程中的技術要點及問題，為該地區綠色數據中心適宜性節能技術的應用和推廣提供依據和參考。

1 綠色數據中心創建思路和原則

根據工信部的《國家綠色數據中心試點工作方案》，在分析我國數據中心節能環保水平現狀基礎上，提出了綠色數據中心試點創建的思路和原則。其中，創建總體思路是以建立數據中心的推進機制，引導數據中心節能環保水平全面提升為目標，圍繞互聯網、電信、公共機構、能源、金融、生產等六大應用領域，在數據中心建設規模大、總能耗高的省市選擇數據中心，開展綠色數據中心創建，探索和引導數據中心綠色低碳發展途徑。創建原則一是堅持能效提升與低碳環保并重：在提升能效同時，降低碳排放和資源消耗，控制有毒有害物質使用并加強回收；二是分類實施和指導：根據應用領域特點和規模，因地制宜進行創建，分類指導規劃、建設和運營；三是技術和管理并重：在開展綠色數據中心節能新技術創新和推廣應用的同時，提高管理水平，建立運維管理體系。

2 創建案例

2.1 工程概況

以上海地區電信類IDC為例，該IDC位于所在園區1號樓，共有機房模塊6個，機房制冷采用業內領先的水冷主機結合板式熱交換技術。其中，位于1號樓四層的2、3號機房是為客戶量身定制、定向租用的IDC機房，機房面積680 m2，安裝業務機柜340個，IT設備負載近910 kW，機房設備使用率達90%以上。該IDC自2014年10月后開始穩定運行后，在原設計基礎上綜合利用十余項節能技術，并不斷完善用能監測和運維管理體系。

2.2 節能技術

該IDC分別在冷源系統、建筑圍護結構、機房氣流組織、電源設備、照明系統等幾個方面采取了節能技術措施。

1）冷源選擇

項目根據上海地區的氣候條件與總制冷量需求，選擇了離心式冷水機組作為主用冷源。同時，考慮到大型數據中心往往需要一個較長的時間周期才能逐步裝機達到設計負荷，為了提高在部分負荷狀態下的冷機COP值，選擇了變頻式機組。同時，還采用了低溫冷卻水利用和優化冷凍水供回水溫度等細節措施實現運營節能。

此外，根據上海年氣候變化特點，項目設計了冷卻塔“自由冷卻”系統。自由冷卻系統與常規制冷系統并聯，便于控制、維修、切換，且功能劃分清晰。按照冷卻塔供冷與制冷主機供冷比例關系，新增3套與主機相同容量的冷卻塔（共計6套冷卻塔）、3套板式換熱器（見圖1）及與其配套的3臺冷卻水泵。在冬季，僅開啟1臺變頻主機使其負荷維持在30%以上，冷卻水溫度維持在15℃以上，其余供冷量由冷卻塔供給，節能減排效果明顯。過渡季，開啟自然冷卻系統預冷冷凍水。在不使用該系統的季節，該系統的冷卻塔可與常規制冷系統的冷卻塔一并使用，以此降低冷卻水溫，提高主機效率。

圖1 自由冷卻系統板換照片

2）建筑圍護結構

該數據中心是由老廠房改建而成，因此在建筑熱工性能方面不滿足最新設計要求，因此在改造過程中對原廠房大多數外窗進行了封閉處理，最終窗墻比控制在15%以下。同時在內部裝修時，充分注意彌補熱工缺陷，在機房內墻設置了保溫墻體，避免冷量散失；在分隔墻體內均設置保溫巖棉，達到節能隔音的效果。由于機房內采用了地板送風方式，采用800 mm高防靜電架空地板，地板下鋪設導熱系數＜0.036 W/(m·K)的橡塑保溫層，形成保溫效果良好的送風風道，有效防止了不同樓層房間之間的溫差產生的結露效應。

3）機房氣流組織

IDC內部合理的氣流組織形式與設備穩定安全運行以及節能效果息息相關[2]。近年來，大型IDC機房通常采用冷熱通道隔離方式，這種方式既能有效避免冷熱空氣混合，也利用了熱空氣自然上浮的物理特性，形成了合理的氣流分布，有利于提高冷卻效率。該項目數據中心的機架排列采用了冷熱通道隔離方案，即相鄰兩排設備機架的擺放方向為“面對面、背靠背”，自然形成相互間隔的冷熱通道（見圖2）。冷空氣從開孔地板進入冷通道，設備采用“正面進背面出”的方式通風，熱空氣再從熱通道回到空調回風口。在冷熱通道隔離的基礎上，該項目進一步采用了封閉冷通道的節能方案（見圖3）。有關研究表明封閉冷通道后室內風機送風量可減少30%，封閉熱通道后室內風機送風量可減少12.5%。

圖2 冷熱通道隔離示意圖

圖3 封閉冷通道示意圖和現場照片

在應用冷熱通道隔離或封閉方案時，擋風盲板的安裝至關重要。因為項目機房內服務器一半是逐步安裝的，在架內服務器的間隙上加裝擋風盲板，能夠保證空調送來的冷風流經服務器散熱以后才回到空調，避免了局部氣流組織短路的情況（見圖4）。安裝擋風盲板是一個動態的過程，由于客戶經常會對服務器進行裝、拆、移等動作，擋風盲板的部署位置也需要相應的隨之調整，這要求機房維護人員與租賃客戶建立有序的溝通協調機制和合作管理模式。

圖4 擋風盲板作用示意圖和加裝盲板后的現場照片

此外，為進一步優化氣流組織形式，提高冷卻效果，項目對冷通道送風地板的形式進行了優化。如圖5所示，采用了氣流導向地板，提高了地板開孔率，從而使地板送風阻力大大降低，送風效率明顯提高，單機柜冷卻能力也得到提升，另外有助于解決傳統空調系統送風量有限所引起的冷卻能力不足問題，突破了地板風口的送風瓶頸，提高了IT設備的機柜容積率和出租率，使機房空間資源能夠得到充分利用。

圖5 冷通道送風口改造前后對比照片

4）電源設備

通信用高壓直流電源（HVDC）是一種新型的直流不間斷供電系統，與傳統的2N UPS系統相比，直流供電減少了電源轉換時的電能損耗，提高了電源的使用效率和系統安全性。通常UPS效率隨著負載率的降低而降低，為保障系統安全，UPS供電系統大多采用備份形式，導致單臺UPS通常工作在較低負載率區間，系統效率較低，通常低于80%，而240 V直流系統效率一般都在95%以上，直流供電技術應用于電信IDC機房的節能優勢明顯[3]。

該項目設計采用了一路240 V直流和一路市電電源為IT服務器供電的方案（見圖6），數據中心內配置的通信電源設備系統，可在滿足IT設備負荷的前提下，盡量貼近其負荷值，以提高主機的負載率，從而提高主機的效率，降低能源損耗。

圖6 240 V直流和市電供電系統示意圖

由于在規格一定的情況下，電纜長度越長，電阻越大，電能損耗越大，項目通過優化數據中心的總體布局，縮短供電路由，節省了初次投資的同時，降低了線損。采用的具體措施為：油機房與變配電機房左右緊靠相鄰，變配電機房與電力電池室上下緊靠相鄰，電力室與主機房左右緊靠相鄰，同時，電力室內輸入、輸出屏分開合理擺放，盡量減少線路的迂回。

5）照明系統

該項目采用了三項綠色照明設計措施。首先，采用高效照明產品。用T5型（熒光燈+鎮流器）替換T8型（熒光燈+電感鎮流器），節電率達到30%以上，同時大大降低了頻閃，改善了照明環境，提高了工作效率。其次，采用合理照明控制方式。照明控制應能滿足機房和其他輔助區域的視覺需要，在此條件下，節約照明用電。同時還需要兼顧操作性和經濟性。機房走廊、樓梯廳和門廳等公共區域的照明，應該采用集中控制方式，并按建筑使用條件和天然采光狀況采取分區、分組控制。一般，可以按有無天然采光進行分組，按不同使用條件進行分區，以利于節約電能。另外，充分利用自然采光。在部分室內區域，如大廳、走廊、監控室等，可以充分利用自然采光，不僅可以節能，而且能夠提高工作人員的視覺舒適度。

2.3 能源管理

數據中心的節能管理應貫徹數據中心整個生命周期。本項目自立項起，在規劃、設計、建設、驗證和運營等各個階段均有針對性的部署了相關節能管理工作，自始至終開展節能優化，最能實現了比較理想的節能運行效果。

1）測試與驗證環節

項目參照國外成功工程項目經驗，在建設過程中特別加入了測試與驗證環節。不僅是對IDC機房節能設計效果進行測試驗證，還對機房容量能力、各個子系統安全性、聯動性進行系統測試和驗證，具體工作內容見圖7。通過測試和調適驗證，可將符合建設要求和設計技術標準的工程項目無縫交付給運維團隊。

圖7 IDC機房測試與驗證環節工作內容

2）基于光纖測溫的機柜級溫控系統

IDC機房的傳統空調設計通常采用機房級溫控技術，即空調系統配合一些分布在機房內的點式溫度傳感器，來實現整個空間的溫度控制。點式溫控技術只能反映數據中心機房的局部點的空氣溫度，無法再現機柜內部IT設備的實際散熱效果和機柜內微環境溫度場，導致傳統IDC機房普遍存在局部機柜過熱以及整體空調系統效率不高的問題。

針對上述問題，需要從機房級到機柜級進行溫度監測和控制的轉變。機柜級微環境溫度監測信息更可用于空調系統的精細化運行管理。本項目在IDC機房的機柜內布置了基于光纖測溫的機柜級溫控系統，通過光傳感技術對機柜級微環境進行感知，采集分析每個機柜的進出風溫度場（見圖8）。光纖測溫系統使運維人員能夠對機房制冷效果進行實時監測和管理，及時發現并更解決局部過熱點的問題[4]。該系統還能夠根據分析結果（見圖9）自動反饋數據控制空調系統運行，使其能夠及時根據負荷變化情況調整設置空調溫度、風速以及出風口方向，從而使空調系統的制冷更有針對性，在提高制冷效率的同時，降低了運行能耗。

圖8 基于光纖測溫的溫控布線示意圖和現場照片

圖9 基于光纖測溫的溫控系統測量結果顯示云圖

3）監控和能耗系統

IDC機房一般均設置有集中監控系統，一般以提高運行維護質量、降低運行成本等為目標，包括視頻監控、環境監控、能耗監控等功能。集中監控系統可根據機房運行特點和監控要求，實現集中管理、統一監控并迅速反應。

本項目在一般監控系統基礎上，進一步布置了可視化機房監控系統，與傳統監控系統不同，該系統在具有數據中心級PUE算法的基礎上，集成了基于流量統計的機房模塊級PUE算法，能夠實時直觀顯示每一個機房模塊的動態PUE數值，為PUE優化提供了精確的計量手段。針對機柜的功耗監測，該IDC機房率先采用3D建模（見圖10），將機房內每個機柜功耗情況用不同顏色進行區分、展示，并設有警示值，使機房內機柜用電情況一目了然，便于實時監控管理，如發現異常，立即會通知專業人員進行處理。

圖10 機柜功耗的3D實時顯示效果圖

4）IDC運維能源管理體系

IDC機房的規劃、設計、建設及運營是一個有機的系統過程，特別是運營階段，需要建立有效的管理體系來實現節能和安全運行的目的。本IDC項目在用能管理方面，按照能源管理體系的要求，建立了較為完善的運維能源管理體系。

首先明確節能運行目標，通過引入“PUE運營”概念，即在數據中心正式啟用、IT設備完成部署后，在保持現有基礎設施架構不變的基礎上，以降低PUE為技術和管理導向，不斷對各系統配置進行優化，對運行參數進行調整。具體通過建立以周為單位的運營日志管理方式，一方面根據機房運營狀況進行優化調整，另一方面根據每周數據分析差異以及能耗變化原因，實施節能改進措施，并及時對實施效果進行驗證和總結，確保PUE持續下降。同時，為落實能源管理體系的實施，項目運營單位建立了節能減排定期報表制度、年度節能目標責任評價考核制度和監督實施制度，對節能指標進行了有效分解。

通過持續深化節能管理與PUE運營，運營團隊結合機房負載分布及變化情況，動態實施機柜側盲板拆裝、HVDC系統模塊策略調整、精密空調運行參數調整等具體措施，部分機房的年平均PUE已由最初投入運行的2.6降低至1.5，冬季采用純自由冷卻時的機房PUE僅約為1.4，效果十分顯著。

3 結語

1）IDC數據中心為實現節能運營，需要技術和管理并重，從技術角度，需要根據運營特點，采用適宜節能技術；從管理角度，強調整體生命周期的節能管理，建立管理體系對節能目標的實現至關重要；

2）IDC空調能耗占比和節能潛力均較大，影響空調能耗的因素也非常多，需要從圍護結構、冷源系統、氣流組織等多方面綜合考慮，系統性開展節能優化；

3）IDC節能管理應注重細節，細節處理不好可能會影響適宜節能技術的效果發揮。對采用冷熱通道隔離和關閉方式的情況，需動態實施機柜側盲板拆裝，本文案例中的氣流導向地板等節能優化措施有助于提高冷卻效果，但具體節能量化效果還有待后續測試驗證；

4）高壓直流供電作為一項新技術，應用于IDC機房節能潛力顯著，但目前仍處于起步應用階段，其局限性和適用性尚有待驗證和改善；

5）本文案例采用的基于光纖測溫的機柜級溫控系統，能夠對機房制冷效果進行實時監測和管理，及時發現并更解決局部過熱點的問題，實現IDC安全運行和節能減排，具有廣闊應用前景。

[1] 王浩然. 綠色數據中心節能技術研究[D]. 成都:電子科技大學, 2014: 5–6

[2] 田浩，李震. 數據中心分布式冷卻系統研究[J].暖通空調, 2014, 45(9) : 42–48

[3] 張劍銘. 高壓直流系統在中國電信IDC機房的創新應用[J].電信技術，2014(8) : 45–47

[4] 黃毅，楊軍志，張文利. 光纖測溫技術在IDC機房的應用研究[J].智能建筑與城市信息，2015(2) : 90–96

Energy Conservation Technologies and Energy Management Integrated Application for Building Green Data Center

Bo Zhen, Wang Anguang, Shen Jia, Sun Haifeng
Shanghai Architecture Science and Research Institute Zhou Junmao
China Mobile Shanghai Branch

In order to improve data center energy efficiency, the author introduces creating ideas and principles of national green data center trial project through collecting telecommunication internet data center construction cases in Shanghai. The author also describes construction and operation energy conservation technologies and integrated application of energy management measures for data center in Shanghai, analyzes several cutting edge energy saving technologies and application key points, which gives reference to green data center promotion.

Internet Data Center, High Voltage Direct Current, Optical Fiber Temperature Measuring Technology, Energy Management Measures

上海市科學技術委員會科研計劃課題（16DZ1202401）

10.13770/j.cnki.issn2095-705x.2017.06.005

卜震：男，工學博士，高級工程師