數據中心能耗運營實踐

翟 駿，康志勇，林武雋，沈 鴻

（北京電信網運部動力維護中心，北京 100032）

0 引 言

互聯網數據中心（Internet Data Center，IDC）業務依托于數據中心，是北京電信的重要收入組成部分。伴隨國家“節能減排”“雙碳”等一系列戰略的提出，北京電信動環團隊從配電、暖通等角度入手，開展數據中心節能技改工作，取得了顯著成效。但針對舊有大型數據中心，受限于機械電表、引電路由、網管系統等條件限制，數據中心能耗計量通常采用人工定時抄表的方式進行，不具備樓宇能耗的動態監測和展示能力，亦無法有效驗證節能廠商報告數據的真實有效性，給數據中心能耗管理帶來較大困難。

北京電信原動環監控運維方式為：動環集成商負責自身的系統網管和現場硬件，通過私有協議，完成硬件安裝、數據接入、網管呈現工作；監控班組對若干動環集成商網管PC終端進行數據運維工作；老舊局站內機械電表不具備通訊口，數據無法采集到動環網管。對此，北京公司于2019年引入DCIM網管，通過C接口整合原有網管動環數據，并定制省公司B接口規范，實現新建站FSU直通DCIM系統服務器。

能耗系統建設表面上是對基礎動環數據的一次加工提純，實際上是對軟硬件和現場施工能力的一次綜合考驗，針對老舊動環系統集成的數據，有5個方面的問題亟待解決，分別為物理工程量、數據標準化、數據并發量、系統運算力、呈現精煉性。這要求我們要明確具體數據采集需求，勘察協調物理補點可行性，切分現場與網管側工作界面，規劃能耗數據呈現方式，系統閉環管理能力輸出等多個方面內容，實現數據可用，系統可控。

1 項目整體規劃

以數據中心A為試點，能耗系統在存量動環數據的基礎上，進行B接口改造和定制化補點，將能耗數據標準化，繞開系統間C接口對數據并發能力的限制；拆分機樓級UPS、直流、配電損耗、照明、冷機、冷塔、水泵能耗；拆分機房級IT列頭柜、空調配電柜、照明配電箱、水冷分攤、配電損失能耗；融合機房內建筑結構、基礎設施物理信息，以及機房溫濕度、空調進排風、進出水、風機轉速等暖通設施指標；整合自然冷、CO2載冷、間接蒸發冷等已落地節能設施運行功耗，進行實時集約化展示分析。集約樓宇基礎設施能耗數據，整合已有節能項目能耗數據，實現數據中心機樓、機房級能耗指標的實時監測。

伴隨數據中心業務量動態變化，對各節能子項推進過程中的能耗指標進行實時監測管理，確認碳排放指標、PUE等關鍵指標降低的可靠性和有效性。以IDC機房為單位，圍繞降低機房PUE的指標，探索IDC機房空調運行工況與機房能耗及PUE指標匹配模式，對標業內先進友商，探索機房PUE模型最優解，進而推進整體局站的節能減排工作[1-3]。

2 數據集成

2.1 設備及測點

能耗系統的建設依托于數據，數據自設備產生。圍繞機樓、機房級能耗指標的采集運算，我們活用高低壓負荷輸出柜與機房內各類列頭柜，共梳理出7種要增補測點的設備，如表1所示。

表1 設備增補清單

為使測點數據在集成上線和查詢統計過程中更為清晰，我們從有功電度、有功功率、暖通數據入手，針對重要設備內關鍵能耗測點進行梳理和標準化編碼，如表2所示。有功功率數據可實時反映數據中心能耗運營情況，指導運維人員管理調優；有功電度數據累計能耗用量，反映數據中心一段時間內整體能耗情況和平均指標；暖通數據聚焦機房內空調和溫濕度數據，反映暖通系統運行與能耗指標相關性，給設備運行調優提供決策依據。

表2 測點編碼清單

2.2 采集器增補

通過現場勘查，能耗補點主要涉及8類采集設備，如表3所示。增補的地點包含配電室、IT機房、綜合機房、照明豎井。增補場景分為兩種：一是機房智能電表全量具備情況下，只需要修復或更換故障電表，更換FSU采集器，更新通訊協議，關鍵測點通道標準化編碼即可；二是部分電表缺失情況下，除了基礎操作外，還需要額外協調客戶或業務部門進行雙路倒換。針對照明通道的補點，優先利舊機房內照明配電箱內空調進行傳感器增補，若不具備則協調物業在樓層照明間對應空開處增補能耗測點。

表3 設備增補清單

3 系統設計

3.1 算法定制

樓宇級能耗指標應具備總括性、典型性，各指標間數量級應具備可比性，主要包含全局PUE、全局IT、配套暖通、機房照明、配電損耗5個指標，涉及公式如下。其中：全局PUE的分子為與機房IT設備運行直接或間接相關的能耗總量，未考慮公共區域照明、電梯、生活水泵等非生產負荷；全局IT從IDC托管機房和電信自有網絡機房負荷；配套暖通綜合考慮冷站和機房內空調末端風機負荷，為機房水冷分攤基數；樓宇配電損耗為配電室低壓負荷輸出柜（UPS）與各IT機房列頭柜電表能耗總和做差得出，為機房配電損耗分攤基數；節能項目為間接蒸發冷、CO2載冷、自然冷源等單獨計量工程能耗。

機房級能耗指標要能如實反映機房基礎設施特點，區分、拆解IT、暖通、照明類別能耗，主要包含機房IT、配電分攤、水冷分攤、節能項目分攤、空調配電柜、機房照明6類能耗指標以及機房暖通運行指標。其中機房IT為所有列頭柜電表能耗值之和；配電分攤、水冷分攤和節能項目分攤為依據機房IT實時負載占比，分別計算出UPS自損和線損，水冷系統，節能項目實時能耗在機房內的分攤量；暖通系統運行指標為重點關注對象，在計量能耗數值的同時也反映機房環境的安全性，包含空調送回風、進出水、風機轉速、機房溫濕度等測點數據。

3.2 能耗預警

對標北京市發改委《關于進一步加強數據中心項目節能審查的若干規定》（京發改規〔2021〕4號）文件要求：對于超過標準限定值（PUE值1.4）的數據中心，將按《北京市完善差別電價政策的實施意見》（京發改〔2015〕1359號）中超過單位產品能耗限額的情形，確定執行差別電價單位的名單，并通知北京市電力公司按月征收差別電價電費。能耗系統應具備閉環管理能力，如圖1所示，從機樓、機房兩個角度，圍繞1.4和1.8兩道紅線值產生能耗預警，及時通知局所維護班組，協調各方資源及時制定PUE優化措施，保障節能項目效益穩定性。

圖1 PUE閾值刷新判斷流程

4 系統應用

現場施工與系統開發同步進行，以機房為單位，數據集成并編碼后網管側在集中監控模塊驗證數據有效性，系統后臺設置算法，關聯測點數據?？紤]到接口數據并發量，系統每間隔1 h采集數據入庫，前臺呈現上1 h采集的實時數據。網管數據采集對無效數據設置通訊告警機制，支撐基礎數據管理。

系統界面自上至下分為整體指標、機房指標、機組組態3個功能區，如圖2所示。整體指標區內，除樓宇實時PUE值外，還可以并行對比IT、暖通、照明等各類生產負荷；機房指標區以“行”區分機房，錄入機房面積、空調數量、額定制冷量等靜態基礎信息同時，呈現上1 h數據庫內動態數據；機組組態區呈現機房指標區內所點擊機房相關指標，通過餅狀圖、折線圖的方式反應機房內各類設備功耗占比，以及機房PUE運行曲線。

圖2 能耗監測模塊

機房指標區內，單機房PUE計算出后，與閾值進行比較，并通過“治理效果評價”以不同的組態圖形加以呈現，如圖3所示。異常指標讓運維班組重點關注該機房能耗運行情況，審視IT負荷與空調制冷量的匹配關系，設置優化方案及時調整并實時監測。

圖3 PUE閾值刷新判斷流程

5 總結建議

系統依托于B接口規范和編碼表，在適度改造工作量的基礎上完成了能耗數據的標準化集成，保證了數據通訊質量和擴容能力?，F場施工與系統建設歷時4個月，也是對基礎動環數據中能耗數據的一次擴充和梳理。

能耗數據在放映業務發展量的同時也體現了數據中心供配電、暖通、公共設施配合情況。伴隨著集團“云改數轉”戰略的推進，動環數據作為“O”域重點數據，我們在提煉的基礎上也要主用挖掘，探索數據價值。

能耗監測系統的建設不僅是相應政府部門要求，也是以IDC機房為單位，集成基礎設施能耗運行數據，積極向標業內先進友商溝通，探尋不同場景下機房PUE模型最優解，推進整體局站的節能減排工作。能耗監測模塊對各節能子項推進過程中的能耗指標進行實時監測管理，保證碳排放指標、PUE等關鍵指標降低的可靠和有效性。