基于數字孿生的數據中心一體化智能管理系統研究

摘要：2021年國家發改委等四部門發布《全國一體化大數據中心協同創新體系算力樞紐實施方案》明確指出：秉承“綠色集約”的原則，推動數據中心綠色可持續發展，加快節能低碳技術的研發應用，提升能源利用效率，降低數據中心能耗。在此政策背景下，本文探討了一種研發數據中心一體化管理系統的解決方案：基于數字孿生架構，利用物聯網（IoT）和大數據開發技術，通過對數據中心的能耗和容量數據的采集感知，數字化定義和動態算法構建孿生體信息模型，實現能耗管理、容量管理、資源3D可視、集中監控和統一告警功能。同時，對能效和容量的相關數據建立AI模型，通過Deep Learning獲得推薦和調優決策依據，有效推進了數據中心數智化建設、精細化管理和綠色節能降本目標的實現。關鍵詞：數據中心；數字孿生；能耗管理；容量管理；3D可視化

近年來，伴隨著中國政企數字化轉型的深入推進和數字經濟的飛速發展，國內數據中心行業保持了30%的高增長態勢。與此同時，數據中心行業的高能耗和資源利用率低的問題也日益凸顯，主要表現在兩個方面：

第一，能耗居高不下。耗電量不斷刷新紀錄。2020年，中國DC用電量已經超過2000億kW·h，占用電總量的2.7%。已經被列為與傳統八大“雙高”行業并列的高能耗產業。大多數數據中心用電效率值（PUE）甚至超過2.2，與政策定義的綠色低碳數據中心PUE小于1.3的相去甚遠，甚至50%以上的傳統數據中心無法做到PUE值自動計算和監測。

第二，容量的利用率低下。數據中心的空間、電力、制冷、承重、網絡等是數據中心高昂成本的主要組成部分。從實際運營情況看，國內大多數DC超過70%的容量資源沒有得到有效的應用，造成了嚴重的資源浪費。

針對以上問題，利用數字孿生技術，設計開發數據中心一體化智能管理系統，進行細化到機柜和設備的能耗管理和多維度容量管理，有效促進節能、降碳、增效，解決容量利用率低下造成資源浪費的困擾。緊密契合國家“碳達峰碳中和”戰略決策和推動數據中心綠色可持續發展，意義重大。

一、總體設計與實現

數據中心一體化智能管理系統主要由能耗管理、容量管理、流程管理和數字孿生3D展示四部分組成。技術架構上主要包括采集層、數據層、應用層、展示層和管控層等（見圖1總體架構圖）。采集層利用物聯網設備進行數據采集，數據層進行數據的存儲計算，應用層負責系統功能的實現，展示層和管控層實現用戶操作、展示、監控等。

數字孿生應用基于采集感知、網絡傳輸、數字建模、虛擬仿真融合，運用物聯網連接數據中心實體和數字孿生體，合成高精度數字模型，匹配精確地測量數據的動態更新。借助Deep Learning的AI虛擬沉浸式仿真，結合實景視頻孿生引擎，獲取3D的渲染效果展示。

技術框架采用B/S模式設計，通過智能電量表和傳感器設備，加上Dubbo技術框架，實現基于分布式的采集。通過Databus Server+Agent集群搭建采集數據管理服務，并部署TDH（Hadoop+Hbase）實現大量采集數據的寫入和存儲。利用分布式文件系統及Hbase技術，實現針對大量采集數據的讀寫、存儲、壓縮、備份機制。數據庫采用MongoDB+MySQL。Redis集群實現熱點數據緩存服務，并采用Spring Cloud微服務技術獨立編譯及部署，提供功能模塊的開發。Activiti平臺設計工作流邏輯流程，并運用3D虛擬仿真技術構建整個數據中心的三維虛擬環境。可對各監控子系統實現數據的集中監控，對各子系統實時/歷史的監控數據和告警信息進行集中展現。同時，利用LVS+Keepalived技術保證系統的運行穩定。Nginx實現Web服務的高效率開發，用Echarts定制數據統計的可視化圖表。開發完成后的系統應該具有高性能、高可用、高安全的特點，并且具有實時監控、整體管控、按需伸縮、直觀展示的特性。同時，提供各類標準接口（SOCKET、FTP、EJB、LDAP、XML、HTTP、JMS、Email、Web Services、WSRP、JCA、CORBA、RMI等），滿足第三方應用的連接支持。

二、數字孿生可視化

數字孿生是以數據（包括實時傳感數據、歷史數據以及算法模型等）與模型（涵蓋物理模型、機理模型、流程模型等）的集成融合為基礎與核心。通過在數字空間構建物理對象的數字化映射（包含物理實體、物理對象的行為、流程與過程），基于數據整合與分析預測，來模擬、驗證、預測、控制物理實體全生命周期過程。最終形成智能決策的優化閉環[6]。

數據中心數字孿生可視化利用3D技術，將孿生體對象，包括園區建筑、機房布局、基礎配套、冷通道和機柜、IT設備、強弱電鏈路等，通過數據處理和建模仿真實現數字化映射。這樣可以實現IT設施、動環、容量、鏈路、告警等信息的可視化，并對數據進行模擬、分析、預測和驗證，提供決策依據。關鍵技術包括仿真幾何信息模型、物聯網（IOT）采集、3D展示、能耗預測模型、告警信息等，實現基礎設施、能耗、容量、動環、鏈路、監控、溫度云圖等信息的可視化。

（一）仿真幾何信息模型

首先收集數據中心建設和機房內多角度實景照片、CAD建設圖、平面圖等素材，利用3DMax建立仿真模型，Unity引擎實現3D視覺的編輯，遠景采用軸測法，布局更清晰，進行采用透視法，細節更真實，CMDB系統獲取實例動態的信息關聯和邏輯關系。

（二）物聯網IOT采集

智能PDU、溫濕度傳感器、串口服務器等物聯網采集器是實體動態信息的數據泵，采集到的數據通過Modbus等協議和RESTFul接口映射到孿生體。

（三）3D展示

通過WebGL建立3D可視化環境，逐級放大方式瀏覽，前端框架采用vue-cli3微框架+Element-UI，集成采用WebService、ActiveMQ、RESTFul，展示效果見圖3。

（四）能耗預測模型

AI的深度學習技術Deep Learning是能耗預測的核心，利用LSTM建立能耗預測模型針對全生命周期內的數據進行智能學習獲取動態依存關系和優化模型。

（五）告警信息

Dashboard技術可以用于告警展示和資源定位，同時支持全面靈活的故障告警規則設置。它可以支持實時告警、壓制告警、延時告警等多種告警機制，同時將告警分為活動告警和歷史告警。通過設定某段時間內滿足告警表達式的頻率，可以有效抑制瞬時告警的效果。

三、能耗管理

數據中心能耗管理包括數據采集、分析、指標及展示、告警、報表、集中監測、用能設備管理、PUE測算等功能。前端的數據采集及定時任務系統可以計算出各個分項能耗，展示整體和分項能耗信息和趨勢圖形，為機房管理人員提供直觀的能耗數據。采用控制變量法，可以采集相關運行變量，測算變量對PUE的影響權重，進行靈敏度分析和動態趨勢分析，并設定閾值參考。數字孿生技術可以用于建立機器學習模型，對能效管理相關數據進行采集監測、統計審查和趨勢展示，并提供節能建議，為PUE的調優提供決策支持。此外，能耗的數字化定義和建模可以構建仿真分析和優化模型，通過虛擬空間映射和3D空間展示，進行能耗管理的仿真分析和優化。

能耗數字采集是通過采集器對智能電量儀、UPS、列間空調、精密空調、精密列頭柜、智能PDU等設備數值指標進行采集。利用多種通信協議如modbus、SNMP傳輸數據。我們使用apache的commons-pool2對所有連接進行池化管理，并使用任務管理（Quartz）調度不同設備的采集過程。使用Flume（分布式數據傳輸框架），將數據統一發送到調度平臺。同時，我們發起兩個數據流傳輸，其一是做數據的異步持久化存儲。另一個是發布到kafka中，作為其他業務功能訂閱的實時數據。我們從時間、空間、設備維度進行能耗分析，使用時間序列的機器學習技術統計學習、傳統機器學習、前饋神經網絡和循環神經網絡及其變種（包括LSTM、GRU）等方法進行能耗預測。同時，我們使用JEXL3構建規則引擎進行配置公式的計算。其中重點計算公式如下：PUE=實時總設備能耗/IT設備能耗；EUE=累計總設備能耗/累計IT設備能耗；CLF=制冷設備耗電/IT設備能耗；PLF=供配電系統耗電/IT設備能耗。

基于物理的數字孿生模型能夠通過協同動力與環境系統、配電系統、仿真氣流組織和冷源系統，對電氣設備、空調設備、服務器及網絡設備的能耗進行動態分析。該模型提供多維度的數據展示功能，包括時間維度（年、季、月、日）和空間維度（數據中心、單樓層、單機房、子系統、服務器和服務器組合及設備維度），清晰展示數據中心能耗分布，實時展示各設備及子系統能耗使用情況。此外，該模型還能夠建立AI模型，對能效管理相關數據進行自我學習，并確定其最佳的設定值。同時，該模型還能夠提供節能建議，為PUE的調優提供決策支持。能耗預警功能提供能耗指標閾值管理，對用能超限進行告警，提醒對告警區域及時干預。此外，該模型還提供多種功能能耗報表，為數據中心精細化用能管理提供了堅實的基礎。作為節能低碳技術的研發的典型應用，該模型推動數據中心“綠色集約”的可持續性發展。

四、容量管理

容量管理包括電力、空間、網絡、磁盤等多個方面的全局分析、分層分析、數據統計、設備上架推薦和變更跟蹤等功能。它的目標是確保數據中心的基礎設施容量資源能夠高效、經濟地應用，在不斷演進的數據中心業務和容量資源進行優化和調整。同時，通過實時容量數據、歷史容量數據和容量閾值等進行規劃和預測容量未來資源，進一步提高基礎設施資源的使用率，減少容量超載對業務的影響，降低容量成本。數據中心的整體容量信息包括空間、電力、制冷、承重和網絡等五個維度。容量管理系統以電力、制冷量和空間容量為基礎，實現對機房進行整體管理和資源規劃。通過對數據中心機房進行容量管理，可以全面展示機房的整體容量利用情況和剩余率，提升數據中心機房用戶的管理水平和資源利用率。

系統通過設置模塊，為操作人員提供數據中心容量可視化與規劃管理工具。運維人員可以配置規劃的機房資源的基本參數（電力、冷量、U位）。電力容量通過采集讀取配電柜、UPS和PDU電力信息，實時計算出相應的負載率及剩余可帶載能力，并生成相應的容量報表及歷史趨勢圖。當需要加入設備時，系統可根據機房的電力容量剩余量判斷當前增加的設備是否超過剩余量，進行閾值告警。制冷容量通過讀取采集配電柜、精密空調、列間空調等的電力信息，實時計算出相應的負載率及剩余可帶載能力，并生成相應的容量報表及歷史趨勢圖。空間容量對接CMDB系統獲取每個機房的機柜數量以及每臺機柜的U空間使用情況，實時計算出相應的負載率及剩余U空間，并生成相應的容量報表及歷史趨勢圖。承重和網絡通過動態采集工具獲取容量的實時數據，對獲取的實時數據進行加工配置，可以得到數據中心運維人員關心的容量指標，分析變化所帶來的影響，從而做出合理的決策及規劃，確保物理設施符合當前及將來的需求。同時，系統利用數據孿生技術，基于當前數據中心的實際機柜占用情況，進行模擬操作。在不影響真實環境數據的條件下，可以進行設備的添加、刪除、遷移，以便更好地進行容量規劃和管理。

五、結束語

智能管理系統的設計為數字孿生技術在數據中心的應用和實踐開拓了思路。通過數字孿生系統中數據的分析和聚合，仿真業務模型不斷深化，實現了靈活的容量管理、能耗管理和預測分析等。這進一步提升了數據中心的能效比和使用密度，提高了設備使用效率，降低了運營成本，實現了數據中心穩定運行和降低成本的總體目標，符合數據中心綠色節能發展趨勢。同時，該系統緊密契合國家“碳達峰”和“碳中和”的重大戰略決策，滿足了數據中心降低成本和提高效率的切實需求。該研究已經在上港集團的數據中心投入使用，發揮了重要的作用，為數據中心的數智化建設和精細化運營管理提供了行之有效的解決方案。

作者單位：王偉 李東 上海海勃物流軟件有限公司

參" 考" 文" 獻

[1]Ma Haizhou，Ding Aiping. Method for evaluation on energy consumption of cloud computing data center based on deep reinforcement learning[J]. Electric Power Systems Research，2022，208.

[2]Information Technology - Data Centers; New Findings from Lulea University of Technology in the Area of Data Centers Described （Capacity Management of Hyperscale Data Centers Using Predictive Modelling）[J]. Computer Weekly News，2019.

[3]石云鵬.“雙碳”背景下數據中心能耗現狀與節能技術研究[J].中國新通信，2022，24（08）：119-121.

[4]楊頤，劉漫賢，葉范亭，等. 基于數字孿生的數據中心機房動環管理系統[J]. 電工技術，2021（20）：35-37.

[5]劉虹，馮汀，阮前，等.基于數字孿生與AI仿真技術的數據中心能耗優化研究與實踐[J].長江信息通信，2022，35（09）：203-205.

[6]張天瀛，姬杭. 數字孿生綜述[C]//中國自動化學會專家咨詢工作委員會，中國計算機系統仿真應用工作委員會，中國儀器儀表學會產品信息委員會，北京國信融合信息技術研究院.2019中國系統仿真與虛擬現實技術高層論壇論文集.[出版者不詳]，2019：77-82.