云計算數據中心能耗優化研究綜述

武晉 何利力

摘 要：針對云計算數據中心能源消耗過高問題，分析了當前數據中心節能的相關研究成果，將數據中心計算節點的能耗優化方式分為基于動態電壓頻率調整、基于關閉空閑服務器和基于虛擬化技術的能耗優化3類，分別以綜述方式進行總結。討論了數據中心其它設備的能耗優化策略，預測了未來研究方向，可為數據中心能耗優化相關研究提供參考。

關鍵詞：數據中心;云計算;能耗優化;節能策略

DOI：10. 11907/rjdk. 182807 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP302文獻標識碼：A 文章編號：1672-7800（2019）008-0004-04

A Summary of Research on Energy Optimization of Cloud Computing Data Center

WU Jin， HE Li-li

（School of Informatics and Electronics， Zhejiang Sci-Tech University， Hangzhou 310018， China）

Absrtact： Aiming at the problem of high energy consumption in data center， this paper analyzes the related research of data center energy saving， and divides the energy consumption optimization mode of data center computing node into three categories， that is， based on dynamic voltage frequency adjustment， power consumption optimization based on shut-off idle server and virtualization technology， respectively， which are summed up in the way of review， The energy consumption optimization strategy of other devices in the data center is also discussed. Finally， the future research direction is predicted： the optimization of energy consumption to ensure service quality， the optimization of energy consumption oriented to heterogeneous cloud environment and the optimization of energy consumption based on task scheduling provide a theoretical reference for the research of energy consumption optimization of cloud computing data center.

Key Words： data center; cloud computing; energy consumption optimization; energy saving strategy

作者簡介：武晉（1993-），女，浙江理工大學信息學院碩士研究生，研究方向為云計算與大數據;何利力（1966-），男，博士，浙江理工大學信息學院教授、博士生導師，研究方向為制造業信息化、企業智能。

0 引言

隨著互聯網規模的不斷擴大和業務量的快速增長，云計算服務廣泛應用于互聯網相關領域。數據中心是云計算統一管理和資源調度平臺，隨著云計算的發展，數據中心的數量逐漸增多，規模也日趨龐大，但與此同時數據中心的能耗問題也日益顯現。谷歌在俄勒岡州建立的云計算數據中心滿載運行時所消耗的電能幾乎等于一個中型城市所有家庭用電量的總和[1]。根據2007年美國國會數據中心能源效率報告，數據中心3年內服務器、網絡設備和溫控設施等用電成本約為購買服務器等設備成本的1.5倍，未來該費用還會繼續增高[2]。根據美國勞倫斯伯克利國家實驗室的能源報告，美國數據中心在2014年耗電量已經達到了700億千瓦時，占美國總電量的1.8%[3]。2014年，全世界范圍內的數據中心耗電量是發電量的3%[4]。按照目前的增長速度，預計到2020年，數據中心的能耗將達到世界總電量的8%[5]。云計算數據中心能耗問題導致數據中心運行成本增加，給環境造成了嚴重負擔，成為制約云計算數據中心健康發展的關鍵問題。

1 計算節點能耗優化

數據中心主要耗能設備為數據中心的計算節點，在進行海量數據運算時會產生大量能耗。影響計算節點能耗的因素較多，相關節能策略研究也最為豐富。本文介紹3種常用的云計算數據中心計算節點能耗優化策略，分別為基于動態電壓頻率調整的能耗優化策略、基于關閉空閑服務器的能耗優化策略和基于虛擬化技術的能耗優化策略。

1.1 動態電壓頻率調整能耗優化

數據中心主要能耗來自計算節點，而計算節點的主要能耗來源于計算節點處理器。隨著多核技術和超頻技術的廣泛應用，處理器能耗成為業界關注的重點。處理器應用最為廣泛的節能策略是動態電壓頻率調整技術（Dynamic Voltage and Frequency Scaling，DVFS）。

DVFS是一種針對計算機中央處理器的電壓頻率動態調整電源管理技術，也是目前工業界和學術界普遍采用的低功耗優化技術[6]。DVFS技術可以根據實時使用情況調整電源的電壓和芯片的工作頻率。DVFS技術的主要思想是根據計算節點的實時負載預測下一時間段所需性能，根據所需性能調整芯片的時鐘頻率和電壓。單個任務能耗和CPU的電壓及頻率關系如式（1）所示。

[E=AtCV2f]? （1）

其中，A為能耗系數，t表示執行時間，C為電容負載，V為CPU電壓，f為CPU時鐘頻率。當CPU時鐘頻率降低時，電壓會隨之降低，因此調整芯片的頻率和電壓可有效降低系統能耗。DVFS技術尤其適用于計算節點處于閑置或低速運行狀態情景，能大大降低系統的空閑能耗。

基于DVFS技術的節能策略研究有：KIM K H 等[7]提出3種基于DVFS的節能策略，分別為Lowest-DVFS、δ-advanced-DVFS和Adaptive-DVFS。其中，Lowest-DVFS將CPU的速率調整為任務所要求的最低速率，也就是說所有虛擬機以其所需的最低MIPS執行當前任務，這種方法會降低數據中心性能，但在虛擬機處理速度足以應對當前負載的情況下，這種策略耗能最低。為了克服Lowest-DVFS的性能過低問題采用δ-advanced-DVFS節能策略，該策略將當前虛擬機請求的MPIS增加了δ%，并且引入了伸縮模型。Adaptive-DVFS節能策略則根據已知的請求到達率和服務時間，分析得到最優的伸縮模型，根據負載情況自動調整CPU性能。這3種模型中，Lowest-DVFS能耗最低，但無法滿足云計算數據中心最基本的性能需求與服務質量，無法應用于實際場景。Adaptive-DVFS節能策略具有較好的適應性，能夠在優化的同時保障服務質量，這種能耗優化模型性能取決于對負載情況預測的準確性。

齊巍巍[8]將DVFS技術和虛擬化技術結合，提出了一種基于多核物理服務器以及CPU執行頻率變化的能耗計算模型，并分析了多核虛擬機模型的必要性以及多核虛擬機的部署約束條件，在此基礎上提出了一種多核虛擬機部署算法EMCVD。該算法能有效減少系統能耗并降低虛擬機遷移過程中的開銷，并考慮服務等級協議（Service Level Agreement，SLA）和服務質量（Quality of Service，Qos）。不足之處是沒有設置合適的SLA違反懲罰機制，而是采用硬約束方式執行虛擬機截止時間。

1.2 關閉空閑服務器能耗優化

基于關閉空閑服務器的能耗策略也稱為主機狀態切換（Host Switching），主要通過關閉空閑計算節點降低能源消耗從而實現整個數據中心的節能。當預知數據中心的負載情況時，該策略可極大節省數據中心的閑時能耗。但由于計算機由關閉到啟動需要較長時間，在調度不夠精準時，這種節能策略容易導致云計算數據中心性能降低。

關閉空閑服務器的節能策略研究較多，Berral等[9]利用機器學習方法預測負載遷移后應用和節點的關系模型，實現了更加智能的負載聯合和資源調度，依據工作負載情況關閉不需要的服務器，從而降低數據中心的能源消耗。通過機器學習方法預測負載情況有效提高了預測準確度。但文中將數據中心的計算節點假設為同構是其不足，因為實際上并不是所有數據中心都是同構的，很多數據中心的計算節點都是異構的。

Bin等[10]提出了一種動態集群配置策略，根據服務請求的歷史信息，利用最小二乘法預測未來的服務請求情況，通過動態調整服務集群開關機實現數據中心節能。通過最小二乘法能簡單高效預測服務請求和負載情況，但準確度遜于機器學習方法，而且服務器在啟動瞬間狀態轉換能耗非常高，如果不能精準預測會導致頻繁開關機，不利于能耗優化，還可能大大降低數據中心性能與服務質量。

1.3 虛擬化技術能耗優化

近年來虛擬化技術在云計算數據中心得到了廣泛應用。虛擬化技術可以提高計算節點的工作效率，是實現數據中心節能的重要策略，上述節能策略也往往要將虛擬化技術考慮在內，大部分相關研究也與虛擬化技術相結合。

目前廣泛使用的虛擬化技術包括KVM、Vmware和Xen等，這些技術允許在一個物理計算節點上創建多個虛擬機，可以通過虛擬機的遷移實現動態負載合并，將虛擬機整合到較少的物理節點中，通過與關閉空閑服務器的節能策略相結合降低閑時能耗。虛擬機遷移和關閉空閑服務器過程如圖1所示。

圖1 虛擬機遷移及關閉空閑服務器

基于虛擬化技術的能耗優化分為虛擬機的初始化放置過程能耗優化和虛擬機動態管理過程能耗優化兩種。其中虛擬機的初始化放置指在數據中心剛剛啟動沒有負載的情況下，將虛擬機分配給物理節點，而虛擬機動態管理指當數據中心的條件改變或者數據中心的負載動態變化時，虛擬機的二次分配過程[11]。

Wang等[12]在虛擬機初始化放置過程中，通過將多個虛擬機整合到較少的活動節點實現能耗的優化，該方法有效降低了數據中心的能耗，大大提高了資源利用率，但是容易造成負載不均問題，而且過高的負載會導致物理節點性能下降，從而降低整個數據中心性能。并且長期處于過高負載的計算節點更容易老化，加快了設備淘汰周期，提高了數據中心費用開銷。

孫蒙[13] 對虛擬機的初始化放置過程進行建模分析，將虛擬機初始化放置問題視為裝箱問題，提出了基于虛擬機放置的能耗優化策略。該策略將裝箱問題中常用的降序最佳適應算法（Best? Fit Decreasing，BFD）和遺傳算法（Genetic Algorithm，GA）相結合，形成了BGA虛擬機放置算法。該算法使用BFD算法生成遺傳算法的初始種群，設計了基于能耗和資源利用率的適應度函數，并利用BFD算法將無效染色體修正為合理染色體，提高了遺傳算法的局部搜索能力，最終形成一種高效的虛擬機放置算法，實現數據中心節能。但在驗證算法有效性的實驗中沒有考慮SLA的違背率，在服務質量保障方面還存在改進的地方。

虛擬機動態管理主要針對數據中心負載變化時虛擬機的重分配問題，合理的虛擬機動態管理能夠提高數據中心的資源利用率和電源效率。VMware中的分布式電源管理（Distributed Power Management，DPM），利用虛擬機重新分配將工作負載整合到較少的物理機上并關閉沒有工作負載的主機，從而實現節能[14]。Gueyoung Jung等[15]針對虛擬機動態遷移問題，提出了一個整體控制器框架Mistral，Mistral的優化目標包括性能、能耗和虛擬機遷移過程的瞬時開銷。該框架配置了多級分層控制器和可擴展優化算法，能有效控制虛擬機遷移過程中的能耗、性能和瞬時開銷，該控制器框架適用于大型層級化數據中心，具有實際應用價值。

2 其它設備能耗優化策略

以往研究中常將數據中心的其它設備能耗視為恒定值，但近年來數據中心的網絡設備、存儲設備和溫控設施的能耗優化研究逐漸增多。

網絡設備消耗的電能已達到數據中心總消耗電能的20%～30%[16]。楊光等[17]從網絡設備功耗管理架構和網絡設備節能策略出發，提出了網絡級功耗管理架構和基于休眠喚醒和自適應鏈路速率混合節能策略，實現了網絡設備功耗的實時高效管理和網絡設備的能耗優化。

云計算海量數據中只有少部分數據是經常訪問的，大部分數據很少訪問，這些數據被定義為“冷數據”，存儲系統的“冷數據”高達80%[18]。為降低 “冷數據”存儲能耗，許多設備廠商進行了相關研究，推出了與冷數據處理相適應的高容量、低功耗存儲設備，例如浪潮SA5224L4。針對存儲系統的能耗問題，董池[19]提出了預判性綠色數據分類策略（AGDC）和基于數據分類的綠色升降檔機制（DGLG），有效降低了數據中心存儲系統能耗。

由于數據中心需進行海量的數據運算，計算節點、網絡設備和存儲設備在運行過程中會產生大量的熱量，因此需要溫控設施進行散熱和制冷，以維護設備的正常使用，延長設備使用壽命。目前數據中心的溫控設施能耗已達到數據中心總能耗的25%～40%，盡管降低其它設備能耗在一定程度上可以降低溫控設施能耗，但溫控設施本身的能耗優化仍不容忽視[20]。目前越來越多的數據中心采用自然冷源對機房進行降溫處理，例如在極地和沿河地帶建立大規模數據中心，可以節省大量電能。另外，數據中心通過優化機房氣流組織、變頻空調技術和熱回收技術實現溫控設施的節能優化。

3 未來研究方向展望

計算節點的能耗優化仍是未來數據中心能耗優化的主要研究方向。雖然近幾年在數據中心計算節點能耗優化問題上相關研究已經給出了很多優化方案并取得了顯著成果，但數據中心能耗優化仍存在一些問題值得深入研究，未來可能的研究重點和機會主要有：以保障服務質量為前提的能耗優化、面向異構云環境的能耗優化和基于任務調度的能耗優化。

保障服務質量是數據中心的基本要求，也是實現其它優化目標的前提，如果能耗優化無法保障基本性能和用戶需求，這種優化策略就無法投入使用，就不具備現實意義。因此，應將保障服務質量作為數據中心能耗優化的前提，在評價相關優化算法時應統計SLA的違背情況，設置SLA違背次數閾值，設計SLA違背懲罰機制。

由于數據中心服務器由不同廠商提供，因此可能具有不同的硬件配置，不同的硬件配置導致數據中心計算節點在功能、性能以及耗電功率等方面不盡相同，所以很多數據中心都是異構的。因此在數據中心能耗優化相關研究中，應充分考慮云環境的異構性。

任務調度是數據中心資源調度的重要研究方向，合理的任務調度算法能夠縮短處理時間，從而縮短計算節點活動時間，降低數據中心能耗。因此，能耗優化可以作為任務調度的一個優化方向，通過合理調度降低數據中心能耗。

4 結語

本文綜述了云計算數據中心計算節點的主要節能策略，包括動態電壓頻率調整節能策略、關閉空閑服務器節能策略和虛擬化節能策略，并分析了優化內容和可能存在的問題。本文還對數據中心的其它設備能耗優化相關研究進行了綜述，包括網絡設備、存儲設備和溫控設備等，從多個角度分析數據中心的節能策略。通過對目前研究成果的分析，對數據中心的能耗優化方法有了更深的認識，并在此基礎上預測了數據中心能耗優化的未來研究方向，為數據中心的節能優化研究提供一定的理論指導。

參考文獻：

[1] LUO L，WU W，TSAI W T，et al. Simulation of power consumption of cloud data centers[J]. Simulation Modelling Practice and Theory， 2013， 39（Complete）：152-171.

[2] BRILL K G. Data center energy efficiency and productivity[C]. White Paper posted on the Uptime Institute， 2007.

[3] SHEHABI A，SMITH S， SARTOR D， et al. United states data center energy usage report[R]. Lawrence Berkeley National Laboratory， 2016.

[4] RALLO A. Industry outlook： data center energy efficiency[EB/OL]. http：//www.datacenterjournal.com/

[5] N DENG C，STEWART，LI? J. Concentrating renewable energy in grid-tied datacenters[C]. 2011 IEEE International Symposium on? Sustainable Systems and Technology （ISSST），2011：1-6.

[6] 吳文彬. 基于DVFS的數據中心節能研究[D].哈爾濱：哈爾濱工業大學，2017.

[7] KIM K H，BELOGLAZOV A，BUYYA R. Power-aware provisioning of virtual machines for real-time cloud services[J]. Concurrency and Computation： Practice and Experience，2011，23 （13）：1491-1505.

[8] 齊巍巍. 考慮DVFS的云計算系統虛擬機部署策略研究[D]. 成都：電子科技大學，2017.

[9] BERRAL J L，GOIRI， í？IGO， et al. Towards energy-aware scheduling in data centers using machine learning[C].International Conference on Energy-efficient Computing & Networking，DBLP， 2010.

[10] BIN L，JIAN Y，YU Z. Dynamic cluster configuration strategy for energy conservation based on online load prediction[J]. Computer Engineering， 2010， 36（24）：96-98.

[11] 馬飛. 云數據中心中虛擬機放置和實時遷移研究[D]. 北京：北京交通大學，2013.

[12] WANG Y，WANG X. Power optimization with performance assurance for multi-tier applications in virtualized data centers[C]. International Conference on Parallel Processing Workshops，IEEE Computer Society， 2010.

[13] 孫蒙. 面向綠色云計算的能耗優化策略研究[D]. 南京：南京郵電大學，2017.

[14] ALI Q，ZHENG H，MANN T， et al. Power aware NUMA scheduler in VMware's ESXI hypervisor[C]. IEEE International Symposium on Workload Characterization，IEEE Computer Society， 2015.

[15] JUNG G，HILTUNEN M A，JOSHI K R，et al. Mistral： dynamically managing power， performance， and adaptation cost in cloud infrastructures[C]. IEEE International Conference on Distributed Computing Systems，IEEE，2010.

[16] 劉永，王新華，王朕，等. 數據中心節能算法研究綜述[J]. 微型機與應用，2012，31（7）：1-5.

[17] 楊光. 網絡設備功耗管理架構與節能策略研究[D]. 北京：北京郵電大學，2016.

[18] 姜曉青，王欽若.大數據環境下冷數據存儲技術概述[J]. 工業控制計算機，2016，29（6）：58-60.

[19] 董池. 面向云存儲系統的綠色數據管理策略研究[D]. 杭州：杭州電子科技大學，2015.

[20] 張穎琪. 數據中心的合理化冷卻方案[J]. 華東科技，2017（5）：64-66.

（責任編輯：杜能鋼）