面向云數據中心的能耗管理*

柳運昌，楊二瑞，許建霞

（1.武漢理工大學計算機科學與技術學院 武漢 430063；2.平頂山市工業學校 平頂山 467000；3.武漢理工大學信息學院 武漢 430070)

1 引言

云計算是一種新興的計算模式，其對既有的計算資源進行重組，采用即用即付費的方式，向用戶提供面向效用的IT服務，廣泛服務于消費、科學和商業領域。云數據中心由一系列相互聯系并且虛擬化的計算機組成，動態地提供一種或多種統一化的計算和存儲資源。

云數據中心的能耗問題日益突出。首先，云數據中心的能耗巨大，其生命周期內維持正常運行所需的電力成本已經超出了系統的硬件成本。根據IDC的調查和預測，1996—2010年，全球企業IT開銷中的硬件開銷是基本持平的，但能耗和管理成本的上升非常迅速，以至于到2010年，管理成本占了IT開銷的大部分，而能耗開銷越來越接近硬件開銷[1]。并且隨著性能的提升，系統能耗還在繼續攀升，云數據中心的節能刻不容緩。同時，云數據中心的可靠性日趨重要，以各層次的硬件和軟件冗余為代價的高可靠性實現手段大幅提高了系統能耗。更為嚴重的是，云計算模式的出現使計算服務向普適化方向發展，用戶規模急劇擴大，從而造成了驚人的能量浪費。

因此，如何在保證云數據中心高性能、高可靠及為用戶提供普適化服務的前提下，設計以能耗為中心的計算環境構建方式、任務運行模式和資源配置機理，就成為推動云計算技術快速、綠色發展的一條途徑[2]。本文分析云數據中心的能耗組成，對能耗管理展開的相關研究進行分類、分析與總結,并對有待解決的問題及未來研究重點給出觀點。

2 云數據中心系統架構

云數據中心是一個聚集了大量服務器、存儲設備、網絡設備等IT設備的場所，是實現數據信息的集中處理、存儲、傳輸、交換、管理等業務的服務平臺。從物理層次看，數據中心主要由IT設備、配電系統和空調系統3部分構成。IT設備用于數據處理、數據存儲以及通信，是實現數據中心功能的核心部分。配電系統用于直流、交流轉換，并確保為IT設備提供可靠、高質量的電源。空調系統保證IT設備在正常的溫度和濕度下工作。云計算中心系統架構如圖1所示。

3 云數據中心能耗組成

云數據中心能耗是指數據中心中各種用能設備消耗的能源總和，不僅包括服務器、交換機等IT設備的能耗，還包括空調、配電等輔助系統的能耗。在目前數據中心能效水平狀況下，數據中心能耗的構成大致如圖2所示。IT設備是能耗最高的部分，占數據中心總能耗的50%左右，其中服務器能耗占40%左右，存儲設備和網絡通信設備能耗各占5%左右；空調系統能耗在數據中心總能耗中排第二位，占40%左右；配電系統能耗約占數據中心總能耗的10%左右[3]。

4 云數據中心能耗管理研究

為了降低云計算中心能耗，許多研究從多個角度著手進行優化與控制，包括功耗管理、能量感知的資源分配、能量感知的任務調度、網絡設備能耗控制、熱量消散等[4]。

4.1 功耗管理

在服務器功耗管理方面，節能技術可大致分為兩類：服務器動態電壓/頻率管理和關閉不用的服務器。前者的電力節省通過調整操作時鐘降低電路的供應電壓來實現，不過它有賴于硬件部件的設置來進行；后者有望節省更多的電力，因為關閉服務器意味著接近能量的零消耗[5]。Truong Vinh Truong Duy等人[5]設計、實現和評價了一種集成神經網絡的綠色調度算法，通過管理未用到的服務器來優化云計算環境下服務器功耗。根據預測工作量，該算法首先估計對服務器的動態需求，然后關閉不必要的服務器，以盡量減少運行中的服務器，從而減少功耗。此外，添加配置多個服務器，有助于確保服務水平協議。最終在保護環境、確保服務質量的同時降低服務提供者的總成本。該算法需要擴展以便于處理更多類型的負荷和應用服務。

Che Yuan Tu等[6]提出了一個功耗感知的云架構。該架構使用無盤設計、RAM磁盤存儲和Cpufreqd/Xenpm工具，提供節能和能量感知能力。Cpufreqd有助于使用更高頻率CPU，自動根據物理機上Cpufreqd配置的使用規則處理專門應用，xenpm有助于調整虛擬機的虛擬CPU頻率。這兩個工具都被稱為基于ACPI的DVFS技術，有助于高效地使用更高頻率的CPU執行作業，避免作業完成后CPU空閑時間時的功耗。Leping W和Ying L[7]為異構的軟實時集群提出了有效的功耗管理（PM）算法，降低了電源管理組件到新平臺定制的成本。

關閉服務器、調整服務器運行速度的功率管理技術，會影響服務托管中心滿足SLA的能力。另外，服務器的反復開閉提高了組件的磨損率，將引發服務器采購成本和替換成本的上升。

4.2 能量感知的資源分配

能量感知的資源分配旨在實現高能效的資源優化，同時保持高水平的服務性能不降低。高效的資源分配方案自動地給每個服務分配最少的服務器資源，滿足用戶可接受的服務質量要求，留下充足的資源部署到其他方面。部署選擇必須要適應工作負荷的變化，能平滑地處理未可預測的需求浪涌或資源失效。

[8]為了降低功耗消費，同時滿足性能的要求，提出了一種靈活和能量感知的框架，在數據中心重新分配虛擬機。該框架基于約束的機器表示，通過服務水平協議，獨立于數據中心管理系統，計算并制定虛擬機最優的位置。

Younge A J等[9]提出了一個新的框架，能提供可擴展的、高效的綠色增強云計算架構。該方案采用能量感知的調度技術、可變的資源管理、實時遷移和最小的虛擬機設計，基于云的數據中心將以最小的性能開銷獲得整個系統性能的極大提高。

Beloglazov等[10]定義一種云計算節能的架構框架和原則。基于這個架構，本文提出了自己的設想、研究挑戰、云計算環境下節能管理的資源提供和分配算法。它提出一種能量感知的啟發式資源分配算法，為客戶應用程序提供數據中心的資源，在提高數據中心能效的同時提供協商一致的服務質量（QoS）。

Ardagna D等[11]側重于多層虛擬化系統的資源分配問題，既要取得SLA的最大化收益目標，也要最大限度地減少能源成本。該文的新穎之處在于在一個統一的框架內處理服務中心管理資源、分配虛擬機（VM）、平衡負載、分配容量、調整服務器的電源狀態以及實現動態電壓/頻率縮放。Beloglazov等[12]為虛擬化的云計算數據中心設計了一種高效節能的資源管理系統，能降低系統的運營成本，并提供所需的服務質量。根據資源的當前利用率，虛擬機之間的虛擬網絡拓撲和計算節點的熱狀態，系統進行持續的虛擬機合并，從而達到節能的目標。Beloglazov等[13]為虛擬化的云數據中心開發了一個有效的資源管理政策。目標是利用實時遷移技術不斷地進行虛擬機的合并，關閉空閑的節點，以此最大限度地降低功耗，同時提供必要的質量服務。

參考文獻[14]基于客戶利用資源模式介紹了一種動態資源供給機制用于云數據中心的過度分配。提出的機制減少了實時限制的影響，同時改善整體能源效率。其主要思想是利用每個客戶資源利用模式巧妙地分配資源請求的虛擬機。這減少了經常高估產生的浪費并增加了數據中心的可用性。因此，它以同樣的計算基礎設施承載更多的虛擬機，提高能源效率。為了減輕任務完成截止日期的負面影響，建議的過度服務實現了一個根據歷史數據多層神經網絡預測的資源使用模式。此外，還對于意想不到的更高請求，引入了補償機制用于調節資源分配。

資源分配能使虛擬機盡量集中，空閑更多物理機以達到降低功耗的目的。把負載的波峰、波谷到來存在差異的虛擬機整合到單一的物理機,使物理機資源從時間和空間都得到更充分的利用,最終還是通過休眠或關機降低功耗。雖然下降幅度大,但虛擬機遷移會對網絡,源、目的物理主機產生一定的負面影響。

4.3 能量感知的任務調度

云計算環境中，一個重要的研究問題是能量感知的任務調度。對于典型的云數據中心中多種多樣的計算機，采用智能優化的調度方法可以節省大量的能量。云數據中心以虛擬機為調度的粒度，具有不同于傳統的以任務為粒度的調度特性。

參考文獻[15]分析了一個能量感知的云服務計算環境。文章研究了一個通用的云使用場景，不同類型的服務器提供多種服務，不用事先知道用戶的需求。該研究提出了云綠色調度問題，每個服務所需服務器的數量，動態調度方案將用戶調度到不同的服務器上。該調度是一個優化問題，QoS約束由概率表示。文章還根據Monto-Carlo樣本估計提出了一個隨機動態調度方案處理需求不確定性。

參考文獻[16]提出了一個框架，用于自動管理云計算基礎設施的計算資源，同時滿足SLO限制和減少系統能源消耗，利用虛擬機遷移實現目標。此外，文章發現，虛擬機遷移比不使用虛擬機遷移更能提高性能、降低能源消耗。

Zhibo等[17]設計一個新的綠色算法，不僅可以幫助云中的多個CPU在最后完工內完成任務，而且可以大大減少能量消耗。它結合人工智能的綠色算法，通過部分任務重組有效地進行任務分配，通過時間限制下的智能任務調度調整云服務器的運行速度。

Xiaoli W等[18]從服務器能源效率的觀點出發，提出了新的高效多任務調度模型，這個模型基于谷歌的海量數據處理框架。為解決這個問題，該文為個體設計了一個實用的編碼與解碼方法，并將服務器的整體能耗效率作為個體的適應度值，同時，為了加快收斂速度和提高算法搜索能力，引入了局部搜索算法。

Berral等[19]提出了云環境下的任務與網絡服務的自動調度框架，優化利潤時考慮了任務執行的獲利，同時減去違反服務質量協議的懲罰、能耗成本。框架的主要貢獻是任務合并與虛擬化技術、數學優化方法和機器學習技術的結合。數據中心的基礎設施、要執行的任務和預期利潤構成了數學規劃模型，然后通過尋找不同的優秀任務調度算法來解決。

Mehdi等[20]考慮到任務的期限，檢查虛擬機的可用性和當前負載，提出了基于任務期限和虛擬機負載的調度分配算法映射主機接受的任務，并確保任務的期限和最低功耗。它的重點是數據中心的負載和功率消耗。這種算法的提出來自于任務最小完成時間的啟發。

Snooze[21]為一個獨特整體能量感知的虛擬機管理框架，有著直接的實際應用：它可以有效地管理生產數據中心，或作為一個測試平臺提供先進的能源感知VM調度算法。特別是，Snooze附帶集成的VM監測和實時遷移的支持。此外，它實現了資源利用率（如CPU、內存和網絡）估計引擎、檢測過載和負載不足的情況，最后進行基于事件的VM遷移和定期合并。

由于用戶任務規格的變化，系統固有的不可預期的突發事件，有時會造成調度信息的不可用或不夠準確。

4.4 網絡系統

另外，被研究社區視為大的能量消耗的來源是網絡設施。數據中心網絡基本分層架構如圖3所示[22]。

Baliga等[23]認為，隨著云計算的不斷擴大，支撐云的網絡和計算資源的能耗將不斷增長，需要從完整的信息和通信技術方面來考慮能耗問題。文章對云計算中的能耗進行了分析。分析分為公有云和私有云兩方面，包含了數據交換和傳輸的能耗以及數據存儲和計算的能耗。

參考文獻[24]首先驗證服務器、通信網絡和電源網絡之間協作的需要，以便降低云計算環境整個ICT設備的總功耗。文章提出了5個協作基本政策，概述了每個協作政策實現的算法。該文還提出了可能的信號序列交換網絡和服務器之間的功耗信息，目的在于實現提出的協作政策。為了降低網絡功率消耗，該文提出了一種簡單的方法，推定所有網絡設備的功率消耗的大小，并將其分配給個人用戶。

Kliazovich等[25]提出了一種能量感知的云計算數據中心的模擬環境。隨著工作量的分配，設計的模擬器可以捕捉到由數據中心組件 （服務器、交換機、鏈路）的能源消耗以及實際設置的包層次的通信模式。二層、三層高速的數據中心的仿真結果說明了仿真系統采用的功耗管理方案的有效性，比如電壓縮放、頻率縮放和動態關機等應用到計算和網絡組件中的技術等。

Vasi等[26]認為互聯網的能耗不僅要考慮服務器硬件節能技術，還需要考慮網絡設備的能耗。該文采用可擴展的在線技術在多條路徑上傳播負載，以此來節省能量。

蔣清泉等[27]針對通信網絡能耗特點及環境條件，根據通信設備、電源和基站的能耗現狀，分析通信網絡的能耗分布及節能潛力，提出通信網絡節能降耗的途徑與措施。以此為基礎，提出并設計通信機房新風節能改造方案和移動通信基站綜合節能解決方案。運用定性比較評估方法，對該方案在中國電信、中國移動等通信運營企業實際應用的節能效果進行科學測量統計。

目前此類研究更多偏重于通信鏈路、中繼設備狀態切換的節能。但云數據中心內虛擬機數量眾多，相互間的通信量巨大，有關虛擬機通信的拓撲研究、路由協議等的研究較少。

4.5 熱量消散

云數據中心的主要部件由集成電路和電容等電子元器件組成，在工作過程中消耗電能，部分被轉化為熱量釋放；數據中心內所運行的設備數量多、密度高、發熱量大。電子元器件工作的穩定性和老化速度與環境溫度有很大關系，隨著工作環境溫度的升高，電子元器件的失效率將明顯升高。

數據中心的熱環境發揮重要的作用，不僅影響數據中心的能效，而且影響數據中心的可靠運營。傳統系統利用計算機房空調單元對冷空氣施壓，使冷空氣沿著上升的地板流動，從而降低機房的溫度。研究表明，軟件驅動的熱管理和熱感知的負載分配能節省更多的能量。

Apache Hadoop[28]是一個框架管理的大型的基于存儲的數據中心,其主要工作是將數據傳送到客戶端。在這樣的系統中，主要工作是在許多可用的副本之間關聯到每個數據請求的具體的數據副本。這種分配影響整個存儲服務器的工作量和功耗分布。文章探討了基于Hadoop框架，以存儲為中心的數據中心的熱和能量感知的任務調度。文章試圖減少數據中心的功率消耗，而確保數據中心中的每個數據節點的運算嚴格遵守在一定的溫度閾值以下。該文把最優化問題描述作為一個ILP（線性規劃問題），然后采用啟發式最小的成本流加任務重新調度解決問題。

參考文獻[29]提出了熱感知的活動服務器集的提供機制，以非線性極大極小二進制的整數規劃形式以及一系列啟發式的方法來解決該問題，即極大極小等。此外，它引入了活動服務器之間的熱感知的工作負載分布。

參考文獻[30]認為數據中心的功率消耗的很大一部分可以歸因于冷卻。在數據中心和服務器動態熱管理機制中，熱設定值的選擇通常是靜態和保守的，能夠顯著地改進能量效率。該文提出了兩層次互補的熱感知技術，實現功率優化：降低整體系統功率不影響性能；以相同的功率預算實現更高的性能。在數據中心級別，基于冷卻區的利用水平，通過選擇兩個暖通空調冷水機組間熱設定點，在設施、暖氣、通風和空調（HVAC）功率與服務器風扇電源間達到均衡。在服務器級別，通過動態調整服務器的熱設定點，平衡風扇的電源和電路漏電功耗，當風扇功率比泄漏功率的成本低時，讓系統加熱，可以節省更多的能量。

Viswanathan等[31]探討了實時測量獲取熱感知的方法、熱量與空氣的循環模型和利用熱感知進行主動的數據中心自動化管理方案。文章介紹了一種新的通信與協調方案，使外部異構的、自組織的傳感器網絡變成多層的感知設施，對數據中心進行實時的監測。

云計算中心熱量消散研究，主要集中于計算系統產生的熱空氣分布不均造成的熱點問題，沒有進一步考慮熱量控制與功耗管理的關系。

5 結束語

為向用戶提供普適化服務，云數據中心的建設正廣泛興起。高性能、高可靠的云數據中心要耗費大量的能量，云計算中心的節能已經變成急需得到解決的問題。本文首先分析了云計算中心能耗的組成，然后對云數據中心能耗管理的相關研究進行分類、分析與總結。

目前的研究主要集中在功耗管理、基于虛擬化資源的管理與調度，而對于云數據中心的網絡設施、熱量消散，相應的研究比較少。

綜上考慮，本文認為云數據中心能耗管理的研究應該著重于以下幾個方面。

功耗管理和熱量消散綜合考慮。當前，功耗管理與熱量控制的研究是割裂的、單獨的，單獨的解決方案可能相互干擾，以不可預測的方式對系統造成潛在的威脅。大部分的研究只關注于一個或至多兩個特定的管理面，比如最小化能耗、平衡熱量分布或最大化資源利用。但是，把所有層面合在一起考慮時，將會產生目標的沖突。比如，嚴格壓縮虛擬機到數量較少的服務器，關閉其他地服務器是有效的減少能量成本的方法。可是，把負荷集中在系統的少量資源上可能導致熱不平衡，產生局部熱點，這將影響制冷成本，降低服務器壽命和性能。以后，需把功耗管理和熱量控制技術融合在一起部署，構建統一的方案追蹤、優化能耗問題。

（1）合并不同類型的工作負荷

不同類型的工作負荷對系統的性能影響很大，因此，在云計算環境中，性能感知的資源選擇發揮重要的作用。目前的研究方法只考慮單一工作負荷類型，沒有解決多類型工作負荷合并的問題。

（2）虛擬網絡拓撲結構優化

云數據中心的資源大多以虛擬機的形式提供給用戶。這些虛擬機之間彼此通信，建立了虛擬的網絡鏈接。在進行工作負荷的合并、虛擬機的遷移時，虛擬的網絡鏈接就要改變。為減輕數據傳輸的壓力、減少能量的消耗，需要仔細觀察虛擬機之間的通信，減輕網絡設施間的能耗。

參考文獻

1 郭鑫,劉圣慶，王偉.論電信服務新時期云計算與節能減排.中國通信學會信息通信網絡技術委員會2011年年會,鄭州,河南,中國，2011：1357～1363

2 過敏意.綠色計算:內涵及趨勢.計算機工程,2010,36(10):1～7

3 谷立靜,周伏秋,孟輝.我國數據中心能耗及能效水平研究.中國能源,2010(11):42～45

4 陳元生,詹劍鋒，孟丹等.SaaS服務平臺中針對異構負載的能耗管理策略研究.2010年全國高性能計算學術年會(HPC china2010),北京，中國，2010

5 Truong V T D,Sato Y,Inoguchi Y.Performance evaluation of a green scheduling algorithm for energy savings in cloud computing.2010 IEEE International Symposium on Parallel&Distributed Processing,Workshops and Phd Forum (IPDPSW),Atlanta,CA,USA,2010:1～8

6 Tu C Y,Kuo W C,Teng W H,et al.A power-aware cloud architecture with smartmetering.The 39th International Conference on Parallel Processing Workshops (ICPPW),San Diego,USA,2010:497～503

7 Wang L P,Lu Y.Efficient power management of heterogeneous soft real-time clusters.Real-Time Systems Symposium,USA,2008:323～332

8 Dupont C,Schulze T,Giuliani G.An energy aware framework for virtual machine placement in cloud federated data centers.The Third International Conference on Future Energy Systems:Where Energy,Computing and Communication Meet(e-Energy),New York,USA,2012

9 Younge A J,Laszewski G V,Wang L.Efficient resource management for cloud computing environments.Green Computing Conference,2010 International,Chicago,USA,2010:357～364

10 Beloglazov A,Abawajy J,Buyya R.Energy-aware resource allocation heuristics for efficient management of data centers for cloud computing.Future Generation Computer Systems,2012,28(5):755～765

11 Ardagna D,PanicucciB,Trubian M,etal.Energy-aware autonomic resource allocation in multi-tier virtualized environments.IEEE Transactions on Services Computing,2010,5(1):2～19

12 Beloglazov A,Buyya R.Energy efficient resource management in virtualized cloud data centers,in cluster.The 10th IEEE/ACM InternationalConference on Cloud and Grid Computing(CCGrid),NewPort Beach,CA,USA,2010:826～831

13 Beloglazov A,Buyya R.Energy efficient allocation of virtual machines in cloud data centers.The 10th IEEE/ACM International Conference on Cluster,Cloud and Grid Computing(CCGrid),NewPort Beach,CA,USA,2010:577～578

14 Moreno I S,Xu J.Neural network-based overallocation for improved energy-efficiency in real-time cloud environments.ISORC,Guang Dong,China,2012:119～126

15 Liang Z,Zheng B Y,Cui J W,et al.Toward green service in cloud:from the perspective of scheduling. International Conferenceon Computing,Networkingand Communications(ICNC),Maui,HI,USA,2012:939～943

16 Guazzone,M,Anglano C,Canonico M.Exploiting VM migration for the automated power and performance management of green cloud computing systems.Lecture Note in Computer Science,2012（7396）:81～92

17 Wang Z B,Zhang Y Q.Energy-efficient task sche duling algorithms with human intelligence based task shuffling and task relocation.IEEE/ACM International Conference on Green Computing and Communications (GreenCom),Sichuan,China,2011:38～43

18 Wang X L,Wang Y P.Energy-efficient multi-task scheduling based on MapReduce forcloud computing.The Seventh InternationalConference on ComputationalIntelligence and Security(CIS),Hainan,China,2011:57～62

19 Berral J L,Gavalda R,Torres J.Adaptive scheduling on power-aware managed data-centers using machine learning.The 12th IEEE/ACM International Conference on Grid Computing(GRID),Washington,DC,USA,2011:66～73

20 Mehdi N A,Mamat A,Amer A,et al.Minimum completion time for power-aware scheduling in cloud computing.The 4th Internatonal Corference on Developments in e-Systems Engineering(DeSE),Dubai,2011:484～489

21 Feller E,Rohr C,Margery D,et al.Energy management in IaaS clouds:a holistic approach.IEEE 5th International Conference on Cloud Computing (CLOUD),Honolulu,HI,USA,2012:204～212

22 Zhang Q,Cheng L,Boutaba R.Cloud computing:state-of-the-art and research challenges.Journalof InternetService and Application,2010,1(1):7～18

23 Baliga J,Ayre R W A,Hinton K,et al.Green cloud computing:balancing energy in processing, storage, and transport.Proceedings of the IEEE,2011,99(1):149～167

24 Kuribayashi S.Reducing total power consumption method in cloud computing environments.LJCNC,2012,4(2):69～84

25 Kliazovich D,Bouvry P,Audzevich Y,et al.GreenCloud:a packet-level simulator of energy-aware cloud computing data centers. IEEE Global Telecommunications Conference(GLOBECOM),Miami,FL,USA,2010:1～5

26 Vasi N,Kosti D.Energy-aware traffic engineering.The 1st InternationalConference on Energy-EfficientComputing and Networking,USA,2010:169～178

27 青泉.通信網絡能耗分析與節能技術應用.中南大學學報(自然科學版),2009,40(2):464～470

28 Bing S,Srivastava A.Thermal and power-aware task scheduling for Hadoop based storage centric datacenters.International Green Computing Conference,Chicago,USA,2012:78～83

29 Abbasi Z,Varsamopoulos G,Gupta S K S.Thermal aware server provisioning and workload distribution for internet data centers.Proceedings of the 19th ACM International Symposium on High Performatnce Distributed Computing,Chicago,USA,2010:130～141

30 Huang W,Allen W M,Carter J B,et al.TAPO:thermal-aware power optimization techniques for servers and data centers.International Green Computing Conference and Workshops(IGCC),Orlando,FL,USA,2011:1～8

31 Viswanathan H,Eun K L,Pompili D.Self-organizing sensing infrastructure for autonomic management of green datacenters.IEEE Network,2011,25(4):34～40