智能電網下數據中心能耗費用優化綜述

黃 焱, 王 鵬, 謝高輝, 安俊秀

(1. 中國科學院成都計算機應用研究所, 四川 成都 610041; 2. 中國科學院大學, 北京 100049;3. 西南民族大學, 四川 成都 610225; 4. 廣州五舟科技股份有限公司技術研究院, 廣東 廣州 510000;5. 成都信息工程大學, 四川 成都 610225)

?

智能電網下數據中心能耗費用優化綜述

黃 焱1,2, 王 鵬3, 謝高輝4, 安俊秀5

(1. 中國科學院成都計算機應用研究所, 四川 成都 610041; 2. 中國科學院大學, 北京 100049;3. 西南民族大學, 四川 成都 610225; 4. 廣州五舟科技股份有限公司技術研究院, 廣東 廣州 510000;5. 成都信息工程大學, 四川 成都 610225)

在電價隨時間和地理位置波動的智能電網環境下,分布式數據中心運營商在滿足各種內外部約束條件下,根據外部負載類型和負載量的變化,通過負載分配、節點狀態控制、使用能量存儲設備等方法對能耗費用優化目標以及碳排放量、網絡帶寬費用、響應時間、電網穩定性等協同優化目標進行優化.介紹數據中心的能耗構成和能耗費用優化問題的基本模型,從調整運行節點數、動態電壓頻率調整(DVFS)、負載分配、部分執行、使用不間斷電源(UPS)、使用可再生能源、與電網交互、虛擬化8個方面對數據中心能耗費用優化方法和研究進展進行分類、總結、對比；未來的研究熱點包括多目標優化、數據中心需求響應、節點級UPS、可再生能源發電設施、在線優化算法、能源互聯網等.

能耗費用優化；智能電網；負載分配；地理分布式數據中心；能源互聯網

過去的30年間,數據中心經歷了從無到有的高速發展過程.早期的數據中心計算資源稀少、價格昂貴、集群規模小,相關研究主要圍繞如何將昂貴的計算資源充分地利用起來,對能耗問題的關注較少.在那個時期高性能計算、分布式計算、集群計算等技術得到了快速發展.隨著網絡技術的發展,尤其是云計算、大數據、移動互聯網的盛行,網絡計算和網絡存儲成為日常需求,數據中心的數量和規模持續、快速增長.預計2017年全球各類數據中心的數量將達到860萬個,2020年數據中心能耗將占全球能耗的8%,能耗費用將占運營成本的41.6%[1-2],成為數據中心運營的最大支出,因此,能耗優化成為綠色數據中心的研究熱點[3].

數據中心是由服務器、存儲設備、網絡設備、制冷設備和電源設備等構成的綜合系統,其能耗優化主要包含硬件級和算法級2個方面,是傳統電網環境下數據中心能耗優化研究的重點.硬件級能耗優化是指使用低功耗多核處理器芯片、直流電源、高效制冷設備等[4]高能效的硬件設備從源頭上控制數據中心能耗的基礎水平,是新建數據中心首選的能耗優化方法.由于涉及硬件設備的更換,在已建成數據中心使用該方法的成本較高.算法級能耗優化是指對已投入運營的數據中心采用負載分配、服務器狀態控制、制冷系統動態調節等算法級能耗優化方法在現有硬件設備的基礎上，通過優化控制算法降低系統運行能耗,是數據中心能耗優化的主要研究內容,也是本文關注的重點.

能耗優化和能耗費用優化是2個密切相關但不完全相同的問題.運營商最關心的能耗費用由能耗和電價共同決定,可以把能耗優化看成是能耗費用優化的子問題,智能電網的發展給數據中心能耗費用優化帶來新的機遇與挑戰.

本文詳細分析智能電網環境下數據中心能耗費用優化面臨的挑戰、數據中心的能耗構成、能耗費用優化問題的基本模型,從調整運行節點數、動態電壓頻率調整(dynamic voltage and frequency scaling, DVFS)、負載分配、部分執行、使用不間斷電源(uninterruptible power supply,UPS)、使用可再生能源、與電網交互和虛擬化8個方面對近幾年的代表性研究方法進行分類綜述,并對未來的研究發展方向進行展望.

1 智能電網與數據中心能耗費用

2003年的“美加大停電”事件造成了300億美元的損失,提高電網的安全性和穩定性迫在眉睫.現代通信、計算機、電力電子等技術被迅速引入電網應用中,此后智能電網的概念被提出并得到廣泛關注.2005年，意大利EnelS. p. A建成了世界上首個部分采用智能電網技術的商用智能電網.2008年，美國科羅拉多州波爾建成了美國首個智能電網.我國的智能電網目前雖還處于初級階段,但已成為國家的重要能源戰略[5].

智能電網的根本目的是改善電力輸送效率、整合可再生能源、提高電網的安全性和可靠性.最本質的特點是實現電力和信息的雙向傳輸,以此建立起一個覆蓋電力系統整個生產過程、高度自動化和廣泛分布的能量交換網絡,可以對發電、輸電、變電、配電、用電及調度進行實時響應[6].智能電網的支撐技術包含智能傳感技術、分布式數據傳輸、計算和控制技術以及多個供電單元之間的數據和控制命令的有效傳輸技術等.

為了保障電網的運行安全,電力運營商制定了靈活的電價策略：隨著時間和地區不斷波動的零售電價可以引導用戶的用電行為.數據中心的用電量巨大,對于電網的運行穩定有較大影響,可以采取談判、競標等方式參與到電價制定中來.數據中心與智能電網構成了一個高度耦合的系統.該系統涉及多個互相制約的優化目標和復雜的約束條件,對優化目標進行數學建模以及模型的求解均面臨新的挑戰,成為近幾年新的研究領域.

云計算模式近年來被廣泛應用于數據中心,網絡接入和可彈性擴展的核心特征促使用戶將應用部署在分布式數據中心以應對用戶需求,大量計算需求從本地轉移到了網絡[7].大數據處理平臺Hadoop支持跨數據中心的大數據分析,數據中心間的數據同步、數據備份等技術的不斷成熟以及跨數據中心計算在阿里巴巴的商業化應用,使得分布式環境下的數據中心能耗費用優化具有理論和現實意義.

對于數據中心能耗費用優化問題,傳統電網環境與智能電網環境的區別主要體現在電價波動和與電網的交互2個方面.在傳統電網中電力和信息是單向傳輸的,發電方和供電方之間沒有信息的交互機制,電價規則比較單一,供電方無法根據用戶的負載實時調節電價,因此供電方無法對用戶的用電行為進行引導、調節,會出現電力供需不平衡的現象,影響電網運行的穩定性.在智能電網環境下,電力和信息是雙向傳輸的,發電方和用電方根據雙向信息自治達成協議的調節模式,分布式能源和分布式用戶會根據需求和價格的雙向約束實現電力與負載的平衡.因此,在傳統電網環境下,相關研究大多不考慮價格因素,將研究的重點放在數據中心能耗優化方面.在智能電網環境下,供電方和用電方的信息雙向傳輸,用電方可以參與到電網運行中來,電價可以隨著用戶負載實時變化.

智能電網環境下的電價隨著地理位置和時間發生波動.如圖1所示為2014年12月17日Google數據中心所處的3個區域的電價波動曲線.可以看出,同一時刻3個區域的電價各不相同,同一區域的電價也隨著時間發生波動.智能電網環境下電價的波動給數據中心能耗費用優化帶來巨大的優化空間,在同一時刻將負載盡量多地分配到低電價區域執行,在同一區域將負載盡量多地在低電價時段執行將有效地降低能耗負載費用.2009年,Qureshi等[8]將智能電網時間和地理位置的動態電價用于數據中心的能耗費用優化,使智能電網條件下的數據中心能耗費用優化成為一個新興的研究方向.

圖1 智能電網環境下隨著時間和地理位置波動的電價Fig.1 Electricity price fluctuating according to time and location in smart grid

智能電網環境下的數據中心能耗費用優化面臨如下的挑戰.1)電價在地理位置和時間上不斷波動.如何將負載分配到適合的數據中心并在適合的時間段運行是能耗費用優化問題需解決的核心問題.2)電費的計費方式多樣化,既包含數據中心消耗電量的費用,即用量費用(energy charge, EC),又包含用戶為其峰值功率支付的費用,即需量費用(demand charge, DC).如何對多樣化的目標進行優化也是能耗費用優化需要解決的問題.3)數據中心運行的負載多樣化,包含對響應時間有嚴格要求的交互式負載、對時間響應要求較低的批處理負載以及混合型負載等,復雜的負載類型給能耗費用優化問題增加了復雜的約束條件.4)數據中心的負載、電價以及可再生能源的發電量都具有隨機性,無法提前知曉.如何在這些外部條件未知的前提下在合理的響應時間內給出最優化方案存在數學方法上的挑戰.5)數據中心的能耗巨大,會對智能電網的運行產生影響,智能電網電價制定的博弈、競拍,是能耗費用優化問題面臨的挑戰.

這些挑戰給智能電網環境下的數據中心的能耗費用優化帶來了一系列全新的研究課題,引起了學者的高度關注.近年來,INFOCOM、ACM e-Energy、SIGCOMM、ICDCS、SIGMETRICS等國際會議和Proceedings of the IEEE、TPDS、TSG、FGCS等國際期刊發表了很多相關論文.美國斯坦福大學[9]、加拿大麥吉爾大學[10]、日本會津大學[11]、華中科技大學[12]、東南大學[13]、西安交通大學[14]、東北大學[15]、香港中文大學[16-17]等院校開展了相關研究. Rahman等[18]按照數據中心能耗管理的優化目標將相關研究分為費用優化、碳排放優化、對電網的影響和數據中心選址4個類別進行綜述.Kong等[19]按照負載調度、虛擬機管理、容量規劃、跨學科研究對數據中心綠色能源管理進行綜述.Dayarathna等[20]從硬件和軟件2個層面對數據中心的能耗模型進行綜述：在硬件層面對單核CPU、多核CPU、GPU等處理器的能耗模型,對內存、機械硬盤、固態硬盤等存儲設備的能耗模型,對服務器、網絡設備、制冷設備等相關研究進行總結歸納；在軟件層面對操作系統、虛擬機、計算密集型應用、通信密集型應用等相關研究進行總結歸納.目前，國內沒有數據中心能耗費用優化研究方面的綜述文章,僅筆者對近年來智能電網環境下數據中心能耗費用優化代表性研究的數據中心類型、節點類型、負載類型、電力來源、輔助優化目標、優化層級和優化方法等進行過初步歸納[21].

2 數據中心能耗費用優化問題

2.1 數據中心的能耗構成

圖2 數據中心的能耗構成和能量轉換過程Fig.2 Energy consumption structure and energy conversion process for data center

數據中心由IT設備、能量傳輸系統和制冷系統3個部分構成,如圖2所示.其中,IT設備包含服務器、存儲、網絡設備等,能量傳輸系統包含UPS、穩壓器、AC/DC、DC/AC轉換器等,制冷系統包含空調、水冷、熱能存儲等,數據中心的能耗優化主要圍繞這3個方面展開.數據中心的總能耗與IT設備能耗的比值(power usage effectiveness,PUE)體現了數據中心的能效,PUE值越小意味著用于計算、存儲等核心設備的能耗比例越大,數據中心的能效越高.PUE值通常為1.1～2.0.

外部能源到達配電柜后先由交流電轉換為直流電對UPS充電,然后由UPS輸出交流電到電源分配單元(power distribution unit, PDU)為IT設備供電,到達服務器等終端設備時還需要再次將交流電轉化為直流電進行供電.中間經歷了2次交/直流轉換,至少有10%的能量損耗,能效水平較低.直流供電技術的出現較好地解決了這一問題[22],是數據中心能量傳輸系統未來的發展趨勢.

空調、水冷和熱能存儲[23]等制冷系統能耗約占數據中心總能耗的50%,是數據中心能耗優化、PUE值控制的關鍵因素[24].空調系統的智能控制是目前的研究熱點,研究方向包含智能制冷和高溫數據中心：將數據中心劃分為多個區域分別制冷的動態制冷技術和以機柜為單位進行制冷的精確制冷方式可以有效地降低數據中心的熱點溫度,提高制冷效率[25-26]；通過提升數據中心的運行溫度可顯著降低制冷系統的能耗比例(數據中心的運行溫度由18℃上升至23℃可降低8%的能耗),是數據中心制冷優化的未來趨勢.

制冷系統的能耗控制使數據中心的PUE值較為穩定,可視為常數,因此可將數據中心的能耗優化簡化為IT設備的能耗優化,僅需要對IT設備的能耗優化方法進行研究.

2.2 數據中心能耗費用優化問題的基本模型

根據研究目標構建系統模型、提出數學問題并對數學問題進行求解是數據中心能耗費用優化的關鍵步驟.相關研究的核心創新體現在根據優化目標和優化方法構建能耗費用優化問題的系統模型,并建立數學模型,以求解決定變量.此類問題大多可轉化為線性規劃和非線性規劃問題,可以采用多項式時間算法、廣義Benders分解、啟發式算法、Lyapunov優化、混合整數規劃、自適應優化、標準次梯度法、分支定界法、內點法、量子諧振子算法[27]等成熟的方法進行求解,各類問題的數學求解可參見文獻[18]的總結.

圖3 數據中心能耗費用優化問題的基本模型Fig.3 Fundamental model for energy cost optimization of data center

從系統模型的角度看，智能電網環境下數據中心能耗費用優化問題是在電價隨時間和地理位置波動的供電環境中,分布式數據中心運營商在滿足各種內外部約束的條件下根據外部負載類型和負載量的變化,通過負載分配、節點狀態控制、使用能量存儲設備等方法對能耗費用優化目標以及碳排放量、網絡帶寬費用、響應時間、電網穩定性等協同優化目標進行優化的問題,基本模型如圖3所示.模型中電力供應、外部負載、約束條件、與電網交互是數據中心能耗費用優化問題的外部條件,需要根據優化目標求解負載分配、節點控制和能源使用的最優方式.

數據中心的電力供應由智能電網、不間斷電源UPS以及備用柴油發電機等共同完成.智能電網環境下電價隨地理位置和時間的變化,以及能量存儲設備對電價峰值和功率峰值的調節能力,給能耗費用優化提供了空間和方法.數據中心的電能按能源類型可分為太陽能、風能等低碳能源和煤電、油電等高碳能源,提高低碳能源的使用率有助于實現數據中心的碳排放目標,但會對能耗費用和電網穩定性產生影響.從這個角度來看,低碳能源和高碳能源是一對互相制約的矛盾體,各種類型能源的協調使用構成了新的能耗費用優化問題.

外部負載包含對響應時間有嚴格要求的交互式負載、對響應時間要求較低的批處理負載和由多種類型負載構成的混合型負載[8].多樣化的負載類型給數據中心的負載分配、節點運行狀態控制提出了多樣化的約束條件,從而產生運行不同負載類型的數據中心能耗費用優化研究方向.數據中心的能耗巨大會對電網的穩定性產生影響.智能電網的雙向信息傳輸特性使得數據中心可以通過參與電價制定、電網運行與電網進行交互,使得電價成為可進行博弈的變量,給能耗費用優化問題增加了一個新的維度,從而產生了很多新的研究課題.

能耗費用優化目標包含用戶為其消耗電量(kWh)支付的用量費用和為其峰值功率(kW)支付的需量費用[15].為了應對短暫的峰值功率,電力運營商需要投入更多的電力基礎設施,數據中心需要投入更多的資金在供電系統和制冷系統上.目前大多數研究是對用量費用進行優化,需量費用相關的研究相對較少.需量費用與智能電網的穩定性是數據中心和智能電網共同的優化目標,成為新的研究熱點；能耗費用優化問題的輔助優化目標,包含響應時間、碳排放量、應用服務質量、可再生能源使用率、制冷能耗、網絡費用、負載溢出率[28]等.

負載分配方法決定了數據中心的運行節點數和運行節點的負載,從而決定了數據中心的能耗費用,因此負載分配方法是能耗費用優化模型中的決定變量.負載分配包含數據中心間的負載分配和各執行時間段的負載分配,分別適用于對交互式負載和批處理負載的能耗費用進行優化.節點控制是能耗費用優化模型中的決定變量,控制方法包含節點運行/關閉的狀態控制和對運行電壓/頻率的控制等,直接決定了數據中心的能耗費用.

(1)

(2)

3 數據中心能耗費用優化方法與研究進展

數據中心的能耗費用優化方法的分類如圖4所示,包含硬件級和算法級2種類型.本節主要對算法級優化方法進行綜述,包含調整運行節點數、DVFS、負載分配、部分執行、使用UPS、使用可再生能源、與電網交互、虛擬化8種類型.從數據中心的角度來看,這些研究方法可以分為節點級、數據中心級和跨數據中心3個層級.這些算法級能耗費用優化方法的優化層級、優缺點及相關研究如表1所示,本節對這8種優化方法的相關研究分別綜述.

3.1 調整運行節點數

節點是數據中心的基本運行單元,運行節點數是能耗費用優化模型中的決定變量,根據負載動態調整運行節點數是數據中心級能耗優化的主要方法.

2001年,Chase等[31-32]對數據中心的算法級能耗優化進行研究,發現數據中心的負載常處于動態變化中,低負載時很多節點處于空閑狀態卻依然消耗著大量電能；提出將新到負載向負載較高的節點分配,使其余節點執行完現有負載后進入休眠或關閉狀態,從而動態調節運行節點數,降低數據中心的

優化方法優化層級優點缺點文獻調整運行節點數2減少空閑狀態節點的能耗不能實時調節運行節點數[31,32]DVFS1可實時調節CPU運行電壓和頻率對節點性能有影響[4,10,15,30,33,34,67]負載分配不同位置數據中心之間3保障負載的實時響應易使電網負載不均衡,影響其穩定性[15,29,35-38]運行時間段之間1無需數據遷移,適合批處理負載負載響應的實時性差[9]同時考慮時間和地理位置1、3可解決復雜負載的能耗費用優化模型構建和數學問題的求解難度大[4,28,37-44]數據中心內的負載遷移2減少空閑狀態節點的能耗遷移時間較長,影響應用的可靠性[45]部分執行1、2直接減少運行負載量對負載類型有嚴格的要求[16,46]使用UPS2、3不影響負載的執行影響數據中心的供電可靠性[16,23,47-55]使用可再生能源1、2、3碳排放量和電價較低電力供給不穩定,電網負載不均衡[14,56-62]與電網交互1、2數據中心與智能電網可以雙贏競價、博弈等操作增加了模型復雜度[12,63-66]虛擬化技術2、3提高集群利用率,降低總能耗單節點能耗增加、吞吐量降低[69-73]

注：“優化層級”一欄中的數字1、2、3分別表示跨數據中心級優化、數據中心級優化和節點級優化.

能耗.當前負載執行完畢或者將負載遷移到其他節點后才能調節運行節點數,需要一段等待時間,并且需要考慮負載運行狀態的同步問題,因此該方法無法實時使用,僅適用于對運行響應時間要求較低的批處理負載的數據中心的能耗費用優化.實時能耗調節一般采用下面介紹的DVFS方法.

3.2 動態電壓頻率調整(DVFS)

CPU是服務器中功率最大的器件[30],通過對其能耗進行控制可以對數據中心的能耗進行節點級控制.CPU的運行功率P取決于能耗費用優化模型中的決定變量工作電壓U和頻率f[67]：

式中：C、A為常數.使用DVFS技術可通過調節電壓和頻率對CPU的運行功率進行實時控制.

2006年，Intel推出首款支持DVFS的服務器系列CPU后,Fan等[30]率先使用DVFS技術對同負載類型的數據中心的能耗與性能進行研究.Etinski等[33]使用DVFS對HPC系統的能耗管理進行研究.宋杰等[15]提出了一種云計算環境下的基于DVFS的能效模型和度量方法.DVFS方法成為目前數據中心節點級能耗優化的主要方法,常與跨數據中心的負載分配方法、數據中心級的運行節點數控制等方法同時使用.

使用DVFS方法降低CPU的電壓和頻率,在降低節點運行功率的同時會降低節點的計算性能,導致運行在節點上的負載的響應速度變慢.如果節點的負載壓力較大,使用DVFS方法將進一步提高節點的負載壓力,影響節點運行穩定性.因此DVFS技術適合在數據中心的低負載時段使用,提高節點的使用率,對數據中心能耗費用進行優化.

3.3 負載分配方法

負載分配方法是數據中心能耗費用優化模型中的決定變量.在電價隨地理位置和時間波動的智能電網環境下,負載在何時、何地運行決定了數據中心的能耗費用,負載分配方法是最基本的能耗費用優化方式,包含數據中心之間的負載分配和執行時間段之間的負載分配2種類型.

3.3.1 不同位置數據中心之間的負載分配 面對在地理位置上動態變化的電價,負載分配的核心思想是將負載盡量分配到電價較低區域的數據中心運行,將問題轉化為滿足負載響應時間約束的最小費用流問題,確定分配到各數據中心的負載量,完成數據中心間的負載分配.這種方法由Rao等[29]在2010年提出,構建了分布式數據中心能耗費用優化的基本模型,適用于對響應時間有嚴格要求的交互式負載的分配,如運行搜索引擎業務的分布式數據中心的能耗費用優化[39],是跨數據中心能耗費用優化的基本方法.與調節運行節點數相比,該方法可以實時地完成分布式數據中心間的負載分配,適合對實時性要求較強的交互式負載進行分配.當大量用戶同時使用這種方法進行負載分配時,可能造成電價較低區域的數據中心負載的過重,降低負載的響應時間并對電網的運行穩定性造成影響.

跨數據中心的負載分配需要與數據中心級和節點級能源優化結合才能將負載降至最低,即與通過動態調節運行節點數的數據中心級能耗優化方法[29]和通過DVFS的節點級能耗優化方法[10]結合.Gu等[36]綜合使用調節運行節點數、DVFS和數據中心間的負載分配方法將分布式數據中心能耗費用優化問題轉化為混合整數非線性規劃問題進行求解.

對于對外提供服務的數據中心,降低其能耗費用是為了獲得更好的盈利能力,需將服務定價、負載分配以及服務器狀態調節等相關策略統一考慮[15].Wang等[34]提出了一種基于執行期限的定價策略,用戶執行某項任務所需的費用與任務執行時間有關,如果用戶縮短執行時間,則數據中心運營商需要啟用更多的節點,用戶則需要支付更高的費用.

在云計算數據中心,虛擬機是常用的組成元素,將虛擬機進行分配同樣可以對數據中心的能耗費用進行優化.Abbasi等[35]將虛擬機作為負載進行動態分配,將虛擬機向數據中心分配時綜合考慮了動態電價、能源使用率、虛擬機遷移所需的帶寬費用,以及虛擬機遷移的延時對服務質量的影響等,將問題轉化為混合整數規劃問題進行求解.

3.3.2 運行時間段之間的負載分配 面對隨時間動態變化的電價,負載分配的核心思想是使盡量多的負載運行于電價較低的時間段.分配過程受數據中心的性能以及負載響應時間的約束.與調節運行節點數相比,這種方法對運行在某一數據中心內部的負載進行調度,無需數據遷移,適用于對響應時間要求較低的批處理負載任務的分配,但對負載響應的實時性較差.Luo等[9]對單一集群上的批處理負載能耗費用問題進行研究,提出一種基于運行時間段之間負載分配的IDC能耗費用優化算法,將計算量較大的任務切分為較小的子任務,在集群上并行運行：首先對進入任務隊列的負載重新排序,降低負載拒絕率；然后根據電價的時間變化和負載的響應時間調節負載的執行時間,在滿足響應時間的前提下優化能耗費用.

3.3.3 同時考慮時間和地理位置的負載分配 現實中的數據中心可能同時運行著多種類型的負載.例如,運行搜索引擎類應用的數據中心同時運行著對時間響應有嚴格要求的交互式查詢任務以及對頁面數據的MapReduce操作這類對響應時間要求較低的操作.這類問題的解決重點在于問題模型的建立和數學求解,可以用于解決復雜負載的能耗費用優化問題.一般將數據中心的運行節點分為2類,分別運行2種類型的負載：對于交互式類型的負載,需要滿足負載的響應時間要求；對于批處理負載,需要滿足其在無窮大的時間內等待執行負載隊列的穩定性,建立滿足這2種類型負載特性和約束的能耗費用優化模型.

Yao等[4]在負載分配中同時考慮了時間和地理位置,提出了一種雙時間尺度能耗費用優化算法.首先根據電價在地理位置上的變化在數據中心間進行負載分配,在大時間尺度上調節運行服務器的數量,然后根據電價在時間上的變化在小時間尺度上調節服務器的服務率和負載分配方式.Xu等[28]將節點負載超出節點最大處理能力的概率定義為負載溢出率,將其作為優化約束條件,在優化模型中對負載溢出率設置閾值,使用類似的雙時間尺度優化算法進行能耗費用優化.Guo等[39]對同時運行交互式負載和批處理負載的云計算數據中心的能耗費用進行建模,用Lyapunov優化方法求解.Luo等[40]在分布式集群環境中考慮了地理位置上的電價變化,提出了一種基于時間-空間調度方法的能耗費用優化算法.Zheng等[38]利用動態變化的電價和碳排放量,在滿足碳排放量和負載響應要求的前提下對IDC數據中心的能耗費用和網絡費用的總和進行優化.Chiaraviglio等[37]同時考慮了數據中心運營商和網絡設施運營商的能耗費用,將問題轉化為混合整數規劃問題用分布式算法求解.Buchbinder等[41]將網絡帶寬費用引入負載分配模型中,在電網和多種可再生能源混合的電力環境下對費用進行在線優化.與同構數據中心相比,異構數據中心的能耗費用優化空間更大,其優化難度也更高[42-44].

3.3.4 數據中心內的負載遷移方法 數據中心內的負載遷移方法最早由Chase等[31]于2001年提出,采用與負載均衡相反的思路,將新到負載的分配逐步集中到部分節點,并將其他節點的負載向這些節點遷移,使其他節點的負載逐步變為0,將空閑節點改為休眠或關閉狀態,通過動態調節運行節點數對能耗費用進行優化.

虛擬機是IDC數據中心最常見的一種應用類型,1臺服務器上一般同時運行多個虛擬機;虛擬機在數據中心內的遷移技術已經非常成熟,通過虛擬機遷移對節點資源進行整合聚集是IDC數據中心能耗優化的主要方法.Xiao等[45]使用虛擬化技術來動態分配數據中心的資源,將節點的狀態標識為H(Hot)、W(Warm)、G(Green)、C(Cold).當集群整體負載低于G時,將低于C的物理節點上的虛擬機向低于W的節點遷移;當該節點上的虛擬機遷移完成后關閉該物理節點,減少集群的峰值功率.

這種方法常用于對運行在數據中心的虛擬機進行管理,從而對數據中心的能耗費用進行優化.由于負載遷移和節點狀態切換需要一定的時間,并需要保持用戶數據和運行狀態的一致性,切換時集群的性能和服務的穩定性會受到影響,不建議頻繁地切換節點狀態.

3.3.5 討論 以上研究均使用智能電網的實時電價.假定數據中心的運行不對實時電價產生影響,并以數據中心的用量費用作為優化目標.實際上,數據中心是長期、高負載的用電單位,與電力運營商簽訂長期用電合同,不使用零售電價.實際的電費合同從用電總量、峰值功率2個方面與用戶進行約定.將負載分配到電價較低的區域會導致該區域的負載升高.一方面數據中心需要投入昂貴的硬件設施來應對負載峰值;另一方面數據中心需要為其負載峰值支付很高的用量費用,從而降低能耗費用優化的效果.由于數據中心的負載分配受電價波動的影響,數據中心的負載很難提前預測,無法與電力供應商簽訂準確的電費合同,因此控制數據中心的峰值功率并與電網進行交互對于能耗費用優化的影響很大.

3.4 部分執行方法

部分執行(partial execution, PE)是一種通過降低服務質量減少負載執行數量的方法,可達到降低峰值功率的效果,常用于搜索引擎、金融計算、仿真模擬等可接受近似計算結果的領域[16],這些類型業務的計算結果精度取決于計算任務量,計算時間越長,計算越充分,其計算結果越精確.以雅虎搜索為例,執行50%的負載即可獲得80%的服務質量[46],但隨著負載執行比率的增加,服務質量的提高越來越緩慢,因此降低少許服務性能即可大幅降低數據中心的能耗.

Xu等[16]將PE方法用于降低運行搜索引擎類負載的分布式數據中心的峰值功率,將數據中心運行模式分為高質量服務和低質量服務兩種模式,在滿足服務質量的約束下,依次將負載最高的時間段運行模式設為低質量服務模式,降低峰值功率.PE方法可以在滿足服務質量的前提下直接降低運行負載量,配合DVFS方法、運行節點控制方法可以更大程度降低數據中心的能耗費用.由于PE方法對于負載的類型有明確的限定,其使用范圍較為固定,專用于對運行搜索引擎、金融計算等交互式負載的數據中心能耗費用進行優化.

3.5 使用UPS能量存儲設備

在負載高峰時段,使用能量存儲設備對數據中心供電可以降低電網的峰值用電功率,從而降低需量費用；此時可采用數據中心的電力保障設備UPS.UPS的加入給數據中心能耗費用優化模型增加了1個電能存儲調節裝置,即增加了1個變量,使得優化問題增加了1個維度,形成1個新的優化研究方向.

數據中心的UPS即不間斷電源用于保障電力的穩定供應,常在主供電源中斷后、備用電源啟動前的10～20 s使用,而UPS的設計容量可供數據中心運行5～30 min,因此在確保數據中心供電安全性的前提下,可以利用電價隨時間的波動和數據中心負載的波動對UPS進行充放電操作,減少數據中心在電價峰值和負載峰值時段的電網用電,從而對數據中心的能耗費用進行優化.2008年,Bar-Noy等[49]最早使用UPS對已知負載情況下的電網峰值控制進行研究,并于第2年對隨機負載情況下的電網峰值優化問題構建了在線優化算法,將該研究用于數據中心的峰值功率控制.目前的相關研究分為以下2個類別.

3.5.1 利用外部負載的波動 高負載時間使用UPS對數據中心供電,在低負載時間對UPS進行充電,降低數據中心的峰值功率,對用量費用進行優化.Xu等[16]將UPS用于運行交互式負載的分布式數據中心,在滿足用戶服務質量的前提下同時使用UPS充放電操作和PE方法對需量費用進行優化.Palasamudram等[50]使用類似的方法對分布式內容分發網絡(content delivery network,CDN)的需量費用和用量費用進行優化.Aksanli等[51]提出主供電源與UPS共同使用且UPS放電電流可調節的模型,使UPS的使用非常靈活.Govindan等[48]對充放電折舊費用固定、未考慮UPS的生命周期和數據中心可用性等問題的UPS模型進行改造并設計了eBuff模型,將充放電深度、充放電次數、充放電功率、充放電時間、充放電過程中的能耗損失以及數據中心可用性等因素考慮在內,對能耗費用進行優化.

3.5.2 利用電價的時間波動 在電價較低的時間段對UPS進行充電,在電價較高的時間段使用UPS對數據中心進行供電,從而降低數據中心的需量費用.在已知外部電價和負載的條件下對UPS充放電控制是一種離線算法,只需要對負載數據中心的外部電價和負載進行排序.當外部電價和負載為無法提前知曉的隨機數時,該優化問題的求解面臨新的挑戰.Urgaonkar等[52]使用Lyapunov優化對單一數據中心的能耗費用優化進行研究,將UPS電量的限制轉化為隊列穩定問題進行求解.Guo等[53]對分布式數據中心的該優化問題進行研究,同時考慮電價在時間和地理位置上的變化.

3.5.3 討論 將UPS用于數據中心的能耗費用優化不會對當前運行的負載產生直接影響,但會對數據中心的供電可靠性產生兩方面的影響：1)利用外部負載的波動和電價的時間波動對UPS進行充放電操作會縮短UPS的電池使用壽命,降低數據中心的供電可靠性；2)當UPS處于充放電過程中時,其電量達不到設計值,應急供電時間會相應減少,從而降低數據中心的供電可靠性,因此使用UPS對數據中心能耗費用進行優化需要將UPS的使用壽命和供電可靠性考慮在內.

以上研究中的UPS均是向整個數據中心供電,電能需要經過2次交/直流轉換才能最終被服務器等IT設備使用,這個過程至少有10%的能量損耗.Google為其每臺服務器內置了12 V的大容量電池以保障供電,當主供電源中斷時大容量電池直接對服務器供電,解決了傳統數據中心能量傳輸系統的損耗問題,因此內置節點級UPS的服務器是未來服務器發展的新趨勢.

節點級UPS使得節點能耗控制更加靈活,其充放電控制是未來新的研究方向[54].Yao等[55]借鑒Google數據中心的模式,為每臺服務器配備獨立的UPS,通過MPC模型預估控制器對每個UPS的充放電行為進行控制,從而優化數據中心的能耗費用.

UPS容量和UPS單次充放電的費用對能耗費用優化的效果有直接影響.在對用量費用進行優化時,較大容量的UPS可以在低電價時段儲存更多的電能,在高電價時段釋放出來；在對需量費用優化時,較大容量的UPS可以將高負載時段功率降得更低,但其自身成本的增加也不可忽略.當單次充放電費用較低時,使用UPS能很好地降低能耗費用；當單次充放電費用提高時,UPS對降低能耗費用的作用逐漸減弱,文獻[53]對此進行了詳細的實驗驗證.

與UPS相比,熱能存儲設備的價格優勢十分明顯,是數據中心能耗費用優化的新方法.Google于2011年在其數據中心首次使用熱能存儲設備.熱能存儲設備的儲熱能力強,可以通過在電價較低的時間段進行冷卻,在電價較高的時間段使用熱能存儲設備通過對數據中心制冷來降低制冷系統的能耗費用.Guo等[23]利用電價在時間上的波動對使用熱能存儲設備的數據中心能耗費用進行研究.

3.6 使用可再生能源的方法

風能、水能、太陽能等可再生能源在數據中心的使用越來越廣泛.與石油、煤炭、天然氣等高碳能源相比.可再生能源的電價雖然較低,但其初期建設成本高,發電量隨天氣變化的波動性大,對電網的穩定性影響較大.合理地使用可再生能源可以在降低能耗費用的同時有效地降低輔助優化目標——碳排放量.可再生能源的接入使得數據中心能耗費用優化模型的電力供應增加了一個隨機變量,增加了問題求解的復雜性.可再生能源在降低能耗費用和降低碳排放量方面的顯著優勢,成為近年來數據中心能耗費用優化的研究熱點.

3.6.1 研究進展 可再生能源的發電量和價格受天氣影響始終處于變化狀態.使用可再生能源對能耗費用進行優化時,需要按照風能、水能、太陽能等能源的特征對其發電行為進行建模,還需要考慮外部負載類型、發電費用、能量存儲、服務等級協議等因素.為了方便科研人員對再生能源的使用進行評估,Brown等[56]對數據中心可再生能源的發電和使用全過程進行仿真建模,并對不同負載類型數據中心的可再生能源使用進行優化,設計了數據中心可再生能源使用模擬器ReRack.竇暉等[14]對自建可再生能源發電廠的數據中心建立能耗費用模型,形式化為一個隨機優化問題,提出一種在線式負載調度算法,并使用Lyapunov優化方法求解.Berral等[60]對自建可再生能源發電廠的數據中心選址問題進行研究.通過虛擬機遷移方法在保證可再生能源使用比例的前提下對數據中心能耗費用進行優化,并用OpenNebula實現了一個數據中心能耗費用管理平臺,對虛擬機進行管理.

高能耗的數據中心擁有年度碳排放量指標.當碳排放量超標時需要購買昂貴的碳排放量指標或被征收高額的電費,在碳排放量的約束下對能耗費用進行優化是一種直接的優化思路.Le等[57]提出了碳排放總量受限的數據中心能源使用、能耗費用和碳排量管理的框架.Zhou等[58]將該問題的碳排放總量約束轉化為當前時間片虛擬隊列的穩定問題,通過Lyapunov優化方法求解負載分配方式、運行節點數和節點服務率.碳排放量和能耗費用是互相制約的2個優化目標,將負載由低電價數據中心向低碳區域的數據中心遷移可以降低碳排放量,但由于低碳區域的電價一般高于高碳區域的電價,能耗費用將提高.Abbasi等[62]在此基礎上增加了碳排放總量的約束條件進行研究.

在有限的能耗費用預算下提高可再生能源的使用比例是另一種優化思路.Zhang等[59]對固定能耗費用預算下的分布式數據中心如何最大限度地使用可再生能源進行研究；Kiani等[61]假設分布式數據中心自帶可再生能源發電設施,同時考慮可再生能源的使用和不同地理位置數據中心之間的電價波動,根據外部負載使用的電力來源將負載定義為綠色負載和棕色負載,在保障綠色能源使用率最高的前提下,對電網能耗費用進行優化.

3.6.2 討論 可再生能源具有綠色、低碳的社會屬性和投產之后低發電成本的經濟屬性,近年來發展迅速,得到廣泛應用.預計2030年,可再生能源的產能將占能源消耗總量的20%.可再生能源發電量不可提前預知、產能受天氣因素的影響較大,大量接入可再生能源可能對電網的運行穩定性產生較大影響.使用大容量電池解決電網峰值問題的成本過高,因此,電力運營商推出需求響應項目來保障電網的運行穩定[68].數據中心能耗巨大且負載可以動態調節,參與需求響應項目并根據電網運行狀態調節數據中心的運行功率,可以大幅降低能耗費用,但同時也會給數據中心的運行穩定性帶來不利影響,這給數據中心的可再生能源使用提出了新的挑戰,成為2014—2015年INFOCOM、SIGCOMM、ICDCS、SIGMETRICS、HPDC等國際會議的最新研究熱點.

3.7 與電網交互的方法

在能耗費用優化的過程中,電網運營商的目標是使電網負載達到均衡狀態以降低電網的運行風險,而數據中心運營商的目標是最小化能耗費用,兩者目標不一致.使用戶積極參與到電網的運營中是智能電網的核心目標之一.數據中心參與智能電網的運行和價格制定,可以在對其能耗費用進行優化的同時提高電網運行的穩定性.

由于智能電網中不同區域的電價存在差異,數據中心運營商在任務調度時會將負載分配到價格較低的區域,這在降低數據中心能耗費用的同時會加重數據中心所在區域的電力負載,對電網的負載穩定性產生較大影響[63].智能電網會為大規模數據中心設定能耗閾值,通過節點邊際價格等價格機制對數據中心的負載分配進行引導.

Wang等[17]在保證電網均衡的前提下對能耗費用進行優化,將優化過程分為2個階段,首先通過分支界定法為每個數據中心設置能耗閾值,降低電網運行風險,根據閾值和定價策略生成對應的電價,對智能電網的負載進行均衡；然后通過次梯度算法求解數據中心間的負載分配方式、每個數據中心的運行節點數.Zhang等[64]假設數據中心對電網的運行負載穩定性具有影響,電價采用節點邊際定價法,當消耗的電量超過閾值時,電價將不斷提高.數據中心根據歷史運行數據設定每月和每日的能耗費用預算,當超過預算時通過保證高等級用戶的服務響應,降低低等級用戶的服務響應,對能耗費用進行優化.Yao等[65]將能耗費用優化問題轉化為負載和功耗之間的動態控制問題,設計了基于反饋的預估控制模型,使用遞歸最小二乘法對負載進行在線預測,通過動態調節數據中心的運行節點數和節點負載來控制系統負載,通過調節功耗預算來降低峰值功率.Zhou等[12]提出了分布式數據中心需求側響應的交易機制,并對由多種可再生能源同時供電的數據中心使用多領導者單跟隨者博弈模型,提出了一種新的定價策略,既保障數據中心的性能、穩定性和健壯性,又保障智能電網的均衡定價[66].

3.8 虛擬化技術

核心思想是使用虛擬化軟件(如：KVM、XEN等)將物理機切分為若干個互相獨立的虛擬機,使每臺虛擬機運行自己的應用軟件.虛擬化技術使得數據中心具有服務器整合、在線遷移、隔離性、高可用性、靈活部署、管理方便等優點,降低了數據中心的建設、運營成本,增加了應用部署的靈活性,在數據中心得到廣泛應用.虛擬化技術與數據中心能耗管理方法的結合給數據中心的能耗費用優化提供了新的思路.

葉可江等[69]從能耗測量、能耗建模、能耗管理實現機制和能耗管理優化算法4個方面對虛擬化云計算平臺能耗管理的相關研究進行綜述.作為集群資源管理技術,虛擬化技術可以與前面所述的多種方法綜合使用,對數據中心能耗進行優化.Gallego等[70]綜合使用了虛擬化、DVFS和調整運行節點數方法對虛擬化的數據中心能耗進行優化,將問題轉化為混合整數規劃問題進行求解.

使用虛擬化技術可以將多臺服務器上運行的應用程序整合到一臺服務器,通過關閉空閑的服務器來降低數據中心的能耗.Kusic等[71]最早對虛擬化的數據中心能耗優化進行研究,在保障QoS的前提下,通過調整服務器中處于運行狀態的虛擬機數量,將應用程序進行整合,關閉空閑的物理節點,提高運行服務器的使用效率.

在虛擬化的服務器中,虛擬機的硬件資源是虛擬化得來的,虛擬資源與物理資源相分離,無法對虛擬機使用硬件層和操作系統層的能耗管理技術,這成為虛擬化平臺能耗管理的新挑戰.由于虛擬化環境中虛擬機的能耗無法直接測量,Kansal等[72]提出了一個間接的虛擬機能耗測量機制Joulemeter,為虛擬機建立能耗模型,根據虛擬機運行時的資源使用率測量值來估算虛擬機的能耗.將服務器虛擬化并部署應用之后,其服務器的單節點能耗比虛擬化之前有所增加,服務器的單節點吞吐量有所降低,從而會影響數據中心的性能.Jin等[73]對運行計算密集型和網絡密集型負載的虛擬化數據中心的能耗進行研究,通過實驗分析了數據中心虛擬化帶來的能耗優化和性能降低之間的平衡關系.

4 結 語

智能電網與數據中心的結合使能耗優化問題增加了電價這一新的維度,從而產生了一系列亟待解決的新問題,引起大量專家和學者的關注,成為綠色數據中心研究的熱點.不同的電力來源、電價規則、優化目標、負載類型、約束條件、應用領域形成種類繁多的能耗費用優化問題,解決問題的核心在于建立合理、完備、可解的問題模型,并使用相應的數學方法進行求解.目前智能電網本身的研究還處于起步階段,基于智能電網的數據中心能耗費用優化研究遠遠沒有成熟,很多問題和難點都需要進一步研究,總結如下.

1)多目標優化：為數據中心進行負載分配時往往需考慮多個優化目標,如負載響應時間、服務質量、碳排放量、服務穩定性等,這些優化目標之間的制約關系以及如何在多個優化目標之間找到平衡需要進行深入研究.

2)數據中心需求響應：數據中心的能耗巨大,負載可以動態調節,適合于參與需求響應項目.數據中心需求響應可以在調節電網負載的同時降低數據中心的能耗費用,從而得到雙贏的結果.數據中心既可以使用電力運營商的時間段定價、峰值定價、一致性峰值定價、實時定價等定價方式被動地參與需求響應,也可以通過投標、談判等方式主動地參與需求響應.數據中心如何參與需求響應,如何設計適合數據中心的需求響應項目有待進行深入研究.

3)節點級UPS：使用內置UPS服務器的數據中心能耗效率高,可以精確地調節電網的功率負載,是數據中心未來的發展趨勢；同時,節點級UPS僅對單個節點供電,無須對整個數據中心供電,提高了UPS的平均使用壽命,降低了UPS單次充放電的成本.如何控制節點級CPU的充放電行為、UPS的容量與優化性能的關系以及使用節點級UPS的經濟效益分析是能耗費用優化的關鍵.

4)可再生能源發電設施：為數據中心配備可再生能源發電設施是現代數據中心實現碳排放量目標的有效方法.新建發電設施如何選址,如何對包含動態電價、UPS、可再生能源的數據中心進行能耗優化有很多需要解決的問題.

5)在線優化算法：數據中心的電價、負載、可再生能源的發電量等都處于動態變化中,無法提前知曉,與離線優化算法相比,在線優化算法的設計與實現難度更大.

6)能源互聯網：能源互聯網是信息技術與可再生能源相結合的產物,用于解決可再生能源的利用效率問題.能源互聯網中的能量以電能、化學能、熱能等形式存在,多樣化能源的分布式發電、傳輸、存儲、消耗為數據中心的能耗費用優化開啟了一個全新的研究領域.

綜合數據中心能耗費用優化所面臨的挑戰、研究熱點以及研究展望,結合本文總結的能費用優化方法,本課題組將在下一階段對數據中心能耗費用優化相關應用的多目標優化、數據中心需求響應、節點級UPS、可再生能源發電設施選址、在線優化算法等問題展開研究.

[1] GAO P X, CURTIS A R, WONG B, et al. It’s not easy being green [J]. ACM SIGCOMM Computer Communication Review, 2012, 42(4): 211-222.

[2] BILAL K, MALIK S U R, KHALID O, et al. A taxonomy and survey on green data center networks [J]. Future Generation Computer Systems, 2014, 36(7): 189-208.

[3] WANG L, KHAN S U. Review of performance metrics for green data centers: a taxonomy study [J]. The Journal of Supercomputing, 2013, 63(3): 639-656.

[4] YAO Y, HUANG L, SHARMA A, et al. Power cost reduction in distributed data centers: a two-time-scale approach for delay tolerant workloads [J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(1): 200-211.

[5] 余貽鑫,秦超.智能電網基本理念闡釋[J].中國科學:信息科學,2014,44(6): 694-701. YU Yi-xin, QIN Chao. Expatiation on the basic ideas of smart grid [J]. SCIENTIA SINCA Informations, 2014, 44(6): 694-701.

[6] 張東霞,苗新,劉麗平,等.智能電網大數據技術發展研究[J].中國電機工程學報,2015, 35(1): 2-11. ZHANG Dong-xia, MIAO Xin, LIU Li-pin, et al. Research on development strategy for smart grid big data [J]. Proceedings of the CSEE, 2015, 35(1): 2-11.

[7] WU G, GU H, WANG K, et al. A scalable AWG-based data center network for cloud computing [J]. Optical Switching and Networking, 2015, 16: 46-51.

[8] QURESHI A, WEBER R, BALAKRISHNAN H, et al. Cutting the electric bill for internet-scale systems [J]. ACM SIGCOMM Computer Communication Review, 2009, 39(4): 123-134.

[9] LUO J, RAO L, LIU X. Temporal load balancing with service delay guarantees for data center energy cost optimization [J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(3): 775-784.

[10] RAO L, LIU X, ILIC M D, et al. Distributed coordination of internet data centers under multiregional electricity markets [J]. Proceedings of the IEEE, 2012, 100(1): 269-282.

[11] GU L, ZENG D, LI P, et al. Cost minimization for big data processing in geo-distributed data centers [J]. IEEE Transactions on Emerging Topics in Computing, 2014, 2(3): 314-323.

[12] ZHOU Z, LIU F, LI Z, et al. When smart grid meets geo-distributed cloud: an auction approach to datacenter demand response [C]∥ Proceedings of the 34rd IEEE International Conference on Computer Communications. Hong Kong: IEEE, 2015: 2650-2658.

[13] 王巍,羅軍舟,宋愛波.基于動態定價策略的數據中心能耗成本優化[J].計算機學報,2013, 36(3): 599-612. WANG Wei, LUO Jun-zhou, SONG Ai-bo. Dynamic pricing based energy cost optimization in data center enviroments [J]. Chinese Journal of Computers, 2013, 36(3): 599-612.

[14] 竇暉,齊勇,王培健,等.一種最小化綠色數據中心電費的負載調度算法[J].軟件學報,2014,25(7):1448-1458. DOU Hui, QI Yong, WANG Pei-jian, et al. Workload scheduling algorithm for minimizing electricity bills of green data centers [J]. Journal of Software, 2014,25(7): 1448-1458.

[15] 宋杰,李甜甜,閆振興,等.一種云計算環境下的能效模型和度量方法[J].軟件學報,2012,23(2): 200-214. SONG Jie, LI Tian-tian, YAN Zhen-xing, et al. Energy-efficiency model and measuring approach for cloud computing [J]. Journal of Software, 2012, 23(2):200-214.

[16] XU H, LI B. Reducing electricity demand charge for data centers with partial execution [C]∥ Proceedings of the 5th International Conference on Future Energy Systems. Bangkok: ACM, 2014: 51-61.

[17] WANG H, HUANG J, LIN X J, et al. Exploring smart grid and data center interactions for electric power load balancing [J]. ACM SIGMETRICS Performance Evaluation Review, 2014, 41(3): 89-94.

[18] RAHMAN A, LIU X, KONG F. A survey on geographic load balancing based data center power management in the smart grid environment [J]. IEEE Communications Surveys and Tutorials, 2014, 16(1): 214-233.

[19] KONG F, LIU X. A survey on green-energy-aware power management for datacenters [J]. ACM Computing Surveys, 2014, 47(2): 1-30.

[20] DAYARATHNA M, WEN Y, FAN R. Data center energy consumption modeling: a survey [J]. IEEE Communications Surveys and Tutorials, 2015, 17(9):1-65.

[21] HUANG Y, WANG P, XIE G H. A short list of researches in data center energy cost optimization in recent years[EB/OL]. [2015-06-12].http:∥www.qhoa.org/uploads/doc/DCCO.pdf.

[22] ZHANG W. Energy-efficient and power-dense DC-DC converters in data center and electric vehicle applications using wide bandgap devices [D]. Knoxville: The University of Tennessee, 2015.

[23] GUO Y, GONG Y, FANG Y, et al. Energy and network aware workload management for sustainable data centers with thermal storage [J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(8):2030-2042.

[24] FULPAGARE Y, BHARGAV A. Advances in data center thermal management[J]. Renewable and Sustainable Energy Reviews, 2015, 43: 981-996.

[25] LI Z, KANDLIKAR S G. Current Status and Future Trends in data-center cooling technologies [J]. Heat Transfer Engineering, 2015, 36(6): 523-538.

[26] ARGHODE V K, SUNDARALINGAM V, JOSHI Y. Airflow management in a contained cold aisle using active fan tiles for energy efficient data-center operation [J]. Heat Transfer Engineering, 2015, 37(3/4):246-256.

[27] 王鵬,黃焱,任超,等.多尺度量子諧振子高維函數全局優化算法[J].電子學報,2013,41(12)：2468-2473. WANG Peng, HUANG Yan, REN Chao, et al. Multi-scale quantum harmonic oscillator for high-dimensional function global optimization algorithm [J]. Acta Electronica Sinica, 2013, 41(12): 2468-2473.

[28] XU D, LIU X, FAN B. Minimizing energy cost for Internet-scale datacenters with dynamic traffic [C]∥ Proceedings of the IEEE 19th International Workshop on Quality of Service. San Jose: IEEE, 2011: 1-2.

[29] RAO L, LIU X, XIE L, et al. Minimizing electricity cost: optimization of distributed internet data centers in a multi-electricity-market environment [C]∥ Proceedings of the 29rd IEEE International Conference on Computer Communications. San Diego: IEEE, 2010: 1-9.

[30] FAN X, WEBER W D, BARROSO L A. Power provisioning for a warehouse-sized computer [J]. ACM SIGARCH Computer Architecture News, 2007, 35(2): 13-23.

[31] CHASE J S, ANDERSON D C, THAKAR P N, et al. Managing energy and server resources in hosting centers [J]. ACM SIGOPS Operating Systems Review, 2001, 35(5): 103-116.

[32] PINHEIRO E, BIANCHINI R, CARRERA E V, et al. Load balancing and unbalancing for power and performance in cluster-based systems [C]∥ Proceedings of the Workshop on Compilers and Operating Systems for Low Power. Barcelona: Springer, 2001: 182-195.

[33] ETINSKI M. DVFS power management in HPC systems [D]. Barcelona: Technical University of Catalonia, 2012.

[34] WANG W, ZHANG P, LAN T, et al. Datacenter net profit optimization with deadline dependent pricing [C]∥ Proceedings of the 46th Annual Conference on Information Sciences and Systems. Princeton: IEEE, 2012: 1-6.

[35] ABBASI Z, MUKHERJEE T, VARSAMOPOULOS G, et al. Dynamic hosting management of web based applications over clouds [C]∥ Proceedings of the 18th International Conference on High Performance Computing. Bengaluru: IEEE, 2011: 1-10.

[36] GU L, ZENG D, BARNAWI A, et al. Optimal task placement with QoS constraints in geo-distributed data centers using DVFS [J]. IEEE Transactions on Computers, 2015, 64(7): 2049-2059.

[37] CHIARAVIGLIO L, MATTA I. An energy-aware distributed approach for content and network management [C]∥Proceedings of the 2011 IEEE Conference on Computer Communications Workshops. Shanghai: IEEE, 2011: 337-342.

[38] ZHENG X, CAI Y. Energy-aware load dispatching in geographically located internet data centers [J]. Sustainable Computing: Informatics and Systems, 2011,1(4): 275-285.

[39] GUO Y, FANG Y, KHARGONEKAR P P. Optimal workload and energy storage management for cloud data centers [C]∥ Proceedings of the 2013 IEEE Military Communications Conference. San Diego: IEEE, 2013:1850-1855.

[40] LUO J, RAO L, LIU X. Data center energy cost minimization: a spatio-temporal scheduling approach [C]∥ Proceedings of the 32rd IEEE International Conference on Computer Communications. Turin: IEEE, 2013: 340-344.

[41] BUCHBINDER N, JAIN N, MENACHE I. Online job-migration for reducing the electricity bill in the cloud [M] ∥Networking 2011. Berlin Heidelberg: Springer, 2011: 172-185.

[42] LI J, LI Z, REN K, et al. Towards optimal electric demand management for internet data centers [J]. IEEE Transactions on Smart Grid, 2012, 3(1): 183-192.

[43] KAYAASLAN E, CAMBAZOGLU B B, BLANCO R, et al. Energy-price-driven query processing in multi-center web search engines [C]∥ Proceedings of the 34th international ACM SIGIR conference on Research and development in Information Retrieval. Beijing: ACM, 2011: 983-992.

[44] SANKARANARAYANAN A N, SHARANGI S, FEDOROVA A. Global cost diversity aware dispatch algorithm for heterogeneous data centers [J]. ACM SIGSOFT Software Engineering Notes, 2011, 36(5): 289-294.

[45] XIAO Z, SONG W, CHEN Q. Dynamic resource allocation using virtual machines for cloud computing environment [J]. IEEE Transactions on Parallel and Distributed Systems, 2013, 24(6): 1107-1117.

[46] HE Y, ELNIKETY S, LARUS J, et al. Zeta: Scheduling interactive services with partial execution [C]∥ Proceedings of the Third ACM Symposium on Cloud Computing. San Jose: ACM, 2012: 12.

[47] AKSANLI B, PETTIS E, ROSING T. Architecting efficient peak power shaving using batteries in data centers [C]∥ Proceedings of the IEEE 21th International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems. San Francisco: IEEE, 2013: 242-253.

[48] GOVINDAN S, SIVASUBRAMANIAM A, URGAONKAR B. Benefits and limitations of tapping into stored energy for datacenters [C]∥ Proceedings of the 38th Annual International Symposium on Computer Architecture. San Jose: IEEE, 2011: 341-351.

[49] BAR-NOY A, FENG Y, JOHNSON M P, et al. When to reap and when to sow-lowering peak usage with realistic batteries [M]∥ Experimental Algorithms. Berlin Heidelberg: Springer, 2008: 194-207.

[50] PALASAMUDRAM D S, SITARAMAN R K, URGAONKAR B, et al. Using batteries to reduce the power costs of internet-scale distributed networks [C]∥ Proceedings of the Third ACM Symposium on Cloud Computing. San Jose: ACM, 2012: 11.

[51] AKSANLI B, PETTIS E, ROSING T. Architecting efficient peak power shaving using batteries in data centers [C]∥ Proceedings of the IEEE 21st International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems. San Francisco: IEEE, 2013: 242-253.

[52] URGAONKAR R, URGAONKAR B, NEELY M J, et al. Optimal power cost management using stored energy in data centers [C]∥ Proceedings of the ACMSIGMETRICS 2011. San Jose: ACM, 2011: 221-232.

[53] GUO Y, FANG Y. Electricity cost saving strategy in data centers by using energy storage [J]. IEEE Transactions on Parallel and Distributed Systems, 2013,24(6): 1149-1160.

[54] JIANG T, YU L, CAO Y. Joint workload and battery scheduling for data center energy cost minimization [M]∥ Energy Management of Internet Data Centers in Smart Grid. Berlin Heidelberg: Springer, 2015: 59-78.

[55] YAO J, LIU X, ZHANG C. Predictive electricity cost minimization through energy buffering in data centers [J]. IEEE Transactions on Smart Grid, 2014, 5(1): 230-238.

[56] BROWN M, RENAU J R. Power simulation for data centers with renewable energy generation [J]. ACM SIGMETRICS Performance Evaluation Review, 2011, 39(3): 77-81.

[57] LE K, BILGIR O, BIANCHINI R, et al. Managing the cost, energy consumption, and carbon footprint of internet services [J]. ACM SIGMETRICS Performance Evaluation Review, 2010, 38(1): 357-358.

[58] ZHOU Z, LIU F, XU Y, et al. Carbon-aware load balancing for geo-distributed cloud services [C]∥ Proceedings of the IEEE 21st International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems. San Francisco: IEEE, 2013: 232-241.

[59] ZHANG Y, WANG Y, WANG X. Greenware: greening cloud-scale data centers to maximize the use of renewable energy [M]∥ Middleware 2011. Berlin Heidelberg: Springer, 2011: 143-164.

[60] BERRAL J L, GOIRI, NGUYEN T D, et al. Building green cloud services at low cost [C]∥ The 35th IEEE International Conference on Distributed Computing Systems. Columbus: IEEE, 2014: 449-460.

[61] KIANI A, ANSARI N. Toward low-cost workload distribution for integrated green data centers [J]. IEEE Communications Letters, 2015, 19(1): 26-29.

[62] ABBASI Z, PORE M, GUPTA S K S. Online server and workload management for joint optimization ofelectricity cost and carbon footprint across data centers [C]∥ The 28th IEEE International Parallel and Distributed Processing Symposium. Phoenix: IEEE, 2014: 317-326.

[63] MOHSENIAN-RAD A H, LEON-GARCIA A. Coordination of cloud computing and smart power grids [C]∥ Proceedings of the First IEEE International Conference on Smart Grid Communications. Gaitherburg: IEEE, 2010: 368-372.

[64] ZHANG Y, WANG Y, WANG X. Capping the electricity cost of cloud-scale data centers with impacts on power markets [C]∥ Proceedings of the 20th international symposium on High performance distributed computing. San Jose: ACM, 2011: 271-272.

[65] YAO J, LIU X, GU Z, et al. Online adaptive utilization control for real-time embedded multiprocessor systems [J]. Journal of Systems Architecture, 2010, 56(9): 463-473.

[66] ZHOU Z, LIU F, LI Z. Pricing bilateral electricity trade between smart grids and hybrid green datacenters [J]. ACM Sigmetrics Performance Evaluation Review, 2015, 43(1): 443-444.

[67] BOSE P, MARTONOSI M, BROOKS D. Modeling and analyzing CPU power and performance: metrics, methods, and abstractions [C]∥ Proceedings of the ACM SIGMETRICS 2001. Cambridge: ACM, 2001.

[68] WIERMAN A, LIU Z, LIU I, et al. Opportunities and challenges for data center demand response [C]∥ Proceedings of the 2014 International Green Computing Conference. Dallas: IEEE, 2014: 1-10.

[69] 葉可江,吳朝暉,姜曉紅,等.虛擬化云計算平臺的能耗管理[J].計算機學報,2012, 35(6): 1262-1285. YE Ke-jiang, WU Zhao-hui, JIANG Xiao-hong, et al. Power management of virtualized cloud computing platform [J]. Chinese Journal of Computers, 2012, 35(6): 1262-1285.

[70] GALLEGO ARRUBLA J A, KO Y M, POLANSKYR J, et al. Integrating virtualization, speed scaling, and powering on/off servers in data centers for energy efficiency [J]. IIE Transactions, 2013, 45(10): 1114-1136.

[71] KUSIC D, KEPHART J O, HANSON J E, et al. Power and performance management of virtualized computing environments via lookahead control [J]. Cluster Computing, 2009, 12(1): 1-15.

[72] KANSAL A, ZHAO F, LIU J, et al. Virtual machine power metering and provisioning [C]∥ Proceedings of the 1st ACM Symposium on Cloud Computing. Indianapolis: ACM, 2010: 39-50.

[73] JIN Y, WEN Y, CHEN Q, et al. An empirical investigation of the impact of server virtualization on energy efficiency for green data center [J]. The Computer Journal, 2013, 56(8): 977-990.

Data center energy cost optimization in smart grid: a review

HUANG Yan1,2, WANG Peng3, XIE Gao-hui4, AN Jun-xiu5

(1.ChengduInstituteofComputerApplication,ChineseAcademyofSciences,Chengdu610041,China;2.UniversityofChineseAcademyofSciences,Beijing100049,China; 3.SouthwestUniversityforNationalities,Chengdu610225,China; 4.AcademyofTechnology,GuangzhouWuzhouTechnologyCorporation,Guangzhou510000,China; 5.ChengduUniversityofInformationTechnology,Chengdu610225,China)

Electricity price varies with time and geographic position in smart grid. According to the chage of external load type and loading capacity, data center operators optimize data center energy cost, carbon emission, network cost, response time, grid stability through load distribution, node state controling and using energy storage to meet internal and external constraints. Energy structure of data center was analyzed; a basic model of data center energy cost optimization problem was proposed. Specially, a taxonomy, comparison and peroration of the latest researchs in data center energy cost optimization problem were provided from eight key perspectives: dynamic running node number adjustment, dynamic voltage and frequency scaling (DVFS), load distribution, partial execution, using uninterruptible power supply (UPS), using renewable energy, interaction with smart grid, virtualization. Further research hotspots include multi-objective optimization, data center demand response, distributed UPS, renewable energy generating plants, online algorithm, energy internet.

energy cost optimization; smart grid; load distribution; geographically distributed data centers; energy Internet

2015-11-25.

國家自然科學基金資助項目(60702075)；廣東省科技廳高新技術產業化科技攻關資助項目(2011B010200007)；四川省青年科學基金資助項目(09ZQ026-068)；成都市創新發展戰略研究資助項目(11RKYB016ZF)；四川省高校重點實驗室開放基金資助項目(MSSB-2015-9).

黃焱(1982—),男,博士生,從事智能優化算法研究. ORCID: 0000-0003-3896-5636. E-mail: hep128@qq.com 通信聯系人：王鵬,男,教授,博導. ORCID: 0000-0002-8551-921X. E-mail: yunzjs@163.com

10.3785/j.issn.1008-973X.2016.12.020

TP 393

A

1008-973X(2016)12-2386-14