基于數(shù)據(jù)挖掘的電力云資源規(guī)劃調(diào)度

龐松濤

（浪潮集團(tuán) 北京 100142）

1 引言

隨著智能電網(wǎng)的發(fā)展，區(qū)域內(nèi)各地區(qū)網(wǎng)絡(luò)連接愈加緊密，電網(wǎng)計算不但需要高性能，同時也越來越需要跨區(qū)域、跨電壓等級的協(xié)作，并共同構(gòu)建電網(wǎng)的基礎(chǔ)數(shù)據(jù)，完成各類分析計算任務(wù)。傳統(tǒng)采用各網(wǎng)省專業(yè)技術(shù)人員集中工作的方式，拼合調(diào)整形成的運行數(shù)據(jù)，缺乏協(xié)同機(jī)制，工作效率不高且數(shù)據(jù)是由各級部門分散維護(hù)，定期合并匯總，其及時性和完整性較差。而應(yīng)用電力云計算中心，可以有效實現(xiàn)全網(wǎng)數(shù)據(jù)的統(tǒng)一管理、資源的按需分配以及全局?jǐn)?shù)據(jù)的智能分析應(yīng)用等。

合理調(diào)配云計算資源可以有效地減少云計算平臺的運行成本。近年來，隨著云計算基礎(chǔ)架構(gòu)的擴(kuò)展，能源消耗問題引起越來越多的關(guān)注，據(jù)統(tǒng)計，數(shù)據(jù)中心的能耗成本占到了運維總成本的50%左右，包括電力、機(jī)房占地、帶寬等各方面。在產(chǎn)生高能耗的同時，傳統(tǒng)數(shù)據(jù)中心中80%的服務(wù)器80%的時間其CPU占有率低于20%，資源存在極大的浪費。國家電網(wǎng)已經(jīng)建立了北京亦莊、上海、陜西三大大數(shù)據(jù)中心，覆蓋了我國北方、南方以及我國西部內(nèi)陸地區(qū)，隨著國家智能電網(wǎng)與特高壓輸電工程的進(jìn)一步推進(jìn)，這些數(shù)據(jù)中心將為我國電力安全與電力信息化的長足發(fā)展奠定基礎(chǔ)。所以，實現(xiàn)數(shù)據(jù)中心的資源優(yōu)化管理，建立智慧電力云具有實際意義。基于上述原因，本文重點研究如何優(yōu)化云資源利用，動態(tài)啟動關(guān)閉虛擬設(shè)備，在不影響云服務(wù)的前提下合理提供云資源并盡可能節(jié)省電力能源消耗。

2 云資源規(guī)劃調(diào)度優(yōu)化

云計算將計算任務(wù)分布在資源池上，各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和各種軟件服務(wù)。原來的一臺物理服務(wù)器可以虛擬成多臺虛擬服務(wù)器，虛擬化后的資源變得更可量化。虛擬化技術(shù)將底層的計算資源切分或合并成多個運行環(huán)境，以軟件的方式模擬硬件，通過軟件的方式邏輯切分服務(wù)器資源，形成統(tǒng)一的虛擬資源池，創(chuàng)建虛擬機(jī)運行的獨立環(huán)境。這種邏輯結(jié)構(gòu)提供了靈活、可變、易配置、可擴(kuò)展的平臺服務(wù)，并且可以實現(xiàn)靈活有效的分布存儲和計算，從而整體上為實現(xiàn)強(qiáng)大的計算和海量數(shù)據(jù)存儲能力提供基礎(chǔ)保障。為簡化起見，本文以CPU資源作為分析探究對象。

與傳統(tǒng)方式相比，云計算已經(jīng)在更小粒度上管理分配資源，改善云資源利用及能耗，但是虛擬資源管理如果完全按照云用戶申請啟用云，還會存在大量的活動資源被閑置，資源及能耗依然還存在浪費，因為用戶對資源把握不準(zhǔn)，申請資源往往都超過實際需要。要做到更有效地利用資源，需要對云資源需求有更準(zhǔn)確的把握，并提前做好資源規(guī)劃。云計算的容量需求隨著時間的推移而逐漸增加，總需求并不是簡單地單調(diào)增加，而是存在一定程度的波動。為了盡可能避免閑置資源的浪費，同時保證云服務(wù)質(zhì)量，云資源被劃分為兩部分，第一部分稱為“周期資源”，主要是為了滿足云中心大部分資源需求，保證云中心平穩(wěn)運營，該資源需求可根據(jù)歷史數(shù)據(jù)分析找出，用于滿足云中心相對平穩(wěn)的云資源需求；第二部分資源稱為 “峰期資源”，該資源主要滿足各階段高峰資源需求。通過資源劃分，可以更加精細(xì)管理云資源，利用周期資源應(yīng)對基本需求，再根據(jù)峰值需求，動態(tài)啟用或關(guān)閉峰期資源。當(dāng)然，虛擬資源的啟用和關(guān)閉需要時間，而且資源啟動及關(guān)閉對應(yīng)用系統(tǒng)影響程度不同，所以在實際應(yīng)用中，可根據(jù)用戶應(yīng)用系統(tǒng)的實際情況，調(diào)整資源管理的時間粒度。基于數(shù)據(jù)挖掘的云資源規(guī)劃調(diào)度技術(shù)框架如圖1所示。

資源規(guī)劃調(diào)度原理步驟說明如下：

· 通過虛擬資源管理系統(tǒng)采集云資源利用的歷史數(shù)據(jù)；

·通過預(yù)處理生成預(yù)測模型可用的數(shù)據(jù)；

·利用數(shù)據(jù)挖掘技術(shù)分析資源利用規(guī)律；

· 利用分析預(yù)測的結(jié)果規(guī)劃資源需求，并區(qū)分資源周期需求和峰期需求；

·利用虛擬化管理系統(tǒng)分階段配置并啟用虛擬資源，保證在非資源高峰需求階段提供正常云服務(wù)；

· 系統(tǒng)通過虛擬管理系統(tǒng)實時/及時采集云資源利用信息；

· 當(dāng)周期云資源利用率超過指定的閾值，提前啟動規(guī)劃好的后備峰期資源，為了更好利用資源，峰期資源可根據(jù)負(fù)載的增加而逐步啟用；

·利用相關(guān)算法為新增負(fù)載分配虛擬資源。

本文在以下部分進(jìn)一步給出了實現(xiàn)方法。

3 云周期資源需求規(guī)劃方案

首先，需要盡量對云周期資源需求進(jìn)行準(zhǔn)確估計。指數(shù)平滑算法是目前常用的一種時間序列分析預(yù)測法。該方法可通過計算指數(shù)平滑值，配合一定的時間序列預(yù)測模型對某個變量的未來變化進(jìn)行預(yù)測。通過分析，把電網(wǎng)信息系統(tǒng)云資源需求分為以下組合成分。

· 長期趨勢：系統(tǒng)負(fù)載時間序列隨時間的變化具有逐漸增加的長期變化趨勢。

· 季節(jié)變動：時間序列的季節(jié)變動指其在固定時間內(nèi)呈現(xiàn)出的有規(guī)律的變動，電網(wǎng)系統(tǒng)負(fù)載的季節(jié)變動具有遞階特性，一般其變動規(guī)律可以分為周和日兩個層次。

· 不規(guī)則變動：即電網(wǎng)系統(tǒng)負(fù)載序列中由于隨機(jī)因素影響所引起的變動。

基于以上分析，參照Holt-Winters平滑算法，本文提出一個遞階成分負(fù)載模型，它可表示為：yi,j,k=wid7i+jh56i+8j+k+δ56i+8j+k(i=1,2,3,…，j=0,1,2,…,6,k=0,1,…,7)。

其中，wi代表第i周的負(fù)載量，d7i+j代表第i周的負(fù)載量在第j日的分布系數(shù)，即當(dāng)日訪問量相對于整周訪問量的百分比，h56i+8j+k代表第i周第j日的負(fù)載量在第k時段的分布系數(shù)，即該段時內(nèi)訪問量相對于整日訪問量的百分比，δ56i+8j+k代表第i周第j日第k時段的隨機(jī)擾動，其均值為零。在本文模型中，每天被分為8個時段。

根據(jù)以上資源需求的特點，wi變化將具有長期趨勢，而d7i+j與h56i+8j+k的變化則主要呈現(xiàn)季節(jié)規(guī)律。為了形象說明上述特點，給出一組虛擬負(fù)載數(shù)據(jù)及其規(guī)律分解，分別如圖2和圖3所示。

綜上所述，可以采用二次指數(shù)平滑法對周訪問量進(jìn)行預(yù)測。具體算法及推導(dǎo)如下。

令和分別代表wi的一次和二次指數(shù)平滑值，滿足：

由以上可推出：

另一方面，若以如式（3）所示的方程描述周訪問量的趨勢：

其中，ai,bi是參數(shù)變量，m是從i周開始的預(yù)測周數(shù)，則：

進(jìn)一步假定堝t1,t2＞0，使得：

因此，可利用一次指數(shù)平滑法對它們進(jìn)行預(yù)測：

其中，為d的估計值,可以取為：（i=1,2,3,…）的最小二乘均值即滿足離差的平方和Σ最小的的值。為的估計值，可以取為：的最小二乘均值即滿足離差（-56i+8j+k）的平方和最小的值。

圖2 虛擬負(fù)載數(shù)據(jù)

圖3 負(fù)載規(guī)律分解

以上估計值可保證：

4 云峰期資源需求調(diào)度方案

峰期資源主要用于“調(diào)峰”，即主要用于滿足各階段云資源的需求高峰。云虛擬機(jī)實例的啟動關(guān)閉遵循原則是：當(dāng)周期資源利用率達(dá)到給定閾值時，啟動新的虛擬機(jī)實例，而周期資源利用率少于給定閾值時，終止虛擬機(jī)實例。當(dāng)然啟動和關(guān)閉操作不能太過于頻繁，要留足夠的時間，啟停頻率可以根據(jù)實際應(yīng)用設(shè)定閾值使得頻率控制在小時級別。另外，由于增加的資源需求可能來自不同應(yīng)用、不同任務(wù)，所以也需要通過合理的算法進(jìn)行資源分配。本文采用隨機(jī)均衡策略。在此引入一個簡單模型。

首先，假定每個節(jié)點上只運行一個服務(wù)組件；每個用戶請求對應(yīng)一個組件實例，所有實例的優(yōu)先級相同；用戶請求到達(dá)時間與服務(wù)時間都滿足泊松分布；平臺因任務(wù)調(diào)度而消耗的資源可以忽略，則坌r>0，當(dāng)Δt足夠小時，任意節(jié)點正在服務(wù)的用戶數(shù)從r轉(zhuǎn)移到r-1、r、r+1的概率與單隊列單服務(wù)臺簡單服務(wù)系統(tǒng)(M/M/1)中的情況完全相同，如圖4所示。

圖4 節(jié)點狀態(tài)轉(zhuǎn)移示意

根據(jù)排隊論的研究結(jié)果推出最佳隨機(jī)均衡策略是按到達(dá)率平方根的比例把整個系統(tǒng)的冗余服務(wù)率分配到各個節(jié)點。

峰值變化對資源需求做出調(diào)整，其實時性要求相對較高，為此在虛擬資源管理監(jiān)控系統(tǒng)上運行兩個守護(hù)進(jìn)程negotiator和collector，其中collector負(fù)責(zé)收集負(fù)載及任務(wù)隊列信息，并對上述信息列表進(jìn)行周期性更新，negotiator負(fù)責(zé)新增虛擬資源的分配，同時完成以下各步工作。

（1）negotiator采集當(dāng)前資源利用信息。

（2）發(fā)現(xiàn)資源利用超過閾值時，發(fā)送資源需求到任務(wù)隊列。

（3）negotiator確定更新各資源請求任務(wù)的優(yōu)先權(quán)。優(yōu)先權(quán)隨等待排隊中的任務(wù)數(shù)增加而增加。

（4）negotiator從具有最高優(yōu)先權(quán)的資源請求開始查詢，并收集等待任務(wù)所需的資源信息。

（5）negotiator選擇滿足要求的虛擬資源，分配給需要的應(yīng)用。

negotiator將重復(fù)以上步驟，直到為所有的等待任務(wù)找到合適的虛擬資源為止。

5 實驗與小結(jié)

為了得出實驗結(jié)果，在云中心配置了一個實驗環(huán)境，該實驗環(huán)境以3臺8路服務(wù)器TS850為主，外接一個集中存儲服務(wù)器，8路服務(wù)器和集中存儲之間用SAN交換機(jī)連接。8路服務(wù)器上安裝虛擬化軟件，生成的虛擬機(jī)外掛存儲服務(wù)器上劃分的虛擬盤，最后安裝了浪潮云海OS，該軟件可以實現(xiàn)跨平臺的云資源管理及實時監(jiān)控，通過浪潮云海OS，首先對某一云中心采集了周、日的云資源運行數(shù)據(jù)，通過對周訪問量、日訪問量依次進(jìn)行不同粒度層次的平滑計算，獲得未來某個時段的負(fù)載預(yù)測值。把前3周的負(fù)載數(shù)據(jù)作為觀測值，用它們對第4、5周各個時段的負(fù)載進(jìn)行預(yù)測，并將預(yù)測結(jié)果與觀測值（實際上是根據(jù)模型產(chǎn)生的計算值）進(jìn)行比較。圖5為每周負(fù)載量及其預(yù)測值（前3周為觀測值，后2周為預(yù)測值）之間的比較，圖6和圖7分別為周負(fù)載分布、日負(fù)載分布與它們的預(yù)測值之間的比較，圖8為根據(jù)模型產(chǎn)生的附載計算值與按照上述方法得出的負(fù)載預(yù)測值之間的比較。

相比Holt-Winters平滑算法，本文針對電力系統(tǒng)負(fù)載的特點，將每一個層次的變化規(guī)律分而治之，不僅能夠充分反映負(fù)載變化規(guī)律的遞階循環(huán)特性，預(yù)測過程也比較簡單，每一個層次只需確定一個α參數(shù)。

另外，在峰期資源調(diào)度上，在云海OS的技術(shù)上增加服務(wù)節(jié)點控制與狀態(tài)信息收集器。該服務(wù)由一個主控臺和一個后臺探測器線程組成，服務(wù)對象/組件列表放在negotiator中，并通過浪潮云海OS對上述列表進(jìn)行操縱，從而實現(xiàn)對各節(jié)點上的服務(wù)器 （包括云端的虛擬服務(wù)器）進(jìn)行激活（activate）、去活（deactivate）等控制。在實驗環(huán)境中，雖然可以根據(jù)服務(wù)任務(wù)需求的情況自動啟動或關(guān)閉資源，但是該資源調(diào)度還需要和實際應(yīng)用相結(jié)合，可以針對具體應(yīng)用，進(jìn)一步實驗得出合理的資源啟動關(guān)閉頻率。

圖5 周負(fù)載量及其預(yù)測值

圖6 周負(fù)載在各日的分布及其預(yù)測

圖7 日負(fù)載在各時段的分布及其預(yù)測

圖8 虛擬負(fù)載計算值及其預(yù)測值

總之，傳統(tǒng)通過用戶對資源的需求來開啟云計算資源的方式在資源利用上還是比較浪費，通過實驗結(jié)果得出，對云資源利用的歷史數(shù)據(jù)進(jìn)行挖掘，找出云資源的利用規(guī)律，不僅可以實現(xiàn)按需分配資源，進(jìn)一步可以更好地做到按需開啟關(guān)閉峰期資源，從而更好地實現(xiàn)云資源的充分利用，建立生態(tài)云數(shù)據(jù)中心。由于電力系統(tǒng)對云的資源需求有比較明顯的規(guī)律，所以通過數(shù)據(jù)挖掘，資源預(yù)測及規(guī)劃相對比較準(zhǔn)確。為此，給大規(guī)模電力云數(shù)據(jù)中心帶來的經(jīng)濟(jì)效益會更加明顯。

1 張大華，丁輝，吳向陽等.面向智能電網(wǎng)的電力云計算架構(gòu).電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集,北京，中國，2011

Zhang D H,Ding H,Wu X Y,et al.Cloud computing architecture for smart grid.Proceedings of Electric Power Communication Management and Smart Grid Communications Technology Forum,Beijing,China,2011

2 王利賽，楊明玉，孫月琴等.電力云研究綜述.電力信息化，2011(5)

Wang L S,Yang M Y,Sun Y Q,et al.Summary research on electric powercloud computing.ElectricPowerInformation Technology,2011(5)

3 王鵬.云計算的關(guān)鍵技術(shù)與應(yīng)用實例.北京:人民郵電出版社,2010

Wang P.Examples of key techniques and application on cloud computing.Beijing:Posts and Telecom Press,2010

4 徐國祥.統(tǒng)計預(yù)測和決策.上海:上海財經(jīng)大學(xué)出版社,2011

Xu G X.Statistical forecast and decision making.Shanghai:Shanghai University of Finance and Economics Press,2011

5 陸傳賚.排隊論.北京：北京郵電大學(xué)出版社,2009

Lu C L.Queuing Theory.Beijing:Beijing University of Posts and Telecommunications Press,2009

6 Kalekar S P.Time series forecasting using holt-winters exponential smoothing.Kanwal Rekhi School of Information Technology Tech Rep,2004

7 Dostal Z.Optimal Quadratic Programming Algorithms:With Application to Variations to Variational Inequalities.New York:Springer,2009

8 Jiang Y,Perng S C,Li T,et al.ASAP:a self-adaptive prediction system for instant cloud resource demand provisioning.Proceedings of ICDM,Vancouver,Canada,2011

9 楊巨龍.大數(shù)據(jù)技術(shù)全解.北京：電子工業(yè)出版社,2014.

Yang JL.Big Data Technology Entire Solution.Beijing:Publishing House of Electronics Industry,2014

10 蘇躍進(jìn),韓英杰.基于分布式電站群的智能數(shù)據(jù)分析中心建設(shè)與實踐.電信科學(xué),2013(11):122～126

Su Y J,Han Y J.Construction and practice of intelligent data analysis center based on distributed power plant.Telecommunications Science,2013（11）:122～126

11 耿亮,吳燕,孟憲楠.電力數(shù)據(jù)挖掘在電網(wǎng)內(nèi)部及各領(lǐng)域間的應(yīng)用.電信科學(xué),2013（11）:127～130

Geng L,Wu Y,Meng X N.Application of power data mining within and between grid fields.Telecommunications Science,2013（11）:127～130

12 趙云山,劉煥煥.大數(shù)據(jù)技術(shù)在電力行業(yè)的應(yīng)用研究.電信科學(xué),2014（1）:57～62

Zhao Y S,Liu H H.Research on application of big data technique in electricity powerindustry.Telecommunications Science,2014（1）:57～62

13 黃章樹,劉晴晴.基于云計算服務(wù)模式的數(shù)據(jù)挖掘應(yīng)用平臺的構(gòu)建.電信科學(xué),2012（1）:53～57

Huang Z S,Liu Q Q.Construction of data mining application platform based on the service models of cloud computing.Telecommunications Science,2012（1）:53～57