基于壓縮動(dòng)量項(xiàng)的增量型ELM虛擬機(jī)能耗預(yù)測(cè)

鄒偉東 夏元清

隨著計(jì)算機(jī)網(wǎng)絡(luò)、物聯(lián)網(wǎng)和智能技術(shù)的發(fā)展,科技社會(huì)獲得的數(shù)據(jù)呈爆炸式增長(zhǎng).數(shù)據(jù)量巨大性給數(shù)據(jù)的處理和轉(zhuǎn)移應(yīng)用分析帶來(lái)了諸多挑戰(zhàn).云計(jì)算能按需分配計(jì)算資源,是一種很好的大數(shù)據(jù)解決方案,同時(shí)云計(jì)算是推動(dòng)信息技術(shù)能力實(shí)現(xiàn)按需供給、促進(jìn)信息技術(shù)和數(shù)據(jù)資源充分利用的全新業(yè)態(tài),是信息化發(fā)展的重大變革和必然趨勢(shì)[1?2].虛擬化技術(shù)是云計(jì)算的關(guān)鍵使能技術(shù),利用虛擬化技術(shù)將大量的物理服務(wù)器資源轉(zhuǎn)換為可靈活按需分配的虛擬資源.精準(zhǔn)的估計(jì)與預(yù)測(cè)虛擬機(jī)能耗不但可以優(yōu)化云計(jì)算計(jì)費(fèi)方式,而且可改善虛擬機(jī)遷移調(diào)度策略,提高云計(jì)算能耗效率,進(jìn)一步降低云服務(wù)提供商的能耗花費(fèi)[3].云服務(wù)提供商可根據(jù)準(zhǔn)確的虛擬機(jī)能耗預(yù)測(cè)設(shè)計(jì)高效的定價(jià)策略與計(jì)費(fèi)方法,為消費(fèi)者提供更多的優(yōu)惠措施,避免了因定價(jià)高而致使消費(fèi)者流失,促使云計(jì)算的服務(wù)模式獲得長(zhǎng)足的發(fā)展.

虛擬機(jī)能耗模型具有非線性、強(qiáng)耦合和時(shí)變性的特征,物理服務(wù)器的負(fù)載、CPU利用率和內(nèi)存利用率都會(huì)對(duì)虛擬機(jī)能耗預(yù)測(cè)產(chǎn)生重要影響,因此,它的預(yù)測(cè)模型難以通過(guò)機(jī)理法用簡(jiǎn)單的數(shù)學(xué)公式或傳遞函數(shù)進(jìn)行描述[4?5].當(dāng)前伴隨人工智能技術(shù)的快速發(fā)展,研究人員利用人工智能技術(shù)解決虛擬機(jī)能耗預(yù)測(cè)的相關(guān)問(wèn)題,其中基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法在虛擬機(jī)能耗預(yù)測(cè)中的應(yīng)用尤其突出.神經(jīng)網(wǎng)絡(luò)能加快計(jì)算速度,可利用有限的參數(shù)描述較為復(fù)雜的系統(tǒng).神經(jīng)網(wǎng)絡(luò)建模相對(duì)于機(jī)理建模方法的主要優(yōu)點(diǎn)是無(wú)需具體的數(shù)學(xué)公式[6],更適用于長(zhǎng)期預(yù)測(cè),它能更靈活地獲取虛擬機(jī)能耗參數(shù)和非線性特性,使得神經(jīng)網(wǎng)絡(luò)對(duì)虛擬機(jī)能耗建模更具有吸引力.鑒于神經(jīng)網(wǎng)絡(luò)在建模中的優(yōu)勢(shì),其在虛擬機(jī)能耗建模中的應(yīng)用越來(lái)越廣泛.

唐軼軒等[7]首先利用支持向量機(jī)(Support vector machine,SVM)建立虛擬機(jī)能耗與內(nèi)存利用率、CPU利用率之間的模型,在結(jié)合待部署虛擬機(jī)的資源需求的基礎(chǔ)上,利用所建立的模型進(jìn)行虛擬機(jī)能耗預(yù)測(cè),降低了數(shù)據(jù)中心能耗.Xu等[8]在深入研究多個(gè)虛擬機(jī)環(huán)境中物理服務(wù)器負(fù)載對(duì)虛擬機(jī)負(fù)載的影響分析基礎(chǔ)上,提出了基于RBF(Radial basis function)神經(jīng)網(wǎng)絡(luò)的虛擬機(jī)能耗預(yù)測(cè)模型,根據(jù)實(shí)驗(yàn)結(jié)果可知,基于RBF神經(jīng)網(wǎng)絡(luò)的虛擬機(jī)能耗預(yù)測(cè)模型的性能優(yōu)于分段線性回歸等預(yù)測(cè)模型.趙雅倩[9]利用模糊神經(jīng)網(wǎng)絡(luò)構(gòu)建虛擬機(jī)能耗預(yù)測(cè)模型,可有效避免硬閾值分區(qū)間模擬所產(chǎn)生的誤差,同時(shí)可以更好模擬虛擬機(jī)能耗與各相關(guān)參數(shù)之間的非線性關(guān)系.為了有效地降低云資源浪費(fèi)和提高云計(jì)算系統(tǒng)利用率,賈炅昊等[10]提出利用馬爾科夫模型對(duì)虛擬機(jī)能耗進(jìn)行建模.但支持向量機(jī)(SVM)、BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)等傳統(tǒng)神經(jīng)網(wǎng)絡(luò)需人為設(shè)定許多的神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù),以迭代的方式更新參數(shù),容易陷入局部?jī)?yōu)化,導(dǎo)致網(wǎng)絡(luò)訓(xùn)練誤差較大.

近年來(lái),增量型極限學(xué)習(xí)機(jī)(Incremental Extreme Learning Machine,I-ELM)[11]在機(jī)器學(xué)習(xí)中備受青睞,其原因在于增量型極限學(xué)習(xí)機(jī)的算法步驟少,不需要迭代更新一些神經(jīng)網(wǎng)絡(luò)參數(shù),學(xué)習(xí)速度非常快,并且不會(huì)產(chǎn)生局部最優(yōu)解,具有良好的泛化性能,有效地克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)所存在的諸多缺陷,充分發(fā)揮了其在機(jī)器學(xué)習(xí)中的巨大優(yōu)勢(shì),也促進(jìn)了人工智能的進(jìn)一步發(fā)展[12?13].I-ELM 采用增量式算法自適應(yīng)地選取隱含層節(jié)點(diǎn),在算法迭代過(guò)程中隨機(jī)產(chǎn)生隱含層節(jié)點(diǎn)參數(shù),利用最小二乘法計(jì)算其所對(duì)應(yīng)的輸出權(quán)值.盡管算法實(shí)現(xiàn)簡(jiǎn)單,但是增量型極限學(xué)習(xí)機(jī)中存在輸出權(quán)值較小的隱含層節(jié)點(diǎn),導(dǎo)致許多隱含層節(jié)點(diǎn)對(duì)最終網(wǎng)絡(luò)輸出起到的作用很小[14].大量冗余的隱含層節(jié)點(diǎn)只能增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性,降低學(xué)習(xí)效率;同時(shí),由于收斂速率較低,增量型極限學(xué)習(xí)機(jī)通常需要更多的隱含層節(jié)點(diǎn),有時(shí)甚至超過(guò)學(xué)習(xí)樣本的數(shù)量[15?16],因此研究高效的預(yù)測(cè)方法對(duì)虛擬機(jī)能耗預(yù)測(cè)具有十分重要的意義.

針對(duì)上述問(wèn)題,本文對(duì)增量型極限學(xué)習(xí)機(jī)進(jìn)行改進(jìn),通過(guò)計(jì)算每一個(gè)隱含層節(jié)點(diǎn)的網(wǎng)絡(luò)輸出誤差,構(gòu)造合適的壓縮動(dòng)量項(xiàng),構(gòu)建基于壓縮動(dòng)量項(xiàng)的增量型極限學(xué)習(xí)機(jī)模型,實(shí)現(xiàn)對(duì)虛擬機(jī)能耗的精確預(yù)測(cè),能夠有效提高預(yù)測(cè)精度和效率.

1 基于核函數(shù)的極限學(xué)習(xí)機(jī)

2012年,在深入研究支持向量機(jī)的基礎(chǔ)上,Huang等將核函數(shù)引入到極限學(xué)習(xí)機(jī)中(Kernel ELM,KELM)[17],獲取最小平方優(yōu)化解,使得極限學(xué)習(xí)機(jī)具有更穩(wěn)定的泛化性能.該算法適用于當(dāng)研究人員無(wú)法了解隱含層與輸入層之間映射關(guān)系的時(shí)候,研究人員僅需了解一個(gè)核函數(shù)便可構(gòu)造一個(gè)極限學(xué)習(xí)機(jī).KELM 的計(jì)算步驟可歸納為:給定一個(gè)含有N個(gè)樣本的訓(xùn)練集合{(xi,tk)|xi∈Rn,tk∈Rm,i,k=1,2,···,N},確定核函數(shù)K(xi,xj),計(jì)算輸出方程:

式中,C為正則化系數(shù).

2 寬度學(xué)習(xí)系統(tǒng)

針對(duì)深度學(xué)習(xí)算法存在的訓(xùn)練時(shí)間長(zhǎng)、難以收斂等問(wèn)題,Chen等提出了寬度學(xué)習(xí)系統(tǒng)(Broad learning system,BLS)[18].BLS方法利用稀疏自動(dòng)編碼器產(chǎn)生最優(yōu)的輸入權(quán)值矩陣,對(duì)輸入樣本進(jìn)行線性變換后形成特征節(jié)點(diǎn),再對(duì)特征節(jié)點(diǎn)經(jīng)過(guò)激勵(lì)函數(shù)非線性變換后獲得增強(qiáng)節(jié)點(diǎn).通過(guò)合并增強(qiáng)節(jié)點(diǎn)輸出與特征節(jié)點(diǎn)輸出形成BLS的輸出矩陣,利用嶺回歸廣義逆直接計(jì)算輸出權(quán)值矩陣.BLS的計(jì)算步驟可歸納為:給定一個(gè)含有N個(gè)樣本的訓(xùn)練集合{(X,Y)|X∈RN×M, YY∈RN×Q},其中X為輸入樣本,Y為輸出樣本,N為樣本個(gè)數(shù),M為每一個(gè)輸入樣本的特征維數(shù),Q為每一個(gè)輸出樣本的特征維數(shù).假設(shè)BLS網(wǎng)絡(luò)結(jié)構(gòu)中包含s個(gè)特征節(jié)點(diǎn)和z個(gè)增強(qiáng)節(jié)點(diǎn),則特征節(jié)點(diǎn)輸出與增強(qiáng)節(jié)點(diǎn)輸出分別表示為式(4)和式(5):

式中,λ為正則化系數(shù).

3 增量型極限學(xué)習(xí)機(jī)

增量型極限學(xué)習(xí)機(jī)通常是從一個(gè)規(guī)模比較小的神經(jīng)網(wǎng)絡(luò)開(kāi)始,根據(jù)誤差大小向網(wǎng)絡(luò)中逐個(gè)增加隱含層節(jié)點(diǎn),利用最小二乘法計(jì)算所增加的隱含層節(jié)點(diǎn)的輸出權(quán)值,進(jìn)而計(jì)算網(wǎng)絡(luò)訓(xùn)練誤差,直至達(dá)到最大隱含層節(jié)點(diǎn)數(shù)或者網(wǎng)絡(luò)的期望誤差時(shí)停止增加隱含層節(jié)點(diǎn).

I-ELM算法的迭代公式可表示為:

式中,gn(x)表示在第n步神經(jīng)網(wǎng)絡(luò)新增加的隱含層節(jié)點(diǎn)輸出,連接第n個(gè)新增隱含層節(jié)點(diǎn)與輸出層的權(quán)值可表示為:

I-ELM算法流程:

第1步,神經(jīng)網(wǎng)絡(luò)初始化階段:令L=0,初始網(wǎng)絡(luò)誤差為E=T,其中T=[t1,t2,···,tN]T;

第2步,神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段:

當(dāng)L?時(shí),

1)增加一個(gè)隱含層節(jié)點(diǎn):L←L+1;

2)隨機(jī)產(chǎn)生新增隱含層節(jié)點(diǎn)的輸入權(quán)值和閾值(aL,bL);

4)計(jì)算神經(jīng)網(wǎng)絡(luò)在增加了第L個(gè)隱含層節(jié)點(diǎn)后的誤差:E←E?βL·gL;

結(jié)束.

4 基于壓縮動(dòng)量項(xiàng)的增量型極限學(xué)習(xí)機(jī)

4.1 基于壓縮動(dòng)量項(xiàng)的增量型極限學(xué)習(xí)機(jī)的拓?fù)浣Y(jié)構(gòu)

如圖1所示,為了改進(jìn)增量型極限學(xué)習(xí)機(jī)的收斂速度和泛化性能,在原拓?fù)浣Y(jié)構(gòu)的的基礎(chǔ)上引入壓縮動(dòng)量項(xiàng),優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),提高網(wǎng)絡(luò)學(xué)習(xí)效率.

圖1中,x為輸入變量,y為目標(biāo)輸出變量,an和bn分別表示第n個(gè)隱含層節(jié)點(diǎn)的輸入權(quán)值和閾值,βn表示第n個(gè)隱含層節(jié)點(diǎn)的輸出權(quán)值,gn(an,x bn)表示第n個(gè)加法型或RBF型隱含層節(jié)點(diǎn)的輸出,fn?1表示當(dāng)前包含n?1個(gè)隱含層節(jié)點(diǎn)的網(wǎng)絡(luò)輸出,en?1=y?fn?1表示當(dāng)前包含n?1個(gè)隱含層節(jié)點(diǎn)的網(wǎng)絡(luò)訓(xùn)練誤差,αn?1為第n個(gè)隱含層節(jié)點(diǎn)的壓縮因子.

圖1 基于壓縮動(dòng)量項(xiàng)的增量型極限學(xué)習(xí)機(jī)拓?fù)浣Y(jié)構(gòu)圖Fig.1 Topological structure of CDAI-ELM

4.2 基于壓縮動(dòng)量項(xiàng)的增量型極限學(xué)習(xí)機(jī)的收斂性分析和證明

式中,en為在訓(xùn)練中由于增加了第n個(gè)隱含層節(jié)點(diǎn)而引入的網(wǎng)絡(luò)訓(xùn)練誤差,其表達(dá)了當(dāng)網(wǎng)絡(luò)中僅有n個(gè)隱含層節(jié)點(diǎn)時(shí),網(wǎng)絡(luò)產(chǎn)生的輸出fn與樣本給定的理想輸出之間的差值.

證明.根據(jù)定理1的假設(shè)條件可知,當(dāng)n=1時(shí),可得:

4.3 基于壓縮動(dòng)量項(xiàng)的增量型極限學(xué)習(xí)機(jī)的學(xué)習(xí)步驟

如圖2所示,基于壓縮動(dòng)量項(xiàng)的增量型極限學(xué)習(xí)機(jī)與其他增量型極限學(xué)習(xí)機(jī)算法的區(qū)別在于在其模型和訓(xùn)練過(guò)程中引入壓縮動(dòng)量項(xiàng),進(jìn)一步加快網(wǎng)絡(luò)的收斂速度,提高網(wǎng)絡(luò)的泛化性能,訓(xùn)練步驟如圖2所示.

5 實(shí)驗(yàn)分析

5.1 基于壓縮動(dòng)量項(xiàng)的增量型極限學(xué)習(xí)機(jī)的收斂速度和泛化性能分析

圖2 基于壓縮動(dòng)量項(xiàng)的增量型極限學(xué)習(xí)機(jī)算法流程圖Fig.2 Flow diagrams of algorithm for CDAI-ELM

針對(duì)每一個(gè)回歸問(wèn)題,每一種測(cè)試算法均取相同的期望精度,所有測(cè)試算法中最大隱含層節(jié)點(diǎn)數(shù)為300,EM-ELM算法中初始隱含層節(jié)點(diǎn)數(shù)是1,且在迭代運(yùn)算過(guò)程中每次僅增加1個(gè)隱含層節(jié)點(diǎn).所有回歸問(wèn)題的測(cè)試數(shù)據(jù)均來(lái)自于KDD數(shù)據(jù)庫(kù)[21],相關(guān)測(cè)試數(shù)據(jù)的信息如表1所示.所有測(cè)試實(shí)驗(yàn)均在Matlab 2014a環(huán)境中運(yùn)行,最后的測(cè)試結(jié)果取200次實(shí)驗(yàn)結(jié)果的平均值.最好的實(shí)驗(yàn)結(jié)果均用粗體標(biāo)注,相近的實(shí)驗(yàn)結(jié)果均用下劃線標(biāo)明.

表1 回歸數(shù)據(jù)集Table 1 Datasets of regression

在表2中,在相同期望精度的情況下,當(dāng)訓(xùn)練精度提高時(shí),所需要的隱含層節(jié)點(diǎn)數(shù)也隨之增多,神經(jīng)網(wǎng)絡(luò)的泛化性能也隨之提升,但是當(dāng)隱含層節(jié)點(diǎn)數(shù)到達(dá)一定程度后,神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得復(fù)雜,其泛化性能并未提升,將當(dāng)前的精度作為期望精度.從表2可知,對(duì)所有的回歸問(wèn)題,CDAI-ELM 算法所需要的隱含層節(jié)點(diǎn)數(shù)方差均為最小的,但I(xiàn)-ELM算法所需要的隱含層節(jié)點(diǎn)數(shù)方差均為最多的.在不同的回歸問(wèn)題中,I-ELM算法所需要的隱含層節(jié)點(diǎn)數(shù)方差是CDAI-ELM算法的數(shù)十倍,CDAI-ELM算法所需要的隱含層節(jié)點(diǎn)數(shù)方差均小于CI-ELM算法和EM-ELM算法,在表2中由粗體標(biāo)注,這也說(shuō)明了CDAI-ELM算法可獲得更穩(wěn)定且更緊湊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).

如表 3所示,在 10個(gè)回歸問(wèn)題中,除了BlogFeedback和wiki4HE兩個(gè)例子中EM-ELM算法的測(cè)試誤差比CDAI-ELM 算法小,Housing、NoisyOffice、SML2010和 Facebook metrics 4個(gè)例子中CDAI-ELM算法與EM-ELM算法的測(cè)試誤差比較接近外,其余例子中CDAI-ELM 算法的測(cè)試誤差均為最小,這也說(shuō)明了CDAI-ELM算法具有較好的泛化性能.

如表4所示,在10個(gè)回歸問(wèn)題中,除Noisy-Office,wiki4HE和UJIIndoorLoc三個(gè)例子中CI-ELM算法的訓(xùn)練時(shí)間比CDAI-ELM 算法短,Housing在CDAI-ELM算法與CI-ELM算法所用訓(xùn)練時(shí)間接近,其余例子中CDAI-ELM 算法的訓(xùn)練時(shí)間均為最小,這也說(shuō)明了CDAI-ELM 算法可更快地確定最優(yōu)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).

5.2 虛擬機(jī)能耗預(yù)測(cè)實(shí)驗(yàn)分析

本文使用一臺(tái)戴爾PowerEdge T640塔式服務(wù)器進(jìn)行實(shí)驗(yàn)仿真.該服務(wù)器包含2個(gè)Xeon Silver 4114的標(biāo)配CPU,64GB內(nèi)存和120TB硬盤(pán)空間,服務(wù)器的操作系統(tǒng)為CentOS 7.5.利用KVM虛擬化技術(shù)在服務(wù)器上創(chuàng)建了具有相同配置的5臺(tái)虛擬機(jī),具體配置為單核Xeon Silver 4114 CPU,8GB內(nèi)存和100GB硬盤(pán)空間.

表2 相同期望誤差下4種算法隱含層節(jié)點(diǎn)數(shù)方差的比較Table 2 Variance of number of hidden layer node for four algorithms under same expected error

表3 4種算法的測(cè)試誤差和方差比較Table 3 Comparison result of testing error and variance for four algorithms

表4 4種算法訓(xùn)練時(shí)間的比較(s)Table 4 Comparison result of training time for four algorithms(s)

5.3 評(píng)價(jià)指標(biāo)

本文選取模型有效性MV、均方根誤差(Root mean square error,RMSE)、平均絕對(duì)誤差(Mean absolute error,MAE)、相對(duì)百分誤差(Mean absolution percent error,MAPE)和皮爾遜相關(guān)系數(shù)(Pearson correlation coefficients,PCCs)作為衡量預(yù)測(cè)模型的泛化性能與精度的評(píng)價(jià)指標(biāo)[22?24].

均方根誤差RMSE可表示為:

模型有效性MV可表示為:

平均絕對(duì)誤差MAE可表示為:

相對(duì)百分誤差MAPE可表示為:

皮爾遜相關(guān)系數(shù)PCCs可表示為:

式中,yj為預(yù)測(cè)模型輸出值,為預(yù)測(cè)模型輸出值的平均值,j為真實(shí)值,為真實(shí)值的平均值,K為樣本數(shù).均方根誤差RMSE、平均絕對(duì)誤差MAE和相對(duì)百分誤差MAPE的大小反應(yīng)了預(yù)測(cè)模型輸出曲線在真實(shí)曲線上的波動(dòng)情況,模型有效性MV和皮爾遜相關(guān)系數(shù)PCCs反應(yīng)了預(yù)測(cè)模型輸出與真實(shí)值的誤差相對(duì)于真實(shí)值的離散程度.

5.4 預(yù)測(cè)結(jié)果分析

為了驗(yàn)證本文所提算法的有效性,采用支持向量機(jī)(SVM)、基于核函數(shù)的極限學(xué)習(xí)機(jī)(KELM)、寬度學(xué)習(xí)系統(tǒng)(BLS)和基于壓縮動(dòng)量項(xiàng)的增量型極限學(xué)習(xí)機(jī)(CDAI-ELM)分別對(duì)虛擬機(jī)能耗數(shù)據(jù)進(jìn)行建模預(yù)測(cè).CDAI-ELM算法選用Sigmoid函數(shù)作為隱含層激勵(lì)函數(shù),隱含層節(jié)點(diǎn)參數(shù)(a b)服從一致分布,從[?1,1]d×[?1,1]中隨機(jī)選取,最大隱含層節(jié)點(diǎn)數(shù)為300.選取RBF函數(shù)作為SVM和KELM的核函數(shù),即K(xi,xj)=e?γkxi?xjk2,核函數(shù)參數(shù)和誤差懲罰參數(shù)分別取值為γSVM=2?0.3、CSVM=21.1、γKELM=23、CKELM=25.寬度學(xué)習(xí)算法選用雙曲正切函數(shù)作為增強(qiáng)節(jié)點(diǎn)的激勵(lì)函數(shù),特征節(jié)點(diǎn)數(shù)和增強(qiáng)節(jié)點(diǎn)數(shù)分別為50和10,收斂系數(shù)和正則化系數(shù)分別為0.1和0.02.

從圖3和4可知,基于CDAI-ELM 的能耗預(yù)測(cè)模型精度與其他模型相比有較大的改進(jìn).與BLS、SVM 和 KELM 相比之下,基于 CDAIELM 的能耗預(yù)測(cè)模型的均方根誤差分別減小了14.987、10.8682、14.9334,模型有效性分別提高了0.161049、0.192734、0.191137,平均絕對(duì)誤差分別減少了11.99114、9.187067、13.20551,相對(duì)百分誤差分別減少了5.816683%、4.478663%、6.377395%,皮爾遜相關(guān)系數(shù)分別提高了0.275662、0.104929、0.310567.根據(jù)表5可知,SVM模型的訓(xùn)練時(shí)間均大于其他模型,KELM模型訓(xùn)練時(shí)間與BLS模型接近,而CDAI-ELM 模型訓(xùn)練時(shí)間僅需0.5772s,均優(yōu)于其他模型,其原因在于輸入數(shù)據(jù)經(jīng)過(guò)隱含層的特征映射后,根據(jù)每一個(gè)隱含層節(jié)點(diǎn)的網(wǎng)絡(luò)輸出誤差構(gòu)造合適的壓縮動(dòng)量項(xiàng),隱含層輸出矩陣的規(guī)模均小于其他算法,致使算法的計(jì)算復(fù)雜度降低,網(wǎng)絡(luò)訓(xùn)練時(shí)間變短.根據(jù)圖3和4及表5可知,BLS模型、SVM 模型和KELM 模型訓(xùn)練時(shí)間均大于CDAI-ELM模型,且對(duì)虛擬機(jī)能耗數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí)效果較差,預(yù)測(cè)誤差較大,而CDAI-ELM模型對(duì)虛擬機(jī)能耗數(shù)據(jù)進(jìn)行預(yù)測(cè)準(zhǔn)確度較高,預(yù)測(cè)誤差小,收斂速度快,說(shuō)明CDAI-ELM 模型對(duì)虛擬機(jī)能耗進(jìn)行模擬預(yù)測(cè)是行之有效的.

圖3 基于SVM、KELM、BLS和CDAI-ELM的虛擬機(jī)能耗預(yù)測(cè)曲線Fig.3 Predicted curve for power of virtual machine based on SVM、KELM、BLS和CDAI-ELM

圖4 4種模型預(yù)測(cè)結(jié)果Fig.4 Predicted results of four models

表5 4種模型訓(xùn)練時(shí)間(s)Table 5 Training time of four models(s)

6 結(jié)論

本文分析了國(guó)內(nèi)外虛擬機(jī)能耗預(yù)測(cè)和增量型極限學(xué)習(xí)機(jī)的研究進(jìn)展,針對(duì)增量型極限學(xué)習(xí)機(jī)因存在大量冗余節(jié)點(diǎn),致使網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,降低網(wǎng)絡(luò)收斂速度,通過(guò)引入壓縮動(dòng)量項(xiàng)優(yōu)化增量型極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu),提出了基于壓縮動(dòng)量項(xiàng)的增量型ELM虛擬機(jī)能耗預(yù)測(cè)方法,實(shí)現(xiàn)了對(duì)虛擬機(jī)能耗的高效精準(zhǔn)預(yù)測(cè).然而本文僅針對(duì)5個(gè)虛擬機(jī)進(jìn)行預(yù)測(cè)建模,如何對(duì)大規(guī)模的虛擬機(jī)集群進(jìn)行預(yù)測(cè)建模,仍需進(jìn)一步進(jìn)行實(shí)驗(yàn)驗(yàn)證.