小樣本負(fù)載序列的結(jié)構(gòu)化預(yù)測(cè)方法

劉春紅，張志華，焦 潔，程 渤

1.河南師范大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，河南 新鄉(xiāng)453007

2.智慧商務(wù)與物聯(lián)網(wǎng)技術(shù)河南省工程實(shí)驗(yàn)室，河南 新鄉(xiāng)453007

3.北京郵電大學(xué) 網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京100876

云計(jì)算是一種按需付費(fèi)的計(jì)算范式，對(duì)提高云平臺(tái)資源利用率、降低用戶成本具有重要的作用。彈性資源管理是云平臺(tái)實(shí)現(xiàn)按需服務(wù)的關(guān)鍵，基于負(fù)載預(yù)測(cè)的自動(dòng)伸縮技術(shù)被經(jīng)常用于彈性資源管理中，以實(shí)現(xiàn)資源的動(dòng)態(tài)提供和釋放。因負(fù)載預(yù)測(cè)的結(jié)果為系統(tǒng)提供決策依據(jù)，故如何構(gòu)建準(zhǔn)確性高、時(shí)效性強(qiáng)的負(fù)載預(yù)測(cè)模型，成為當(dāng)前云平臺(tái)彈性資源管理需要解決的關(guān)鍵問(wèn)題。

目前，負(fù)載預(yù)測(cè)方法成為云計(jì)算研究的熱點(diǎn)，取得了一些研究成果。常見(jiàn)的有采用傳統(tǒng)的時(shí)間序列預(yù)測(cè)模型和當(dāng)前流行的機(jī)器學(xué)習(xí)模型等，這些方法利用單個(gè)負(fù)載序列的歷史信息構(gòu)建預(yù)測(cè)模型，或者建立多元負(fù)載序列預(yù)測(cè)模型，并取得了較好預(yù)測(cè)效果。然而大規(guī)模云平臺(tái)許多任務(wù)的運(yùn)行周期都相對(duì)較短，本文將任務(wù)的運(yùn)行時(shí)長(zhǎng)較短的視為小樣本負(fù)載序列，由于其具有歷史數(shù)值少的特點(diǎn)，這使得任務(wù)負(fù)載序列提供建模的先驗(yàn)信息較少，導(dǎo)致現(xiàn)有負(fù)載預(yù)測(cè)方法的性能受到影響，因此如何從短負(fù)載序列中獲取更多有價(jià)值的信息，成為提高預(yù)測(cè)模型性能的挑戰(zhàn)。

由于云平臺(tái)中每個(gè)虛擬機(jī)（virtual machine，VM）上運(yùn)行著多種應(yīng)用程序，每個(gè)應(yīng)用程序在運(yùn)行過(guò)程中需要同時(shí)消耗各種資源（如CPU、內(nèi)存、磁盤(pán)、I/O），以保證程序的正常執(zhí)行。圖1 表明了消耗的多種負(fù)載序列之間存在內(nèi)在的相關(guān)性。因此，為解決上述問(wèn)題，本文從多維負(fù)載間關(guān)系出發(fā)，提出多變量負(fù)載序列結(jié)構(gòu)化預(yù)測(cè)方法（structured prediction of multivariable workload sequences，SP-MWS）。該方法的核心在于利用多維負(fù)載類型之間的結(jié)構(gòu)化信息，提高小樣本數(shù)據(jù)的預(yù)測(cè)精度，并實(shí)現(xiàn)多種類型負(fù)載的同時(shí)預(yù)測(cè)。首先，采用MIC 和信息熵進(jìn)行負(fù)載類型的度量，選擇相關(guān)性強(qiáng)的負(fù)載類型；然后，將相關(guān)負(fù)載序列同時(shí)輸入到TNR-MTL（trace-norm regularization multi-task learning）模型，實(shí)現(xiàn)結(jié)構(gòu)化信息的挖掘，并完成多種負(fù)載的同步預(yù)測(cè)。同時(shí)從可解釋性角度對(duì)預(yù)測(cè)模型的決策依據(jù)進(jìn)行分析，得出每種變量對(duì)預(yù)測(cè)模型的貢獻(xiàn)度。所提方法的創(chuàng)新性在于，將任務(wù)運(yùn)行過(guò)程中使用的多維資源間的內(nèi)在聯(lián)系引入到預(yù)測(cè)模型中，實(shí)現(xiàn)信息共享，有效彌補(bǔ)了小樣本數(shù)據(jù)信息不足的缺陷，提高了模型的預(yù)測(cè)性能。

圖1 VM中的各種資源Fig. 1 Various resources in VM

1 相關(guān)工作

許多學(xué)者從時(shí)序角度建立基于時(shí)序的負(fù)載預(yù)測(cè)模型，分為單變量預(yù)測(cè)模型和多變量預(yù)測(cè)模型。

對(duì)于單變量預(yù)測(cè)模型，如Calheiros等利用經(jīng)典的差分自回歸移動(dòng)平均模型（auto regressive integrated moving average，ARIMA）來(lái)預(yù)測(cè)未來(lái)工作量需求，實(shí)現(xiàn)對(duì)非平穩(wěn)時(shí)間序列的有效預(yù)測(cè)。隨著人工智能的興起，大量的機(jī)器學(xué)習(xí)方法被用于負(fù)載預(yù)測(cè)中。Liu 等提出一種基于負(fù)載特征識(shí)別的預(yù)測(cè)方法，根據(jù)負(fù)載變化的速度自動(dòng)分配線性回歸（linear regression，LR）或支持向量回歸（support vector regression，SVR）模型；Islam等提出基于人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）和LR 的資源需求預(yù)測(cè)模型，并將這兩種方法與滑動(dòng)窗口相結(jié)合；Nguyen等利用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（long short-term memory，LSTM）實(shí)現(xiàn)連續(xù)區(qū)間平均負(fù)載的多步預(yù)測(cè)。

根據(jù)文獻(xiàn)調(diào)研，云平臺(tái)中從多變量角度實(shí)現(xiàn)資源預(yù)測(cè)的工作相對(duì)較少。Hieu 等提出一種基于多資源預(yù)測(cè)的虛擬機(jī)整合算法，利用多元LR估計(jì)輸入和輸出數(shù)據(jù)間的映射，以提高云數(shù)據(jù)中心的性能。該資源預(yù)測(cè)的模型本質(zhì)上屬于線性模型，故不適應(yīng)多個(gè)變量間存在非線性關(guān)系的場(chǎng)景。Tran 等利用模糊技術(shù)進(jìn)行資源的預(yù)處理，然后選擇相關(guān)變量作為L(zhǎng)STM 模型的輸入，實(shí)現(xiàn)多變量時(shí)間序列的預(yù)測(cè)。由于深度學(xué)習(xí)模型需要大量的數(shù)據(jù)和時(shí)間，故當(dāng)負(fù)載的歷史信息較少時(shí)，模型的預(yù)測(cè)性能受到影響，且未達(dá)到資源的及時(shí)響應(yīng)。

2 多變量負(fù)載序列結(jié)構(gòu)化預(yù)測(cè)方法

為對(duì)云平臺(tái)中運(yùn)行周期較短應(yīng)用程序的多種負(fù)載進(jìn)行同時(shí)、有效的預(yù)測(cè)，提出了多變量負(fù)載序列結(jié)構(gòu)化預(yù)測(cè)方法。流程圖見(jiàn)圖2 所示，包括四部分：數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、相關(guān)負(fù)載類型的獲取、結(jié)構(gòu)化預(yù)測(cè)模型的構(gòu)建及預(yù)測(cè)輸出。

圖2 SP-MWS流程圖Fig. 2 Flowchart of SP-MWS

首先，數(shù)據(jù)收集主要指從數(shù)據(jù)庫(kù)收集任務(wù)在運(yùn)行過(guò)程中使用到的多種資源（CPU、內(nèi)存和磁盤(pán)等）的歷史信息以及其他信息。其次，在數(shù)據(jù)預(yù)處理階段，采用二次指數(shù)平滑法和歸一化對(duì)得到的負(fù)載進(jìn)行預(yù)處理，去除噪聲和序列間差異。然后，在相關(guān)負(fù)載類型獲取階段，采用最大互信息系數(shù)法，同時(shí)從線性和非線性角度計(jì)算資源間的相關(guān)性，引入信息熵判斷模型信息量的增長(zhǎng)情況，結(jié)合二者的結(jié)果實(shí)現(xiàn)相關(guān)負(fù)載類型的選擇，這是在離線狀態(tài)下進(jìn)行的。最后，在線狀態(tài)下，構(gòu)建結(jié)構(gòu)化預(yù)測(cè)模型，采用TNR-MTL模型作為預(yù)測(cè)模型，將上階段獲得的多種負(fù)載類型分別當(dāng)作一個(gè)學(xué)習(xí)任務(wù)，利用訓(xùn)練數(shù)據(jù)完成模型的訓(xùn)練后，預(yù)測(cè)數(shù)據(jù)按照負(fù)載類型，輸入到各自對(duì)應(yīng)的學(xué)習(xí)任務(wù)中，從而完成運(yùn)行周期較短任務(wù)多種資源的同時(shí)預(yù)測(cè)和輸出。

2.1 數(shù)據(jù)預(yù)處理

2.2 相關(guān)負(fù)載類型獲取

針對(duì)小樣本負(fù)載序列預(yù)測(cè)過(guò)程中樣本信息量不足而導(dǎo)致預(yù)測(cè)性能受限的問(wèn)題，為了增加預(yù)測(cè)模型所需的先驗(yàn)信息，將任務(wù)的多維數(shù)據(jù)信息引入到負(fù)載預(yù)測(cè)模型中。由于負(fù)載序列之間的相關(guān)度越大，其蘊(yùn)含的結(jié)構(gòu)化信息越多，故不同類型負(fù)載序列間的相關(guān)程度，將直接影響預(yù)測(cè)模型的性能。目前有學(xué)者從信息論角度研究多變量時(shí)間序列間的相關(guān)性，但對(duì)于云負(fù)載的類似研究工作比較少。此外，對(duì)于不同類型的負(fù)載，它們各自選擇的相關(guān)負(fù)載類型可能存在差異，比如與CPU 變化密切相關(guān)的負(fù)載類型不一定與內(nèi)存的變化也密切相關(guān)，因此為實(shí)現(xiàn)多種資源類型的同時(shí)預(yù)測(cè)輸出，必須保障預(yù)測(cè)模型所含的信息量能夠滿足、適合每一種待預(yù)測(cè)負(fù)載類型的建模，即應(yīng)選擇與CPU和內(nèi)存都相關(guān)的負(fù)載類型。

為實(shí)現(xiàn)上述目標(biāo)，本文將MIC 和信息熵結(jié)合使用。對(duì)于MIC，由于其能夠衡量?jī)蓚€(gè)變量的線性函數(shù)關(guān)系和非線性函數(shù)關(guān)系，對(duì)數(shù)據(jù)分布沒(méi)有嚴(yán)格要求和假設(shè)，同時(shí)具有計(jì)算復(fù)雜度低、魯棒性高的特點(diǎn)，被用于衡量任務(wù)運(yùn)行過(guò)程中所使用的各種負(fù)載之間的相關(guān)性；在信息論中，熵表示隨機(jī)變量的不確定性，不確定性越大，熵越大。信息熵可理解為要消除或降低這種不確定性，仍需引入多少額外信息量的度量。信息熵越大，說(shuō)明此時(shí)系統(tǒng)自身所提供的信息量較少，則需要引入更多的信息；相反，信息熵越小，說(shuō)明此時(shí)系統(tǒng)自身所含的信息量多，需要引入的信息量少。因此，本文依據(jù)信息熵值的增減，判斷添加的相關(guān)變量為預(yù)測(cè)模型提供信息量的情況。

首先分別計(jì)算其他負(fù)載與每個(gè)待預(yù)測(cè)負(fù)載的MIC值。根據(jù)MIC的大小進(jìn)行排序，即MIC值越大，表明這兩種負(fù)載類型間的關(guān)系越緊密；MIC值越小，表明二者越疏遠(yuǎn)；然后選擇每種待預(yù)測(cè)負(fù)載的前位，從中將超過(guò)半數(shù)待預(yù)測(cè)負(fù)載共有的負(fù)載類型，依次添加到預(yù)測(cè)模型中，并計(jì)算此時(shí)模型的信息熵，信息熵最小時(shí)所對(duì)應(yīng)的負(fù)載類型即為獲取到的最終相關(guān)負(fù)載類型。設(shè)任務(wù)有種負(fù)載，種待預(yù)測(cè)負(fù)載，∈{1,}，詳細(xì)計(jì)算過(guò)程如下：

計(jì)算MIC 值，然后分別對(duì)每種待預(yù)測(cè)負(fù)載和其他負(fù)載的MIC值從大到小進(jìn)行排序。

歸一化后得預(yù)測(cè)結(jié)果評(píng)價(jià)矩陣：

計(jì)算此時(shí)預(yù)測(cè)系統(tǒng)信息熵InE，見(jiàn)式（2）：

重復(fù)步驟3，直到=時(shí)終止。

求出InE最小時(shí)所對(duì)應(yīng)的，即為最終獲得相關(guān)負(fù)載類型。

以上過(guò)程全部在離線階段完成。

2.3 結(jié)構(gòu)化負(fù)載預(yù)測(cè)及輸出

為充分利用具有相關(guān)性的負(fù)載序列間的結(jié)構(gòu)化信息，對(duì)每個(gè)任務(wù)構(gòu)建基于核范數(shù)正則化的多任務(wù)學(xué)習(xí)模型（TNR-MTL），用滑動(dòng)窗口進(jìn)行預(yù)測(cè)。針對(duì)上述得到的+種負(fù)載序列，將每一種負(fù)載序列分別作為T(mén)NR-MTL模型中的一個(gè)學(xué)習(xí)任務(wù)，其中在每一個(gè)學(xué)習(xí)任務(wù)內(nèi)，包含該負(fù)載類型下的多個(gè)任務(wù)負(fù)載序列，每次將滑動(dòng)窗口大小的采樣點(diǎn)作為輸入數(shù)據(jù)，相應(yīng)下一時(shí)刻的值作為輸出值。模型完成訓(xùn)練后，測(cè)試集數(shù)據(jù)根據(jù)各自的負(fù)載類型，選擇訓(xùn)練好的預(yù)測(cè)模型，完成多個(gè)負(fù)載的結(jié)構(gòu)化預(yù)測(cè)。TNR-MTL模型的目標(biāo)函數(shù)見(jiàn)式（3）。

其中，=[,,…,w]表示權(quán)重矩陣，w是第個(gè)學(xué)習(xí)任務(wù)的權(quán)重向量；為模型中學(xué)習(xí)任務(wù)的個(gè)數(shù)，X和Y分別代表第個(gè)學(xué)習(xí)任務(wù)的輸入和輸出，表示超參數(shù)，控制權(quán)重矩陣的秩。因矩陣的秩可反映該矩陣中變量間的相關(guān)性，矩陣秩越低，表明變量相關(guān)性越強(qiáng)，故對(duì)權(quán)重矩陣進(jìn)行核范數(shù)約束，使得矩陣呈現(xiàn)低秩狀態(tài)，即將每個(gè)任務(wù)多種負(fù)載序列的信息投影到一個(gè)共享、合理、相關(guān)程度高的低維子空間。在該模型空間中，建模所需的通用領(lǐng)域知識(shí)被多個(gè)學(xué)習(xí)任務(wù)共享，提升了每個(gè)學(xué)習(xí)任務(wù)的學(xué)習(xí)性能，從而實(shí)現(xiàn)同一個(gè)任務(wù)中所有負(fù)載類型的聯(lián)合學(xué)習(xí)，以及多種負(fù)載的同時(shí)預(yù)測(cè)。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)設(shè)計(jì)

本文采用大型通用云平臺(tái)Google數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證。它是Google數(shù)據(jù)中心公開(kāi)的2011年5月期間的監(jiān)控日志，記錄多個(gè)計(jì)算節(jié)點(diǎn)29天的運(yùn)行情況，包括約672 074個(gè)作業(yè)，2 600萬(wàn)個(gè)任務(wù)。其中數(shù)據(jù)集中的task resource usage 表記錄任務(wù)運(yùn)行過(guò)程中消耗各種資源信息。實(shí)驗(yàn)數(shù)據(jù)如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)對(duì)象Table 1 Experimental data objects

實(shí)驗(yàn)共分3 組：（1）相關(guān)負(fù)載類型的獲取；（2）實(shí)驗(yàn)預(yù)測(cè)效果展示，包括所提方法預(yù)測(cè)性能的分階段展示多種方法對(duì)比的實(shí)驗(yàn)結(jié)果和分析，其中對(duì)比實(shí)驗(yàn)中分別選擇兩個(gè)不同大小的滑動(dòng)窗口，并從時(shí)間性能和預(yù)測(cè)性能兩方面進(jìn)行對(duì)比；（3）負(fù)載貢獻(xiàn)度分析。

本實(shí)驗(yàn)中回歸預(yù)測(cè)精度的評(píng)定指標(biāo)采用均方根誤差（root mean square error，RMSE）、平均絕對(duì)誤差（mean absolute error，MAE）、平均相對(duì)誤差（mean relative error，MRE）和對(duì)稱平均絕對(duì)百分率（symmetric mean absolute percentage error，SMAPE）。

3.2 相關(guān)負(fù)載類型的獲取

任務(wù)在運(yùn)行過(guò)程中需要消耗多種資源，為提高多變量負(fù)載序列預(yù)測(cè)的準(zhǔn)確性，對(duì)多種資源間的相關(guān)性進(jìn)行分析，選擇具有相關(guān)性的負(fù)載類型。首先分別計(jì)算CPU、內(nèi)存和磁盤(pán)與除自身以外的其他剩余負(fù)載之間MIC 值。為得到公平的結(jié)果，實(shí)驗(yàn)時(shí)選擇100 個(gè)任務(wù)進(jìn)行相同的操作，然后對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)，得到大多數(shù)情況下每種待預(yù)測(cè)負(fù)載與其他負(fù)載的相關(guān)性，按從大到小的順序排序，結(jié)果如表2 所示。可以看出每種待預(yù)測(cè)負(fù)載與其他負(fù)載類型之間的相關(guān)程度不完全相同。

在計(jì)算模型信息熵時(shí)，本次實(shí)驗(yàn)取每種待預(yù)測(cè)負(fù)載相關(guān)性排行榜中，除待預(yù)測(cè)負(fù)載外，MIC值排行前三的負(fù)載類型。由表2 可得，對(duì)于CPU 是mean-DiskIO、aMem、maxDiskIO；對(duì)于內(nèi)存是meanDiskIO、aMem、maxMem；對(duì)于磁盤(pán)是aMem、meanDiskIO、maxDiskIO，如表2中粗體部分。

表2 待預(yù)測(cè)負(fù)載與其他負(fù)載類型的相關(guān)性統(tǒng)計(jì)結(jié)果Table 2 Statistical results of correlation between load to be predicted and other load types

因meanDiskIO 在CPU 和內(nèi)存中MIC 值均處于第一位，MIC值越大，表明這兩種負(fù)載類型間的關(guān)系越緊密。故將meanDiskIO首先添加到負(fù)載預(yù)測(cè)模型中，計(jì)算此時(shí)模型信息熵；依次類推，將aMem 和maxDiskIO分別添加到模型中，并計(jì)算每種情況下的模型信息熵，結(jié)果如圖3 所示。為方便介紹，將負(fù)載添加過(guò)程分為幾個(gè)階段：變量個(gè)數(shù)為3 記V3（包括CPU、內(nèi)存和磁盤(pán)），變量個(gè)數(shù)為4 記V4（包括CPU、內(nèi)存、磁盤(pán)和meanDiskIO），變量個(gè)數(shù)為5記V5（包括CPU、內(nèi)存、磁盤(pán)、meanDiskIO和aMem），以及變量個(gè)數(shù)為6 記為V6（包括CPU、內(nèi)存、磁盤(pán)、meanDiskIO、aMem和maxDiskIO）。

圖3 不同階段信息熵Fig. 3 Information entropy at different stages

由圖3 可得，隨著負(fù)載序列變量個(gè)數(shù)增加，系統(tǒng)信息熵逐漸遞減，信息熵越小，說(shuō)明此時(shí)系統(tǒng)所含的信息量多，將多維信息添加到預(yù)測(cè)模型中，有助于信息間的交叉驗(yàn)證，提高預(yù)測(cè)的準(zhǔn)確性。故將V6所對(duì)應(yīng)的負(fù)載類型作為最終獲得的相關(guān)負(fù)載類型。

3.3 預(yù)測(cè)結(jié)果及分析

為驗(yàn)證隨著相關(guān)變量的添加，預(yù)測(cè)模型的準(zhǔn)確度也不斷提升，對(duì)不同階段進(jìn)行負(fù)載預(yù)測(cè)。以CPU的預(yù)測(cè)結(jié)果為例，結(jié)果見(jiàn)表3。

表3 不同階段的預(yù)測(cè)結(jié)果Table 3 Forecast results at different stages

從表3中可以得出，對(duì)于所有評(píng)價(jià)指標(biāo)，都在V6時(shí)取得了最低誤差值；除了RMSE 指標(biāo)存在V4 階段的誤差值高于V3階段外，剩余其他指標(biāo)中，誤差下降的順序均沿著V3、V4、V5的方向，故從整體上看各種誤差呈現(xiàn)下降趨勢(shì)。這說(shuō)明了隨著相關(guān)負(fù)載類型的引入，確實(shí)能夠補(bǔ)充建模時(shí)所需要的有效信息，提高預(yù)測(cè)精度，而且表中預(yù)測(cè)精度提升的幅度與圖3中信息熵值降低的幅度呈正比。

由于多數(shù)任務(wù)的運(yùn)行周期較短，故設(shè)置大小不同的滑動(dòng)窗口，模擬不同長(zhǎng)度的時(shí)間序列，進(jìn)行實(shí)驗(yàn)，其中滑動(dòng)窗口的大小分別為60和30，即將待預(yù)測(cè)時(shí)刻的前60 個(gè)采樣點(diǎn)作為已知數(shù)據(jù)，和將待預(yù)測(cè)時(shí)刻的前30個(gè)采樣點(diǎn)作為已知數(shù)據(jù)。為驗(yàn)證所提方法的性能，將SP-MWS 與多元線性回歸、SVR和LSTM進(jìn)行對(duì)比。這里SVR方法指事先需要采用多變量相空間重構(gòu)技術(shù)，然后利用SVR模型進(jìn)行預(yù)測(cè)，為方便描述，將其記為P-SVR；LSTM 方法主要采用的是多變量LSTM模型（multivariate LSTM，M-LSTM）。在進(jìn)行多變量重構(gòu)過(guò)程中，6 種變量（CPU、內(nèi)存、磁盤(pán)、meanDiskIO、aMem 和maxDiskIO）的時(shí)延分別為2、1、2、2、2、2，嵌入維分別為6、7、2、2、2、2；LSTM 模型的隱藏層神經(jīng)元個(gè)數(shù)為50，迭代次數(shù)均為500次。

（1）滑動(dòng)窗口為60

表4～表6是所提方法和其他方法在RMSE、MAE、MRE和SMAPE四種性能指標(biāo)的對(duì)比結(jié)果。

表4 不同方法下CPU預(yù)測(cè)誤差對(duì)比Table 4 Comparison of CPU prediction errors under different methods

表5 不同方法下內(nèi)存預(yù)測(cè)誤差對(duì)比Table 5 Comparison of memory prediction errors under different methods

表6 不同方法下磁盤(pán)預(yù)測(cè)誤差對(duì)比Table 6 Comparison of disk prediction errors under different methods

雖然在表5的RMSE指標(biāo)中，所提方法的預(yù)測(cè)誤差略大于P-SVR，但是SP-MWS 在剩余其他評(píng)價(jià)指標(biāo)，以及其他待預(yù)測(cè)負(fù)載類型的所有評(píng)價(jià)指標(biāo)中，都取到了最小的預(yù)測(cè)誤差，故從整體上看，SP-MWS 的預(yù)測(cè)結(jié)果是最優(yōu)的，其次是多元線性方法或P-SVR方法，預(yù)測(cè)效果相對(duì)較差的是M-LSTM。分析可知，SP-MWS對(duì)各種資源建立預(yù)測(cè)模型時(shí)，將它們的模型參數(shù)信息用秩約束到共享特征子空間，從而使得建模信息之間具有高相關(guān)性，并實(shí)現(xiàn)信息的共享，彌補(bǔ)了各自樣本信息不足的缺點(diǎn)，然后利用負(fù)載間的結(jié)構(gòu)化信息進(jìn)行預(yù)測(cè)，因此取得了較好的性能；多元線性方法本質(zhì)上屬于線性回歸，而在實(shí)際的云平臺(tái)中，負(fù)載序列之間普遍存在非線性關(guān)系，同時(shí)由于數(shù)據(jù)量較小，導(dǎo)致多元線性模型未能挖掘數(shù)據(jù)中隱藏的有用信息；對(duì)于P-SVR模型而言，雖然SVR適合小樣本數(shù)據(jù)的預(yù)測(cè)，但是P-SVR仍屬于單任務(wù)學(xué)習(xí)模型，預(yù)測(cè)過(guò)程中也只是利用了單個(gè)負(fù)載的信息，而且多變量重構(gòu)時(shí)每個(gè)變量均需要確定對(duì)應(yīng)的模型參數(shù)，而參數(shù)的選擇和設(shè)定對(duì)于預(yù)測(cè)模型的效果具有直接的影響；M-LSTM模型屬于深度學(xué)習(xí)模型，需要大量的訓(xùn)練數(shù)據(jù)，而當(dāng)任務(wù)運(yùn)行周期較短，所使用的歷史數(shù)據(jù)信息相對(duì)較少時(shí)，該方法的預(yù)測(cè)誤差較高。

表7 是滑動(dòng)窗口等于60 時(shí)所提方法和其他方法在時(shí)間性能上的對(duì)比結(jié)果，將每種方法重復(fù)運(yùn)行30次，取平均時(shí)間作為該方法的最終預(yù)測(cè)時(shí)間。

表7 不同方法下三種資源的預(yù)測(cè)時(shí)間（滑動(dòng)窗口為60）Table 7 Forecasting time of three resources under different methods(sliding window is 60)

觀察表7 發(fā)現(xiàn)，對(duì)三種資源同時(shí)預(yù)測(cè)時(shí)，多元線性方法消耗的時(shí)間是最短的，其次是SP-MWS、PSVR，時(shí)間最長(zhǎng)的是M-LSTM。分析可知，多元線性模型的本質(zhì)屬于線性模型，結(jié)構(gòu)比較簡(jiǎn)單，故運(yùn)行速度較快；SP-MWS 利用負(fù)載間的關(guān)系，使得多種相關(guān)負(fù)載類型協(xié)作預(yù)測(cè)，達(dá)到并行輸出的效果，從而用時(shí)短；而P-SVR 和M-LSTM 均需要耗費(fèi)大量的時(shí)間尋找最優(yōu)參數(shù)，導(dǎo)致模型的時(shí)間較長(zhǎng)。雖然所提方法的時(shí)間性能不如多元線性方法，但是SP-MWS 的預(yù)測(cè)準(zhǔn)確度優(yōu)于多元線性方法。

（2）滑動(dòng)窗口為30

為進(jìn)一步表明所提方法在任務(wù)運(yùn)行周期較短時(shí)，也能很好地進(jìn)行負(fù)載預(yù)測(cè)，將滑動(dòng)窗口縮小為30。圖4是不同方法對(duì)三種資源進(jìn)行預(yù)測(cè)時(shí)的誤差情況，表8是所提方法在滑動(dòng)窗口等于30 時(shí)，和其他方法在時(shí)間性能上的對(duì)比結(jié)果。

表8 不同方法下三種資源的預(yù)測(cè)時(shí)間（滑動(dòng)窗口為30）Table 8 Forecasting time of three resources under different methods(sliding window is 30)

圖4 不同方法對(duì)三種資源的預(yù)測(cè)效果（滑動(dòng)窗口為30）Fig. 4 Prediction effects of different methods on three resources(sliding window is 30)

由圖4 可得，對(duì)三種不同的資源類型，SP-MWS的預(yù)測(cè)誤差在四種評(píng)價(jià)指標(biāo)上均取得最小值；表8中，SP-MWS的時(shí)間性能仍位于第二。對(duì)比表7，表8中各種方法的預(yù)測(cè)時(shí)間均縮短，說(shuō)明時(shí)間序列縮短時(shí)，消耗時(shí)間也縮短，所提方法縮短明顯。由此驗(yàn)證了所提方法對(duì)小樣本負(fù)載序列進(jìn)行預(yù)測(cè)的可行性。

綜上所述，本文方法的時(shí)間性能雖略差于多元線性方法，但預(yù)測(cè)性能優(yōu)于多元線性方法；與其他方法相比，SP-MWS在時(shí)間性能和預(yù)測(cè)性能上都取得較好的預(yù)測(cè)效果。從整體上看，所提方法的性能更優(yōu)，適合云平臺(tái)多種短負(fù)載序列的預(yù)測(cè)。

3.4 貢獻(xiàn)度分析

為進(jìn)一步探索每個(gè)輸入變量對(duì)所構(gòu)建模型貢獻(xiàn)度的大小，了解影響目標(biāo)變化的原因，引入Shapley值實(shí)現(xiàn)各預(yù)測(cè)變量對(duì)模型預(yù)測(cè)效果貢獻(xiàn)度的分析。它表示在實(shí)現(xiàn)最終目標(biāo)利益的聯(lián)盟中，每個(gè)局中人的相對(duì)貢獻(xiàn)度。在多變量負(fù)載預(yù)測(cè)問(wèn)題中，局中人對(duì)應(yīng)了多種負(fù)載序列類型，聯(lián)盟為預(yù)測(cè)模型，聯(lián)盟利益則為預(yù)測(cè)模型的準(zhǔn)確性。因此，Shapley 值可表示在實(shí)現(xiàn)預(yù)測(cè)模型的準(zhǔn)確度達(dá)到較為滿意的過(guò)程中，輸入變量對(duì)模型預(yù)測(cè)結(jié)果貢獻(xiàn)度的大小，Shapley 值越大，則貢獻(xiàn)度越大。

為清晰表示各輸入變量在每種待預(yù)測(cè)負(fù)載預(yù)測(cè)時(shí)的相對(duì)重要程度，將計(jì)算結(jié)果分開(kāi)展示。圖5是每種負(fù)載類型在預(yù)測(cè)過(guò)程中對(duì)CPU、內(nèi)存和磁盤(pán)預(yù)測(cè)時(shí)的貢獻(xiàn)度。橫軸是每種負(fù)載類型的平均Shapley值，縱坐標(biāo)為負(fù)載類型，按貢獻(xiàn)度的大小進(jìn)行排序。

圖5 各負(fù)載類型對(duì)最終預(yù)測(cè)結(jié)果的貢獻(xiàn)度Fig. 5 Contribution of each load type to final prediction result

由圖5 可知，在對(duì)待預(yù)測(cè)負(fù)載進(jìn)行預(yù)測(cè)時(shí)，每種負(fù)載類型對(duì)不同待預(yù)測(cè)負(fù)載的貢獻(xiàn)度不相同，但是都具有兩個(gè)共同點(diǎn)：（1）所選擇的負(fù)載類型，對(duì)預(yù)測(cè)模型中每種待預(yù)測(cè)負(fù)載的預(yù)測(cè)過(guò)程，都起到了不同程度的促進(jìn)作用；（2）每種待預(yù)測(cè)負(fù)載歷史信息的貢獻(xiàn)度都是最大的，比如圖5（a）中，在對(duì)CPU下一時(shí)刻進(jìn)行預(yù)測(cè)時(shí)，CPU 負(fù)載歷史信息對(duì)最終預(yù)測(cè)結(jié)果的貢獻(xiàn)度居于首位，這也非常符合實(shí)際場(chǎng)景。對(duì)每個(gè)子圖分別進(jìn)行以下分析：

（1）圖5（a）中，meanDiskIO 的貢獻(xiàn)度排第二，然后是內(nèi)存，說(shuō)明除CPU歷史信息外，與其他負(fù)載類型相比，影響CPU 預(yù)測(cè)結(jié)果好壞的主要因素是mean-DiskIO 和內(nèi)存。雖然meanDiskIO 和內(nèi)存都與CPU相關(guān)性較高，但對(duì)CPU預(yù)測(cè)來(lái)說(shuō)，meanDiskIO對(duì)提高模型預(yù)測(cè)性能的促進(jìn)作用相對(duì)較大。

（2）圖5（b）中，貢獻(xiàn)度排在第二位的是CPU，然后meanDiskIO，這說(shuō)明除內(nèi)存歷史信息外，CPU 和meanDiskIO 是影響內(nèi)存預(yù)測(cè)準(zhǔn)確度的主要原因，但CPU的影響程度要大于meanDiskIO。

（3）圖5（c）中，CPU 和maxDiskIO 貢獻(xiàn)度相對(duì)較高，說(shuō)明對(duì)磁盤(pán)預(yù)測(cè)而言，除其本身的歷史信息外，相對(duì)重要的負(fù)載類型是CPU和maxDiskIO。

4 結(jié)束語(yǔ)

針對(duì)云平臺(tái)中大量任務(wù)運(yùn)行周期短，小樣本負(fù)載序列所提供建模的先驗(yàn)信息少，且同一任務(wù)在運(yùn)行中需消耗多種資源的情況，將任務(wù)的多維負(fù)載序列信息添加到預(yù)測(cè)模型中，有助于信息間的交叉驗(yàn)證。本文提出了多變量負(fù)載序列結(jié)構(gòu)化預(yù)測(cè)方法。該方法采用最大互信息系數(shù)度量任務(wù)運(yùn)行過(guò)程中消耗的多種資源之間的相關(guān)度，并聯(lián)合信息熵完成相關(guān)負(fù)載類型的選擇，使用TNR-MTL 構(gòu)建預(yù)測(cè)模型，以捕捉和利用相關(guān)負(fù)載間的結(jié)構(gòu)化信息。結(jié)果顯示所提方法取得了較優(yōu)的預(yù)測(cè)效果，同時(shí)分析了輸入變量與最終預(yù)測(cè)結(jié)果之間的關(guān)系。

由于大規(guī)模云平臺(tái)中負(fù)載之間的關(guān)系具有強(qiáng)復(fù)雜性，故下一步工作將研究多種復(fù)雜負(fù)載序列間的內(nèi)在關(guān)系，并對(duì)其進(jìn)行深層次的挖掘和探索，從而進(jìn)一步提高預(yù)測(cè)模型的性能。