基于三次指數(shù)平滑法和時(shí)間卷積網(wǎng)絡(luò)的云資源預(yù)測(cè)模型

謝曉蘭，張征征，王建偉，程曉春

（1.桂林理工大學(xué)廣西嵌入式技術(shù)與智能系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004；2.桂林理工大學(xué)信息科學(xué)與工程學(xué)院，廣西 桂林 541004；3.密德薩斯大學(xué)計(jì)算機(jī)科學(xué)系，倫敦 NW4 4BT）

1 引言

從2013 年至今，以容器為中心的容器云平臺(tái)發(fā)展迅速。AWS、Azure、阿里云作為三大公有云巨頭，面向所有用戶提供了類別豐富、服務(wù)完善的容器產(chǎn)品，阿里云、騰訊云、百度云、華為云等互聯(lián)網(wǎng)公司為用戶提供了優(yōu)化的容器服務(wù)產(chǎn)品[1-3]。目前，越來(lái)越多的互聯(lián)網(wǎng)公司和社區(qū)對(duì)容器云技術(shù)展開(kāi)深入研究，根據(jù)CNCF 歐洲峰會(huì)的調(diào)查數(shù)據(jù)，2017 年容器的使用規(guī)模從20%增加到45%。Docker、Kubernetes、cloud native、Kata 和gVisor 等容器云平臺(tái)的出現(xiàn)，表明容器云技術(shù)始終是云計(jì)算發(fā)展的趨勢(shì)。基于容器技術(shù)的容器云平臺(tái)可以更輕量級(jí)地為應(yīng)用程序提供構(gòu)建、發(fā)布和運(yùn)行分布式應(yīng)用程序的環(huán)境，為在其上運(yùn)行的應(yīng)用程序按需提供資源，然后根據(jù)每個(gè)應(yīng)用程序的資源使用情況向用戶收費(fèi)。

與傳統(tǒng)的云計(jì)算相比，雖然容器云具有額外資源開(kāi)銷較少、啟動(dòng)時(shí)間較短等優(yōu)點(diǎn)[4]，但仍存在過(guò)度供應(yīng)和供應(yīng)不足的資源管理問(wèn)題，而且相關(guān)文獻(xiàn)較少。在過(guò)度供應(yīng)問(wèn)題中，用戶不會(huì)受到影響，但過(guò)度供應(yīng)會(huì)增加能源浪費(fèi)，甚至增加網(wǎng)絡(luò)、冷卻、維護(hù)等成本。供應(yīng)不足則會(huì)導(dǎo)致服務(wù)水平協(xié)議（SLA,service level agreement）違約、服務(wù)質(zhì)量（QoS,quality of service）降低，甚至導(dǎo)致用戶不滿從而使用戶流失和收入減少。因此，為用戶分配的資源應(yīng)盡可能地接近用戶目前的申請(qǐng)需求。

Kubernetes 作為目前發(fā)展比較迅速的容器云代表，為了使Kubernetes 集群能夠“預(yù)知”部署在其上應(yīng)用的未來(lái)資源使用量，需要為其建立預(yù)測(cè)模型，然后根據(jù)預(yù)測(cè)值為應(yīng)用及時(shí)、準(zhǔn)確、動(dòng)態(tài)地調(diào)度和分配資源。本文提出了一種基于三次指數(shù)平滑法和時(shí)間卷積網(wǎng)絡(luò)（ES-TCN,exponential smoothing-temporal convolutional network）的云資源預(yù)測(cè)模型，根據(jù)歷史數(shù)據(jù)預(yù)測(cè)未來(lái)的資源需求，與其他預(yù)測(cè)模型相比，所提模型具有更好的預(yù)測(cè)性能，對(duì)提高資源利用率、降低能耗和成本及按需規(guī)劃容器資源十分有利。本文的主要貢獻(xiàn)如下。

1)提出了一種解決Kubernetes 資源使用量預(yù)測(cè)的ES-TCN 模型。根據(jù)云資源時(shí)間序列的特點(diǎn)，設(shè)計(jì)了一種加權(quán)分配策略，為ES 模型和TCN 模型分配不同的權(quán)重，從而提高了模型的預(yù)測(cè)精度、穩(wěn)定性和泛化能力。

2)使用TPOT（tree-based pipeline optimization tool）調(diào)參思想優(yōu)化TCN 模型的參數(shù)組合，一方面減少了模型的訓(xùn)練時(shí)間，另一方面為T(mén)CN 模型找到了全局最優(yōu)參數(shù)組合。

3)使用Google 數(shù)據(jù)集對(duì)所提模型進(jìn)行了評(píng)價(jià)，并與2 種單一預(yù)測(cè)模型以及現(xiàn)有的其他模型進(jìn)行了對(duì)比實(shí)驗(yàn)。

2 相關(guān)工作

云資源預(yù)測(cè)由于潛在和顯著的優(yōu)點(diǎn)，長(zhǎng)期以來(lái)一直受到研究者的關(guān)注。針對(duì)云資源預(yù)測(cè)的不同方面、目標(biāo)和應(yīng)用，國(guó)內(nèi)外學(xué)者提出了多種預(yù)測(cè)模型。最初，一些學(xué)者提出了基于灰色理論、回歸分析等算法的云資源預(yù)測(cè)模型。灰色理論模型只能描述具有強(qiáng)規(guī)律性和較差普遍性的云資源序列，回歸分析法雖然可以追蹤云資源變化的整體趨勢(shì)，但不能描述變化的隨機(jī)性，而且預(yù)測(cè)誤差較大，因此2 種算法都不能對(duì)云資源進(jìn)行很好的預(yù)測(cè)。

隨著云計(jì)算領(lǐng)域的迅速發(fā)展，云計(jì)算數(shù)據(jù)海量倍增和復(fù)雜多變的特性越加凸顯，傳統(tǒng)的預(yù)測(cè)模型已經(jīng)不能滿足有效預(yù)測(cè)云計(jì)算資源的需求。得益于機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)的迅速發(fā)展，一些學(xué)者提出了基于神經(jīng)網(wǎng)絡(luò)[5-6]、隱式馬爾可夫[7]、貝葉斯[8]、支持向量機(jī)[9-11]等的云資源預(yù)測(cè)模型，它們可以挖掘云計(jì)算資源負(fù)荷隨機(jī)、動(dòng)態(tài)的變化趨勢(shì)，得到相對(duì)理想的云資源預(yù)測(cè)結(jié)果。雖然神經(jīng)網(wǎng)絡(luò)具有良好的非線性映射能力，但是它需要的樣本量大，而且不同類型的云計(jì)算資源的網(wǎng)絡(luò)結(jié)構(gòu)不同，因此，神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的穩(wěn)定性較差。此外，神經(jīng)網(wǎng)絡(luò)閾值和權(quán)重的計(jì)算采用梯度下降的方式，具有收斂速度慢、容易陷入局部最優(yōu)解等不足，降低了預(yù)測(cè)精度。文獻(xiàn)[12]提出了一種貝葉斯模型，該模型用于預(yù)測(cè)CPU/內(nèi)存密集型應(yīng)用程序的短期和長(zhǎng)期虛擬資源需求。與其他模型相比，貝葉斯模型能夠更好地預(yù)測(cè)云環(huán)境中的虛擬資源。貝葉斯模型的優(yōu)點(diǎn)是能夠全面識(shí)別虛擬化云場(chǎng)景中變量之間的依賴關(guān)系，缺點(diǎn)是沒(méi)有考慮幾種應(yīng)用程序類型的組合，而且它只適合特定的問(wèn)題。支持向量機(jī)預(yù)測(cè)結(jié)果更加穩(wěn)定、可靠，但其參數(shù)對(duì)云計(jì)算資源預(yù)測(cè)結(jié)果影響較大。

有研究表明，云計(jì)算的資源序列與時(shí)間高度相關(guān)[13]，因此一些學(xué)者將云資源序列看作一個(gè)時(shí)間序列，并使用時(shí)間序列預(yù)測(cè)算法對(duì)云資源進(jìn)行研究。時(shí)間序列預(yù)測(cè)算法是基于時(shí)間序列的歷史信息來(lái)完成預(yù)測(cè)，它的基本思想是從現(xiàn)有的序列數(shù)據(jù)中發(fā)現(xiàn)某種隱含的規(guī)則來(lái)預(yù)測(cè)序列的未來(lái)趨勢(shì)。由于能夠更好地挖掘事物發(fā)展規(guī)律與時(shí)間的關(guān)系，基于時(shí)間序列的預(yù)測(cè)模型已廣泛用于金融、交通等領(lǐng)域。

針對(duì)時(shí)間序列預(yù)測(cè)問(wèn)題，國(guó)內(nèi)外相關(guān)學(xué)者已經(jīng)開(kāi)展了一些研究。最初，人們使用布朗提出的指數(shù)平滑、自回歸移動(dòng)平均（ARIMA,auto regressive integrated moving average）等算法進(jìn)行建模[14-15]。ES 使用加權(quán)平滑系數(shù)在時(shí)間序列模型中通過(guò)上一期預(yù)測(cè)值與真實(shí)值的加權(quán)平均得到下一期的預(yù)測(cè)值，ES 不需要像ARIMA 那樣去進(jìn)行復(fù)雜的數(shù)據(jù)預(yù)處理，它的參數(shù)選擇可以通過(guò)交叉驗(yàn)證直接實(shí)現(xiàn)。同時(shí)，它只需要上期的預(yù)測(cè)值與觀測(cè)值，不需要大量的數(shù)據(jù)計(jì)算，因此建模速度非常快，但主要針對(duì)小規(guī)模的資源預(yù)測(cè)問(wèn)題。隨著資源規(guī)模的增大，ES的預(yù)測(cè)性能也隨之下降，無(wú)法很好地?cái)M合數(shù)據(jù)，而且云資源的變化具有動(dòng)態(tài)性和時(shí)變性，因此ES 和ARIMA 無(wú)法滿足云用戶的各種需求。近年來(lái)，時(shí)間序列預(yù)測(cè)在越來(lái)越多的應(yīng)用領(lǐng)域中成為最佳預(yù)測(cè)方法。文獻(xiàn)[16]應(yīng)用非線性時(shí)間序列方法提出了一種網(wǎng)絡(luò)傳播行為預(yù)測(cè)模型，并用粒子群優(yōu)化算法對(duì)模型參數(shù)取優(yōu)，結(jié)果表明，短期內(nèi)該模型能夠?qū)W(wǎng)絡(luò)傳播行為做出準(zhǔn)確預(yù)測(cè)。文獻(xiàn)[17]針對(duì)流量數(shù)據(jù)具有高度的非線性和復(fù)雜性，現(xiàn)有的預(yù)測(cè)方法大多不能很好地捕獲數(shù)據(jù)的時(shí)空相關(guān)性的問(wèn)題，因此提出了一種新穎的基于深度學(xué)習(xí)的多組件時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（MCSTGCN,multi-component spatial-temporal graph convolution network），以解決交通流量預(yù)測(cè)問(wèn)題，結(jié)果表明，MCSTGCN 模型的預(yù)測(cè)效果優(yōu)于現(xiàn)有的預(yù)測(cè)方法。文獻(xiàn)[18]針對(duì)目前民航運(yùn)輸業(yè)對(duì)機(jī)場(chǎng)延誤預(yù)測(cè)高精度的要求，提出了一種基于區(qū)域殘差和長(zhǎng)短時(shí)記憶（RR-LSTM,regional residual and long term memory network）網(wǎng)絡(luò)的機(jī)場(chǎng)延誤預(yù)測(cè)模型。實(shí)驗(yàn)結(jié)果表明，RR-LSTM 網(wǎng)絡(luò)模型預(yù)測(cè)準(zhǔn)確率可達(dá)95.52%，取得了比傳統(tǒng)網(wǎng)絡(luò)模型更好的預(yù)測(cè)效果。

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN,recurrent neural network）及其變體長(zhǎng)短時(shí)記憶（LSTM,long short term memory）網(wǎng)絡(luò)一直被認(rèn)為是時(shí)序預(yù)測(cè)領(lǐng)域的最佳算法，然而，文獻(xiàn)[19]提出了一種可用于解決時(shí)間序列預(yù)測(cè)的新算法——時(shí)間卷積網(wǎng)絡(luò)（TCN,temporal convolutional network），并在文中對(duì)TCN 和循環(huán)網(wǎng)絡(luò)進(jìn)行了系統(tǒng)的評(píng)估。結(jié)果表明，TCN 在不同任務(wù)和數(shù)據(jù)集上的性能優(yōu)于典型的循環(huán)網(wǎng)絡(luò)（如LSTM）。而且TCN 提出后在學(xué)術(shù)界引起了巨大的反響，許多原來(lái)使用RNN 的領(lǐng)域都轉(zhuǎn)而使用TCN。因此，一些學(xué)者認(rèn)為T(mén)CN 將取代RNN 的地位。

盡管LSTM、TCN 等時(shí)序預(yù)測(cè)模型的預(yù)測(cè)效果要遠(yuǎn)遠(yuǎn)優(yōu)于以往的預(yù)測(cè)模型，然而，面對(duì)復(fù)雜多變的云計(jì)算資源，只用單一模型很難達(dá)到期望的預(yù)測(cè)效果。大量實(shí)際研究結(jié)果表明，結(jié)合各種單一模型的優(yōu)勢(shì)構(gòu)建合理的組合優(yōu)化預(yù)測(cè)模型，可以更準(zhǔn)確、全面地描述具有復(fù)雜性、非線性、動(dòng)態(tài)性特點(diǎn)的云資源使用量情況，顯著提升預(yù)測(cè)模型的預(yù)測(cè)精度和預(yù)測(cè)性能[20-25]。

目前，有許多組合模型可用于云資源預(yù)測(cè)。文獻(xiàn)[26]提出了一種結(jié)合線性和非線性的動(dòng)態(tài)組合預(yù)測(cè)模型來(lái)預(yù)測(cè)云資源的CPU 負(fù)載。該模型的優(yōu)點(diǎn)是可以動(dòng)態(tài)調(diào)整預(yù)測(cè)器以適應(yīng)時(shí)間模式序列。然而，它并不一定保證能準(zhǔn)確地預(yù)測(cè)各種時(shí)間序列的未來(lái)值，而且無(wú)法集成同構(gòu)或異構(gòu)模型。文獻(xiàn)[27]提出了一種組合預(yù)測(cè)模型，用于預(yù)測(cè)未來(lái)云計(jì)算環(huán)境中虛擬機(jī)（VM,virtual machine）資源、基礎(chǔ)設(shè)施和服務(wù)水平的能源效率狀況。該模型的優(yōu)點(diǎn)是適合根據(jù)云計(jì)算趨勢(shì)預(yù)測(cè)云系統(tǒng)的能耗，缺點(diǎn)是準(zhǔn)確性取決于工作負(fù)載類型，性能與應(yīng)用的組合模型中的每個(gè)單一預(yù)測(cè)模型高度相關(guān)。文獻(xiàn)[28]提出了一種使用遺傳算法來(lái)結(jié)合多個(gè)模型的自適應(yīng)預(yù)測(cè)方法。更準(zhǔn)確地說(shuō)，該方法是結(jié)合不同時(shí)間序列預(yù)測(cè)模型的預(yù)測(cè)值進(jìn)行預(yù)測(cè)，然后采用遺傳算法對(duì)每個(gè)組成模型分配一個(gè)值，即每個(gè)組成模型的比例，這些值的總和必須為1。該模型的優(yōu)點(diǎn)是在使用前不需要訓(xùn)練，它獨(dú)立于其組合預(yù)測(cè)模型，而且易于擴(kuò)展其預(yù)測(cè)模型的數(shù)量，然而時(shí)間復(fù)雜度太高。文獻(xiàn)[29]針對(duì)在部署過(guò)程中對(duì)重要的資源使用預(yù)測(cè)對(duì)于實(shí)現(xiàn)科學(xué)應(yīng)用的最優(yōu)調(diào)度至關(guān)重要，現(xiàn)有的云資源預(yù)測(cè)模型針對(duì)云度量的高方差而不能提供合理的精度的情況提出了一種集特征選擇和資源利用預(yù)測(cè)技術(shù)于一體的智能回歸集成預(yù)測(cè)方法，對(duì)未來(lái)的資源需求進(jìn)行準(zhǔn)確的預(yù)測(cè)以實(shí)現(xiàn)資源的自動(dòng)配置。雖然預(yù)測(cè)結(jié)果在各衡量指標(biāo)表現(xiàn)很好，但該方法僅對(duì)CPU 的使用量進(jìn)行了預(yù)測(cè)，對(duì)其他資源可能存在不通用的情況。

雖然目前有許多組合模型可用于云資源預(yù)測(cè)，更深層次的是每個(gè)預(yù)測(cè)模型具有不同的性能，并且在預(yù)測(cè)某些指標(biāo)方面是有效的，而在其他指標(biāo)中則可能非常不準(zhǔn)確。雖然在組合模型中將這些模型視為組成模型可能是合適的，但它在提高組合模型某一性能的同時(shí)也可能導(dǎo)致其他性能變差。基于此，本文提出了ES-TCN 模型，該模型通過(guò)給單個(gè)預(yù)測(cè)模型賦予權(quán)重得到組合模型的預(yù)測(cè)值。

3 ES-TCN 模型

指數(shù)平滑法對(duì)不同時(shí)間數(shù)據(jù)的非等權(quán)處理較符合實(shí)際情況，在實(shí)際應(yīng)用中僅需選擇一個(gè)模型參數(shù)即可進(jìn)行預(yù)測(cè)，簡(jiǎn)便易行，而且預(yù)測(cè)模型能自動(dòng)識(shí)別數(shù)據(jù)模式的變化并對(duì)其進(jìn)行調(diào)整，具有適應(yīng)性，但對(duì)數(shù)據(jù)的轉(zhuǎn)折點(diǎn)不能很好地預(yù)測(cè)，長(zhǎng)期預(yù)測(cè)的效果較差，故多用于短期預(yù)測(cè)。在TCN 中可以進(jìn)行大規(guī)模并行處理，網(wǎng)絡(luò)訓(xùn)練和驗(yàn)證的時(shí)間都會(huì)變短。TCN 的反向傳播路徑和序列的時(shí)間方向不同，這避免了RNN 中經(jīng)常出現(xiàn)的梯度爆炸或梯度消失問(wèn)題。TCN 訓(xùn)練時(shí)需要的內(nèi)存更少，尤其是對(duì)于長(zhǎng)輸入序列。但是TCN 在預(yù)測(cè)時(shí)需要在內(nèi)存中存儲(chǔ)足夠長(zhǎng)的原始輸入信息，以保證能獲取到歷史信息，且在不同領(lǐng)域的超參數(shù)（如i和d）可能不同，因此在遷移模型時(shí)需要調(diào)整這些參數(shù)。

針對(duì)此，本文提出了ES-TCN 云資源預(yù)測(cè)模型，并根據(jù)云資源時(shí)間序列的特點(diǎn)，設(shè)計(jì)了一種加權(quán)分配策略，為ES 模型和TCN 模型分配不同的權(quán)重，從而提高了模型的預(yù)測(cè)精度、穩(wěn)定性和泛化能力。ES-TCN 模型的計(jì)算式為

其中，Yt表示最終的預(yù)測(cè)值，Et表示ES 模型得到的預(yù)測(cè)值，Nt表示TCN 模型得到的預(yù)測(cè)值，ω1+ω2=1。

一次指數(shù)平滑法常用于沒(méi)有明顯函數(shù)規(guī)律但確實(shí)存在某種前后關(guān)聯(lián)的時(shí)間序列，線性時(shí)間序列通常使用二次指數(shù)平滑法，當(dāng)時(shí)間序列的變動(dòng)呈現(xiàn)出二次曲線趨勢(shì)時(shí)，常使用三次指數(shù)平滑法，因此通過(guò)分析云資源時(shí)間序列的特點(diǎn)，本文使用三次指數(shù)平滑法。由于高次的指數(shù)平滑法是在低次的指數(shù)平滑法的基礎(chǔ)上建立的，例如，二次指數(shù)平滑法是建立在一次指數(shù)平滑法基礎(chǔ)之上的，所預(yù)測(cè)的效果也優(yōu)于一次指數(shù)平滑法；三次指數(shù)平滑法是在二次指數(shù)平滑法基礎(chǔ)之上再進(jìn)行一次平滑，因此設(shè)Kubernetes 的資源使用量的值為{kt}(t=1,2,3,...)，依次計(jì)算第t時(shí)刻不同次數(shù)的指數(shù)平滑法，并將得到的預(yù)測(cè)值分別記為各指數(shù)平滑法計(jì)算式為

其中，表示三次指數(shù)平滑法得到的預(yù)測(cè)值，即式(1)所述的Et。在指數(shù)平滑算法中，α的取值是決定最終預(yù)測(cè)結(jié)果的關(guān)鍵。一般情況下，α取值范圍為0～1，根據(jù)經(jīng)驗(yàn)，通常在0.10～0.80 范圍內(nèi)取值[30]。α的取值一旦固定就不能修改其加權(quán)系數(shù)。通常情況下，α取較小值時(shí)，預(yù)測(cè)模型的平滑能力較強(qiáng)；α取較大值時(shí)，模型對(duì)時(shí)間序列的變化反應(yīng)速度較快。不同情況下的α取值如表1 所示。

表1 α 值的適用情況

用yt表示TCN 模型得到的預(yù)測(cè)值，即式(1)所述的Nt。yt的求解計(jì)算式如式(5)～式(7)所示。

作為一種特殊類型的一維卷積網(wǎng)絡(luò)（1D CNN,one-dimensional convolutional neural network），TCN是對(duì)序列信息進(jìn)行編碼的一種自然方法[31]。一個(gè)普通的一維卷積層可以寫(xiě)成

其中，k為輸入序列，y為輸出序列，f∈Rid為大小為i的卷積濾波器。然后將幾個(gè)普通的一維卷積層疊加起來(lái)構(gòu)成1D CNN。然而，1D CNN 在應(yīng)用于模型序列時(shí)會(huì)受輸出尺寸大小和接收域的限制，因此，TCN使用因果卷積（causal convolution）和空洞卷積（dilated convolution）2 種技術(shù)來(lái)解決這些問(wèn)題。

1)因果卷積。如式(5)所示，普通一維卷積層將長(zhǎng)度為n的序列作為輸入，并輸出長(zhǎng)度為n-i+1的序列。如果將更多這樣的層堆疊在一起，則可以進(jìn)一步縮小誤差。因?yàn)楸疚南Ｍ崮Ｐ驮诿總€(gè)時(shí)間步長(zhǎng)進(jìn)行預(yù)測(cè)并實(shí)時(shí)更新它們，這個(gè)屬性在本文的域中可能會(huì)有問(wèn)題。因果卷積層通過(guò)在輸入序列的開(kāi)頭填充長(zhǎng)度為i-1 的零來(lái)解決這個(gè)問(wèn)題。此外，它能確保沒(méi)有未來(lái)的信息泄露到過(guò)去，這是預(yù)測(cè)未來(lái)交互的關(guān)鍵。它確保了輸出序列y在每個(gè)時(shí)間步長(zhǎng)上被很好地定義，并且預(yù)測(cè)值yt僅取決于輸入k≤t。計(jì)算式為

2)空洞卷積。CNN 通常都是可以被反向訓(xùn)練的，但是如果使用過(guò)多的歷史信息就會(huì)導(dǎo)致CNN的深度增大，當(dāng)CNN 的深度增大到一定程度時(shí)就需要一種新的辦法來(lái)解決反向訓(xùn)練的問(wèn)題。TCN 使用空洞卷積來(lái)解決普通1D CNN 的接收域與層數(shù)呈線性關(guān)系的問(wèn)題。空洞卷積是一種技術(shù)，它允許接收域與層數(shù)呈指數(shù)關(guān)系。具體地，當(dāng)與因果卷積結(jié)合時(shí)，第r層空洞卷積可以表示為

其中，lr是擴(kuò)張因子，可以設(shè)定為(i-1)r-1，以實(shí)現(xiàn)指數(shù)大的感受野。式(7)為時(shí)間卷積層，通過(guò)堆疊多個(gè)時(shí)間卷積層來(lái)構(gòu)造TCN。為了便于訓(xùn)練深度TCN，通常的做法是將時(shí)間卷積層組織成塊，并在塊之間添加殘差連接[32]。通過(guò)設(shè)置合適的濾波器大小和層數(shù)，yt+1可以依賴于整個(gè)歷史交互作用。

模型的參數(shù)決定了最終預(yù)測(cè)的結(jié)果，因此參數(shù)的選取至關(guān)重要。TCN 作為神經(jīng)網(wǎng)絡(luò)的一種，調(diào)參占了很大一部分工作比例，而且訓(xùn)練一次TCN 需要很長(zhǎng)的時(shí)間，因此如何正確地、快速地調(diào)參十分重要。本文使用TPOT 調(diào)參思想對(duì)TCN 調(diào)參，既保證了模型的最終預(yù)測(cè)效果，又減少了調(diào)參的工作量，從而縮短了整個(gè)模型訓(xùn)練的時(shí)間。TPOT 是一種優(yōu)化機(jī)器學(xué)習(xí)模型和自動(dòng)選擇模型參數(shù)的工具[33]，也是自動(dòng)化機(jī)器學(xué)習(xí)（AML,automatic machine learning）的一種應(yīng)用，能夠自動(dòng)執(zhí)行機(jī)器學(xué)習(xí)問(wèn)題中的重復(fù)步驟，從而節(jié)省時(shí)間。同時(shí)，TPOT 也是網(wǎng)格搜索的擴(kuò)展，提供了如遺傳算法這樣的應(yīng)用，可用來(lái)在某個(gè)配置中調(diào)節(jié)各個(gè)參數(shù)并達(dá)到最佳設(shè)置。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)參數(shù)及數(shù)據(jù)集

本文使用Google 數(shù)據(jù)集檢驗(yàn)ES-CTN 模型的有效性，該數(shù)據(jù)集記錄了Google 云計(jì)算中心大量任務(wù)的提交、調(diào)度、更新、結(jié)束事件及CPU、內(nèi)存、帶寬等資源需求和使用記錄，是云計(jì)算的重要研究資源。考慮到目前Kubernetes 主要是對(duì)CPU 和內(nèi)存資源進(jìn)行分配和調(diào)度，因此本文只對(duì)CPU 和內(nèi)存資源進(jìn)行研究。但是本文提出的模型并不局限于對(duì)CPU和內(nèi)存資源的預(yù)測(cè)，也可以用于預(yù)測(cè)其他資源。

由于Google 數(shù)據(jù)集的數(shù)據(jù)量龐大，使數(shù)據(jù)處理工作量大、耗時(shí)長(zhǎng)，本文先對(duì)數(shù)據(jù)集進(jìn)行處理，提取和過(guò)濾數(shù)據(jù)后將其保存為CSV 文件，再將CSV文件讀入Spyder 中進(jìn)行實(shí)驗(yàn)。由于本文提出的ES-TCN 模型的預(yù)測(cè)結(jié)果是基于ES 和TCN 的預(yù)測(cè)結(jié)果的，對(duì)于尋找ES-TCN 模型的權(quán)重，可以通過(guò)遍歷權(quán)重的方式實(shí)現(xiàn)。具體如下：設(shè)ES 的權(quán)重ω1初始值為1，因?yàn)棣?+ω2=1，則TCN的初始權(quán)重ω2為1-ω1=0，令ω1每次以步長(zhǎng)為0.01 的遞減方式進(jìn)行迭代，計(jì)算ES-TCN 模型的MAE，最終從所有遍歷的結(jié)果中取出最小的MAE 對(duì)應(yīng)的迭代次數(shù)，從而得到權(quán)重ω1和ω2。本文的實(shí)驗(yàn)參數(shù)設(shè)置如表2 所示。

表2 實(shí)驗(yàn)參數(shù)

由于是對(duì)云資源時(shí)間序列進(jìn)行預(yù)測(cè)，因此，要保證數(shù)據(jù)的準(zhǔn)確性和完整性，數(shù)據(jù)必須按照一定的時(shí)間順序排列，不能出現(xiàn)時(shí)間序列混亂的情況。本文使用的數(shù)據(jù)集缺失值較少，因此使用簡(jiǎn)單的均值插補(bǔ)法對(duì)缺失值進(jìn)行處理。此外，本文還對(duì)數(shù)據(jù)進(jìn)行了歸一化處理。

4.2 預(yù)測(cè)性能對(duì)比

本文的研究工作是在ES 和TCN 模型的基礎(chǔ)上進(jìn)行的，并進(jìn)行了適當(dāng)?shù)膬?yōu)化，因此，本文選取了ES 和TCN 這2 種模型與本文提出的ES-TCN模型進(jìn)行對(duì)比。不同模型的部分比較結(jié)果分別如圖1 和圖2 所示。

圖1 3 種模型的CPU 預(yù)測(cè)性能對(duì)比結(jié)果

圖2 3 種模型的內(nèi)存預(yù)測(cè)性能對(duì)比結(jié)果

雖然從圖1 和圖2 中可以看出ES-TCN 模型比其他2 種模型好，但圖中展示的結(jié)果仍然不夠明顯。為了更清楚地看到結(jié)果，本文在實(shí)驗(yàn)時(shí)將console中的Graphics 設(shè)置成Qt5，通過(guò)Qt5 自帶的放大功能對(duì)預(yù)測(cè)結(jié)果進(jìn)行了細(xì)微比較，得到ES 模型在云資源規(guī)模較小時(shí)建模速度較快，且預(yù)測(cè)比較準(zhǔn)確，但隨著云資源規(guī)模的增大，預(yù)測(cè)精度迅速下降，不能很好地滿足Kubernetes 資源使用量預(yù)測(cè)需求。這是因?yàn)镋S 賦予遠(yuǎn)期較小、近期較大的比重，所以只能進(jìn)行短期預(yù)測(cè)。TCN 模型雖然總體預(yù)測(cè)效果較好，但不穩(wěn)定，這是因?yàn)殡m然TCN 具有良好的非線性映射能力，但是它在預(yù)測(cè)時(shí)需要在內(nèi)存中存儲(chǔ)足夠長(zhǎng)的原始輸入信息以保證能獲取到歷史信息，因此，TCN 的穩(wěn)定性較差。本文提出的ES-TCN 模型雖然能比較好地追蹤真實(shí)數(shù)據(jù)，預(yù)測(cè)效果也比較穩(wěn)定，但是在波動(dòng)變化較大時(shí)，預(yù)測(cè)誤差比較明顯，但與其他2 種模型相比，這個(gè)預(yù)測(cè)誤差相對(duì)較小。這是因?yàn)楸疚奶岢龅哪Ｐ徒Y(jié)合了ES 模型能自動(dòng)識(shí)別數(shù)據(jù)模式的變化并對(duì)其進(jìn)行調(diào)整，具有良好的適應(yīng)性和TCN 使用因果卷積、空洞卷積可以進(jìn)一步縮小誤差的優(yōu)點(diǎn)，同時(shí)采用TPOT 調(diào)參思想快速地為T(mén)CN 模型找到模型參數(shù)的最優(yōu)組合，提高了預(yù)測(cè)模型的準(zhǔn)確度和穩(wěn)定性及泛化能力。

4.3 預(yù)測(cè)誤差對(duì)比

為了進(jìn)一步說(shuō)明實(shí)驗(yàn)結(jié)果，本文選取了常用的4 種合適的度量標(biāo)準(zhǔn)：平均絕對(duì)誤差（MAE,mean absolute error）、平均絕對(duì)百分比誤差（MAPE,mean absolute percentage error）、均方根誤差（RMSE,root mean square error）和平均絕對(duì)比例誤差（MASE,mean absolute scaled error），用來(lái)對(duì)比模型性能。

由于MAE 的離差被絕對(duì)值化，不會(huì)出現(xiàn)正負(fù)相抵消的情況，因此MAE 能更好地反映預(yù)測(cè)誤差的實(shí)際情況。MAE 的計(jì)算式為

如果一直讓預(yù)測(cè)值遠(yuǎn)大于真實(shí)值會(huì)造成實(shí)際的資源利用率很低，使分配的資源大量閑置。因此，引入MAPE 來(lái)避免發(fā)生預(yù)測(cè)值無(wú)限大于真實(shí)值的情況，從而避免資源浪費(fèi)。MAPE 的計(jì)算式為

RMSE 代表預(yù)測(cè)值和觀察值的樣本標(biāo)準(zhǔn)差，主要用來(lái)聚集預(yù)測(cè)誤差的大小，通常在不同的時(shí)間下，以一個(gè)量值來(lái)表現(xiàn)其預(yù)測(cè)的能力。RMSE 的計(jì)算式為

MASE 是針對(duì)所有值定義的歸一化統(tǒng)計(jì)量，并且同等地對(duì)誤差進(jìn)行加權(quán)，因此它是用于比較不同預(yù)測(cè)模型質(zhì)量的一個(gè)很好的指標(biāo)。MASE 的計(jì)算式為

上述4 種度量標(biāo)準(zhǔn)中，yt是真實(shí)值，是預(yù)測(cè)值，n是時(shí)間序列長(zhǎng)度，而且這4 種度量標(biāo)準(zhǔn)的值越接近0，表明真實(shí)值與預(yù)測(cè)值之間的誤差越小，預(yù)測(cè)模型的性能越好。3 種預(yù)測(cè)模型的性能對(duì)比統(tǒng)計(jì)結(jié)果如圖3 所示。為了方便比較，首先對(duì)CPU和內(nèi)存這2 種資源進(jìn)行了歸一化處理。

此外，本文還將提出的 ES-TCN 模型與ARIMA、RNN、LSTM 進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，與ARIMA 模型相比，ES-TCN 模型不需要進(jìn)行復(fù)雜的數(shù)據(jù)預(yù)處理；與RNN 模型相比，ES-TCN模型避免了RNN 中經(jīng)常出現(xiàn)的梯度爆炸或梯度消失問(wèn)題；與LSTM 模型相比，ES-TCN 模型可以進(jìn)行大規(guī)模并行處理，網(wǎng)絡(luò)訓(xùn)練和驗(yàn)證的時(shí)間都會(huì)變短，因此計(jì)算成本更低。

圖3 3 種預(yù)測(cè)模型的性能對(duì)比統(tǒng)計(jì)結(jié)果

5 結(jié)束語(yǔ)

本文提出了一種新的云資源時(shí)間序列預(yù)測(cè)模型用來(lái)對(duì)部署在Kubernetes 上的應(yīng)用未來(lái)的資源（CPU 和內(nèi)存）使用量進(jìn)行預(yù)測(cè)，該模型結(jié)合了ES和TCN，不僅提高了模型的泛化能力，還提高了模型的預(yù)測(cè)精度和穩(wěn)定性。采用TPOT 調(diào)參思想對(duì)參數(shù)進(jìn)行優(yōu)化，快速地為T(mén)CN 模型找到模型參數(shù)的最優(yōu)組合，在節(jié)省了模型訓(xùn)練時(shí)間、大大減少了工作量的同時(shí)，進(jìn)一步提高了模型的預(yù)測(cè)性能。

為了驗(yàn)證本文提出的模型的預(yù)測(cè)效果，選取了Google 云計(jì)算中心數(shù)據(jù)集的CPU 和內(nèi)存資源，并與2 種單一預(yù)測(cè)模型以及其他模型進(jìn)行了對(duì)比實(shí)驗(yàn)。同時(shí)，使用4 種常用的標(biāo)準(zhǔn)指標(biāo)用于比較模型的性能。實(shí)驗(yàn)結(jié)果表明，與其他模型相比，本文提出的模型具有更高的預(yù)測(cè)精度、穩(wěn)定性和泛化能力，進(jìn)一步完善了Kubernetes，能夠有效提高資源利用率，有利于容器資源的按需規(guī)劃。