Openstack平臺資源負載預測方法研究?

黃 秀 蔡全旺 王慶年

（中國船舶重工集團公司第七二二研究所 武漢 430205）

1 引言

云計算以即付即用的方式為人們提供了彈性的計算資源，引發了信息通信技術產業的徹底變革。然而云平臺中的資源一般是靜態配置，在大多數的實際應用中無法最大限度地充分利用資源。火狐的數據中心經理德里克（Derek Moore）指出，Mozilla的數據中心服務器CPU利用率在大部分情況下處在6%～10%，這無疑是巨大的浪費。因此，物理服務器上某些資源使用超過限定閾值時，將一些虛擬機遷移到其他物理機上，以保證服務質量，降低負載；在資源利用率低于限定閾值時，將虛擬機集中遷移到一個物理機上，關閉閑置的物理機，實現節能。

Openstack作為一個開源的云計算工具，已經被許多大型的軟件公司，諸如IBM，Rackspace所采用。在Openstack中，資源調度主要分為三步：主機過濾、權值計算、主機選擇，具體的虛擬機分配由nova-scheduler模塊負責，但這只是一種靜態的資源分配，虛擬機在初始調動后就不再遷移，實際資源利用率低下，因此我們需要一種動態的調度算法來補充現有算法的不足，提高資源利用率，降低能耗。

本文研究的動態調度算法重點在負載預測算法的研究上，主要是：采用預測算法預測未來下一時刻系統的負載，以便調度系統能夠提前做好資源調度準備。

2 相關研究

2.1 負載預測技術

常見的負載預測算法包括時間序列預測［1］、灰色預測、BP神經網絡預測和其他預測算法，許多研究人員在上述各領域紛紛提出了自己的預測算法。李丹程等［2］利用回歸分析方法，預測云計算環境下服務器負載情況的變化，提出了資源動態調度算法，將計算任務遷移到更合適的服務器，達到提高集群計算能效目的。Beloglazov等［3］則在主機過載檢測中采用局部回歸算法對CPU的利用率進行預測，將預測值與門限值進行比較，從而做出是否需要對虛擬機進行調度的決策。灰色預測是一種對含有不確定因素的系統進行預測的方法［4］，當預測序列具有指數增長特性時才能凸顯該模型的作用。Li等［5］則使用的是BP神經網絡模型，將虛擬機的負載信息作為輸入來預測服務響應時間，然后預測的服務響應時間就可以被當做動態調度策略的基礎來進行虛擬機的調度。馬堯等［6］在他們的預測算法中采用分形插值方法對Openstack中資源負載情況進行預測，以對虛擬機運行調度提供參考，進而達到提高集群計算效能的目的。Kusic等［7］提出了一種有限預測控制作為資源調度的解決方案，作者使用一個Kalman濾波器來預測未來負載。Herbst等［8］在他們的文章中提出了一種基于決策樹的自適應方法，該方法可以根據一個給定的上下文選擇合適的預測方式。物理機的負載值是隨時間變化的，因此本文采用時間序列預測法作為負載預測的模型。

2.2 Openstack云平臺簡介

Openstack是現今最活躍的開源項目之一，它采用模塊化設計，主要由 Keystone，Glance，Hori?zon，Nova，Swift，Cinder，Neutron等7個模塊構成［9］。Keystone是認證管理組件，提供了其余所有組件的認證信息的管理，創建和修改；Glance負責鏡像管理，提供了對虛擬機部署時所需的鏡像的管理；Ho?rizon是儀表盤組件，提供了以web的形式對所有節點的所有服務的管理；Nova主要負責虛擬機的生命周期，提供虛擬機的創建，銷毀，遷移，快照等服務；Swift是對象存儲服務組件；Cinder是塊存儲組件；Neutron是網絡服務組件，負責集群網絡及租戶網絡的管理。Openstack組件主要通過Restful Api進行信息的交互，內部組件則通過AMQP進行信息交換［10］。

3 負載預測算法研究

3.1 預測模型選取

預測模塊最主要的目標就是預測未來某時刻的工作負載，然后根據用戶定義的伸縮策略進行調整。在這其中涉及到兩個重要的問題，一個是數據，另一個就是預測方法。Chen等［11］在他們的文章中就對幾種時間序列預測方法進行了比較，主要是自回歸移動平均模型（ARMA），自回歸模型（AR），指數平滑模型（ES），自適應指數平滑模型（TAES），移動平均模型（MA）的比較。表1是它們的比較結果。

表1 不同預測模型的比較

從表中可以看出，ARMA，AR及ES模型是表現最好的三個，ARMA模型效果是最佳的，但其算法相對其他兩個而言很復雜，計算量也比較大，在實際運行時可能會占用一部分的計算資源。故本文根據此文獻的研究結果選擇了一次指數模型作為此次的預測模型。一次指數平滑的預測計算公式為

一次平滑值，yt是t期的實際觀測值，t+1是t+1期的預測值，α是加權系數，取值范圍為0＜α＜1。當數據樣本的個數大于15項時，一次平滑初值一般就取為樣本初值；若小于15項，則一般取樣本前三項的平均值。

3.2 權系數的動態選取

從上述的一次指數平滑公式可以看出，權系數α是固定不變的，很顯然當系統數據波動較大時，α極有可能并不是此時的最優系數，從而預測的準確度也會受到影響，因此如何動態地選取最優的權系數成為了關鍵。

文獻［12］中運用數學推導的方式導出了一種動態的指數平滑模型，它是將傳統的指數平滑模型的系數進行了歸一化處理。我們將一次指數平滑的公式進一步展開如下：

上式呈現的動態預測公式中，α(t)的最終取值結果也是依靠靜態的α的選取，一般情況下，α根據人們的經驗來取值，這無疑也會影響到預測的準確度，因此我們需要將靜態的α選取變為動態的。

本文中，我們采用預測值與觀測值的誤差平方和SSE最小作為衡量α值是否為最優的標準，也即

圖1 預測算法流程圖

通過采用兩種一維搜索算法，即Fibonacci法和黃金分割法以獲得最優系數，分別計算采用Fi?bonacci法時獲得的系數αk1和采用黃金分割法獲得的系數αk2，然后比較SSE(αk1)和SSE(αk2)，取αk=arg min{SSE(αk1)，SSE(αk2)}，Fibonacci法和黃金分割法的偽代碼如Algorithm1和Algorithm2所示。

取得最優系數后，就可以代入歸一化公式中中，求出歸一化后的權系數，進行預測。

預測算法描述如圖1所示。

Algorithm1 Fibonacci

輸入：初始區間［a1，b1］，最終長度L

輸出：極小值點x_opt

輸入：初始區間[a1,b1]，精度tol，函數f

輸出：極小值點xopt

綜合來看，本文提出的算法是先由兩種搜索算法搜索出最佳的權系數，這一點相對于傳統的指數平滑法來說有進步之處。傳統的指數平滑法是根據經驗判斷法或試算法來選定權系數，這兩種方法很容易受到主觀影響，從而干擾到實際應用中的預測精度；另一方面，其他的預測模型，如回歸模型，移動平均模型等在實際使用中是相對固定的，模型不能夠依據負載實際的變化情況而進行動態的調整，這就容易出現預測結果不夠準確。由于本文對權系數進行歸一化，權系數成為了時間的函數，隨著時間的推移，權系數也在不斷變化，預測模型也可以說是在動態變化，很好地迎合了負載在動態變化這一特點。

4 基于Openstack的負載預測實現

在Openstack中實現負載預測分兩步進行：數據采集，負載預測，數據采集模塊為預測模塊提供物理機中各項資源的歷史數據。由于本文采用的實驗環境是all-in-one的，數據采集模塊和預測模塊位于同一個物理節點。本文主要采用Openstack中的Ceilometer項目來進行資源的監控，進而為預測模塊提供數據，預測模塊則采用上述的動態一次指數平滑模型來實現。

4.1 數據采集功能實現

Ceilometer采用兩方式來采集信息，一種是通過Notification agent監聽系統中的Message Queues主動消費Openstack內各個服務自動發出的Notifi?cation消息，另一種是通過Polling agent周期性調用各個服務的API去主動輪詢獲取數據。圖2是Ceilometer采集信息的架構圖［13］。Compute Volume Network Image Object Storage

圖2 Ceilometer信息采集架構圖

由于本文需要的是物理機的CPU利用率等數據信息，這些信息不會通過Notification來發出，故我們采用第二種方式來獲取信息。Ceilome?ter-agent-central組件是Polling agent中的一種，它可以通過snmp協議直接收集物理機的CPU、MEM、IO等信息，與此同時還需要對Ceilometer增加一些額外的配置，由于增加的配置原理基本相同，這里我們以采集物理機CPU信息為例。

首先需要在物理機上安裝snmp和snmp包，然后修改配置文件snmpd.conf：

agentAddress udp：192.168.0.108：161

view systemonly include.1

重啟snmp服務后，在Ceilometer的pipeline.yaml文件中加入以下信息（也可以根據自己的需求配置）：

重啟Ceilometer服務后，就可以通過相關命令查詢到新增的監控項和監控數據。

4.2 預測功能實現

在設計負載預測模塊時，主要是通過調用Ceil?ometer的API讀取存數據庫中的數據，然后將數據進行預處理后傳入到預測模塊。

詳細流程如下：

1）調用Ceilometer提供的REST API獲取物理機的監控數據。

2）Pre-process對數據進行預處理，剔除偏差過大的數據。

3）根據負載的歷史數據調用實現的動態一次指數預測算法預測負載的變化規律。

圖3是本文設計的一個系統的預測架構圖。

圖3 系統預測架構圖

5 實驗結果及分析

在本次實現中采用了Webbench作為本文的并發測試工具，Webbench最多可以模擬3萬個并發連接去測試網站的負載能力。測試的硬件環境為all-in-one，使用的服務器的硬件配置為Intel Xeon 6核CPU，內存容量為8G，硬盤容量為2TB。在這臺物理服務器上部署了Openstack Queens版本的云平臺環境，在Openstack中部署的虛擬機集群配置如表2。

表2 虛擬機配置

各虛擬機服務器之間通過HAProxy負載均衡器來分發Webbench產生的負載，HAProxy配置中使用了負載均衡算法時roundrobin。由于條件有限，故Haproxy在flavor類型為ds2G的一臺虛擬機中進行配置。實驗架構如圖4所示。

本文主要考慮了在負載突然增大的情況下，對宿主機CPU利用率的預測情況，實驗通過Ceilome?ter監控模塊獲取使用Webbench模擬的在負載增大并維持一段時間宿主機的資源利用率情況，預測資源的利用率。

圖4 實驗環境中的虛擬機配置

在實驗過程中，利用Webbench增大模擬用戶數，模擬真實系統環境下負載增大時資源需求的變化，監控系統每3分鐘采集一次信息，通過監控系統獲取90分鐘內的宿主機資源數據，主要是CPU的利用率信息，實驗中利用這90分鐘內的數據計算出預測值。在實際的測試中，Fibonacci取得的最優系數是0.875，而黃金分割法計算得出的最優系數是 0.95，經過計算，SSE（0.875）=0.09663，SSE（0.95）=0.03448。當權系數α取值為0.95時，CPU利用率的預測結果如圖5所示。

圖5 CPU利用率實際值與預測值

我們可以看到，動態自適應的一次指數平滑模型很好地擬合了數據未來走勢，預測精度也比較高，因此在實際的資源調度的方案設計中具有很高的實用性，計算也不太復雜。但此次實驗也存在著不足，從上面的實驗過程我們可以看到，權系數α是分別采用Fibonacci法和黃金分割法計算誤差平方和后比較的出來的，當歷史數據增長到一定長度時，計算會變得復雜，這樣一來反而使預測的目的處于次要地位，因此如何適當地選取數據，設計恰當的時間窗口，使得計算量合適，預測精度又比較準確是下一步的研究工作。

6 結語

本文在一次指數預測模型的基礎上進行了改進，提出了利用Fibonacci法和黃金分割法來確定最優權系數，從而避免了人工設置權系數帶來的計算偏差，并在Openstack平臺中進行了實驗驗證和結果分析，但正如分析部分所闡述的，在選取合適的數據，設計恰當的時間窗口等方面還有許多要改進的地方。