云計算平臺聯合資源調度優化算法研究

李春艷++王茜

摘要：在云計算平臺的資源調度過程中，需要根據資源池所承載業務平臺的負荷情況，及時調整業務平臺所分配的資源。通過對不同類型的資源進行劃分，來分析觸發不同資源調整的條件，在此基礎上探討云計算平臺不同資源下的各種調整策略，以此希望提高云計算平臺資源調度整體的效率和性能。

關鍵詞：云計算；云計算平臺；資源調度；優化算法

中圖分類號：TP393 文獻標識碼：A 文章編號：1007-9416（2017）02-0146-02

隨著云計算平臺的規模化應用，越來越多的業務平臺部署在云資源池上。因此在云計算平臺資源管理過程中，為提高資源的利用效率和平臺的整體運行性能，需要對業務平臺的資源調度進行動態調整。但在各種不同的情況下如何對各種資源進行調整？具體的調整策略是什么？這些是云計算平臺資源管理中需要去進一步研究的問題。

1 云計算概述

云計算是能提供動態資源池和虛擬化的下一代高效率和高可靠性的服務平臺[1]。

1.1 云計算定義

云計算的定義可以從幾個方面理解。狹義上是基于互聯網，將各種服務器資源按照用戶的需求進行獲取。從廣義的角度上看，可解釋為基于互聯網獲取用戶所需的各種服務，也就是各種服務的交付使用模式。因此，可將云計算定義為一種服務模式，它是按照用戶所需要的各種服務提供相關資源，并將相關資源進行管理和調度。云計算的概念美國國家標準技術研究院（NIST）給出了定義：

云計算是一種以互聯網為基礎，以便捷、按照用戶具體需求的方式訪問以某種策略進行配置的資源共享池的模式。同時資源共享池盡量以較少的成本和供應商交互，快速計算、提供或回收各種資源[2][3]。云計算具有封裝性、可擴展、可靠性、容錯控制，、并行處理能力、按需服務、經濟性等多個特點[4]。

1.2 資源池

云計算將各種計算任務分配至由大量計算資源構成的資源池中。這些計算資源共同虛擬構成了云計算平臺的資源池，具體包括存儲資源、計算資源、網絡資源。云計算的本質是如果高效率的進行資源池的管理和調度，從而為用戶高速、安全的提供需要服務。

2 云計算平臺資源調度

2.1 云計算平臺資源調度目的

2.1.1 以降低能耗為優化目標

大型數據中心每年消耗的電能是一個中等城市電量的好幾倍，所以降減能耗是一個非常重要的目的。

2.1.2 以提高服務質量和資源利用率為目標

云計算的核心問題是如何將資源進行合理的調度和分配，使得用戶盡快得到所需資源進行計算服務，同時提高各種資源的調度效率，優化資源利用率。

2.1.3 保證服務質量Q0S

任何服務提供商衡量標準都是服務質量Q0S[5]。對于云計算，在提供各種服務的時候也需要最大的保證Q0S，進一步體現云計算的優越性。

2.1.4 虛擬化特性

云計算提供的各種資源和服務整體來說對于用戶是經過了封裝的。終端用戶使用云計算平臺執行各種服務，是不用具體知道具體方法[6]。執行這些服務請求的是服務器，甚至只是虛擬出來的服務器。這種架構對用戶來說不存在對設備的依賴，減少了使用的復雜性[7]。

2.2 云計算平臺資源調度解決方案

云計算應用核心的技術是資源的管理和調度，尤其是資源的合理調度與分配。近幾年來，針對云計算資源調度問題，相關的研究單位和研究人員也提出了許多解決方案。

2.2.1 為滿足客戶需求，完成時間最佳資源分配（CORA）問題[8]

完成時間建立客戶/工作效用函數。在資源調度時，考慮到不同工作對資源需求的異構性和工作完成時間敏感度的不同，以客戶對工作完成時間的敏感度為效用函數，以工作對資源的需求量和集群資源容量限制為約束條件，來優化求解集群中所有工作最小效用的最大值。

2.2.2 基于博弈理論的資源分配算法[9]

①單個參與者的獨立優化問題：使用二進制整數規劃方法處理；②多個參與者的綜合優化問題：使用進化算法處理。

同時進化算法將優化和公平兩個原則都考慮進去，給出較好的折衷資源分配方法。

2.2.3 基于蟻群優化的計算資源分配算法[10]

①首先預測所有可用節點的計算質量；

②根據云計算環境的特點，利用蟻群優化算法得到一組最優的計算資源。

2.2.4 一些商業的虛擬機資源管理工具[11]

如VMware Capacity Planner和IBM WebSphere CloudBurst。這種方法考慮的較多的是CPU、內存等的相關資源分配，對于網絡資源方面的調度問題沒有過多的進行考慮。

2.3 云計算平臺資源調度相關算法

對于資源的調度優化是云平臺性能優化的重點。

2.3.1 FIFO

相對于來說，最簡單的調度算法。將用戶提交的作業全部放在隊列中，依照先進先出的方式進行調度。

2.3.2 Capacity

這種調度算法將資源平均分配給所有的作業，如果這些提交的作業對于資源的需求比較相同的時候，是效率較高的，但是沒有考慮到作業的多樣性，有一定的局限。

2.3.3 Fair

這種資源調度算法，首先要根據用戶組或者其它具體情況進行綜合配置，為每個用戶組提供一個獨立的資源池，然后采用公平共享的原則對作業就行共享資源的劃分。

2.3.4 Deadline Scheduler

這種調度算法將作業規定了一個時間，在這個規定的時間內必須完成，如果沒有完成直接回收資源。預防。

3 云計算平臺資源調度優化方案

3.1 提高云計算平臺資源利用率的方法

對于提高一個云計算平臺資源利用率有以下兩個方法：

3.1.1 保持整個集群的所有節點都處于一種幾乎滿載的狀況

通過多隊列的調度策略，通過作業等待隊列與運行隊列的調度執行的緩沖與配合，來保持所有的資源都在使用。

3.1.2 提高單個節點的使用效率

通過將作業以某種方式進行類型的劃分，然后依據作業的類型來分配節點資源提高單個節點的使用效率。

3.2 云計算平臺資源調度優化方案

一個節點的計算資源有多種，考慮算法的資源的調度運行情況和實際情況，將所有的Reduce作業類型簡單分成CPU和磁盤資源依賴型。

對于作業類型的劃分有兩種模式。

3.2.1 用戶指定作業類型

用戶可以將作業依賴類型參數指定為：

CPU資源依賴型（CPU_dependant）；磁盤資源依賴型（Disk_ dependant）；

對于沒有指定參數的作業類型，則直接安裝原算法中指定的類型進行處理。但是這種作業配置要求用戶對于作業類型和算法要有一定的專業知識，所以對于沒有這方面知識的用戶來說比較困難。

3.2.2 作業在調度執行程序中指定作業類型

①首先等待作業根據條件進入運行隊列，調度器選取Map任務執行。

②將任務統稱為Pilot，對它進行資源分析，確定是屬于哪種作業。

通過對作業整體類型進行劃分，將一道作業分解為Map-Shuffle和Reduce-compute過程。確定作業類型的具體方式如下[12]：

（3.1）

MID、MOD、SID、SOD： Map和Reduce任務copy階段輸入和輸出數據的大??；

MTCT：Pilot任務的整個生命周期；

DIOR：磁盤I/O比率，根據這個比率的數值來對具體的作業類型劃分。

3.2.3 優化的指定作業類型

如果出現數據本地化不佳的任務，需要從其他節點上下載Map任務的輸入，因此MTCT較大，根據3.2計算出來的數值很可能是CPU依賴型。但是，實際上這類型的任務以磁盤依賴型任務較多。將3.1進行優化得出以下作業類型劃分的方式[13]：

CPU依賴型：

（3.2）

磁盤依賴型：

（3.3）

CIR、COR：Pilot任務combine輸入和輸出結果；

：參數因子，用來根據實際情況進行調節；

MTET：任務執行時間；

任務的執行時間：MTET（MAP_TASK_EXEC_TIME）。

3.3 云計算平臺資源調度優化算法

在多隊列作業調度中引入多級調度策略，首先為每個用戶組設置了兩個作業隊列。

①作業等待隊列。按照作業優先級以及提交時間順序進行綜合排序，在初始化進入作業運行隊列開始調度。

②作業運行隊列。為每個作業隊列分配一定的資源配額，配額管理方法與Capacity調度算法一致。運行隊列還可分為可共享型隊列和非可共享型隊列兩類。可共享型隊列中的資源配額回收中加入了搶占共享機制。

依據作業類型的特點和需求，在云計算資源歸一化的基礎上，實現資源調度的優化。其中算法流程圖如圖1。

本文重點研究與分析了各種不同的資源管理調度方法、同時充分考慮云計算平臺運行的實際情況，針對不同的資源分析觸發這些資源調整的條件，并提出具體算法。此外，針對算法如何更加優化，比如，資源搶占、防止乒乓效益等，這也是云服務提供商非常關心的問題。因此，資源分配策略的不斷改進和優化，需要更多的研究和探索。

參考文獻

[1]李喬，鄭嘯.云計算研究現狀綜述[J].計算機科學，2011，38（4）：30-35.

[2]S. Ghemawat，H.Gobioff， S.T.Leung.The Google File System. Communications of the ACM. Volume 37，Issue 5，pp.29-43，2003.

[3]L.A.Barroso J.Dean U.H lzle.Web Search for a Planet：The Google Cluster Architecture.IEEE Micro.Volume23，Issue 2，pp. 22-28， 2003.

[4]吳朱華編著.云計算核心技術剖析[M].北京：電子工業出版社，2011：79-82.

[5]趙立威，方國偉.讓云觸手可及微軟云計算實踐指示[M].北京：電子工業出版社，2010：153-155.

[6]韓建民，鹿玲杰.資源調度機制在計算機控制系統中的應用.計算機應用[J]，2013，41（2）：5-6.

[7]I.Menken， G.Blokdijk. Cloud Computing Virtualization Specialist Complete Certification Kit - Study Guide Book and Online Course. Emereo Pty Ltd. 2009.

[8]何福貴，侯義斌.基于有限優先級的動態調度分組算法.北京工業大學學報，2013，34（8）：11-12.

[9]張鵬飛.云計算數據中心調度算法研究[J].電子世界，2014（3）：3-66.

[10]林偉偉，齊德昱.云計算資源調度研究綜述[J].云計算資源調度研究綜述，2012（10）：127-134.

[11]C. Guo， G. Lu， et al. Secondnet： A data center network virtualizat ion architecture with bandwidth guarantees[C].The 6th International Conference， USA ，December 2010，1-12.

[12]HIEU B T，NOBUYAMA E. A local voting method by scanning high-confidence level voters for vanishing point detection[C]/ /Proc ofSICE Annual Conference.2011：790-795.

[13]何一舟.MapReduce的性能分析與優化[D].武漢：華中科技大學，2011：68-74.