基于利益相關視角的多維QoS云資源調度方法

蘇命峰，王國軍，李仁發

（1. 中南大學計算機學院, 湖南 長沙 410083；2. 廣州大學計算機科學與網絡工程學院，廣東 廣州510006；3. 湖南大學信息科學與工程學院，湖南 長沙 410082）

1 引言

新形勢下，人工智能、大數據、物聯網的發展如火如荼，云計算的應用越加廣泛，對云計算提供海量、高效運算能力的要求越來超高。云計算環境復雜多變，存在節點異構、數量巨大、易于失效、云資源需求動態變化、存在不確定性等特點，如何高效利用云計算資源，充分滿足云用戶（CU, cloud user）的云計算服務需求，同時考慮云計算服務提供商（CSP, cloud service provider）利益，需要加強云資源管理，優化云任務（CT, cloud task）調度，這成為云計算迫切需要解決的問題。

云計算資源調度問題是 NP完全問題[1]，為解決這一最具挑戰的問題，將大規模、動態、不確定的用戶應用，以云任務形式調度至物理位置分隔、資源異構、多重約束的云資源環境中，實現云資源的最大效用。為提升云用戶和云資源提供商的服務與被服務質量，同時需要對多個目標函數進行優化，比如云用戶主要關注云任務執行時間和系統可用性等，云計算服務提供商主要考慮云系統的能耗、經濟性、可靠性等。

云計算資源調度多關注單目標優化，文獻[2]關注云任務執行時間，面向多用戶云計算服務提出2DFQ（two-dimensional fail queuing）方法，基于長、短云任務隊列區別對待，解決Azure平臺高并發訪問下的猝發性調度問題。文獻[3]關注云任務最終完成時間，在多資源云集群權衡公平、性能、效率，提出了altruistic調度，優先long-term云任務暫時讓出部分short-term云任務的分配資源以取得更高效率和更低任務完成時間。文獻[4]關注云任務響應時間，提出max-min-cloud云任務調度算法優化云工作量分配，在多租戶異構虛擬機的云環境實現高效云資源供給。云系統能耗也是研究熱點，文獻[5]關注云數據中心能耗，針對提出的sliding-scheduled方案，預測云任務資源需求，設計了快速自適應啟發式虛擬機配置方案，實現了最大化云資源處理量和最小化能源消耗。文獻[6]關注云系統能耗，提出了具有machine啟動時間感知的虛擬機擴展策略，設計了實時任務調度算法以保障任務完成時間和節能。文獻[7]關注系統可用性，提出了一種容錯流調度、應用增量聚類算法進行云任務流的快速自動識別與高效調度。文獻[8]關注云計算負載均衡，在云計算中采用隨機算法進行虛擬機調度，試圖解決組合優化knapsack問題。此外，文獻[9-10]關注網絡虛擬性能優化，分別提出了用戶空間的 NF（network function）調度服務鏈管理架構和非負矩陣分解方法，為網絡虛擬化平臺提供公平、高效、動態的資源調度。文獻[11]關注云計算安全，提出了云計算環境下基于后驗概率的隱蔽信道檢測方法。

云計算資源調度的多目標優化，文獻[12]關注負載均衡和性能，提出了高效流調度解決方案，采用D-CLAS（discretized coflow-aware least-attained service）方法將任務流分為少量優先級隊列。文獻[13]提出了一種快速自適應啟發式虛擬機配置的sliding-scheduled方案，預測云任務資源需求，分配可變化的云資源供給窗口，實現最大化云資源處理量和最小化能源消耗。文獻[14]關注云計算系統能耗和性能，在異構云環境調度中提出了一種memetic優化方法。文獻[15]關注云任務完工時間和經濟成本，設計了一種連續合作博弈的 MOG（muliti-objective game）調度算法，并保證云資源效率和公平度。文獻[16]關注CPS（cyber-physical system）任務的響應時間和可靠性，基于遺傳算法求解多目標線性規劃資源模型最優解。

云計算資源調度可以分為虛擬資源調度和物理資源調度，文獻[17-21]關注云數據中心的任務指派、任務回滾、云工作流部署等虛擬資源調度問題。文獻[22-26]關注云計算環境中虛擬機的調度、合并、放置等物理資源調度問題。

以上研究較多關注單個目標優化，多目標優化主要從用戶或者云計算資源提供商的單一視角考慮云計算虛擬或物理資源調度，缺少基于虛擬和物理資源調度，同時從云用戶和云計算資源提供者的利益相關角度，綜合考慮多個目標統籌優化；較多關注云資源靜態調度，缺少云資源動態自適應調度。

基于以上分析，本文研究大規模高并發多任務異構云環境下基于利益相關視角的多維 QoS（quality of service）云資源調度，主要貢獻如下。

1) 提出了MQoS（multidimensional quality of service cloud resource scheduling algorithm）云資源調度算法，綜合考慮 minimumL、maximumS、maximumR，基于虛擬和物理資源調度進行云計算任務的合理分配與資源調度，在具備無后效性的 4種云應用場景取得較高多維QoS度。

2) 提出了多維 QoS云計算體系結構，基于云用戶和云服務提供商的利益相關視角，綜合量化云任務執行時間、云任務最終完成時間、云系統能耗、云系統可用性、云系統經濟5個指標，取得云計算系統最大效用。

3) 設計了高任務差高資源差、高任務差低資源差、低任務差高資源差、低資源差低任務差4種云計算應用場景，系統評估MQoS、FIFO（first in, first out cloud resource scheduling algorithm）、M2EC（multi-metric energy consumption virtual machines scheduling algorithm）3種調度算法的多維QoS度和云數據中心負載均衡差。

2 系統模型與體系結構

2.1 云資源二級調度模型

云計算具有超大規模、資源虛化、按需服務、高可靠性、高可擴展等特點。云計算將計算、存儲、網絡等硬件資源加入資源池，利用虛擬化技術，為CU提供若干虛擬機（VM, virtual machine），接收用戶請求的云任務，將任務執行完畢并返回結果。云計算的資源分為物理資源和虛擬資源，其中，物理資源即物理機（PM, physical machine），包括計算、存儲、網絡等硬件設備；虛擬資源指利用虛擬化技術得到的虛擬機，以云服務器、云存儲、云數據庫等呈現給 CU。云計算的資源調度可以分為虛擬資源調度和物理資源調度，如圖1所示。虛擬資源調度為一級調度，將CU提交的任務，根據用戶需求，運用合適的策略調度至滿足要求的VM上執行；物理資源調度為二級調度，根據VM的性能要求和PM的可用資源等信息，將VM映射至合適的PM上運行。通過這兩級調度，需要盡可能滿足CU需求，兼顧CSP利益，實現云計算最大效應。本文所用符號及其含義如表1所示。

圖1 云資源二級調度模型

表1 主要符號及其含義

2.2 多維QoS云計算體系結構

為了實現高效云資源調度，基于CU和CSP的利益相關視角，面向虛擬和物理資源調度提出多維QoS云計算體系結構，如圖2所示，分為4層，從下往上依次為硬件資源層、多維QoS層、虛擬資源層和云用戶層。

圖2 多維QoS云計算體系結構

硬件資源層：由n個位于不同地理位置的云數據中心（CDC, cloud data center）組成，每個CDC擁有數量、性能不同、同構或異構的物理服務器、網絡設備、存儲設備等硬件。CDC將這些冗余的硬件設備加入云資源池，通過虛擬化技術，可以同時運行性能配置不同、操作系統各異的多個VM。

多維QoS層：面向CU和CSP協調和實現多維QoS服務目標，通過云計算的VMM/Hypervisor資源調度，優化管理、實時監控，取得最少的云任務執行時間、云任務最終完成時間和云系統能耗，獲得最大的云系統可用性、云系統經濟，充分滿足CU和CSP的利益。

虛擬資源層：CDC根據CU需要，創建若干擁有不同配置、不同操作系統的VM，可以快速、靈活地實現 VM 的創建、遷移、掛起、停機等操作。每個VM可以為多個CU服務，但在同一時間只能執行一個CU提交的云任務。遇到高并發訪問請求時，可以實時增開多個VM并行工作；當任務空閑時，可以關閉多余的VM，以實現可擴展、彈性計算服務。

云用戶層：用戶接入Internet，可以在任何地點、任何時間，以任何方式訪問CU申請的VM，提交云服務請求，就像訪問本地物理服務器一樣，給CU提供同樣，甚至更好、便捷的服務體驗。

3 問題建模與量化

3.1 云資源調度建模

多維QoS云資源調度，基于CU和CSP的利益相關視角，從多個維度合理調度CU資源請求，優化虛擬和物理資源調度實現云計算系統的最大效用，包括提高CU的云計算體驗度，實現最小完成時間；提高CSP的效益，實現系統的高可用和高能效。

定義1多維QoS云計算。QoS在網絡中定義為服務質量，用來解決網絡時延和擁塞，為用戶提供更好的網絡通信服務。在云計算中，QoS指CSP為CU提供按需定制、按需付費的云服務質量。多維QoS云計算定義為基于CU和CSP的利益相關視角，從 CET（cloud task execution time）、CFT（cloud task final completion time）、CEC（cloud system energy consumption）、CA（cloud system availability）、CE（cloud system economy）5個維度，進行云計算任務的合理分配與資源調度，對云計算環境的用戶體驗、系統能耗、系統經濟、可用性等進行客觀評價，量化為多維QoS度性能指標，以充分滿足CU和CSP的利益。

定義2多維QoS云資源調度模型。該模型是一個五元組模型，其中，由n個CU組成的用戶集合，每個用戶提交的CT相互獨立，互不干擾，云任務請求總體呈Poisson分布；，由Cn個地理位置獨立、互不影響的CDC組成的云數據中心集合，其中，第i個云數據中心，其中，是第i個云數據中心的第j臺物理機；Q是一個多維QoS等級，其量化值為多維QoS度Qs；O是在多維QoS云計算環境中定義的目標函數，具體如式(1)所示，通過CET、CFT、CEC、CA、CE這5個難度進行具體量化；Θ為實現多維QoS云資源調度的優化算法。

以云任務執行時間為例，云任務集在虛擬資源集中的虛擬機上執行的時間，可以構成云任務執行時間關系矩陣A，具體如式(3)所示，其中，CETij為云任務CTj在虛擬機vmi上的執行時間。

3.2 多維QoS性能指標量化

在多維QoS云計算環境中，主要選取云任務執行時間CET、云任務最終完成時間CFT、云系統能耗CEC、云系統可用性CA和云系統經濟CE，進行具體性能指標量化。

3.2.1 云任務執行時間

一個CU提交的CTj在第k個CDC的第i個虛擬機上執行，其執行時間CETijk包括虛擬機啟動時間云任務運行時間和虛擬機關機時間，如式(4)所示。

對于同一類型的虛擬機vmi，其和是一個固定常量。主要取決于云任務長度L和虛擬機的平均服務速率S[14]。

定義3云任務執行時間CET。在時間段T內，不考慮云任務排隊等因素，在多維QoS云計算環境中所有虛擬機直接執行 CU提交云任務的時間總和。一個CSP由n個CDC組成，每個CDC通過虛擬化技術擁有若干個VM，其中第k個數據中心擁有mk個VM，每個VM可以運行若干云任務，其中，第j個 VM 上運行nj個云任務。云任務執行時間CET如式(5)所示。

3.2.2 云任務最終完成時間

CTj在第k個CDC的第i個VM上執行，其云任務最終完成時間CFTijk為其云任務等待時間（CWT, cloud task wait time）與其云任務執行時間CETijk之和，如式(6)所示。任務等待時間，如式(7)所示，其中，為分配到虛擬機vmi的CTj執行前vmi需要處理的云任務數量。

云任務的CWT取決于其虛擬機上運行的云任務數量和每個云任務的執行情況。在大規模高并發多任務云計算環境下，云任務隊列的云任務數量越多，云任務的執行處理時間越長，云任務的排隊等待時間越長。第k個CDC的第i個VM上執行的云

結合式(6)，可以得出在第k個CDC的第i個VM上執行的CTj，其云任務最終完成時間為

定義4云任務最終完成時間CFT。在時間段T內，在多維QoS云計算環境中將所有云任務提交給虛擬機，經過任務排隊等因素，最終得到執行所需要的時間總和，主要關注多維QoS云計算的用戶體驗。云計算環境由n個CDC組成，每個CDC通過虛擬化技術擁有若干VM，其中，第k個數據中心擁有mk個VM，每個VM可以運行若干云任務，其中第j個VM上運行nj個云任務。其最終完成時間CFT如式(8)所示。

3.2.3 云系統能耗

第k個CDC的第l個物理機pmkl的云系統能耗CECkl，可以通過物理機pmkl在時間段T=[T0-Tn-1]內的能耗PCpmkl(χ(t))累加得到，如式(9)所示。

基本能耗可以理解為物理機的待機能耗，一般來說，同一種類型的物理機的基本能耗是一個固定常量。動態能耗為物理機提供云服務時所需要消耗的電能，根據提供云服務的不同而不同，云服務類型包括CPU密集型、數據密集型、I/O密集型等。物理機的能耗由 CPU、RAM、存儲等設備的能耗組成。由于 CPU是最主要的電能消耗設備，為了簡化問題，物理機的待機能耗和動態能耗可以通過CPU的電能消耗來計算[27]，如式(11)所示。

定義5云系統能耗CEC。在多維QoS云計算環境中全部數據中心的所有物理機在單位時間內的能量消耗之和。云計算環境由n個CDC組成，其中第k個CDC擁有個物理機，整個云計算系統在時間段T內的云系統能耗CEC，如式(12)所示。

結合式(9)～式(12)，可以得出云系統能耗CEC為

3.2.4 云系統可用性

第k個CDC的第m個虛擬機vmkm的云系統可用性CAkm，可以通過計算虛擬機vmkm在時間段T內的系統正常運行的概率或時間占用率得到，如式(13)所示。

定義6云系統可用性CA。為在多維QoS云計算環境中所有虛擬機正常提供云服務的平均概率。云計算環境由n個CDC組成，其中第k個CDC擁有個虛擬機，那么，整個云計算環境在時間段T內的云系統可用性CA，如式(14)所示。

結合式(13)和式(14)，可以得到云系統可用性CA為

3.2.5 云系統經濟

第k個CDC的第l個物理機pmkl的云系統經濟CEkl，可以通過物理機pmkl在時間段T內的云計算收益（CCR, cloud computing revenue）與經濟成本（EC, economic cost）計算得出，如式(15)所示。

其中，HSCpmkl(T)為第k個CDC的第l個物理機pmkl在時間段T的硬件軟件成本，包括硬件采購和軟件成本；SOMCpmkl(T)為第k個CDC的第l個物理機pmkl在時間段T的系統運維成本，包括服務器能耗、制冷能耗、系統管理等成本。

定義7云系統經濟CE。在多維QoS云計算環境中所有物理機在單位時間內的平均經濟效益。一個云計算環境由n個CDC組成，其中第k個CDC擁有個物理機，那么，整個云計算環境在時間段T內的云系統經濟CE如式(17)所示。

結合式(15)～式(17)，可以得出云系統經濟CE為

3.3 多維QoS度量

3.3.1 數據的歸一化

多維QoS云計算的Qs可以通過CET、CFT、CEC、CA、CE這5個維度量化得出。這5個維度組成五維QoS指標向量P=(CET-1, CFT-1, CEC-1,CA, CE)。對每個QoS指標測量n次，那么五維QoS性能指標向量P可以轉換為一個n行5列的矩陣An×5=(aij)n×5。不失一般性地，如果有m維QoS性能指標，就可以得到一個n行m列的矩陣An×m=(aij)n×m，其中，aij是第j維性能指標的第i次測量值。

多維QoS云計算的5個維度具有不同的量綱和單位，為了消除不同評價指標的差異，實現不同量綱和單位的可對比性，需要對每個維度進行數據標準化處理。首先，將矩陣An×m進行z-score標準化處理，利用原始數據的均值和標準差，處理后的數據將符合標準正態分布，如式(18)所示。

3.3.2 數據的量化

多維 QoS量化需要為每個維度的性能指標確定合適的權重。在多維 QoS云計算環境中，基于CU和CSP的利益相關視角，針對CET、CFT、CEC、CA和CE確定五維性能指標的權重向量W=(wCET,其中，wj∈[0,1]是第j維的性能指標權重，并且。將多維 QoS性能指標矩陣與五維性能指標權重向量WT進行乘法計算，可以得到多維Qs度的組合QsT，如式(20)所示。

4 云資源調度算法

4.1 FIFO云資源調度算法

FIFO云資源調度算法[8]按照云任務提交的先后次序，將任務指派到虛擬機，然后將虛擬機按順序依次部署到有空閑資源的物理機上執行。FIFO云資源調度算法是一種最簡單、最基本的調度算法，沒有對云任務調度和虛擬機部署進行任何優化。FIFO云資源調度算法如算法1所示。

算法1FIFO云資源調度算法

輸入CU隊列Qcus，CT隊列Qcts，VM 隊列Qvms，PM隊列Qpms，CDC隊列Qdcs，五維性能指標權重向量W=(wCET,wCFT,wCEC,wCA,wCE)

輸出多維QoS度Qs

FIFO云資源調度算法的輸出是多維 QoS度Qs。步驟 1)～步驟 4)接收 CU的請求，將其對應的CT按先后次序進行排列，并加入CT隊列Qcts。步驟5)～步驟7)將CDC中的虛擬機依次加入VM隊列Qvms。步驟 8)～步驟 17)將 CU請求的 CT按先后次序分配至VM，并部署到CDC的PM上依次運行。步驟 18)根據式(5)、式(8)、式(12)、式(14)和式(17)，分別計算CET、CFT、CEC、CA和CE。步驟19)～步驟20)計算最終的多維QoS度，并返回Qs值。FIFO云資源調度算法的時間復雜度為O(1)。

4.2 MQoS云資源調度算法

MQoS云資源調度算法基于多重Greedy算法，綜合考慮最小云任務長度（minimumL）、VM最大平均服務速率（maximumS）和PM最多剩余硬件資源（maximumR），面向虛擬和物理資源調度進行云計算任務的合理分配與資源調度，從5個維度綜合量化云計算系統的多維 QoS度。在第 5節中，MQoS云資源調度算法在具有無后效性的4種應用場景下，相比傳統方法具有明顯優勢。MQoS云資源調度算法如算法2所示。

算法2MQoS云資源調度算法

輸入CU隊列Qcus，CT隊列Qcts，VM 隊列Qvms，PM隊列Qpms，CDC隊列Qdcs，五維性能指標權重向量W=(wCET,wCFT,wCEC,wCA,wCE)

輸出多維QoS度Qs

MQoS云資源調度算法的輸出是多維 QoS度Qs，Qs值越大，云計算系統效用越大。步驟1)～步驟4)接收CU的請求，將其對應的CT按云任務長度大小進行升序排列，并加入到 CT隊列Qcts。步驟5)～步驟7)將CDC中PM上的虛擬機按平均服務速率高低進行降序排列，并加入VM隊列Qvms。步驟 8)～步驟 17)使用多重 Greedy 算法思想，將每個CU請求的云任務分配到VM上高效運行，同時，將每一個VM部署到當時擁有最多剩余硬件資源的PM上，以取得最大多維QoS效用。步驟 18)根據式(5)、式(8)、式(12)、式(14)和式(17)，分別計算 CET、CFT、CEC、CA和 CE。步驟19)～步驟 20)計算最終的多維 QoS度，并返回Qs值。MQoS云資源調度算法的時間復雜度為

5 實驗及結果分析

本節搭建云計算實驗環境，設置實驗參數，設計無后效性的4種云計算應用場景，分別在不同云任務數和不同虛擬機數的情況下，依次運行MQoS、FIFO、M2EC這3種調度算法，評估它們在云資源調度中的多維QoS度和云數據中心負載均衡差，并進行具體分析。在M2EC多維能耗虛擬機調度算法[27]中，云計算服務提供商將接收的云用戶服務請求指派到虛擬機，然后依次將虛擬機隊列按虛擬機性能從高到低排序，將服務器隊列按物理機性能從高到低排序，再基于改進的首次適合下降（FFD，first fit decreasing algorithm）算法[28-30]將虛擬機優化部署到合適的物理服務器上。M2EC多維能耗虛擬機調度算法的時間復雜度為O(nlbn)。

5.1 實驗環境與設置

本文硬件實驗平臺為一臺x86服務器，硬件配置為 Intel Xeon E5-2650v4 CPU，32 GB DDR4 RAM，1 TB SAS/SATA硬盤，1 Gbit/s以太網卡；操作系統為Windows Server 2012 R2。

軟件采用CloudSim 4.0云計算仿真平臺，該平臺是由澳大利亞墨爾本大學網格實驗室推出的云計算仿真軟件。CloudSim 4.0繼承了GridSim的編程模型，是在離散事件模擬包SimJava上開發的基于Java的函數庫，擴展實現了一系列接口，包括提供虛擬化引擎，實現基于大型云計算數據中心的虛擬化技術，以及虛擬化云的建模和仿真功能。本文應用 CloudSim構建云計算仿真環境，應用于MQoS、FIFO、M2EC這3種調度算法，進行云計算系統的性能測試與分析。

5.2 實驗參數與設置

在實驗過程中，借鑒亞馬遜公開的 AWS（Amazon Web service）云數據中心數據設置18個CDC，每個CDC根據規模的不同配備200～500臺PM（節點），如表1所示，每個節點擁有性能不等的CPU、RAM、網絡帶寬等。根據CU的不同需求，設計了通用型、計算型、內存型、存儲型等4種類型的虛擬機(VM)模板，如表2所示。

表1 CDC配置參數

表2 虛擬機模板參數

為了充分評估 MQoS、FIFO和 M2EC這 3種調度算法在多維 QoS云計算環境下的系統性能，在實驗中模擬高資源差高任務差（HR-HT,difference of high resource and high task）、高資源差低任務差（HR-LT, difference of high resource and low task）、低資源差高任務差（LR-HT, difference of low resource and high task）、低資源差低任務差（LR-LT, difference of low resource and low task）這4種無后效性的云計算應用場景。其中，高任務差指云任務差達到[1, 500]，表示不同CU提交的不同云任務，其云任務長度的數值差達到 1:500；低任務差指云任務差為[1, 10]，表示不同CU提交的不同云任務差別不大，其云任務長度的數值差控制在 1:10以內；高資源差指虛擬機的平均服務速率差達到[1,100]，表示不同的CU租用通用型、計算型、內存型、存儲型等虛擬機，其不同虛擬機的平均服務速率數值差在100:1之間；低資源差指其虛擬機的平均服務速率差為[1,10]，表示不同的 CU租用通用型、計算型、內存型、存儲型等虛擬機，其不同虛擬機的平均服務速率差值控制在 10:1以內。具體如表3所示。

表3 4種云計算應用場景設置

在實驗中，模擬 4種應用場景中，依次設置1×104～9×104個 CU，分別產生 1×104～9×104個云任務，每個CU提交的云任務在時間維度服從Poisson分布。將云任務交給CDC，分別運用MQoS、FIFO、M2EC這3種調度算法，進行任務指派與調度資源，依次計算得到CET、CFT、CEC、CA、CE這5個QoS維度值，最終計算多維QoS度。為了提高測量的準確度與穩定性，每個應用場景的每個測試點分別測試3次，取結果取平均值。實驗的具體參數如表4所示。

表4 實驗參數設置

5.3 實驗結果與分析

通過多維QoS度、云數據中心負載均衡差這2個性能指標對MQoS、FIFO、M2EC這3種調度算法進行云資源調度的性能分析與評估。

5.3.1 多維QoS度

多維QoS度由CET、CFT、CEC、CA、CE這5個性能指標與五維性能指標權重向量WT進行矩陣乘積計算得出。云計算系統的 Qs越大，意味著CU提交的云任務執行時間越少，云任務最終完成時間越少，給CSP帶來的云系統能耗越低、產生的云系統經濟越高，云系統可用性越高，讓CU的體驗也越好，以實現云計算系統的最大效用，充分滿足CU和CSP的利益。

首先，設計HR-HT、HR-LT、LR-HT、LR-LT這4種具有無后效性的云計算應用場景，分別在不同CU規模下，評測MQoS、FIFO、M2EC這3種調度算法的多維QoS度。MQoS云資源調度算法基于CU和CSP的利益相關視角，綜合考慮最小云任務長度、最大VM平均服務速率和最多PM剩余硬件資源等因素合理調度虛擬和物理資源，從多個維度量化云資源使用，優化云任務執行時間、云任務最終完成時間，降低云系統能耗、提高云系統經濟、可用性等，在4個應用場景中均可以保持比較高的多維QoS度，Qs值大于0.7。FIFO云資源調度算法根據CU提交的先后順序，進行最簡單、基本的調度，沒有進行任何優化，在測試時其多維QoS度低，Qs值小于0.36。M2EC多維能耗虛擬機調度算法改進了FFD算法，分別對虛擬機隊列和物理機隊列進行性能的降序排列，對物理資源的調度進行優化，其Qs值在[0.29, 0.80]區間，相比FIFO云資源調度算法有提高；但沒有將云任務指派到虛擬資源進行優化，相比MQoS云資源調度算法，其云任務等待時間偏高，導致CFT偏高，進而影響多維QoS度，降低了 Qs值，在云用戶增加多的情況下，其Qs值下降明顯。從圖3可以看出，MQoS云資源調度算法的Qs值，比其他調度算法都要高，位于[0.70,0.91]區間，遠遠高出FIFO云資源調度算法，總體提升228.99%，和M2EC多維能耗虛擬機調度算法相比，總體提升56.93%。

其次，同樣在HR-HT、HR-LT、LR-HT、LR-LT等4種云計算應用場景中，改變CDC的VM規模，進一步評測MQoS、FIFO、M2EC這3種調度算法的多維QoS度。MQoS云資源調度算法考慮CU和CSP的利益，采用多重 Greedy算法，基于虛擬和物理資源調度綜合優化云資源使用。和在不同云用戶規模的情況相似，MQoS云資源調度算法在不同VM規模情況下，都取得較高的多維QoS度，其Qs值相比其他調度算法都有明顯優勢。沒有進行優化的FIFO云資源調度算法，其多維QoS度始終偏低。M2EC多維能耗虛擬機調度算法改進了 FFD算法，對物理資源調度進行優化，其Qs值介于FIFO和MQoS之間。如圖4所示，MQoS云資源調度算法在4種應用場景的多維QoS度，其Qs值在[0.66, 0.92]區間，遠高于FIFO云資源調度算法的多維QoS度（Qs值在[0.20, 0.31]區間），整體提升206.42%；相比M2EC多維能耗虛擬機調度算法的多維QoS度（Qs值在[0.28, 0.82]區間），整體提升34.26%。

5.3.2 云數據中心負載均衡差

圖3 3種調度算法在4種場景下不同云用戶數的多維QoS度

圖4 3種調度算法在4種場景下不同虛擬機的多維QoS度

在CDC中，不同的虛擬機處理相同的CU處理請求，由于處理能力不同，其所承受的云計算負載程度不同。云資源分配，既要考慮CU的云任務執行工作量，也要考慮虛擬機執行云任務的處理能力。好的云資源調度必須考慮各數據中心每個節點上虛擬機的負載均衡情況。衡量云數據中心負載均衡好壞由云數據中心負載均衡差（LBD, cloud data center load balance difference）來度量。云數據中心負載均衡差越小，說明云計算環境中各數據中心的負載率越均衡，數據中心的相同虛擬機類型的負載值（即虛擬機上執行的云任務工作量與其處理能力比值）越平衡，越能提高云計算系統的多維QoS度。

云數據中心負載均衡差LBD為各數據中心負載率的標準差，如式(22)所示，DCLk為數據中心k的負載率為CSP的n個CDC的平均數據中心負載率。

數據中心負載率DCLk，如式(23)所示，具體為云計算環境中第k個CDC，其執行云任務的所有虛擬機的總計算能力與 CDC的所有物理機的總計算能力的比值，Cvmik為第k個CDC的第i臺虛擬機的計算能力，Cpmlk為第k個CDC的第l臺物理機的計算能力。

在實驗中主要考慮大規模多任務高并發高資源差的云計算應用場景。為了更好測試、比較，分2個測試環境，分別設置不同的CU規模和不同的VM規模，評估MQoS、FIFO、M2EC這3種調度算法的LBD。在不同CU規模下，如圖5所示，FIFO云資源調度算法沒有進行算法調度優化，其數據中心負載均衡差始終偏高，LBD數值在0.65以上。M2EC多維能耗虛擬機調度算法采用改進 FFD算法在負載均衡進行一定的調整和完善，其數值在[0.32,0.59]區間。MQoS云資源調度算法面向 CU和 CSP，采用多重 Greedy算法同時優化虛擬和物理資源調度，LBD處于一個比較低的水平，數值在 0.28以下，遠優于FIFO云資源調度算法，平均總體降低 0.48；相比 M2EC多維能耗虛擬機調度算法也有一定優勢，平均總體降低0.20。

在不同VM規模下，如圖6所示，和在不同CU規模下相似，FIFO云資源調度算法的數據中心負載均衡差始終偏高，LBD數值在0.70以上。采用改進 FFD算法對負載均衡有一定優化的M2EC多維能耗虛擬機調度算法，其數值在[0.41,0.67]區間。MQoS云資源調度算法從多個方面優化物理和資源調度，其處于一個較低的水平，數值在0.32以下，與FIFO和M2EC調度算法相比較，平均總體降低 0.49和 0.27，均具有明顯優勢。

圖5 不同云用戶規模，3種調度算法的LBD

圖6 不同虛擬機規模，3種調度算法的LBD

6 結束語

本文在大規模多任務高并發異構云環境下，基于CU和CSP的利益相關視角，構建多維QoS云計算體系結構，建模多維 QoS云資源調度模型，基于多重Greedy算法思想設計MQoS云資源調度算法，并進行云計算調度仿真實驗與結果分析。實驗結果表明在4種應用場景下MQoS云資源調度算法的多維 QoS度均好于 FIFO和M2EC調度算法，特別在高任務云計算應用場景優勢明顯；同時在大規模多任務高并發高資源差的應用場景中，分別在不同CU規模和不同虛擬機規模情況下，MQoS云資源調度算法的LBD均優于FIFO和M2EC調度算法，取得很好的云計算系統效用，充分滿足CU和CSP的利益。在未來的研究中，將深入研究在大規模多用戶高并發異構云計算環境中動態調整五維性能指標權重，并考慮更細粒度虛擬機等情況下的云資源調度策略與應用。