云數據中心服務器能耗建模及量化計算

周舟　袁余俊明　李方敏

摘 ? 要：構建精確的服務器能耗模型有助于資源提供者預測和優化數據中心的能耗. 針對以往數據中心服務器因未考慮“負載的特征”而導致能耗模型精度低的問題，本文提出一種新的能耗建模及量化計算方法，其主要思路如下：根據數據中心服務器所處理任務特征的不同將其分成三類，分別為計算密集型任務、Web事務型任務和I/O密集型任務;針對每一種類型任務，分析其對服務器各部件能耗的影響;利用“主成分分析法”分析各部件參數對能耗的貢獻并選擇最具代表性的參數，進而結合多元線性回歸和非線性回歸方法建立能耗模型. 實驗結果表明，本文建立的能耗模型預測精度能達到95%以上;與其它模型相比，精度可提高3%左右.

關鍵詞：云計算;數據中心;能耗模型;任務類型;能效優化

中圖分類號：TP311 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標志碼：A

Energy Consumption Modeling and Quantitative

Calculation of Servers in Cloud Data Center

ZHOU Zhou1，2，YUAN Yujunming2，LI Fangmin2

（1. College of Information Science and Engineering，Hunan University，Changsha 410082，China;

2. School of Computer Engineering and Applied Mathematics，Changsha University，Changsha 410022，China）

Abstract：Building an accurate energy-consumption model of servers can assist resource providers in predicting and optimizing energy consumption of data center. To address the problem of low accuracy of energy consumption model caused by the failure to consider "load characteristics" of servers in data center， a new energy consumption model and quantitative calculation method are proposed in this paper. The main ideas are summarized as follows： Firstly， we divide the tasks into three classes： CPU intensive task， transactional web task， and I/O intensive task. Then， energy consumption contributions of all components in a server are analyzed. After that， the dominant component parameters of server energy consumption are chosen by using the Principal Component Analysis （PCA）， to build a power model through the multiple linear regression method and non-linear regression method. Experimental results show that the prediction accuracy of the proposed energy consumption model can achieve more than 95%. Compared with other energy consumption models， the accuracy can be improved by around 3%.

Key words：cloud computing;data center;energy consumption model;task types;energy efficiency optimization

隨著云計算數據中心的大量新建，數據中心的能耗問題越來越嚴重. 近期研究顯示[1-2]：全球數據中心的總數已超過300萬個，耗電量占全球耗電量的1.1%～1.5%. 我國數據中心也發展迅速，總數已達到40萬個，年耗電量已超過500億千瓦，占全國總耗電量的1.5%. 如果以數據中心的PUE（平均電能使用效率）指數來評測，全球先進數據中心的PUE指數為1.2，而我國的PUE指數大于2.2. 與此同時，大量的報告也顯示[3-5]：許多高性能數據中心服務器的利用率卻遠遠低于50%，其原因在于數據中心資源未得到“有效”利用. 因此，節能優化算法的提出有助于提高系統的資源利用率和單位能耗的效用.

能耗模型作為“節能優化算法”的基礎[6-7]，其準確性直接關系到優化算法的優劣. 一個精確、通用、有效的能耗模型不僅為優化算法提供基礎，而且也有利于該模型的擴充. 對于云資源提供者來說，構建精確的能耗模型有助于資源提供者預測和優化數據中心的能耗，提高單位能耗的效用. 因此，對其研究具有十分重要的現實意義.

本文的主要工作如下：

1）基于“任務的特征”構建能耗模型. 不同于其它的能耗模型僅考慮CPU密集型任務，在本文中，基于“任務特征”的不同，任務被劃分為三類，分別為計算密集型任務、Web事務型任務和I/O密集型任務.

2）不同于已存在的能耗模型僅考慮CPU和內存部件，而忽略了磁盤和網絡接口卡部件，本文所提出的能耗模型考慮了與能耗有關的所有部件如CPU、內存、磁盤和網絡接口卡.

3）使用“主成分分析法”分析各部件參數對能耗的貢獻并選擇最具代表性的參數.

4）運用大量的實驗證明了本文所提出能耗模型的精確性和有效性.

1 ? 相關研究

目前，對能耗模型的研究可以分為兩類，一類是基于系統利用率的能耗模型[8-12]，另一類是基于性能計數器的能耗模型[13-17].

基于系統利用率的能耗模型的主要思想是利用服務器各主要部件的利用率，構建能耗模型. 文獻[8]基于服務器中資源使用情況，結合回歸方法建立了線性模型. 文獻[9]結合三個參數（%Processor Time，%Memory used，%Page Faults/s）提出了一種CMP （CPU利用率，內存利用率和Pagefaults） 模型，相比較以往的能耗模型，該方法具有一定的優勢，但該方法因選擇的參數有限且沒有考慮到負載的特征，其能耗模型的精度仍有待提高. 在文獻[12]中，羅亮等人針對數據中心的單臺服務器提出了一種高精度的能耗模型，該模型分析了不同參數對服務器能耗的影響，然后結合多元線性回歸和非線性回歸的方法建立能耗模型. 同樣，文獻[11]在線性模型（Linear Model）的基礎上提出了一種改進的能耗模型叫Cubic Model，該模型認為服務器的能耗與處理器（CPU）不應是線性關系，而是立方關系. 文獻[12]基于能耗和系統資源利用率的關系，提出了一種服務器能耗經驗模型（Linear Model）. 此類能耗模型的優點是易于實現且能耗模型的精度較高.

基于性能計數器的能耗模型的基本思想可概括為：根據PMC與設備能耗之間的關系，針對不同設備（包括處理器、內存、磁盤、I/O外部設備）篩選出最具代表性的“PMC集合”;然后通過統計分析的方法，建立PMC事件與設備功耗之間的函數關系，這種關系既可以是線性關系、也可以是非線性關系. 在文獻[13]中，程華等提出了一種基于細粒度的實時能耗模型，該模型由模型設定、性能計數器參數選取、數據采集、模型求解和性能評估這五個部分組成. 在此文中，作者選擇PMC集合（包含二十多個參數）建立系統能耗模型. 文獻[14]通過運行負載，在考慮處理器和內存等因素下，基于PMC方法建立服務器的能耗模型. 在文獻[15]中，作者在考慮CPU和內存兩大因素的條件下，提出了一種Ramon Model. 在文獻[16]中，Singh等使用PMC方法構建實時的能耗模型. 在文獻[17]中，肖鵬等首先形式化資源利用率與能耗之間的關系，然后基于性能計數器提出了一種新型的能耗模型，最后基于該能耗模型提出了一種虛擬機調度算法. 此類方法因采集到的事件太多，成本相對較高，模型也較為復雜，故不利于該模型擴充.

2 ? 能耗模型的參數選擇

數據中心服務器的能耗建模如圖1所示. 它包含數據采樣、參數的篩選、建立模型和評估模型四個步驟.

1）數據采樣. 數據采樣是數據中心能耗建模的第一步，這一步的主要工作是采集系統的數據，采樣的基本方法有基于性能計數器或者基于系統資源利用率.

2）參數的篩選. 在采樣數據之后，就需要對采集到的參數進行篩選. 因為采樣的參數有些是與系統能耗相關的，有些是不相關的. 如何篩選這些參數呢？此時可以借助于“主成分分析法”或者“相關系數矩陣法”去篩選.

3）建立模型. 這一步的主要工作是利用前面篩選出的參數，借助于數學中的線性回歸或者非線性回歸方法（多項式回歸，冪回歸，指數回歸，支持向量機回歸）建立能耗模型.

4） 評估模型. 這一步的主要工作是對前面建立起來的能耗模型進行評估，比較所得到能耗預測值與真實值的差別，目的是確定該模型的準確性和有效性.

2.1 ? 各部件能耗的代表參數

作為云計算數據中心的任何一臺服務器，哪些參數應該被選擇去構建能耗模型呢？如果參數選擇過少，將導致構建出來的能耗模型精度不夠，如果參數選擇過多，將導致開銷增加且不利于該模型的擴展. 因此，選擇合適的參數構建能耗模型極其重要. 對于數據中心的任何一臺服務器，其總功率主要由其處理器（CPU）、內存、磁盤和網絡接口卡的功率決定. 設Psystem是服務器的功率，參數PCPU、Pmemory、Pdisk和 Pnetwork分別代表該服務器的處理器（CPU）、內存、磁盤和網絡接口卡功率，則Psystem可以表示如下：

Psystem = PCPU + Pmemory + Pdisk + Pnetwork + σ ? ?（1）

式中：參數σ是除CPU、內存、磁盤和網絡接口卡之外的其它部件功率，可看作常數. 對于處理器的功率PCPU，可用式（2）表達[18]：

PCPU = （Pmax - Pidle） × U + Pidle ? ? ?（2）

式中：參數Pmax代表該部件最大的功率，Pidle代表該部件空閑時的功率，U代表該部件的CPU利用率. 由于PCPU的值與參數U相關，所以在監控CPU的能耗時，參數“Processor Time”被選作處理器的代表性參數. 參數“Processor Time”指的是系統中所有處理器都處于繁忙狀態的時間百分比，即CPU的利用率. 對于Pmemory的值，可以用式（3）表達[18]：

Pmemory = PPRE + PACT + PRD + PWR + PREF ? ? ? （3）

式中：PPRE、PACT、PRD、PWR和 PREF分別代表預充電（PPRE）、活動狀態 （PACT）、讀狀態 （PRD）、寫狀態 （PWR） 和刷新狀態 （PREF）的功率. 由于Pmemory的值與讀和寫狀態有關，因此，在監控Pmemory的能耗時，“Memory Used”和“Page Fault/Sec”被選作內存的代表性參數. “Memory Used”指的是內存的利用率，“Page Fault/Sec”指的是處理器處理錯誤頁的綜合速率，單位是錯誤頁數/s. 當處理器請求一個不在其工作集（在物理內存中的空間）內的代碼或數據時出現的頁錯誤. 這個錯誤包括硬錯誤（那些需要磁盤訪問的）和軟錯誤（在物理內存的其它地方找到的錯誤頁）. 對于Pdisk的值，可以用式（4）來表示[18]：

Pdisk = PREAD + PWRITE + PIDLE ? ? ? （4）

式中：參數PREAD、PWRITE和PIDLE分別代表磁盤讀、寫和空閑時的功率. 在監控磁盤的能耗時，“Disk time” 和“Disk Bytes/Sec”被選作磁盤的代表性參數. “Disk time”指的是磁盤驅動器忙于讀或寫入請求等服務所用的時間百分比，“Disk Bytes/Sec”指的是在進行寫入或讀取操作時從磁盤上傳送或傳出的字節速率.

對于Pnetwork的值，可以用式（5）計算[18]：

Pnetwork = C0 + C1 × ? ? ? （5）

式中：參數C0和C1可認為是一個常數，參數S指的是文件大小，單位是MB;參數B指的是帶寬，單位是MB/s. 在監視網絡接口卡的能耗時，“Bytes Total/Sec”和“Current Bandwidth”被選作網絡接口卡的代表性參數. “Bytes Total/Sec”指的是在每個網絡適配器上發送和接收字節的速率，包括幀字符在內. “Current Bandwidth”指的是目前帶寬.

2.2 ? 計算密集型任務的參數選擇

計算密集型任務也叫CPU密集型任務. 全球標準性能評估公司SPEC提供的CPU2006[19-20]數據集就是標準計算密集型任務，該數據集包含“401.bzip2”、“403.gcc”、“429.mcf”、“453.povray”和“450.soplex”等子項. 以DELL PowerEdge R720服務器為例（服務器配置見表1），當它運行“401.bzip2”任務時，其在不同負載下的能耗和相關參數值如表2所示.

從表2得出：當“Processor Time” = 4.23% ，Memory Used = 4.47%，Page Fault/Sec = 512.78，Disk Time = 0.66，Disk Bytes/Sec = 4 102.28，Bytes Total/Sec =562.00和Current Bandwidth = 9.22 × 1018時，此時的能耗為122.49 W. 對于這7個參數（Processor Time，Memory Used，Page Fault/Sec，Disk Time，Disk Bytes/Sec，Bytes Total/Sec和Current Bandwidth），它們是如何影響能耗的呢？哪些與能耗相關？哪些與能耗不相關呢？為解決這個問題，利用SPSS中的“主成分分析法”[21]分析每個參數的貢獻（即因子貢獻），表3列出了每個因子的貢獻.

表3表明：參數“Processor Time”對能耗的貢獻是62%，“Disk Bytes/Sec”是19%，“Disk Time”是14%，“Page Fault/Sec”是4%，“Memory Used”是1%，“Bytes Total/Sec”和“Current Bandwidth”都是0. 這些數據說明，“Processor Time”對能耗的貢獻最大，而“Bytes Total/Sec”和“Current Bandwidth”對能耗沒有貢獻. 因此，在下一節能耗建模中，值不為零的5個參數“Processor Time”，“Disk Bytes/Sec”，“Disk Time”，“Page Fault/Sec”和“Memory Used”被選中用于實驗建模.

2.3 ? Web事務型任務的參數選擇

HP LoadRunner[22-23]是一種典型的Web事務型任務，以DELL PowerEdge R720服務器為例（服務器配置見表1），當它運行“HP LoadRunner”任務，在用戶數是3 000時，采用同樣的辦法可以得到每個參數對能耗的貢獻即因子貢獻，表4展示了這7個參數（Processor Time，Memory Used，Page Fault/Sec，Disk Time，Disk Bytes/Sec，Bytes Total/Sec和Current Bandwidth）對能耗的貢獻.

從表4可以看出，參數“Processor Time”對能耗的貢獻是63%，“Disk Bytes/Sec”是21%，“Disk Time”是11%，“Page Fault/Sec”是3%，“Memory Used”是1%，“Bytes Total/Sec”是1%，“Current Bandwidth”是0. 這些數據說明，“Processor Time”對能耗的貢獻最大，而“Current Bandwidth”為0即表示對能耗沒有貢獻. 因此，在下一節能耗建模中，值不為零的6個參數“Processor Time”，“Disk Bytes/Sec”，“Disk Time”，“Page Fault/Sec”，“Memory Used”和“Bytes Total/Sec”被選中用于實驗建模.

2.4 ? I/O密集型任務的參數選擇

Iozone[24-25]是一種典型的I/O密集型任務，以DELL PowerEdge R720服務器為例（服務器配置見表1），當它運行Iozone數據集時，采用同樣的辦法可得到每個參數對能耗的貢獻即因子貢獻，表5展示了這7個參數（Processor Time，Memory Used，Page Fault/Sec，Disk Time，Disk Bytes/Sec，Bytes Total/Sec和Current Bandwidth）對能耗的貢獻. 從表5可以看出，參數“Processor Time”對能耗的貢獻是53%，“Disk Bytes/Sec”是27%，“Disk Time”是15%，“Page Fault/Sec”是3%，“Memory Used”是1%，“Bytes Total/Sec”和“Current Bandwidth”都是0. 這些數據說明，“Processor Time”對能耗的貢獻最大，而“Bytes Total/Sec”和“Current Bandwidth”都為0即表示對能耗沒有貢獻. 因此，在下一節能耗建模中，值不為零的五個參數“Processor Time”，“Disk Bytes/Sec”，“Disk Time”，“Page Fault/Sec”和“Memory Used”都被選中用于實驗建模.

3 ? 能耗建模

對于不同的任務類型，第二節已確定有那些參數被選中用于能耗建模. 在這一節中將使用EViews 8.0[26]軟件，分別用多元線性回歸法、冪回歸法、指數回歸法和多項式回歸法建立能耗模型. 對于多元線性回歸法，其包含m個因變量的回歸模型如下：

y = β0 + β1 x1 + β2 x2 + … + βm xm + ε ? ? （6）

式中：變量y是觀測到的真實能耗; β0，β1，β2，…，βm是回歸系數;ε是隨機誤差. 對于冪回歸法，其包含m個因變量的回歸模型如下：

y = b0 xb11·xb22·xb33 … xbmm + ε ? ? （7）

式中：變量y是觀測到的真實值;b0，b1，b2，…，bm是回歸系數;ε是隨機誤差. 對于指數回歸法，其包含m個變量的回歸模型如下：

y = β0 e?+ ε ? ? （8）

式中：變量y是觀測到的真實值;β0，β1，β2，…，βm是回歸系數;ε是隨機誤差. 對于多項式回歸，其包含m個變量的回歸模型如下：

y = β0 + β1 （x1）2 + β2 x2 + … + βm xm + ε ? ? （9）

式中：變量y是觀測到的真實值;β0，β1，β2，…，βm是回歸系數;ε是隨機誤差.

為方便3.1～3.3節中所述內容的說明，表6列出了常用的參數及其代表的含義.

3.1 ? 計算密集型任務的能耗模型

對于計算密集型任務CPU2006[19-20]數據集，結合2.2節的代表性參數和EViews 8.0[26]軟件，分別用多元線性回歸法、冪回歸法、指數回歸法和多項式回歸法建立能耗模型，見公式（10）～（13）：

y=102.916 9+1.967 511x1-1.37×10-05x2 -

0.001 408x3+1.29×10-05x4+2.528 892x5

（10）

y = e4.840 775×（x1）0.219 818×（x2）-0.056 527×（x3）0.067 893×

（x4）0.000 708×（x5）0.096 609 ? ? ? ? （11）

y=111.459 8+0.151 606（x1）2-1.83×10-05x2 +

0.420 755x3+1.08×10-07x4+1.816 320x5

（13）

式中：參數y，x1，x2，x3，x4，x5分別代表能耗“Processor Time”，“Disk Bytes/Sec”，“Disk Time”，“Page Fault/Sec”和“Memory Used”.

3.2 ? Web事務型任務的能耗模型

對于Web事務型任務HP LoadRunner[22-23]，在用戶數3 000情況下，結合2.3節的代表性參數和EViews 8.0[26]軟件，分別用多元線性回歸法、冪回歸法、指數回歸法和多項式回歸法建立能耗模型，見公式（14）～（17）：

y=-869.7-14.28x1-8.68×10-05x2+22.92x3+

0.002 449x4+234.233 9x5-0.067 755x6

（14）

y = e8.920 533×（x1）0.198 811×（x2）-0.008 926×（x3）-0.028 378×

（x4）-0.016 527×（x5）-2.920 025×（x6）-0.014 455 ? ? ? ? （15）

（16）

y=-334.156 9-0.115 852（x1）2-6.70×10-05x2 +

16.867x3+0.000 406x4+102.1x5-0.079 7x6

（17）

式中：參數y，x1，x2，x3，x4，x5，x6分別代表能耗“Processor Time”，“Disk Bytes/Sec”，“Disk Time”，“Page Fault/Sec”，“Memory Used”和“Bytes Total/Sec”.

3.3 ? I/O密集型任務的能耗模型

對于I/O密集型任務Iozone[24-25]，結合2.4節的代表性參數和EViews 8.0[26]軟件，分別用多元線性回歸法、冪回歸法、指數回歸法和多項式回歸法建立能耗模型，見公式（18）～（21）：

y=111.594 3+9.173 805x1-1.51×10-06x2 +

2.037 900x3-0.000 781x4-19.462 70x5

（18）

y = e5.626 638 × （x1）0.038 072 × （x2）-0.000 339 × （x3）-0.054 210 ×

（x4）-0.010 081 × （x5）-0.751 834 ? ? ? ? （19）

y=78.997 36+1.459 156（x1）2-1.51×10-06x2+

2.667 544x3-0.000 969x4-12.175 60x5 （21）

式中：參數y，x1，x2，x3，x4，x5分別代表能耗“Processor Time”，“Disk Bytes/Sec”，“Disk Time”，“Page Fault/Sec”和“Memory Used”.

4 ? 實驗結果及分析

本文所用的服務器是DELL PowerEdge R720服務器（見表1），CPU頻率是2.0 GHz（2×6核），內存是DDR2 20 G，磁盤是2×1 TB，網絡接口卡是Intel quad‐port Gigabit network adapter. 實驗測量能耗的工具是北電儀表公司所生產的Power Bay-SSM. 計算密集型任務使用的是“403.gcc”，“429.mcf”，“401.bzip2”，“453.povray”和“450.soplex”數據集[19-20]. 對于“Web事務型任務”和“I/O密集型任務”，則分別使用“LoadRunner”[22-23]和“Iozone”數據集[24-25]，這兩個數據集每次產生任務都是“隨機生成”.

為評價本文所建模型的精度，采用式（22）計算每個模型的相對誤差：

式中：Powerpredict表示能耗的預測值;Powertrue表示能耗的真實值;Powererror表示能耗的相對誤差.

為評價能耗模型的好壞，選擇Linear Model[12]，Cubic Model[11]和Ramon Model[15]能耗模型作對比.

4.1 ? 計算密集型任務的實驗結果及分析

利用3.1節所建立的能耗模型，運行計算密集型任務CPU2006[19-20]數據集，得到預測值和真實值的相對誤差，如圖2和圖3所示.

圖2和圖3分別展示了這7種能耗模型（多元線性回歸、冪回歸、指數回歸、多項式回歸、Linear Model、Cubic Model和Ramon Model）的能耗和相對誤差. 這4種模型（多元線性回歸、冪回歸、指數回歸和多項式回歸）優于Ramon Model，原因在于兩方面：第一，這4種模型在建模時考慮了處理器（CPU）、內存、磁盤和網絡接口卡因素，而Ramon Model僅考慮處理器（CPU）和內存因素. 第二，這4種模型（多元線性回歸、冪回歸、指數回歸和多項式回歸）考慮了任務的特征并利用“主成分分析法”提高了能耗模型的精度. Ramon Model優于Linear Model和Cubic Model，原因在于其考慮了處理器（CPU）和內存兩個因素，而Linear Model和Cubic Model僅考慮CPU因素.

4.2 ? Web事務型任務的實驗結果及分析

利用3.2節所建立的能耗模型，運行Web事務型任務HP LoadRunner[22-23]，在用戶數3 000情況下，得到預測值和真實值的相對誤差，如圖4和圖5所示.

圖4和圖5分別展示了這7種能耗模型（多元線性回歸、冪回歸、指數回歸、多項式回歸、Linear Model、Cubic Model和Ramon Model）的能耗和相對誤差. 這4種模型（多元線性回歸、冪回歸、指數回歸和多項式回歸）相比較Ramon Model，其能耗精度提高1%以上，其原因可歸結為兩方面：第一，Web事務型任務的特點決定了該類任務對內存和網絡的訪問較為頻繁，Ramon Model只考慮了CPU和內存因素，而這4種能耗模型考慮了處理器、內存、磁盤和網絡接口卡這4個因素. 第二，這4種模型考慮了任務的特征并利用“主成分分析法”提高了能耗模型的精度.

4.3 ? I/O密集型任務的實驗結果及分析

利用3.3節所建立的能耗模型，運行I/O密集型任務Iozone[24-25]數據集，得到預測值和真實值的相對誤差，如圖6和圖7所示.

圖6和圖7分別展示了這7種能耗模型（多元線性回歸、冪回歸、指數回歸、多項式回歸、Linear Model、Cubic Model和Ramon Model）的能耗和相對誤差. 圖7表明，這4種能耗模型（多元線性回歸、冪回歸、指數回歸和多項式回歸）相比較Linear Model，Cubic Model和Ramon Model，其能耗精度提高3%左右，其原因可歸納為以下兩個方面：第一，I/O密集型任務的特點是對磁盤的訪問較為頻繁，因此在建模時應該考慮處理器、內存和磁盤多個因素. 這4種能耗模型考慮了處理器、內存、磁盤和網絡接口卡這4個因素. 第二，這4種模型考慮了任務的特征并利用“主成分分析法”提高了能耗模型的精度.

4.4 ? 4種模型的對比

根據4.1、4.2和4.3節中的實驗結果和分析，不管何種任務類型（計算密集型任務、Web事務型任務和I/O密集型任務），冪回歸模型精確度最高，多元線性回歸模型一般，指數回歸模型和多項式回歸模型較差. 因此，在以后的能耗建模中，推薦使用冪回歸模型進行能耗建模.

5 ? 總 ? 結

針對數據中心服務器能耗模型精度低的問題，本文根據“任務的特征”結合“主成分分析法”構建了新型的能耗模型. 與其它的能耗模型對比，本文所構建的能耗模型在精度方面提高了3%，其原因可歸結為：1）本文所構建的能耗模型考慮了“任務的特征”;2）在能耗模型的構建過程中，考慮了CPU、內存、磁盤和網絡接口卡多個因素;3）利用“主成分分析法”篩選出了與能耗有關的部件.

本文所提出的模型有望用于云計算數據中心，為數據中心服務器能耗的“量化”提供理論和實踐依據. 同時，本文所提出的模型也可用于評估節能算法的優劣，有助于資源提供者預測和優化數據中心的能耗.

參考文獻

[1] ? ?RAHIMI M R，VENKATASUBRAMANIAN N，MEHROTRA S，et al. On optimal and fair service allocation in mobile cloud computing [J]. IEEE Transactions on Cloud Computing，2018，6（3）：815—828.

[2] ? ?周伏秋，鄧良辰，馮升波，等. 綜合能源服務發展前景與趨勢[J]. 中國能源，2019，37（1）：4—8.

ZHOU F Q，DENG L C，FENG S B，et al. Development prospect and trend of integrated energy service [J]. Energy of China，2019，37（1）：4—8. （In Chinese）

[3] ? ?LIU C，LI K，LI K. A game approach to multi-servers load balancing with load-dependent server availability consideration [J]. IEEE Transactions on Cloud Computing，2018. DOI：10.1109/TCC.2018.2790404.

[4] ? ?鄧曉衡，關培源，萬志文，等. 基于綜合信任的邊緣計算資源協同研究[J].計算機研究與發展，2018，55（3）：449—477.

DENG X H，GUAN P Y，WAN Z W，et al. Integrated trust based resource cooperation in edge computing [J]. Journal of Computer Research and Development，2018，55（3）：449—477. （In Chinese）

[5] ? ?JING M，KENLI L，KEQIN L. Profit maximization for cloud brokers in cloud computing [J]. IEEE Transactions on Parallel and Distributed Systems，2019，30（1）：190—203.

[6] ? ?林偉偉，吳文泰.面向云計算環境的能耗測量和管理方法[J]. 軟件學報，2016，27（4）：1026—1041.

LIN W W，WU W T. Energy consumption measurement and management in cloud computing environment[J]. Journal of Software，2016，27（4）：1026—1041. （In Chinese）

[7] ? CHEN Y， LI K， YANG W， et al. Performance-aware model for sparse matrix-matrix multiplication on the sunway TaihuLight supercomputer [J]. IEEE Transactions on Parallel & Distributed Systems，2019，30（4）：923—938.

[8] ? ?GARG S K，VERSTEEG S，BUYYA R. A framework for ranking of cloud computing services [J]. Future Generation Computer Systems，2013，29（4）：1012—1023.

[9] ? ?于俊洋，胡志剛，周舟，等. 計算機系統能耗估量模型研究[J]. 電子科技大學學報（自然科學版），2015，44（3）：422—427.

YU J Y，HU Z G，ZHOU Z，et al. A CMP energy consumption estimate model for computer systems[J]. Journal of University of Electronic Science and Technology of China（Natural Sciences），2015，44（3）：422—427. （In Chinese）

[10] ?ZHOU Z，HU Z，YU J，et al. Energy-efficient virtual machine consolidation algorithm in cloud data centers [J]. Journal of Central South University，2017，24（10）：2331—2341.

[11] ?ZHANG X，LU J J，QIN X，et al. A high-level energy consumption model for heterogeneous data centers[J]. Simulation Modelling Practice and Theory，2013，39（2）：41—55.

[12] ?羅亮，吳文峻，張飛. 面向云計算數據中心的能耗建模方法 [J]. 軟件學報，2014，25（7）：1371—1387.

LUO L，WU W J，ZHANG F. Energy modeling based on cloud data center [J]. Journal of Software，2014，25（7）：1371—1387. （In Chinese）

[13] ?程華，陳左寧，孫凝暉，等. 一種基于細粒度性能計數器建立系統實時功耗模型的方法[J]. 計算機學報，2014，37（3）：687—699.

CHENG H，CHEN Z N，SUN N H，et al. Build real-time power consumption model of a computer system based on fine-grained performance counters [J]. Chinese Journal of Computers，2014，37（3）：687—699. （In Chinese）

[14] ?BIRCHER W L，JOHN L K. Complete system power estimation using processor performance events[J]. IEEE Transactions on Computers，2012，61（4）：563—577.

[15] ?BERTRAN R，BECERRA Y，CARRERA D，et al. Energy accounting for shared virtualized environments under DVFS using PMC-based power models[J]. Future Generation Computer Systems，2012，28（2）：457—468.

[16] ?SINGH K，BHADAURIA M，MCKEE S A. Real time power estimation and thread scheduling via performance counters [J]. ACM Sigarch Computer Architecture News，2009，37（2）：46—55.

[17] ?XIAO P，HU Z，LIU D，et al. Virtual machine power measuring technique with bounded error in cloud environments[J]. Journal of Network & Computer Applications，2013，36（2）：818—828.

[18] ?CASTANE G G，NUNEZ A，LLOPIS P，et al. E-mc 2：A formal framework for energy modelling in cloud computing[J]. Simulation Modelling Practice and Theory，2013，39（39）：56—75.

[19] ?FANG Y，CHEN Q，XIONG N. A multi-factor monitoring fault tolerance model based on a GPU cluster for big data processing[J]. Information Sciences，2019，496（1）：300—316.

[20] The ?Standard ?Performance ?Evaluation ?Corporation. SPEC cpu2006 ?Users ?Guide[EB/OL]. ?（2006-08-24）. https：//www.spec.org/cpu2006/.

[21] ?KANG X，DUAN P，LI S. Hyperspectral image visualization with edge-preserving filtering and principal component analysis[J]. Information Fusion，2020，57（1）：130—143.

[22] ?FAN G，CHEN L，YU H，et al. Formally modeling and analyzing cost-aware job scheduling for cloud data center[J]. Software Practice & Experience，2018，48（9）：1536—1559.

[23] ?HEWLETT P. ?HP ?Software ?Division. HP Load ? ? ? ?Runner [EB/OL]. [2014-03-02]. http：//en.wikipedia.org/wiki/ HP_LoadRunner.

[24] ?SUYYAGH A，ZILIC Z. Energy and task-aware partitioning on single-ISA clustered heterogeneous processors[J]. IEEE Transactions on Parallel and Distributed Systems，2019，30（10）：1—12.

[25] ?WILLIAM ?D. ?Norcott. ?Iozone ?File System Benchm ?Ark[EB/OL]. （2006-10-26）. http：//www.iozone.org/.

[26] ?BRO R，SMILDE A K. Principal component analysis [J]. ?Analytical Methods，2014，6（9）：2812—2831.

收稿日期：2020-05-17

基金項目：國家自然科學基金資助項目（61772088，61872403），National Natural Science Foundation of China（61772088，61872403）;湖南省重點實驗室項目（2019TP1011），Key Laboratory Project of Hunan Province（2019TP1011）;大學生創新創業項目（S201911077005），Undergraduate Innovation and Entrepreneurship Program（S201911077005）

作者簡介：周舟（1983—），男，湖南衡陽人，湖南大學博士后，長沙學院副教授，博士

通信聯系人，E-mail：lifangmin@whut.edu.cn