數(shù)據(jù)中心低功耗計算研究

安東升+張高英+劉敬+李冰

摘 要：國內(nèi)的數(shù)據(jù)中心PUE值一般都在2.2以上，能效比較差，電力浪費(fèi)比較嚴(yán)重，不僅給企業(yè)造成了負(fù)擔(dān)，給環(huán)境也帶來了危害，大力推行綠色計算勢在必行。綠色計算包含環(huán)境友好計算和低功耗計算。作為可推動科技進(jìn)步和社會可持續(xù)發(fā)展的一種計算模式，綠色計算正越來越多地受到國家的重視。本文簡述了綠色計算的概念和相關(guān)工作現(xiàn)狀，在此基礎(chǔ)上介紹了基于綠色計算的數(shù)據(jù)中心低功耗計算建設(shè)途徑。

關(guān)鍵詞：PUE；綠色計算；數(shù)據(jù)中心；環(huán)境友好計算；低功耗計算

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A

1 引言（Introduction）

計算機(jī)系統(tǒng)能效問題正越來越受到重視，工信部于2013年2月發(fā)布了《關(guān)于進(jìn)一步加強(qiáng)通信業(yè)節(jié)能減排工作的指導(dǎo)意見》，提出到2015年末，新建大型云計算數(shù)據(jù)中心的功耗效率PUE（平均電能使用效率）值達(dá)到1.5以下，其重點(diǎn)就是構(gòu)建綠色數(shù)據(jù)中心，實(shí)現(xiàn)綠色計算。據(jù)統(tǒng)計數(shù)據(jù)顯示，到2015年，我國數(shù)據(jù)中心總量已超過40萬個，年耗電量超過全社會用電量的1.5%，達(dá)到1000多億度，其中大多數(shù)數(shù)據(jù)中心的PUE值普遍大于2.2，能效比較差，與國際先進(jìn)水平相比有較大差距。電力已經(jīng)成為數(shù)據(jù)中心份額最大的支出項(xiàng)，Google、亞馬遜、華為等數(shù)據(jù)中心大戶開始嘗試將數(shù)據(jù)中心建在嚴(yán)寒地帶，以減少電力消耗。為了應(yīng)對計算機(jī)系統(tǒng)的能耗日益突出的問題，綠色計算作為一種以低功耗和環(huán)境友好為目標(biāo)的新型計算模式也應(yīng)運(yùn)而生。

2 綠色計算簡介（Introduction to green computing）

按照維基百科的定義，綠色計算是對環(huán)境負(fù)責(zé)的原則使用計算機(jī)及相關(guān)資源的行為。綠色計算涉及系統(tǒng)結(jié)構(gòu)、系統(tǒng)軟件及計算機(jī)網(wǎng)絡(luò)[1]，它以保證計算系統(tǒng)的高效、可靠及提供普適化服務(wù)為前提，以計算系統(tǒng)的低耗為目標(biāo)，通過構(gòu)建功耗感知的計算系統(tǒng)、網(wǎng)絡(luò)互聯(lián)環(huán)境和計算服務(wù)體系，為日益普適的個性化、多樣化信息服務(wù)方式提供低耗支撐環(huán)境。綠色計算中的計算機(jī)及相關(guān)資源包括采用高效節(jié)能的中央處理器（CPU）、服務(wù)器和外圍設(shè)備，減少資源消耗，妥善處理電子垃圾等。

從上述定義和涉及的內(nèi)容可以看出，綠色計算的核心目標(biāo)是低功耗和環(huán)境友好。在此，為了研究的方便，我們定義綠色計算包括低功耗計算和環(huán)境友好計算。通過設(shè)計好用易用的程序界面和在線幫助，機(jī)房裝修、架構(gòu)設(shè)計時注意選擇無毒無害物質(zhì)和材料，通過屏蔽和隔音做到靜音等，一般比較容易實(shí)現(xiàn)環(huán)境友好計算，困難的是降低功耗[2-4]。所以，低功耗計算才是實(shí)現(xiàn)綠色計算的核心問題。

3 低功耗計算現(xiàn)狀（The status quo of low-power

consumption computing）

美國國防部于2002年制定高性能計算系統(tǒng)計劃，首次提出以高效能作為新一代高性能計算機(jī)研制的目標(biāo)，著眼于并行系統(tǒng)由高性能向高效能轉(zhuǎn)變[5]。此后很多機(jī)構(gòu)開展了綠色計算的研究，國內(nèi)外著名的高性能計算解決方案提供機(jī)構(gòu)如銀河[3-6]、神威[7]、曙光[2，8]、IBM、Intel、HP、Google等在該領(lǐng)域進(jìn)行了大量的研究，主要集中于四個方向，分別是芯片級節(jié)能技術(shù)、基礎(chǔ)架構(gòu)級節(jié)能技術(shù)、系統(tǒng)級節(jié)能技術(shù)和機(jī)房制冷節(jié)能技術(shù)。芯片級節(jié)能技術(shù)研究主要由傳統(tǒng)芯片提供商進(jìn)行，通過CPU加工工藝和功耗控制等來降低功耗，如Intel推出的至強(qiáng)系列處理器、動態(tài)功耗節(jié)點(diǎn)管理器等；基礎(chǔ)架構(gòu)級節(jié)能技術(shù)主要研究效率更高的散熱方式和性能更好的冷卻設(shè)備等，如HPPARSEC體系結(jié)構(gòu)、Cool Blue機(jī)柜系統(tǒng)等；系統(tǒng)級節(jié)能技術(shù)方面，IBM PowerExecutive允許用戶同時在系統(tǒng)、機(jī)箱或機(jī)架層次上對數(shù)據(jù)中心的電耗和能耗進(jìn)行有效分配。曾宇等基于曙光5000A設(shè)計并實(shí)現(xiàn)了高效能計算節(jié)點(diǎn)[5]，董晶等提出一種基于資源限制的高性能計算系統(tǒng)功耗管理，通過控制節(jié)點(diǎn)的分配和功耗狀態(tài)降低系統(tǒng)的能耗[6]，戴永涌等設(shè)計并實(shí)現(xiàn)了一種基于資源調(diào)度的集群節(jié)能系統(tǒng)，有效降低集群系統(tǒng)空閑時的功耗，降低神威高性能集群計算機(jī)系統(tǒng)的功耗[7]，林守林等提出了一種基于CPU利用率的服務(wù)器功率控制策略，可根據(jù)負(fù)載情況實(shí)時調(diào)整服務(wù)器功率，減少電力消耗[8]。

總的來說，上述功耗控制研究工作主要是針對不同的系統(tǒng)對象從不同的功耗控制角度開展的，理論上還缺乏統(tǒng)一系統(tǒng)功率計算模型、負(fù)載評價模型和一體化節(jié)點(diǎn)、機(jī)柜與機(jī)房散熱模型的系統(tǒng)規(guī)范和管理，取得的實(shí)際效果也是局部和有限的。

4 數(shù)據(jù)中心實(shí)現(xiàn)低功耗計算的途徑（The construction

approaches of low-power consumption computing

in the data center）

數(shù)據(jù)中心普遍采用了計算能力更強(qiáng)的大規(guī)模集群計算機(jī)系統(tǒng)，安裝在專業(yè)機(jī)房，配套精密空調(diào)和UPS供電設(shè)備。低功耗計算是實(shí)現(xiàn)綠色計算的核心問題。數(shù)據(jù)中心的能效核心問題已轉(zhuǎn)化為集群計算機(jī)系統(tǒng)的功耗控制問題。集群計算機(jī)系統(tǒng)的能效比提高了，整個數(shù)據(jù)中心的功耗也就降低了[9]。通常，數(shù)據(jù)中心所使用的集群計算機(jī)系統(tǒng)是由成百上千的節(jié)點(diǎn)或服務(wù)器組成，這些節(jié)點(diǎn)或服務(wù)器是功耗控制的重點(diǎn)對象。

4.1 思路

數(shù)據(jù)中心要實(shí)現(xiàn)綠色計算，就要針對集群計算機(jī)系統(tǒng)結(jié)構(gòu)特點(diǎn)和應(yīng)用負(fù)載特點(diǎn)，建立功率計算模型與負(fù)載評價模型，全面監(jiān)控各部件的功率、負(fù)載的水平與波動情況，建立系統(tǒng)資源池與功耗池，分析任務(wù)的時間與空間分布，根據(jù)任務(wù)的重要性與緊迫性為其調(diào)度相匹配的計算資源、功率與功耗，通過對各部件功率的控制實(shí)現(xiàn)對系統(tǒng)功耗的控制，在保證滿足應(yīng)用需求的前提下實(shí)現(xiàn)最高的資源利用率，減少電力資源的浪費(fèi)，節(jié)省功耗。建立基于業(yè)務(wù)負(fù)載的熱量追蹤模型，對熱量的產(chǎn)生進(jìn)行預(yù)測和監(jiān)控，建立數(shù)據(jù)中心一體化節(jié)點(diǎn)、機(jī)柜與機(jī)房散熱模型，對機(jī)房溫度分布進(jìn)行計算與監(jiān)控，根據(jù)數(shù)據(jù)中心業(yè)務(wù)負(fù)載、溫度、熱量的分布情況調(diào)整供電與冷卻設(shè)備的工作狀態(tài)，通過主動式控制方式，以業(yè)務(wù)負(fù)載為核心，以系統(tǒng)功耗為紐帶，實(shí)現(xiàn)系統(tǒng)與數(shù)據(jù)中心基礎(chǔ)設(shè)施的聯(lián)動，保證數(shù)據(jù)中心機(jī)房的電力資源得到充分利用，減少能量的消耗和浪費(fèi)，大大降低數(shù)據(jù)中心的功耗。

4.2 系統(tǒng)框架

集群計算機(jī)系統(tǒng)各節(jié)點(diǎn)由于作業(yè)任的不同和作業(yè)調(diào)度的關(guān)系，節(jié)點(diǎn)的忙閑程度不一樣，忙的節(jié)點(diǎn)耗電多發(fā)熱量大，空閑的節(jié)點(diǎn)反之，從而造成整個集群計算機(jī)系統(tǒng)功耗分布不平衡，存在明顯的冷熱不均勻的現(xiàn)象，是典型的非穩(wěn)態(tài)熱力學(xué)系統(tǒng)，而現(xiàn)有機(jī)房的散熱設(shè)計一般是基于熱力學(xué)穩(wěn)態(tài)系統(tǒng)進(jìn)行的，造成了大量的能源浪費(fèi)，所以集群計算機(jī)系統(tǒng)功耗控制必須和機(jī)房環(huán)境進(jìn)行聯(lián)動監(jiān)控和分級管理，圖1給出集群計算機(jī)系統(tǒng)機(jī)房功耗控制系統(tǒng)框架示意圖，各級主要功能詳見下面介紹。

（1）集群計算機(jī)節(jié)點(diǎn)是功耗控制的基本單位，本層負(fù)責(zé)對節(jié)點(diǎn)的負(fù)載與功耗情況進(jìn)行監(jiān)控和統(tǒng)計，將處理結(jié)果上傳至集群層；同時，接受集群層的指令，根據(jù)具體的策略通過調(diào)整CPU的頻率或狀態(tài)，對節(jié)點(diǎn)的功耗水平進(jìn)行調(diào)整。

（2）集群級負(fù)責(zé)從應(yīng)用的角度衡量當(dāng)前計算機(jī)設(shè)備的功耗與資源利用水平，根據(jù)應(yīng)用的需求（運(yùn)行時間、優(yōu)先級等）與對負(fù)載水平的預(yù)測判斷當(dāng)前節(jié)能策略是否正確，及時進(jìn)行調(diào)整。

（3）系統(tǒng)級根據(jù)當(dāng)前集群的功耗水平計算所需的電力供應(yīng)與產(chǎn)生的熱量，對UPS的交直流轉(zhuǎn)換效率和空調(diào)的制冷效率進(jìn)行推算，根據(jù)對負(fù)載變換與溫度變化的預(yù)測制定合理的供電與制冷策略，提升數(shù)據(jù)中心的總能源利用率。

4.3 主要研究內(nèi)容

（1）研究建立數(shù)據(jù)中心的功率計算模型

功率計算模型實(shí)現(xiàn)對部件、節(jié)點(diǎn)、系統(tǒng)功率與功耗的精確統(tǒng)計，這是進(jìn)行功耗管理的基礎(chǔ)。模型包含節(jié)點(diǎn)主要的功率較高的部件，例如CPU、內(nèi)存、硬盤等；模型首先能準(zhǔn)確的統(tǒng)計節(jié)點(diǎn)的實(shí)時功率，在此基礎(chǔ)上增加存儲和交換設(shè)備功率，從而獲得系統(tǒng)的功率。

（2）研究系統(tǒng)功率控制方式與算法

實(shí)現(xiàn)細(xì)粒度的功率控制方式，快速、準(zhǔn)確地對系統(tǒng)功耗進(jìn)行調(diào)整。各部件和不同節(jié)點(diǎn)的功耗特點(diǎn)是不同的，應(yīng)該據(jù)此給出合適的功率控制算法與控制接口，需要兼顧準(zhǔn)確性與響應(yīng)速度。

（3）建立系統(tǒng)的資源池和功耗池，實(shí)現(xiàn)基于重要性與緊迫性的調(diào)度模型

通過構(gòu)建資源池和功耗池，實(shí)現(xiàn)對計算資源、任務(wù)、供電的一體化監(jiān)控，判斷系統(tǒng)的資源使用情況與功耗水平是否匹配，快速定位需要調(diào)整電源狀態(tài)的部分節(jié)點(diǎn)，基于任務(wù)的重要性與緊迫性選擇相應(yīng)的用電模式。

（4）對數(shù)據(jù)中心系統(tǒng)的能源使用效率進(jìn)行分析

在系統(tǒng)的運(yùn)行過程中記錄并保存了負(fù)載和功耗的信息，分析系統(tǒng)提供的計算能力、實(shí)際使用的計算能力、供電水平，計算系統(tǒng)的電力資源使用效率。

（5）研究建立數(shù)據(jù)中心節(jié)點(diǎn)、機(jī)柜、機(jī)房的統(tǒng)一散熱模型

目前，冷卻設(shè)備功耗一般占機(jī)房總功耗的30%以上，當(dāng)前數(shù)據(jù)中心普遍采用的被動式彌散冷卻方式效率很低，浪費(fèi)了大量的制冷量。采用經(jīng)典公式與有限元方式相結(jié)合的算法[19]，建立機(jī)房的一體化準(zhǔn)靜態(tài)散熱模型可以快速準(zhǔn)確得到機(jī)房的功率和溫度分布，同時對溫度變化進(jìn)行預(yù)測，采用主動式精確制冷方式，節(jié)省大量的冷卻設(shè)備功耗，避免機(jī)房出現(xiàn)熱點(diǎn)，提升系統(tǒng)的穩(wěn)定性。

（6）研究低耗作業(yè)調(diào)度系統(tǒng)

通過對作業(yè)的運(yùn)行情況進(jìn)行統(tǒng)計分析，判斷作業(yè)運(yùn)行的特點(diǎn)與規(guī)律，進(jìn)而形成作業(yè)調(diào)度策略，通過對作業(yè)隊(duì)列的實(shí)時監(jiān)控，動態(tài)調(diào)整調(diào)度策略中的各項(xiàng)參數(shù)，保證作業(yè)運(yùn)行在能效比最好的節(jié)點(diǎn)上。

4.4 工作流程

集群低功耗控制系統(tǒng)軟件由數(shù)據(jù)采集模塊、能效分析模塊、策略設(shè)置模塊、功耗控制模塊、作業(yè)調(diào)度模塊和管理與日志記錄模塊組成。系統(tǒng)工作流程如圖2所示。

通過數(shù)據(jù)采集模塊采集的各項(xiàng)數(shù)據(jù)確定結(jié)點(diǎn)當(dāng)前的工作狀態(tài)（運(yùn)行/關(guān)機(jī)），以及負(fù)載水平，結(jié)合結(jié)點(diǎn)的硬件配置即可確定結(jié)點(diǎn)的功耗，通過預(yù)先建立的結(jié)點(diǎn)熱力學(xué)模型和環(huán)境溫度可以確定結(jié)點(diǎn)所產(chǎn)生的熱量和溫度變化趨勢。結(jié)點(diǎn)在數(shù)據(jù)中心的物理位置和數(shù)據(jù)中心的空間結(jié)構(gòu)（長、寬、高），以及空調(diào)的進(jìn)、出風(fēng)口位置作為環(huán)境參數(shù)輸入在資源池管理模塊中，基于這些參數(shù)構(gòu)建數(shù)據(jù)中心的熱力學(xué)模型。通過結(jié)點(diǎn)溫度變化與數(shù)據(jù)中心熱力學(xué)模型計算出所需的制冷量，對空調(diào)進(jìn)行相應(yīng)調(diào)整。與此同時，根據(jù)用戶在策略設(shè)置模塊中設(shè)置的策略、能效分析結(jié)果，通過作業(yè)調(diào)度模塊動態(tài)的調(diào)整各結(jié)點(diǎn)的作業(yè)分布，從源頭控制各結(jié)點(diǎn)的負(fù)載水平和溫度變化。

5 結(jié)論（Conclusion）

綠色計算是在建設(shè)綠色GDP和節(jié)約型社會的倡導(dǎo)下提出的，用綠色科技創(chuàng)造社會價值，正在成為當(dāng)今社會的一種共識，節(jié)能、環(huán)保和節(jié)約已成為整個計算機(jī)產(chǎn)業(yè)的重要發(fā)展趨勢，用戶對健康化和節(jié)能化的理念要求也逐漸成為計算機(jī)產(chǎn)品更新?lián)Q代的新標(biāo)準(zhǔn)。綠色計算作為一種新的計算模式與技術(shù)，涉及的領(lǐng)域范圍較廣。本文重點(diǎn)對綠色計算的核心低功耗計算在數(shù)據(jù)中心的實(shí)現(xiàn)做了一個淺顯分析，希望能對建設(shè)或改造數(shù)據(jù)中心有所參考。

參考文獻(xiàn)（References）

[1] 郭兵，沈艷，邵子立.綠色計算的重定義與若干探討[J].計算機(jī)學(xué)報，2009，32（12）：2311-2319.

[2] Meng L S，et al.Low Power Consumption Solutions for Mobile Instant Messaging[J].IEEE Transactions on Mobile Computing，2012，11（6）：896-904.

[3] Hosseini E S，Esmaeelzadeh V，Eslami M.A Hierarchical Sub-Chromosome Genetic Algorithm（Hsc-ga）to Optimize Power Consumption and Data Communications Reliability in Wireless Sensor Networks[J].Wireless Personal Communications，

2015，80（4）：1579-1605.

[4] Wang C，et al.Low-Power Technologies for Wearable Telecare and Telehealth Systems：A review[J].Biomedical Engineering Letters，2015，5（1）：1-9.

[5] 曾宇.曙光5000A高效能計算節(jié)點(diǎn)的設(shè)計與實(shí)現(xiàn)[J].計算機(jī)工程，2009，25（3）：17-22.

[6] 董晶.高性能并行計算系統(tǒng)中低功耗資源管理的設(shè)計與研究[M].國防科學(xué)技術(shù)大學(xué)，2009.

[7] 戴永涌，楊樹軍.基于資源調(diào)度的集群節(jié)能系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J].計算機(jī)工程與科學(xué)，2009，31（A1）：176-178.

[8] 林守林，等.一種基于CPU利用率的功率控制策略的研究與實(shí)現(xiàn)[J].計算機(jī)工程與科學(xué)，2009，31（A1）：282-285.

[9] 安東升，李麟，白楊.基于CFD模型的數(shù)據(jù)中心集中式模型研究[J].信息技術(shù)與標(biāo)準(zhǔn)化，2011（8）：66-70.

作者介紹：

安東升（1967-），男，碩士，高級工程師.研究領(lǐng)域：高性能計算與計算機(jī)體系結(jié)構(gòu).

張高英（1971-），男，碩士，高級工程師.研究領(lǐng)域：數(shù)據(jù)庫與高性能計算.

劉 敬（1981-），男，博士，高級工程師.研究領(lǐng)域：計算機(jī)網(wǎng)絡(luò)安全與通信技術(shù).

李 冰（1983-），女，碩士，工程師.研究領(lǐng)域：衛(wèi)星遙感應(yīng)用.