基于和聲算法異構(gòu)Hadoop集群資源分配優(yōu)化

李鋒剛, 魏炎炎, 楊龍

Li Fenggang 1,2, Wei Yanyan 1,2,Yang Long1,2

1.合肥工業(yè)大學(xué) 管理學(xué)院，合肥 230009

2.教育部過(guò)程優(yōu)化與智能決策重點(diǎn)實(shí)驗(yàn)室，合肥 230009

1. School of Management, Hefei University of Technology, Hefei 230009, China

2. Key Laboratory of Process Optimization and Intelligent Decision-making, Ministry of Education, Hefei 230009, China

1 引言

自2007年IBM宣布云計(jì)算計(jì)劃之后，云成為目前工業(yè)界和學(xué)術(shù)界研究的熱點(diǎn)，云計(jì)算的理念為計(jì)算資源公共化的商業(yè)實(shí)現(xiàn)，目前工業(yè)界有代表性的云計(jì)算實(shí)例有Google的云計(jì)算平臺(tái)、IBM的“藍(lán)云”、微軟的Azure等[1]。在云計(jì)算的數(shù)據(jù)中心成千上萬(wàn)或者更多臺(tái)計(jì)算節(jié)點(diǎn)或服務(wù)器組成計(jì)算集群，這樣的集群有具大的處理能力，并且可以根據(jù)用戶的需求動(dòng)態(tài)分配計(jì)算或者存儲(chǔ)資源，因此如何更有效的分配資源成為人們研究的問(wèn)題。由于云計(jì)算是從網(wǎng)絡(luò)計(jì)算演化而來(lái)，而在網(wǎng)絡(luò)環(huán)境中資源分配問(wèn)題又是人們研究的熱點(diǎn)[2]，并且云和網(wǎng)格在有一定的聯(lián)系的基礎(chǔ)上又存在很多異同，所以研究云環(huán)境中資源分配問(wèn)題有一定價(jià)值。

MapReduce是云計(jì)算的編程模型和任務(wù)調(diào)試方式。Hadoop是Yahoo開(kāi)發(fā)的MapReduce調(diào)試方式和GFS的開(kāi)源實(shí)現(xiàn)。現(xiàn)有的Hadoop調(diào)度器都是建立在同構(gòu)集群假設(shè)前提之下，并且沒(méi)有考慮數(shù)據(jù)的區(qū)域性，但是實(shí)際情況并不是這樣[3]。考慮不同處理機(jī)計(jì)算速度，不同機(jī)器之間數(shù)據(jù)傳輸以及因數(shù)據(jù)聚集帶來(lái)I/O傳輸和網(wǎng)絡(luò)消耗問(wèn)題[4]，如何在滿足用戶需求的條件下更好的分配資源成為一個(gè)重要問(wèn)題，其分配策略的優(yōu) 劣直接影響到云計(jì)算架構(gòu)的工作性能和優(yōu)越性。傳統(tǒng)MapRedcue調(diào)度策略為一種事后的控制，當(dāng)出現(xiàn)慢節(jié)點(diǎn)（straggler）之后，再通過(guò)啟動(dòng)備份任務(wù)的方法重新執(zhí)行，雖然這種調(diào)度能普遍的提高響應(yīng)時(shí)間，但是還存在一定的問(wèn)題。本文考慮計(jì)算資源性能和其外部條件，利用和聲搜索算法對(duì)該計(jì)算資源的響應(yīng)時(shí)間進(jìn)行預(yù)測(cè)，目的為分配合適的資源到合適的計(jì)算節(jié)點(diǎn)，以期望能夠提高各個(gè)節(jié)點(diǎn)完成分配任務(wù)的時(shí)間并減少慢節(jié)點(diǎn)的產(chǎn)生，做到整體響應(yīng)時(shí)間的最小化。

2 相關(guān)知識(shí)

作為分布式計(jì)算、并行計(jì)算和網(wǎng)格計(jì)算的發(fā)展，云計(jì)算是一種基于互聯(lián)網(wǎng)的商業(yè)計(jì)算模式， 它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，并且以抽象虛擬和動(dòng)態(tài)增長(zhǎng)的方式為用戶提供需要的計(jì)算能力、存儲(chǔ)能力或其他服務(wù)。按照服務(wù)類(lèi)型云計(jì)算可以分為三大類(lèi)：基礎(chǔ)設(shè)施即服務(wù)（IaaS）、軟件即服務(wù)（SaaS）和平臺(tái)即服務(wù)（PaaS）[5]。

Hadoop是Apache開(kāi)源組織的一個(gè)分布式計(jì)算框架，可在大量廉價(jià)的硬件設(shè)備組成的集群上運(yùn)行應(yīng)用程序，目前現(xiàn)有的Hadoop平臺(tái)都是以集群的同構(gòu)為前提，都假設(shè)在此集群中各節(jié)點(diǎn)的性能和處理能力完全一樣、各節(jié)點(diǎn)外部環(huán)境如帶寬或網(wǎng)絡(luò)環(huán)境都完全一樣[6]。

MapReduce是云計(jì)算中分布式計(jì)算編程模型，其應(yīng)用也是非常的廣泛，如在谷歌利用 MapReduce來(lái)做分布 Grep、分布排序、Web訪問(wèn)日志分析、反射索引構(gòu)建、文檔聚類(lèi)、機(jī)器學(xué)習(xí)等[7]。MapReduce模型通過(guò)將輸入數(shù)據(jù)分割為許多塊，并對(duì)不同的塊執(zhí)行 Map和 Reduce操作來(lái)完成整體的任務(wù)。由于每個(gè) Map操作都針對(duì)不同的原始數(shù)據(jù)，所以 Map操作之間可以保持較高的并行性。Reduce操作是對(duì) Map操作所產(chǎn)生的結(jié)果進(jìn)行合并，由于每個(gè)Reduce所處理的Map中間結(jié)果是互不交叉的，所以 Reduce操作也有一定的并行性。

如下對(duì) MapReduce處理流程做簡(jiǎn)單介紹[5]，并如圖1所示：(1).MapReduce首先將輸入文件分成 M塊，每塊大小為 16M～64M，每塊大小可通過(guò)參數(shù)設(shè)定；(2).在處理操作中首先分配一個(gè) Master（主控程序），Master選擇空閑的 Worker（工作機(jī)）來(lái)分配 M個(gè)Map任務(wù)和R個(gè)Reduce任務(wù)；(3).每個(gè)分配了 Map任務(wù)的 Worker讀取并處理Master分配給其的數(shù)據(jù)塊，對(duì)數(shù)據(jù)塊進(jìn)行Map操作，并生成中間結(jié)果以對(duì)的形式保存至緩存；(4).保存在緩存中的中間結(jié)果將被定時(shí)寫(xiě)到本地硬盤(pán)，這些臨時(shí)數(shù)據(jù)將會(huì)通過(guò)分區(qū)函數(shù)分成 R個(gè)區(qū)。中間結(jié)果在本地硬盤(pán)的位置將被發(fā)送至 Master；(5).Master通知處理 Reduce任務(wù)的 Worker節(jié)點(diǎn)中間結(jié)果的位置，處理Reduce的Worker從Map Worker的本地磁盤(pán)獲取相應(yīng)的中間數(shù)據(jù)，根據(jù)定義的Reduce函數(shù)對(duì)中間結(jié)果依據(jù) Key進(jìn)行合并操作，并將結(jié)果輸出到輸出文件；(6).當(dāng)所有Map任務(wù)和Reduce任務(wù)都完成，Master激活用戶程序，并返回輸出文件位置及列表。

圖1 MapReduce處理流程

下面對(duì)MapReduce容錯(cuò)機(jī)制給予分析：

由于 MapReduce是在成百上千臺(tái)計(jì)算機(jī)上處理海量數(shù)據(jù)，所以需要有很好的容錯(cuò)機(jī)制來(lái)保持算法的穩(wěn)定性和安全性。MapReduce的容錯(cuò)是基于“重新執(zhí)行失敗的操作”的原則而設(shè)計(jì)。Master節(jié)點(diǎn)是整個(gè) MapReduce的核心，如果不進(jìn)行任何容錯(cuò)機(jī)制，一旦 Master失效整個(gè)MapReduce操作將會(huì)前功盡棄。為了防止這種致命性的錯(cuò)誤，Master節(jié)點(diǎn)會(huì)周期性設(shè)置檢查點(diǎn)（Checkpoint）并導(dǎo)出目前的控制數(shù)據(jù)。當(dāng) Master失效時(shí)將檢查最近檢查點(diǎn)并重新執(zhí)行失敗操作。Worker失效是一種更常見(jiàn)的狀態(tài)。其容錯(cuò)機(jī)制為：Master定期發(fā)送 ping命令以檢查 Worker的有效性，如果 Worker沒(méi)有應(yīng)答，則Master將此 Worker標(biāo)記為失效，并將分配給此 Worker的工作分配給其他空閑Worker重新執(zhí)行。

3 問(wèn)題描述及建模

如何提高M(jìn)apReduce操作的效率，或者說(shuō)如何花費(fèi)最少的時(shí)間尋找合適的Worker來(lái)完成用戶的需求為本文的研究目的。在MapReduce的整個(gè)執(zhí)行過(guò)程中，我們需要考慮如下因素對(duì)總響應(yīng)時(shí)間的影響：(1).輸入文件數(shù)據(jù)分塊的大小；(2).可用Worker的數(shù)量及Map Worker和Reduce Worker的數(shù)量；(3).Master節(jié)點(diǎn)的自身特性如處理能力、帶寬和線路質(zhì)量；(4).各個(gè)Worker的自身特性如處理能力、帶寬和線路質(zhì)量；(5).待處理數(shù)據(jù)和Worker的地理位置分布；(6).中間數(shù)據(jù)和其對(duì)應(yīng)的Reduce節(jié)點(diǎn)的地理位置分布；(7).輸出文件的位置；(8).Master節(jié)點(diǎn)穩(wěn)定性和檢查點(diǎn)的設(shè)置步長(zhǎng)；(9).Worker節(jié)點(diǎn)的穩(wěn)定性和詢問(wèn)周期；

為了簡(jiǎn)單起見(jiàn)，本文根據(jù)所關(guān)注的核心問(wèn)題，考慮節(jié)點(diǎn)的性能（處理能力）、節(jié)點(diǎn)的外部條件（帶寬、線路質(zhì)量及位置）及輸入數(shù)據(jù)塊大小為主要因素來(lái)進(jìn)行計(jì)算資源分配優(yōu)化。

我們可以將在本集群中的所有可以由Master節(jié)點(diǎn)調(diào)度的節(jié)點(diǎn)域看成一個(gè)無(wú)向圖G(V,E),其中V是所有可由Master調(diào)度的節(jié)點(diǎn)集合，E是連接各Worker節(jié)點(diǎn)的網(wǎng)絡(luò)集合。尋找每個(gè)Map或者Reduce操作最優(yōu)的Worker，也就變成在E中尋找一條最優(yōu)路徑e的操作[8]。又由于每個(gè)Map或者Reduce的可選節(jié)點(diǎn)網(wǎng)絡(luò)集合是不同的，必須在V中排除那些已經(jīng)分配給其他Map或者Reduce操作的非空閑節(jié)點(diǎn)，我們將第i次節(jié)點(diǎn)選擇中可用節(jié)點(diǎn)網(wǎng)絡(luò)集合記為Ei，其節(jié)點(diǎn)集合記為Vi。

在影響MapReduce效率的因素中有如下因素直接影響E中尋找一條最優(yōu)路徑e的選擇：

1) Vi中每個(gè)節(jié)點(diǎn)的處理能力，由節(jié)點(diǎn)的性能如處理器主頻、內(nèi)存大小、緩存大小和可用磁盤(pán)空間等因素決定。

2) Vi各節(jié)點(diǎn)的網(wǎng)絡(luò)狀態(tài)，如網(wǎng)絡(luò)帶寬和網(wǎng)絡(luò)延遲等。

3) 需要處理的數(shù)據(jù)塊的大小及相對(duì)Vi中各節(jié)點(diǎn)的位置分布。如下我們對(duì)計(jì)算節(jié)點(diǎn)選擇的影響因素

進(jìn)行公式化，轉(zhuǎn)化為相應(yīng)的時(shí)間因素：

1) 節(jié)點(diǎn)預(yù)計(jì)執(zhí)行時(shí)間time_cost(ei)：指路徑ei盡頭的計(jì)算資源處理該作業(yè)預(yù)計(jì)耗費(fèi)時(shí)間，由節(jié)點(diǎn)處理能力決定。節(jié)點(diǎn)完成任務(wù)需要的時(shí)間為節(jié)點(diǎn)性能中瓶頸因素所決定。

2) 網(wǎng)絡(luò)延遲time_delay(ei)：指路徑ei產(chǎn)生的最大網(wǎng)絡(luò)延遲。

3) 數(shù)據(jù)獲取時(shí)間time_getdata(ei)：由路徑ei的長(zhǎng)度、網(wǎng)絡(luò)帶寬和數(shù)據(jù)塊的大小共同決定,和數(shù)據(jù)塊的大小及e的長(zhǎng)度成正比關(guān)系，和網(wǎng)絡(luò)帶寬成反比關(guān)系。

公式化為如下形式：

考慮如上三個(gè)因素 MapReduce執(zhí)行過(guò)程中節(jié)點(diǎn)選擇公式為：

約束條件：

其中 ei為第 i條路徑選擇,Ei為第 i次路徑選擇中可行路徑集合；time(ei)為第 i條路徑完成指定任務(wù)需要的時(shí)間；

α、β、χ為權(quán)重值，并且α+β+χ=1；CL、DL和GL為其邊界限制條件。

4 算法描述

4.1 基本和聲搜索算法（BHS）

和聲搜索算法（Harmony Search,HS）[9]是由Geem Z W等人提出的一種啟發(fā)式智能優(yōu)化算法，在許多組合優(yōu)化問(wèn)題中得到了成功應(yīng)用[10-13]。在音樂(lè)演奏中,樂(lè)師們憑借記憶, 通過(guò)反復(fù)調(diào)整樂(lè)隊(duì)中各樂(lè)器的音調(diào), 最終達(dá)到一個(gè)美妙的和聲狀態(tài)。Geem 等人受這一現(xiàn)象啟發(fā), 提出了基本和聲搜索(Basic Harmony Search, BHS) 算法。

BHS 將樂(lè)器的音調(diào)類(lèi)比作優(yōu)化問(wèn)題的決策變量Xij, 將各樂(lè)器的和聲類(lèi)比于解向量,其中n為決策變量的個(gè)數(shù), 評(píng)價(jià)類(lèi)比于目標(biāo)函數(shù)F(Xi) ,和聲記憶庫(kù)HM 類(lèi)比于種群, 樂(lè)曲的創(chuàng)作過(guò)程類(lèi)比于種群進(jìn)化過(guò)程[14]。和聲記憶庫(kù)的形式如下：

隨著算法應(yīng)用的越來(lái)越廣泛，也有一些學(xué)者對(duì)算法進(jìn)行了改進(jìn)，以尋求更好的計(jì)算結(jié)果和性能。對(duì) HS算法的改進(jìn)主要集中在兩個(gè)方面：一方面為動(dòng)態(tài)調(diào)節(jié)算法中的某些參數(shù);另一方面是在變量微調(diào)時(shí)改變隨機(jī)數(shù)的選取方式[15]。本文在實(shí)驗(yàn)中將同時(shí)應(yīng)用基本和聲算法和一種改進(jìn)的和聲算法優(yōu)化資源分配問(wèn)題。

4.2 算法流程

BHS 從隨機(jī)產(chǎn)生的和聲記憶庫(kù)開(kāi)始，通過(guò)對(duì)和聲記憶庫(kù)思考、隨機(jī)選擇音調(diào)，以及和聲調(diào)節(jié)來(lái)產(chǎn)生新解，再通過(guò)新解與和聲記憶庫(kù)中的最差解比較來(lái)決定是否更新和聲記憶庫(kù)，和聲搜索算法解決問(wèn)題分為以下步驟：(1).問(wèn)題公式化； (2).算法參數(shù)設(shè)置；(3).隨機(jī)的記憶庫(kù)初始化；(4).隨機(jī)選擇、記憶的考慮、調(diào)整；(5).記憶庫(kù)更新；(6).算法迭代及終止。

4.3 算法參數(shù)設(shè)置

1).和聲記憶庫(kù)的大小（HMS）:指此算法同時(shí)處理的解向量的個(gè)數(shù)；(2).創(chuàng)作次數(shù)（MI）:即算法迭代的次數(shù)；(3).和聲記憶庫(kù)思考概率（HMCR）:指和聲搜索算法從記憶庫(kù)中取值概率，則以（1-HMCR）的概率從變量定義域中取值對(duì)和聲記憶庫(kù)進(jìn)行更新；(4).音調(diào)微調(diào)概率（PAR）:為對(duì)從記憶庫(kù)中取出的值進(jìn)行微調(diào)的概率，則以（1-PAR）的概率保持記憶庫(kù)原來(lái)的數(shù)據(jù)不變。在BHS中一些固定的參數(shù)值被應(yīng)用到問(wèn)題的求解中，也有一些研究者提出了可變的參數(shù)，如PAR隨著迭代的進(jìn)行線性增長(zhǎng)，這樣可以一定程度上提高算法性能。動(dòng)態(tài)PAR參數(shù)式為（t為迭代的次數(shù)）：

(5).調(diào)節(jié)頻寬（FW）:無(wú)論是對(duì)和聲記憶庫(kù)中還是定義域中取出的值進(jìn)行微調(diào)的頻寬。改進(jìn)的和聲搜索算法中有些將FW隨著迭代的進(jìn)行指數(shù)遞減，參數(shù)公式為：

4.4 記憶庫(kù)（HM）的初始化

為了保證算法的收斂速度和有效性，初始和聲記憶庫(kù)必須保證種群的分散性和均勻性。初始和聲記憶按下式均勻產(chǎn)生：

其中Xij為第i個(gè)候選解向量中第j個(gè)決策變量的取值。rand[0,1]為在0到1上的均勻分布隨機(jī)數(shù)。

4.5 新和聲的生成

新和聲是基于記憶考慮、隨機(jī)選擇和微調(diào)擾動(dòng)3個(gè)規(guī)則產(chǎn)生的。記憶考慮可按如下的公式生成新和聲變量：

其中rand()為在[0,1]上均勻分布隨機(jī)數(shù)，當(dāng)特定情況下rand()的值小于HMCR，則第i個(gè)變量從和聲記憶庫(kù)中已存在的Xi中取值;否則從Xi的值域Ωi中隨機(jī)選擇。

微調(diào)擾動(dòng)以如下規(guī)則進(jìn)行：

若隨機(jī)數(shù)rand()

4.6 記憶庫(kù)的更新

對(duì)于最小化問(wèn)題，以如下規(guī)則更新和聲記憶庫(kù)：

4.7 迭代終止

當(dāng)?shù)螖?shù)達(dá)到預(yù)先設(shè)定的 MI次之后，則算法迭代終止，和聲記憶庫(kù)中最優(yōu)解為求解問(wèn)題的最終解。

5 算法仿真及結(jié)果分析

由于真實(shí)Hadoop平臺(tái)及其計(jì)算資源性能和外部環(huán)境度量的復(fù)雜性，并且云環(huán)境局部可以看作一個(gè)特殊的網(wǎng)格，因此我們利用Gridsim[16]來(lái)仿真云計(jì)算的局部域，以檢查我們算法的有效性。Gridsim在大規(guī)模分布式計(jì)算機(jī)集群仿真中非常常見(jiàn)，并且仿真效果也比較理想。本文通過(guò)Gridsim的GridResource類(lèi)模擬云計(jì)算中的計(jì)算資源和網(wǎng)絡(luò)資源，并通過(guò)設(shè)定GridResource類(lèi)中參數(shù)不同來(lái)模擬異構(gòu)節(jié)點(diǎn);通過(guò)GridInformationServices來(lái)管理這些模擬的資源。

為了比較算法的有效性，我們?cè)谟肎ridResource模擬的外部環(huán)境相同的情況下，將文中（1）式和（2）式在GridBroker中構(gòu)造如下三種不同的策略來(lái)進(jìn)行計(jì)算資源的選擇，并比較各種策略的有效性和適用性。

三種策略及其參數(shù)設(shè)定：

A1：隨機(jī)選擇計(jì)算資源：第i次節(jié)點(diǎn)選擇中可用節(jié)點(diǎn)網(wǎng)絡(luò)Ei中可用路徑數(shù)為Ci，則我們以[0,Ci]的均勻分布對(duì)計(jì)算節(jié)點(diǎn)進(jìn)行隨機(jī)選擇。

A2：基本和聲搜索算法：我們將基本和聲搜索算法參數(shù)設(shè)置為HMS=6，HMCR=0.9，PAR = 0.1，MI=Ci。

A3：改進(jìn)的和聲搜索算法：為了獲得更好的收斂效果，我們利用動(dòng)態(tài)調(diào)節(jié)算法參數(shù)的方法來(lái)改進(jìn)和聲搜索算法，設(shè)置其參數(shù)如下：HMS=5,HMCR=0.9，PARmin=0.01，PARmax=0.99，MI=Ci。

我們對(duì)1GB的文本應(yīng)用MapReduce進(jìn)行WordCount操作，數(shù)據(jù)塊大小為32M，同時(shí)最大任務(wù)數(shù)（同時(shí)可并行運(yùn)行的任務(wù)數(shù)，Task）為50。分別模擬集群中節(jié)點(diǎn)數(shù)量分別為25、40、50、75、100、200，且各節(jié)點(diǎn)的計(jì)算能力、網(wǎng)絡(luò)帶寬和位置并不完全相同。完成MapReduce的所有任務(wù)需要的時(shí)間如下表1所示（單位秒(s)，表頭A表示集群中節(jié)點(diǎn)數(shù)量、B表示三種不同分配策略）。

表1 Task=50,MI=Ci時(shí)仿真實(shí)驗(yàn)數(shù)據(jù)

由仿真實(shí)驗(yàn)結(jié)果表1我們可以看出，應(yīng)用和聲搜索算法（A2、A3）進(jìn)行計(jì)算資源分配要比隨機(jī)選擇策略（A1）在響應(yīng)時(shí)間上有很大優(yōu)勢(shì)；而基本和聲搜索算法（A2）和改進(jìn)和聲搜索算法（A3）在執(zhí)行效率上基本相同，后者稍優(yōu)。根據(jù)如上數(shù)據(jù)我們可畫(huà)出如圖2所示仿真結(jié)果曲圖（耗時(shí)單位為秒）。

圖2 Task=50,MI=Ci時(shí)仿真結(jié)果曲線圖

圖2中橫坐標(biāo)表示集群中節(jié)點(diǎn)的數(shù)量，縱坐標(biāo)表示Map-Reduce執(zhí)行完設(shè)定Task需要的時(shí)間。從圖2可以看出，當(dāng)節(jié)點(diǎn)數(shù)小于Task數(shù)目時(shí)，隨著節(jié)點(diǎn)數(shù)目增多至Task數(shù)目附近耗時(shí)下降明顯；當(dāng)節(jié)點(diǎn)數(shù)目大于任務(wù)數(shù)目時(shí)，隨著節(jié)點(diǎn)數(shù)目的增多，對(duì)總耗時(shí)沒(méi)有顯著的影響。考慮和聲搜索算法迭代次數(shù)MI對(duì)實(shí)驗(yàn)結(jié)果的影響，我們?cè)谄渌麠l件不變的情況下設(shè)置Mi=2Ci，再次進(jìn)行實(shí)驗(yàn)，得到結(jié)果如表2：

表2 Task=50,MI=2Ci時(shí)仿真實(shí)驗(yàn)數(shù)據(jù)

由兩次實(shí)驗(yàn)可以看出隨著迭代次數(shù)的增加完成所有任務(wù)的耗時(shí)有稍量下降，可以通過(guò)適當(dāng)提高迭代次數(shù)獲得更好的資源分配效果，但是效果并不顯著。

5 結(jié)束語(yǔ)

異構(gòu)Map-Reduce環(huán)境中資源分配策略直接影響到其響應(yīng)時(shí)間，如何利用有效的策略將計(jì)算任務(wù)分配到計(jì)算資源是亟待解決的問(wèn)題。文中對(duì)計(jì)算資源分配問(wèn)題進(jìn)行建模，利用和聲搜索算法來(lái)優(yōu)化資源分配，以期縮短MapReduce的整體響應(yīng)時(shí)間，提高云計(jì)算平臺(tái)的效率。從仿真結(jié)果可能看出，此算法明顯優(yōu)于資源的隨機(jī)選擇策略，并且可以利用改進(jìn)的和聲搜索算法獲得比基本和聲算法稍好的性能。

[1]. 田宏偉,解福,倪俊敏. 云計(jì)算環(huán)境下基于粒子群算法的資源分配策略[J]. 計(jì)算機(jī)技術(shù)與發(fā)展,2011. 21(12):22-25.

[2].梁俊斌,蘇德富.基于云模型的網(wǎng)格資源分配策略[J]. 計(jì)算機(jī)工程與應(yīng)用,2005(5):147-150.

[3]. Jiong, X., et al. Improving MapReduce performance through data placement in heterogeneous Hadoop clusters[C]. 2010 IEEE International Symposium on Parallel&Distributed Processing, Workshops and Phd Forum, Atlanta, GA, USA, 2010/4/19-23.

[4].陳全. 異構(gòu)環(huán)境下自適應(yīng)的 Map-Reduce調(diào)度[J]. 計(jì)算機(jī)工程與科學(xué), 2009. 31(A1),168-175.

[5].劉鵬, 慈祥. 云計(jì)算[M]. 北京: 電子工業(yè)出版社,2010:2-3/14-17.

[6].Dean,J.et al,MapReduce:Simplified Data Processing on Large Clusters[J].Communications of the ACM, 2008. 51(1):107-113.

[7].Lammel, R. Google's MapReduce programming model-Revisited[J].Science of Computer Programming , 2008. 70(1): 1-30.

[8].華夏渝, 鄭駿, 胡文心. 基于云計(jì)算環(huán)境的蟻群優(yōu)化計(jì)算資源分配算法[J]. 華東師范大學(xué)學(xué)報(bào)（自然科學(xué)版）,2010(1): 127-134.

[9]. ZW, G., K. JH, and L. GV. A new heuristic optimization algorithm: harmony search.Simulation[J], 2001, 76(2): 60-68.

[10]. Z. Geem, J. Kim, G. Loganathan. Harmony search optimization: application to pipe network design[J]. International Journal of Model Simulation, 2002, 22(2): 125–133.

[11].Geem, Z.W. Optimal cost design of water distribution networks using harmony search[J].Engineering Optimization, 2006,38(3):259-277.

[12].Fesanghary, M. et al. Hybridizing harmony search algorithm with sequential quadratic programming for engineering optimization problems[J]. Computer Methods in Applied Mechanics and Engineering,2008,197(33–40):3080-3091.

[13].武磊,潘金科,等. 求解零空閑流水線調(diào)度問(wèn)題的和聲搜索算法[J]. 計(jì)算機(jī)集成制造系統(tǒng),2009,15(10): 1960-1967.

[14]. Xiao-Zhi, G.. A New Harmony Search method in optimal wind generator design[C]. XIX International Conference on Electrical Machines - ICEM 2010,Rome,2010/9/6-8:(1-6).

[15].雍龍泉. 和聲搜索算法研究進(jìn)展. 計(jì)算機(jī)系統(tǒng)應(yīng)用[J], 2011. 20(7):244-248.

[16].Buyya, R. and M. Murshed. GridSim: a toolkit for the modeling and simulation of distributed resource management and scheduling for Grid computing[J]. Concurrency and Computation:Practice and Experience,2002,14(13-15): 1175-1220.