異構(gòu)存儲(chǔ)的HDFS副本選擇策略研究

楊?yuàn)檴?陳彩+梁毅

摘 要：大數(shù)據(jù)時(shí)代的到來(lái)，給海量數(shù)據(jù)的存儲(chǔ)與管理帶來(lái)了更為嚴(yán)峻的挑戰(zhàn)。HDFS能夠有效緩解飛速增長(zhǎng)的海量數(shù)據(jù)存儲(chǔ)需求。最初HDFS被設(shè)計(jì)用于同構(gòu)的硬件環(huán)境，然而隨著集群硬件的迭代更新，存儲(chǔ)介質(zhì)的硬件異構(gòu)特性愈發(fā)明顯。為了充分利用高性能存儲(chǔ)介質(zhì)，提升HDFS的數(shù)據(jù)訪問(wèn)性能，設(shè)計(jì)了一種基于層次分析法的異構(gòu)存儲(chǔ)的HDFS副本選擇策略，并在擴(kuò)展的CloudSim仿真系統(tǒng)中實(shí)現(xiàn)了該策略。實(shí)驗(yàn)結(jié)果表明，該策略在HDFS數(shù)據(jù)訪問(wèn)性能方面優(yōu)于HDFS默認(rèn)副本選擇策略。

關(guān)鍵詞：大數(shù)據(jù)；異構(gòu)存儲(chǔ)；HDFS；副本選擇策略；CloudSim

DOIDOI：10.11907/rjdk.171284

中圖分類號(hào)：TP301

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2017）007-0011-03

0 引言

云存儲(chǔ)技術(shù)已經(jīng)受到了商業(yè)與學(xué)術(shù)領(lǐng)域的廣泛關(guān)注，目前已成為大數(shù)據(jù)時(shí)代的研究熱點(diǎn)。隨著大數(shù)據(jù)時(shí)代的到來(lái)，大數(shù)據(jù)的存儲(chǔ)需求成倍增長(zhǎng)，分布式存儲(chǔ)技術(shù)是大數(shù)據(jù)時(shí)代應(yīng)對(duì)存儲(chǔ)容量的壓力與成本等諸多挑戰(zhàn)下的極為重要的解決方案。HDFS是大數(shù)據(jù)領(lǐng)域最受關(guān)注的具備高度容錯(cuò)性與高吞吐量的海量數(shù)據(jù)存儲(chǔ)的開源框架[1]。

近年來(lái)，計(jì)算機(jī)硬件技術(shù)的飛速發(fā)展，使得固態(tài)硬盤的性能不斷提升，價(jià)格快速下降。由于固態(tài)硬盤具有較高的I/O性能，目前已經(jīng)被應(yīng)用于HDFS中以提升海量數(shù)據(jù)的存儲(chǔ)性能。但是固態(tài)硬盤的使用成本仍舊高于機(jī)械硬盤，綜合考慮大規(guī)模HDFS的基礎(chǔ)設(shè)施成本與存儲(chǔ)的性能需求，將固態(tài)硬盤與機(jī)械硬盤混合應(yīng)用是一種有效的解決手段。

副本選擇策略是HDFS數(shù)據(jù)訪問(wèn)的基礎(chǔ)，副本選擇策略的優(yōu)劣將直接影響HDFS集群的數(shù)據(jù)訪問(wèn)性能。為了充分利用異構(gòu)的存儲(chǔ)介質(zhì)，同時(shí)避免集群負(fù)載不均所帶來(lái)的瓶頸，本文充分考慮副本所在存儲(chǔ)介質(zhì)與集群中節(jié)點(diǎn)的負(fù)載差異，構(gòu)建了數(shù)學(xué)模型，提出了一種異構(gòu)存儲(chǔ)下的HDFS副本讀取選擇（Heterogeneous Storage Replica Selection，HSRS）策略。

1 HDFS的異構(gòu)存儲(chǔ)

最初，Hadoop默認(rèn)所有存儲(chǔ)介質(zhì)都是同構(gòu)的，但是隨著Hadoop集群硬件的迭代更新，使得在集群中出現(xiàn)了異構(gòu)的存儲(chǔ)介質(zhì)。不同的存儲(chǔ)介質(zhì)具有不同的I/O性能。機(jī)械硬盤作為目前主流的存儲(chǔ)介質(zhì)，盡管價(jià)格低、容量大，但是由于其機(jī)械構(gòu)造、磁盤尋道時(shí)間與定位時(shí)間難以被消除，使得機(jī)械硬盤在讀寫性能上難以有進(jìn)一步提升。隨著多核處理器的飛速發(fā)展，機(jī)械硬盤的訪問(wèn)性能與處理器和內(nèi)存之間的差距越來(lái)越大。機(jī)械硬盤的I/O性能已經(jīng)成為分布式存儲(chǔ)系統(tǒng)訪問(wèn)性能的主要瓶頸之一。固態(tài)硬盤無(wú)需尋道，讀寫延遲遠(yuǎn)遠(yuǎn)小于機(jī)械硬盤，并且提供了良好的隨機(jī)訪問(wèn)性能，并且比機(jī)械硬盤的能耗更低[2]。

為了充分利用異構(gòu)存儲(chǔ)介質(zhì)的性能特點(diǎn)，Hadoop于2.6.0版本中添加了對(duì)異構(gòu)存儲(chǔ)的支持，同時(shí)引入了存儲(chǔ)策略的新概念，在數(shù)據(jù)寫入至HDFS時(shí)可以為數(shù)據(jù)指定不同的存儲(chǔ)策略，使得數(shù)據(jù)可以寫入不同類型的存儲(chǔ)介質(zhì)中。然而在副本選擇策略方面仍舊采用就近副本選擇策略。

在此之前，許多學(xué)者研究如何在HDFS中將機(jī)械硬盤與固態(tài)硬盤混合使用以充分發(fā)揮不同存儲(chǔ)介質(zhì)的性能。Islam等[3-5]提出將固態(tài)硬盤作為機(jī)械硬盤的緩存層的HDFS架構(gòu)； Krish等[6-7]提出了固態(tài)硬盤與機(jī)械硬盤混合使用的HDFS系統(tǒng)架構(gòu)，并提出了數(shù)據(jù)放置與查詢策略，有效提升了HDFS的系統(tǒng)訪問(wèn)性能。Chen等[8]在操作系統(tǒng)內(nèi)核層面進(jìn)行了異構(gòu)存儲(chǔ)的HDFS數(shù)據(jù)放置策略設(shè)計(jì)與實(shí)現(xiàn)。目前，異構(gòu)混合存儲(chǔ)的HDFS主要集中于架構(gòu)設(shè)計(jì)，在副本選擇策略方面仍具備較大的研究空間。

2 異構(gòu)存儲(chǔ)的HDFS副本選擇策略

2.1 HDFS讀過(guò)程分析

為了避免分布式文件系統(tǒng)中存儲(chǔ)節(jié)點(diǎn)失效帶來(lái)的數(shù)據(jù)丟失情況，HDFS采用數(shù)據(jù)多副本分塊對(duì)數(shù)據(jù)進(jìn)行冗余存儲(chǔ)。這在保證數(shù)據(jù)安全性的同時(shí)也提升了數(shù)據(jù)的訪問(wèn)性能，多客戶端可并發(fā)地從不同數(shù)據(jù)節(jié)點(diǎn)中讀取數(shù)據(jù)。HDFS讀過(guò)程如圖 1所示。

盡管HDFS支持了異構(gòu)存儲(chǔ)類型并引入了存儲(chǔ)策略，然而在進(jìn)行副本讀取節(jié)點(diǎn)選擇時(shí)，HDFS默認(rèn)的副本讀取選擇策略仍舊為副本就近讀取選擇策略。以最小化訪問(wèn)延遲與集群中全局網(wǎng)絡(luò)帶寬為目標(biāo)，只考慮了數(shù)據(jù)副本所在數(shù)據(jù)節(jié)點(diǎn)的網(wǎng)絡(luò)拓?fù)渚嚯x，選擇與請(qǐng)求節(jié)點(diǎn)網(wǎng)絡(luò)拓?fù)渚嚯x最小的副本進(jìn)行訪問(wèn)，選擇可用節(jié)點(diǎn)而不是最佳訪問(wèn)節(jié)點(diǎn)。

在異構(gòu)存儲(chǔ)的HDFS中，在相同負(fù)載場(chǎng)景下，從具有較高訪問(wèn)性能的存儲(chǔ)介質(zhì)讀取數(shù)據(jù)能夠大幅度地提升副本的訪問(wèn)速率。集群中的各個(gè)數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)了不同的數(shù)據(jù)副本，不同數(shù)據(jù)副本的訪問(wèn)呈現(xiàn)動(dòng)態(tài)性，數(shù)據(jù)節(jié)點(diǎn)的負(fù)載情況也會(huì)影響數(shù)據(jù)訪問(wèn)性能。如果從負(fù)載過(guò)重的節(jié)點(diǎn)中讀取數(shù)據(jù)塊會(huì)加重該數(shù)據(jù)節(jié)點(diǎn)的任務(wù)量，易導(dǎo)致讀取性能的降低。選擇負(fù)載較輕的數(shù)據(jù)節(jié)點(diǎn)能夠有效提高數(shù)據(jù)傳輸速度。

如何從存儲(chǔ)數(shù)據(jù)副本的多個(gè)數(shù)據(jù)節(jié)點(diǎn)中選擇出最佳節(jié)點(diǎn)進(jìn)行訪問(wèn)以提升數(shù)據(jù)訪問(wèn)速度，是異構(gòu)存儲(chǔ)的HDFS副本選擇的關(guān)鍵問(wèn)題之一。

2.2 數(shù)學(xué)描述

在異構(gòu)存儲(chǔ)的HDFS中，多副本分散存儲(chǔ)于集群中的不同數(shù)據(jù)節(jié)點(diǎn)之上。影響數(shù)據(jù)訪問(wèn)性能的因子包含副本所在存儲(chǔ)介質(zhì)的負(fù)載情況、網(wǎng)絡(luò)拓?fù)渚嚯x與數(shù)據(jù)節(jié)點(diǎn)的負(fù)載情況等。

2.2.1 數(shù)據(jù)節(jié)點(diǎn)集

設(shè)HDFS中數(shù)據(jù)塊Bi所在的數(shù)據(jù)節(jié)點(diǎn)集合為DN（Bi）={DN1，…，DNi，…，DNn}，DNi用于表示編號(hào)為i的數(shù)據(jù)節(jié)點(diǎn)。

2.2.2 網(wǎng)絡(luò)拓?fù)渚嚯x

HDFS集群節(jié)點(diǎn)通常會(huì)部署于多個(gè)機(jī)架上。機(jī)架內(nèi)機(jī)器之間的網(wǎng)絡(luò)速度通常都會(huì)高于跨機(jī)架機(jī)器之間的網(wǎng)絡(luò)速度，網(wǎng)絡(luò)拓?fù)渚嚯x會(huì)直接影響客戶端到數(shù)據(jù)節(jié)點(diǎn)訪問(wèn)請(qǐng)求的響應(yīng)時(shí)間。本文對(duì)網(wǎng)絡(luò)拓?fù)渚嚯x進(jìn)行了量化設(shè)置，當(dāng)客戶端與數(shù)據(jù)節(jié)點(diǎn)位于相同物理節(jié)點(diǎn)中，網(wǎng)絡(luò)拓?fù)渚嚯x為0；當(dāng)客戶端與數(shù)據(jù)節(jié)點(diǎn)位于相同機(jī)架的不同物理節(jié)點(diǎn)中，網(wǎng)絡(luò)拓?fù)渚嚯x為2；當(dāng)客戶端與數(shù)據(jù)節(jié)點(diǎn)位于不同機(jī)架的物理節(jié)點(diǎn)中，網(wǎng)絡(luò)拓?fù)渚嚯x為4，di則用于表示目標(biāo)數(shù)據(jù)節(jié)點(diǎn)與編號(hào)為i的數(shù)據(jù)節(jié)點(diǎn)的網(wǎng)絡(luò)拓?fù)渚嚯x，dmax用于表示集群中的最遠(yuǎn)網(wǎng)絡(luò)拓?fù)渚嚯x。

2.2.3 數(shù)據(jù)節(jié)點(diǎn)負(fù)載

設(shè)數(shù)據(jù)節(jié)點(diǎn)負(fù)載定義為L(zhǎng)i={CPUi，Memi，Diskidev}，分別表示為CPU使用率、內(nèi)存使用率和負(fù)載所在存儲(chǔ)介質(zhì)的使用率。然而由于存儲(chǔ)介質(zhì)的異構(gòu)性，固態(tài)硬盤與機(jī)械硬盤的數(shù)據(jù)訪問(wèn)性能具有較大的差距。因此，需要對(duì)磁盤使用率進(jìn)行數(shù)值上的處理，使得磁盤使用率這一指標(biāo)能夠無(wú)差別地表示不同存儲(chǔ)介質(zhì)的IO使用情況。

綜上所述，數(shù)據(jù)節(jié)點(diǎn) DNi上的副本訪問(wèn)性能進(jìn)行評(píng)估函數(shù)如式（1）所示，其中ωj為對(duì)應(yīng)項(xiàng)的權(quán)系數(shù)，W=（ω1，ω2，…，ωn）T為權(quán)向量，∑njωj=1；Speedidev表示副本所在存儲(chǔ)介質(zhì)的速度；SpeedMAX表示集群中最大的存儲(chǔ)介質(zhì)訪問(wèn)速度。Perf（DNi）的值越小，說(shuō)明DNi的副本訪問(wèn)性能越差，值越大，則反之。

為了確定每個(gè)影響因子對(duì)于數(shù)據(jù)節(jié)點(diǎn)副本訪問(wèn)性能的影響程度，本文采用了層次分析法來(lái)確定權(quán)系數(shù)的值。由美國(guó)運(yùn)籌學(xué)家T L Satty[9]提出的層次分析法是一種定性和定量相結(jié)合的、系統(tǒng)化、層次化的分析方法。它的應(yīng)用已遍及能源政策和分配、行為科學(xué)、軍事指揮和運(yùn)輸?shù)阮I(lǐng)域。該方法將復(fù)雜的問(wèn)題分解成若干關(guān)鍵因素，將每?jī)蓚€(gè)關(guān)鍵因素的重要程度進(jìn)行比對(duì)并進(jìn)行定量計(jì)算后作出選擇與判斷。

根據(jù)層次分析法計(jì)算得出權(quán)向量為：

由于數(shù)據(jù)節(jié)點(diǎn)的影響因子是以一定的時(shí)間周期進(jìn)行收集，在主節(jié)點(diǎn)中存儲(chǔ)的數(shù)據(jù)節(jié)點(diǎn)的影響因子數(shù)值是歷史某一時(shí)刻的快照值，無(wú)法用于表示數(shù)據(jù)節(jié)點(diǎn)的實(shí)時(shí)性能狀況，如果僅僅以Perf（DNi）值排列順序作為目標(biāo)數(shù)據(jù)節(jié)點(diǎn)選擇優(yōu)先級(jí)的依據(jù)，會(huì)造成短期內(nèi)所有訪問(wèn)請(qǐng)求均被發(fā)送至Perf（DNi）值最大的數(shù)據(jù)節(jié)點(diǎn)中，使得該數(shù)據(jù)節(jié)點(diǎn)需要處理過(guò)多的數(shù)據(jù)訪問(wèn)請(qǐng)求。

本文采取基于數(shù)據(jù)節(jié)點(diǎn)評(píng)估值概率的輪盤賭選擇策略，Perf（DNi）值高的數(shù)據(jù)節(jié)點(diǎn)被選中的概率更大，Perf（DNi）值低的數(shù)據(jù)節(jié)點(diǎn)被選中的概率更小。節(jié)點(diǎn)DNi的選擇概率計(jì)算公式為：

在選擇時(shí)利用計(jì)算機(jī)生成的[0，1]隨機(jī)數(shù)確定目標(biāo)數(shù)據(jù)節(jié)點(diǎn)。通過(guò)這種基于概率的選擇策略可以保證訪問(wèn)請(qǐng)求的有效分發(fā)，避免短期內(nèi)數(shù)據(jù)節(jié)點(diǎn)訪問(wèn)過(guò)熱情況的發(fā)生。

2.3 HSRS策略流程

基于上述分析，異構(gòu)存儲(chǔ)的HDFS副本選擇策略流程如下：①根據(jù)集群的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，初始化所有數(shù)據(jù)節(jié)點(diǎn)的網(wǎng)絡(luò)拓?fù)渚嚯x；②根據(jù)用戶請(qǐng)求從主節(jié)點(diǎn)中獲取候選副本所在的數(shù)據(jù)節(jié)點(diǎn)集合DN（Bi）；③根據(jù)式（1）計(jì)算集合DN（Bi）中的數(shù)據(jù)節(jié)點(diǎn)副本訪問(wèn)性能評(píng)估值；④根據(jù)式（2）計(jì)算集合DN（Bi）中數(shù)據(jù)節(jié)點(diǎn)選擇概率值；⑤生成范圍[0，1]的隨機(jī)數(shù)r，當(dāng)Probability（DNi-1）≤r≤Probability（DNi）時(shí)，則選擇編號(hào)為i的數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)副本進(jìn)行讀?。虎拗貜?fù)步驟②至步驟⑤直至數(shù)據(jù)全部讀取完畢。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)將擴(kuò)展后的CloudSim 4.0作為異構(gòu)存儲(chǔ)的HDFS仿真工具。CloudSim的配置文件包括集群硬件配置文件，數(shù)據(jù)配置文件以及任務(wù)配置文件。在本實(shí)驗(yàn)中，將100臺(tái)主機(jī)節(jié)點(diǎn)按照集群硬件配置文件分布在5個(gè)機(jī)架之上，設(shè)置了8種不同硬件配置的主機(jī)類型。本實(shí)驗(yàn)參考真實(shí)機(jī)械硬盤與固態(tài)硬盤的讀取速度，設(shè)置仿真機(jī)械硬盤的讀取速度為300MB/s，固態(tài)硬盤的讀取速度為100MB/s，機(jī)架內(nèi)最大數(shù)據(jù)傳輸帶寬為1 000MB/s，機(jī)架間最大數(shù)據(jù)傳輸帶寬為500MB/s。

3.2 性能分析

本實(shí)驗(yàn)參考HDFS默認(rèn)的數(shù)據(jù)上傳流程，采用ONE_SSD的數(shù)據(jù)存儲(chǔ)策略，在集群中每個(gè)數(shù)據(jù)包含3個(gè)副本，每個(gè)數(shù)據(jù)均有一個(gè)副本放置于SSD中。在進(jìn)行仿真實(shí)驗(yàn)之前，預(yù)先向HDFS中寫入任務(wù)所需的數(shù)據(jù)。每個(gè)數(shù)據(jù)的大小為2 048MB，每個(gè)數(shù)據(jù)共3個(gè)副本，數(shù)據(jù)塊大小為64MB，共寫入10 000個(gè)數(shù)據(jù)。本實(shí)驗(yàn)通過(guò)程序自動(dòng)生成所有任務(wù)，任務(wù)到達(dá)服從λ=5.0的泊松分布。任務(wù)總數(shù)量分別為50、100、150、200、250和300個(gè)。

作為對(duì)比實(shí)驗(yàn)的HDFS默認(rèn)副本選擇策略（Default Replica Select， DRS）的任務(wù)運(yùn)行結(jié)果，與本文提出的異構(gòu)存儲(chǔ)的HDFS副本選擇策略任務(wù)運(yùn)行結(jié)果如圖 2和圖3所示。

本實(shí)驗(yàn)中采用任務(wù)平均讀取速度與集群中SSD總訪問(wèn)次數(shù)兩個(gè)指標(biāo)將DRS策略與HSRS策略進(jìn)行對(duì)比。如式（3）所示，n個(gè)任務(wù)的平均讀取速度即為讀取的數(shù)據(jù)總量除以讀取的所有時(shí)間。

圖2是集群中SSD總訪問(wèn)次數(shù)對(duì)比。從圖 2可以看出，在不同任務(wù)總量下，HSRS策略集群中的SSD總訪問(wèn)次數(shù)高于DRS策略。在任務(wù)總量為300個(gè)的實(shí)驗(yàn)中，采用HSRS策略的SSD總訪問(wèn)次數(shù)是DRS策略的2.61倍。SSD的讀取性能優(yōu)于機(jī)械硬盤，充分利用SSD可以有效提升數(shù)據(jù)的訪問(wèn)性能。

圖3為采用DRS策略與采用HSRS策略時(shí)不同任務(wù)總量下的任務(wù)平均讀取速度對(duì)比。由圖 3可知，在不同的任務(wù)總量下，采用HSRS策略的HDFS任務(wù)平均讀取速度均優(yōu)于DRS策略。

4 結(jié)語(yǔ)

實(shí)驗(yàn)結(jié)果表明，在異構(gòu)存儲(chǔ)的HDFS下，本文提出的HSRS策略在不同的任務(wù)量下性能優(yōu)于DRS策略，具有較好的可擴(kuò)展性。主要原因在于：DRS策略僅僅考慮了請(qǐng)求節(jié)點(diǎn)與副本所在數(shù)據(jù)節(jié)點(diǎn)之間的網(wǎng)絡(luò)距離，而本文所提出的HSRS策略在DRS策略的基礎(chǔ)之上考慮了副本所在數(shù)據(jù)節(jié)點(diǎn)的負(fù)載以及副本存儲(chǔ)介質(zhì)的差異，避免了數(shù)據(jù)節(jié)點(diǎn)負(fù)載過(guò)于集中的情況，充分利用了高性能存儲(chǔ)介質(zhì)的數(shù)據(jù)讀取能力，能夠有效提升數(shù)據(jù)的讀取性能。

參考文獻(xiàn)：

[1]SHVACHKO K，KUANG H，RADIA S.The hadoop distributed file system[C].2010 IEEE 26th symposium on mass storage systems and technologies （MSST），2010：1-10.

[2]MOON S，LEE J，KEE Y S.Introducing SSDs to the hadoop mapReduce framework[C].2014 IEEE 7th International Conference on Cloud Computing，2014：272-279.

[3]POLATO I，BARBOSA D，HINDLE A.Hybrid HDFS：decreasing energy consumption and speeding up hadoop using SSDs[R].e1626，PeerJ PrePrints，2015.

[4]KRISH K R，IQBAL M S，BUTT A R.VENU：orchestrating SSDs in hadoop storage[C].2014 IEEE International Conference on Big Data （Big Data），2014：207-212.

[5]ISLAM N S，LU X，WASI-UR-RAHMAN M.Triple-H：a hybrid approach to accelerate HDFS on HPC clusters with heterogeneous storage architecture[C].2015 15th IEEE/ACM International Symposium on Cluster，Cloud and Grid Computing，2015：101-110.

[6]KRISH K R，ANWAR A，BUTT A R.HatS：a heterogeneity-aware tiered storage for hadoop[C].2014 14th IEEE/ACM International Symposium on Cluster，Cloud and Grid Computing， 2014：502-511.

[7]KRISH K R，ANWAR A，BUTT A R.Sched：a heterogeneity-aware hadoop workflow scheduler[C].2014 IEEE 22nd International Symposium on Modelling，Analysis & Simulation of Computer and Telecommunication Systems （MASCOTS），2014：255-264.

[8]CHEN F，KOUFATY D A，ZHANG X.Hystor： making the best use of solid state drives in high performance storage systems[C].Proceedings of the International Conference on Supercomputing，2011：22-32.

[9]SAATY T L.Decision making with the analytic hierarchy process[J].International journal of services sciences，2008（1）：83-98.