HDFS動態副本因子的優化研究

2018-07-25 12:05:34梁勝昔

計算機技術與發展 2018年7期

宗平，梁勝昔

(1.南京郵電大學海外教育學院，江蘇南京 210023；2.南京郵電大學計算機學院，江蘇南京 210023)

0 引言

在云計算環境下的數據存儲過程中，數據副本對于提高系統可用性和可靠性，以及降低并發訪問的響應時間發揮著重要作用。針對云計算環境下默認副本因子機制存在的不足，很多學者提出了對副本因子的改進措施，主要集中在對默認副本因子的動態調整上。

文獻[1]利用馬爾可夫模型獲取文件訪問熱度并修正預測偏差以對默認副本因子進行更加準確的調整。文獻[2]通過數據中心選舉和動態副本管理策略，同時結合近期最少使用算法LRU，做到了副本數量優化和系統性能的均衡。文獻[3]通過建立概率優化模型，根據約束不等式來計算優化后的副本數量，同時在遠端節點選擇中引入節點評價系數以優化副本的放置。文獻[4]提出的動態副本創建算法(DRCA)將副本調整劃分為復制、保持和刪除三個階段，結合文件訪問頻率算法進行文件訪問熱度的預測，并綜合考慮了其他多種因素對副本數量進行動態調整，從而有效降低了文件訪問的時間消耗。文獻[5]結合文件block的訪問頻率，提出了一種基于訪問頻率的副本算法，通過計算文件block的本地和全局支持率，同時考慮了block訪問頻率，以優化副本數量，從而達到降低存儲空間消耗的目的。事實上，目前云環境下的副本因子策略主要分為靜態副本因子策略和動態副本因子策略兩大類[6]，默認的副本因子一般采用靜態副本策略，由于靜態副本策略在云環境下存在諸多不足，目前研究熱點主要集中在如何通過動態地調整副本數量，在提高性能和可靠性的同時，有效降低副本維護的代價。

1 Hadoop默認副本策略及其存在的問題

開源云計算框架Apache Hadoop[7]的出現，為人類在大數據時代更加科學高效地存儲及處理海量數據提供了有力支持，作為Google云計算模型基于Java的開源實現，逐漸成為企業將應用遷移到云中的一個有效方案。在實現海量數據的存儲時，Hadoop主要借助開源的分布式文件系統(Hadoop distributed file system，HDFS)來實現文件的高效和可靠性存儲，然而HDFS默認的副本機制卻成為制約其性能和可靠性提高的一項重要因素[8-11]。

1.1 Hadoop分布式文件系統

HDFS[12-14]主要基于廉價的分布式機器集群，為整個系統提供高可靠、高性能、可擴展和容錯性強的分布式存儲服務。HDFS采取典型的Master/Slave架構，主要由NameNode、DataNode、SecondaryNameNode三個組件組成，如圖1所示。

圖1 HDFS主要結構示意圖

其中NameNode是Master節點，負責存儲整個集群的元數據信息，對集群中眾多的DataNode節點進行統一管理和維護，同時控制DataNode從節點進行相應的I/O操作；NameNode節點在整個集群中起到了重要的管理和控制角色，為防止發生單點故障，系統中設計了SecondaryNameNode節點以實現對NameNode的備份。DataNode主要負責存儲具體的文件數據，并負責接受文件的讀/寫請求。由于分布式集群中的機器為廉價機器，存在很大的宕機可能性，HDFS通過多副本備份機制來提高系統的可靠性和穩定性，同時這些分布在集群中的多副本還可以提高MapReduce的計算性能。

1.2 默認的副本管理機制

目前主流的副本因子管理策略主要分為兩種：靜態策略和動態策略。靜態副本管理策略通過預先配置的副本因子，是一種較為簡單的副本因子實現機制，但缺乏靈活性，無法適應系統環境的變化。過低的副本因子對系統的可靠性和性能會造成影響，過高的副本因子則會極大增加存儲空間的消耗，尤其在大數據時代，用戶數據量可以達到PB、EB級甚至更高，如果一味通過增加副本因子來提高系統性能和可靠性，無疑會對存儲空間利用提出巨大挑戰，因此副本因子管理機制需要做到系統性能及可靠性和存儲代價的均衡與折中。目前Hadoop系統默認采用靜態副本機制，存在較大的優化空間。

動態副本因子策略能更好地適應用戶訪問頻率、存儲空間、系統帶寬、系統響應時間和網絡拓撲等的變化，在運行時刻動態地調整副本因子，根據評價指標對副本數量進行適應性的增加、減少或者保持。動態副本因子往往能夠更好地滿足云計算中多用戶和異構存儲環境下的數據訪問需求，具有更大的靈活性和針對性，同時能做到性能、可靠性與存儲代價等的有效折中。

1.3 存在的問題分析

HDFS默認采用3副本的靜態副本機制，不能較好地適應系統的動態變化，包括用戶訪問頻率、異構節點性能和結構等的差異，尤其在云計算中多用戶環境下，不同用戶對不同文件的訪問頻率存在較大差異，即文件的訪問熱度差異較大。如果對訪問熱度存在較大差異性的不同文件采取統一的副本因子機制，熱度偏高的文件因為副本因子過小而不能很好地應對較高頻率的訪問需求，熱度偏低的文件因保留過多的副本數而造成存儲空間的浪費。因此動態副本機制是解決多用戶環境下，文件訪問熱度不均對文件訪問響應時間以及網絡負載造成影響的一種有效方案。但在采取動態副本因子策略的同時，也需要對待調整副本因子的文件進行有效篩選，如果對所有文件采取統一的副本因子動態調整策略會帶來較大的時間和空間上的消耗，同時副本調整策略還需要能夠有效應對文件訪問的突發性需求[15]，能夠在文件熱度突增的情況下保持較高的數據訪問性能。

2 改進的動態副本因子調整策略

針對HDFS默認靜態副本策略在文件訪問熱度分布不均的情況下所存在的不足，以及現有的動態副本策略在進行副本因子調整時存在的統一決策和調整的問題，提出了一種改進的動態副本因子調整策略。該策略在根據文件的訪問熱度進行副本因子調整的同時，還考慮了不同文件熱度的優先級，并且根據兩種不同長度的時間區間進行副本因子的調整決策，從而可以很好地適應文件訪問熱度突增的情況。

2.1 相關符號及定義

假設集群中存在的文件數目為n，文件集合記為F={f1,f2,…,fn}。對于文件fk∈F(k∈[1,n])，fk被切分成nk個block分別存儲在不同的DataNode節點上，fk被切分成的block集合記為Bk={b1,b2,…,bnk}，每個block的大小是bsj(其中j∈[1,nk])，fk的副本數目記為brk。

(1)文件fk在tnow時刻的訪問熱度FHk。

(1)

其中，ak(ti,ti+1)是文件fk在時間區間(ti,ti+1)內的文件訪問次數；函數decay(ti,tnow)是文件訪問次數對文件熱度影響的衰減函數，在時間區間(ti,tnow)內，decay(ti,tnow)定義為：

decay(ti,tnow)=e-(tnow-ti)m,m∈{1,2,3…}

(2)

根據數據訪問的時間局部性原理，當前被頻繁訪問的文件在未來的一定時間范圍內存在較高的被再次訪問的概率，因此可以根據當前時間之前一段時間區間內的用戶文件訪問次數對其未來訪問熱度進行預測。文件fk在tnow時刻的文件熱度FHk的大小依賴于tnow之前的Δt時間區間內的文件訪問次數，距離當前時間tnow距離越遠的文件訪問頻率，對當前時刻文件熱度計算的影響則越小，即這種影響會呈衰減趨勢。

(2)文件fk的副本決策因子RDk。

(3)

每個文件對應的副本決策因子RDk用于決策文件副本因子是否需要進行相應的調整。

(3)集群副本決策因子RDcluster。

(4)

FHk由距離當前時間Δt時間區間內的訪問頻率決定，而RDcluster作為系統的副本因子調整閾值，用于對后面副本因子的調整進行決策。

(4)高熱度文件。

對于任意的文件fk∈F，如果RDk>a*RDcluster(其中a根據集群整體的性能進行調整，a∈[1,2])，則認為fk屬于高熱度文件。

(5)低熱度文件。

對于任意的文件fk∈F，如果RDk

(6)高熱度文件fk副本因子動態調整值DVk。

對于上述定義的高熱度文件，在決策時間區間Δt內，文件fk的副本因子動態調整值取決于其副本決策因子的相對大小，需要針對默認的靜態副本因子λ=3進行動態調整：

(5)

其中，RDk為文件fk在距離當前時間Δt的決策時間區間內的副本決策因子；RDmax、RDmin則分別為Δt決策時間區間內副本決策因子的最大值和最小值；λ為HDFS默認的靜態副本因子。

2.2 改進的動態副本因子調整算法

改進的動態副本因子調整算法首先根據文件訪問熱度和副本決策因子值，獲取待調整副本因子文件集合，然后針對不同的文件采取不同的副本因子調整策略。

2.2.1 待調整副本因子文件篩選算法描述

算法輸入:集群中文件集合F={f1,f2,…,fn}，以及兩個決策區間Δt1和Δt2。

2.2.2 文件副本因子調整算法描述

2.2.3 改進算法分析

改進算法在實現副本因子調整的過程中，充分考慮了文件訪問熱度對副本因子調整的影響，具體改進策略有：

(1)考慮到文件訪問過程中的時間局部性原理，當前訪問熱度高的文件在未來一段時間內存在較大的被訪問概率，因此根據一定時間區間內的文件訪問次數對文件訪問熱度進行定量描述，以此來預測文件在未來的訪問概率，從而據此進行副本因子的動態調整。

(2)針對高熱度文件訪問熱度和副本決策因子的計算，設置了兩個不同長度的時間區間，其中短區間用于對突發性的文件訪問需求進行副本因子調整，避免了長區間對文件副本因子調整所帶來的偏差。

(3)在進行文件副本因子調整的過程中，針對不同訪問頻率所產生的高熱度文件和低熱度文件，采取了不同的調整措施。對于低熱度文件，在對可靠性和性能及存儲代價的權衡下，進行相應的副本因子減小；而對于高熱度文件，依據不同的訪問熱度大小，采取不同的副本因子增加措施。

3 實驗

為驗證動態副本因子調整算法對系統性能的改進，搭建Hadoop的分布式實驗環境進行仿真實驗驗證，對比分析默認副本機制和動態副本因子調整算法對作業平均響應時間的影響。

3.1 實驗環境與設置

基于Hadoop的Master/Slave架構，借助阿里云云服務器ECS搭建分布式的仿真實驗環境，該分布式實驗平臺包含3個Slave節點以及一個Master節點，節點的主要配置如表1所示。

表1 仿真實驗節點的主要配置

3.2 實驗結果與分析

為模擬用戶對集群中不同文件訪問熱度的差異，設置集群中文件每分鐘的訪問次數分別為5、15、25、35、45、55、65、75、85、100共10組，以此來反映用戶對文件訪問熱度的變化。此次實驗對于高熱度文件和低熱度文件的判定，設置參數(a=1.2，b=0.8，γ=0.8)，調整決策時間區間為Δt1=45 s，Δt2=5 s，設置4組大小不同的文件(32.0 M、64.0 M、128.0 M、256.0 M)，比較不同訪問熱度下系統作業的平均響應時間，得出的作業響應時間隨文件訪問熱度變化的曲線如圖2所示。

由圖2可知，當文件訪問熱度較低，文件的熱度對副本因子動態調整影響較小，甚至不會觸發副本因子的動態增加或減少，而同時由于算法在動態計算過程中本身需要耗費一定的資源和時間，因此會出現改進的副本因子調整機制比默認靜態副本機制平均作業響應時間長的情況，即此時動態副本因子調整算法還不能有效發揮其性能提升作用。隨著文件訪問熱度的不斷增加，動態副本因子調整算法開始體現出一定的性能優勢。

觀察圖2可以得知當文件每分鐘的訪問頻率達到50～60時，此時由于觸發了副本因子的動態增加，因此對于高熱度文件會存在多個副本同時對外提供訪問服務，有效降低了高熱度并發訪問下的文件訪問競爭，縮短了作業的響應時間。針對高熱度文件能夠及時動態地增加副本因子，以應對持續或突發性的高熱度訪問需求，因此可以有效縮短系統作業平均響應時間，實現云環境下多用戶文件訪問的服務響應性能提升。