云存儲環(huán)境下基于QoS的動態(tài)副本策略研究

林清瀅，陸錫聰，馮健文

（韓山師范學院計算機科學與工程系，潮州 521041)

云存儲環(huán)境下基于QoS的動態(tài)副本策略研究

林清瀅，陸錫聰，馮健文

（韓山師范學院計算機科學與工程系，潮州 521041)

為了解決靜態(tài)副本策略中易造成負載不均衡、用戶服務質(zhì)量需求得不到滿足等問題，提出一種動態(tài)副本生成算法和動態(tài)副本調(diào)整算法；在CloudSim平臺上仿真實驗，結(jié)果表明，與默認副本策略相比，該策略能夠根據(jù)用戶的訪問需求動態(tài)為數(shù)據(jù)文件增刪副本，大大地減少用戶訪問時間，滿足用戶的服務質(zhì)量需求。

云存儲；副本策略；動態(tài)副本；服務質(zhì)量

0 引言

云存儲是隨著云計算的誕生而延伸和發(fā)展出來的，它通過集群技術(shù)、網(wǎng)格技術(shù)和分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量異構(gòu)的存儲設備集合起來協(xié)同工作，從而對用戶提供數(shù)據(jù)存儲和訪問服務[1]。云存儲旨在為用戶提供可靠、可用、安全、快速、廉價的基礎(chǔ)設施，使得用戶以按需付費的方式獲得對存儲資源的使用[2]。既然云存儲作為一種特殊的云計算系統(tǒng)，提供的是存儲服務，因此，其服務質(zhì)量（Quality of Service,QoS）的保障技術(shù)得到了企業(yè)界和學術(shù)界的廣泛研究。云存儲的服務質(zhì)量包含多個方面，常見的有I/O性能、可靠性、可用性、安全性、可擴展性、服務成本等[3～6]。而副本策略是保證云存儲中數(shù)據(jù)可靠、可用和服務成本的關(guān)鍵技術(shù)之一，合理的副本策略將為用戶帶來更好的服務質(zhì)量：如縮短訪問響應時間、減少遠距離數(shù)據(jù)傳輸、降低網(wǎng)絡通信流量、平衡節(jié)點負載、增強數(shù)據(jù)可靠性、提高資源容錯能力，等等[7]。目前大部分云存儲系統(tǒng)采用的是靜態(tài)隨機的副本生成策略，如Google的GFS和Hadoop的HDFS都是由配置參數(shù)靜態(tài)確定副本的數(shù)目，然后隨機地把副本放置到多個機架和節(jié)點上，而實際中，每個節(jié)點的存儲能力不同，而用戶的訪問需求也不同。由于在云存儲環(huán)境下，用戶數(shù)量龐大，一旦用戶在某一時間段內(nèi)頻繁地訪問同一數(shù)據(jù)文件，將很容易造成網(wǎng)絡瓶頸，系統(tǒng)的性能會急劇下降。因此有必要根據(jù)用戶的訪問需求動態(tài)為數(shù)據(jù)文件增刪副本，這樣可以大大地減少用戶訪問延遲，節(jié)約網(wǎng)絡帶寬資源，提高系統(tǒng)的性能和可靠性。

1 HDFS默認副本策略

我們將基于Hadoop的分布式文件系統(tǒng)HDFS來架構(gòu)云存儲環(huán)境。HDFS采用的是主從架構(gòu)模式，主節(jié)點稱為NameNode，負責元數(shù)據(jù)管理；從節(jié)點稱為DataNode，負責實際數(shù)據(jù)存儲。由于云存儲環(huán)境是由大量存儲節(jié)點組成，存儲節(jié)點的故障將不可避免，為了避免個別節(jié)點的失效而導致存儲數(shù)據(jù)的丟失。一般情況下，HDFS將存儲的文件劃分為若干個數(shù)據(jù)塊，每個數(shù)據(jù)塊在存儲時采用多個副本，在選擇數(shù)據(jù)塊副本存儲節(jié)點時采用的是機架感知（Rack-Aware）策略，該策略通過靜態(tài)設置的方式，設置了數(shù)據(jù)副本數(shù)，默認情況下，副本數(shù)為3，然后將數(shù)據(jù)塊副本同時存放在本地機架與一個隨機的遠端機架的不同節(jié)點上，如圖1所示，從而保證數(shù)據(jù)存儲時的可靠性。

HDFS這種靜態(tài)副本策略不能根據(jù)存儲節(jié)點狀態(tài)、用戶訪問需求等動態(tài)地增加或者刪除副本，從而滿足用戶的服務質(zhì)量需求。因此，我們根據(jù)文件訪問熱度增加或者刪除副本，達到在不影響服務質(zhì)量的同時，滿足云存儲系統(tǒng)的可靠性。

2 動態(tài)副本的策略

2.1 模型描述

為了更好地描述該動態(tài)副本的策略，我們定義了如下的數(shù)學模型：

定義1數(shù)據(jù)塊副本矩陣。假設數(shù)據(jù)文件F存儲時被劃分為n個數(shù)據(jù)塊，每個數(shù)據(jù)塊有m個副本，因此，我們可以用矩陣Fn×m來表示文件F在云存儲系統(tǒng)中數(shù)據(jù)塊副本的存儲情況[8]。

定義2數(shù)據(jù)塊的訪問次數(shù)矩陣。假設數(shù)據(jù)文件F在某一時間段T內(nèi)的訪問次數(shù)可用矩陣BVn×m來表示。其中bvij表示的是定義1中數(shù)據(jù)塊副本bij在時間段T內(nèi)的訪問次數(shù)。

因為當有n個數(shù)據(jù)塊m個副本的文件F被訪問時，每一個數(shù)據(jù)塊每次只有一個副本被訪問到。因此，文件F在時間段T內(nèi)的訪問次數(shù)可用公式（1）來計算。

定義3動態(tài)副本計算函數(shù)。通過分析數(shù)據(jù)文件的訪問次數(shù)，我們可以用公式（2）計算數(shù)據(jù)文件F在云存儲集群中的副本數(shù)。

其中，lm，h1，h2，h3，m是正整數(shù)，m是數(shù)據(jù)文件F的最大副本數(shù)，lm是數(shù)據(jù)文件F的最小副本數(shù)，1≤lm＜m-2，lm可通過分析數(shù)據(jù)文件F的訪問次數(shù)而動態(tài)設置；h1，h2，h3根據(jù)云存儲集群的情況給出。該函數(shù)通過用戶的訪問特征和云存儲集群的情況，動態(tài)計算出合適的副本數(shù)，從而滿足用戶的服務需求，提高存儲資源的使用和減少訪問時延。

2.2 算法描述

在云存儲中，當用戶要訪問數(shù)據(jù)文件時，首先向NameNode查詢要訪問文件的信息。由NameNode查詢得到數(shù)據(jù)塊的編號以及對應的DataNode并返回給用戶。用戶根據(jù)得到信息向數(shù)據(jù)塊所在的DataNode發(fā)送訪問請求。DataNode收到訪問請求后，記錄被訪問數(shù)據(jù)塊編號和訪問時間，然后向用戶返回請求文件數(shù)據(jù)。下面我們設計了動態(tài)副本的生成算法和調(diào)整算法，假定動態(tài)副本策略的執(zhí)行周期為T，當系統(tǒng)啟動時，每一周期開始時，DataNode負責記錄本周期內(nèi)數(shù)據(jù)塊的訪問次數(shù)；NameNode負責執(zhí)行下面的算法過程，第一個周期結(jié)束時，執(zhí)行了算法1，即動態(tài)副本生成算法；從第二周期開始，以后的每個周期結(jié)束都執(zhí)行算法2，即動態(tài)副本調(diào)整算法。算法過程如下：

算法1動態(tài)副本生成算法

算法2動態(tài)副本調(diào)整算法

3 實驗結(jié)果和分析

為了評價文中給出的動態(tài)副本策略，我們在云仿真工具CloudSim上進行了模擬實驗，CloudSim能夠通過重寫代碼和配置創(chuàng)建云計算環(huán)境下的用戶任務和資源。設定文件的訪問次數(shù)VF隨機產(chǎn)生在[0，1000]之間，這樣，公式（2）中的h1，h2，h3可分別設為300、600、 900。

實驗仿真結(jié)果如圖2所示。

圖2 在不同的訪問次數(shù)下兩種策略的響應時間

如圖所示，隨著訪問次數(shù)的增加，在默認副本策略和動態(tài)副本策略下，對用戶的響應時間都開始增加。默認副本策略在訪問次數(shù)不是很大時響應時間增加緩慢，但是當訪問次數(shù)進一步增加時，系統(tǒng)響應時間急劇增加。在動態(tài)副本策略下系統(tǒng)響應時間增加平緩且達到一定峰值后緩慢回落。這是因為隨著訪問次數(shù)的增加，系統(tǒng)開始增加副本。由于副本生成需要時間，因此超過在默認副本策略下系統(tǒng)的響應時間。但隨著副本增加完成后，由于對數(shù)據(jù)的分流，使得系統(tǒng)響應時間開始明顯降低，并逐漸達到一種比較穩(wěn)定的狀態(tài)。由此可得，隨著對文件訪問次數(shù)的增加，動態(tài)副本策略較之默認策略更加有效。

4 結(jié)語

在云存儲環(huán)境下，采用數(shù)據(jù)副本策略是保證系統(tǒng)可靠、可用的關(guān)鍵技術(shù)。合理的副本策略將降低用戶訪問的響應時間，提高服務質(zhì)量。因此，本文提出一種數(shù)學模型，以描述用戶訪問數(shù)據(jù)文件的特征，從而給出一種動態(tài)副本生成算法和動態(tài)副本調(diào)整算法；最后在CloudSim平臺上仿真實驗，結(jié)果表明，與默認副本策略相比，文中提出的策略能夠根據(jù)用戶的訪問需求動態(tài)為數(shù)據(jù)文件增刪副本，大大地減少用戶訪問時間，滿足用戶的服務需求。

參考文獻：

[1] Zhao Y，Ou K，Zeng W，et al.Research on Cloud Storage Architecture and Key Technologies[C].2nd International Conference on In teraction Sciences:Information Technology，Culture and Human，ICIS 2009:1044～1048

[2] Abadi D J.Data Management in the Cloud:Limitations and Opportunities[J].IEEE Data Eng.Bull.，2009，32(1):3～12

[3] Wu J C，Brandt S A.Providing Quality of Service Support in Object-Based File System[C].24th IEEE Conference on Mass Storage Systems and Technologies，MSST 2007:157～168

[4] Wang J，Varmany P，Xie C.Avoiding Performance Fluctuation in Cloud Storage[C].17th International Conference on High Performance Computing，HiPC 2010

[5] Mesnier M，Chen F，Luo T，et al.Differentiated Storage Services[C].23rd ACM Symposium on Operating Systems Principles，SOSP 2011：57～70

[6] Ju J，Wu J，F(xiàn)u J，et al.A Survey on Cloud Storage[J].Journal of Computers，2011，6(8):1764～1771

[7] 付偉，肖儂，盧錫城.QoS感知的副本放置問題研究綜述[J].計算機研究與發(fā)展，2009，46(suppl.)：36～43

[8] 廖彬，于炯，張?zhí)眨瑥埮d耀.基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J].計算機學報，2013，36(5)：1047-1064

Research on the Dynamic Replica Strategy in Cloud Storage Environment Based on QoS

LIN Qing-ying，LU Xi-cong，F(xiàn)ENG Jian-wen
（Department of Computer Science and Engineering，Hanshan Normal College，Chaozhou 521041）

The load balancing may be destroyed and the user QoS requirement is not satisfied due to the static replica strategy in the existing default replica strategy.In order to solve these problems,proposes a dynamic replica generation algorithm and a dynamic replica adjust algorithm. Simulates the experiment using CloudSim toolkit,the results show that the proposed strategy is superior to the default replica strategy because it dynamically adds and deletes replicas according to the user's access requirements,which will reduce response time and satisfy user's QoS requirement.

Cloud Storage;Replica Strategy;Dynamic Replica;Quality of Service

1007-1423（2015）02-0006-04

10.3969/j.issn.1007-1423.2015.02.002

林清瀅（1970-），女，廣東潮州人，碩士，副教授，研究方向為分布式系統(tǒng)、云計算

陸錫聰（1973-），男，廣東潮州人，碩士，高級實驗師，研究方向為分布式系統(tǒng)、云計算

2014-12-09

2014-12-23

廣東省科技計劃項目（No.2012B010100036）、韓山師范學院科研團隊項目（No.LT201102、LT201101）

馮健文（1975-），男，廣東廣州人，博士，副教授，研究方向為SOA和云計算