云計算環境中分布式數據存儲關鍵技術研究

摘 要： 鑒于云計算存在龐大的節點規模和數據規模，云計算系統在可擴展性、高可用性等方面面臨著諸多問題。針對云計算環境下的分布數據存儲，構建了一種基于遞歸的正[N]邊形網絡模型，在數據中心網絡結構的基礎上給出了數據管理模型，并設計了以提高數據可用性、負載平衡為目的的副本分布策略和副本選擇策略。在保證數據可用性的前提下，提出一種基于覆蓋集的數據遷移算法，利用節點選擇策略盡量減少遷移成本，進行數據遷移讓更多的機器休眠，降低能耗。通過對實驗數據進行比較分析，驗證了提出的網絡拓撲結構、數據管理模型、數據遷移技術的正確性和有效性。

關鍵詞： 云計算； 數據中心網絡結構； 數據遷移； 軟件節能

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2016）03?0063?05

Research on key technologies of distributed data storage in cloud computing environment

XIANG Chunzhi， FAN Ying

（School of Technology， Henan Radio Television University， Zhengzhou 450008， China）

Abstract： The cloud computing system is faced with many problems in the aspects of scalability and high availability due to the enormous node scale and data scale of cloud computing. For the distributed data storage in cloud computing environment， an regular N?equilateral polygon （RNEP） network model based on recursion was constructed. The data management model is given on the basis of data center network structure. The transcript distribution strategy and selection strategy were designed to improve the data availability and load balancing ability. A data migration algorithm based on covering set is proposed on the premise of ensuring the data availability， in which the node selection strategy is used to minimize the migration cost and conduct data migration to rest more machines and reduce energy consumption. The experimental data is compared and analyzed， which proves that the proposed network topology， data management model and data migration technology are valid and effective.

Keywords： cloud computing； data center network structure； data migration； software energy saving

0 引 言

云計算中的資源包括網絡、服務器、存儲和應用等，通過這些資源向用戶提供普適的、方便的、按需的網絡訪問，這些資源可以快速進行使用和釋放，不需要很大的管理代價。隨著互聯網技術的快速發展，導致應用中的數據呈爆發式的增長，海量數據存儲技術得到了前所未有的迅速發展。云計算服務的底層基礎是大規模的數據中心，成千上萬的服務器互聯、組織方式，直接影響到云計算服務的高效性和穩定性。合理的網絡結構是云計算數據中心高可擴展性和資源高利用率的重要保證。但是，隨著數據存儲與傳輸需求的高速增長，目前采用的網絡結構在可擴展性、容錯性、高性能傳輸以及跨區域調度等方面面臨著諸多問題。

在云計算環境下，底層數據中心規模非常龐大，導致存儲成本很高，這里的存儲成本不僅包括各種基礎設施成本，還包括基礎設施在運行過程中的能量消耗。根據調查機構的研究顯示，企業存儲設備的利用率不足50%，設備利用率普遍比較低。解決成本與云計算系統中不斷增長的數據存儲以及計算的沖突成為了研究熱點。基于從成本、保護環境的角度考慮，降低能耗都具有很大的現實意義和應用前景。

針對云計算環境下分布數據存儲在可擴展性、可用性和綠色節能等方面的問題，研究解決分布數據存儲的關鍵技術包括數據中心網絡拓撲結構設計、數據管理模型的設計以及節能技術等。數據中心網絡結構是云計算的基礎，它確保了云計算數據中心的擴展性和資源利用率。首先研究設計合理的網絡拓撲，從高可擴展性、經濟性、高效性多個角度保證了云計算的服務質量。在此基礎上，從數據的高可用性方面研究數據管理技術。從綠色節能角度出發，圍繞數據遷移技術展開研究，最終設計出擁有良好的可擴展性、容錯性和低成本的云計算環境下海量數據存儲方案。

1 [N]邊形數據中心網絡結構

樹型結構以交換機為中心，可以很方便地通過增加機架和相應的交換機進行擴展，但也存在許多問題。為了解決樹型結構聚合層帶寬瓶頸和單點失效問題，研究者提出了幾種改進的樹型結構，包括Fat?Tree以及路由方法等，其中胖樹結構采用這種全連接的方式使樹的上層獲得了較高的帶寬，解決了樹型結構上層的帶寬瓶頸問題，但是核心交換機端口數量限制了Fat?Tree的擴展性。

1.1 RNEP網絡拓撲結構

1.1.1 設計思路

為了能夠消除最高處交換機的帶寬限制問題，本文參照DCell混合結構與BCube面向集裝箱式的、模塊化的2種數據中心網絡結構，以低級網絡遞歸構建復雜的高級網絡，同時保證網間全連接以及路由機制的分類處理。

遞歸構建的最基本單位是全連接圖，對于它的設計，參照簡單的正[n]邊形圖形，以可改變參數[n]來保證數據網絡構建的靈活性，滿足不同規模數據中心的建設需求，提出基于遞歸的正[N]邊形網絡結構RNEP，該網絡結構參照了P2P模型、改進樹型結構的思路以及遞歸的思想，通過引入可變參數、采用遞歸構建、設計分類路由，來滿足云計算數據中心網絡結構對高帶寬、擴展性、容錯性、靈活性以及綠色節能等多方面的需求。

1.1.2 網絡結構的定義與構建方法

本文提出的網絡結構也采用遞歸構建。對于遞歸的正[n]邊形網絡結構來說，第0級網絡結構全部由服務器構成，此層級網絡只存在網絡內部傳輸，不存在與其他同等層級網絡的傳輸交互。為了兼顧簡單且充分表現遞歸結構，此處以[n=3]為例進行擴展：在第0級網絡結構的基礎上增加一個交換機，并和所有節點連接，得到Network0′。以此時的 Network0′作為Network1的虛擬節點，全連接3個Network0′網絡的交換機，得到Network1。繼續擴展時，為Network1增加交換機，實現當前節點與交換機全連接，得到Network1′作為遞歸單位，由3個Network1′得到Network2。

類似地，對于任意[n]邊形[k]級網絡的擴展，都是先對當前層級的網絡增加一個交換機，并和[k]級網絡的[n]個節點分別連接，然后作為遞歸單位，和其他[n-1]個[k]級網絡全連接構成[n]邊形[k+1]級網絡結構。這樣的構建，是不斷通過添加固定的結構進行擴展，整個網絡結構嚴格進行模塊化連接，使得網絡擴展簡易可行。同時，[n-1]級內部結構是否完全，并不影響第[n]級結構的構造；在第[n]級構建完成后，對于任意低層級內部結構的修正，不會影響上層結構。不同層級之間保證了獨立性。

1.2 路由策略

在路由策略中，定義源節點src（i0，i1，i2，…，ik-1，ik），目的節點dst（j0，j1，j2，…，jk），以及由src發送的數據包。同時定義源節點發送的數據包中，包含源節點與目的節點的標識信息以及數據包ID，任意一個數據包通過自身ID與源節點的標識，可以得到惟一標記。當目標節點接收到數據包后，也可以根據包中攜帶的源節點標識信息獲得請求節點的信息，路由算法的流程如圖1所示。

路由策略算法如下所示，[k]層級的RNEP結構的路由策略，根據此算法可以分析得到傳輸路徑長度。

NetworkRouting（n，k，*srcAdd，*dstAdd）

{

//確定需要上傳的最高層級

for（intCurrentLevel=k；CurrentLevel>=0；CurrentLevel??）

if（srcAddCurrentLevel！=dstAddCurrentLevel）

break；

//從src將數據包傳至最高層級的交換機（SWCurrentLevel）

UpPath（src，SW0）；

for（inttemp=0；temp

UpPath（SWtemp，SWtemp+1）；

//通過currentlevel的交換機在該層級下實現子網跨越，進入 dst所在子網，由于一個高層級交換機會與數個低層級交換機

互聯，所以在向下傳遞DownPath函數中需要引入相對位置參數

for（temp=CurrentLevel；temp>0；temp??）

DownPath（SWtemp?1，dstAddtemp）；

//數據包到達dst所在基本域中

Path（SW0，dst）；

}

1.3 RNEP網絡結構分析

由于采用了遞歸構建，和傳統樹型結構相比，本文提出的網絡設計在物理結構上具有良好的可擴展性，能夠支持網絡規模的指數增長。

根據網絡構建過程可知，對于正[n]邊形結構來說，每個服務器只需要和其所在域中的其他[n-1]個服務器以及惟一的一個交換機相連即可，所以每個服務器需要支持[[（n-1）+1]]條鏈路。無論是網絡適配器數量[n]還是交換機接口數[2n-1，]只要[n]不超過常用數目，在實際構建中，本文提出的結構都是可行的，同時，RNEP 網絡結構可以保證較低的交換機與服務器比例，有效地節省了能耗[1]。

1.4 模擬實驗

使用NeuroGrid進行模擬實驗，實驗主要是構建 RNEP網絡結構，并模擬路由算法。驗證在無任何失效的情況下，路由機制的運行狀況，通過平均路徑長度來分析傳輸性能。以正六邊形為例，實驗產生初始大小為42～1 554個節點的網絡。在實驗中，從一個節點出發，向其余所有節點傳遞消息，記錄路徑跳數總和，從而求得平均值。對于[n=6]時的RNEP結構，不同層級節點總數及平均最短路徑長度實驗所得結果如表1所示。

表1反映了無節點失效的情況下，當[n=6]時，任一服務器到達其余節點的平均最短路徑情況。由于不考慮節點失效，所以不可達節點數目均為0。實驗所得的平均最短路徑長度與算法的推導結果基本一致，且實驗結果要優于算法的理論結果。

以[n=6，k=2]的網絡結構為例，節點數目為258。通過實驗分析平均最短路徑長度與鏈路失效率之間的關系。此處的鏈路是指交換機與服務器的鏈接斷開，而非服務器（節點）失效。在實驗中設置鏈路失效率的范圍為5%～30%，以5%遞增。實驗結果如圖2所示。

從圖2中可以看出，當節點失效率增加時，平均增加的跳數在1跳左右，平均路徑長度增長緩慢。

繼續以[n=6，k=2]的網絡進行試驗，分析隨著節點失效率的增加，路徑失效率的變化情況，并與DCell 結構的實驗結果進行了對比。實驗中，設計節點失效率從2%～20%變化并以2%的增幅增長，通過洪泛傳遞消息，記錄失效路徑數目，以求得路徑失效率。統計結果展示如圖3所示。

2 RNEP網絡結構的數據管理模型

2.1 網絡結構的數據管理模型

存儲服務器集群可實現存儲節點的動態添加和刪除的可擴展存儲服務，其主要功能是負責數據文件的實際存儲，數據請求方通過與主管理服務器和存儲服務器集群的通信實現對數據的操作。整個系統對外屏蔽底層實現，為用戶提供快速、透明、穩定、可靠的數據存儲服務。

服務管理節點管理集群內部的數據塊服務器，監控數據塊服務器的運行，并為數據創建以及數據訪問提供數據塊服務器的位置。元數據管理模塊負責管理和維護文件系統的元數據，系統監控模塊用于查看當前系統的運行狀態，負載均衡模塊負責對用戶的請求進行分配。

2.2 副本管理方法

副本放置位置的不同會使副本的可用性和一致性在訪問過程中產生變化，同一域內的多個存儲節點上分別存儲副本可以最大化利用域內的網絡帶寬，防止機器失效、磁盤損壞所帶來的影響，同時也減少域間寫操作的網絡通信[2]。

當有新數據上傳到數據管理模型中時，客戶端向服務管理節點提出創建副本請求，服務管理節點采用如下策略對副本進行放置：

（1） 默認副本個數為3，服務管理節點根據存儲節點的因素、域內的網絡狀況因素以及客戶端的位置信息進行第一個副本的節點位置選擇，存儲節點的因素包括：磁盤利用率低；限制每個存儲節點“最近”創建的數量。

（2） 第二個副本在同域內根據存儲節點因素選擇最優的存儲節點。

（3） 第三個副本在不同域間根據第一個副本的位置選擇策略進行選擇，這種策略減少了域間的數據傳輸，提高了寫操作的效率。

3個副本其中2個處于不同的域內，保證副本的可靠性。副本選擇算法流程圖，如圖4所示。

2.3 模擬實現及分析

參考OptorSim模擬器，擴展云模擬器CloudSim的功能，并在擴展后的模擬器上進行了仿真實驗。在CloudSim上模擬基于RNEP數據管理模型的副本放置和副本選擇策略，對比策略為HDFS副本放置策略和副本選擇策略；HDFS的副本放置策略為：如果該客戶端上有數據節點，那么隨機將副本分別放在本地節點，否則在整個集群中隨機選擇一個合適的數據節點作為此時的本地機架節點，第一個副本放在本地機架上；第二個副本放在本地機架上的另外一個節點；第三個副本放在不同機架的節點上。HDFS的副本選擇策略為客戶端總是選擇從距離它最近的可用數據節點上讀取需要的數據塊。

每個Datacenter包含10臺Host，最大功率為250 W，處理器能力為2 000 MIPS，每臺主機內存為2 GB，主機帶寬為100 Mb/s，每臺主機上傳100個數據塊，每個數據塊有3個副本。第一個數據中心模擬基于RNEP網絡結構的數據管理模型，第二個數據中心模擬HDFS策略。

（1） 副本讀取時間的比較：副本讀取時間是指客戶端從發出讀取請求到讀取完副本所花費的時間。在兩個數據中心分別隨機選擇一個客戶端采用各自策略進行100次隨機讀取操作的平均時間進行比較，如圖5所示。

如圖5所示，基于RNEP數據管理模型的副本讀取平均時間均明顯要小于HDFS 策略的平均讀取時間。

（2） 負載均衡的比較：在兩個數據中心隨機選擇一個數據塊，其中有7個客戶端離選中數據塊的一個副本比較近，另外3個客戶端分布在較遠的節點上，然后這10個客戶端隨機向這個數據塊發出讀取請求，分別采用各自的策略：選擇與客戶端距離最近副本的HDFS策略和基于RNEP網絡結構數據管理模型的副本選擇策略。將負載表示為副本所在的存儲節點接收的客戶端讀取請求的數量，每隔3分鐘記錄一次3個副本所在的存儲節點在這3分鐘內的負載總量。

采用HDFS策略的3個副本負載不均衡，客戶端選擇距離最近的副本從而使客戶端的訪問聚集在一個副本，導致該副本所在的存儲節點負載很高，另外兩個副本所在的存儲節點負載比較低，造成集群負載不均衡。基于RNEP數據管理模型中的3個副本負載差距不大，達到了負載均衡的效果。實驗表明，基于RNEP網絡結構的數據管理模型能夠提高數據的訪問性能，合理地利用網絡帶寬，使系統負載均衡。

3 基于覆蓋集的數據遷移方法

在云存儲環境中，數據遷移是一項復雜的任務，為了能更好的節能，在滿足數據可用性的前提下，休眠更多的機器，節省更多的能耗。本文提出一種基于覆蓋集的數據遷移算法，在進行數據遷移之前，要獲得以下信息：源服務器、數據對象、目標服務器、遷移成本。基于覆蓋集的數據遷移算法流程圖如圖6所示。

在擴展功能后的CloudSim模擬器上進行仿真實驗，實現基于覆蓋集的數據遷移的算法，CloudSim中的能耗模型根據CPU的利用率計算能耗，通過修改PowerModel類采用的能耗模型計算能耗，并設定休眠的主機功耗為0。

每隔1 000 s，統計數據中心的能耗情況，各種策略的能耗對比數據如圖7所示。基于覆蓋集的數據遷移策略雖然在前期數據遷移過程中消耗了能量，使總消耗的能量有所增加，但是，數據遷移后休眠部分節點，使數據中心消耗的能量比不進行數據遷移策略消耗的能量要少，并且隨著時間的增多這種優勢越來越明顯。

設置了不同規模的對比試驗，數據中心的節點數分別為20，100，300和500，如圖8所示，給出的是三種不同的方法在電源消耗方面的對比，其中集群規模表示物理節點數。

數據顯示集群的規模越大，基于覆蓋集的數據遷移方法節約的能耗越多。這是由于基于覆蓋集的數據遷移方法在越大規模的集群中，休眠的機器更多，也就減少了數據中心的能耗。

4 結 論

云存儲通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量不同的設備集合起來協同工作對外提供服務。本文研究云存儲中的網絡結構、數據管理模型以及數據遷移算法，創新性的提出了基于遞歸的正[N]邊形網絡拓撲結構及其路由機制設計，同時，設計了基于覆蓋集的數據遷移方法。使云計算系統易于擴展，提高訪問性能，合理利用網絡帶寬，減少系統能耗，既具有重要的學術價值，也具有廣闊的應用前景。

參考文獻

[1] 左曉靜，王榮.一種基于云計算的海量數據分布式存儲策略[J].河南科學，2015，33（12）：2135?2140.

[2] CHOU J， KIM J， ROTEM D. Energy?aware scheduling in disk storage systems [C]// Proceedings of 2011 31st International Conference on Distributed Computing Systems. [S.l.]： IEEE， 2011： 423?433.

[3] ABU?LIBDEH H， COSTA P， ROWSTRON A， et al. Symbiotic routing in future data centers [J]. ACM SIGCOMM Computer Communication Review， 2011， 40（4）： 51?62.

[4] GREENBERG A， HAMILTON J R， JAIN N， et al. VL2： a scalable and flexible data center network [J]. Communications of the ACM， 2011， 54（3）： 95?104.

[5] 吳旦，王改云，李小龍.基于最小覆蓋集的WSN數據聚集算法[J].計算機工程，2012，38（2）：97?99.

[6] 程付超，苗放，陳墾.自適應的分布式文件系統元數據管理模型[J].計算機工程與設計，2014，35（3）：867?874.

[7] AVERSA L， BESTAVROS A. Load balancing a cluster of Web servers using distributed packet rewriting [C]// Proceedings of IEEE International Conference on Performance， Computing and Communications. Phoenix： IEEE， 2000： 24?29.

[8] 劉云飛.基于Hadoop的數據遷移與存儲的研究[D].北京：北京郵電大學，2015.