對等結構的混合集群的層次化存儲策略研究

涂超凡 張啟飛 陳應莊 張昱昶 劉二騰 干紅華 張尉東 白 凡 鄭賢榕

1(浙江大學軟件學院 浙江 寧波 315048)2(北京大學電子工程和計算機科學系 北京 100871)3(西北大學電子工程和計算機科學系 美國 埃文斯頓 60201)4(浙大網新中央研究院 浙江 杭州 310030)

對等結構的混合集群的層次化存儲策略研究

涂超凡1張啟飛1陳應莊1張昱昶1劉二騰1干紅華1張尉東2白 凡3鄭賢榕4

1(浙江大學軟件學院 浙江 寧波 315048)2(北京大學電子工程和計算機科學系 北京 100871)3(西北大學電子工程和計算機科學系 美國 埃文斯頓 60201)4(浙大網新中央研究院 浙江 杭州 310030)

隨著分布式存儲系統的規模迅猛增長，能耗問題日益凸顯。在存儲集群混合低能耗節點已成為解決能耗問題的重要途徑之一。針對如何在對等結構的混合集群中區別使用不同類型存儲節點的問題，在一個對等結構分布式系統ZDFS上設計并實現了一種基于對等結構的層次化存儲策略——虛擬節點分層重映射(VHR)。該策略不影響對等結構的高拓展特性，使系統可自動區分使用不同類型存儲節點，可操作性強。實驗在真實X86和ARM混合集群上進行。實驗表明，VHR實驗組運行良好，充分發揮了不同類型存儲節點的優勢，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。

存儲系統 對等結構 混合集群 層次化

0 引 言

2020年的全球的數據量將從2013年的4.4 ZB 擴展到44 ZB[1]，爆發增長的數據量必然伴隨急劇增加的存儲需求。業界對大規模存儲系統進行了具體的實踐，比如Google公司的GFS[2]、Amazon的Dynamo[3]以及開源的HDFS[4]。存儲系統的規模迅猛增長使得存儲系統的能耗問題日趨嚴重。一些大型存儲系統的能耗占到整個數據中心能耗的三分之一以上[5-6]。相關人員在存儲系統節能領域做了相關大量研究，主要可以分為軟件節能技術與硬件節能技術兩類[7]。

軟件節能技術通過創造時機讓設備、節點進入低能耗狀態從而節能。Gurumurthi等人使磁盤依據負載 調整轉速從而降低能耗[8]；Harnik等人規律性地關閉周期性空閑的存儲節點以此降低能耗[9]；Leverich等人改變某種分布式存儲系統的數據副本放置方法從而關閉空閑節點，降低9～50%系統能耗[10]；Pinheiro等人把數據分為原始和冗余兩種并放置到不同位置，關閉空閑節點實現能耗下降[11]。

硬件節能技術是指通過引入低能耗設備降低系統能耗。比如Szalay等人將SSD應用在輔助節點上，關閉普通節點以降低能耗[12]；Hamilton構建適用于低能耗Athlon處理器的服務器機架結構以降低能耗[13]；Vasudevan等人使用嵌入式芯片和快速閃存構建了一個7倍于普通機器能效的存儲集群[14]。近年來，隨著ARM的快速發展，搭載ARM的低能耗存儲節點得以應用。Facebook公司在Open Vault冷區存儲中使用一個4核ARM處理器驅動了15塊硬盤，降低了系統能耗[15]；Baidu公司開發了支持X86和ARM節點混合部署的云存儲系統，存儲密度提升了70%，TCO降低了25%[16]。

在存儲集群混合低能耗節點已成為解決能耗問題的重要途徑之一。目前進行混合節點的研究實踐主要是基于主從結構，主從結構的分布式存儲系統存在擴展性差、單點故障等問題。高擴展特性的對等結構的分布式系統如Dynamo[3]、Ceph[17]等受到日益重視，而對等結構的系統一般采用定位算法替換了傳統的查文件分布表機制，這也帶來了如何在對等結構的混合集群中區別使用不同類型存儲節點的問題。針對這個問題，本文在一個對等結構分布式系統ZDFS[18]上進行了混合集群的層次化存儲的研究。

1 ZDFS

ZDFS使用和Dynamo[3]相似的一致性哈希算法。ZDFS有三個主要組件：DataNode存儲所有數據；Client暴露存儲接口給上層應用,直接向DataNodes集群發起數據讀寫請求；Monitor負責維護存儲節點集群全局信息，處理節點加入和離線事務。系統結構如圖1所示。

圖1 系統結構

ZDFS中有虛擬節點概念，如圖2所示。其中，該數據文件存儲到Vnode c所對應的DataNode上。

圖2 一致性哈希環

與Ceph[17]數據尋址方式相似，ZDFS的Client僅僅使用不定期更新的少量本地元數據，即可確定存放File的DataNode地址，如表1所示。

表1 虛擬節點路由表

ZDFS預設每個數據有3份拷貝。Monitor將三個連續的虛擬節點放置在三個不同的DataNode上，在此基礎上，DataNode將依據后繼節點規則進行數據備份，如圖3所示。

圖3 三副本備份機制

2 虛擬節點分層重映射

ZDFS是作為大規模的分布式系統設計，ZDFS分布式系統具有良好的可拓展性，在ZDFS上進行混合節點集群層次化存儲研究主要有以下原因：

(1) 冷區數據量很大

系統的高可靠性要求使得其采用了3副本備份機制，而備份數據卻不常使用。系統容量與存儲機器規模成正相關，這意味著需要部署更多的存儲節點來滿足系統的存儲需求，極大地增加了系統能耗。

(2) 層次化存儲是數據中心提升效率的必然要求

在存儲節點集群中混合不同的結構、性能的節點，若不加以區別利用，可能增加系統延遲，帶來不穩定性因素，以及高性能類別節點的硬件優勢將不能得到充分發揮。

本文用HighNode和LowNode分別表示兩種不同類型的物理存儲節點。策略是在HighNode上優選使用高能耗高性能處理器和高速存儲介質，LowNode上優選使用低功耗處理器和普通存儲介質。表2是ZDFS下混合集群執行層次化混合和無層次化混合情況下兩種物理存儲節點的功能。

表2 不同類型節點的功能

無層次化策略下的后繼節點規則可以表式為：

{vnode(i)_next=vnode(i+1)(i為小于N的自然數，N為虛擬節點總數);vnode(i)_next=vnode(0)(i等于N-1時)}

層次化混合下的LowNode和HighNode功能不同，ZDFS系統必須區分使用這兩種不同類別的存儲節點。但ZDFS使用了一致性哈希算法替換了傳統的主從結構中的文件分布表，系統無法通過查表區分不同類別的節點。為應對這個問題，本文提出了一種對等結構下區別使用不同類型節點的層次化存儲策略——虛擬節點分層重映射VHR，系統無需查表即可自動區分使用不同類型的存儲節點，且不影響系統的高拓展性。

由于本文的混合集群中只混合了兩種類型節點，將虛擬節點分類為奇數類虛擬節點和偶數類虛擬節點。設定將所有奇數虛擬節點映射到LowNode集群，所有偶數虛擬節點映射到HighNode集群，如圖4所示。

圖4 奇偶虛擬節點分別映射不同類型節點集群

相應的后繼節點規則設定為：

{vnode(2j)_next=vnode(2j+1);vnode(2j+1)_next=vnode(2j+3)(j為小于N的自然數，2N為虛擬節點總數)}

從上可知，主數據存放在HighNode集群中；備份數據存放在LowNode集群中.當設定Monitor只向Client發送偶數虛擬節點的路由表信息，LowNode集群將對Client不可見。

接下來探討虛擬節點分層重映射的細節，用數學抽象描述了其中的兩個重要部分。

2.1 節點加入流程

系統獲取新加入存儲節點，記為p，然后執行節點加入流程，其使用：

算法1 節點加入算法

a) 平均化收集預分配的虛擬節點，放入收集容器集合φ；

b) 選取元素i，其中i∈φ,更新i對應的物理存儲節點映射歸屬，即R(i)=p；

c) 遷移對應物理存儲節點下至p，即D(i)=p；

d) 更新存儲節點與i有關的邏輯前驅和后繼關系；

e)φ=φ-{i}，如果φ不為空，執行步驟b)，否則完成。

實現上，步驟a)主要是對對應類型的虛擬節點總數進行回收，得到回收節點集合φ，ZDFS提出了不同的存儲節點標記為不同的存儲域，數據的各個備份要保證放在不同的區，保證某區的存儲節點宕機時，能從其他備份區中恢復。因而，具體策略實現上，回收再分配時需保證邏輯相鄰兩個虛擬節點不能映射至相同的物理存儲節點；

步驟b)中，R(i)=p關系函數為虛擬節點x的映射主機。Monitor更新φ的映射關系至p，并協調p建立相應的存儲目錄區。

步驟c)中，D(i)=p關系函數為虛擬節點i對應存儲的數據所存儲的主機為p，Monitor協調φ集合對應的物理存儲主機，將數據遷移至p，并更新(刪除)數據的對象。

步驟d)中，告知并更新其他存儲節點的前驅和后繼的映射關系，保證數據的備份機制的實施。

2.2 節點離線流程

若p出現宕機情況，系統刪除該物理節點，然后執行節點離線流程，其處理使用：

算法2 節點離線算法

a) 獲取p節點所分配的虛擬節點集合φ；

b) 選取元素x，其中x∈φ,將x節點分配至新的物理節點q；

c) 分別遷移x的邏輯第一前驅px1和第二前驅px2對應的物理節點數據至q的x目錄下的第一二拷貝區；

d) 更新的邏輯前驅及后繼關系；

e)φ=φ-{x}，如果φ不為空，執行步驟b)，否則完成。

實現上，步驟b)把虛擬節點p重映射到相同類型的存儲節點，和節點加入流程一致，需確保邏輯相鄰兩個虛擬節點不能映射至相同的物理存儲主機；步驟c)將確保在新的物理存儲節點q成為p節點的替代節點之前，已經完成遷移存儲節點的之前存儲數據。

本文設計實現的虛擬節點分層重映射(VHR)將不同虛擬節點集合分層映射到不同類型的存儲節點上，實現了在對等結構下不同類型存儲節點的層次化，具有以下運行特點：

(1) 自動的混合節點集群管理

存儲節點加入或離線時，系統根據其節點類型，自動分配或回收對應的虛擬節點。同時，虛擬節點的分配與回收機制在保證數據拷貝存儲到互異存儲節點的情況下，通過均衡算法保證存儲數據在集群中的均衡化存儲，具有較高的可用性。

(2) 不破壞系統的高拓展特性

在混合集群的數據遷移過程中，Monitor節點的負載很輕，只負責向某一時間加入或宕機的存儲節點發送相應指令，具體數據遷移操作在存儲節點之間自動獨立完成。

3 實驗與分析

實驗在真實網絡環境下進行，拓撲結構如圖5所示。所有節點均在同一個局域網中。圖5中包含有6臺HighNode、6臺LowNode、1臺Monitor、1臺Client。交換機采用1臺TP-Link的10/100/1000M自適應交換機，能耗功率測量使用了多臺TECMANTM9微型電力檢測儀。

圖5 系統拓撲

各個節點軟件主要采用C語言編寫，軟件運行環境為Ubuntu14.04。實驗中，HighNode運行在X86 架構的PC工作站上，LowNode運行在ARM評估板上。如表3所示。

表3 硬件配置

3.1 能耗水平

實驗通過對4個不同的實驗組的對比測試進行，每一個實驗組的配置均不相同，每一個實驗組的運行時的整體能耗水平如表4所示。

表4 不同實驗組的能耗水平

實驗組1中全為HighNode，故其整體能耗水平最高；實驗組2的存儲集群中全部部署為LowNode，故其整體能耗水平最低；實驗組3和實驗組4在存儲集群中混合部署了相同數量的HighNode和相同數量的LowNode，整體能耗水平相近。接下來的兩個小節分別進行了不同實驗組的吞吐性能和文件下載用時測試。

3.2 吞吐性能

最大吞吐性能測試的文件規模為100GB，測試方式是采集Client節點的以太網端口的最大I/O數據，測試結果如表5所示。

表5 不同實驗組的最大吞吐性能 MB/s

實驗組3比實驗組4在最大吞吐性能上有輕微的優勢，因為實驗組4的混合集群中LowNode對Client是隱藏的，LowNode不參與對Client的數據傳輸。隨著文件大小的增加，實驗組1、實驗組3和實驗組4的最大吞吐表現趨于一致，系統限制開始成為制約系統最大吞吐的主要因素。

3.3 下載時間

下載時間測試在每一個實驗組上分別進行，Client從存儲集群中選擇10 GB大小的數據文件進行下載，記錄所有數據全部完成下載的用時，測試結果如表6所示。

表6 不同實驗組的10 GB規模的文件下載時間 s

實驗組1有最短的測試結果，因其部署的節點全為HighNode；實驗組2的下載用時最長，因其部署的節點全為LowNode；實驗組4執行了本文的VHR混合策略，系統區分使用了不同的存儲節點，在數據文件下載時，Client只與混合集群中的HighNode進行數據傳輸，故測試結果和實驗組1相近；而實驗組3執行了普通的無層次化混合，系統不能區分使用不同的存儲節點，Client與LowNode進行數據傳輸時引起了更多時間開銷。除此之外，對等結構下在無層次化混合下的文件查找、目錄列表等功能如ls命令，低性能的節點將進一步增加系統延遲，給系統帶來不穩定因素。

結合上文的能耗、吞吐測試結果，VHR實驗組運行良好，充分發揮了不同類型的存儲節點的優勢，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。

4 結 語

針對如何在對等結構的混合集群中區別使用不同類型存儲節點的問題，本文在一個對等結構分布式系統ZDFS上進行了混合集群的層次化存儲的研究，設計并實現了一種基于對等結構的層次化存儲策略——虛擬節點分層重映射(VHR)。該策略不影響對等結構的高拓展特性，使系統可自動區分使用不同類型存儲節點，可操作性強。實驗在真實X86和ARM混合集群上進行，實驗表明，VHR實驗組運行良好，充分發揮了不同類型存儲節點的優勢，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。本文接下來的工作包括繼續優化系統，支持更多類型節點等等。

[1] Dell EMC.The Digital Universe of Opportunities:Rich Data and the Increasing Value of the Internet of Things[OL].http://www.emc.com/leadership/digital-universe/2014iview/executive-summary.htm.

[2] Ghemawat S,Gobioff H,Leung S T.The Google file system[J].ACM SIGOPS Operating Systems Review.New York:ACM,2003,37(5):29-43.

[3] DeCandia G,Hastorun D,Jampani M,et al.Dynamo:Amazon’s Highly Available Key-Value Store[J].ACM SIGOPS Operating Systems Review,2007,41(6):205-220.

[4] Shvachko K,Kuang H,Radia S,et al.The Hadoop Distributed File System[C]//Mass Storage Systems and Technologies (MSST),2010 IEEE 26th Symposium on.New Jersey:IEEE,2010:1-10.

[5] EPA.Report to Congress on Server and Data Center Energy Efficiency[OL].https://datacenters.lbl.gov/sites/ all/files/EPA_Datacenter_Report_Congress_Final1.pdf.

[6] Battles B,Belleville C,Grabau S,et al.Reducing data center power consumption through efficient storage[R].WP-7010-0709,NetApp White Paper,2007.

[7] Wang Y,Sun W,Zhou S,et al.Key Technologies of Distributed Storage for Cloud Computing[J].Journal of Software,2012,23(4):962-986.

[8] Gurumurthi S,Sivasubramaniam A,Kandemir M,et al.Reducing Disk Power Consumption in Servers with DRPM[J].Computer,2003,36(12):59-66.

[9] Harnik D,Naor D,Segall I.Low power mode in cloud storage systems[C]//2009 IEEE International Symposium on Parallel and Distributed Processing.IEEE,2009:1-8.

[10] Leverich J,Kozyrakis C.On The Energy (In)Efficiency of Hadoop Clusters[J].ACM SIGOPS Operating Systems Review,2010,44(1):61-65.

[11] Pinheiro E,Bianchini R,Dubnicki C.Exploiting Redundancy to Conserve Energy in Storage Systems[C]//Proceedings of the Joint International Conference on Measurement and Modeling of Computer Systems,2006:15-26.

[12] Szalay A S,Bell G C,Huang H H,et al.Low-power amdahl-balanced blades for data intensive computing[J].ACM SIGOPS Operating Systems Review,2010,44(1):71-75.

[13] Hamilton J.Cooperative expendable micro-slice servers (CEMS):low cost,low power servers for internet-scale services[C]//Conference on Innovative Data Systems Research,2009:1-8.

[14] Vasudevan V,Franklin J,Andersen D,et al.FAWNdamentally Power-efficient Clusters[C]//Proceedings of the 12th Conference on Hot Topics in Operating Systems.Berkeley,CA,USA:USENIX,2009:22.

[15] Open Compute Project.ARM Server Motherboard Design for Open Vault Chassis Hardware v0.3[OL].http://www.opencompute.org/wp/wp-content/uploads/2013/01/Open_Compute_Project_ARM_Server_Specification_v0.3.pdf.

[16] Anna Wang.Chinese Internet Giant Baidu Rolls Out World’s First Commercial Deployment of Marvell’s ARM Processor-based Server[OL].http://developer.baidu.com/en/events.html.

[17] Weil S A,Brandt S A,Miller E L,et al.Ceph:A scalable,high-performance distributed file system[C]//Proceedings of the 7th Symposium on Operating Systems Design and Implementation.USENIX Association,2006:307-320.

[18] Zhang Q,Zhang W,Li W,et al.Cloud Storage System For Small File Based on P2P[J].Journal of Zhejiang University (Engineering Science),2013,47(1):8-14,93.

RESEARCH ON HIERARCHICAL STORAGE STRATEGY ON P2P HYBRID CLUSTER

Tu Chaofan1Zhang Qifei1Chen Yingzhuang1Zhang Yuchang1Liu Erteng1Gan Honghua1Zhang Weidong2Bai Fan3Zheng Xianrong4

1(SchoolofSoftwareTechnology,ZhejiangUniversity,Ningbo315048,Zhejiang,China)2(SchoolofElectronicsEngineeringandComputerScience,PekingUniversity,Beijing100871,China)3(DepartmentofElectricalEngineeringandComputerScience,NorthwesternUniversity,Evanston60201,USA)4(CentralInstitute,InsigmaTechnologyCompanyLtd,Hangzhou310030,Zhejiang,China)

With the scale of distributed storage systems growing rapidly, the problem of energy consumption has become increasingly prominent, and storage cluster hybrid low-power node has become one of the important ways to solve this problem. To face the problem of how to use different types of storage nodes discriminatively, in this paper, a hierarchical storage strategy called vnode hierarchical remapping (VHR) is designed and implemented based on a P2P distributed system of ZDFS. The strategy didn’t affect the high scalability of P2P, so that the system can automatically distinguish between the use of different types of storage nodes with strong operability. Experiments are carried out on a real X86 and ARM hybrid cluster, and experiments show that the VHR works well and plays to the advantages of different types of storage nodes. Under the condition of the performance degradation is not obvious, the overall level of energy consumption was reduced by 44.8%.

Storage system P2P Hybrid cluster Hierarchical

2015-11-20。國家關鍵科技支撐項目(2014BAH23F03)；國家環境公益項目(2013A610064)；寧波自然科學基金項目(2013B10036)；寧波智能交互多媒體遠程教育系統項目(2013B10036)。涂超凡，碩士生，主研領域：分布式系統，物聯網。張啟飛，講師。陳應莊，碩士生。張昱昶，碩士生。劉二騰，講師。干紅華，副教授。張尉東，博士生。白凡，碩士生。鄭賢榕，高工。

TP3

A

10.3969/j.issn.1000-386x.2017.04.002