超低功耗云存儲系統——cStor

摘要：低功耗cStor云存儲系統是一種軟件與硬件相結合的系統，利用低功耗硬件設備，通過軟件進行存儲資源的管理，確保系統的高可靠和高可用性，有效地解決了存儲系統功耗和成本問題。cStor系統中，基于ARM芯片構建的存儲設備主板功耗低于5 W，單節點最大可支持16塊SATA磁盤；通過cStor云存儲軟件管理的低功耗存儲系統，在標準42U機柜中，最大可以支持1 152 TB存儲容量，功耗僅為3 400 W。

關鍵詞：云存儲；超低功耗；拍字節級

Abstract： The low-power-consuming cStor cloud storage system comprises software and hardware. Software is used to manage storage hardware， and even though this hardware consumes little power， it is still reliable and highly available. With cStor， the cost of storage power can be reduced. The motherboards of the storage devices， which are based on ARM chips， consume less than 5 W， and a single node can support up to 16 SATA HDDs. In the standard 42U rack， cStor can support up to 1152 TB storage capacity and consume only 3400 W of power.

Key words： cloud storage； ultra low-power consumption； petabytes level

中圖分類號：TN915.03； TP393.03 文獻標志碼：A 文章編號：1009-6868 （2013） 04-0022-003

2004年，全球共有30 EB的數據；2005年躍升到50 EB；2006年達到161 EB；到2011年，已經達到2 529 EB。

這些海量信息的存取給存儲技術提出了新的挑戰和更高的要求。

首先，存儲的數據量秩序增長不僅要求存儲系統擁有大容量的存儲空間，也要求存儲系統有較高的可擴展性。其次，越來越多重要的數據被存儲在系統里，這就要求系統有較高的可靠性、容錯性、安全性。同時，對系統所占的體積也提出了更高的要求：應當盡可能的節省空間。這就要求系統存儲密度高，即特定空間內所容納的存儲盤要多，這也就意味著硬件設備功耗要盡可能的低，這樣才允許密集布置。功耗低的同時也能節約能源，達到降低成本的目標。

目前影響較大的集群存儲系統有Google的Google File System[1]，Hadoop的HDFS[2]，Cluster File System的Lustre[3]以及RedHat的Global File System。

P2P[4]存儲，也即對等存儲，是指存儲節點以對等模式組成的一個存儲網絡。現有的P2P分布式存儲系統中比較出名的是MIT的CFS[5]、Berkeley的OceanStore[6]及其原型Pond[7]、微軟研究院的BitVault[8]、UCSD的Total Recall[9]、清華大學的Granary[10]、北京大學的UPStore[11]。

本文中采用的低功耗cStor云存儲系統是一種軟件與硬件相結合的系統，系統采用雙機備份容錯的方式，保證不間斷服務，同時軟硬件高度容錯，可靠性高；采用超低功耗存儲服務器節點，系統存儲密度高（一個標準機柜超過1 PB容量），節約能源的同時進一步降低了成本；系統可以任意增加或減少節點，可擴展性能很好；采用控制流與數據流分離的技術，對每個存儲節點上數據并行讀寫，存儲節點數目越多，整個系統的吞吐量和IO性能將呈線性增長。

1 cStor外部結構

42U超低功耗云存儲系統由18臺2U ARM超低功耗存儲服務器節點、2臺元服務器（1主1備）、2臺交換機（1主1備）、機架套件組成。一般機柜只有一面可以插硬盤。cStor采用的是ARM架構，熱量很小，可以雙面插盤，最大可支持384塊盤。cStor選用3 T硬盤，所以存儲容量為1 152 TB（3×384），即1.152 PB。

整個系統的功耗包括384塊5 W硬盤，24塊15 W主板，2個150 W的交換機，2個200 W的Master節點，32個機箱，每個機箱4個3 W的風扇。總功耗為3 364 W。

系統具有具有超低功耗、超低價格、超高容量、高吞吐量等特點，并通過軟件實現對ARM超低功耗存儲服務器存儲空間資源進行虛擬化整合，實現軟硬件故障高度容錯。硬盤、主板，電源、交換機、Master服務器之間相互冗余，任何單節點出現故障，都不會影響整個系統的運行。

提供標準接口：與Google、Amazon云存儲系統不同在于，本系統提供符合可移植操作系統接口（POSIX）規范的訪問接口，無論是哪種系統下的應用程序，都可以不經修改就將本系統當成自己的硬盤來使用。同時，也提供專用的應用編程接口（API）接口。

2 cStor云存儲系統軟件

cStor云存儲文件系統采用分布式的存儲機制，將數據分散存儲在多臺獨立的存儲服務器上。它采用包括元數據管理服務器和數據存儲節點服務器以及客戶端節點的結構構成一個虛擬的海量存儲卷。cStor云存儲系統軟件架構如圖1所示。

其中，元數據管理服務器保存系統的元數據，負責對整個文件系統的管理，元數據管理服務器在邏輯上只有一個，采用主備雙機鏡像的方式，保證系統的不間斷服務；數據存儲節點服務器負責具體的數據存儲工作，數據以文件的形式存儲在數據存儲節點服務器上，數據存儲節點服務器的個數可以有多個，它的數目直接決定了cStor云存儲系統的規模；客戶端即為服務器對外提供數據存儲和訪問服務的窗口，通常客戶端部署在數據存儲節點服務器上，每一個塊數據服務器，及時存儲服務器也是客戶端服務器。

使用這種系統有利于存儲系統的擴展和實現，在小規模的數據擴展時，只需要添加具體的數據存儲節點服務器，不需要添加整套設備。

2.1 負載自動均衡技術

cStor采用中心服務器模式來管理整個云存儲文件系統，所有元數據均保存在管理節點上，文件則劃分為多個塊存儲在不同的存儲節點上。

管理節點維護了一個統一的命名空間，同時掌握整個系統內存儲節點的使用情況，當客戶端向元數據服務器發送數據讀寫的請求時，元數據服務器根據存儲節點的磁盤使用情況、網絡負擔等情況，選擇負擔最輕的存儲節點對外提供服務，自動均衡負載負擔。

另外，當有一個存儲節點因為機器故障或者其他原因造成離線時，管理節點會將此機器自動屏蔽掉，不再將此存儲節點提供給客戶端使用，同時存儲在此存儲節點上的數據也會自動備份到其他可用存儲節點，自動屏蔽存儲節點故障對系統的影響。

2.2 高速并發訪問技術

客戶端在訪問cStor時，首先訪問管理節點，獲取將要與之進行交互的存儲節點信息，然后直接訪問這些存儲節點完成數據存取。cStor的這種設計方法實現了控制流和數據流的分離。

客戶端與管理節點之間只有控制流，而無數據流，這樣就極大地降低了管理節點的負載，使之不成為系統性能的一個“瓶頸”。客戶端與存儲節點之間直接傳輸數據流，同時由于文件被分成多個數據塊（Chunk）進行分布式存儲，客戶端可同時訪問多個存儲節點，從而使整個系統的I/O高度并行，系統整體性能得到提高。

通常情況下，系統的整體吞吐率與存儲節點的數量呈正相關。

2.3 高可靠性保證技術

對于元數據，cStor通過操作日志來提供容錯功能，當管理節點發生故障時，在磁盤數據保存完好的情況下，可以迅速恢復以上元數據。為了防止管理節點徹底死機的情況，cStor還提供了管理節點遠程的實時備份，這樣在當前的管理節點出現故障無法工作的時候，另外一臺備管理節點可以迅速接替其工作。

對于存儲節點，cStor采用副本的方式實現容錯。每一個塊有多個存儲副本（默認為兩個），分布存儲在不同的存儲節點上。副本的分布策略考慮了多種因素，如網絡的拓撲、機架的分布、磁盤的利用率等。對于每一個存儲節點，必須將所有的副本全部寫入成功，才視為成功寫入。在其后的過程中，如果相關的副本出現丟失或不可恢復等狀況，管理節點會自動將該副本復制到其他存儲節點，從而確保副本保持一定的個數。在有多個存儲節點的情況下，任意損失一個節點，數據都不會丟失，而且隨著存儲節點數目的增多，整個系統的可靠性越大。

2.4 高可用技術

由于采用了低耦合的分布式架構，所有服務節點均通過網絡互連，系統可以在不停服務的情況下，通過增刪節點的方式伸縮系統規模。存儲節點和元數據管理服務節點間通過注冊管理機制自適應管理，實現自動伸縮。

3 低功耗存儲節點

針對云存儲系統應用開發的低功耗主板，采用基于ARM v7架構的MV78460四核CPU，該CPU采用55 nm技術，主頻1.6 GHz。采用1 GB的DDR3內存，頻率為1 066 MHz。相應的組件包含有：2個10M/100M/1000M自適應網口，采用低功耗Marvell PHY 88E1318；4個SATA PM，采用4個miniSAS接口支持16塊硬盤；1個2 GB NAND FLASH，用于存放內核引導程序（Bootloader）、操作系統內核（Kernel）和根文件系統（Fs）。

MS316是基于Marvell的低功耗、高端嵌入式處理器的CPU——MV78460開發的存儲節點的主板。

MV78460是Marvell公司專為企業級云計算開發的ARMADA XP（極限性能）系列的工業級四核ARM CPU。ARMADA XP系列為了下一代的“綠色”系統，采用了超低功耗架構并整合了4個Marvell設計的1.6 GHz主頻的ARM V7核CPU，其自帶了一個IO外圍設備控制器，以提供行業最強勁的表現。因為采用了高級的設計技術和制作工藝，ARMADA XP將他的云計算應用范圍從高性能網絡服務器滲透到了高容量服務器比如網絡連接式存儲（NAS）和媒體服務器。

MV78460擁有4個ARM核，它的2級高速緩存容量為2 MB，DRAM接口為32位64位可選。除了內核的強勁表現外，他還帶有豐富的外圍設備接口：4個千兆網口、2個SATA控制器，2個PCI-e2.0×4接口2個PCI-e2.0×4接口等。

4 cStor性能測試

4.1 硬件測試

4.1.1 云存儲節點規格配置

本測試采用MS316低功耗主板的存儲服務器cServer A2020，單節點容量為36 TB，包含12個3 TB SATA硬盤，共計36 TB存儲容量。

4.1.2 節點性能

cServer A2020是專門針對云服務器（Cloud Server）應用開發的低功耗ARM存儲服務器，即可作為云存儲的存儲節點，也可作為獨立存儲服務器使用。

cServer A2020在云存儲軟件系統上做了充分的測試。測試結果表明，32 kB文件在不同讀寫比例下的IOPS均大于2 200次/s，64 kB文件在不同讀寫比例下的IOPS均大于2 000次/s，1 MB文件在不同讀寫比例下的IOPS均大于500次/s。

4.2 系統測試

針對MS316的性能，在cStor系統上進行了充分的測試，MS316基于cStor系統的測試結果如圖2所示。

由圖2可知，相同存儲節點的情況下，隨著客戶端訪問數的增加，客戶端讀寫性能逐步提升。相同客戶端數目的情況下，隨著節點數的增多，讀寫性能也有一定程度的提升，尤其在2個客戶端以上時，性能提升明顯。當存儲節點為18個，客戶端為4個時，讀性能可以達到400 MB/s，寫性能將近500 MB/s。

5 結束語

本文中的拍字節級超低功耗cStor云存儲系統是一種軟件與硬件相結合的系統，系統軟件可以實現負載自動均衡、高速并發訪問、高可靠性保證、高可用。

采用超低功耗存儲服務器節點，系統存儲密度高：單機架存儲裸容量1.125 PB；有高度可靠的冗余備份機制；單機架總功率僅有3.4 kW，采用自主研發的超低功耗云存儲硬盤節點，單節點功率僅有10 W。在標準42U機柜中，最大可以支持1 152 TB存儲容量，而功耗僅為3 400 W。

采用控制流與數據流分離的技術，對每個存儲節點上數據并行讀寫，存儲節點數目越多，整個系統的吞吐量和IO性能呈線性增長。測試得知：32 kB文件在不同讀寫比例下的IOPS均大于2 200次/s。當存儲節點為18個，客戶端為4個時，讀性能可以達到400 MB/s，寫性能將可以達到500 MB/s。

系統中采用廉價的大容量存儲服務節點，通過cStor系統軟件實現統一管理和容錯，提供高效、穩定服務。與使用專用服務器相比，可以將系統構建成本節省5～10倍以上，且規模越大，優勢越明顯。

參考文獻

[1] GHEMAWAT S， GOBIOFF H， LEUNG S T. The Google file system [C]//Proceedings of the 19th ACM SIGOPS Symposium on Operating Systems Principles （SOSP’03）， Oct 19-22， 2003， Bolton Landing， NY， USA. New York， NY， USA： ACM， 2003：29-43.

[2] SHVACHKO K， KUANG H， RADIA S. The hadoop distributed file system [C]//Proceedings of the IEEE 26th Symposium on Mass Storage Systems and Technologies（MSST’10）， May 3-7，2010， Incline Village， NV， USA. Piscataway， NJ， USA. IEEE， 2010： 10p.

[3] SCHWAN P. Lustre： Building a file system for 1000-node clusters [C]//Proceedings of the 2003 Linux Symposium， Jul 23-26， 2003， Ottawa， Ontario. 2003：380-386.

[4] 陳貴海， 李振華. 對等網絡： 結構、應用與設計 [M]. 北京： 清華大學出版社， 2007： 83-93.

[5] DABEK F， KAASHOEK M F， KARGER D， et al. Wide-area cooperative storage with CFS [C]//Proceedings of the 18th ACM SIGOPS Symposium on Operating Systems Principles （SOSP’01）， Oct 21-24， 2001， Banff， Canada. New York， NY， USA： ACM， 2001： 202-215.

[6] KUBIATOWICZ J， BINDEL D， CHEN Y， et al. OceanStore： Architecture for global-scale persistent storage [C]//Proceedings of the 9th International Conference on Architectural Support for Programming Languages and Operating Systems （ASPLOS'00）， Nov13-15， 2000， Cambridge， MA，USA. New York， NY， USA： ACM， 2000：190-201.

[7] RHEA S， EATON P， GEELS D， et al. Pond： The OceanStore prototype [C]//Proceedings of the 2nd USENIX Conference on File and Storage Technologies（FAST’03）， Mar 31 - Apr 2， 2003， San Francisco， CA， USA. New York， NY，USA： ACM， 2003：14p.

[8] ZHANG Z， LIAN Q， LIN S， et al. BitVault： A highly reliable distributed data retentionplatform [J]. SIGOPS Operating Systems Review， 2007，41（2）：27-36.

[9] BHAGWAN R， TATI K， CHENG Y C， et al. Total recall： System support for automated availability management [C]//Proceedings of the 1st Conference on Symposium on Networked Systems Design and Implementation（NSDI’04）， Mar 29-31，2004，San Francisco， CA，USA. Berkeley， CA， USA： USENIX Association， 2004：337-350.

[10] ZHENG W， HU J， LI M. Granary： Architecture of object oriented Internet storage service [C]//Proceedings of the International Conference on on E-Commerce Technology for Dynamic E-Business（CEC EAST’04）， Sept13-15 ，2004， Beijing， China. Los Alamitos， CA，USA： IEEE Computer Society， 2004：294-297.

[11] 丁高， 田敬， 陳東， 等. UpStor：一個開放的P2P存儲平臺 [J]. 計算機研究與發展， 2009，46（S）：250-257.

作者簡介

袁高峰，南京師范大學計算機科學與技術專業畢業；南京云創存儲科技有限公司云存儲項目組項目經理；主要從事云存儲產品線的項目管理和研發管理工作。

吳亞洲，河海大學電子科學與技術專業畢業；南京云創存儲科技有限公司云存儲硬件組項目經理；主要從事超低功耗云存儲服務器項目研發管理工作。

薛妍妍，南京航空航天大學通信與信息系統專業碩士畢業；南京云創存儲科技有限公司研發工程師；主要從事云存儲系統的研發工作。