面向云計算數(shù)據(jù)中心的網(wǎng)絡存儲技術研究

王志恒，李小勇

面向云計算數(shù)據(jù)中心的網(wǎng)絡存儲技術研究

王志恒，李小勇

分析了云計算數(shù)據(jù)中心的存儲需求，探討了NAS和SAN的工作機制，對其在虛擬機環(huán)境下的性能進行比較測試。實驗表明，在虛擬機環(huán)境下NAS和SAN之間的性能差異小于10%，遠小于傳統(tǒng)應用環(huán)境中的性能差異。綜合考慮存儲系統(tǒng)的可擴展性、易管理性等多種因素，在虛擬機環(huán)境下使用NAS存儲是更為合理的方案。

網(wǎng)絡存儲、NAS、SAN、虛擬機、云計算

0 引言

云計算浪潮席卷全球，推動著社會信息基礎設施的重大變革。以虛擬化為代表的新技術已經(jīng)成為數(shù)據(jù)中心的基本組織方式，商業(yè)產(chǎn)品如VMware和開源產(chǎn)品如KVM 、Xen已得到普及使用[1]。統(tǒng)計數(shù)據(jù)顯示，至1012年底已有超過一半的x86服務器使用了虛擬化，至2014年這一比例將擴大到70%[4]。

雖然虛擬化技術獲得快速發(fā)展，但在面向云計算數(shù)據(jù)中心的存儲系統(tǒng)設計仍然面臨諸多挑戰(zhàn)和困惑。人們目前對虛擬機環(huán)境下的文件系統(tǒng)I/O特征還缺乏深入認識和理解[3][4]，在虛擬機環(huán)境下存儲技術路線的選擇方面缺乏理論與實驗數(shù)據(jù)支撐的有效指導。在云計算數(shù)據(jù)中心中，一類重要的存儲需求是為每個虛擬機提供一個虛擬磁盤映像。該應用需要存儲系統(tǒng)具有良好的可擴展性，支持為任意數(shù)量的虛擬機提供磁盤映像，并支持高性能訪問；可以支持磁盤映像的快照與克隆、遷移、動態(tài)擴展等高級特性。

NAS和SAN是目前數(shù)據(jù)中心所使用的主要存儲設備形式，NAS存儲可以支持數(shù)據(jù)共享，具有更好的可擴展性、可管理性和可用性；SAN在大多數(shù)傳統(tǒng)應用場景中具有更好的性能[5]，但配置和管理較為復雜。在功能上，NAS和SAN都可以作為虛擬機的磁盤映像存儲設備，虛擬磁盤映像既可以對應到SAN設備的一個邏輯卷，也可以映射到NAS的一個或多個文件[6]。

本文將簡要分析NAS和SAN的工作原理，探討虛擬化環(huán)境下的存儲系統(tǒng)架構和I/O訪問路徑，然后模擬數(shù)據(jù)中心的虛擬化環(huán)境對NAS和SAN的性能進行測試，對測試的結果進行分析探討，在此基礎上提出面向數(shù)據(jù)中心的存儲方案實施建議。

1 網(wǎng)絡存儲系統(tǒng)的類型

NAS和SAN是目前云計算數(shù)據(jù)中心所使用的兩類主要存儲設備，本節(jié)簡要分析其工作原理并比較其差異。

1.1 NAS

NAS（Network Attachment Storage）存儲系統(tǒng)上運行有文件系統(tǒng)，對外部提供文件和目錄、元數(shù)據(jù)的數(shù)據(jù)視圖。其中目錄和文件的內(nèi)容稱為文件系統(tǒng)的數(shù)據(jù)，而把用于描述和實現(xiàn)文件系統(tǒng)所用到的數(shù)據(jù)稱為元數(shù)據(jù)（Metadata），如文件大小、修改日期、以及訪問控制等。目前使用比較廣泛的NAS訪問協(xié)議有NFSv3、NFSv4和CIFS。其中UNIX/Linux環(huán)境使用NFS協(xié)議，而windows系統(tǒng)使用CIFS協(xié)議。

NAS可以支持多個程序?qū)ξ募墓蚕砗筒l(fā)訪問，并采取較為嚴格的一致性語義。如NFSv3規(guī)定對元數(shù)據(jù)的訪問使用同步操作；客戶端在打開文件時根據(jù)文件的最后修改時間對已緩沖文件數(shù)據(jù)的有效性進行檢查；對寫入的文件數(shù)據(jù)的緩存也有時間限制。

1.2 SAN

SAN（Storage Area Network）提供的數(shù)據(jù)視圖和磁盤完全相同。根據(jù)通信網(wǎng)絡的不同，SAN分為光纖通道（FC-SAN）和基于TCP/IP網(wǎng)絡的IP-SAN（通信協(xié)議為iSCSI）。總體來看，F(xiàn)C-SAN性能表現(xiàn)更加穩(wěn)定，但iSCSI 具有顯著性價比優(yōu)勢，iSCSI 在應用普及程度方面已經(jīng)遠遠超過FC-SAN；隨著萬兆以太網(wǎng)的普及，有理由相信iSCSI 將會在性能方面追趕上FC-SAN。

需要指出的是，在功能上SAN設備只提供了最基本的塊存儲功能，只能被動的接受讀寫命令；由于SAN設備上無文件系統(tǒng)，因此，不具有存儲空間和數(shù)據(jù)管理能力；其配置和管理也更加復雜。

NAS的系統(tǒng)架構圖，如圖1所示：

圖1 NAS與SAN的比較

NAS與SAN的詳細比較如表1所示：

表1 NAS 與SAN比較

2 虛擬機環(huán)境下的存儲架構

在虛擬機環(huán)境下，存儲系統(tǒng)的架構如圖2所示：

圖2 虛擬機環(huán)境下的存儲架構

虛擬機上運行有文件系統(tǒng)，當應用程序訪問文件時，文件系統(tǒng)將其轉(zhuǎn)換為對磁盤設備的請求，這些請求以模擬磁盤方式或準虛擬化方式發(fā)送到虛擬機監(jiān)視器（Hypervisor）。虛擬機監(jiān)視器判斷后端存儲設備的類型，如果為NAS，則將對磁盤的請求轉(zhuǎn)換為文件操作，發(fā)送請求給NAS服務器；如果后端存儲設備為SAN，則將磁盤塊訪問請求發(fā)送給SAN設備。

可以從圖2中看到，如果后端存儲設備為NAS，VM所訪問的虛擬磁盤實際為NAS存儲系統(tǒng)中的文件。這種模式下Hypervisor訪問存儲設備的I/O模式與傳統(tǒng)應用直接訪問NAS設備有很大不同。在傳統(tǒng)應用中，元數(shù)據(jù)操作高達I/O操作總數(shù)的70%[8]，而在虛擬化環(huán)境下，所有元數(shù)據(jù)操作都轉(zhuǎn)換為對文件數(shù)據(jù)的操作，因此，元數(shù)據(jù)操作數(shù)量將顯著減少，與此同時，文件數(shù)據(jù)訪問呈現(xiàn)出更多的隨機訪問特征。

3 虛擬機環(huán)境下NAS與SAN的性能測試

本節(jié)將測試虛擬機環(huán)境下NAS和SAN的性能。使用一個計算機作為存儲服務器，其CPU為Pentium(R）Dual-Core E5300 2.60GHz，配置有8GB內(nèi)存和2塊2TB SATA硬盤，配置有1塊千兆以太網(wǎng)卡，操作系統(tǒng)為CentOS6.4；在其上運行有NFS服務器和ISCSI軟件，可同時作為NAS和SAN存儲設備；另有一臺計算機作為虛擬機服務器，CPU為Pentium(R）Dual-Core E5300 2.60GHz，內(nèi)存為8GB，配置有1個千兆以太網(wǎng)卡，操作系統(tǒng)均為Ubuntu 12.04；創(chuàng)建2個虛擬機，每個虛擬機內(nèi)存大小限制為2GB，虛擬機磁盤大小為30GB。

用Iozone測試的讀寫性能分別如圖3至圖8所示：

圖3 讀性能比較

圖4 re-read性能比較

圖5 Random-read性能比較

圖6 Write性能對比

圖7 Rewrite性能對比

圖8 Random-write性能比較

測試文件設定為4GB，為虛擬機內(nèi)存大小的2倍，以盡量消除虛擬機內(nèi)存cache對讀寫性能的影響。

從測試結果可以看出，NAS的read、reread性能稍高于SAN，其原因在于NAS端的文件系統(tǒng)執(zhí)行了預讀策略；而在random-read測試中，NAS的性能要低于SAN，則是由于在隨機讀情況下，NAS的預讀策略失效；在虛擬機環(huán)境下NAS和SAN的write、rewrite性能基本持平，而在randrom-write測試中，NAS的性能要稍高于SAN，這是由于NAS端的文件系統(tǒng)具有緩沖功能，可以將隨機寫入的數(shù)據(jù)進行緩沖，并在此基礎上進行I/O的優(yōu)化。

使用postmark測試的結果，可以揭示元數(shù)據(jù)密集型操作的性能。可以看到NAS和SAN的性能十分接近如圖9所示：

圖9 Postmark運行時間比較

從上述測試結果中也可以看出，虛擬機數(shù)量對測試性能有顯著影響。虛擬機數(shù)量增加時，性能有明顯下降。這是由于當只有一個虛擬機訪問存儲設備時，讀寫操作均為順序訪問；而當多個虛擬機并發(fā)訪問存儲系統(tǒng)時，不同虛擬機的請求交替到達，總體上在存儲設備端表現(xiàn)為隨機訪問，造成額外的磁頭移動，從而導致性能下降。

上述測試顯示了與傳統(tǒng)非虛擬化環(huán)境完全不同的結果。在傳統(tǒng)非虛擬化環(huán)境中，SAN的性能要顯著高于NAS，尤其在元數(shù)據(jù)密集型操作中SAN的性能高達NAS的3倍，究其原因，在于SAN的客戶端可以采取有效的緩沖策略，減少與存儲設備端的交互；而NAS由于數(shù)據(jù)一致性的要求客戶端需要及時將新的數(shù)據(jù)提交到存儲服務器，從而導致大量通信開銷。在虛擬機應用環(huán)境中，虛擬機上運行有文件系統(tǒng)，可以對數(shù)據(jù)采取有效的緩存策略，有效減少了和后端存儲設備的通信開銷；與此同時，所有在虛擬機上的文件系統(tǒng)中產(chǎn)生的元數(shù)據(jù)操作，都被轉(zhuǎn)換為針對NAS存儲系統(tǒng)中文件數(shù)據(jù)的操作，因此可以采用異步方式寫入NAS存儲設備，也進一步有效減少了通信開銷。

4 總結

現(xiàn)代云計算數(shù)據(jù)中心需要為虛擬機提供可擴展、易于管理、支持快照和克隆等高級特性、并具有高性能的虛擬機映像存儲方案。本文的研究結果揭示出，雖然在傳統(tǒng)應用場景中SAN和NAS的性能有顯著差異，但這一性能差異已在虛擬機應用環(huán)境中得以消除。由于NAS存儲具有更好的可擴展性和易管理性，我們有理由相信NAS存儲是數(shù)據(jù)中心虛擬機映象存儲的更好選擇。

[1]. Barham P, Dragovic B, Fraser K, et al. Xen and the art of virtualization[J]. ACM SIGOPS Operating Systems Review, 2003, 37(5): 164-177.

[2]. Vasily Tarasov, , Dean Hildebrand, Geoff Kuenning, Erez Zadok. Virtual Machine Workloads: The Case for New Benchmarks for NAS [C]. 11th USENIX Conference on File and Storage Technologies (FAST ’13) .

[3]. Hildebrand D, Povzner A, Tewari R, et al. Revisiting the storage stack in virtualized NAS environments[C]. Proceedings of the Workshop on I/O Virtualization (WIOV’11). 2011.

[4]. Le D, Huang H, Wang H. Understanding performance implications of nested file systems in a virtualized environment[C]. Proceedings of the 10th USENIX conference on File and Storage Technologies. USENIX Association, 2012

[5]. Radkov P, Yin L, Goyal P, et al. A performance comparison of NFS and iSCSI for IP-networked storage[C]. Proceedings of the 3rd USENIX Conference on File and Storage Technologies. USENIX Association, 2004.

[6]. Tan T, Simmonds R, Arlt B, et al. Image management in a virtualized data center[J]. ACM SIGMETRICS Performance Evaluation Review, 2008, 36(2): 4-9.

[7]. Weil S A, Brandt S A, Miller E L, et al. Ceph: A scalable, high-performance distributed file system[C]//Proceedings of the 7th symposium on Operating systems design and implementation. USENIX Association, 2006: 307-320.

Network Storage Technology Research Faced on Cloud Computing Data Center

Wang Zhiheng1, Li Xiaoyong2
(1.China Executive Leadership Academy Pudong, Shanghai201204, China; 2. College of Information Security, Shanghai Jiaotong University, Shanghai200240, China)

This paper analyzes the storage requirements of cloud computing data center, discusses the working mechanism of NAS and SAN, and compares the performance of storage in the virtual machine environment. Experiments show that the performance differences between the NAS and SAN in the virtual machine environment are less than 10%, far less than the performance differences in the traditional application environment. Considering the extensibility and manageability of storage system, the use of NAS storage in a virtual machine environment is a more reasonable scheme.

Network Storage; Network Attached Storage; Storage Area Networking; Virtual Machine; Cloud Computing

TP393

A

2014.04.10)

上海市科委重大項目（10DZ1500200）

王志恒（1974-），男，江蘇蘇州，中國浦東干部學院，博士，高級工程師，研究方向：分布式系統(tǒng)、信息安全，上海，201204

李小勇（1972-），男，甘肅甘谷，上海交通大學，信息安全工程學院，副教授，博士，研究方向：分布式系統(tǒng)，上海，200240

1007-757X(2014)08-0011-03