集群NAS存儲技術及其產品選型要點

汪生珠，韓曉山，王曉麗

（1.中國石油長慶油田分公司勘探開發研究院，西安 710018；2.低滲透油氣田勘探開發國家工程實驗室，西安 710018）

集群NAS存儲技術及其產品選型要點

汪生珠1,2，韓曉山1,2，王曉麗1,2

（1.中國石油長慶油田分公司勘探開發研究院，西安 710018；2.低滲透油氣田勘探開發國家工程實驗室，西安 710018）

當前，信息數據呈爆炸式增長，存儲需求急劇膨脹，集群NAS磁盤存儲技術及其產品應運而生。本文根據存儲設備項目選型的實際經歷，較為系統地闡述傳統NAS網絡存儲技術的優點及局限性，總結分析目前集群NAS存儲的典型系統架構及其技術特點，提出衡量和評價高效集群NAS存儲的具體指標或標準。

NAS存儲；集群；橫向擴展；架構；選型要點

0 引 言

當前，信息數據呈爆炸式增長，存儲需求急劇膨脹，文件大小和數據規模從TB級、PB級邁向EB級、ZB級。研究顯示，2020年數字宇宙將達到35.2 ZB(1 ZB=100萬 PB=10億 TB)，比2009年的0.8 ZB猛增44倍。衛星測繪、氣象科學、能源勘探、航空航天、科研教育、基因測序、醫學影像、公共事業、媒體娛樂和社會化Web等大量數據密集型應用導致數據“井噴”，不斷對存儲方法提出新的嚴峻挑戰。

據IDC的統計，在快速增長的信息數據中，基于文件類型的非結構化數據的增速極快，全球存儲市場的總出貨量中將有80%的容量被文件級數據所覆蓋。由于非結構化內容的存儲規模和復雜程度不斷提高，使得傳統存儲系統捉襟見肘。另外，非結構化數據具有傳統存儲系統在設計時并未考慮的獨特特征，包括大型文件和數據量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。

為此，集群存儲、并行存儲技術應允而生，其性能可隨著存儲容量的增加而線性增加，是解決海量非結構化數據存儲的理想方案。目前，國內外各大專業存儲廠商紛紛推出了自己的集群NAS存儲產品。面對眾多的集群NAS存儲產品，如何正確選擇是廣大用戶面臨的主要問題。

1 NAS存儲技術特點分析

NAS（Network-Attached Storage，網絡接入存儲）采用TCP/IP網絡技術，通過網絡交換機連接存儲系統和服務器主機，建立專用于數據存儲的存儲私網。隨著IP網絡技術的發展，NAS存儲技術發生了質的飛躍。隨著萬兆以太網及InfiniBand網絡的出現和投入商用，存儲網絡帶寬大大提高了NAS存儲的性能。另外，由于NAS存儲采用TCP/IP網絡進行數據交換，TCP/IP是IT業界的標準協議，不同廠商的產品（服務器、交換機、NAS存儲）只要滿足協議標準就能實現互連互通，無兼容性要求。

然而，傳統的NAS存儲系統由于受到其物理組成（如控制器性能、總線性能、磁盤驅動器的數量、所連接服務器的數量、內存大小以及NAS頭的性能等）的限制，以及功能上的局限（如支持文件系統的容量、元數據和數據處理通路的耦合、快照或復制的數量等），造成存儲系統瓶頸。為解決這種單個NAS系統的性能局限性和整個數據帶寬瓶頸，一是采用硬件更加強大的單個存儲系統，即所謂不斷向上擴展(Scale-up，也稱縱向擴展)的模式。然而，由于業務和數據的大量增加，盡管單臺NAS的最高容量已達到PB級，仍難以滿足要求，這種不斷向上擴展的模式幾乎已走到盡頭。二是面對越來越多的數據，企業用戶只好不斷購買越來越多的NAS存儲，這樣一來，NAS存儲就和以前的DAS和SAN一樣，形成了新的“信息孤島”——多文件系統，多命名空間，多個掛載點。這給企業應用和系統管理帶來了諸多不便。

于是，橫向擴展（Scale-out）的NAS存儲技術,即集群NAS應運而生。采用若干個普通性能的存儲系統來組成“存儲的集群”，可提供按比例增加的存儲資源的性能、容量、可靠性及可用性，突破了單機設備的種種限制，并且具有容量和性能線性擴展的優勢。這就如CPU技術，從不斷地提高頻率轉變為增加內核。

2 集群NAS存儲系統架構

從整體架構看，集群NAS由存儲子系統、NAS集群（機頭）及其互聯網絡組成。存儲子系統可以采用存儲區域網絡SAN、直接連接存儲DAS或者面向對象存儲設備（Object-based Storage Device，OSD）的存儲架構。根據所采用的后端存儲子系統的不同，可以把集群NAS分為3種技術架構，即SAN共享存儲架構、集群文件系統架構和pNFS架構。

2.1 SAN共享存儲架構

這種架構后端存儲采用SAN，所有NAS集群節點通過光纖連接到SAN，共享所有的存儲設備，通常采用SAN并行文件系統管理并輸出POSIX接口到NAS集群。SAN并行文件系統通常需要元數據控制服務器，可以是專用的元數據服務器，也可以采用完全分布的方式分布到SAN客戶端上。NAS集群上安裝SAN并行文件系統客戶端即可實現對SAN共享存儲的并發訪問，然后運行NFS/CIFS服務為客戶端提供服務。這里前端網絡采用以太網，后端存儲連接則采用SAN網絡，如圖1所示。

圖1 基于SAN共享存儲的集群NAS架構

由于采用了高性能的SAN存儲網絡，這種集群NAS架構可提供穩定的高帶寬和IOPS性能，且可通過增加存儲盤陣實現存儲容量的擴展；可通過增加NAS集群節點實現性能的擴展。客戶端可直接連接具體的NAS集群節點，并采用集群管理軟件來實現高可用性；也可采用DNS或LVS實現負載均衡和高可用性，客戶端使用虛擬IP進行連接。采用這種架構的集群NAS典型案例是IBM SONAS。

2.2 集群文件系統架構

這種架構也稱全對稱分布式架構，后端存儲采用DAS，每個存儲服務器直連各自的存儲系統，通常為一組SAS或SATA磁盤，然后由集群文件系統統一管理物理分布的存儲空間，形成一個單一命名空間的文件系統。NAS集群通常與元數據服務集群或存儲節點集群運行在相同的物理節點上，減少物理節點部署的規模。與SAN架構不同，集群文件系統可能會與NAS服務共享TCP/IP網絡，相互之間產生性能影響，導致I/O性能的抖動。但諸如EMC ISILON等集群文件系統存儲節點之間采用InfiniBand網絡互聯，可消除這種影響，保持性能的穩定性，如圖2所示。

圖2 基于集群文件系統的集群NAS架構

在這種架構下，集群NAS的擴展通過增加存儲節點來實現，往往同時擴展存儲空間和性能，很多系統可達到接近線性地擴展。客戶端訪問集群NAS的方式與第一種架構方式相同，負載均衡和可用性也可采用類似的方式。由于服務器和存儲介質都可采用通用標準的廉價設備，在成本上有很大優勢，規模巨大。用這種架構的集群NAS典型案例包括EMC ISILON、華為OceanStor 9000等。

2.3 pNFS架構

這種架構即并行NAS，即pNFS/NFSv 4.1，RFC 5661標準已于2010年1月獲得批準通過。它的后端存儲采用面向對象存儲設備（OSD），支持FC、NFS、OSD多種數據訪問協議，客戶端讀寫數據時直接與OSD設備相互進行，而不像上述兩種架構需要通過NAS集群來進行數據中轉。這里的NAS集群僅作為元數據服務，I/O數據則由OSD處理，實現了元數據與數據的分離。這種架構更像原生的并行文件系統，不僅系統架構上更加簡單，而且性能上得到了極大提升，擴展性非常好，如圖3所示。

圖3 pNFS集群NAS架構

這種架構與上述兩種有著本質的區別，pNFS采用元數據集群解決了傳統NAS的單點故障和性能瓶頸問題，元數據與數據的分離則解決了性能和擴展性問題。然而，畢竟pNFS標準獲得批準時間不長，目前還沒有成熟的商業產品實現，OSD存儲設備發展多年也沒有得到市場廣泛認可和普及，當然很多研究機構或存儲公司都在研發pNFS產品，如BlueArc等。

3 衡量和評價集群NAS存儲的技術指標

存儲系統用戶企業的IT技術人員和技術主管們如何衡量、評價和建立一個高效的集群NAS存儲系統，概括地講，可從是否具備大存儲容量、高性能、高可用性、高安全性、高可擴展性、高可管理性等方面來考察。具體可用表1所列指標來評價。

表1 衡量和評價高效存儲系統的技術指標

續表

4 結 語

本文分析快速增長的信息數據，尤其針對基于文件類型的非結構化數據的極快增速，總結分析目前集群NAS存儲的幾種系統架構及其技術特點，提出衡量和評價高效集群NAS存儲的具體標準。需求無止境，技術發展無止境，這推動著網絡存儲技術的持續發展和升級。作為存儲技術及其產品的相關者，不但要了解其過去和現在，更應持續關注和跟蹤其未來。

第一，分布式—虛擬化存儲。利用虛擬化技術，將分散的存儲資源構成一個虛擬的存儲設備，其高可擴展性、低成本、無接入限制等優點顯而易見。目前的“云存儲”正是分布式—虛擬化存儲技術的進一步拓展和延伸。

第二，軟件定義存儲。軟件定義存儲可以理解成是對現有操作系統和管理軟件的一個結合，能夠完整的實現我們對存儲系統的部署、管理、監控、調整等多個要求，可以給我們的存儲系統帶來靈活、自由和高可用等特點。現在軟件定義的存儲的理解各不相同，但是拋棄硬件設備的限制，采用開放的存儲架構，提供存儲的性能、可管理性，這將是存儲領域發展的大趨勢。

第三，存儲到了40 G時代。在云時代，存儲系統的高速、高效是重要指標，相對于10 Gbps的高端以太網存儲，InfiniBand起步就是40 Gbps，且延遲縮短至1/10甚至1/20。

第四，操作系統內嵌pNFS協議成為標準。集群NAS的核心是底層的并行文件系統或集群文件系統，隨著pNFS協議的日臻完善和普及，在不久的將來，各種NAS存儲系統或許不再需要配置各自的專有核心文件系統。

第五，國產網絡存儲產品應用勢頭強勁。經過多年的應用摸索和技術積累，國內存儲廠商快速發展，紛紛推出自己的集群NAS產品，如華為、海康威視、浪潮以及曙光等。而且伴隨國家信息安全形勢的迫切要求和系統建設任務的浪潮，國內品牌的服務器、數據庫和存儲設備廠商表現出了高度熱情，積極投身產品研發，技術創新與質量迅速提升。

［1］劉愛貴.橫向擴展（Scale-Out）存儲［EB/OL］.(2011-03-25)［2015-04-21］.http://blog.csdn.net/liuaigui/article/details/6278774.

［2］存儲在線.集群NAS的發展及應用［EB/OL］.(2012-11-05)［2015-04-21］.http://www.dostor.com/article/2012-11-05/1548532.shtml.

［3］百度百科.集群存儲［EB/OL］.(2013-12-09)［2015-04-21］.http://baike.baidu.com/link?url=GQxo7yJjqAx7MmIcjrwoWqk8KuCenhwTUI Qs1f7uy_TOARAA9cq04qSsZPaZN7ZC_jKSh6VjUOmtClLN7mzmVa.

［4］劉愛貴.集群NAS技術架構［EB/OL］.(2011-05-15)［2015-04-21］.http://blog.csdn.net/liuaigui/article/details/6422700.

10.3969/j.issn.1673 - 0194.2015.16.125

TP333

A

1673-0194(2015)16-0175-03

2015-06-11