集群NAS存儲技術(shù)及在石油勘探高性能計算中的應(yīng)用

汪生珠 何慶兵 歐陽欣

集群NAS存儲技術(shù)及在石油勘探高性能計算中的應(yīng)用

汪生珠 何慶兵 歐陽欣

當前或今后，信息數(shù)據(jù)呈現(xiàn)爆炸式增長趨勢，存儲需求急劇膨脹，集群NAS磁盤存儲技術(shù)及其產(chǎn)品應(yīng)運而生。文章較為系統(tǒng)地闡述了傳統(tǒng)NAS網(wǎng)絡(luò)存儲技術(shù)的優(yōu)點及局限性，總結(jié)分析了目前集群NAS存儲兩種典型系統(tǒng)架構(gòu)及其技術(shù)特點，對實際使用的集群NAS存儲案例進行了剖析論述，并對網(wǎng)絡(luò)存儲技術(shù)的熱點及其未來進行了展望。

信息呈現(xiàn)爆炸式增長趨勢，存儲需求急劇膨脹，文件大小和數(shù)據(jù)規(guī)模從TB級、PB級邁向EB級、ZB級已成現(xiàn)實。據(jù)IDC的統(tǒng)計，在快速增長的信息數(shù)據(jù)當中，基于文件類型的非結(jié)構(gòu)化數(shù)據(jù)的增速極快，全球存儲市場的總出貨量中將有80%的容量被文件級數(shù)據(jù)所覆蓋。由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。

在石油天然氣能源開采行業(yè)，隨著地震勘探技術(shù)的進步和勘探成功率要求的提高，地震勘探的數(shù)據(jù)采集道數(shù)越來越多，隨之帶來地震采集數(shù)據(jù)的海量增加。其次，地震資料處理技術(shù)也在不斷發(fā)展和提高，處理的環(huán)節(jié)越來越復(fù)雜，隨之產(chǎn)生了大量地中間和成果數(shù)據(jù)。如高密度空間采集、三維連片資料處理、多波地震勘探、海洋地震勘探等，與4年前比，同樣面積的工區(qū)，由于采樣間隔和道距越來越小、覆蓋次數(shù)越來越高，地震數(shù)據(jù)量增加了4～6倍。這些因素都對存儲提出了更高的需求。

為此，集群存儲、并行存儲技術(shù)應(yīng)允而生，其性能可隨著存儲容量的增加而線性增加，是解決海量非結(jié)構(gòu)化數(shù)據(jù)存儲的理想方案。

NAS存儲技術(shù)特點分析

NAS（Network-Attached Storage，網(wǎng)絡(luò)接入存儲）采用TCP/IP網(wǎng)絡(luò)技術(shù)，通過網(wǎng)絡(luò)交換機連接存儲系統(tǒng)和服務(wù)器主機。隨著IP網(wǎng)絡(luò)技術(shù)的發(fā)展，NAS存儲技術(shù)發(fā)生了質(zhì)的飛躍。萬兆以太網(wǎng)及InfiniBand網(wǎng)絡(luò)的出現(xiàn)和投入商用，存儲網(wǎng)絡(luò)帶寬大大提高了NAS存儲的性能。另外，由于NAS存儲采用TCP/IP網(wǎng)絡(luò)進行數(shù)據(jù)交換，TCP/IP是IT業(yè)界的標準協(xié)議，不同廠商的產(chǎn)品（服務(wù)器、交換機、NAS存儲）只要滿足協(xié)議標準就能夠?qū)崿F(xiàn)互聯(lián)互通，無兼容性的問題。

然而，傳統(tǒng)NAS存儲受到其物理組成（如控制器性能、總線性能、磁盤驅(qū)動器的數(shù)量、所連接服務(wù)器的數(shù)量、內(nèi)存大小以及NAS頭的性能等）的限制，以及功能上的局限（如支持文件系統(tǒng)的容量、元數(shù)據(jù)和數(shù)據(jù)處理通路的耦合、快照或復(fù)制的數(shù)量等），造成存儲系統(tǒng)瓶頸 。為解決這種單個NAS系統(tǒng)的性能局限性和整個數(shù)據(jù)帶寬瓶頸，一是采用硬件更加強大的單個存儲系統(tǒng)，即所謂不斷向上擴展（Scale-up，也稱縱向擴展）的模式。然而，由于業(yè)務(wù)和數(shù)據(jù)的大量增加，盡管單臺NAS的最高容量已經(jīng)達到了PB級，但仍難以滿足要求，這種不斷向上擴展的模式幾乎已走到盡頭。二是面對越來越多的數(shù)據(jù)，企業(yè)用戶只好不斷購買越來越多的NAS存儲，這樣一來，NAS存儲就像以前的DAS和SAN一樣 ，形成了新的“數(shù)據(jù)孤島”——多文件系統(tǒng)、多命名空間、多個掛載點。這給企業(yè)應(yīng)用和系統(tǒng)管理都帶來了諸多不便。

于是，橫向擴展（Scale-out）的NAS存儲技術(shù)，即集群NAS應(yīng)允而生。采用若干個普通性能的存儲系統(tǒng)來組成“存儲的集群”，可提供按比例增加存儲資源的性能、容量、可靠性及可用性，突破了單機設(shè)備的各種限制，并且具有容量和性能線性擴展的優(yōu)勢。這就猶如CPU技術(shù)，從不斷提高頻率轉(zhuǎn)變?yōu)樵黾觾?nèi)核。

集群NAS存儲的實現(xiàn)方式

從整體硬件架構(gòu)及采用的核心文件系統(tǒng)看，比較成熟和典型的實現(xiàn)方式有兩種：即SAN共享存儲架構(gòu)和全對稱集群系統(tǒng)架構(gòu)。

SAN共享存儲架構(gòu)

這種架構(gòu)的核心是采用SAN（Storage Area Network，存儲區(qū)域網(wǎng)絡(luò)）模式，如圖1所示。后端是由幾個大的專用磁盤箱及其控制器部件構(gòu)成存儲池，前端是由幾個通用的機架式x86服務(wù)器節(jié)點構(gòu)成集群交互（接口）節(jié)點，兩者（后端和前端）通過FC存儲交換機相連接。軟件上采用SAN并行文件系統(tǒng)（如GPFS、StorNext等）進行管理。采用這種架構(gòu)的集群NAS典型案例如IBM SONAS、QUANTUM IPS。

由于采用了高性能的SAN存儲網(wǎng)絡(luò)，這種集群NAS架構(gòu)可以提供穩(wěn)定的高帶寬和I/O性能，且可通過增加磁盤箱實現(xiàn)存儲容量的擴展；可通過增加交互節(jié)點實現(xiàn)性能的擴展。

全對稱集群系統(tǒng)架構(gòu)

這種架構(gòu)也稱“全對稱分布式架構(gòu)”，如圖2所示。用這種架構(gòu)的集群NAS典型案例包括EMC Isilon、華為OceanStor 9000等。

圖1 SAN共享存儲架構(gòu)

圖2 全對稱集群系統(tǒng)架構(gòu)

這種架構(gòu)看上去很簡潔，集群中的每個硬件節(jié)點（即存儲節(jié)點）就好像一臺2U或4U的機架式服務(wù)器，上面插了幾十塊硬盤，每個節(jié)點都有獨立的CPU、內(nèi)存、網(wǎng)絡(luò)接口等，集群中每個節(jié)點的配置完全是相同的。節(jié)點之間通過萬兆或IB（InfiniBand）網(wǎng)絡(luò)進行后端互聯(lián)，每個節(jié)點也有供用戶業(yè)務(wù)訪問的萬兆或IB網(wǎng)絡(luò)接口。由安裝在每個節(jié)點上的集群文件系統(tǒng)軟件（如Isilon的OneFS、華為的WushanFS等）統(tǒng)一管理物理分布的存儲空間而形成一個單一命名空間的供用戶使用的文件系統(tǒng)。為了提高數(shù)據(jù)檢索性能，元數(shù)據(jù)通常放在性能較高的SSD固態(tài)磁盤上。

在這種架構(gòu)下，集群NAS在性能和容量兩方面的擴展都是通過增加存儲節(jié)點來實現(xiàn)，很多系統(tǒng)可以達到接近線性地擴展。由于服務(wù)器和存儲介質(zhì)都可采用通用標準的廉價設(shè)備，在成本上有很大優(yōu)勢，規(guī)模巨大。

集群NAS存儲應(yīng)用

在上文中提到IBM SONAS存儲陣列是屬于“SAN共享存儲架構(gòu)”的集群NAS的典型代表，長慶油田研究院于2012年引進并投入使用了一套IBM SONAS存儲系統(tǒng)。下面就IBM SONAS的概況、運行機制及使用情況進行介紹和闡述。

SONAS系統(tǒng)概述

SONAS，即為 Scale Out NAS的縮寫。不難看出IBM命名的用意，即SONAS屬于橫向高可擴展的網(wǎng)絡(luò)連接存儲。它是以 IBM GPFS 并行文件系統(tǒng)為核心的橫向擴展文件型存儲解決方案，它將多個 SAN 存儲整合到同一命名空間，從而建構(gòu)一個可高速并行共享訪問的存儲系統(tǒng)。它具備橫向動態(tài)擴展存儲容量、橫向動態(tài)擴展 I/O 性能和分層存儲管理能力。SONAS 提供 CIFS、NFS、SCP、FTP 和 HTTP 等多種網(wǎng)絡(luò)訪問接口，最大可管理 10億個文件，提供 14.4PB 磁盤空間（假如單盤采用2TB），可在數(shù)十個物理存儲陣列間建立起統(tǒng)一共享的存儲命名空間。SONAS 擁有豐富的信息管理功能，包括快照、復(fù)制，與自含 TSM 數(shù)據(jù)備份接口用于數(shù)據(jù)備份保護，與 IBM 磁帶庫系統(tǒng)配合可將歷史信息自動遷移到磁帶庫等。

整體上講，SONAS硬件由管理節(jié)點、接口節(jié)點、存儲節(jié)點、控制器及磁盤箱、擴展磁盤箱及連接這幾部分的網(wǎng)絡(luò)構(gòu)成，軟件主要是采用GPFS共享文件系統(tǒng)。圖3即為SONAS的體系架構(gòu)。

管理節(jié)點提供整個SONAS的配置管理。接口節(jié)點對外提供了基于IP的主機客戶端連接。存儲節(jié)點是連接SONAS控制器箱的網(wǎng)關(guān)。管理節(jié)點、接口節(jié)點、存儲節(jié)點是通過高性能、低延遲的InfiniBand網(wǎng)絡(luò)互聯(lián)。管理節(jié)點、接口節(jié)點、存儲節(jié)點都可以采用通用的x86架構(gòu)系列的機架式服務(wù)器（如IBM x3650）來承擔。為了實現(xiàn)系統(tǒng)性能和容量的高可擴展性，接口節(jié)點、存儲節(jié)點、控制器及磁盤箱、擴展磁盤箱都是可以分別進行擴展的。交互節(jié)點、存儲節(jié)點可以分別達到30個之多。

以上硬件部件再配置上GPFS共享文件系統(tǒng)，就構(gòu)成了一個基于SAN的共享存儲架構(gòu)系統(tǒng)。

SONAS應(yīng)用案例

這套系統(tǒng)的裸容量為240TB（含120塊2TB的NL SAS盤），系統(tǒng)主要包括1個管理節(jié)點、4個接口節(jié)點、2個存儲節(jié)點、1個雙控制器箱（60個磁盤位）、1個擴展磁盤箱（60個磁盤位）。圖4展示了本案例的硬件構(gòu)成部署情況。

運行及應(yīng)用效果分析

系統(tǒng)搭建完成后，對存儲系統(tǒng)的讀寫性能進行了實際測試。下面簡要介紹測試的環(huán)境和測試結(jié)果。

（1）測試的硬件環(huán)境

存儲　120塊NL SAS硬盤，2TB，7200RPM網(wǎng)絡(luò)　4個接口節(jié)點，每個節(jié)點6塊千兆以太網(wǎng)卡內(nèi)存　4個接口節(jié)點，每個節(jié)點32GB內(nèi)存測試機配置SoNAS配置48個HP BL460C G7服務(wù)器，每片2個千兆以太網(wǎng)口，28GB內(nèi)存Red Hat Enterprise Linux Server release 5.5內(nèi)核2.6.18-194.el5

（2）測試場景設(shè)計

通過pssh命令同時在32個刀片節(jié)點發(fā)起dd命令來測試讀寫性能。共設(shè)計了三個測試場景。

a.寫性能測試

該測試場景考察寫性能，在32個刀片節(jié)點同時發(fā)起dd操作，每個節(jié)點寫入的文件名各不相同：

節(jié)點名　n1　n2　n3　…　n30　n31　n32寫入文件名　f1　f2　f3　…　f30　f31　f32

b.互斥讀性能測試

該測試場景考察讀性能，在32個刀片節(jié)點同時發(fā)起dd操作，每個節(jié)點讀取的文件各不相同。

節(jié)點名　n1　n2　n3　…　n30　n31　n32讀取文件名　f2　f3　f4　…　f31　f32　f1

c.交叉讀性能測試

該測試場景考察讀性能，在32個刀片節(jié)點同時發(fā)起dd操作，每個節(jié)點讀取的文件有交叉，用于考察interface node上cache命中率較高時的服務(wù)能力。

節(jié)點名　n1　n2　n3　…　n30　n31　n32讀取文件名 f3，f4 f4，f5　f5，f6　…　f32，f1　f1，f2　f2，f3

（3）測試結(jié)果

a.平均聚合帶寬

我們在N個節(jié)點，共發(fā)起N個線程進行讀寫。每個線程的數(shù)據(jù)量記為C，完成時間記作t1，t2，…tN。按以下兩種方式統(tǒng)計并發(fā)帶寬：

結(jié)果如下：

寫性能　互斥讀性能bandwidth1　869.35　1401.05 bandwidth2　912.75　1400.89

b.峰值聚合帶寬

由于各讀寫線程難以完全同步，聚合帶寬從時間上是一個逐漸降低的過程。為了衡量SoNAS的I/O能力，我們在運行中期進行實時監(jiān)控，記錄峰值聚合帶寬，數(shù)值如下：

寫性能　互斥讀性能　并發(fā)讀性能聚合帶寬（MB/s）　998.42　1556.48　2539.52

圖3 SONAS 體系架構(gòu)

圖4 SONAS案例硬件部署

這套系統(tǒng)是用于油田石油天然氣勘探地震資料處理高性能運算，通過以上測試，結(jié)果完全滿足當初設(shè)計要求。近幾年的實際應(yīng)用，目前存儲數(shù)據(jù)量已達157TB，占總可用容量170TB的92%，性能上也完全滿足本單位的科研生產(chǎn)需要。

SoNAS集群存儲系統(tǒng)投入使用后，多項處理作業(yè)同時運行時，顯著地提高工作效率高達6倍，使用戶的應(yīng)用程序和作業(yè)性能達到最佳化。這套解決方案使計算集群中的每個結(jié)點都能夠直接存取存儲器，允許各個結(jié)點能以并行方式同時處理I/O操作。系統(tǒng)性能的提升顯著提高了地震資料處理解釋業(yè)務(wù)人員的生產(chǎn)效率。

SoNAS集群存儲系統(tǒng)易于管理和使用。只要IP網(wǎng)絡(luò)互聯(lián)互通，就能夠很方便的訪問這個存儲系統(tǒng)，僅在要訪問的客戶機上配置DNS服務(wù)器IP地址即可，而無需額外安裝配置其它任何軟件。并且單個全局名字空間特性顯著地簡化了存儲管理，提高了工作效率。

總結(jié)與展望

概括地講，集群NAS存儲具備大存儲容量、高性能、高可用性、高安全性、高可擴展性、高可管理性等方面的諸多優(yōu)勢。對于最終用戶的關(guān)鍵業(yè)務(wù)，集群NAS更是極大地增強了設(shè)備的容錯性。對于SAN共享存儲架構(gòu)的集群NAS，它允許多個用戶（業(yè)務(wù)）接口節(jié)點互為冗余，多個接口節(jié)點中只要有一個正常工作，就能保證用戶業(yè)務(wù)的持續(xù)不中斷；全對稱分布式的集群NAS更是大大提高了系統(tǒng)整體的容錯性，由于它每個存儲節(jié)點都是相同的配置，允許一個或某幾個存儲節(jié)點整體冗余。

從技術(shù)的發(fā)展趨勢看，特別是系統(tǒng)軟件的不斷完善和發(fā)展，操作系統(tǒng)內(nèi)嵌pNFS協(xié)議成為標準。集群NAS的核心是底層的并行文件系統(tǒng)或集群文件系統(tǒng)，隨著pNFS協(xié)議的日臻完善和普及，在不遠的將來，各種NAS存儲系統(tǒng)或許不再需要配置各自的專有核心文件系統(tǒng)。

從產(chǎn)品市場研發(fā)的形勢看，國產(chǎn)網(wǎng)絡(luò)存儲產(chǎn)品應(yīng)用勢頭強勁。經(jīng)過多年的應(yīng)用摸索和技術(shù)積累，國內(nèi)存儲廠商快速發(fā)展，紛紛推出自己的集群NAS產(chǎn)品，如華為、海康威視、浪潮以及曙光等。而且伴隨國家信息安全形勢的迫切要求和系統(tǒng)建設(shè)任務(wù)的浪潮，國內(nèi)品牌的服務(wù)器、數(shù)據(jù)庫和存儲設(shè)備廠商表現(xiàn)出了高度熱情，積極投身產(chǎn)品研發(fā)，技術(shù)創(chuàng)新與質(zhì)量迅速提升。

DOI：10.3969/j.issn.1001-8972.2016.06.007