集群存儲技術的分析與研究

文｜張振慶

集群存儲技術的分析與研究

文｜張振慶

前言

隨著科技的發展，傳統視音頻技術和IT存儲技術的融合越來越深入。從早期的DAS直連架構，到后來的NAS架構和SAN架構，乃至后來出現的IP-SAN架構，存儲技術正在不斷向前發展。同時，多年來的視音頻存儲系統集成經驗也讓我們徹底熟悉了各種架構的優勢及劣勢，也積累了一些使用中遇到的問題，諸如：后期擴展復雜，以及擴展后性能不升反降的問題。在這個信息爆炸的時代，大量非結構化數據的引入，正在逐步蠶食我們寶貴的在線存儲資源，如何輕松的實現存儲擴展？如何使視音頻存儲系統滿足業務不斷攀升所帶來的性能需求壓力？如何實現高性價比的海量數據存儲？這是今天我們將要面對的現實問題。集群存儲技術的出現，為我們提供能了一種耳目一新的全新體驗。

集群存儲技術概述

眾所周知，目前正在廣泛使用的視音頻存儲大多采用控制器+JBOD磁盤柜的組合。存儲的擴展多依靠購買全新的磁盤擴展柜以及硬盤來處理，我們稱這種存儲結構為Scale-In結構，即：縱向擴展結構。縱向架構就像傳統的火車一樣，動力機組只有一個到兩個，隨著客運以及貨運車廂的增多，該列車的載客和載物量會有所提升，但是動力及速度將會變低。

隨著技術的不斷進步，借用動車組的設計理念，出現了集群存儲技術，該技術的出現使得傳統NAS架構和SAN架構發生了巨大的變化。集群存儲架構成為Scale-Out架構，即：橫向擴展結構。在這種體系架構下，不再只有兩個或者有限數量的控制器發揮I/O處理作用，集群存儲中的每一個節點既是存儲節點也是I/O節點，數據打散分布存儲在不同的存儲節點中。就像動車組系統一樣，每一節車廂既能載客也能發揮動力作用。采用這種先進的設計思想，使得存儲系統的I/O能力得到了很大的提升，同時，此類系統又可以采用X86服務器架構，因此系統擴容更是成本低廉。此外，Scale-Out存儲架構更具有擴展方便等特點，一旦發現容量或者性能無法滿足業務系統的需要，可以輕松地添加“節點”，實現存儲系統的動態擴展。

提供塊級訪問的Scale-Out集群存儲有以下代表：DELL EQUALLOGIC,IBM XIV，Infortrend ESVA等。從圖1可以看出，集群存儲將多個存儲節點進行池化處理，形成存儲資源池或者資源組，并按照一定的顆粒度將數據分成小型數據塊單位。數據存儲時，控制器接收上層文件系統下發過來的數據并在控制器內將其分成固定顆粒度的小塊，分布存儲在不同的存儲節點內，同時小顆粒數據間按照數據校驗規則（RAID1/RAID3/RAID5）形成有效的數據保護。

提供文件級訪問的Scale-Out集群存儲有以下代表：EMC ISILON, HP IBRIX，OMNEON MediaGrid等。在文件級集群存儲中，又分為如下技術派系 :

第一類：并行文件系統技術路線，如：OMNEON，龍存科技等；此類產品多采用非對稱式單網架構，以PC服務器作為存儲節點，由元數據管理節點掌管數據的存儲地址，客戶端主機根據從元數據管理節點上獲取的地址，將一個文件切片然后分布在各個存儲節點上。該類型的存儲擴展采用Scale-Out的方式，通過擴展PC服務器的節點來擴展整個集群存儲的存儲空間。

圖1 Scale-Out 的IP-SAN

第二類：集群文件系統技術路線，如：ISILON。該類產品對于客戶端的存儲訪問來說具有集群文件系統的特性，即：通過負載均衡算法選擇特定NAS網關進行數據存取；文件抵達某一存儲節點后即刻進行數據分片，分片后的數據將通過后端的低延遲交換矩陣，上傳到其他節點進行分布式存儲。

集群存儲技術特點

前文介紹了集群存儲的技術路線，本節將從性能、安全性、擴展性、訪問方式和安裝方式以及數據傳輸模式來介紹集群存儲的特點。

集群存儲具有高吞吐量、高I/O帶寬的特點

高吞吐量，高I/O帶寬體現在：集群存儲可以將多個不同節點上的磁盤組織成為全局的存儲池或者存儲命名空間，提供更大的存儲容量和聚合I/O帶寬，并可以隨系統規模擴大而擴展。由于集群的每個節點都有I/O 通道，理論上，集群的節點數量增加，處理客戶端響應的節點數量便增加，帶寬性能和I/O性能會隨之增加。性能不足時，可以繼續添加存儲節點，既提高了性能，又增加了存儲容量。個別的集群存儲可以添加專業的帶寬加速器，提高性能。加速器可以看作是不帶存儲職能的集群存儲I/O節點，只負責I/O輸出輸入。

集群存儲具有較強的數據安全性設計

安全性方面，集群存儲具有較好的保護方式。集群系統可以智能檢測集群成員的健康狀況，及時發現和剔除異常節點，當發生故障轉移時，大部分客戶端訪問存儲都不受影響，個別已經連接到故障節點上的客戶端也只會出現短時間的I/O暫停，待存儲故障轉移結束后，這部分站點的I/O操作恢復正常。同時，集群存儲的數據保存可以采用數據復制的保護方式，即每一個數據塊都有1份或多份副本存在于其他存儲節點。當出現壞盤或者節點損壞時，可以通過其他的磁盤或者其他的節點來恢復數據。

Scale-Out的系統架構，存儲擴展方便

可擴展性表現在兩個方面，一個是性能上，一個是容量上。性能之前已經提到了，增加集群存儲的節點既可增加性能也可增加容量。對于客戶端來說集群存儲系統是透明的，客戶端主機所看到的只是一塊大容量的磁盤。當節點A性能不夠或者存儲空間不足時，可以添加新的節點B進入系統。節點B對于節點A來說，是獨立的另一個新節點。但從客戶端來看，對于整套系統來說，僅僅是性能和存儲容量增大了?？蛻舳艘琅f訪問原來的集群系統，并不知道并行文件系統內部在硬件層面上發生了什么?；赟cale-Out架構的存儲系統擴展，不僅保護用戶的投資，也增加了系統的靈活性。此外，對于部分產品，其將所有的存儲網格組織成大容量存儲池（即：全局命名空間），存儲池可以分為高性能節點和低性能節點，為不同的需求提供服務。而當有一個節點出現問題，被踢出集群時，數據保護機制可以確保數據的完整性，并不影響客戶端使用。

部分NAS集群存儲可以支持標準傳輸協議也可支持私有傳輸協議

NAS集群存儲系統的訪問方式分為兩種方式：

一種為安裝專用客戶端程序，采用私有協議進行數據的存儲訪問。采用該訪問方式的集群存儲系統可以通過群集IP地址映射全局命名空間。存儲空間在客戶端操作系統中，可以表現為一塊本地磁盤驅動器。

另一種為通過CIFS協議或NFS協議等標準的文件共享協議。在使用共享協議時，客戶端主機采用群集IP地址掛載存儲空間?？蛻舳艘跃W絡磁盤驅動器的方式訪問文件系統。

部分NAS集群存儲既有文件級的訪問方式，也有數據塊級的訪問方式

NAS集群存儲數據輸出主要分為兩種方式，一種為文件級傳輸，另一種為數據塊級傳輸。采用文件級傳輸時，在NAS集群存儲中，有類似NAS網關的設備存在，所有的客戶端不需要安裝任何軟件或者驅動，通過標準的以太網絡共享協議來訪問文件系統，客戶端主機將文件交付于NAS網關，再由NAS網關上安裝的集群文件系統存儲到磁盤中。而采用數據塊傳輸時，其類似SAN存儲網絡，客戶端需要安裝客戶端程序，數據在以太網絡中以并行文件系統的私有協議傳輸，不以文件形式，而以數據塊的形式直接由客戶端存儲到存儲網格的磁盤驅動器內。

集群存儲技術在視音頻系統中的應用

視音頻領域對于存儲的使用更關注高速數據遷移帶寬以及穩定的視頻流讀寫能力，集群存儲系統的并行處理機制使得其較傳統存儲更具性能優勢。而且隨著高清時代的到來，視音頻文件的體積越來越大，1小時百兆碼率節目的體積在50GB~100GB左右。存儲池初期設計過小，則很快會被寫滿，而存儲池初期設計過大，則將面臨著存儲介質貶值的問題，不易于保護投資。采用集群存儲架構后，初期的存儲池設計不用十分巨大，日后可以隨時進行方便地擴展工作。

目前，在視音頻應用的業務場景下，考慮到技術的可行性和集成的性價比，播出二級近線存儲和視頻收錄網，比較適宜集成NAS集群存儲。而考慮到低延遲高帶寬的應用需求，制作網和媒資網則更適宜使用SAN集群存儲。

集群存儲在播出系統中的應用

對于播出系統的二級近線存儲而言，其承擔著播出系統的節目備播存儲任務。在節目播出的前三天或者一周內，播控系統的備播模塊會利用ESB+EMB的互聯平臺，把制作域或媒資域的節目遷移到本域的二級近線存儲。此后，播控系統的遷移工作站根據需要將二級近線存儲體內的節目上傳到播出服務器的本地硬盤內，以便視頻服務器可以實現本地的安全播出。考慮到播出系統對安全生產的苛刻要求，二級近線存儲系統的設計應本著架構簡單和數據安全的原則。首先，應避免二級存儲罷工導致的節目上傳服務器失??；同時，應避免二級存儲上的數據丟失影響節目播出；此外，一旦二級近線存儲發生局部損壞，應具有較快的系統自愈能力，可以在較快的時間內完成不完整數據塊的重建與校驗。由于近線存儲僅僅是數據的遷入遷出，和視音頻的關聯較弱，故在性能上對存儲的要求不是非常苛刻。NAS集群存儲可以很好的滿足播出系統對二級存儲的要求，而且考慮到未來系統的擴展能力，采用Scale-Out架構的集群存儲可以為未來的系統擴展預留富有彈性的擴展能力(見圖2)。

集群存儲在收錄系統中的應用

對于收錄系統而言，其在線存儲區需要具有較大的存儲空間，以配合長時間的并發收錄任務。目前高清收錄一般采用IBP 50Mb/s或I-FRAME 100Mb/s，如果采用百兆碼率進行收錄，單進程每小時的節目存儲量在45GB左右，如果收錄站點數量較多，其節目存儲量相當龐大。故采用NAS集群存儲可以解決收錄系統對同一命名空間的大容量需求，實際的業務網絡拓撲如圖3所示。此外，雖然采集應用屬于實時性I/O操作，但單機任務并發少，一般都是單路采集或者雙路采集，故收錄網整體帶寬需求不高，NAS集群存儲可以勝任收錄網的業務。

圖2 集群存儲在播出系統中的應用

圖3 集群存儲在收錄系統中的應用

集群存儲在制作系統中的應用

對于制作系統而言，目前大部分視頻媒體機構都在采用非線性編輯制作網絡。在非編網內，多用戶可以協同工作，高效地完成節目制作和編輯。該業務系統需要一個全局存儲空間，多臺非編主機需要同時訪問該存儲空間內的數據。同時，在節目制作過程中，要有足夠的帶寬保證數據的傳輸。例如，使用PAL制式的視頻，一個視頻流每秒包含25幀數據片元素，那么每個數據片元素最低限度的傳輸時間是40ms。再配合上工作站點的編解碼時間開銷，要達到多個工作站點并行工作，對存儲網絡的延遲要求應該保證在20ms左右。此外，節目制作系統，特別是精編制作網，往往需要同時處理4層到5層的視頻編輯和特技疊加，單站點多層實時編輯的需求進一步加大了節目制作系統對高質量大帶寬的要求。采用SAN集群存儲可以很好的滿足制作系統對高帶寬和低延遲的雙重需求。同時Scale Out的SAN架構也可以從容應對制作系統業務擴展的要求，擴充存儲容量的同時還擴展了存儲輸出帶寬。在方案中，集群存儲映射給所有主機邏輯卷，元數據服務器將該邏輯卷格式化成SAN共享文件系統，工作站主機進行SAN文件系統的映射。采集工作站首先將文件采集到共享文件系統，之后共享文件系統將數據最終寫入邏輯卷。文件系統向低層的邏輯卷寫入數據時，由集群存儲進行控制將數據進行分片后，經過校驗計算，再分布存儲到其他存儲節點。SAN 集群存儲分為IP-SAN和FC-SAN，前者的代表性產品是DELL EQUALLOGIC ,后者的代表是IBM XIV和Infortrend ESVA。SAN集群存儲為數據塊存儲，在視音頻系統中仍要配合SAN共享文件系統軟件來使用。

集群存儲在媒資系統中的應用

媒體資產管理系統主要用于實現節目的數字化采集、編目索引、歸檔存儲以及檢索回調等功能。在媒資系統中通常采用雙碼流技術進行視音頻資料的處理。高碼流用于歸檔保存，低碼流用于編目檢索。對于高碼流視音頻資料，媒資系統采用分級存儲技術進行資料的長久保存。考慮到節目歸檔需要一定的時間，故在線存儲區要有一定的容量，且日后該空間會隨媒資系統業務壓力的增加而擴展。同時為了縮小節目歸檔的時間窗口，在線存儲區的數據遷移帶寬有很高的要求，目前單臺磁帶機的速度已達120MB~140MB/s，故如果實現較大面積的節目歸檔，在線存儲區對遷移帶寬要求是很高的?；赟caleOut的SAN集群光纖存儲將是很好的選擇，利用高速的光纖通道，SAN集群存儲可以提供更小的數據歸檔和還原時間窗口，大大提升媒資系統的業務運行效率。在實際運行中，SAN集群存儲需要配合SAN共享文件系統軟件來使用。采集工作站將基帶信號進行數字化的采集，采集到SAN集群存儲中，歸檔遷移服務器根據計劃任務將視頻資料由SAN集群存儲中遷移到數據流磁帶庫中，長期保存。目前市面上的SAN集群存儲均支持企業級SATA硬盤，數據存儲的成本更低，所以高碼流和低碼流素材都可以存儲在SAN集群存儲內。

結束語

集群存儲技術作為新興的先進技術，除了具有使用簡單，擴展靈活和安全可靠的優勢外，同時也面臨著負載均衡算法有待優化等問題。因此，在考慮選擇新型集群存儲之前，需要分析特定廣電業務系統的特點，以此來確定該業務系統適宜集成哪種類型的集群存儲。目前集群存儲的造價相對較高，但隨著信息技術的發展，集群存儲將會逐步走進大部分使用者IT環境中。

工信部電子情報所聲像研究中心）