統一存儲關鍵指標研究及在網絡制播中的應用

徐 旭

(建湖廣播電視臺 總工室，江蘇 建湖 224700)

統一存儲關鍵指標研究及在網絡制播中的應用

徐 旭

(建湖廣播電視臺 總工室，江蘇 建湖 224700)

針對網絡制播存儲系統的優化與整合，結合目前存儲技術的快速發展，在綜合考慮數據訪問需求的基礎上，系統研究了統一存儲的關鍵指標。基于此研究，可解決系統架構設計和設備選型困難的問題，確保統一存儲在網絡制播中的高可用、高性能、高利用率及可擴展，最終實現集中管理下存儲資源的共享與高效利用。

統一存儲；網絡制播；指標；應用

網絡制播之所以能夠發揮其資源共享、并行工作的作用，關鍵在于網絡架構，而存儲系統則是其中的關鍵部分。存儲系統在不同的時期滿足不同的需求，并隨著IT技術的不斷發展產生新的變化。當前隨著各級電視臺全臺網的建設及高清制播和新媒體業務的開展，網絡架構日趨復雜，業務類型日益多元化，非結構化數據迅速增長，單一分散的SAN或NAS系統已不能滿足多樣化的數據訪問需求，將其分步有序地遷移至集中的、按需分配的統一存儲[1]中實現存儲系統的優化、整合已成為一種趨勢。

1 統一存儲關鍵指標研究

統一存儲通過對FC，ISCSI，NFS，CIFS，HTTP，FTP等協議的支持集中實現塊級別、文件級別的數據訪問，其有兩種實現方式：一種是通過在NAS服務器上集成FC、ISCSI等協議構建統一存儲；另一種則是通過在FC磁盤陣列的基礎上增加NAS控制器來構建統一存儲。相比而言，第二種方式性能更好也更為普遍。統一存儲有可用性、性能、利用率、擴展性[2]4個關鍵指標，通過對這4個指標的研究可為系統架構設計和設備選型提供依據。

1.1 可用性指標研究

1.1.1 RAID+熱備用

目前普遍應用的RAID技術有RAID5和RAID6，兩者相比各有利弊：RAID5只能提供應對單盤失效的數據保護，需借助快速重構技術降低雙盤失效概率；RAID6通過雙奇偶校驗提供應對雙盤失效的數據保護，但開銷及寫代價均高于RAID5。熱備用有自動和用戶發起兩種配置方式：對于自動熱備用，當某個磁盤的可修復錯誤率超過一個預定的閾值時，磁盤陣列會自動將數據從即將損壞的磁盤復制到熱備用磁盤中；對于用戶發起的熱備用，管理員能夠控制整個重構流程，具有較大的靈活性，但在熱備用磁盤不可用的情況下系統很容易受到雙盤失效的影響。

1.1.2 控制器和通路冗余

主流的雙控冗余架構[3]有三種：磁盤及控制器雙冗余的架構可用性最高，可實現關鍵數據的鏡像備份，但開銷最高；磁盤共享背板一體的雙控冗余架構由于磁盤及背板均存在單點故障風險，可用性最低；磁盤共享背板分離的雙控冗余架構以較低的開銷實現較高的可用性，性價比最高。統一存儲的通路涉及前端通路與后端通路。后端通路主要采用雙FC-LOOP實現磁盤與控制器的冗余連接，前端通路略有不同，FC磁盤陣列要求提供MultiPath FC通路冗余功能，而NAS采用的則是IP通路的聚合或容錯。

1.2 性能指標研究

1.2.1 LUN分條

在控制器性能、緩存大小固定的情況下，統一存儲性能取決于磁盤類型和并行讀寫通道數，而分條通過將數據分布在多塊磁盤可實現磁盤的并行讀寫。傳統分條是在物理磁盤上實現的，由同一RAID集內同質磁盤上相同位置的條帶構成，而LUN分條則能夠讓單個LUN上的數據分布到跨RAID集的異質磁盤上，因參與分條的磁盤數大大增加，避免了磁盤熱點，使得磁盤性能得到了大幅提升。

1.2.2 自動存儲分層

存儲分層是在不同類型(層)存儲之間建立層級的技術，通過將大量不經常活動的數據遷移至低速、低成本的磁盤系統上，可直接提升存儲系統的性能并降低存儲的采購成本。自動存儲分層分為陣列間分層和陣列內分層。

對于陣列間分層，數據在主存儲、二級存儲甚至多級存儲間分層，通常用于歸檔。

陣列內分層有三種分層方式：LUN分層、子LUN分層及緩存分層。對于LUN分層，數據可在位于高速磁盤區的LUN和低速磁盤區的LUN之間流動，此方式的不足在于LUN粒度太粗，包括活躍和不活躍的數據都進行遷移；對于子LUN分層，一個LUN被打散成更小的片段，分層在這些片段級進行，在更好的粒度下遷移數據可以大大提高存儲自動分層的價值定位。對于緩存分層，通過配置固態硬盤充當大容量的二級緩存，分層在DRAM(主緩存)和固態硬盤(二級緩存)之間進行，實現了更高的存儲性能。

1.3 利用率指標研究

1.3.1 自動精簡配給

自動精簡配給是讓一個LUN的容量大于實際物理容量的技術。傳統配給基于預期的存儲需求一次性分配容量，很容易導致容量的過度配給，從而降低存儲利用率。自動精簡配給則根據實際所需少量多次的分配容量，當容量不夠時，系統會自動從后端存儲池補充一部分容量。自動精簡配給顯著減少已分配但未使用的存儲空間，在不降低性能的情況下簡化了存儲管理并大幅提高存儲利用率。

1.3.2 塊級存儲虛擬化

塊級存儲虛擬化是將塊存儲設備進行集合，實現獨立于底層物理存儲的虛擬卷配給。通過對物理存儲設備做抽象化處理，創建一個容納不同存儲設備資源的存儲池。虛擬卷從存儲池中創建，通過虛擬卷與LUN的透明映射，主機以訪問物理卷的方式訪問虛擬卷。塊級存儲虛擬化通過支持在線擴容及異構接管實現了存儲的高效利用：在線擴容解決了系統對于存儲容量在線擴展的需求；異構接管則實現了磁盤陣列之間存儲資源的聯合。

1.4 擴展性指標研究

統一存儲的擴展性主要體現在功能、性能的擴展兩方面。功能的擴展目前主要體現為對基于對象的存儲[4]和SSD盤的支持。基于對象的存儲以內容為依據，以對象的形式存儲數據，其核心是將數據通路和控制通路分離，基于對象存儲設備(OSD)構建存儲系統。對象存儲設備通常采用刀片式結構，具有一定的智能，能夠自動管理其上的數據分布，通過分布元數據和并發數據訪問實現高性能存儲。SSD盤基于半導體的固態存儲來存取數據，不含移動部件，因此具有極高的磁盤性能。性能的擴展體現在控制器、緩存的橫向擴展上，具體表現為可擴展的控制器數量和緩存大小。

2 統一存儲在網絡制播中的應用

網絡制播制作、播出、收錄、媒資及新媒體等業務均存在大量結構化和非結構化數據[5]，根據業務類型的不同，數據訪問需求也不盡相同，應用統一存儲可有效結合SAN系統高性能、高可靠與NAS系統低成本、易共享的特性，為不同類型的客戶端提供不同服務質量的數據訪問服務，其網絡架構如圖1所示。

圖1 網絡制播統一存儲架構

統一存儲系統主要包括以下部件：存儲、控制器、NAS機頭，并可根據需求添加支持對象存儲的OSD節點。存儲由高性能FC磁盤陣列組成，它決定了系統的總體存儲容量和讀寫帶寬，通過支持RAID+熱備用、Snapshot、Mirror等數據保護技術可提高系統可用性；通過混合使用SAS盤、NL-SAS盤、SATA盤及SSD盤可實現數據的自動存儲分層；通過應用自動精簡配給和塊級存儲虛擬化可提高存儲利用率。控制器為系統提供塊級別的數據訪問，并負責后端FC磁盤陣列的池化管理。NAS機頭是專用的文件服務器，通過塊協議與文件協議的相互轉換為系統提供文件級別的數據訪問。通過控制器、NAS機頭的冗余配置及通路的冗余連接，可實現負載均衡和故障切換，確保客戶端對存儲的無間斷數據訪問。

在統一存儲架構下，客戶端既可以通過FC/ISCSI協議實現塊級別數據訪問，又可以通過NFS/CIFS協議實現文件級讀寫，還可以通過FTP協議進行文件訪問[6]。高清非編站點、節目復雜包裝站點、數據遷移服務器及一些關鍵業務服務器對傳輸帶寬有很高要求，可采用雙網結構對存儲訪問，數據在FC通路上傳輸；對于普通的非線性編輯站點、轉碼服務器、打包合成服務器等可以通過ISCSI協議在IP通路上對存儲進行高效訪問；對于簡單編輯工作站、節目收錄服務器、低碼率編輯工作站等帶寬要求更低的站點，可以通過NFS/CIFS協議實現文件級數據共享；對于系統間需要松散耦合的情況，FTP方式的文件交換則是兼顧效率和安全的最佳選擇。

網絡制播應用統一存儲的優勢在于通過對分散的存儲系統進行整合并實施統一管理，可確保系統的高可用、高性能、高安全、可擴展，最終實現資源的高效利用和整體開銷的降低。由于采用SAN和NAS混用模式，針對多種不同級別業務對統一存儲的計算資源、緩存資源、并發資源以及硬盤資源進行分配和調節至關重要，應為高級別的業務提供預留的資源，避免資源競爭而導致服務質量下降或服務失效。隨著萬兆以太網(10 Gbit/s Ethernet，10GE)和以太網光纖通道(FCoE)[7]技術的成熟和普及，可以將FC+以太雙網進一步合并為10GE ISCSI或更高性能的FCOE單網，以實現真正意義上的統一存儲。

3 總結

統一存儲的出現已有不短的時間，但在網絡制播中的應用卻是全新的課題。本文從統一存儲的概念出發，通過對其可用性、性能、利用率、擴展性等關鍵指標的研究，為系統構建建立一套適用的參考體系。網絡制播應用統一存儲，可在單一架構中充分融合FC存儲技術和IP存儲技術[8]，有效解決多業務需求帶來的管理分散、共享困難問題，大大提高存儲資源利用率和整體性價比，這也將是未來電視臺網絡系統規劃建設的一個重要方向。

[1] SOMASUNDARAM G,SHRIVASTAVA A.信息存儲與管理[M].北京:人民郵電出版社,2013.

[2] 王紀奎.存儲從入門到精通[M].北京:清華大學出版社,2009.

[3] 張冬.網絡存儲系統原理精解與最佳實踐[M].北京:清華大學出版社,2008.

[4] 郭玉東,尹青.基于對象的網絡存儲[M].北京:電子工業出版社,2007.

[5] 楊傳輝.大規模分布式存儲系統:原理解析與架構實戰[M].北京:機械工業出版社,2013.

[6] 徐威.數字電視網絡制播技術[M].北京:中國廣播電視出版社,2008.

[7] 周宏飛.電視臺網絡化制播業務中的存儲選擇[J].現代電視技術,2012,(S1):64-67.

[8] 韓德志,余順爭,謝長生.融合NAS和SAN的存儲網絡設計與實現[J].電子學報,2006,(11):2012-2017.

責任編輯：哈宏疆

Research of Key Specifications on Unified Storage & Application in Network Production and Broadcasting

XU Xu

(OfficeoftheChiefEngineer,JianhuRadioandTelevisionStation,JiangsuJianhu224700,China)

In view of the optimization and integration of storage systems in Network production and broadcasting, together with the rapid development of the storage technology, to cater to the requirement of data access, this essay systematically conducts a research of key specifications on unified storage. Based on the research, can solve the problems of architecture designing and equipment selection, to ensure that the unified storage applicated in Network production and broadcasting can be high availability, high performance, high utilization and high scalability, finally realize storage resources sharing and used efficiently under the centralized management.

unified storage; network production and broadcasting; specification; application

TN948.11

A

10.16280/j.videoe.2015.24.018

2015-07-16