王敏建
(紹興廣播電視總臺,浙江 紹興 312030)
隨著廣播電視數字化、網絡化的推進,構建集“采、編、播、存、管”為一體的全臺網成為電視臺的發展趨勢和應用需求,它將使全臺的媒體技術資源由分散轉變為集中,專有轉變為共享,業務流程更優化,節目生產成本更低,系統運行效率更高。全臺網的業務整合、資源整合,其基礎是數據整合,存儲系統的合理設計是關鍵。面對當今媒體資源和節目信息迅速擴增帶來的數據管理壓力,有必要建立一個合理高效的共享存儲體系,集中存儲、集中管理,在許可范圍內快速地進行共享,包括資源的合理調度以及快速查詢、檢索,同時還必須考慮系統對數據安全性、完整性和可用性的要求,提供數據的歸檔、遷移等功能,更要能處理數據的備份、災難恢復等工作,這些都有賴于規劃良好的存儲架構來滿足。
在電視臺數字化數據大量暴增之前,存儲設備一般采用SCSI接口的磁盤陣列,包括近幾年出現的SAS磁盤陣列,都屬于直接附加存儲(DAS)。存儲設備與服務器是相對固定的從屬關系,存儲資源調度不方便,存儲容量也受到架構的限制,只要數據量增加,就必須另外購買存儲設備。這種條塊化、零散復雜的存儲環境不僅會給管理運行帶來越來越大的壓力,而且極易造成存儲設備的重復投資和存儲資源分布的不平衡。
電視臺網絡化工程,包括非編、媒資、播出、文稿等子系統在內的全臺網建設,為創建一個全臺理念的、資源合理整合的、互通高效的大存儲平臺創造了有利時機。高碼流視音頻資源的共享應用以及安全管理需求,決定了應用于全臺網的存儲系統必須是高性能的、集中存儲管理的、大容量易擴充的、高可用性的體系結構。而近幾年逐漸興起的存儲區域網絡 (Storage Area Network,SAN)技術,以它獨有的架構優勢迎合了全臺網建設的技術需求。
SAN是一個由存儲設備和系統部件構成的高速子網,所有的通信都在一個光纖通道的網絡上完成,可提供內部任意節點之間多路可選擇的數據交換,并且將數據存儲管理集中在相對獨立的存儲局域網內,具有較高的安全性。通常SAN特指FC SAN,現在主流產品均支持2 Gbit/s或4 Gbit/s傳輸速率,連接SAN的光纖通道結合了通道連接和網絡連接的優勢,不但能提供對數據設備的遠距離高性能鏈接,還增加了對存儲系統的冗余鏈接,提供了對高可用群集系統的支持。SAN從傳統網絡架構中單獨剝離出存儲功能,自成一個系統,擺脫了以太網頻寬質量與服務器速度的限制。
決定使用SAN的關鍵因素是對速度和帶寬的需求。在50 Mbit/s碼率標清節目制作中,精編工作站每臺至少需要200 Mbit/s的保證帶寬,總帶寬需求非常可觀,而高清節目制作對帶寬的依賴將更大。光纖通道上的SAN提供主機到存儲最高4 Gbyte的直接數據連接,數據交換發生在訪問速度較快的數據塊一級。作為存儲的光纖磁盤陣列擁有2條甚至4條冗余的后端光纖磁盤通道,可以獲得一個非常高的磁盤讀寫帶寬,而且與光纖通道之間不存在數據格式轉換的問題,因為它們內部采用的都是SCSI傳輸協議,避免了效率的損失。
高性能是SAN架構的最大優點,可以保證大數據量并發訪問情況下主機讀寫帶寬的穩定,還有助于加速數據遷移、備份、恢復進程。可以認為,SAN是目前性能理想的適于構建全臺網所需高速數據環境的存儲架構。
電視節目制作、存儲和備份需要海量存儲空間支持,這種需求超過了使用本地存儲和直接附加存儲所能管理的實際空間,并且本地數據的特性導致它們很難被管理。網絡附加存儲(Network Attached Storage,NAS)設備雖然有提供集中共享存儲的能力,但它負載能力較弱,帶寬和速度也受制于以太網。而SAN本身就是為實現存儲高性能集中共享而制定的,支持高存儲容量和多主機并發訪問,擁有對存儲資源集中管理、分配的優勢。
SAN系統采用的光纖磁盤陣列能提供最大至上百太字節的高速存儲空間,通常配置2個RAID控制器和大約15個光纖通道磁盤驅動器,可連接附加的磁盤陣列來擴充容量,并通過控制器對這些陣列進行管理,可滿足全臺網巨量而持續增長的存儲空間需求。
SAN是一種真正面對存儲服務的架構。它的設計目的就是通過數據集中化管理而不是按工作組分割,提高數據吞吐量,改進文件共享能力。SAN把所有存儲空間有效地匯聚在一起,支持服務器和存儲之間任意的點到點的連接,提高了存儲資源的利用效率和存儲分配的可管理性。
安全是廣電行業的生命線,存儲系統必須是一個安全的冗余體系結構,提供數據的長期安全存儲和高可用支持,具備完善的容災恢復功能。SAN架構支持構建高冗余度的存儲網絡,有利于提升系統安全性,能有效避免單點故障,并支持多種可選擇的高效備份方案。
SAN所用的光纖磁盤陣列本身采用安全的冗余結構,支持熱插拔,集成基于硬件的RAID技術和熱備硬盤設置,具有較高的存儲安全性。一般擁有多個光纖通道,提供冗余的多數據路徑鏈接,保證連接可靠性和實現負載均衡。由于SAN網絡支持雙節點或多節點群集,提供了主機級容錯能力和高系統可用性,能最大限度地保證系統的連續可靠運行。
音像數據作為電視臺不可或失的寶貴資產,必須執行完善的備份工作。傳統存儲設備間的備份由于全都通過以太網來執行,網絡帶寬一直是備份速度的主要瓶頸,不但影響備份效率,可能還會引發網絡擁塞現象。而SAN架構擁有獨立的光纖通道網絡,能明顯加快備份、恢復速度,且無需考慮這些操作對以太網性能的影響。支持SAN架構的數據安全管理軟件非常豐富,如存儲廠商EMC就分別針對本地、異地的數據備份、同步、遷移和災難恢復提供了SnapView,MirrorView,SAN Copy 3種各有側重的數據保護和恢復軟件,可酌情選擇。
傳統的SAN由于采用光纖作為傳輸信道,加上相對昂貴的HBA接口卡、FC交換機以及FC盤陣,構建成本相當高。全臺網中并不是所有的應用都對存儲帶寬、網絡延遲有如此高級別的要求。電視臺現有的千兆以太網絡,對SQL數據庫、媒資系統等來說,已完全能滿足其應用帶寬的需求,只是需要一種方便、價廉、能使用塊數據傳送方式的集中共享、集中管理的存儲環境來提高系統可用性、容災性。遵循iSCSI通信協議的IP SAN存儲架構正適合這種需求。
IP SAN是運行在標準以太網上的存儲局域網,采用基于TCP/IP的iSCSI協議,支持構建與SAN相仿的集中存儲環境。在數據存取方式上,采用與SAN相同的塊協議(Block Protocol),通過將SCSI數據塊映射成以太網數據包,實現在IP網絡上高速傳輸塊數據的功能,充分利用了現有IP網絡的成熟性和普及性優勢。具有低成本、開放性、易用性等優點,近幾年來得到了快速發展。
有限的數據傳輸速率是IP SAN最大的應用局限所在。受制于以太網帶寬和TCP/IP協議的低效率,以及在傳輸過程中必須對SCSI數據塊進行層層的封裝與解包,IP SAN具有網絡延遲較大、數據傳輸效率較低的缺點。
針對千兆以太網在IP SAN架構中顯現的帶寬瓶頸,企業級iSCSI存儲產品多數配置有2個或4個千兆網絡接口,并提供鏈路聚合功能來提升存儲帶寬和數據吞吐能力。只有全部啟用這些網絡接口才能最大化提取iSCSI磁盤陣列的硬件性能。
建立安全高效的存儲網絡,選擇存儲架構是關鍵。一個好的SAN解決方案可以幫助實現一個完全冗余的存儲網絡,無論從安全性、可靠性,還是從傳輸性能和穩定性來說,都有著顯著的架構優勢,加上周邊豐富的共享管理軟件、應用管理軟件和備份管理軟件產品,適合擔負全臺網復雜應用環境的存儲架構。在低成本方案上,又有IP SAN可供選擇。但更好的性能往往意味著更多的付出,一個好的存儲方案在于把握需求與成本的合理平衡點,通道成本、存儲成本、管理成本以及相應軟件的成本都應在考慮之列,最重要的是先要明確自身的需求,包括存儲設備的規格、容量、還有每種配置的傳輸速率,以及擴展性能否滿足今后不斷擴增的節目數據壓力,都將直接影響建設成本與將來的運作效率。
電視臺節目數據存儲一般采用在線和離線二級存儲策略,既能滿足生產、存儲的需求,又能有效降低中心存儲的總體建置成本。從上述格局考慮,可應用FC SAN架構提供在線存儲所需的高速數據環境,同時在離線存儲、數據庫等系統中可引用發揮IP SAN架構低成本、易用性優勢。FC SAN和IP SAN融合的SAN架構既保留了FC架構的優勢,同時也支持低成本的iSCSI的引入,既能各自完成不同功能,又能相互進行數據共享、備份鏡像。技術上有多種途徑可實現FC SAN與IP SAN的互聯,如iSCSI網關,可支持iSCSI的光纖通道交換機,智能存儲交換機和網關,以及多協議存儲陣列等。
存儲設備作為整個架構的核心組成部分,左右著存儲系統的性能與安全。無論決定采用FC還是iSCSI存儲,都應盡量選擇中高端企業級產品。盡管會增加成本支出,但面向大企業的存儲陣列在通道、帶寬、冗余性、擴展性、可管理性和可維護性上都會有更好的設計保證。
在線存儲設備的首選應該是光纖通道磁盤陣列,在應用規模較大時還可以考慮引入多臺光纖盤陣來擴展存儲帶寬。成本上,相同規格的SAS硬盤比FC硬盤會便宜三成左右,采用iSCSI盤柜也能節省不少開支,另一方面千兆以太網的通道成本至少比光纖通道便宜一半以上,利用多端口聚合功能,帶寬、可靠性也有保證,不過能支持的編輯站點數量會相當有限。
數據流磁帶因其容量大、價格相對較低、可靈活選用機械或手工裝填的優勢,一直是節目數據離線存儲的常用載體。不過現在應該優先考慮引用性能更好的虛擬磁帶庫產品,它通過專用的虛擬軟件和芯片模塊由磁盤系統仿真而成,由于使用磁盤作為存儲介質來替代傳統的磁帶,成倍地提高了設備性能,相對于傳統磁帶庫具有備份還原速度快,可靠性提升,逐步擴容方便,維護管理成本較低等優點,明顯提升了對歸檔音像素材查找調用的速度。應用上既可以直接替代傳統磁帶庫,也可以采取與磁帶庫整合的架構,將數據最終轉存到后端的磁帶上,兼顧性能與擴展性。虛擬磁帶庫由于完全仿真磁帶,兼容磁帶備份管理軟件和傳統備份流程,可以方便地集成到備份系統中。多數產品配置有FC,SCSI,iSCSI等接口形式的2種或3種,可靈活支持多種網絡環境,實現基于光纖通道或以太網的高速備份和歸檔工作,是理想的離線存儲升級產品。
2008年來,支持10 Gbit/s傳輸速率的以太網光纖通道(Fibre Channel over Ethernet,FCoE)產品開始陸續面市。FCoE是一種新制定的低延遲以太網技術標準,它將光纖通道技術的覆蓋面擴展到了以太網環境中,在某些場合被稱為“增強型以太網”,這種以太網將把數據中心的局域網、存儲局域網和高性能計算應用程序融合為一個單一的以太網互聯結構。它能在保護客戶現有FC SAN的投資基礎上,提供一種以FC存儲協議為核心的I/O整合方案,為高性能環境提供10 Gbit/s增強型以太網連接性,有希望成為未來幾年存儲網絡領域的技術趨勢。
FCoE目前尚處于測試部署階段,售價昂貴,目前還可以繼續等待。另外萬兆以太網產品和8 Gbit/s FC產品也已面市,萬兆以太網接口和交換機價格近兩年一直在下降,有望成為擔負iSCSI的有力方式,屆時也可以選擇iSCSI來部署高端應用環境。不過即使以太網的傳輸速度再快,其協議開銷的問題仍然存在,與萬兆以太網需要TCP/IP相比,8 Gbit/s FC更具備性能優勢,它的數據傳輸速率是目前4 Git/s FC的2倍,但同樣面臨昂貴的建置費用,設備的現實可用性有待考驗。