桑曉霞,周 侃,楊 鋒
射陽廣播電視臺,江蘇鹽城 224300
小型電視臺存儲技術應用探討
桑曉霞,周 侃,楊 鋒
射陽廣播電視臺,江蘇鹽城 224300
本文討論了SAN技術在縣級臺的應用,對SAN的硬件和軟件、管理軟件以及協議標準作了詳細的介紹,與其它存儲技術做了簡單的比較,對廣播電視行業幾種常見的網絡架構進行了分析,對SAN的數據容災備份和災難恢復進行了探討,并就SAN技術在縣級臺的應用做了一個基于媒體資產管理系統的SAN搭建方案。具體分析了搭建SAN所用到的各種設備和技術,包括SAN的硬件設備、使用的協議、網絡架構、編碼格式、管理軟件、備份方式、備份恢復方案等。
SAN;存儲技術;小型電視臺;網絡;媒資管理系統
隨著廣播電視數字化、網絡化的高速發展,視音頻節目數量的日益增長,搶救基于磁帶存儲的老節目素材以及考慮現有節目素材的存儲都迫在眉睫。在這種情況下,節目資源的即時存儲、快速調用、數據管理和數據安全都愈發變得十分重要。解決這個問題的方法就是采用SAN。而SAN則是現代網絡存儲技術中廣泛應用的主流技術。在電視臺,隨著各個部門的聯系越來越緊密,視音頻節目數量越來越多,數字化進程的日益加快,節目資源的即時存儲、快速調用、數據管理和數據安全都愈發變得十分重要。通過SAN把各個部門聯系起來,不光節省了時間和金錢,而且解決了上述的問題。由此可見,研究SAN存儲技術對加快電視臺數字化進程以及電視臺的戰略性發展都有著不可估量的作用。
1.1 存儲區域網絡
按照存儲網絡工業協會(SNIA)的定義:SAN(Storage Area Network,——存儲區域網絡)是一種利用Fibre Channel等協議連接起來的,可以在服務器與存儲系統之間直接傳送數據的網絡。
SAN是一種存儲網絡系統的體系結構,它采用獨特的連接技術(如FC光纖通道)構建與原有的LAN不同的專用于存儲的網絡,存儲設備和服務器之間通過串行SCSI協議采用Block1/0的方式進行數據傳輸。SAN是基于專用的光纖通道構建的網絡,數據傳輸方式是數據塊傳輸。
SAN的主要思路是將LAN上的存儲轉換到主要由存儲設備組成的SAN上,使得數據的訪問、備份和恢復不影響LAN的性能,在有大量數據訪問時,不會大幅度降低網絡性能。基于SAN的存儲模式既實現了集中式的數據存儲和管理,又解決了數據流量的瓶頸,同時又具有較強的靈活性、可擴展性和連接能力等特點。
1.2 SAN的硬件
1.2.1 存儲設備
1)廉價磁盤冗余陣列RAID,包括磁盤陣列、光盤庫、磁帶庫等大容量存儲設備。常用的RAID(Redundant Arrays of Inexpensive Disks)是一種大數據量的數據存儲方法,用在日益增長的圖像系統、多媒體開發系統和因特網上的各種服務器中。
組成磁盤陣列的不同方式成為RAID級。RAID技術經過不斷的發展,現在已擁有了從 RAID 0 到 53等10個RAID 級別,分別為RAID 0、RAID1,RAID2,RAID3,RAID4,RAID5,RAID6,RAID7,RAID10,RAID53。
2)磁帶庫是一種機柜式的,將多臺磁帶機整合到一個封閉的系統中的數據存儲設備,是離線備份存儲系統中的關鍵設備之一。
1.2.2 SAN網絡設備
SAN網絡中主要包括如下的設備:
1)主機和主機適配器(FC-HBA):連接SAN存儲設備的主機必須有和SAN存儲設備連接的主機適配卡(Host Buss Adapter, HBA)。HBA是一個I/O設備,類似于SCSI卡和網卡;
2)FC-AL集線器: FC-AL集線器又稱為光纖環路仲裁環集線器,FC-AL集線器的設備連接方式類似于一般的集線器,設備連接呈現星形而邏輯結構為仲裁環;
3)FC交換機:類似于FC-AL集線器,FC交換機也是SAN存儲結構的組網設備,負責主機與存儲設備的連接;
4)橋接設備:橋接設備起到將以前的并行的SCSI存儲設備連接到SAN網絡中的作用;
5)連接纜線:用于連接SAN的設備。
1.3 SAN軟件
SAN的應用和管理軟件包括:備份軟件、存儲資源管理軟件、網絡共享管理操作系統軟件。
1.3.1 資源管理軟件 SANegry
SANergy使用戶能夠通過實施存儲區域網絡(SAN)透明地共享公用存儲器、卷和文件的存取;可以使UNIX、Windows和Apple Macintosh系統在卷、文件和字節級上跨平臺共享存儲資源,從而比基于服務器共享的方式大大增加吞吐量,降低管理費。通過合并存儲空間和消除多主機環境中常見的復制數據而獲得的高性能共享式存儲環境,能顯著降低成本。
1.3.2 網絡共享管理操作系統軟件
常見的網絡共享管理操作系統軟件有NetWare、UNIX、Linux和 Windows Server 2003等,一般選擇Windows Server 2003作為共享管理的操作系統軟件和服務器操作系統軟件。Windows Server 2003提供許多全新的SAN友好特性,允許操作系統更輕松地處理SAN上的數據與設備。
1.4 SAN協議和標準
1.4.1 SAN協議
1)FCIP是在TCP/IP上用管道技術來實現SAN的互聯的協議。它采用封裝技術將FC協議封裝在IP包中,以使它能夠通過IP網。已經擁有SAN網的用戶可以通過FCIP調整已經存在的SAN存儲網絡,以使它們能夠擴展到城域網和廣域網。FCIP是一種將多個孤立的SAN存儲網絡連接起來的手段;
2)iFCP協議稱為互聯網光纖通道協議,是利用TCP/IP協議傳送光纖通道數據的協議。IFCP作為網關將不同SAN網絡中的存儲設備連接起來,形成統一的網絡存儲系統;
3)iSCSI協議的實質是實現了基于TCP/IP網絡傳輸SCSI指令,也就是說SCSI over IP,從本質上說它與FC協議之間的區別僅在于傳輸層的協議不同,而對于應用層來說是完全透明的,通過iSCSI協議可以實現對存儲設備的數據塊級別的共享訪問。
1.4.2 SAN標準
在存儲領域,現在主要有兩種主要的標準:FC-SW2光纖通道標準和MIB標準。光纖通道標準用于保證光纖通道交換機之間的兼容性。這是“開放交換機光纖網提案組(OSFI)”的專門性委員會制定的FC-SW2標準。
2.1 電視臺建造SAN的必要性和可行性
隨著電視節目音像資料的數字化存儲的實現,將涉及到壓縮、存儲、網絡傳輸、管理等信息處理技術,而不是簡單的存儲方式和存儲介質的改變,它是電視臺實現節目生產數字化的一個重要組成部分。由于電視臺的節目素材具有數據量大、帶寬要求高、數據安全敏感等特征,建造SAN已是大勢所趨。
2.2 系統設計原則
1)開放性:設計的系統是開放式的;
2)先進性:采用的技術是先進的、符合發展方向的,同時是成熟的、穩定的。系統的設計、設備的選型及工程的施工,符合我國廣播電視規范。符合國際廣播電視發展潮流;
3)可擴充性:系統具備較強的升級擴容能力、當存儲、編目、檢索工作量擴大到至當前系統無法承擔時,系統可以通過特定的設備(數據流磁帶庫、磁盤陣列、工作站點等),能在不影響和中斷當前制作系統運行下,進行系統的平滑升級;
4)安全性:系統的安全性設計是整個系統的設計的關鍵環節。采用可靠的技術手段,在媒體資料存儲安全、數據傳輸安全、內部網絡安全保護、軟件容錯及質量控制等各方面確保整個系統的安全性;
5)可維護性:系統具備完善的管理性能,設備簡單、直觀、維護管理方便。在系統設計中提供有效的系統監控手段和軟硬件工具,以便監測網絡通信系統、計算機主機和存儲系統的運行狀態,保證系統正常運行。
2.3 系統拓撲結構
在此方案里,采用以SAN來搭建一個媒體資產管理系統,從性價比考慮,系統網絡架構采用目前應用廣泛的以太網和FC光纖網相結合的雙網結構。所有工作站點可以通過iSCSI控制器訪問中心FC存儲上的高碼率素材,局部采用FC SAN點對點與磁帶庫系統連接,系統內部建造全SAN高速網絡。
2.4 編碼格式選擇
采用MPEG 2編碼格式用于節目制作和播出,選用H.264或者MPEG4編碼用于低碼率編目和檢索。文件交換格式采用MXF。
2.5 SAN軟件的選擇
選擇常見的Windows Server 2003 作為網絡管理操作系統和服務器操作系統,SQL server 2000 作為數據庫軟件。
一、嚴格執行最低建設要求。列入政府補助范圍的農村危房改造(含新疆農村安居工程)要在設計、施工、驗收等環節嚴格執行最低建設要求,確保農村危房改造后每戶住房均不低于最低建設要求。
選用SANergy作為資源管理軟件,iSCSI磁盤陣列用于低碼率素材存儲,光纖磁盤陣列和磁帶庫可用于高碼率磁帶存儲。
2.6 SAN采用的硬件
2.6.1 各個媒資工作站配置

管理工作站4臺4臺8臺4臺2臺2臺2臺4臺上下載工作站音視頻轉碼工作站編目工作站非編工作站節目收錄工作站審片工作站檢索工作站
2.6.2 服務器配置
MDC服務器:MDC(Metadata Controller)是指元數據控制器,它是SAN網絡中設備訪問磁盤陣列文件的最為重要的核心服務器,如果發生故障會導致網絡中的各功能工作站無法訪問盤陣內的共享資源。
2.6.3 交換機配置
以太網交換機:選用了2臺具有48端口的千兆以太網交換機,每個交換機在滿足需求的同時預留了8個端口,具有一定的擴展性。兩臺交換機連接方式是級聯。
另外還有其他一些設備:包括路由器,轉換器等。
2.7 SAN使用的協議
采用SCSI協議、FC光纖通道協議,TCP/IP協議。
2.8 SAN通信的方式
SAN文件是以數據塊的形式傳輸的,而不是數據流。與設備通信的過程是:計算機的應用程序通過運行在服務器本機上的文件系統與磁盤陣列對話。應用程序請求本機文件系統把某一個目錄下的文件傳到應用程序的緩沖區,這是文件系統開始計算該文件占用的磁盤扇區的LBA地址,計算好后文件系統向SAN請求把LBA的某個扇區里的內容傳給文件系統。SAN磁盤陣列接收到這個請求之后,便從它自身的眾多磁盤中提取數據,通過FC網絡傳送給運行著文件系統程序的節點(服務器主機)。文件系統接收到扇區內容之后,根據文件系統記錄截掉扇區多余的部分,將整理后的數據放入請求這個數據的應用程序。
2.9 備份恢復方案
2.9.1 備份軟件的選擇
在這里,考慮到各種復雜情況,建議采用專業的備份恢復軟件:惠普公司的HP OpenView軟件進行備份恢復。
2.9.2 備份系統架構和備份類型的選擇
根據本系統FC+以太網的特點和所具備的條件,從節約成本和性能優劣考慮,同時使用LAN備份、手工備份、SAN備份3種備份方式。
2.9.3 備份數據的保存方式
根據本此方案實際需求,考慮到具備磁盤存儲和磁帶庫的條件下,為了達到最好的服務質量、更快速的服務響應以及既定的備份策略,所以采用D2D2T方式。
2.9.4 容災備份架構
該架構的特點:
1)采用了高效的LAN備份、手工備份、SAN備份3種備份方式,占用盡量少的網絡帶寬。第一次完全備份,以后只要做增量備份就可以了;
2)能夠對操作系統軟件、數據庫等進行備份;
3)快速的恢復,能夠快速的恢復文件系統上的單個或者多個文件;
4)方便維護管理,可以支持遠程的維護和管理;
5)支持斷點續傳;
6)采用LAN備份、手工備份、SAN備份3種備份方式對數據進行備份恢復。
隨著全國各地電視臺的數字化改造不斷深入,以往的基于磁帶存儲的素材都急需數字化。在媒體資產的概念提出的情況下,節目素材也成為一種經濟收入來源,很多磁帶的壽命已經到期,如果不加以搶救,以前的各種素材就會丟失。這對任何一家電視臺來說都是一筆不小的損失。再者,記者剛剛拍回來的素材以及各種節目也需要及時的存儲、編輯和管理。這時將SAN技術應用到電視臺中就成為解決問題的好辦法。
TN94
A
1674-6708(2010)32-0234-02