網(wǎng)格存儲技術(shù)在貴州廣播電視臺播出系統(tǒng)中的應(yīng)用

【摘要】MediaGrid是一種新型的網(wǎng)格存儲系統(tǒng)，2010年在國內(nèi)最早應(yīng)用，當(dāng)時只是作為廣電行業(yè)播出系統(tǒng)的二級存儲應(yīng)用在貴州廣播電視臺電視播控中心。本文以貴州廣播電視臺對MediaGrid的應(yīng)用為例，詳細(xì)介紹了其在廣電行業(yè)的應(yīng)用方式，闡述了其工作原理。

【關(guān)鍵詞】播出系統(tǒng)、二級存儲、MediaGrid

一 . 前言

近年來隨著電視播出數(shù)字化的不斷發(fā)展，存儲設(shè)備在各家電視臺播出系統(tǒng)中的應(yīng)用越來越廣泛；同時，一方面為了滿足自己日益增長的節(jié)目量的需求，另一方面為了保障電視節(jié)目安全播出，各家電視臺對存儲設(shè)備的要求也不斷提高，主要體現(xiàn)在讀寫帶寬、容量擴(kuò)展、數(shù)據(jù)安全幾個方面。這同時也是其他存儲用戶對存儲設(shè)備的要求。正是在這種需求環(huán)境下，各個存儲體廠商相繼開發(fā)了多種新型的存儲設(shè)備，以滿足客戶的需求，MediaGrid也就應(yīng)運而生。MediaGrid是一種新型的網(wǎng)格存儲系統(tǒng)，我臺電視播控中心在2010年新系統(tǒng)改造項目中選用了一套MediaGrid作為播出二級存儲，主要是考慮到了以下三點：①與我們視頻服務(wù)器MediaDeck的耦合性，兩者都屬同一生產(chǎn)廠家，設(shè)備之間的交互性可能會更好一點。②我們現(xiàn)有的機(jī)柜空間不大，而MediaGrid存儲系統(tǒng)十分小巧；③作為網(wǎng)格存儲在理論上所具有的性能優(yōu)勢。

二. MediaGrid系統(tǒng)工作原理介紹

MediaGrid是一種新型的網(wǎng)格存儲系統(tǒng)，主要由ContentDirector、ContentServer、ContentManager、網(wǎng)絡(luò)交換機(jī)四部分組成。其中ContentDirector類似于傳統(tǒng)存儲設(shè)備的控制器，是整個系統(tǒng)的調(diào)度中心，通過其運行的一些服務(wù)程序來控制、管理ContentServer上所有文件的讀寫操作。在進(jìn)行寫入數(shù)據(jù)時，客戶端首先向ContentDirector發(fā)出寫入請求，ContentDirector會根據(jù)各個ContentServer的負(fù)載和容量情況，為客戶端動態(tài)分配目標(biāo)存儲節(jié)點的指針，這將保證系統(tǒng)帶寬和存儲方面的負(fù)載均衡。同樣，在讀取操作中，ContentDirector 根據(jù)相似的規(guī)則，為客戶端提供讀取性能最優(yōu)的ContentServer地址列表，獲取數(shù)據(jù)地址后，客戶端直接訪問ContentServer。

ContentServer是系統(tǒng)中的存儲節(jié)點，是一個智能的存儲設(shè)備。一條完整的素材文件經(jīng)切片后形成若干素材切片，ContentServer存儲這些素材切片，同時負(fù)責(zé)監(jiān)控、管理存儲于其內(nèi)的素材切片。值得一提的是，存儲節(jié)點內(nèi)保存的所有素材切片的份數(shù)是由“復(fù)制因子”決定的，復(fù)制因子的最小值是2，即存儲系統(tǒng)內(nèi)每條素材切片至少保存雙份，交叉保存在不同的存儲節(jié)點上。用戶可根據(jù)需要自己設(shè)定復(fù)制因子的數(shù)目，可以設(shè)定一個統(tǒng)一的值，也可根據(jù)某個數(shù)據(jù)文件的重要性來單獨設(shè)定。

ContentManager是裝載于系統(tǒng)管理機(jī)上的一個簡單易用的窗口程序，用于設(shè)定、查看和更改存儲系統(tǒng)中的文件的屬性、目錄、訪問權(quán)限和復(fù)制因子等。

網(wǎng)絡(luò)交換機(jī)是整個存儲系統(tǒng)內(nèi)設(shè)備之間以及系統(tǒng)與外部客戶端進(jìn)行通信的核心機(jī)器，為了整個系統(tǒng)的通信安全，系統(tǒng)內(nèi)部的網(wǎng)絡(luò)交換機(jī)必須劃分3 個Vlan，一個作系統(tǒng)內(nèi)部的公網(wǎng)用，負(fù)責(zé)ContentDirector與ContentServer、以及所有ContentServer之間相互通信。另一個用作系統(tǒng)內(nèi)部兩臺ContentDirector之間的私網(wǎng)，這是因為兩臺ContentDirector之間是負(fù)載均衡及冗余的關(guān)系，需要通過單獨的Vlan做交互，決定由誰來做主。這個私網(wǎng)是一個令牌環(huán)網(wǎng)，獲得令牌的ContentDirector就負(fù)責(zé)控制整個存儲系統(tǒng)的工作。還有一個Vlan則接入客戶核心交換機(jī)，負(fù)責(zé)系統(tǒng)與外部客戶端的通信；值得注意的是，為了保證系統(tǒng)與外部客戶端之間的通信正常，這個Vlan必須由交換機(jī)萬兆口構(gòu)成。

三. 貴州廣播電視臺MediaGrid系統(tǒng)的構(gòu)建

1. 容量需求分析

視頻服務(wù)器本身在線存儲的容量有限且不易擴(kuò)展，為了節(jié)目在短期需要重播時，不再浪費人力多次重復(fù)上載，我們將節(jié)目保存在二級存儲上，這樣對一些需要長期保存的素材、短期需要重播的素材及需要多頻道播出的素材的管理都顯得十分方便。

我臺現(xiàn)有13個電視頻道，新的播出系統(tǒng)負(fù)責(zé)其中8個頻道的播出。這8個頻道中有6個頻道是全天24小時無縫播出，有2個數(shù)字頻道每天的節(jié)目量大約都是18個小時，那么新播出系統(tǒng)中每天的節(jié)目量大約是180小時。又因為我臺采用的視頻碼率是15Mbps，所以每小時節(jié)目量需要的存儲空間大約是：15÷8×3600=6750MB，也就是約7GB，那么每天的節(jié)目量所需的存儲空間在1.2TB左右。我們設(shè)定的策略是所有素材在二級存儲上保存的時間是15天，那么需要的存儲空間是18TB；另外，又考慮到每個頻道都有一些需要長期保存的節(jié)目以及對存儲空間的利用率不可能達(dá)到100%這兩個因素，播出二級存儲的有效容量需要在20T以上。

2. MediaGrid系統(tǒng)架構(gòu)

一套完整的MediaGrid硬件設(shè)備包含一臺網(wǎng)絡(luò)交換機(jī)、兩臺ContentDirector以及若干臺ContentServer；ContentServer的型號及數(shù)量可根據(jù)各個電視臺自己節(jié)目量的多少來確定。考慮到我們的機(jī)柜空間不大，但八個頻道播出所需的節(jié)目量較大，貴州廣播電視臺這次選用了4臺最新型號的ContentServer-2122，其特點是：機(jī)箱僅2U高，有12塊容量為1TB的SATA硬盤；自帶處理器及內(nèi)存、嵌入式Linux操作系統(tǒng)；內(nèi)置冗余電源及風(fēng)扇，支持熱插拔；背板有兩個千兆以太網(wǎng)口，以供其與系統(tǒng)內(nèi)部各個設(shè)備間的通信用。四臺ContentServer的實際容量是48T，但有效容量只有24T，這是因為我們設(shè)定的復(fù)制因子是2，即每條素材文件的所有素材切片將在存儲系統(tǒng)內(nèi)以交叉的方式保存雙份。

ContentDirector的型號是1000B、機(jī)箱僅1U高，內(nèi)部有兩塊系統(tǒng)盤，內(nèi)置Linux操作系統(tǒng)；機(jī)箱內(nèi)置冗余電源及風(fēng)扇，支持熱插拔；機(jī)箱背板有四個千兆以太網(wǎng)口：兩個公網(wǎng)接口、兩個私網(wǎng)接口，其中公網(wǎng)接口負(fù)責(zé)與系統(tǒng)內(nèi)部的存儲節(jié)點相互通信，私網(wǎng)接口負(fù)責(zé)系統(tǒng)兩臺ContentDirector之間的內(nèi)部通信。

為了防止交換機(jī)發(fā)生災(zāi)害性故障而導(dǎo)系統(tǒng)內(nèi)部設(shè)備之間以及系統(tǒng)與外部客戶端的通信受阻，我們準(zhǔn)備了兩臺配置完全一樣的網(wǎng)絡(luò)交換機(jī)，其中一臺交換機(jī)A根據(jù)其Vlan的劃分，對應(yīng)的端口通過網(wǎng)線與系統(tǒng)內(nèi)的設(shè)備相連：4臺ContentServer的8個千兆網(wǎng)絡(luò)端口及2臺ContentDirector的4個公網(wǎng)端口都接入Vlan10；2臺ContentDirector的4個私網(wǎng)端口則接入Vlan4090；而萬兆口組成的Vlan20則接入客戶核心交換機(jī)。交換機(jī)B則作為一臺冷備機(jī)，在A發(fā)生災(zāi)害性故障的時候，可把相應(yīng)的網(wǎng)線按序接入B，以其替代A的工作，保證系統(tǒng)通信安全。圖1即是貴州廣播電視臺MediaGrid存儲系統(tǒng)架構(gòu)圖。

3. MediaGrid在貴州廣播電視臺播出系統(tǒng)中的應(yīng)用

為了適應(yīng)今后全臺網(wǎng)發(fā)展的趨勢，貴州廣播電視臺播控中心在新系統(tǒng)改造項目中，建設(shè)了一套全新的、集“編排、制做、存放、播出”于一體的新型播出系統(tǒng)。這種新型的播出系統(tǒng)主要分為總編室子系統(tǒng)、縮編子系統(tǒng)、媒資子系統(tǒng)及播出子系統(tǒng)四個部分。其中播出子系統(tǒng)的主二級存儲就是MediaGrid，其應(yīng)用結(jié)構(gòu)如圖2所示。

從圖中可以看出，非編子系統(tǒng)制作的縮編版電視劇由非編在線存儲直接遷移到播出二級存儲MediaGrid，省去了之前節(jié)目制作完成后，需要下載再重新上載的工作量，同時，其他所有類型的節(jié)目素材則經(jīng)3臺上載視頻服務(wù)器傳入MediaGrid。在有新的素材傳入MediaGrid之后，播出系統(tǒng)根據(jù)其素材拷貝策略，將所有素材拷貝到播出備二級存儲做備份，這種雙系統(tǒng)備份的工作方式，杜絕了單臺播出二級存儲發(fā)生災(zāi)害性故障而導(dǎo)致播出安全隱患的情況。另外，為了在不增加視頻服務(wù)器的工作壓力的前提下保證節(jié)目播出安全，對素材所做自動技審、人工復(fù)審及文件審片的工作都是直接訪問MediaGrid存儲區(qū)。

四 結(jié)束語

目前，市場上主流的存儲設(shè)備采用的還是RAID技術(shù)，一方面是因為RAID技術(shù)經(jīng)過數(shù)十年的發(fā)展，應(yīng)用已經(jīng)十分廣泛，其穩(wěn)定性也得到了廣大用戶的認(rèn)可；另一方面是因為像MediaGrid這樣一種新型的網(wǎng)格存儲的發(fā)展還在起步階段，其工作性能及穩(wěn)定性都還有待于用戶的驗證。目前我臺的MediaGrid存儲系統(tǒng)工作性能表現(xiàn)良好，最高帶寬已超過400MB，持續(xù)穩(wěn)定的運行狀態(tài)已超過兩年。