基于云存儲的數據全臺網方案考慮

楊 勇

(浙江廣播電視集團，浙江 杭州 310005)

基于云存儲的數據全臺網方案考慮

楊 勇

(浙江廣播電視集團，浙江 杭州 310005)

從電視臺全臺網建設所面臨的實際困難和現狀出發，結合媒體融合發展環境下臺內業務轉型所帶來的需求變化，提出了數據全臺網的概念，并在浙江廣電集團的項目建設中，利用云存儲構建數據全臺網的基礎服務平臺，通過智能引擎驅動的業務流轉，實現在線匯聚收存分發海量媒體資源。

全臺網；分布式；云存儲；數據全臺網

自廣電總局下發了《電視臺數字化網絡化建設白皮書》指導意見以來，全臺網的建設就不斷在發展，很多兄弟單位電視臺都進行了有益的嘗試和探索。尤其是廣電行業各大系統集成商都從自身的經驗和應用系統出發，根據臺內的需求變化和發展，提出了各種打通業務單元的理念和方法，不斷優化電視臺的業務流程，提升運營效率，迎接新媒體時代的挑戰。

但在實際的建設過程中可以看到，全臺網業務開展非常困難，因為不同的應用系統往往是由不同的廠家提供的，各自對于業務流程的理解不同，數據格式也不同，導致筆者需要將各個廠家的研發人員聚集在一起共同商討，才能定義出一套相對可行的接口方式，實現業務數據在各個業務系統之間的協作流轉。每個業務系統都建立了自己的數據存儲，數據的流轉基本采用拷貝的遷移方式[1]。

這種模式建立的全臺網基本是為了解決已有制作、播出網絡之間的互聯互通，在運行中很難解決全媒體高效融合生產發布所面臨的困難，考慮到這樣的現狀，筆者提出基于云存儲技術的全臺網解決方案。將全臺網分為兩部分建設，第一部分是數據全臺網，第二部分是能力系統(業務系統)中的數據流轉。數據全臺網是一個核心基礎，如果沒有數據全臺網，數據不進行集中的管理，就沒有辦法將各個能力系統由數據來驅動工作，只有建立了數據全臺網，才能未來在這之上建立全新的自動流程系統，來將各個能力系統打通。

數據全臺網從建設上來說，就是在各個業務平臺之上建立一個集中的存儲資源平臺，采用服務型的理念來為各個業務系統提供支撐，在此存儲平臺上，包含了所有的全臺網數據。

1 現狀和挑戰

之前臺內的數據存儲模式，主要采用分散建設的方式，每個業務網均根據自身的需要配備有存儲設備，為各個業務網的數據存儲和訪問提供能力。但這樣一來，出現了不少問題：

1)各個業務系統較為分散，之間沒有很好的交互能力，嚴重制約了素材的實時交互；

2)系統獨立也導致整個流程變緩，從上載、制作、播出到媒資整個過程非常漫長，業務帶寬被大量的業務流程傳輸占用；

3)人工參與工作量大，成本高；

4)資源無法集中管理，存儲和帶寬資源分配不均衡，不能根據業務系統的需要進行動態彈性調整。

以電視劇縮編網的建設為一個契機，將所有數據集中起來，按照數據全臺網的思路建設一個統一的集中云存儲平臺，將所有的業務數據集中存儲和管理，存儲(帶寬、容量)作為一種資源分配給各個業務系統，可根據需要進行隨時的調整，并且將數據統一后，可以設定更高級別的安全手段保障數據的安全性。

不過一旦實現數據全臺網，會面臨不小的挑戰，這方面的挑戰包括：

1)多個業務系統的并發使用，對于數據訪問的帶寬要求非常高；

2)數據安全性需要上升到一個更高的級別，不僅僅是做到硬盤的容錯，還必須做到設備故障的容錯能力；

3)存儲容量會隨著不斷納入新的業務系統的數據而急劇增加，這種擴容需要在不影響業務的前提下進行。

2 云存儲的實際應用

在項目建設中，采用新的解決方案來改變現有的狀態，在內部建立數據全臺網，該網絡基于分布式集群存儲架構建設，集成采集、非編和媒資業務，并有效地和播出、發布網絡互通，通過該網絡的集中存儲保證素材資源的集中管理和共享互通。

整個方案設計包括集中存儲、網絡建設和應用系統，整個縮編系統的建設目標具體體現在以下9個方面：

1)打造緊湊的工作流程，實現素材上載、素材高標清編輯、素材媒資管理在同一個平臺實現，并且和離線歸檔系統、硬盤播出系統互通；

2)該系統既是非編系統，也是媒資系統，素材進入存儲系統，隨即可以針對素材進行編輯、媒資管理；

3)系統平臺同時作為備播系統，可以在播出系統出現故障后，直接將節目從該平臺播出；

4)平臺支持多個頻道的節目，每個頻道50 Mbit/s的數據量，70 Mbit/s的最大并發傳輸量到播出系統；

5)擬定的平臺存儲采用支持橫向擴展的集群存儲；

6)整個平臺的實際帶寬能力要超過2 Gbit/s，保證各個業務系統的有效運行；

7)平臺支持帶庫的近線歸檔；

8)平臺的安全性、實時性要求非常高；

9)跨平臺(Linux，Windows，Mac)、多應用支持的解決方案。

廣電視頻存儲領域歷經幾十年的發展，從最初的內置硬盤存儲，到DAS磁盤陣列， 再到FC SAN結構的存儲網絡、基于SAN架構的集群存儲[2-3]。廣電領域對于存儲的使用更關注高速的歸檔遷移帶寬和穩定的視頻流讀寫能力，而高并發的I/O密集型應用不是很多。特別是隨著高清時代的到來，視音頻文件的體量越來越大，1小時百兆碼率節目的文件大小在45 Gbyte左右。同時廣電視頻行業對于網絡設計方面的要求也發生了很多的變化，而目前主流應用的SAN存儲架構在實現系統互聯時，不光要打通FC網絡鏈路，各自SAN網間文件系統的互相訪問和文件共享也是棘手的問題，特別是異構文件系統間的互訪，只能通過架設數據訪問網關(FTP網關或CIFS網關)， 增加了系統的復雜性和維護成本，可靠性安全性也無法保障。原有的存儲方案越來越無法滿足需求，一個個的制作孤島、媒資孤島讓資源的共享和管理帶來很大困難， 實現不同業務子網的互聯互通，實現高效的自動化工作流迫在眉睫。

根據對目前廣電主流的存儲技術的分析，筆者認為隨著以太網技術的發展，IP集群存儲一定會成為日后廣電建設數據全臺網的重要方式。所以，數據全臺網考慮采用云存儲的方式來建設存儲平臺，拓樸結構如圖1所示。

圖1 數據全臺網拓樸圖

云存儲的優勢和特點包括：

單一架構優勢。整個云存儲平臺架構在以太網架構之上，充分利用現有的網絡(多千兆接入或萬兆接入)，無須像之前的FC存儲那樣采用雙網架構，這樣對于本臺的統一規劃建設有很大的優勢。

穩定視頻讀寫性能優勢。存儲節點采用的專業網絡存儲可保證非常高的穩定視頻讀寫性能(讀430 Mbit/s，寫450 Mbit/s，該穩定讀寫指視頻讀寫不會掉幀)極限帶寬更可達700 Mbit/s以上。考慮到整個架構完全是線性擴展，增加存儲節點即可增加性能，在10個節點的情況下可以實現視頻穩定讀4 Gbit/s以上。

不停機容量擴充。云存儲系統正如其存儲服務平臺理念一般，可以提供在線不停業務的擴容，僅需增加存儲節點就可以在增加訪問性能的同時增加存儲容量，最大可支持高達64 Pbyte以上的存儲容量。這種存儲容量的擴展對于前端的業務完全是透明化的，對于用戶感受而言，僅僅是發現空間容量增加了，業務無需中斷。并且可以在業務空閑時進行指定的動態負載均衡，保證整個系統的性能同步提升。

多種安全級別。和大多數互聯網式集群存儲不同，充分考慮了在異常處理時盡量減少恢復處理來保證類視頻文件讀寫的穩定性，所以特地可支持傳統RAID作為底層。除了提供磁盤自動監測和多種RAID級別來保障存儲節點的可靠外，整個安全從底層RAID、目錄1備1、網絡RAID到全局副本4種方式來解決安全、性能和投入的問題。最高L5級別的數據安全模式下，數據安全得到極大的保障。即便是存儲節點損壞也不影響數據的可靠。

統一文件視圖。安裝客戶端的服務器可看到一致文件系統視圖，系統通過客戶端提供本地硬盤的訪問方式，直接掛載為本地硬盤，所以對任何應用系統都是透明的，對應用服務器開銷非常小。

3 智能引擎驅動的業務流轉

在實現了數據全臺網之后，可以將各個能力系統不斷地部署上來，這時實現數據在底層的自動化流轉就成了下一個階段要考慮的問題。

既然數據已經集中，能否在集中的數據上加上一層數據管理層，智能數據管理層是存儲層基礎之上開發的一種新型的應用語義文件系統，其自身實現為分布式架構，基于分布式文件系統開發整合實現，提供核心非結構化數據管理功能，實現文件對象化抽象和安全訪問，虛擬盤、全文檢索、轉碼等數據應用可建立在此智能語義系統之上。可以利用語義引擎實現數據在各個能力系統之間的自動化流轉。

實現非結構化的媒體數據在后臺的各種處理及調用，這種調度主要是基于內容信息的調度，和之前通常的工作流有很大的區別，是需要基于語義分析的調度方式。

該數據智能調度引擎是在私有文件系統基礎之上利用語義識別實現的，整個文件系統內部長響應一個監聽進程，能夠識別簡單的語義，并能根據語義內容做些相關工作。

例如：

If upload file success then do work1

If now() - file.lastmodifytime> 121212 then do work2

……

work1, work2 為預先定義好的操作

數據全臺網的業務流轉模型如圖2所示，此調度引擎工作于媒體數據引擎后臺，為數據匯集、圖像解析、文本提取、視頻轉碼、審核等工作流程提供有力支持。

圖2 數據全臺網業務流轉模型圖

總之，在利用云存儲實現了數據全臺網之后，就可以進一步利用集中數據的優勢，創新地利用數據的自動化流轉推進智能全臺網的建設。

4 實施進展

浙江廣電集團目前已通過云存儲構建了數據全臺網的基礎服務平臺，特別是在電視劇縮編的全流程業務開展中，發揮了重要的作用。在后臺計算、存儲資源高度集中池化的同時，把終端延伸到各電視頻道編輯人員的辦公桌面，通過智能引擎驅動的業務流轉，實現在線匯聚收存分發海量媒體資源，上載、編輯、審片、送播、發布、歸檔入庫各業務崗位實時共享節目資源，極大地提高制播效率，以適應全媒體融合生產的發展需要。

[1] 范中磊. 網絡存儲技術漫談之三:集群存儲[J].記錄媒體技術，2010(3)：51-54.

[2] 張振慶. 集群存儲技術的分析與研究[J].中國傳媒科技，2011(7)：108-111.

[3] 冒衛，田小馬. 集群存儲在全臺網系統中的使用[J].視聽界，2014(5)：40-43.

責任編輯：閆雯雯

TN948

B

10.16280/j.videoe.2015.22.017

2015-04-19

【本文獻信息】楊勇.基于云存儲的數據全臺網方案考慮[J].電視技術,2015，39(22).