孫祥軍
【摘要】存儲系統是電視臺硬盤播出系統中的關鍵環節,關系到整個播出系統安全高效的運行。本文主要從播出系統分層存儲系統的構建方式、關鍵技術以及發展趨勢等方面介紹NAS存儲在廣電播出系統中的應用。
【關鍵詞】NAS分層存儲(HSM)高可用播出系統
一、應用NAS技術構建高可用分層廣電播出存儲系統
1、廣電播出系統現狀
伴隨著標清向高清的發展,播出系統的頻道數量也日益增多,視頻服務器本地硬盤越來越難以滿足播出系統存儲的需要,并帶來了新的挑戰。
2、當前廣電播出系統的問題
在傳統硬盤播出系統中,視頻服務器直接存儲視頻文件,只有一級存儲,這種架構的主要問題有:存儲量低,按照主流的高清素材碼率(50Mb/s)計算,每個視頻服務器本地需要至少10TB的有效空間。視頻服務器本地硬盤配置數量有限,無法適應播出系統高清化的大容量存儲需求;共享性差,數據調用不靈活、不同播出服務器的數據共享比較復雜。如同一個節目在不同頻道中播出,就需要從一臺視頻服務器遷移至對應頻道的主備視頻服務器中,會使某臺視頻服務器成為數據熱點,影響播出素材的遷移效率;存儲空間資源浪費。在視頻服務器之間存在大量的重復文件,存儲空間資源利用率低;數據保護不完善安全性較低。傳統的硬盤播出系統。數據只有一份保存在視頻服務器本地中,若播出服務器硬盤故障,數據會出現丟失等問題,文件沒有備份,一旦出現問題數據的損壞都是不可恢復的,造成的損失也不可估量。
3、應用NAS構建高可用分層存儲系統的優勢
引入具備高可用、高共享性的網絡附加存儲(NAS,Network Attache Storage)做為播出系統的二級存儲,與視頻服務器本地存儲形成分級、分層的存儲體系,播出系統所有頻道的素材在NAS二級存儲中,提前一天將需要播出的素材由二級存儲遷移至視頻服務器本地,大大節約了視頻服務器的本地存儲空間,提高了視頻服務器的穩定性。播出NAS二級存儲具有極高的安全性、穩定性和共享性,其文件系統、操作系統均集成于控制器內,實現模塊化、高集成度的一體化存儲,無單點故障,簡單、穩定,解決了傳統的硬盤播出系統中遇到的視頻服務器本地磁盤空間存儲量低、共享性差、存儲資源重復浪費率高、數據保護不完善等問題。
二、分層存儲系統的構建方式
應用NAS技術的二級存儲,提供播出服務器近線存儲功能、向視頻服務器傳送媒體素材以及二級存儲媒體素材周期管理功能,與視頻服務器本地存儲形成二層的存儲架構,實現播出素材的數據冗余保護,分級分層管理,提高播出系統的安全性。
NAS二級存儲的高可用性能保證業務的連續性,其實現的一大關鍵就是冗余策略,下圖是播出兩層存儲架構網絡拓撲圖,主備NAS存儲盤陣可以保證數據的有效性,主存儲出現問題時,播出系統也可以隨時從備存儲中讀取數據,其高可用性能突破了本地存儲容量的限制,并且能靈活調度,隨時讀取,確保數據安全性,保證了播出系統的業務連續性。
基于以太網絡的NAS二級存儲推薦使用已經發展成熟萬兆高速以太網,在提升網絡性能的同時可以提高網絡的安全性、多業務融合能力與自適應能力,具有高度的技術成熟度,高性能以太網勢必成為今后以太網發展的主導方向。
1、分層存儲系統的業務數據流程
播出系統由上載、編單審核、自動技審、視頻服務器、二級存儲等模塊組成。數據業務流程的核心是二級存儲,所有的數據都通過二級存儲共享給其他業務系統使用,下圖是播出系統內部業務流程圖:
主要的業務數據流程有:
a)上載工作站采集素材,提交素材到NAS二級存儲;b)人工審核工作站對二級存儲中的素材進行人工審
c)自動技審工作站對二級存儲中的素材進行自動技審;
d)通過FTP方式,將二級存儲中的素材提交至播出主二級存儲;
e)通過FTP方式,將二級存儲中的素材提交至播出備二級存儲;
f)主備二級存儲數據同步,保證主備數據完全冗余備份。
由上述流程可以看出,視頻服務器與NAS存儲的分層存儲架構為播出系統提供了完整的存儲解決方案,二級存儲做為存儲系統的樞紐,連接了上載工作站與視頻服務器,保證了素材的播出。與視頻服務器本地硬盤的封閉性相比,二級存儲的開放性和共享性為數據增值業務提供了接口,如自動技審,可以完成對二級存儲上素材的自動化技術審查,大大提高了工作效率。
2、分層存儲系統中的關鍵技術
分層存儲系統適應了播出系統IT化的發展趨勢,NAS存儲在播出系統存儲的主要應用關鍵技術如下:
隨著播出系統的碼率逐漸增大,隨著標清、高清、3D、4K等標準的逐步升級,對存儲系統容量的要求會越來越大,視頻服務器本地已經無法滿足需求。NAS存儲是企業級存儲架構,可以將多套NAS存儲做為集群,形成云存儲平臺,提供幾十PB的海量存儲空間。NAS存儲運行自己的操作系統,不要求特定的客戶端支持,即可供Windows、UNIX、Linux、Mac等操作系統的訪問,實現各操作平臺間的無縫數據共享。NAS存儲基于以太網絡架構,整體網絡架構簡單,便于維護管理。NAS存儲做為數據核心存儲,可以同時向多臺視頻服務器進行素材的同步遷移,不限制視頻服務器平臺,具有良好的系統兼容性,大大提高了播出系統的素材傳輸效率。優化存儲空間,減少重復數據。播出素材管理系統將所有的素材均配置唯一的文件標識,通過統一的播出NAS二級存儲,可以有效的管理本頻道內及不同頻道間的重播節目素材,同樣的素材只保留一份,不會浪費二級存儲的空間,提高了存儲空間使用率。多重保護機制,保證數據的安全。NAS存儲所有關鍵部件均冗余,通過RAID、熱備盤(Hotspare)技術進行物理層面的數據保護,通過快照技術進行邏輯層面的數據備份保護,可以避免因硬盤損壞、人為誤刪除等造成的數據丟失。
定制數據調度策略數據調度策略目的在于優化網絡存儲數據訪問,做到對存儲的分級使用調度。數據調度策略實現方法有:(1)根據不同頻道的重要程度進行調度策略的配置,頻道遷移有先后順序;(2)根據播出節目單時間先后,對播出素材進行遷移。(3)緊急節目從上載直接遷移到視頻服務器,待播出后業務不繁忙時,再從視頻服務器遷回二級存儲。
不同優先級的頻道可以構架在帶寬差異的存儲上,如高清頻道建設在高性能SAS盤上,標清建設在相對性能較低的SATA盤,已保證高清素材的傳輸效率等,做到資源設備的合理利用,充分的實現存儲的分級使用。
三、應用NAS技術的高可用分層廣電播出存儲符合當前發展趨勢
現在的數字電視硬盤自動播出系統以二級存儲為核心,以NAS構建的高可用分層廣電播出存儲系統可以滿足廣電的全新硬盤播出需求,目前播出系統以全硬盤播出為主的方式播出,播出系統發展需要充分考慮安全性、先進性、兼容性、可擴展性。
(a)安全性是確保設備的安全穩定的前提,一是采用成熟的技術和高質量的設備;二是對系統的關鍵設備要考慮容錯及備份措施。
(b)先進性,系統中的存儲設備必須具備技術領先性,采用最新的存儲應用技術。
(c)兼容性,全硬盤播出建設的核心———二級存儲,兼容目前電視臺所有視頻服務器主流品牌操作系統,具備良好的數據共享性,全硬盤播出上下兼容建設要求。
(d)擴展性,采用模塊化設計和靈活的系統配置方式,未來幾年電視臺增加頻道無需更換存儲設備,通過擴充硬盤或更換控制器提升性能和容量,做到系統的平穩過渡。
以NAS構建的高可用分層廣電播出存儲系統能夠做到在高可靠性、大容量存儲、及高帶寬的要求下,憑借其NAS先進的體系架構,可以很好地滿足播出系統的上述需求,并且實現系統高可用性。
四、結束語
從IT行業的現狀分析,目前已經進入以存儲為核心的階段,因此存儲系統就顯得尤為重要。無論從數據的海量存儲、高性能訪問、高可用性、可管理性,還是從硬件投資保護和管理維護成本考慮,NAS存儲很好地解決了這個問題,而且NAS存儲在硬盤播出系統與電視臺內部其他業務系統之間的互聯互通起到了緩沖的作用,減弱了播出視頻服務器與其他系統的直接聯系,給硬盤播出系統帶來了更高的安全性、更快的性能和更大的靈活性。