常久慧
(遼寧廣播電視臺,遼寧沈陽110004)
媒資交互平臺服務質量控制體系設計
常久慧
(遼寧廣播電視臺,遼寧沈陽110004)
結合遼寧廣播電視臺媒體資產管理與交互平臺設計及運行情況,從應用環境、網絡環境、網絡帶寬需求等方面分析了媒資交互平臺在設計和使用過程中面臨的問題。在系統設計時,采用服務質量控制體系設計的思路,為媒體資產管理與交互平臺提供更好的服務能力。著重介紹了媒資交互平臺服務質量控制體系設計的各種策略,包括流程優先級的設置、EMB傳輸服務器的任務分配、文件共享服務器負載分配,并重點闡述了使用服務器靈活指定技術實現對文件的轉碼控制。
服務質量;ESB;EMB;媒資交互平臺;服務器靈活指定技術;優先級
【本文獻信息】常久慧.媒資交互平臺服務質量控制體系設計[J].電視技術,2015,39(10).
隨著電視制作系統數字化、網絡化的變革性發展,尤其是使用無帶化的生產流程之后,對于編輯記者來說,避免了使用磁帶介質的諸多不便,但是對于磁帶送交的過程他們是可以控制的。在網絡化的交互平臺上,編輯記者提交的成片、素材等文件何時可以送交到目的地就難以控制了,這取決于媒資交互平臺的服務能力。為了提高系統的可用性,必須設置一整套服務質量控制的解決方案。
服務質量指一個網絡能夠利用各種基礎技術,為指定的網絡通信提供更好的服務能力,是網絡的一種安全機制,是用來解決網絡延遲和阻塞等問題的一種技術。對于有多個傳輸流程和嚴格實時性要求的媒資交互平臺來說,服務質量的控制十分必要。需為媒資交互平臺設置服務質量策略,當網絡過載或擁塞時,服務質量能確保重要業務不受延遲或丟棄,同時保證網絡的高效運行[1-2]。
媒資交互平臺承擔著全臺所有節目生產網絡間的互聯互通工作,其主要任務是網絡傳輸,大部分電視臺使用IP協議,也有電視臺使用FC協議,但無論使用哪種協議和網絡架構,都面臨著相同的壓力和問題。
1)應用環境復雜
系統中有不同的應用,也對應著不同的流程,本臺媒資交互平臺現在運行著19個流程,其中包括8個高清流程,所有的節目生產網絡都已經實現了文件化的互聯互通,互聯結構如圖1所示。
媒資交互平臺為多個系統提供互聯服務,其流程從任務優先級劃分可以分為播出流程、下載流程及歸檔流程,傳輸的內容包括素材和播出文件,應用環境非常復雜,需要根據節目生產的需求,定義每個流程的優先級,分配網絡資源,保證關鍵業務的實時性。
2)網絡環境復雜
媒資交互平臺傳輸實質上是將數據由一個存儲傳送到另一個存儲,這些存儲屬于不同的節目生產網絡,并且根據網絡應用的需求,采用不同的存儲接口和存儲訪問形式,包括以太接口和FC接口,SAN存儲訪問架構和NAS存儲訪問架構。

圖1 媒資交互平臺互聯示意圖
這些存儲并不是只為主干互聯服務的,還要優先保證存儲所在生產網絡的應用,比如播出的二級緩存除了接受主干送來的待播文件,還要及時地將待播文件遷往播出服務器備播,存儲的總帶寬有限,而存儲本身無法區分應用,也缺乏服務質量控制,這就需要媒資交互平臺來控制對存儲的訪問。
為了解決這些問題,采用整體的解決方案來應對,包括流程的優先級設置,EMB傳輸服務器的指定,負載均衡的文件共享策略。
3)網絡帶寬需求高
現在各省級電視臺基本都已實現高標清同播,并且會在未來的幾年內逐步實現全高清的制播,電視節目制播由標清變為高清,不只是對節目編輯帶來影響,還大大提高了對網絡的帶寬需求,就本臺的應用情況來說,素材文件的碼流由標清的50 Mbit/s碼提升到高清的120 Mbit/s,播出文件的碼流由原來的15 Mbit/s提升到50 Mbit/s,總體帶寬需求提升將近3倍。
此外,媒資網絡的負載也不穩定,傳輸任務和高峰期的公共交通擁堵一樣,媒資交互平臺的帶寬需求也總是在固定的時間集中爆發。
2.1流程優先級的設置
現在各個廣電系統集成商的主干產品都支持對流程優先級的設置,這是對任務處理順序的整體把握,本臺使用的是大洋公司的產品,為了保證關鍵的任務優先執行,本臺為流程設置不同的優先級,優先級分為1~5的5個級別,級別等級高的任務會得到優先處理,設置所有送播流程的優先級為4,媒資下載流程和收錄流程的優先級為3,媒資歸檔的優先級為2,優先級1和5保留。
優先級在ESB的流程定義中設置,根據ESB+EMB雙總線架構的主干接口標準,ESB使用xml格式在各節點中進行數據交互,以制作網送播流程舉例,該流程的優先級為4,定義在以下字段:
<m0:AsynRequest>
<m0:SourceID>DYESB</m0:SourceID>
<m0:Priority>4</m0:Priority>
</m0:AsynRequest>
ESB在流程中的調用增加EMB服務時將優先級傳遞給EMB調度服務。EMB接到ESB發來的任務后,會繼承任務的優先級,并根據優先級調整處理隊列中任務的順序。
保留優先級別1和5,可以在EMB配置中,修改默認優先級一樣的任務的處理順序,比如同樣是傳送給播出任務,默認優先級都為4,如果有任務需要立即執行,可以在EMB任務隊列中手動調整優先級,這兩種優先級策略的組合控制,可以在最少人為干預的情況下,保證緊急任務得到優先處理。
2.2EMB傳輸服務器的任務分配
主干的EMB傳輸服務器負責各網絡間的數據交互,這種交互簡單地說就是EMB傳輸服務器讀取一個網絡存儲的數據然后復制到另一個網絡存儲上,一般有UNC和FTP兩種實現方式,兩種方式的本質是一樣的,采用UNC方式就是將各網絡的儲存訪問路徑映射成本地的邏輯盤符,主干的傳輸任務就變成EMB傳輸服務器本地兩個盤符之間的數據復制。如果目標網絡使用NAS結構,網絡存儲的主機接口使用以太網接口,EMB傳輸服務器可以直接映射,如果目標網絡使用FC SAN架構,EMB傳輸服務器就必須通過文件共享服務器來映射[3]。
本臺媒資交互平臺文件共享結構如圖2所示。
現在各電視臺普遍采用的EMB傳輸服務器的分配模式有2種,分別是服務器共享和服務器分組,這2種模式都有各自的局限性。
1)服務器共享模式的局限性
各臺普遍常用服務器共享模式,在這種模式下,EMB傳輸服務器和各網絡傳輸設備并不是一一對應的,在EMB任務調度時采用動態指定的方式,每個EMB服務器并不是單獨為一個網絡或一個流程服務,而是被所有流程所共有。這是考慮到日常工作中基本不會出現在同一時刻所有的網絡都并發出現大量的傳輸需求的情況,為了節約成本,就像不能按照節假日高速公路的交通流量來設計公路的寬度一樣,網絡中設計的主干網的EMB傳輸服務器的傳輸能力要小于各網文件共享服務器傳輸能力及NAS存儲的總和。本臺網絡中配備有12臺EMB傳輸服務器,各網絡的文件共享服務器達到18臺,并且有2個存儲采用直連方式,這2個存儲都使用雙萬兆以太網主機接口。這種控制方式會帶來2個方面的問題。

圖2 媒資交互平臺文件共享結構示意圖
(1)文件共享服務器能力不足
當一個網絡同時出現大量傳輸請求時,所有的EMB同時接到這個網絡的任務,在傳輸層面就會出現多個EMB服務器對少量的接口服務器的情況。例如高清新聞網同時提交多個媒資下載任務,那么傳輸的鏈路如下:
媒資網存儲→4臺媒資網文件共享服務器服務器→12臺EMB傳輸服務器→2臺新聞網文件接口服務器→制作網存儲
顯然,新聞網文件接口服務器帶寬不足,成為整個鏈路的瓶頸,相當于每6臺EMB服務器對應于1臺新聞網文件共享服務器,造成EMB傳輸服務器傳輸效率低下,網絡擁堵,而隊列中的其他流程的任務因為沒有空閑的EMB傳輸服務器,只能長時間的等待。這種情況時需要有策略控制參與執行傳輸任務的EMB傳輸服務器數量,釋放EMB資源。
(2)存儲能力不足
對于一臺存儲來說,除了提供主干的數據傳輸,還要保證本系統的應用。比如圖中介紹過的播出緩存,它用2條萬兆鏈路和主干網直接連接,沒有文件共享服務器的限制,播出緩存可以提供的總帶寬為500 Mbit/s,如果多個EMB傳輸服務器同時接到傳輸播出的任務,那么傳輸的帶寬就很容易超過這個限制,導致存儲工作在不穩定的狀態下,并且導致存儲沒有帶寬資源提供播出網內部的待播文件遷移到播出服務器的關鍵任務。這種情況也需要策略控制參與執行任務的EMB傳輸服務器數量。
2)服務器分組模式的局限性
服務器分組的方法簡單說就是采用服務器專用,為每條流程指定專門的EMB傳輸服務器,相應的服務器不能再處理其他流程的任務。就上面的例子來說,在EMB任務調度層面指定2臺EMB傳輸服務器專門處理媒資下載到新聞網這條流程,這樣就可以實現對參與任務服務器數量的精確控制,但采用這種模式需要配備更多的服務器,隨著媒資網絡規模的擴大,服務器數量會成幾何級數增加,導致成本增加,網絡也變得更加復雜。
3)解決方法:服務器靈活指定技術
為了解決以上2種模式的局限性,本臺設計并應用了一種服務器靈活指定技術,可以將每個流程限制在一個或一組服務器上執行,但該服務器并不為這個流程所專用,還可以處理其他流程的任務。
EMB服務器除了執行傳輸的任務,還可以處理轉碼任務,比如可以設置為制作網只需提交素材,由EMB傳輸服務器進行播出格式的轉碼,但考慮到事故責任的劃分,各電視臺現在都已經不在媒資交互平臺進行轉碼,EMB傳輸服務器只做文件的復制工作。筆者利用EMB調度服務對EMB傳輸服務器轉碼能力的區分來實現控制,為每個流程設置一個單獨的轉碼位,這個轉碼位對應一個轉碼能力,在EMB調度分配任務時,會根據流程的轉碼位來選擇具有轉碼能力的傳輸服務器來執行任務。如果具有相應轉碼能力的服務器都處于忙碌狀態,那么任務會排隊等待。每個服務器可以配置多個轉碼能力。
以媒資下載到新聞網的流程來舉例。首先在EMB的配置中定義新的轉碼能力,在參數配置中增加新的外系統自定義的轉碼能力,名稱為mz,能力位為1。EMB配置示意圖如圖3所示。

圖3 EMB配置示意圖1(截圖)
然后指定2臺EMB傳輸服務器ACTOR1和ACTOR3可以處理mz任務。EMB配置示意圖如圖4所示。

圖4 EMB配置示意圖2(截圖)
此外,還需修改ESB的流程定義,使媒資下載到新聞網的流程在調用增加EMB任務時,將能力位1傳送給EMB調度,在ESB流程的調用增加EMB服務節點,增加以下字段和定義:
<m0:GlobalOption>
<m0:TCAbility>1</m0:TCAbility>
</m0:GlobalOption>
完成以上設置后,所有媒資下載到新聞網的流程都帶被定義為類別為1的轉碼任務,EMB調度任務時,會分配給具有相應能力的2臺傳輸服務器處理。
EMB共享模式結合服務器靈活指定技術可以實現對EMB傳輸任務細致有效的管理,根據系統的應用情況來選擇如何分配傳輸服務器,需要注意的是,設置中的轉碼并不進行真的轉碼工作,只是用來做EMB調度分配任務的依據。
2.3文件共享服務器負載分配
最理想的情況下,與主干互聯的網絡的文件共享服務器使用集群策略,對主干提供一個統一的服務IP來做文件訪問,內部根據各文件共享服務器的負載情況來分配任務,但這種方式成本昂貴,技術復雜。所以,一般情況下,只能在EMB傳輸服務器的存儲映射策略上做合理的安排,實現存儲映射層面的平均分配,不能實現按流量的負載均衡。
在設計EMB服務器和文件共享服務器的對應關系時盡量使每個文件共享服務器對應的EMB服務器數量相等,此外,可以利用網絡文件系統提供的特性,實現服務器之間的高可用。
媒資交互平臺服務質量控制是IT層面的課題,它和電視信號無關,只關心文件如何在網絡上的傳輸。各臺在推進網絡化、無帶化的生產流程時都會遇到類似的問題,就文件送播流程來講,必須制定時長幾倍于磁帶送播的“關門時間”,這樣就壓縮了記者的編輯時間。媒資交互平臺的管理人員要根據應用情況,合理應用本文介紹的幾種策略,尋找投入成本、系統復雜性和人為干預程度等幾個要素中的平衡點,提高媒資交互平臺的可用性。
[1]IETF.Policy Quality of Service(QoS)Information Mode,IETF RFC3644[S].2003.
[2]張國清.QoS在IOS中的實現與應用[M].北京:電子工業出版社,2010.
[3]電視臺數字化網絡化工作組.電視臺數字化網絡化建設白皮書2007[EB/OL].[2014-11-01].http://wenku.baidu.com/link?url=MpZ 7uVlY-7MK4ePriTksmFBTngkcZmZs4ZyXwDwTgk1ZUOJt0Tism TNkSzmKR4Oa6sLNb-3lr04lgVpcsozGXsKlK8dL3QDw3phPVkU gXoK.
TN948
B
10.16280/j.videoe.2015.10.023
閆雯雯
2014-12-01