胡 濤
(深圳廣播電影電視集團,廣東 深圳 518026)
基于云架構的深圳廣電融合媒體數據中心設計
胡 濤
(深圳廣播電影電視集團,廣東 深圳 518026)
基于融合新聞生產制播平臺業務需要,設計了融合媒體數據中心。通過應用云計算、IP集群存儲等技術,將廣電全臺網完全架構在私有云上,突破了系統規模的限制,實現了通用硬件和專業軟件的分離、辦公生產一體化、融合生產全時化,提升了新聞生產效率、產能、共享能力。最后,對融合媒體數據中心在混合云、全臺網演進、云安全、統一運維與監控等方面進行了展望。
全媒體;云計算;媒體數據中心
融合新聞中心項目是深廣電集團由傳統媒體向融合媒體轉型的標志項目,調研、論證、建設長達6年,涉及機制、流程、技術等多方面創新和變革,第一期工程于2015年5月正式投入使用。項目總投資近1.8億,其中工藝系統設備投資預算1.1億,建筑總面積為4 300 m2。為了實現全媒體業務流程變革和技術支撐升級的項目目標,深圳廣電和成都索貝公司、華為公司聯合研發并實施基于云架構、全IP化的融合媒體數據中心。
傳統媒體的輿論引導能力面臨挑戰,互聯網已經成為輿論斗爭的主戰場;另一方面,傳統媒體的盈利模式面臨挑戰,電視廣告收入增幅幾乎零增長,廣告平均價格大幅度下降。形勢的變化,要求廣電技術系統建設從“網絡化、文件化、高清化”改造逐步轉向“用戶導向,服務導向”的流程改造和模式創新。因此,融合媒體數據中心建設不僅要滿足節目部門對內容生產平臺的需求,而且還要適應傳統媒體和新興媒體融合發展的趨勢。
1.1 全媒體云計算與全IP化
20世紀90年代以來,深圳廣電集團(含原深圳電視臺)電視內容生產平臺依次經歷了編輯工具數字化、生產系統網絡化、內容生產平臺云化三個階段,IP化則貫穿其中。總體而言,編輯工具數字化提高了節目制作水平和效率,提升節目生產過程的管控能力;生產系統網絡化逐步消除業務孤島,節目制播的運作效率和資源共享的能力進一步提升。為了應對新媒體競爭以及自身融合發展需要,深圳廣電內容生產平臺利用融合新聞中心項目建設的契機開始進入全IP和云計算時代。
1)電視生產業務系統全流程IP化探索
在傳統媒體與新媒體融合的過程中,內容生產平臺整體架構向全IP融合架構演進成為業界一致的認識,這一演進過程可以稱為內容生產網絡的全IP化。生產系統全流程IP化實際上是采、編、播、存各個節點采用IP協議實現互聯互通,并在線路傳輸、實現協調控制、完善網絡應用等三個層面完成IP化改造。2005年元旦,深圳廣電上線全臺網,為進一步提高生產效率和降低成本,開始逐步對內容生產體系全業務流程進行IP化改造。深圳廣電全臺網的全IP化改造主要包括信號和信令的IP化、業務流程的文件化、生產管理的信息化等方面。
2)內容生產制作平臺的私有云實踐
云計算是通過互聯網提供各種計算服務和存儲服務,包括基礎設施即服務(IaaS)、平臺即服務(PaaS)和軟件即服務(SaaA)等服務模式。云計算的部署模式包括私有云、社區云、公有云、混合云。文獻[1]提出多媒體云和云多媒體來研究多媒體云計算。在云中進行多媒體信息處理帶來了巨大的挑戰,包括多媒體和服務異構性、QoS異構性、網絡異構性、設備異構性。云計算不僅有助于工作效率、降低運營成本,還可以促進內容資源整合、發展創新業務,為內容生產提供良好的技術基礎。從中國國際廣播電臺、央視新址、北京電視臺、鳳凰衛視在廣電云平臺的實踐來看,云計算技術在廣電應用的優勢主要體現在有效降低用戶的使用終端成本[2]、優化技術調配運維和促進業務運營[3]、業務實現敏捷,實現“全媒體、全時空”的高效業務運營[4]。
1.2 深廣電全臺網的發展
深圳廣電集團全臺網經過10年發展,電視內容生產網絡的資產規模增長4倍,直播時長增長26倍,為了滿足不斷發展的內容生產業務的需求,深圳廣電不斷優化和改造全臺網。
2004年,深圳廣電率先于全國建成全臺網絡化制作播出系統,實現采、編、播文件化交互和網絡化傳輸播出。但由于全臺網原有設計和當時技術限制,系統之間普遍通過單點連接,媒體資源共享性較差;中央節點負擔重,形成“瓶頸”,一旦發生故障,則全網受到影響。
2010年開始,深圳廣電的基于雙總線架構的主干平臺投入使用,建立以主干為總線、其他系統向主干注冊服務的模式,應用層面通過統一檢索平臺實現元數據檢索和調用。這些項目建設實現了高標清素材級(文稿、串聯單、成品和素材)互相調用,實現了異地異構系統間的協同工作,構建了標準化的集團內部接口服務;但是在松散耦合系統中,子系統都是服務提供者,被動地被外界調用;除媒資、播出和收錄向外提供較多服務之外,其他子系統間缺乏統一的業務流程驅動,導致業務量極少,特別是網臺互動實際應用不多。
隨著業務壓力的日益增大,設備使用年限的逐年增加,故障發生頻率越來越高,2011年前4個月時間內,設備故障率已經達到2010年全年故障數量的77%,其中故障主要集中在存儲故障、關鍵服務器故障、單點故障等方面。
深圳廣電內容生產網的發展主要面臨3個方面的挑戰:
1)生產系統“煙囪式”發展,資源無法有效利用;系統安全防護需要進一步加強;面對不斷增加的業務需求,需要進行系統性的整體規劃。
2)新媒體迅猛發展,網臺互動依然是“兩張皮”。
3)如何做好標清資產的再利用。在深廣電高清化過程中,原有5個標清制播網絡價值數千萬的標清設備、系統(授權)再利用問題。
1.3 深廣電融合媒體數據中心需求分析
經過持續調查與研究,深圳廣電希望通過業務流程變革和技術支撐升級來應對上述挑戰。一方面,優化現有流程,改善資源共享的效率和安全性,完善新聞流程的一體化設計;應對未來全媒體環境下的業務生產,重構傳統媒體與新興媒體融合的生產流程;另一方面,面對不斷擴張的業務需求,建立更具彈性,橫向擴展性更強的IP化、分布式基礎架構;面對內部業務生產建立媒體私有云,針對全媒體的生產環境,結合公有云服務建立“混合云”。
2013年,融合新聞中心開始建設。系統包含5個生產業務系統、2個生產輔助系統,系統平臺包含160多個子功能模塊,支持電視、微博、微信、App等平臺的新聞生產與發布。項目采用全IP化、私有云技術、IP分布式存儲,實現90%后臺計算資源的虛擬化,采用桌面虛擬化、流媒體技術實現視頻簡編業務。深圳廣電在建設全媒體融合新聞中心過程中,積極探索和實踐云計算技術在融合新聞生產平臺中的應用。其中,融合新聞中心媒體數據中心在IAAS層、終端層,混合云等方面進行了云計算的探索。
2013年,深圳廣電、系統集成廠商、硬件廠商建立聯合實驗室,聯合實驗室主要測試項目包括服務器虛擬化、分布式存儲兩大類共16項。通過9個多月的測試和完善,基本確認現有技術設備和系統可以支持融合媒體數據中心的內容資源全IP化、業務能力平臺化、生產系統云化等3個設計目標。參考互聯網數據中心(Internet Data Center)平臺架構,融合新聞中心項目提出并建設了“媒體數據中心(Media Data Center,MDC)”。融合媒體數據中心(MDC)是融合新聞中心技術平臺的一部分,為融合新聞中心新聞運作與指揮平臺(NRP)、全媒體匯聚平臺、融合生產平臺、全媒體發布平臺提供媒體處理、業務支撐、公共服務、IT基礎架構、傳統媒體基礎架構等資源,同時接收云管理平臺、統一監控中心的管理和監控。
2.1 基礎設施層設計
MDC基礎設施層主要包括分布式IP存儲設計、虛擬計算資源設計、網絡及安全設計等部分,重點實現:1)為上層業務系統提供可靠、安全、高效、可擴展性強的存儲資源、計算資源和網絡資源;2)要求MDC在不改變系統結構、僅增加硬件資源的前提下可支持接入新的業務,即可擴展到全臺網。
1)分布式IP存儲設計
傳統廣電生產系統的存儲采用FC+IP的雙網架構,很重要的原因是帶寬、延遲和抖動等方面的QoS(服務水平保障)要求[1]。項目組通過聯合實驗室測試驗證了分布式IP集群存儲可以滿足業務要求。因此,系統整體存儲架構采用在線、歸檔一體化設計,通過分級存儲方式實現對媒體文件以及其他非媒體文件的管理,能在系統生命周期的各個階段實現動態擴展和均衡。根據業務需求,存儲系統需要支持全媒體匯聚、內容交換、融合生產、發布,并支持在線和歸檔需求。媒體數據中心存儲業務類型分為在線存儲、歸檔存儲和應急存儲三類。邏輯上將在線存儲和歸檔存儲融設計為一套存儲系統,即在線/歸檔存儲,一共包含22個P節點(Performance node)和7個C節點(Capacity node),統一對外提供服務,存儲內部采用存儲分層的辦法,實現素材在歸檔存儲空間(7個C節點)和在線存儲空間(22個P節點)之間的數據遷移。剩余的3個C節點存儲組成一套應急存儲,用于支撐系統最小規模業務數據量(一期設計支持20個高清站點的在線新聞制作)。
分布式IP集群存儲支持擴容至40 Pbyte,隨著存儲節點的增加,容量和帶寬均呈線性增長。在線存儲(2個子域)上可以同時損壞的節點數或硬盤數量為4個。歸檔存儲域上可以同時損壞的節點數或硬盤數量為2個。應急存儲上可以損壞的節點數為1個,可以同時損壞的硬盤數為2個。當主存儲不可用的情況下,切換至3節點的應急存儲,保障核心業務不中斷。
2)計算資源設計
根據業務需求,融合新聞中心計算資源總計需要6類共310臺服務器資源,其中290臺通過服務器虛擬化提供,7%的計算資源采用物理服務器提供,例如演播室類服務器所在網絡比較獨立,安全性和松耦合要求較強。SDI收錄類服務器因專業設備(板卡等)無法通過服務器虛擬化提供。D類視頻渲染類服務器還涉及GPU虛擬化,主要采用GPU直通共享模式。
計算資源虛擬化部分根據業務需求和安全等級劃分3個區域:MDC服務器虛擬化、DMZ區服務器虛擬化、流媒體編輯桌面虛擬化。3個MDC區刀箱中,包含全寬顯卡刀片10塊,每個刀片有顯卡2張,用于合成虛擬機的渲染使用。通過外掛2臺IP SAN存儲作為虛擬化共享存儲,用來存放虛擬服務器的OS、數據庫實例卷、索引文件卷、IP收錄緩存卷。2臺虛擬化共享存儲實現負載均衡、互為主備,通過同步遠程復制功能,保持數據同步。MDC區虛擬化平臺滿足250臺服務器的虛擬化。
DMZ區虛擬化平臺和桌面虛擬化分別采用計算+存儲一體機刀框。所用刀片既提供計算資源,又提供虛擬化共享存儲。通過分布式存儲系統將刀片自帶SAS硬盤做成存儲池,為虛擬機或虛擬桌面提供OS存儲。DMZ區虛擬化平臺滿足80臺服務器的虛擬化。桌面虛擬化支持200個桌面的虛擬化。
3)網絡及安全設計
融合新聞中心網絡拓撲設計如圖1所示。

圖1 融合新聞中心網絡拓撲圖
媒體數據中心采用分布式數據中心的模式,即目前融合新聞中心的媒體數據中心和未來建設的媒體數據中心在不同的物理位置,但在邏輯上是同一個媒體數據中心。媒體數據中心部署1對堆疊數據中心交換機,虛擬化資源池、服務服務器資源池、分布式存儲資源和圖文包裝系統均接入數據中心交換機。部署2套互為主備應用負載均衡器,實現業務系統的負載均衡。部署1對數據中心防火墻,用于外部訪問的安全隔離。
終端接入區包括專用生產終端、生產辦公一體化終端、在線包裝終端、離線包裝終端。專用生產終端指高碼編輯工作站、高碼審片工作站、配音工作站,這部分終端直通數據中心訪問業務,不能訪問互聯網和辦公網;生產辦公一體化終端指低碼編輯工作站、流媒體編輯工作站,這部分終端需要訪問互聯網和辦公網,訪問生產業務必須經過數據中心防火墻。在線包裝終端不能訪問互聯網和辦公網;離線包裝終端能夠訪問互聯網和辦公網,訪問生產業務必須經過數據中心防火墻。
外部安全交換區是互聯網、集團下屬新媒體網絡接入電視生產網的中轉交換區域。融合新聞中心各業務系統需要和互聯網、集團下屬新媒體網絡進行業務交互的,在外部交換區實施部署相關安全措施。
辦公邊界安全交換區是辦公網絡接入電視生產網的中轉交換區。融合新聞中心各業務系統需要和辦公網絡進行業務交互的,在外部交換區實施部署相關安全措施。
2.2 平臺層設計
融合新聞中心平臺層為上層業務系統提供媒體處理服務、業務支撐服務、全媒體內容庫服務、數據庫與中間件服務。
1)媒體處理服務
媒體處理服務提供對媒體文件的內容處理的公共服務,供上層業務系統調用。可支持對各種媒體文件處理:渲染服務、技審服務、轉碼服務、遷移分發服務、語音轉文本服務、流媒體服務。各類媒體處理服務器采用集群模式,由任務管理器統一調度。集群內包含多臺相同功能的媒體處理服務器對同一任務分片并行處理或多任務并行處理,既能提高業務的處理性能,又能實現業務高可用。
2)業務支撐服務
可以提供流程管理、安全認證、協同工作等基礎公共服務。系統需提供統一的接入技術協議標準,具備系統應用服務統一管理能力和調度能力。主要包括:統一認證/登錄服務、統一時鐘服務、訪問控制服務、工作流引擎服務、消息服務、統一代碼應用。
3)全媒體內容庫服務
全媒體內容庫服務實現元數據管理、空間管理、內容檢索、內容分布式管理等功能,包括以下模塊:內容匯聚、內容組織、內容處理、內容檢索呈現。全媒體內容庫匯聚內容包括視頻網站、合作媒體、社交網絡、用戶分享、制作網稿件、制作網素材和節目以及收錄素材等,包含視頻、音頻、圖片、文字、Flash等多種類型。內容庫的視頻文件經過智能語音識別、轉場識別等多種智能處理引擎,自動生成素材相關的元數據信息。所有資源匯聚后分類展現,統一搜索,自動匯聚元數據資源,增加標簽功能需求。
4)數據庫與中間件服務
融合新聞中心項目將數據庫與中間件設計成一個公共服務平臺,整合數據庫和中間件需求,實現統一數據庫和中間件平臺,滿足上層業務系統的需求。數據庫平臺采用主、備、第三備多層防護架構,實現數據庫的高可用。同時使用統一數據庫平臺為不同的上層業務提供數據庫調用服務。數據庫中間件實現的3層架構,做到系統主體業務及數據體系和應用系統的框架無關性,系統靈活構成3層C/S結構,或B/S結構,最大程度減輕用戶數據訪問對系統的維護負擔,提高系統訪問安全性和對具體業務的支持能力。
2.3 業務層部署設計
融合新聞中心業務層包括全媒體匯聚平臺、融合生產平臺、全媒體發布與互動平臺、新聞指揮與運作平臺。上層業務層依托MDC基礎設施層和平臺層為最終用戶提供服務。業務層部署設計主要如下:
1)服務器部署方式
虛擬化服務器部署:除演播室業務和SDI收錄業務外,所有業務均部署在虛擬化服務器上,包括IP收錄業務、融合生產業務、新媒體發布與互動業務、新聞指揮與運作業務、DMZ區接口業務、后臺管理業務。
物理服務器部署:演播室業務、SDI收錄業務。
2)高可用部署
負載均衡方式:所有B/S類業務,包括文稿、新聞指揮、全媒體發布等均采用多個資源池由負載均衡器調度的方式部署,其中任何一個資源發生故障不影響整體業務的運行。
集群方式:媒體處理業務如合成、轉碼、遷移,流媒體等業務采用集群方式部署,多個資源池由MPC統一調度管理,實現在任何一個資源不可用的情況下,可以自動調度其他資源。
主備熱備方式:播出服務器、播出控制工作站等業務采用主備熱備的方式部署,當主業務出現故障時,自動切換至備業務。
3)極端情況下的業務可持續性設計——編輯工作站分布式備份
在MDC存儲、計算資源、網絡均不可用的極端情況下,如何僅僅利用編輯工作站完成新聞制作,是融合新聞中心業務部署的關鍵點。融合新聞中心采用編輯工作站分布式備份的方式實現極端情況下的新聞制作和播出業務。在日常新聞制作過程中,將各個制作環節的數據如上載、配音、粗編、精編、審片的數據自動備份到預定的編輯工作站的本地硬盤上。當新聞制作模塊因發生極端故障不可用時,利用預定備份工作站的備份數據,啟用本地編輯、本地合成、本地審片模式,完成新聞制作。新聞制作完成后將成品節目下載到藍光盤,并將藍光盤送演播室播出。
2.4 基于云架構的媒體數據中心實現
傳統全臺網各業務系統采用煙囪式的建設,形成各自獨立的網絡孤島,造成資源不能有效整合和共享,系統擴展性差。基于云架構的媒體數據中心實現資源的整合和系統的平臺化,有利于提高資源利用率、降低成本、提高系統部署敏捷性[3]。
融合新聞中心私有云架構如圖2所示,包括IaaS層、PaaS層、SaaS層和云管理平臺。融合媒體數據中心采用32個節點的IP分布式存儲,總容量1.5 Pbyte;400個服務器虛機(總計 2 000 個VCPU、3.5 Tbyte VMemory、100 Tbyte VStore、80個VGPU),實現90%后臺應用服務器計算資源虛擬化;前端支持100個高碼高清站點、100個代理高清編輯站點,以及100個桌面虛擬化工作站對生產域提供上網和辦公業務,對辦公域提供流媒體簡編業務。

圖2 融合新聞中心私有云架構
深圳廣電融合新聞中心全媒體云平臺是在全媒體匯聚、共平臺生產、多渠道發布的一體化業務基礎上,集合全媒體采、編、播、存、管的所有環節,提供一個長期不間斷運行、高可靠性、高處理能力、可擴展性強的多業務支撐平臺。融合媒體數據中心是業務支撐系統的基礎,MDC按照分布式架構設計,本次完成第一個節點,隨著業務的發展建設后續節點。
3.1 私有云和公有云
深圳廣電融合新聞中心項目(一期)多媒體云平臺是一個私有云平臺。隨著未來高清業務發展,需要更多存儲,現有資源池即使不斷擴容,但是維護海量存儲資源池和同樣數量級災備系統的投資非常大。未來可以考慮通過低廉的公有云租用減少人力和設備支出,例如IP收錄、輿情監控、全媒體匯聚等業務可以向公有云擴展延伸。同時,對于具有公眾訪問意義的內容可以擴展到公有云上,為用戶快速搜索、訪問和視頻資源挖掘提供便利。
3.2 全臺網的云平臺演進
隨著媒體云架構成功應用于融合新聞中心項目,深圳廣電后續將其逐步應用于全臺網其他新聞欄目、電視節目以及離線制作類節目,甚至是廣播頻率等,同時考慮到各業務板塊的獨立性,需要在一體化的計算資源池、存儲資源池上分業務獨立部署,同時保持隔離和互通。現有的云計算vDC虛擬化數據中心技術已經能夠支持這類需求。
3.3 媒體云的安全體系
現有媒體云設計了較為完善的冗余備份和安全防范體系,保障系統高可靠和端到端的安全,具有全面的多層次安全防護,無單一崩潰點,應急手段較為豐富,應急播出不對正常播出頻道產生影響[5-7]。從上線運行情況來看,這些設計還要在實際運行中加以檢驗和完善;同時融合生產對于辦公、互聯網、生產網絡一體化的要求越來越緊迫。
3.4 媒體云的運維與監控
媒體云管理平臺需要有集中統一的系統監控體系,且能擴展升級到更高層次的IT服務管理或BSM業務服務管理體系。目前深圳廣電融合媒體數據中心采用Fusion Sphere自帶的Fusion Manager云管理軟件,負責全系統云架構下硬件和軟件資源的操作維護管理、用戶業務的自動化運維;采用捷成世紀IT基礎架構監控,實現對硬件等基礎架構日常運行狀態監控;采用索貝業務系統監控軟件,對業務系統關鍵進程和性能等進行了相關監控。深圳廣電未來將繼續探索多平臺監控向統一運維監控的演進。
[1] 朱文武.多媒體云計算[J].電子產品世界,2011,18(9):18-23.
[2] 周毅,楊淮,袁敏,等.廣電云體系研究與實現[J].電視技術,2012,36(20):5-12.
[3] 芮浩.基于云架構的北京網絡廣播電視臺建設[J].電視技術,2014,38(6):31-33.
[4] 王建新.鳳凰衛視創新平臺應對全媒體挑戰[J].電視技術,2014,38(18):16-18.
[5] 周毅,楊淮,袁敏,等.廣電云體系研究與實現[J].電視技術,2012,36(20):5-12.
[6] 董全武.電視工藝系統的全媒體云架構設計[J].現代電視技術,2014(9):67-69.
[7] 周毅,王力劭.“云計算”與多媒體綜合業務制播平臺[J].中國傳媒科技,2011(6):24-31.
Design of Media Data Center Based on Cloud Architecture in Shenzhen Media Group
HU Tao
(ShenzhenMediaGroup,GuangdongShenzhen518026,China)
To meet omnimedia news production system’s need, the media data center in the Shenzhen media group is designed. Based on cloud computing technology and IP cluster storage technology, a private cloud platform is constructed for supporting production and broadcasting system. The solutions can realize the separation of general hardware and software, and improve the platform of news production effectiveness and sharing ability. Finally, the development of the media data center about the hybrid cloud, the whole network evolution, the security of the media cloud, unified maintenance and monitoring, etc, are discussed.
omnimedia; cloud computing; media data center
TN948
A
10.16280/j.videoe.2015.18.014
2015-06-10
【本文獻信息】胡濤.基于云架構的深圳廣電融合媒體數據中心設計[J].電視技術,2015,39(18).
胡 濤(1977— ),高級工程師,博士,主要研究方向為廣電工程、全臺網、新媒體運營與管理、媒體云、數據庫與知識庫等。
責任編輯:任健男