第44屆世遺大會(huì)收錄及媒資系統(tǒng)方案設(shè)計(jì)與應(yīng)用

黃亞海

（福建省廣播影視集團(tuán)，福建 福州 350004）

0 引 言

第44 屆世界遺產(chǎn)大會(huì)于2021年7月舉辦，在福州設(shè)立主會(huì)場，以線上會(huì)議為主，線上線下相結(jié)合的方式舉行。大會(huì)設(shè)立新聞中心，設(shè)置媒體工作區(qū)、新聞發(fā)布廳、采訪間等，統(tǒng)籌新聞宣傳和提供媒體服務(wù)。

世遺大會(huì)相關(guān)會(huì)議活動(dòng)多為閉門性會(huì)議，以中、英、法、西、原聲多語言形式推流，主辦方要求在新聞中心內(nèi)建設(shè)一套收錄及媒資應(yīng)用系統(tǒng)，收錄留存會(huì)議期間所有相關(guān)的視音頻資料，并在公網(wǎng)上以Web 登陸方式向媒體記者提供大會(huì)資料及相關(guān)會(huì)議內(nèi)容的檢索和下載服務(wù)，方便國內(nèi)外媒體能夠及時(shí)了解和報(bào)道會(huì)議的相關(guān)內(nèi)容。由于系統(tǒng)開放公網(wǎng)訪問，要求系統(tǒng)的建設(shè)須充分考慮網(wǎng)絡(luò)安全性。

1 系統(tǒng)設(shè)計(jì)原則

收錄與媒資系統(tǒng)是世遺大會(huì)新聞中心的重要組成部分，對外提供大會(huì)信息查詢，因此系統(tǒng)設(shè)計(jì)要求以安全穩(wěn)定為第一要素。系統(tǒng)圍繞以下幾方面的設(shè)計(jì)原則，建設(shè)滿足實(shí)際應(yīng)用的收錄及媒資系統(tǒng)：

（1）安全可靠性：系統(tǒng)從架構(gòu)設(shè)計(jì)、信息安全、系統(tǒng)集成都必須堅(jiān)持安全可靠性原則，要求整個(gè)數(shù)據(jù)鏈路和關(guān)鍵設(shè)備都有完善的冗余備份機(jī)制，整個(gè)系統(tǒng)無單點(diǎn)、有冗余和可應(yīng)急。保證收錄穩(wěn)定、存儲帶寬和網(wǎng)絡(luò)帶寬穩(wěn)定，同時(shí)還要保證網(wǎng)絡(luò)安全和數(shù)據(jù)安全。

（2）技術(shù)先進(jìn)性：系統(tǒng)建設(shè)采用先進(jìn)成熟的技術(shù)和設(shè)備。

（3）易使用和維護(hù)性：系統(tǒng)實(shí)現(xiàn)上要求流程合理、功能完善、操作界面簡潔友好、使用方便，便于監(jiān)控、配置以及故障排除。

2 系統(tǒng)總體結(jié)構(gòu)及技術(shù)特點(diǎn)

如圖1所示，本系統(tǒng)從功能架構(gòu)上由三部分組成：收錄子系統(tǒng)、媒資子系統(tǒng)和網(wǎng)絡(luò)安全防護(hù)子系統(tǒng)。系統(tǒng)通過兩條網(wǎng)絡(luò)專線與公網(wǎng)連接，一條專線用來收錄，另一條專線用來訪問媒資系統(tǒng)。媒體工作區(qū)配置100 套媒資工作站，其中90套工作站通過公網(wǎng)訪問媒資系統(tǒng)；另外10 套工作站由于都開放USB 接口，不直接接入內(nèi)部網(wǎng)絡(luò)，通過媒體區(qū)媒資站點(diǎn)交換機(jī)再接入?yún)R聚交換機(jī)，當(dāng)外網(wǎng)連接故障，用戶在媒體工作區(qū)可以通過這些媒資站點(diǎn)繼續(xù)訪問媒資系統(tǒng)。

圖1 系統(tǒng)拓?fù)鋱D

系統(tǒng)服務(wù)的實(shí)現(xiàn)采用“平臺+工具”的建設(shè)思路，如圖2所示，自下而上的三個(gè)層次分別為基礎(chǔ)資源支撐平臺、媒體服務(wù)支撐平臺和應(yīng)用工具平臺。基礎(chǔ)資源為上層提供硬件支撐，媒體服務(wù)支撐平臺具備一系列的業(yè)務(wù)服務(wù)能力，應(yīng)用工具平臺提供上下載和編目等工具。

圖2 媒資系統(tǒng)后臺服務(wù)組成

系統(tǒng)業(yè)務(wù)支撐服務(wù)器應(yīng)用Docker 容器技術(shù)+分布式架構(gòu)，將所需的復(fù)雜的環(huán)境封裝在Docker 中，實(shí)現(xiàn)基礎(chǔ)資源的統(tǒng)一化調(diào)配和協(xié)同工作。后臺核心服務(wù)如數(shù)據(jù)庫、負(fù)載均衡服務(wù)、檢索引擎、消息服務(wù)等系統(tǒng)服務(wù)均采用Docker 容器封裝，具備快速部署與靈活擴(kuò)展能力，構(gòu)建成統(tǒng)一的媒體應(yīng)用平臺，形成全面的底層支撐。采用多副本機(jī)制保障媒資網(wǎng)的使用，當(dāng)一個(gè)服務(wù)器故障時(shí)，其他服務(wù)器自動(dòng)分?jǐn)偣收戏?wù)器的任務(wù)為系統(tǒng)提供服務(wù)，在分布式的基礎(chǔ)上，形成“多活”架構(gòu)，保障平臺的服務(wù)持續(xù)性。

下面對本收錄及媒資系統(tǒng)的三個(gè)子系統(tǒng)的實(shí)現(xiàn)做具體說明。

2.1 收錄系統(tǒng)

收錄系統(tǒng)通過網(wǎng)絡(luò)安全設(shè)備訪問公網(wǎng)，收錄大會(huì)期間各會(huì)議活動(dòng)現(xiàn)場的推流信號，收錄完成的文件自動(dòng)遷入媒資內(nèi)容庫，供媒體記者檢索、下載使用。系統(tǒng)要求收錄穩(wěn)定、制定相應(yīng)手段保證任務(wù)的安全完成。下面從收錄系統(tǒng)的功能性、網(wǎng)絡(luò)結(jié)構(gòu)以及收錄任務(wù)安全性這三個(gè)方面做說明。

2.1.1 功能性

本收錄系統(tǒng)使用簡單，功能完善。每臺收錄服務(wù)器為獨(dú)立化的收錄單元，無需后臺服務(wù)和復(fù)雜管理配置。單臺收錄服務(wù)器支持多通道高標(biāo)清信號收錄，支持多種編碼格式和碼率的收錄，可以分段收錄，根據(jù)設(shè)置的分段時(shí)間形成多個(gè)收錄文件，收錄完的文件自動(dòng)遷移進(jìn)入媒資系統(tǒng)，不需要等整個(gè)任務(wù)結(jié)束。

大會(huì)期間存在三個(gè)會(huì)議的同時(shí)推流，每個(gè)會(huì)議需要5 個(gè)聲音語種推流以及采用一個(gè)任務(wù)兩個(gè)服務(wù)器收錄的備份模式，最多需要30 個(gè)通道同時(shí)錄。因此收錄系統(tǒng)必須能夠配置滿足多路流信號的同時(shí)穩(wěn)定收錄，確保滿足收錄源數(shù)量。本收錄系統(tǒng)通過配置4 套該類型收錄服務(wù)器堆疊形成整體的收錄網(wǎng)絡(luò)，每臺收錄設(shè)備可以同時(shí)收錄8 路IP 流，共32 路，滿足大會(huì)的收錄源數(shù)量。

2.1.2 收錄系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)

收錄服務(wù)器需要訪問公網(wǎng)收錄網(wǎng)絡(luò)流，還需訪問內(nèi)部網(wǎng)絡(luò)存儲，需要考慮網(wǎng)絡(luò)結(jié)構(gòu)安全性。網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)如圖1，收錄系統(tǒng)采用雙網(wǎng)結(jié)構(gòu)，每臺收錄服務(wù)器均使用雙網(wǎng)卡，一張網(wǎng)卡接入收錄千兆交換機(jī)，該交換機(jī)和匯聚交換機(jī)相連，通過網(wǎng)絡(luò)安全設(shè)備訪問公網(wǎng)，保障系統(tǒng)的安全；另一張網(wǎng)卡接入內(nèi)部業(yè)務(wù)核心網(wǎng)絡(luò)，收錄下來的文件通過該網(wǎng)卡遷入內(nèi)部網(wǎng)絡(luò)存儲，媒資系統(tǒng)相應(yīng)后臺服務(wù)進(jìn)行掃描文件入媒資庫。

收錄系統(tǒng)需要有足夠的外網(wǎng)網(wǎng)絡(luò)帶寬才能保證穩(wěn)定的收錄，訪問公網(wǎng)通過一條專用的500 Mb 網(wǎng)絡(luò)專線。系統(tǒng)每個(gè)通道收錄的碼率為10 Mb/s，極限上32 個(gè)通道同時(shí)收錄，總共需320 Mb 的網(wǎng)絡(luò)帶寬，因此配置500 Mb 的網(wǎng)絡(luò)專線帶寬能夠滿足收錄帶寬需求。

2.1.3 收錄任務(wù)安全性

為了保證收錄任務(wù)的順利完成，除了收錄時(shí)一個(gè)任務(wù)兩個(gè)服務(wù)器收錄的備份模式，本收錄系統(tǒng)還可以采用推流云端備份。會(huì)議活動(dòng)推流是向索貝凌云云端推流，收錄服務(wù)器向云端拉流。推流時(shí)，在云端同時(shí)會(huì)收錄一份會(huì)議內(nèi)容當(dāng)做備份。如果收錄系統(tǒng)因故障沒有完成收錄任務(wù)，則提取云端保留的備份，保證收錄內(nèi)容不丟失。

2.2 媒資系統(tǒng)

媒資系統(tǒng)在網(wǎng)絡(luò)上對各媒體記者提供會(huì)議資料檢索和下載。系統(tǒng)的建設(shè)要求是一套安全可靠的專業(yè)媒資系統(tǒng)，注重?cái)?shù)據(jù)安全和網(wǎng)絡(luò)安全。系統(tǒng)設(shè)計(jì)須充分考慮存儲的讀寫帶寬和外網(wǎng)網(wǎng)絡(luò)專線帶寬，保證訪問穩(wěn)定。

2.2.1 分布式集群服務(wù)

媒資系統(tǒng)服務(wù)采用全對等分布式后臺架構(gòu)，提供平臺服務(wù)的業(yè)務(wù)支撐服務(wù)器有3 個(gè)節(jié)點(diǎn)，采用集群化處理，各服務(wù)組件為多節(jié)點(diǎn)容器集群并行計(jì)算機(jī)制。一個(gè)系統(tǒng)節(jié)點(diǎn)故障只降低1/（≥3）的處理能力，損壞（-1）/2 個(gè)整數(shù)倍節(jié)點(diǎn)以內(nèi)不會(huì)造成系統(tǒng)崩潰。任意一個(gè)系統(tǒng)服務(wù)（包括數(shù)據(jù)庫）所處的虛擬服務(wù)設(shè)備宕機(jī)時(shí)，業(yè)務(wù)運(yùn)行無縫接續(xù)，業(yè)務(wù)數(shù)據(jù)無損續(xù)寫。分布式系統(tǒng)服務(wù)隨時(shí)處于活躍狀態(tài)，隨時(shí)都是自動(dòng)負(fù)載均衡和自動(dòng)故障切換。系統(tǒng)的存儲采用3 節(jié)點(diǎn)的分布式存儲，采用2+2：1 保護(hù)模式，允許存儲集群最多支持1個(gè)節(jié)點(diǎn)或節(jié)點(diǎn)上2 塊磁盤故障而無數(shù)據(jù)丟失，充分保證數(shù)據(jù)安全。

完全對稱的分布式計(jì)算架構(gòu)、提供平臺程序、業(yè)務(wù)、硬件資源運(yùn)行維護(hù)監(jiān)控、實(shí)現(xiàn)對各種媒資數(shù)據(jù)的組織管理，分布式系統(tǒng)多個(gè)節(jié)點(diǎn)保證了計(jì)算、數(shù)據(jù)庫和存儲的安全，使系統(tǒng)具備高可靠性。

2.2.2 媒資功能及資料上傳設(shè)計(jì)

本媒資系統(tǒng)實(shí)現(xiàn)會(huì)議資料入庫，在線提供檢索和下載，流程合理，界面使用簡單清晰。如圖3所示：引入上載或者收錄下的文件，通過媒體處理服務(wù)器智能處理服務(wù)進(jìn)行轉(zhuǎn)碼和入庫，系統(tǒng)提供客戶端上載工具可打入出點(diǎn)進(jìn)行上載，節(jié)省時(shí)間提高效率。入庫后的資料進(jìn)行編目和審核后，就可在公網(wǎng)上登錄媒資平臺進(jìn)行資料的檢索和下載。會(huì)議資料的下載可以采用打入出點(diǎn)進(jìn)行片段導(dǎo)入導(dǎo)出。本媒資系統(tǒng)的編目具有一套完整的編目流程，實(shí)現(xiàn)編目的分配、認(rèn)領(lǐng)和審核，可以提供廣電兩層編目功能：節(jié)目層編目和片段層編目。

圖3 媒資業(yè)務(wù)流程

媒資系統(tǒng)每天需上傳大量文件，須注意防范病毒。配備文件上載安全隔離盒和文件上載安全隔離網(wǎng)關(guān)來防范病毒。文件上載安全隔離盒配備在部分媒資工作站上，該隔離盒提供文件高級白名單過濾及文件格式和編碼格式等文件特征的深層次的檢測，有效杜絕假冒/偽裝文件的侵入；高達(dá)100 MB/s 的文件拷貝/遷移導(dǎo)入速度。文件安全隔離網(wǎng)關(guān)對文件上載工作站向媒資系統(tǒng)導(dǎo)入數(shù)據(jù)提供安全傳輸通道。該隔離網(wǎng)關(guān)每個(gè)通道具有100 MB/s 傳輸帶寬；提供不同網(wǎng)絡(luò)之間的文件安全傳輸；支持多個(gè)傳輸通道；每個(gè)通道2 任務(wù)并發(fā)傳輸；文件深度檢測支持對文件格式和編碼格式等進(jìn)行深層次的檢測；內(nèi)嵌病毒檢測模塊。

2.2.3 存儲帶寬和外網(wǎng)專線帶寬

媒資系統(tǒng)最主要的業(yè)務(wù)是提供數(shù)據(jù)的入庫和訪問，因此必須考慮存儲帶寬和連接公網(wǎng)的網(wǎng)絡(luò)專線帶寬。

網(wǎng)絡(luò)專線帶寬的占用主要是媒資網(wǎng)頁顯示、預(yù)覽以及下載，網(wǎng)頁頁面大小和低碼率素材預(yù)覽對帶寬相對占用小，下載對專線帶寬的占用大。通過以下幾方面來考慮：

（1）首先，在保證畫面質(zhì)量下，把導(dǎo)出碼率固定為5 MB/s，文件大小就不會(huì)過大。其次，新聞單個(gè)素材的時(shí)長不會(huì)太長，采用片段導(dǎo)出，素材時(shí)長不會(huì)長。在這兩個(gè)前提下我們認(rèn)為當(dāng)下載的時(shí)間為素材長度一半的效率是可接受的。以這效率算，單個(gè)任務(wù)導(dǎo)出碼率5 MB/s 的視頻文件，占用10 Mb 帶寬。用戶同時(shí)下載和預(yù)覽，不算網(wǎng)頁響應(yīng)時(shí)間，網(wǎng)頁頁面和低碼率素材預(yù)覽占用的網(wǎng)絡(luò)帶寬大概2 MB，那么每個(gè)用戶合計(jì)需12 MB 網(wǎng)絡(luò)帶寬。

（2）根據(jù)申請使用媒資系統(tǒng)的人數(shù)，最大并發(fā)使用不會(huì)超過80 個(gè)。

按以上兩方面測算需要的網(wǎng)絡(luò)帶寬大約為12×80=960 MB。在實(shí)際使用情況下不會(huì)達(dá)到最大并發(fā)數(shù)，因此配置1 GB 的網(wǎng)絡(luò)專線，可以滿足系統(tǒng)網(wǎng)絡(luò)帶寬需求。

存儲帶寬通過以下幾方面考慮：

（1）接入文件安全隔離網(wǎng)關(guān)的上載工作站有2 臺，按通道最高速度100 MB/s 并發(fā)傳輸需200 MB 帶寬。2 套文件上載安全隔離盒每個(gè)最高100 MB/s 速度并發(fā)需200 MB 帶寬。上載皆取最大值算（實(shí)際使用受限于接口等，如上載工作站網(wǎng)卡為千兆，因此速度達(dá)不到最大值），文件上載總共需400 MB 帶寬。

（2）收錄錄制一個(gè)通道碼率10 MB/s，32 路，總共需320 MB 相當(dāng)于40 MB 帶寬。

（3）4 臺媒體處理服務(wù)器視頻轉(zhuǎn)碼生成，經(jīng)測試轉(zhuǎn)碼生成時(shí)間大約為原視頻長度1/3，系統(tǒng)里的視頻文件為碼率10 MB/s 的收錄文件和碼率為30 MB/s 其他來源的視頻文件，碼率30 MB/s 文件轉(zhuǎn)碼為同碼率文件每臺服務(wù)器對存儲讀寫帶寬需30×3×2=180 MB，4 臺服務(wù)器合計(jì)需180×4=720 MB 相當(dāng)于90 MB 左右的帶寬。

（4）媒體工作區(qū)域的媒資站點(diǎn)交換機(jī)1 GB 接入?yún)R聚交換機(jī)，訪問媒資的外網(wǎng)專線帶寬1 GB，用戶對媒資主要是讀訪問，對存儲產(chǎn)生的帶寬需求最大2 GB 相當(dāng)于256 MB帶寬（媒資片段導(dǎo)出，需轉(zhuǎn)碼生成，對存儲的讀寫帶寬已計(jì)入媒體處理服務(wù)器的帶寬占用）。

綜上并發(fā)情況下總的存儲訪問帶寬大約為400+40+90+256=786 MB。因此媒資存儲選用的是3 節(jié)點(diǎn)分布式萬兆存儲，經(jīng)測試混合讀寫下可以提供1 200 MB 帶寬，本存儲的讀寫帶寬能夠滿足需求。

2.3 網(wǎng)絡(luò)安全防護(hù)及網(wǎng)絡(luò)結(jié)構(gòu)

系統(tǒng)采用以太網(wǎng)作為基礎(chǔ)網(wǎng)絡(luò)架構(gòu)，采用“萬兆匯聚、千兆接入”的方式。以太網(wǎng)交換機(jī)作為核心交換設(shè)備，負(fù)責(zé)完成各個(gè)系統(tǒng)之間的互聯(lián)互通。如圖4所示，通過在匯聚交換機(jī)邊上部署的網(wǎng)絡(luò)安全設(shè)備，配置相應(yīng)的安全策略，實(shí)現(xiàn)各區(qū)域之間的安全訪問，有效保證系統(tǒng)與外界的隔離，滿足高安全等級需求。

圖4 交換機(jī)匯聚

系統(tǒng)網(wǎng)絡(luò)訪問規(guī)則設(shè)計(jì)如下：

（1）在公網(wǎng)上訪問媒資系統(tǒng)須通過匯聚交換機(jī)上部署的網(wǎng)絡(luò)安全設(shè)備。

（2）內(nèi)部業(yè)務(wù)網(wǎng)絡(luò)，除了收錄服務(wù)器可以訪問公網(wǎng)其他都不能訪問公網(wǎng)。

（3）收錄網(wǎng)訪問公網(wǎng)須通過部署的網(wǎng)絡(luò)安全設(shè)備。

（4）接入媒體區(qū)媒資站點(diǎn)交換機(jī)的工作站不能直接訪問內(nèi)部媒資網(wǎng)，須通過部署的網(wǎng)絡(luò)安全設(shè)備。

為了實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)功能需求、確保網(wǎng)絡(luò)安全，在匯聚交換機(jī)（三層交換機(jī)）和網(wǎng)絡(luò)安全設(shè)備上進(jìn)行相應(yīng)功能配置：

（1）匯聚交換機(jī)上劃分多個(gè)VLAN，分別配置IP 地址連接各個(gè)區(qū)域。

（2）在匯聚交換機(jī)上配置策略路由，把收到的數(shù)據(jù)送往網(wǎng)絡(luò)安全設(shè)備進(jìn)行地址轉(zhuǎn)換、病毒過濾、入侵檢測。

（3）在匯聚交換機(jī)上配置ACL（訪問控制列表），添加拒絕訪問策略，禁止媒體區(qū)媒資站點(diǎn)交換機(jī)上的工作站直接訪問媒資系統(tǒng)的真實(shí)IP 地址。

（4）通過配置網(wǎng)絡(luò)安全設(shè)備的防火墻模塊，在重要網(wǎng)絡(luò)區(qū)域與其他網(wǎng)絡(luò)區(qū)域之間采取可靠的技術(shù)隔離手段，實(shí)現(xiàn)邊界的訪問控制和業(yè)務(wù)應(yīng)用的安全轉(zhuǎn)換。外部區(qū)域?qū)γ劫Y系統(tǒng)的訪問，須通過防火墻進(jìn)行地址轉(zhuǎn)換，隱藏媒資系統(tǒng)的真實(shí)網(wǎng)絡(luò)地址信息。限制內(nèi)部系統(tǒng)網(wǎng)絡(luò)連接公網(wǎng)，只允許收錄網(wǎng)訪問公網(wǎng)進(jìn)行收錄，對外只開放媒資系統(tǒng)的服務(wù)端口，外部訪問只允許訪問該服務(wù)端口。

（5）配置網(wǎng)絡(luò)安全設(shè)備的入侵防御模塊，對應(yīng)用層面的攻擊進(jìn)行有效的過濾和防護(hù)，保障內(nèi)網(wǎng)的業(yè)務(wù)應(yīng)用的正常運(yùn)行。

（6）配置網(wǎng)絡(luò)安全設(shè)備的病毒過濾模塊，對于來自內(nèi)外部的訪問和文件傳輸進(jìn)行病毒過濾，在媒資系統(tǒng)中主要存在基于HTTP 的文件傳輸應(yīng)用場景，因此開啟病毒過濾防護(hù)。

（7）配置網(wǎng)絡(luò)安全設(shè)備的Web 應(yīng)用防火墻模塊，對網(wǎng)站提供專業(yè)的安全防護(hù)手段，及時(shí)發(fā)現(xiàn)并攔截Web 訪問的攻擊行為，本次媒資系統(tǒng)對外開放的服務(wù)就是HTTP 網(wǎng)站。

3 結(jié) 論

媒資系統(tǒng)作為一個(gè)內(nèi)容管理平臺，對各種類型的視音頻資料、文字、圖片等資料數(shù)字化存儲，提供信息服務(wù)，行業(yè)應(yīng)用越來越廣泛，須結(jié)合實(shí)際應(yīng)用，設(shè)計(jì)相應(yīng)方案。本系統(tǒng)在搭建完成后，在實(shí)際運(yùn)行環(huán)境下進(jìn)行一系列的測試，如通過VMIX軟件推流測試，收錄系統(tǒng)多服務(wù)器多通道同時(shí)穩(wěn)定收錄；多用戶同時(shí)使用媒資檢索和下載測試，系統(tǒng)功能表現(xiàn)穩(wěn)定。系統(tǒng)在實(shí)際使用過程中，滿足設(shè)計(jì)要求，為全國各級媒體多層次多角度地報(bào)道世遺、展示世遺，提供了及時(shí)重要的素材。