百萬級視頻數據的數字化傳輸管理

王嘉寅

中遠海運科技股份有限公司,上海 200135)

0 引 言

隨著城市中的視頻監控數據越來越多,城市基礎設施建設不斷完善,各行各業對城市百萬級視頻數據的要求不斷提高,如何通過聚融合的媒體服務、視頻源頭轉發、數據全方位匯聚和數據多方式共享等方式實現對超大型城市和特大型城市百萬級視頻數據的統籌性匯聚轉發,使其安全高效地供各類智能圖像應用使用,已成為圖像建設領域實現數字化轉型的關鍵。

在該背景下,本文結合圖像應用的發展趨勢,通過研究具有資源集聚能力的視頻數據傳輸管理體系架構,提升圖像業務數據的健壯性及其管理應用的可靠性。在監控聯網范圍方面,主要涉及路面、空域、固定、移動、視頻、圖片和數據等多模態資源匯聚,由傳統的只轉發聯網管理的監控視頻的模式轉變為對圖片結構化數據、特征碼和報警數據等多種圖像數據進行融合的模式;在感知設備方面,由傳統的道路監控設備有線接入的方式轉變為可接入無人機、4G執法記錄儀、手機和車載終端等全方位感知設備的方式;在聯網數據業務數據轉發方面,采用控制信令和媒體流松耦合的方式實現聯網業務數據通過最短路徑轉發給媒體流資源池;在可靠性技術措施方面,由傳統的軟硬件備份冗余機制轉變為可支持核心數據全局分布式備份的機制;在安全管控措施方面,由“重建設、重應用、輕安全”轉變為“重建設、重應用、重安全”,既確保視頻數據能供外部用戶正常使用,又防止視頻信息泄露。

1 百萬級視頻聯網傳輸架構現狀

近年來,隨著IP(Internet Protocol)網絡監控技術的不斷發展,模擬監控時代逐漸落下帷幕,圖像監控系統逐漸步入數字化、網絡化、高清化、集成化和智能化階段,其建設和應用環境逐漸成熟。為適應數字高清監控技術的發展趨勢,同時遵循《安全防范視頻監控聯網系統信息傳輸、交換、控制技術要求》(GB/T 28181—2016)的建設原則,針對涉及公共安全的高清數字視頻監控系統,以IP網絡監控為技術路線,采用逐級聯網共享模式,在2016年構建了高清視頻監控三級聯網架構(見圖1,其中:SD為標清碼流;HD為高清碼流),初步實現了對視頻資源的匯聚整合和統一管理。

圖1 三級聯網架構現狀圖

該架構主要分為3個層面:

1) 一級層面,負責國標認證管理、權限配置管理、全局控制管理、流媒體轉發、指揮顯示、圖像信息應用和與外單位共享接入等;

2) 二級層面,負責高清監控設備(包括網絡攝像機、網絡硬盤錄像機和解碼器等)接入和國標注冊認證、節點控制管理、存儲與轉發、指揮顯示、其他應用系統及與下級單位共享接入等;

3) 二級層面,負責高清監控設備(包括網絡攝像機、網絡硬盤錄像機和解碼器等)接入和國標注冊認證、節點控制管理、存儲與轉發、指揮顯示、其他應用系統及其視頻資源接入等。

2 目前視頻管理體系存在的問題

隨著高清數字視頻監控系統的全面建設,公共區域的監控資源達到了百萬級,同時各行各業對圖像共享應用和圖像智能分析的需求日益增加,而高清視頻監控三級聯網架構受規劃建設時間和逐級聯網模式的限制,往往存在前端視頻資源接入量受限、流媒體轉發性能低、多級聯網及多網絡傳輸時延時長和無法提供穩定持續的視頻流等問題。同時,因近年來業界對視頻共享安全策略的要求越來越高,導致現有的高清視頻監控三級聯網架構在視頻資源安全可控、資源權限控制和IP登錄權限控制等方面存在缺陷,具體表現如下。

1) 前端視頻資源接入量少,并發性能差。目前的高清視頻監控三級聯網架構主要以“模擬到數字”圖像監控系統的發展為技術思路,規劃建設于2016年。前期基于該架構建設的高清數字視頻監控系統的單套系統僅具有4 000路前端視頻監控資源接入管理能力和50路流媒體并發能力,其性能已無法滿足目前的百萬級視頻數據接入管理需求和流媒體并發需求,必須通過堆疊大量設備進行擴容才能滿足,這對機房空間提出了新的挑戰。

2) 視頻調閱的需求旺盛,導致圖像卡頓。目前的視頻監控系統采用的是三級聯網架構,在百萬級視頻轉發傳輸過程中,由于各行各業對視頻調閱的需求比較旺盛,常導致視頻出現卡頓和丟幀的問題,PTZ(Pan/Tilt/Zoom)云臺控制存在延時,從而降低視頻圖像的可用性,引發視頻播放出現“脫節”和“斷篇”等問題,嚴重影響對百萬級視頻的處理和圖像應用的實戰性。在該背景下,需優化轉發環節,減少聯網層級。

3) 帶寬受限,導致視頻存在延遲。早期建設的交換機僅支持千兆帶寬,而百萬級視頻資源因交換機轉發速率超過了端口速率的上限,其播放會出現卡頓、延遲和不順暢等現象,在特殊情況下會出現無法訪問和頁面無法打開的現象。因此,提升系統的自我保護能力,保證視頻數據的可靠性和連續性尤為重要。

4) 移動視頻無法直接調閱。由于移動視頻的編碼標準和接入方式與國標視頻監控設備存在差異,難以實現視頻傳輸的有效銜接,導致移動視頻不能直接播放。針對這種情況,本文利用聚融合服務技術完善多態數據類型的接入和共享應用。

5) 權限管理復雜,導致資源被搶占。百萬級視頻管理具有視頻類型多和數據冗雜的特點,且對重點區域各類用戶調用的需求量較大,因此需設置權限避免資源被搶占,刪除多余的程序,保證權限設置的可操作性和可實踐性,從而不斷提升系統運行的順暢度和銜接度。

6) 缺乏針對視頻流的安全加固策略。由于高清數字視頻監控系統已逐步實現數字化、網絡化,在大規模聯網、云計算和人工智能等新技術快速發展的背景下,高清數字視頻監控系統面臨的安全威脅發生了巨大變化,特別是在目前建設智能化應用時,早期建設的視頻監系統已無法滿足對百萬級視頻數據的安全管控需求,其伴隨的網絡安全問題也日漸突出。

3 百萬級視頻數據傳輸策略分析

根據目前視頻管理體系存在的問題,按照GB/T 28181—2016、《公安視頻圖像信息應用系統》(GA/T 1400—2017)和《公共安全視頻監控聯網信息安全技術要求》(GB 35114—2017)等有關標準的要求,以優化視頻圖像聯網架構,提升視頻接入和轉發性能,實現資源安全可控為原則,對百萬級視頻數據傳輸策略進行分析。

1) 通過分布式控制管理模式優化視頻圖像聯網架構。

從聯網拓補架構出發,摒棄原有的高清視頻監控三級聯網架構中的逐級聯網模式,以分而自治和綜合協調為設計原則,融合計算機技術、網絡技術、通信技術和自動控制技術,優化視頻轉發策略,實現兩級式分布控制和統一管理模式,即在視頻數據接入、轉發過程中對圖像進行分布式轉發和全網統一管理,從而構造層次化的視頻圖像聯網架構。在統一管理層面由一級管理節點對全網的視頻資源進行匯聚整合和統一管理,在分布式圖像轉層面由各二級管理節點接入前端百萬級視頻資源,并為本地電視墻、PC(Personal Computer)客戶端、智能分析系統、手機和第三方視頻共享及應用平臺等提供高效的圖像轉發服務,從而確保視頻數據能有效傳遞,便于對全網視頻數據進行統籌管理。圖2為優化的視頻圖像聯網架構。

圖2 優化的視頻圖像聯網架構

2) 軟硬件一體化部署,提升整體接入和轉發性能。

高清數字視頻監控系統最重要的功能是實現百萬級視頻圖像的聯網接入和管理。本文從系統工程的角度出發,思考如何將大系統分解成小系統和如何將小系統“有機”整合成大系統2個問題,最終采用軟硬件一體化設備進行系統搭建。軟硬件一體化部署能為多種類型處理引擎的深度協作(即超異構計算)提供切實可行的體系化解決方式,即深入分析超異構計算復雜系統存在的各種規律,復雜系統可利用的特征“約束”,以及通過系統分解再融合等多種措施共同實現超異構編程的顯著簡化,由此實現超異構計算的可駕馭性,最終實現對大量視頻圖像的接入、轉發和管理,從而規避服務器硬件存在的穩定性差和性價比不高的問題。

3) 構建流媒體轉發資源池,統一規劃調度。

為滿足城市數字化轉型對大量視頻數據的共享需求,構建數據轉發資源池,不再單一對應單個控制管理服務,主要進行整體、統一的管理。這就需要做好服務集群層級化設置工作,如在城市視頻圖像高并發情況下,資源池通過統一規劃調度,將視頻圖像信息請求動態透明地重定向到負載最輕的流服務器上,新增的訪問請求根據負載計算結果自動選擇負荷最輕的流服務器,由此緩解海量訪問帶來的壓力。圖3為數據轉發演變。

圖3 數據轉發演變

4) 遵循視頻源頭轉發策略,緩解轉發延遲。

常規的實時視頻轉發以視頻調用終端所在節點的媒體服務為轉發資源,負責為視頻調用終端取流轉發。當被調用視頻不屬于本地管理節點直接接入的前端點位時,該節點的媒體服務將根據被調用視頻的共享路徑逐級向下級節點的媒體服務進行取流轉發。當視頻聯網體系為多級級聯共享體系時,被調用視頻從接入節點到調取節點經過4～5級匯聚共享,被調用視頻也必須經過4～5級視頻轉發,按每級視頻轉發產生200 ms延時計算,會產生多達1 s的轉發延遲。本文研究的是視頻源頭轉發策略,即當視頻調閱終端產生調用請求時,調用方的管理節點根據全網同步的資源目錄檢索被調用視頻的接入管理節點,并向被調用視頻的管理節點發起視頻調用請求。被調用視頻的管理節點直接調度本地的媒體服務進行取流轉發,即視頻源頭屬于哪個節點,就由該節點的媒體服務負責取流轉發。當未達到一級轉發閾值時,絕大多數的應用場景會由視頻所在媒體服務完成視頻轉發。

5) 聚融合服務技術,多態數據類數據全方位匯聚。

針對城市視頻圖像數據多維、分散和海量的特點,兼容不同的數據接入方案進行數據源接入,能分別接入感知設備、移動終端、PC錄屏、微信小程序和視頻云平臺等多源數據,將其匯聚到媒體服務中完成數據處理和分發。同時,能以數據多方式共享的方式,通過統一媒體服務,聚合多態數據,高效融合處理,實時混合輸出和共享,融合數據分發的目標包括平臺服務、網頁、拼接大屏、移動終端和解碼器等多源終端,為視頻圖像數據的應用提供終端開拓和應用延展功能[1]。圖4為聚融合媒體服務示意圖。

圖4 聚融合媒體服務示意圖

6) 多模式容災備份,斷線局部自治。

通過探索集群工作模式進行高可靠性的保護,保證在任意節點出現故障的情況下,能迅速由其他節點接管該故障節點的工作。在故障節點恢復正常之后,接管其工作的節點設備自動將接管的前端設備移交給該節點,提升系統的自我保護能力,保證視頻數據的可靠性和連續性。在啟用集群調度之后,集群內的設備能享受到負載均衡服務。所有的負載壓力會自動分擔到各節點上。集群會定期收集各節點的狀態和負載情況,若發現負載嚴重失衡,則及時進行調整。當新的業務到來、故障節點上的業務發生轉移時,調度服務會智能地選擇最優的負載分配策略,在保證各節點承擔的業務負載不超過其承載能力的同時,盡量令各節點的壓力平均。調度算法根據各節點的軟硬件配置智能分配業務壓力,配置好的設備會承擔更多的業務壓力。負載均衡技術能使各節點設備的使用壽命和節能性等指標均達到最優。

此外,探究運用多模態的容災機制,即對管理設備熱備集群和轉發集群的設備進行備份,并同步對管理集群節點和轉發集群節點進行備份。當同一個機房的多個管理節點進行多機熱備組成集群時,在確保1臺設備宕機之后,通過虛擬IP對國標注冊設備進行持續有效的管理。當同一個管理集群節點的所有管理設備都出現故障時,即某個機房管理節點出現故障時,其他管理節點可對其管轄的轉發集群和設備進行控制。當同一個轉發集群節點的所有轉發設備都出現故障時,即某個二級轉發集群節點出現故障時,由于一級節點的數據同步,其他節點可通過ONVIF(Open Network Video Interface Forum)協議對其管轄的在線前端進行控制、接入和轉發。從單點設備故障到機房整體故障,運用全方位的容災方式進行“斷線局部自治”,不會因發生系統性故障而導致全網癱瘓,保證設備正常、有序運行[1]。圖5為轉發集群節點備份。

圖5 轉發集群節點備份

7) 視頻數據的安全加固措施。

高清數字視頻監控系統整體架構在較為開放的IP網絡上,無論是從業務層面和政策層面看,還是從功能層面看,都對視頻監控系統提出了安全需求,要求進一步提升系統的安全防護能力。因此,為給視頻共享構建安全可靠的支撐環境,需結合GB 35114—2017采取必要的安全管控措施,從而確保視頻數據供第三方應用平臺正常使用,并防止視頻信息泄露。

本文在當前視頻聯網的基礎功能的基礎上擴展與安全有關的內容,包括身份證書、加密算法、碼流格式和碼流加解密等。在系統架構中,包括設備接入和系統聯網,采用會話通道協議、媒體流通道協議和證書通道協議完成信令和數據交互,開發具有安全功能的客戶端、服務端、用戶端和視頻安全密鑰服務系統。前端設備證書通過內置安全芯片實現;用戶終端證書通過USB Key(Universal Serial Bus Key)或密碼卡實現[2];與安全平臺關聯的服務器證書通過PCIe(Peripheral Component Interconnect Express)密碼卡或密碼機實現。視頻安全密鑰服務系統負責系統中數字證書的制作、發放、查詢、校驗和對稱密鑰管理等,實現重要視頻圖像信息不失控,敏感視頻圖像信息不泄露[3]。圖6為系統安全互聯結構示意圖。

圖6 系統安全互聯結構示意圖

4 模擬測試環境搭建

目前已在高清數字視頻三級聯網架構內搭建平行模擬測試環境,重點通過試驗評估視頻數據傳輸管理體系的極限并發能力、傳輸延時、在極限壓力下的資源利用率、災備可靠性、接口穩定性和用戶權限管理等。在模擬系統運行期間測得的部分性能情況見表1;部分功能測試情況見表2。

表1 在模擬系統運行期間測得的部分性能情況

表2 部分功能測試情況

5 模擬測試結論

本文研究的具備資源集聚能力的視頻數據傳輸管理體系是面向城市百萬級視頻數據,結合現有的高清數字視頻監控系統的基礎功能和性能進行的功能和性能升級迭代。模擬測試結果顯示,在設備接入方面,該系統符合GB/T 28181—2016和GB 35114—2017等標準的要求,擴大了監控聯網范圍,能使原先單一的固定視頻設備的資源匯聚轉變為可接入無人機、4G執法記錄儀和移動終端等全方位感知設備的多模態資源匯聚;在流媒體轉發方面,該系統能提供扁平化的圖像轉發方式,為各類終端應用和第三方應用平臺提供高效的圖像轉發服務;在容災備份方面,通過對核心數據進行分布式備份和集群管理,當系統和設備出現故障時能進行斷線局部自治,當系統負載過高時能進行統一的規劃分配,從而提升系統的自我保護能力,保證視頻數據傳輸的可靠性和連續性,減少系統及設備出現故障引發的業務斷層現象;在信息安全管理方面,通過在級聯過程中采用加密協議,確保視頻數據能供外部用戶正常使用,同時防止視頻信息泄露,從而進一步提升整個系統的安全防護能力。

6 結 語

在研究論證過程中,除了搭建平行模擬測試環境以外,還基于機房分布和點位布局情況選擇了2個應用示范點,對本文所述系統的技術架構、設備的可實施性和可用性進行論證。

在模擬測試環境和應用示范論證過程中,通過分別接入前端感知設備、移動終端(如無人機)、PC錄屏、微信小程序和視頻云平臺等多源數據,并將其匯聚到媒體服務中,完成數據處理和分發,進而實現對視頻、圖片及智能數據等多模態資源的接入能力和匯聚管理能力的論證。

同時,對系統的500路視頻流的并發能力進行測試,搭建聯網節點作為新型公安多模態視頻數據傳輸管理體系架構平臺的國標上級,并在其中配置500個實時視頻點位。當流媒體轉發數量達到500路時,對設備的中央處理器(Central Processing Unit, CPU)、內存、硬盤和網絡的資源利用率進行監測,結果發現該節點支持轉發500路高清視頻碼流,轉發設備在并發500路負載下的CPU、內存、硬盤和網絡的資源利用率均小于85%。

此外,在具有完備的容災備份機制的情況下,當一級或二級節點的單臺媒體設備發生故障時,可由管理設備調度其他媒體設備承擔故障設備當前的轉發任務。這主要是由于在模擬測試環境和應用示范論證過程中配置了多個媒體服務,因此當系統運行時,只要還有1個媒體服務在線,就可提供正常的服務器,其他媒體服務離線或崩潰均不會對系統的運行產生影響。同時,在有多個媒體服務的管理節點中,經測試,在某個媒體服務的服務器宕機的情況下,仍有?；畹拿襟w服務會接管該服務器當前的轉發任務。

除了對百萬級視頻數據數字化傳輸管理技術架構的功能和性能進行論證之外,還與目前市場上在售的多種視頻聯網設備進行了對接,并就本文所述系統的功能和性能進行了分析,雖然不同廠家的產品各有不同,但聯網的基礎功能均能符合要求,只是部分個性化功能存在差異?？傮w來看,目前市場上在售產品的功能和性能基本上能滿足本文所述系統方案的要求。

綜合上述分析可知,本文研究的百萬級視頻圖像數字化管理體系滿足百萬級視頻數據傳輸管理的實際需求,具有推廣應用價值。