鐵路綜合視頻分轉發(fā)中間件的設計與實現(xiàn)

白根亮，陳中雷，郭星宇，郭志華

（北京經(jīng)緯信息技術有限公司，北京 100081）

鐵路綜合視頻監(jiān)控類系統(tǒng)是具有音視頻數(shù)據(jù)采集、傳輸、交換、控制、顯示、存儲、處理功能的監(jiān)控系統(tǒng)，應用于鐵路行車指揮、生產(chǎn)組織、客貨運輸服務、作業(yè)監(jiān)控、搶險救援及治安防范等業(yè)務場景[1]。隨著大數(shù)據(jù)、人工智能等技術在鐵路發(fā)展中的應用，基于鐵路綜合視頻圖像智能識別的各類應用得到了越來越高的關注，例如基于圖像識別的客運服務[2-3]、貨車裝載狀態(tài)識別[4]、車號識別[5]、周界入侵[6-7]等。鐵路綜合視頻監(jiān)控類系統(tǒng)的各類應用面臨視頻獲取困難、傳輸量大和不同應用協(xié)議轉換復雜等痛點和難題[8]，為解決上述問題，亟需研發(fā)鐵路綜合視頻監(jiān)控類系統(tǒng)的分轉發(fā)中間件，將視頻數(shù)據(jù)進行分割和轉發(fā)，按需傳輸，提高網(wǎng)絡傳輸效率和帶寬利用率，為鐵路各業(yè)務部門和應用系統(tǒng)提供所需要的視頻數(shù)據(jù)，實現(xiàn)視頻資源集成、共享和智能化應用，同時，提供高性能、大規(guī)模視頻數(shù)據(jù)管理服務。

1 中間件架構

1.1 總體架構

鐵路綜合視頻分轉發(fā)中間件采用高內(nèi)聚、低耦合的分布式架構，其總體架構如圖1 所示，主要分為接入層、數(shù)據(jù)層、業(yè)務層和應用層。

圖1 鐵路綜合視頻分轉發(fā)中間件總體架構

（1）接入層主要對接各類設備或平臺各類協(xié)議的實時及歷史媒體流，實現(xiàn)協(xié)議轉換、適配及視頻的分轉發(fā)等功能，并提供統(tǒng)一的接口標準。

（2）數(shù)據(jù)層分為結構化數(shù)據(jù)和非結構化數(shù)據(jù)，其中，結構化數(shù)據(jù)包括基礎數(shù)據(jù)、監(jiān)測數(shù)據(jù)、狀態(tài)數(shù)據(jù)、實時數(shù)據(jù)、報警數(shù)據(jù)和分析數(shù)據(jù)等；非結構化數(shù)據(jù)包括圖片、視頻文件、系統(tǒng)日志、文檔、可擴展標記語言（XML，eXtensible Markup Language）、JSON 等。為中間件提供統(tǒng)一的數(shù)據(jù)支撐和數(shù)據(jù)來源，為后期視頻分析和數(shù)據(jù)挖掘提供大數(shù)據(jù)存儲支持，為突發(fā)事件處置和預防提供決策支撐。

（3）業(yè)務層主要實現(xiàn)業(yè)務邏輯和數(shù)據(jù)的處理，并為終端提供服務，主要包括媒體分發(fā)服務、存儲管理服務、接入網(wǎng)關服務、數(shù)據(jù)服務、終端管理服務、網(wǎng)絡管理（簡稱：網(wǎng)管）服務、告警服務、維護管理服務、鑒權認證服務、配置管理服務、日志管理服務、標準API 服務等各種技術服務。

（4）應用層包括業(yè)務管理和中間件管理，其中，業(yè)務管理主要包括實時監(jiān)控、云臺控制、歷史回放、業(yè)務告警等業(yè)務功能；中間件管理主要包括設備管理、用戶管理、配置管理、存儲管理、維護管理、日志管理等功能。

1.2 技術架構

鐵路綜合視頻轉發(fā)中間件的技術架構如圖2 所示，采用面向服務的架構設計，包含接入網(wǎng)關服務、媒體分發(fā)服務、數(shù)據(jù)服務、告警服務、網(wǎng)管服務、存儲管理服務、終端管理服務等服務模塊。通過模塊化、標準化設計，對中間件不同的業(yè)務進行解耦，各模塊進行解耦及標準化后，可方便地進行單獨升級與級聯(lián)/互聯(lián)擴展，而不會造成全局性影響，通過各模塊間級聯(lián)及互聯(lián)的模式，可進行水平及垂直擴展，從而實現(xiàn)彈性部署與架構靈活設計的目標。

（1）采集設備/下級平臺通過Onvif 協(xié)議或動態(tài)庫等方式采集鐵路沿線音視頻數(shù)據(jù)，并注冊到接入網(wǎng)關服務中，進行信號控制命令[9]（簡稱：信令）的協(xié)商和交互，同時，發(fā)送實時媒體流到媒體分發(fā)服務，并接收接入網(wǎng)關服務的信令，執(zhí)行攝像頭控制等操作。

（2）接入網(wǎng)關服務主要實現(xiàn)信令的轉發(fā)和處理，通過GB/T 28181 協(xié)議[10]和下級平臺進行信令的傳輸、交換和控制。

（3）媒體分發(fā)服務主要用于接收和處理實時和歷史媒體流，實現(xiàn)對媒體流的解析、解復用和分發(fā)，并推送到各個播放終端及互聯(lián)平臺。

（4）存儲管理服務主要對視頻分發(fā)服務生成的切片文件進行管理，實現(xiàn)對文件的大小和錄像時長的計算、存儲及切片文件的合并，用于提供視頻文件的統(tǒng)一下載路徑，并發(fā)送實時媒體流到媒體分發(fā)服務。

（5）終端管理服務向客戶端提供統(tǒng)一接口調(diào)用，實現(xiàn)對客戶端和網(wǎng)頁端不同協(xié)議和信令的交互和調(diào)用。

（6）告警服務主要實現(xiàn)異常人員、異物入侵等報警數(shù)據(jù)的接收，并將告警數(shù)據(jù)路由給終端及其他互聯(lián)平臺。

（7）網(wǎng)管服務用于采集不同類型設備的設備狀態(tài)信息，并根據(jù)告警規(guī)則評判告警后，推送到消息隊列。

（8）數(shù)據(jù)服務主要用于操作數(shù)據(jù)庫及緩存庫，為其他服務提供數(shù)據(jù)及緩存支撐。

（9）消息隊列用于接收告警及命令消息并進行消息推送，接收客戶端下發(fā)的用戶操作信息，并與其他服務實現(xiàn)消息共享。

2 中間件功能

鐵路綜合視頻分轉發(fā)中間件的功能架構如圖3所示。

圖3 鐵路綜合視頻分轉發(fā)中間件功能架構

2.1 業(yè)務管理

2.1.1 實時監(jiān)控

實時監(jiān)控模塊包括實時點播、語音對講、主/子碼流、視頻轉碼、協(xié)議轉換和視頻轉推功能。實時監(jiān)控界面如圖4 所示。其中，實時點播功能支持用戶點播查看各類設備和通道采集到的實時視頻；語音對講功能支持用戶在實時監(jiān)控界面進行語音對講；主/子碼流功能主要用于實現(xiàn)視頻主/子碼流的切換功能，單畫面播放時使用主碼流，多畫面播放時使用子碼流；視頻轉碼功能主要實現(xiàn)對不同視頻編碼格式（例如H.264、H.265）的視頻流和不同音頻編碼格式（例如G711、AAC）的音頻流進行格式轉換；協(xié)議轉換功能主要用于實現(xiàn)RTSP、RTP/RTCP、RTMP、WebRTC 等協(xié)議的轉換，支持不同協(xié)議的解復用、媒體流解析與處理及不同協(xié)議的復用及輸出，從而實現(xiàn)各種媒體流的解封裝操作；視頻轉推功能可實現(xiàn)媒體流的轉發(fā)和級聯(lián)，以及不同設備或平臺間的數(shù)據(jù)通信和交互。

圖4 實時監(jiān)控界面

2.1.2 云臺控制

云臺控制功能可對視頻采集設備進行管理，可對球機類型的綜合視頻監(jiān)控設備進行監(jiān)控方向控制、轉動速度設置、視頻放大/縮小、焦距和光圈調(diào)整、預置位設置及調(diào)用，云臺控制界面如圖5 所示。

圖5 云臺控制界面

2.1.3 歷史回放

2.1.3.1 錄像查詢及點播

通過目錄樹可查看監(jiān)控設備的歷史視頻信息，根據(jù)起止時間進行歷史視頻查詢，并顯示不同時間點的錄像情況，可對存在錄像的時間段的歷史視頻進行點播。

2.1.3.2 回放控制

該功能支持用戶對選定時間段的視頻進行回放，回訪時可設置播放速度，并對視頻進行截圖、下載、宮格數(shù)量設置和宮格順序切換等操作，如圖6 所示。

圖6 回放控制界面

2.1.3.3 視頻下載

該功能通過ffmpeg 等開源庫實現(xiàn)視頻數(shù)據(jù)處理及視頻文件錄制等功能；同時，對視頻文件分片存儲，實時動態(tài)生成索引文件，對索引文件進行內(nèi)存存儲，并使用二分法查找，實現(xiàn)快速檢索及下載。

2.1.4 業(yè)務告警

業(yè)務告警功能主要包括實時告警和告警聯(lián)動。其中，實時告警可查看告警通道的實時告警截圖和視頻，如圖7 所示；告警聯(lián)動可實現(xiàn)告警時的多臺攝像機聯(lián)動，發(fā)生告警后，與其聯(lián)動的通道會自動轉向預置位，啟動錄像，可新建、修改報警源的聯(lián)動動作，包括預置位的設置、恢復時間、預錄時間及報警結束后的錄像時延等，如圖8 所示。

圖7 實時告警功能界面

圖8 告警聯(lián)動功能界面

2.2 中間件管理

中間件管理包括設備管理、用戶管理、配置管理、存儲管理、維護管理和日志管理等功能。其中，設備管理功能可實現(xiàn)對現(xiàn)場設備、服務器、網(wǎng)絡設備等設備狀態(tài)的監(jiān)控，以及告警閾值配置等；用戶管理功能可實現(xiàn)對用戶角色管理、用戶組、菜單、項目權限等的管理，如圖9 所示；配置管理功能可實現(xiàn)對中間件服務及功能參數(shù)等的動態(tài)配置；存儲管理功能可實現(xiàn)對存儲計劃及策略的管理；維護管理功能可實現(xiàn)對系統(tǒng)服務運行狀態(tài)的監(jiān)控及對運維概況的統(tǒng)計；日志管理功能主要包括操作日志的記錄和服務運行日志的監(jiān)控。

圖9 用戶管理功能界面

3 關鍵技術

3.1 接口技術

鐵路綜合視頻分轉發(fā)中間件接口的傳輸通道采用信令通道和數(shù)據(jù)通道。其中，信令通道用于建立會話并傳輸控制命令；數(shù)據(jù)通道用于傳輸媒體流。信令通道采用XML+會話初始協(xié)議（SIP，Session initialization Protocol）實現(xiàn)，該協(xié)議靈活且擴展性好，適用于音視頻數(shù)據(jù)的通信，可保障不同廠商間設備和服務的兼容性，統(tǒng)一接口標準。數(shù)據(jù)通道采用實時傳輸協(xié)議（RTP，Real-time Transport Protocol）和實時傳輸控制協(xié)議（RTCP，Real-time Transport Control Protocol）實現(xiàn)，其中，RTP 負責實時傳輸音視頻數(shù)據(jù)；RTCP 則用于控制和監(jiān)控網(wǎng)絡情況，包括帶寬使用、丟包率、延遲等。通過調(diào)整傳輸參數(shù)可實現(xiàn)流量控制和網(wǎng)絡故障重發(fā)等功能，以提高音視頻數(shù)據(jù)傳輸質(zhì)量，減少延遲，降低丟包率。

3.2 按需推/拉流及斷續(xù)推流技術

鐵路綜合視頻分轉發(fā)中間件可根據(jù)當前用戶的播放數(shù)量實現(xiàn)動態(tài)的資源調(diào)配，當某個通道沒有用戶使用時，以事件機制主動通知業(yè)務服務，告知攝像機停止推送媒體流（簡稱：推流），并釋放帶寬及CPU 等資源。同時，當用戶直接根據(jù)播放地址播放視頻時，如果其查看視頻的相關攝像機未推流，可通過事件機制主動通知業(yè)務服務，告知攝像機進行推流或主動拉取媒體流（簡稱：拉流），減少播放地址獲取環(huán)節(jié)。當攝像機推流中斷后，延時銷毀媒體資源對象，同時延時斷開播放器；當攝像機再次推流時，復用該資源對象，播放器可繼續(xù)觀看。如果超過預設時間限制沒有再推流，則主動關閉播放器并回收所有資源。

3.3 分布式存儲及集群化部署

鐵路綜合視頻分轉發(fā)中間件支持分布式架構、存儲虛擬化，并提供統(tǒng)一命名空間、故障檢測、自動恢復、糾刪碼等冗余功能的存儲；支持文件及對象的云存儲功能，對必要的媒體流采用云端存儲的方式，并生成文件索引，以方便后期快速檢索定位；支持Linux、Windows 及國產(chǎn)化等不同的CPU 架構；媒體分發(fā)服務支持對等集群部署等不同方式的部署，同時，支持故障轉移，從而實現(xiàn)中間件的高可用。

4 應用情況

鐵路綜合視頻分轉發(fā)中間件于2023 年6 月，在鐵路線路安全環(huán)境管理平臺上線運行，并在全國鐵路范圍內(nèi)試用，支持鐵路重點區(qū)段安全巡視和風險隱患排查，應用效果良好。

鐵路綜合視頻分轉發(fā)中間件可提供高性能、大規(guī)模視頻數(shù)據(jù)管理服務，實現(xiàn)視頻資源集成與共享，規(guī)范視頻傳輸方式，對多條線路視頻數(shù)據(jù)進行集中整合；對重點與一般地段視頻數(shù)據(jù)進行分類管理和監(jiān)控，實現(xiàn)自動輪訓和重點部位重點排查等不同監(jiān)控方式；實現(xiàn)對視頻數(shù)據(jù)的分割和轉發(fā)、按需傳輸，規(guī)范統(tǒng)一視頻傳輸方式，避免多對多交叉網(wǎng)狀傳輸，減少下行帶寬資源，提高網(wǎng)絡傳輸效率和帶寬利用率，以便實時掌握各種突發(fā)事件和警情信息；更好地發(fā)揮客運段級調(diào)度中心調(diào)度臺視頻巡查、監(jiān)控、處理、預警等職責，提高工作效率，

5 結束語

鐵路綜合視頻監(jiān)控類系統(tǒng)在鐵路運輸生產(chǎn)中發(fā)揮了重要的作用，隨著智能鐵路、數(shù)字鐵路的發(fā)展，基于綜合視頻監(jiān)控類系統(tǒng)的各種智能化應用成為智能鐵路的重要組成部分。鐵路綜合視頻分轉發(fā)中間件可將視頻數(shù)據(jù)進行分割和轉發(fā)，按需傳輸，提高視頻傳輸?shù)男屎唾|(zhì)量，解決大規(guī)模視頻傳輸和播放遇到的難題，提供更好的流媒體視頻服務，為基于鐵路綜合視頻的各種智能化應用提供定制化的視頻數(shù)據(jù)，更好地滿足業(yè)務應用需求，提高視頻管理人員工作效率。