基于視頻監控平臺的攝像頭端到端全鏈路追蹤與故障定位系統的研究與實現

摘要：視頻監控作為加強社會治理、處置突發事件、維護社會穩定的一種有效工具，在監、防、管、控等方面發揮了極大的作用，取得了顯著的社會成效。隨著視頻監控建設規模的不斷擴大，網絡故障、設備故障、畫面異常、視頻丟失等問題異常突出，如果不能及時預警、處置，不僅影響視頻監管效率，還會造成重大財產損失。本文介紹了基于視頻監控平臺的攝像頭端到端全鏈路追蹤和故障定位系統，針對視頻監控運維難題，提出端到端全鏈路追蹤和故障定位系統，集成智能化檢測與分析，提升運維效率，降低成本。創新點包括全鏈路檢測、數據治理、多協議接入和運維態勢感知，有效提升了管理水平和服務能力，具有推廣價值。

關鍵詞：視頻監控；攝像頭；端到端鏈路檢測；故障定位；閉環管控

一、 引言

近年來，全國公共安全視頻監控系統建設取得了顯著成就，實現了從量到質的飛躍，極大提升了社會安全管理與應急響應能力。然而，與此形成鮮明對比的是，視頻運維領域仍普遍依賴于傳統人工巡檢模式。這一模式不僅效率低下，難以跟上視頻監控市場規模的高速擴張，以及業務應用需求的不斷增加，還導致運維管理的被動性與滯后性，成為制約系統效能充分發揮作用的關鍵因素。具體而言，客戶面臨的痛點主要集中在以下兩個方面。一是視頻質量問題。網絡故障、設備故障、畫面異常、視頻丟失等問題頻發，嚴重影響了視頻監控系統的正常運行和使用效果。二是運維保障不足。傳統的人工巡檢方式存在諸多局限性，如運維效率低、人力成本高、考核機制不完善等。這些問題制約了視頻監控系統的可靠性和穩定性。

本研究提出了一種基于云資源、網絡資源以及攝像頭資源的攝像頭端到端全鏈路追蹤和故障定位系統。該系統通過集成攝像頭離線檢測、視頻畫質檢測、網絡鏈路端到端檢測、錄像完整性校驗以及自動化維檢派單閉環管控等功能，旨在實現對視頻監控業務的全面智能化運管服務。本系統將極大降低視頻監控系統的運維成本、確保其高效穩定運行、增強客戶滿意度。

二、架構設計

（一）總體架構

該平臺采用五層架構設計，包括基礎層、采集層、支撐層、業務層和展示層，如圖1所示。

第一，基礎層，負責運維對象的接入，包括攝像機、網絡、錄像、服務器、中間件、數據庫和應用服務，也是系統的基礎與底座。

第二，采集層，負責數據采集，分為API和監控平臺兩部分。API指系統內置的接口，提供獲取運維對象數據的能力，可采集基礎層中攝像機、網絡、錄像和服務器等運維對象的數據。監控平臺指市場成熟的監控平臺或工具，如Prometheus、ELK、Skeywalking等。通過與這些監控平臺對接，可以獲取包括服務器、中間件、數據庫和應用服務在內的各種運維對象的監控數據。

第三，支撐層，負責基于業務模型對數據進行采集和處理，包括采集模型、撥測模型、分析模型和權限模型。采集模型通過API或監控平臺對接等方式對運維對象的數據進行收集，獲取運維原始數據。撥測模型通過任務對運維對象進行定時撥測，獲取撥測時刻的實時數據。分析模型通過對采集和撥測的原始數據進行分析，實現告警、預警和故障定位等功能。權限模型通過客戶體系模型和基于RBAC模型，實現系統的設備、機構與菜單、功能、操作相結合的權限控制。

第四，業務層，負責對采集和分析的數據進行業務處理，主要包括可視化大屏、資源中心、調度中心、告警中心、工單中心、統計中心、管理中心、故障診斷和故障分析。業務層可調度和執行支撐層的運維模型，對數據進行統一分析和處理，同時，將數據整合封裝成信息，為展示層提供運維信息的能力。

第五，展示層，負責將業務層提供的運維信息通過WEB端和移動端進行展示。WEB端主要面向系統的所有用戶，通過瀏覽器訪問系統，提供運維數據的接入、調度、分析、展示等全部功能。移動端主要面向現場運維人員，通過小程序，實現工單的接收、處理和回單，提供故障點導航、上傳故障點照片、單點位實時檢測等功能。

（二）技術架構

平臺采用B/S架構，前后端分離，通過Nginx+ Tomcat的方式有效進行解耦，如圖2所示。前端可使用瀏覽器或小程序通過HTTP或HTTPS發起請求，到由Nginx組成的網關服務集群，實現系統的熔斷限流和負載均衡，保障系統并發時的穩定性和可用性，同時可高效使用后端服務資源。網關服務集群轉發請求到應用服務集群后，先由統一認證對請求進行鑒權，通過后，轉由服務集群進行處理。服務集群主要負責業務調度和處理。當需要任務集群處理時，也由統一認證對請求進行鑒權，通過后再轉由任務集群處理。任務集群負責定時進行數據的采集、撥測和分析。當需要對視頻畫面質量進行運維時，需要調用AI集群。AI集群主要負責執行攝像機畫面質量的AI算法，并輸出計算結果。在應用服務提供系統相關服務時，需要配合相關數據存儲、消息和日志采集系統使用。Redis集群負責存儲高頻使用的數據，便于數據的快速讀取；MySql采用主從配置，以提高數據安全；文件存儲使用OSS+FTP方式，存儲告警產生的圖片或視頻；Elasticsearch集群負責存儲日志，采集系統數據，同時提供數據查詢能力；消息服務采用kafka，實現系統消息的輸入和輸出；日志采集系統通過Prometheus、ELK、和Skywalking等軟件，采集各種日志文件并存儲到Elasticsearch集群中。綜上，該系統運用Git進行管理代碼，利用Jenkins實現持續集成，通過Maven進行自動化構建，并采用Docker進行部署和運行。

三、核心功能

系統通過對云資源、網絡資源、IT設備資源、攝像頭設備資源的整合管理，實現故障端到端精確定位、視頻畫質檢測、錄像完整性檢測、自動化告警派單、運維考核閉環等功能，構建了集高效、可視化于一體的一站式綜合運維系統，實現對視頻運行環境的可視、可控、可管理，保證運維工作高質、高效開展。

（一）攝像頭離線檢測

攝像頭的離線檢測是基于攝像頭與視頻監控匯聚平臺之間的保活機制實現的，并且實現了攝像頭異常離線的3分鐘主動發現功能。在正常情況下，攝像頭60秒會主動向平臺發送一次保活消息，以保證攝像頭和平臺之間的正常通信。若連續3個保活周期內，平臺側未收到攝像頭的保活消息，則認為攝像頭異常離線。

（二）AI視頻畫質檢測

AI視頻畫質檢測采用自研的圖形處理算法和模式識別技術，提供黑屏、亮度異常（偏亮、偏暗）、模糊、遮擋、條紋、色偏、抖動、 雪花噪聲、黑白、畫面凍結、對比度、綠屏、灰屏、場景變更、視頻劇變、 視頻頻閃、視頻丟幀、視頻卡頓等14項異常檢測，檢測精準度高達95%。

（三）網絡全鏈路追蹤和故障精準定位

網絡全鏈路追蹤和故障精準定位是基于運營商獨有的大網資源數據實現的，如圖3所示。其基于攝像頭主動上報的IP地址，調用運營商CRM、3A、IPOSS等大網資源接口，可以查詢到寬帶是否欠費，光貓是否在線，OLT是否異常，網絡鏈路是否有異常，光衰是否正常等情況。針對光貓不在線情況，還可以判斷是掉電還是光纖中斷，即兩種狀態：光貓不在線（掉電）、光貓不在線（光貓或光纖損壞），顯示掉線的最近時間點。同時它還可以對設備進行流量分析、重啟等操作。

（四）錄像完整性檢測

錄像監控主要包括云存儲錄像監控和本地錄像（包括SD卡、NVR設備等）監控。如果設備的錄像有以下情況之一，則認為錄像狀態有異常情況，可以進行報警：在指定時間內錄像文件是否正常，如果錄像文件總長度 lt; 查詢時間段×閥值；錄像文件片段大小 lt; 正常值 × 閥值；錄像播放地址為空或者不正確的播放地址；隨機抽取錄像文件進行播放返回非200 OK的。

（五）維檢派單閉環管控

維檢派單閉環管控旨在應對攝像頭離線、網絡鏈路異常、AI視頻畫質異常、錄像完整性異常等異常情況。通過向運維人員派發工單，該系統能夠實現故障快速發現，精準定位以及迅速處置。平臺構建了告警中心和工單中心，以提升效率。告警中心展示網絡診斷、畫質診斷等告警的詳情，使用戶可清晰了解告警異常的具體情況，并有針對地進行處理；工單中心則負責展示工單接入、流轉、監控統計，實現工單全流程閉環管理。此外，工單中心還實現了工單的分類、匯總、派單及綜合調度派單的完善。

四、創新優勢

（一）全鏈路追蹤檢測

1.設備檢測

攝像頭軟探針：對前端設備性能、視頻流輸出健康度、信令交互、網絡性能進行監測。

流媒體服務器檢測：對流媒體服務器的出入視頻流，進行抓包分析和協議解析，統計流媒體質量、服務器性能、網絡性能、信令錯誤碼等指標，診斷服務器和網絡性能等問題。

2.網絡檢測

網絡檢測通過Ping或TcpPing測試網絡性能指標；通過GB281 81 /Onvif信令仿真拉流；測試攝像頭、媒體流服務器的視頻流輸出的質量和穩定性。

3.鏈路檢測

鏈路檢測通過采集和分析客戶端、設備、網元、服務、接口等日志，并結合大網資源樹信息，為平臺提供從設備端到平臺端之間的全鏈路追蹤能力。 它實現了對業務全流程的故障預警，能夠在用戶申告提前預警之前提前發現并發出警報，快速發現、精準定位，同時與綜合調度/綜合告警系統實現無縫對接。

（二）數據治理

數據治理是以資產管理為藍本，拓展衍生出的資產數據信息的調優模塊。它通過對資產數據的檢測分析結果，自動進行資產檢索，并識別及解決資產檔案、資產地圖中的問題。數據安全結合了硬件與軟件的雙重保護，對視頻接入、視頻匯聚、視頻分節點等多個網關節點進行漏洞安全掃描。它實時監測平臺與視頻之間的網絡和視頻流，確保不存在安全隱患，并對潛在的外部接入威脅和攻擊發出預警。

（三）多協議接入

多協議接入指的是通過GB/T28181、ONVIF、私有協議、RTSP、SNNP多種接入方式，支持市面上絕大多數視頻品牌的接入，包括數字攝像機、模擬攝像機、編碼器、解碼器、錄像存儲設備等。

（四）運維態勢感知

平臺支持態勢感知，包括存儲設備完好率、編碼器完好率、區域攝像頭完好率、區域存儲設備完好率、區域編碼器完好率、各類攝像頭完好率、服務器完好率、服務器告警分布排行榜等信息。

五、 結束語

平臺通過實時掌握全局態勢、數據量化分析、可視化監督、數據治理輔助考核等手段，成功扭轉了傳統運維保障的現狀，解決了設備多管理難、運營成本高、難以感知系統全面健康狀況、運維管理難以閉環和考核、重復建設浪費資源、檢測時效性差等問題，普遍適用于全國各地由于大規模擴張視頻監控建設所處的困境。平臺能協助各地實現“四全”目標，全面提升視頻圖像業務的管理水平和服務能力，建立起全面支撐公安業務各方面的技術支撐保障體系，提升公共安全視頻監控在智慧城市建設、維護國家安全和社會穩定等多方面的效益。

作者單位：王雷 李林倩 中國電信股份有限公司江蘇分公司

參考文獻

[1]秦力.智能視頻監控系統在民航機場安防中的應用[J].電子技術與軟件工程，2023，（08）：174-177.

[2]聶志勇，孫占冬.基于深度學習的智能視頻監控系統應用研究[J].能源科技，2023，21（01）：9-13.

[3]劉忠波.智能視頻監控及分析技術在綜合安防系統中的應用[J].無線互聯科技，2023，20（04）：13-15.

[4]朱澤國.視頻監控系統應用變化及發展趨勢[J].智能建筑與智慧城市，2023，（02）：142-144.

[5]周明.智能分析技術在視頻監控系統中的應用分析[J].數字技術與應用，2022，40（12）：150-152.