高速鐵路基礎設施視頻大數據應用方案研究

董學娟

（北京經緯信息技術有限公司，北京 100081）

截止2020年底，我國高速鐵路營運里程已達3.79萬km，覆蓋范圍廣，運營場景復雜，涉及不同氣候和環境條件，由自然災害、環境及人為原因引發的安全隱患，如線路塌方落石、接觸網掛附異物、行車設備破損、重點區域人員入侵、作業過程不規范等時有發生，及時發現和消除這些隱患對保障高速鐵路運營安全極為重要。

目前，綜合視頻監控系統已成為我國高速鐵路保障運營安全的一種重要基礎設施[1]，可為鐵路車務、客貨運、工務、電務、供電、機務、車輛、信息和公安等各專業提供實時視頻和錄像回放等功能，為鐵路各業務部門遠程監視現場設備工況、環境狀況、作業過程提供了一種便捷、高效的技術手段。當設備出現故障或事故發生后，可利用綜合視頻監控系統的歷史數據回放功能，輔助故障原因分析，進行事故調查取證。由于綜合視頻監控系統實現的報警功能是基于傳統的視頻移動檢測（VMD，Video Motion Detection）技術[2]，只能判斷出畫面變化的內容，無法區分目標和背景干擾，報警準確率不高，妨礙了其成為鐵路各專業安全監控的利器。另外，綜合視頻監控數據尚未與各專業信息系統的相關信息有效關聯和融合，造成綜合視頻監控系統的現有應用功能尚存不足和局限性，限制了綜合視頻監控系統的應用成效。

近年來，云計算和大數據技術已經成為鐵路信息化融合創新發展的新動力，使得以較低成本存儲和處理海量、高增長的視頻數據成為可能。同時，智能視頻分析技術日趨成熟，廣泛應用在安防[3]、客流監測[4]、機器人[5]、車輛識別[6]、基建現場管理[7]等應用場景，也涌現了越來越多的商用智能視頻分析工具。智能視頻分析系統能夠自動識別出監控視頻畫面中的不同物體，分析出異常情況[8]，從而提供準確的報警信息，支持工作人員及時進行危機處理；并通過持續的深度學習優化智能分析算法模型，減少誤報和漏報。

為此，本文結合北京—張家口高速鐵路（簡稱：京張高鐵）綜合視頻系統應用狀況和需求調研，開展高速鐵路基礎設施視頻大數據應用系統（簡稱：視頻大數據系統）方案研究，為下一步全面推進該系統研究與開發奠定基礎。

1 高速鐵路基礎設施視頻大數據應用的可行性分析

目前，綜合視頻監控系統已經成為高速鐵路安全防護的一種重要技術裝備[9]，主要監控范圍覆蓋高速鐵路沿線各動車所、部分存車場及站段生產場所等大多數關鍵場所，能夠采集較為全面的高鐵基礎設施動態視頻數據。按照《高速鐵路安全防護設計規范》，針對高速鐵路的綜合視頻監控系統監控點設置要求如表1所示。

表1 高速鐵路綜合視頻監控系統監控點設置要求

京張高鐵作為支撐2022年北京冬奧會的重要交通設施，沿線設置了3600多個監控點，可以采集到京張高鐵沿線許多基礎設施的監控視頻；這些監控點所采集的視頻數據已經全部接入中國國家鐵路集團有限公司（簡稱：國鐵集團）主數據中心。京張高鐵沿線安裝的所有攝像機均具有夜視功能，視頻數據格式統一為 MP4 格式，分辨率為 1920×1080，圖像清晰度較好，從原始數據源頭上保證全天候視頻分析具有較高的準確率，也無需進行轉碼處理。每日采集的監控視頻數據量大約為80 T，集中存儲在主數據中心專用的視頻云存儲[9]中，保存周期為3年。

另一方面，目前已經有不少既有鐵路各專業信息系統接入到國鐵集團主數據中心的數據服務平臺，為開展跨系統、跨專業的數據融合與集成應用研究與開發提供了有利條件。為此，以京張高鐵為試點，展開高鐵基礎設施視頻大數據應用切實可行。

高速鐵路列車運行速度快，維修天窗時間短，及時掌握各類基礎設施的狀態和潛在的安全隱患，對保障高速鐵路安全運營意義極為重大?，F有的各類高鐵安全監測系統采集的監測信息內容還不夠豐富，遠遠不能滿足高速鐵路運營安全保障的需要。監控視頻數據是一種具有豐富內涵和洞察力的非結構化數據，其展示形式直觀和生動，一直以來主要在遠程監控、事故調查取證、輔助設備設施故障原因分析等方面發揮著重要作用。

為此，選用適用的視頻智能分析技術，利用綜合視頻監控系統采集的各種實際業務場景下海量監控視頻數據進行智能視頻分析，自動檢測高速鐵路沿線處在視頻監控范圍內的基礎設施的異常狀態及行車環境中不安全因素，將復雜多源的監控視頻數據轉化為計算機可識別的、具有明確語義的各類異常事件告警信息，并將監控視頻數據與既有各專業信息系統中涉及行車安全、環境安全的監測信息數據資源進行有效關聯和融合，進一步豐富告警信息內容，使高速鐵路綜合視頻監控系統采集的視頻數據能夠發揮更大的使用價值。

2 系統方案

2.1 建設目標

（1）面向高速鐵路基礎設施運維管理提供監控視頻結構化分析平臺

監控視頻數據價值密度相對低，在一個小時的監控視頻數據里，往往僅只有幾秒鐘的數據具有使用價值。目前，綜合視頻監控系統采集的視頻數據以非結構化形式存儲，當事件發生后需要追查時，難以快速、高效地檢索所需視頻內容。

高速鐵路沿線設置的視頻監控點一般都有較為確定的典型數據采集場景、固定的監控范圍和拍攝角度。對高速鐵路沿線所有監控點的監控目標開展全面、細致的調查，找出涉及線路設施、軌旁信號設備、接觸網、機房等重點區域、自然災害易發地段的所有監控點，并利用這些監控點的歷史視頻數據進行分析，確定數據具有使用價值的監控點清單，將這些監控點采集的視頻數據作為視頻大數據系統的數據源；并根據這些監控點監控目標的類型及可能出現的異常事件，定義各個監控點的視頻摘要模板、特征數據及視頻濃縮方案。通過視頻數據標注處理，根據監控視頻數據自身蘊含的語義和內容層次，為視頻數據添加明確語義標簽和清晰層次結構，以便于視頻數據的存儲組織、管理和使用，提升海量監控視頻數據的檢索效率。同時，只有制作出準確標注的視頻數據集，才能利用智能視頻分析算法完成準確的目標檢測、識別和行為分析，從視頻數據中精準捕獲異常事件。

（2）實現視頻數據與相關業務數據的有效關聯與融合

目前，綜合視頻監控系統采集的視頻數據還是相對封閉的數據孤島，未與相關業務數據進行有效關聯和融合，綜合應用難以開展，海量監控視頻數據的潛在價值尚未得到有效挖掘。添加了索引和標簽的監控視頻數據在被賦予明確的語義和一定的結構層次后，具備了與其它專業信息系統的結構化數據進行關聯和融合處理的基礎。為此，通過數據接口從相關業務信息系統中獲取與監控視頻中目標對象的有關各種屬性數據，一方面可利用屬性數據完善智能視頻分析算法，提高智能視頻分析的準確性；同時，可建立監控目標的數據立方體，支持多角度探索，進行關聯分析及趨勢分析；此外，實現與地理信息系統（GIS，Geographic Information System）信息集成，可以實現基于鐵路網電子地圖的監控點視頻瀏覽、監控點屬性及告警閾值設置、報警聯動等應用功能。

（3）開展視頻智能分析并實現異常告警閉環管理

利用智能視頻分析技術，自動檢測監控點現場出現的異常事件，并根據告警處置規則，將告警信息連同經結構化處理后的相關視頻數據的索引，主動推送給調度人員和基礎設施運維人員，使其及時地掌握監控點現場動態，以采取針對性處置措施，同時還可使視頻監控成為人工線路巡檢的有益補充，減少不必要的人工巡檢工作。此外，實現多專業系統聯動的告警處置閉環管理，更好地支持多專業共同應對安全事件的協同能力，高效實施搶修，避免事故的發生，或為救援指揮人員組織事故救援工作提供一種便捷工具，促進高速鐵路運營管理精細化，提高高速鐵路安全保障能力。

（4）提供定制化查詢功能和數據共享服務，充分發揮監控視頻數據的應用價值

面向高速鐵路基礎設施運維管理、環境安全及列車運行安全監控等業務，為國鐵集團、路局、站段不同業務層面用戶提供便捷的定制化監控視頻數據及智能分析結果查詢功能，在事故調查、故障分析、現場救援、線路設備搶修等多種業務場景下，用戶能夠方便快捷地查找和瀏覽歷史監控視頻信息及現場動態監控信息；同時，依托數據共享平臺，通過微服務網關，向各業務信息系統提供定制化監控視頻數據共享服務，促進鐵路信息系統的集成與業務融合創新。

2.2 總體架構

高速鐵路基礎設施視頻大數據應用系統依托國鐵集團主數據中心的云計算資源和平臺即服務（Platform as a Service，PaaS）構建，主要包括監控視頻結構化分析平臺、視頻綜合應用、數據交互接口3個部分，如圖1所示。

圖1 高速鐵路基礎設施視頻大數據應用系統總體架構示意

（1）監控視頻結構化分析平臺：主要包括視頻數據抽取/轉換/加載（ETL，Extract-Transform-Load）模塊、視頻結構化存儲、視頻數據標注工具庫、綜合分析數據庫、智能視頻離線分析算法庫、智能視頻在線分析算法庫、數據關聯與融合處理模塊。

其中，視頻數據ETL模塊從綜合視頻監控系統匯集到主數據中心的視頻云存儲中，抽取高速鐵路沿線基礎設施監控視頻數據，進行初步的結構化處理（如添加摘要、基本索引、分層標簽、視頻濃縮等）后，存入視頻結構化存儲中。

視頻數據標注工具庫用于對視頻數據添加更為豐富的索引、標簽，完成細化目標標注，使視頻數據更便于查詢和瀏覽，并用于制作訓練特定智能視頻分析模型的數據集。

智能視頻離線分析算法庫是一組用于智能視頻分析工具，針對某個具體監控點或監控類型的特定目標識別和事件分析任務，分析人員利用標注好的數據集對算法模型進行訓練，得到性能和準確性均滿足應用需求的視頻分析算法模型，經過驗證的算法模型歸并到智能視頻在線分析算法庫中。

智能視頻在線分析算法庫是一組經過測試驗證、針對特定視頻分析任務的算法組件，由管理員按照預先制定的運行策略部署運行，完成對來自特定監控點的視頻數據的分析處理，生成的異常報警信息存入綜合分析數據庫。

綜合分析數據庫是一個可支持聯機分析處理（OLAP，OnLine Analytic Processing）任務的數據庫，集中存儲來自外部系統的相關數據、智能視頻分析生成的異常報警信息，可根據綜合分析的需要，將數據組織成數據立方體。

數據關聯與融合處理模塊對來自外部系統接入數據接口的相關數據進行抽取和轉換，并將這些數據與視頻大數據系統自身的結構化視頻數據和報警數據進行關聯和融合，生成面向綜合分析應用的數據存儲在綜合分析數據庫中。

（2）視頻綜合應用：采用B/S架構，面向國鐵集團、鐵路局集團公司、站段、車間4個業務層面用戶，提供針對多種應用場景（包括事故調查取證、設備故障分析、事故救援、現場搶修等）的定制化視頻查詢功能；同時，基于微服務架構，為各專業信息系統提供所需的定制化視頻數據共享服務。

（3）數據交互接口：完成與外部信息系統的數據交互，包括外部信息接入接口和視頻數據共享服務接口。

其中，外部信息接入接口依據數據接入接口協議，從綜合維修系統獲取基礎設施設備（包括線橋隧、接觸網、軌旁信號設備、機房等）技術臺賬數據，從鐵路安全監督管理系統獲取事故故障信息，從高速鐵路自然災害及異物侵限監測系統（簡稱：災害監測系統）獲取天氣、災害、異物侵限信息，從列車調度指揮系統（TDCS，Train Dispatching Command System）獲取高速鐵路列車運行計劃和實績信息；調用鐵路地理信息服務平臺GIS服務，生成用于展示和瀏覽導航的GIS鐵路網電子地圖。這些外部系統通過視頻數據共享服務接口，調用視頻大數據系統提供的定制化視頻數據共享服務。

2.3 邏輯架構

按照系統技術構成要素的功能層次，高速鐵路基礎設施視頻大數據應用系統劃分為基礎設施層、數據存儲層、數據處理層、數據服務層、查詢分析應用層，如圖2所示。

圖2 高速鐵路基礎設施視頻大數據應用系統邏輯架構示意

（1）基礎設施層：提供系統運行的基礎軟硬件環境，主要包括存儲海量視頻數據的分布式文件系統（HDFS，Hadoop Distribute File System）和分布式數據庫（HBase）、存儲綜合分析數據的數據庫服務器（MySQL） 和內存數據庫服務器（ Redis）、提供定制化查詢功能的應用服務器（ Weblogic）、通信服務器（Rabbit MQ），均采用虛擬化集群配置，確保系統高性能、高可靠性和可擴展性。

（2）數據存儲層：基于分布式數據存儲架構實現視頻結構化存儲，視頻濃縮和分級分區域存儲，提高視頻數據的檢索效率和瀏覽進度；從其它系統獲取的關系型數據存儲在關系型數據庫，關聯融合后的結構化數據可按照多維立方體形式存儲。

（3）數據處理層： 完成基礎設施監控視頻數據的抽取、清洗，手工或自動生成視頻的索引、摘要初步標注；完成從其它系統采集的接口數據的抽取以及初步的關聯和融合處理；使用Hadoop MapReduce分布式計算模型來運行智能視頻分析算法組件，完成基于網格計算的海量視頻實時處理和高并行視頻分析計算。

（4）數據服務層：包括基礎服務、數據接口服務以及業務服務，使用Spring Cloud 實現服務治理；其中，基礎服務提供日志記錄、用戶與用戶組管理、系統運行參數配置、GIS 鐵路網圖生成等功能；數據接口服務以微服務形式，提供與相關業務信息系統的數據采集、信息交互及共享數據訪問服務；業務服務為本系統查詢應用層功能提供數據訪問服務。

（5）查詢應用層：面向本系統最終用戶提供查詢和分析功能，用戶通過瀏覽器訪問Web應用服務器，獲取各類定制化查詢和數據分析功能。

3 主要功能

高速鐵路基礎設施視頻大數據應用系統主要功能包括視頻數據抽取清洗與標注、數據關聯與融合、智能異常檢測、報警閉環管理、視頻查詢與共享、系統管理，系統功能結構如圖3所示。

圖3 系統功能結構

3.1 視頻數據抽取、清洗與標注

（1）視頻數據抽?。阂罁O控視頻數據價值調查分析后確定的監控點清單，按照系統預定義監控點視頻摘要模板、特征數據及視頻濃縮方案，從綜合視頻監控系統的視頻數據存儲中抽取這些監控點的視頻數據，形成初始的結構化監控視頻數據存儲；根據監控點不同監控目標的特性、智能視頻分析的要求以及查詢瀏覽的具體需求，按實時抽取、分階段抽取、定期匯總抽取3種方式完成數據抽取。

（2）視頻數據清洗：利用智能分析算法，自動檢測攝像機是否存在成像異常和取景范圍異常的情況，將夜視成像異常和取景范圍異常的視頻數據添加標記，并將其從智能視頻分析數據集中剔除。

（3）視頻數據標注：針對視頻結構化查詢和視頻智能分析應用需求，采用人工和自動化工具相結合的方式完成視頻數據標注；針對視頻結構化查詢的視頻數據標注，主要是基于對視頻內容的分析和理解，為抽取的監控視頻數據建立語義索引和層次結構，以方便用戶檢索和瀏覽查詢；針對視頻智能分析的視頻數據標注，主要是制作用于訓練智能分析模型的數據集，一般需要根據畫面中需要識別的目標及其行為（或事件），對視頻中每一幀圖像標注好其分類，以及對其進行語義分割及實例分割，甚至于全景分割。

3.2 數據關聯與融合

（1）基礎設施信息關聯融合：根據監控點清單，從綜合維修系統中獲取各個視頻監控點上監測目標所對應的基礎設施設備（包括線橋隧、接觸網、軌旁信號設備、機房等）技術臺賬數據，將存儲在結構化數據庫中，并建立與監測目標的關聯關系。

（2）災害監測信息關聯融合：從高鐵災害監測系統獲取高鐵沿線天氣信息（如雨、雪、大風等），可用于為智能視頻分析模型增加天氣因素，同時可監控視頻數據加注天氣類型標簽。

（3）事故/故障信息關聯融合：從鐵路安全監督管理系統獲取高速鐵路基礎設施相關的事故/故障數據，作為確定系統監測點清單的分析資料（如確定事故多發地段），同時也可為事故地點監控視頻添加事故/故障摘要信息。

（4）GIS鐵路網圖：從鐵路GIS獲取GIS 鐵路網圖，可以通過電子地圖實現監控點調看、設置、報警聯動等。

（5）列車運行信息關聯融合：高鐵沿線的通信鐵塔及高層建筑上安裝的視頻監控攝像頭可采集到動車組運行視頻，從列車調度指揮系統（TDCS，Train Dispatching Command System）中獲取高速鐵路列車運行計劃和實績信息，可將沿線這些監控點采集到的動車組視頻片段匯編成動車組沿途追蹤視頻。

3.3 智能異常檢測

針對不同類型視頻監控點對異常識別實時性的不同要求，按照實時處理、分階段處理、定期匯總處理3種異常檢測模式，通過智能視頻分析算法模型完成監控目標的異常檢測，生成異常檢測分析結果，并將分析結果連同相關視頻索引一并存入綜合分析數據庫中，供用戶查詢異常信息和檢索相關視頻。

（1）結構物位置偏移檢測：對隧道口邊仰坡、路塹邊坡、上跨橋等結構物的過車前后視頻進行智能分析對比，判斷是否發生移位；當偏移量超出系統設定的閾值閾值時，判斷該結構物出現位置偏移異常，并自動抽取該結構物在若干個時段的不同視頻片段的索引，方便用戶檢索視頻進行異常情況比對。

（2）軌旁信號設備外觀異常檢測：對應答器、箱盒、橋槽蓋板等軌旁信號設備建立數據樣本集，實現基于深度學習的軌旁設備外觀異常檢測；當檢測出設備外觀異常時，自動抽取該設備外觀異常視頻片段的索引，方便用戶檢索視頻來了解設備具體情況。

（3）接觸網異物檢測：對接觸網異物的易發區段視頻進行智能分析，利用出現鳥窩、風箏、塑料袋等異物的監控視頻圖像數據建立數據樣本集，實現基于深度學習的接觸網異物檢測；當檢測出接觸網存在異物時，自動抽取接觸網異物視頻片段的索引，方便用戶檢索視頻來了解具體異物情況。

（4）重點區域人員入侵檢測：采用基于深度學習的目標檢測算法，對設備機房等重點區域人員入侵進行檢測；當檢測出人員入侵行為時，自動抽取入侵人員進入該區域內的整段視頻的索引，供相關人員詳細掌握人員入侵過程。

3.4 報警閉環管理

系統自動生成異常報警通知，并主動推送相關用戶；相關人員到現場核查和處理后，用戶及時反饋現場核查與處置情況，實現異常告警閉環管理。

（1）報警通知推送：當視頻智能分析模塊檢測出異常時，告警引擎會根據按業務規則自動生成預警通知，向相關用戶推送告警信息及處置建議；用戶在手機App或監控終端瀏覽器監控頁面上收到告警信息時，可點擊告警信息附帶的監控視頻鏈接，下載查看相應的視頻；若用戶在指定時限內未確認收到告警信息，或是未按要求反饋報警處置報告，系統均以明顯的聲光或閃爍圖標提醒用戶。

（2）報警處置報告：接收到告警信息及處置建議的用戶，需要在現場核查和處置完畢后，或是指定的有效期限內，報告報警處置結果，包括現場核查情況、已處置結果、未處置的原因等；依據報警反饋信息，系統可以發現虛警情況。

（3）報警處置監控：系統將報警分為待處置、處置中、已處置、未處置4種狀態，超級用戶（通常是調度或專職管理人員）可以查看所有報警的當前狀態，掌握全線視頻監控異常報警整體狀況，對未按要求處置報警的相關人員進行監督。

（4）告警規則管理：提供告警規則編輯功能，系統管理員按照崗位職責、業務處理要求及處理時限，設置各種異常事件的告警規則；告警通知引擎會按照告警規則的設置，自動生成告警信息和處置建議。

3.5 視頻查詢與共享

面向各類用戶提供便捷的定制化視頻數據查詢功能，滿足各種業務場景（包括事故調查取證、設備故障分析、事故救援、現場搶修等）下，查詢和瀏覽監控視頻的需求；根據其它鐵路業務信息系統的視頻數據共享需求，以微服務方式，提供基礎設施監控視頻及動車組沿途追蹤視頻數據共享接口服務，方便相關系統利用視頻大數據系統提供的共享視頻數據，開展增值應用的開發。

（1）線路設施監控視頻：根據線路公里標、運行方向、線路設施編號、時間段、是否告警等條件，提供線路設施監控視頻匯編。

（2）信號設備監控視頻：根據線路公里標、運行方向、線路設施類型、時間段、是否告警等條件，提供軌旁信號設備監控視頻匯編。

（3）接觸網設施監控視頻：根據線路公里標、運行方向、線路設施類型、時間段、是否告警等條件，提供接觸網設施監控視頻匯編。

（4）重點區域監控視頻：根據線路公里標、重點區域名稱/編號、時間段、是否告警等條件，提供重點區域監控視頻匯編。

（5）動車組沿途追蹤視頻：根據車次、運行時段、線路區段和運行方向，將高速鐵路沿線通信鐵塔及高層建筑物上的多個監控點采集到的動車組運行視頻片段匯編成一個動車組沿途運行追蹤視頻。

（6）監控視頻目錄與索引：基于本系統處理過的結構化視頻數據，提供分線路區段、分基礎設施類別、分報警級別、分監控時間段的監控視頻目錄及關鍵字索引，方便用戶搜索所需監控視頻。

3.6 系統管理

（1）用戶與用戶組管理：采用基于角色的用戶訪問控制，提供角色、用戶、用戶組創建、修改、刪除等操作；角色和用戶定義主要對應于各項系統功能使用操作權限；用戶組則確定了異常告警事件及關聯視頻信息的共享范圍，用于確定系統接收系統主動推送某類信息的目標用戶群。

（2）運行參數設置：設置影響系統任務執行時機、數據處理方式、應用功能顯示方式等各類參數；例如，設置重點事件置頂顯示參數，系統管理員可從告警事件庫中選擇若干個告警事件作為Web應用首頁置頂顯示的通告內容。

（3）基礎數據維護：提供各類基礎數據字典的維護。

（4）監控點清單管理：依據監控視頻數據價值調查分析結果，確定視頻大數據系統需要從綜合視頻監控系統中抽取視頻數據的監控點，并完成監控點清單配置信息的錄入；設置每個監控點的預定義視頻摘要模板、特征數據及視頻濃縮方案；設置每個監控點的視頻數據抽取方式，實時抽取、分階段抽取或定期匯總抽?。灰曨l數據抽取模塊根據監控點清單設置信息，自動完成視頻數據的抽取、摘要生成、特征數據提取及視頻濃縮處理。

（5）日志管理：系統提供多種日志記錄和統計分析，包括用戶登錄日志、用戶操作日志、視頻抽取日志、視頻標注日志、智能視頻分析日志等；用戶登錄日志記錄用戶登錄信息，用戶操作日志記錄用戶在系統中的操作過程，主要用于安全審計；其它日志記錄系統主要處理組件的運行過程，主要用于故障分析和性能調優。

視頻大數據系統的運行監控將納入主數據中心的運維監測平臺，利用健康與應用性能監控組件，提供統一的可視化監控界面，對視頻大數據系統的核心組件運行狀態實行7×24 h 健康監控與異常預警，保證系統持續穩定運行。

4 關鍵技術

4.1 視頻標注技術

實現海量的非結構化監控視頻數據的快捷檢索和智能分析，需要將復雜多源的監控視頻數據轉化為計算機可識別的、具有明確語義的信息。視頻標注為視頻語義轉化提供了一條有效的途徑，根據視頻內容不同的語義概念，給視頻數據標記上關鍵字和注釋，建立視頻索引，實現對視頻內容的有效分類和組織管理。通常，計算機視覺底層特征與高層語義的聯系，難以找到較為通用的解決方法。而在綜合視頻監控系統中，每一個監控點的視頻內容都具有基本一致的時域結構和場景語義，都有相對固定的主題、目標和語義事件，根據領域相關的語義事件，易于提取用戶真正關心的數據。例如，對于設備機房等重點區域人員入侵檢測，可定義人員進入、退出、開關門等語義事件。視頻標注完成對視頻監控目標和語義事件的檢測與識別，按照事先定義好的目標類別和事件類型，對視頻片段進行標識，以實現基于內容的視頻分析和檢索。對于具有較強結構性特點的視頻數據，在語義標注之后，還可以通過視頻標注序列的分析，生成監控視頻的層次瀏覽結構，自動生成分層組織的視頻瀏覽目錄。

每個視頻監控點一般都有較為確定的典型數據采集場景、固定的監控范圍和拍攝角度。針對特定類型基礎設施的監控視頻畫面中，待識別目標類別一般較為確定，可分析的特定行為（或異常事件）也相對明確，屬于特定場景下針對特定目標的視頻分析應用，有利于實現較為高效、準確的人工智能（AI，Artificial Intelligence）算法。對于深度學習和計算機視覺，訓練數據的質量對訓練結果有著至關重要的影響。而取得這些數據主要途徑就是完成監控視頻數據標注，針對特定任務進行學習和推理，獲得較高的目標識別和事件（或行為）分析的準確率。數據標注可以由人工使用數據標注工具，或是由數據標注軟件自動完成；通常，人工數據標注的結果比較可靠，自動數據標注一般都需要人工二次復核，避免程序處理錯誤。

以接觸網監控視頻為例，從歷史監控視頻數據中抽取接觸網出現異物的視頻碼流，如在鐵路沿線周邊有農用地膜、城市防塵網和工地彩鋼房的區段，利用支持圖像分類、對象檢測框、圖像語義分割、實例分割數據的標注工具，截取視頻圖像，并提取神經網絡特征，計算圖像之間的特征值，若特征值達到一定閾值，則系統自動發出報警。

為做好監控視頻數據標注，首先需要對綜合視頻監控系統提供的監控視頻數據的內在特性進行全面、細致的調查與梳理，明確每個監控點位置、攝像機安裝位置（如通信鐵塔、建筑物等）、監控方向（線路上行/下行）、典型監控場景、主要監控對象及其狀態事件、次要監控對象及其狀態事件、適用的業務范圍，以便準確制定每個監控點的視頻數據標注方案。此外，利用在災害監測系統中獲取的天氣信息（雨、雪、大風等），還可在智能視頻識別算法模型中加入天氣等影響識別準確率的因素。

4.2 攝像機成像異常分析與取景范圍異常分析算法

夜視攝像機成像異常分析與取景范圍異常分析是視頻數據清洗的基礎，用于將存在異常的監控視頻數據從視頻分析數據集中剔除，確保視頻分析的效率和效果；同時，夜視攝像機成像異常與取景范圍異常本身也是一類設備故障，會觸發報警。

（1）夜視攝像機成像異常分析算法：計算圖像中像素強度分布及每一個強度值所具有的像素個數，判斷激光相機的夜視狀態是否開啟；將圖像中RGB值換算為亮度值并進行比較，若圖像像素強度分布或每一個強度值所具有的像素個數低于設定閾值，自動判斷出激光夜視光斑打開、激光夜視未打開及異常的情況。定期在設定時間范圍內抽取各個監控點視頻碼流，使用夜視攝像機成像異常分析算法，判斷激光相機的夜視狀態是否正常。對于虛警和漏報的情況，可抽取對應視頻樣本對算法進行訓練和測試，提高算法精度和適用范圍，提升識別準確率。

（2）受大風等較惡劣天氣的影響，攝像機的取景角度會發生偏斜，導致拍攝的圖像可能無法覆蓋用戶關注的取景范圍。取景范圍異常分析可采用基于金字塔Lucas-Kanade的跟蹤算法，精確計算出圖像偏移，據此測算攝像機監視角度偏移量；設置合適的閾值參數，以準確判斷出攝像機監視角度偏移量。

4.3 智能視頻分析技術

主流的視頻智能分析技術大多采用監督式學習（supervised learning）算法，視頻數據集的有效性和質量很大程度上決定了視頻智能分析結果的準確性。要在以幀為單位在一系列圖像中識別和跟蹤物體，必須對視頻數據進行有效標注，再將標注后的視頻數據作為數據集，用于訓練智能視頻分析模型，模型經過測試驗證后可用于特定的計算機視覺應用?？梢哉f，視頻標注是實現視頻智能分析的技術關鍵，視頻索引和標簽越準確，模型的表現就越好。智能視頻分析技術包括運動目標檢測、運動目標跟蹤、目標識別、目標行為識別與理解、運動目標異常行為識別5種類型。

運動目標檢測是智能視頻分析的基礎，主要任務是從監控視頻圖像中將變化區域（如設備外觀破損或結構缺失、列車、行人、異物等）從背景中提取出來。例如，分析乘客上車時在車門處的擁擠程度，是否有誤傷情況，根據需要進行客流疏導，保證運營安全。運動目標檢測主要算法有3種：幀間差分法、背景差分法和光流法。

運動目標跟蹤即通過目標的有效表達，在視頻中尋找與目標模板最相似候選目標區位置的過程。運動目標跟蹤算法主要分為4類：基于主動輪廓的跟蹤、基于特征的跟蹤、基于區域的跟蹤和基于模型的跟蹤。

運動目標識別是指根據監控視頻圖像中目標內容，自動將其劃分到預定義類別，運動目標分類的效果直接影響到系統后期目標行為理解與描述?；A設施監控視頻中需要識別的主要目標是每個監控點相對固定的監控對象，以及可能出現的種類有限的異物或行人。

運動目標檢測、分類和跟蹤屬于智能視頻分析中底層和中層處理部分，而行為識別是將測試序列與預先標定的代表典型行為的參考序列進行匹配，以確定測試序列的行為類別，并判斷該行為是否屬于異常行為，屬于智能視頻分析中高層處理部分。對于基礎設施監控視頻，行為識別與理解主要是對基礎設施設備外觀破損缺失、進入監控區域的行人或出現的異物的理解與識別。行為識別方法主要有模板匹配法和狀態空間法。異常行為（事件）往往具有突發性大、不可預知、持續時間短、無周期性等特點，異常行為識別的關鍵是如何從學習樣本中獲取參考行為序列，并且學習和匹配的行為序列必須能夠處理在相似的運動模式類別中空間和時間尺度上輕微的特征變化。針對特定的場景進行異常行為（事件）檢測，常用方法有基于模型的異常行為檢測方法和基于相似度的異常行為檢測方法。

以接觸網異物檢測為例，通過對比兩張圖像的相似度，檢測出異物的特定位置。從歷史監控視頻數據中抽取接觸網出現異物的視頻碼流，在接觸網異物多發地段，如鐵路沿線周邊有農用地膜、城市防塵網和工地彩鋼房等，采集來自該地段內攝像機的監控視頻圖像，通過智能視頻分析的監控視頻，能夠及時發現接觸網異物，例如圖4所示的鳥窩。

圖4 接觸網異物檢測（鳥窩）

對于虛警和漏報的情況，抽取對應的監控視頻作為樣本集，用于改進異物檢測算法。

5 結束語

結合對京張高速鐵路中綜合視頻監控系統應用現狀及視頻數據潛在應用需求的調研，分析開展高速鐵路基礎設施視頻大數據應用的可行性，明確系統建設目標，提出系統總體架構和邏輯架構，探討其主要應用功能及關鍵技術，為全面推進系統研究與開發奠定基礎。

視頻大數據系統以基于智能視頻分析的基礎設施異常報警及其閉環管理為核心功能，將綜合監控系統采集的海量視頻數據轉化為輔助高速鐵路基礎設施運維管理和強化運營安全保障的重要信息資源。該系統提供監控視頻結構化分析平臺，通過視頻數據標注，實現視頻數據的結構化組織和存儲管理，不但可為智能視頻數據分析提供準確有效的數據集，也為鐵路信息資源整合和綜合應用開發提供了有利條件；此外，提供監控視頻定制化查詢功能和數據共享服務，有助于提升視頻數據應用價值，促進鐵路信息系統集成化發展與融合創新。

確定監控點清單是推進視頻大數據系統研發的起點和基礎性工作，決定了監控視頻數據采集、清洗和標注的具體方案，也是選擇適用視頻標注工具和智能視頻分析技術，以及設計算法模型的依據。下一步，將在京張高鐵相關業務部門的支持下，全面深化監控點清單的調研和分析工作。