基于雷視融合的鐵路異物入侵檢測系統研究

摘要 文章探討了基于雷視融合技術的鐵路異物入侵檢測系統，該系統結合毫米波雷達與視頻自動識別侵入鐵路的異物并實現自動告警，并通過對事件的融合判斷，在一定程度上降低了誤報、重報的概率。集成以毫米波雷達、視頻監控為主，實現自動化監測與實時數據綜合分析、侵限報警、協同研判、決策處置等功能的一體化智能化監測預警系統，解決了復雜環境下的異物檢測難題，為鐵路安全運營提供了有力支持。

關鍵詞 雷視融合；異物入侵；深度學習

中圖分類號 U298 文獻標識碼 A 文章編號 2096-8949（2025）03-0022-03

0 引言

隨著我國高速鐵路的快速建設和發展，鐵路在國民經濟和交通運輸體系中扮演著愈發關鍵的角色。然而，鐵路行車安全面臨著諸多挑戰，包括但不限于行人入侵鐵路限界、隧道口，以及邊坡發生的泥石流、滑坡落石等，這些風險因素對鐵路的安全運營構成了嚴重威脅。

該文旨在綜合利用毫米波雷達與視頻技術，對鐵路入侵運動目標的檢測展開深入研究。通過融合兩種技術的優勢，實現運動物體入侵行為的自動識別與及時報警，進而研發出高效、可靠的鐵路異物入侵檢測系統。這一系統的研發將為鐵路運輸的安全運營提供重要保障，并有助于提升鐵路管理的智能化水平。

1 研究現狀

目前異物入侵檢測方法主要基于視頻相機和毫米波雷達。傳統視頻圖像檢測方法實現簡單，對設備硬件和軟件要求低，但檢測效率和準確率不高[1]，在環境復雜的鐵路場景下容易受光線陰影變化的影響，無法適應全天候24 h的連續監測。陳根重[2]基于視頻數據，通過提取圖片背景后采用背景差分法檢測異物，實現了背景更新和前景的分類；李睿[3]采用雙目視覺系統進行軌道識別，再通過重復的背景差分運算去除背景，完成鐵路障礙物的侵限檢測，但計算量較大，實時性不足。在雷視融合方面，Nabati等人[4]將毫米波雷達數據投影到圖像坐標系中，使用毫米波雷達的區域建議網絡得到圖像檢測的感興趣區域；Wang等人[5]根據毫米波雷達和相機的檢測結果得到ROI區域，再分別從雷達信號與圖像中提取特征進行融合檢測，提升了算法在弱光和強電磁噪聲環境下的目標識別能力。

在分析雷視融合領域的研究現狀后，該文發現存在以下三個問題：

（1）點云數據與視覺信息的融合預處理不足。現有方法在處理雷達點云數據與視覺信息融合后的數據時，往往僅局限于投射、灰度調整、濾波、直方圖統計等基礎操作。這種做法忽略了點云數據的豐富細節，未能充分利用雷達點云信息中的關鍵特征。

（2）深度學習算法泛化能力有限。基于目標檢測的深度學習算法往往針對特定類型的異物具有檢測功能，缺乏對未知目標的泛化能力，無法覆蓋其他類別。因此，在面對未知目標時，這些方法均難以實現準確報警。

（3）背景幀差法在處理場景變化時的局限性。采用背景幀差法進行異物檢測時，面對不同場景的變換，例如白天與黑夜、晴天與雨天等，背景會發生顯著變化。這種變化會導致幀差法產生較大的前置誤差，且無法自動更新背景模板信息，從而限制了其在語義感知方面的應用。

2 研究內容

針對上述問題，該文研究的重點內容將聚焦于以下兩個方面：

（1）深層次點云與視覺融合算法。

算法以雷達點云和攝像頭視頻流作為輸入。首先，通過校準確保雷達投影與攝像頭在同一水平面上；鑒于雷達點云相較于圖像數據的稀疏性，該文在算法設計的淺層階段僅進行初步的“region proposal”生成，以初步融合點云信息與圖像數據。隨后，參考CRFNet[6]網絡結構進行建模，該文進行了兩方面的優化：一是將原始網絡的backbone由VGG更新為YOLOX，以提升特征提取能力；二是將最終輸出的特征圖轉化為特征向量，以適應廣泛的異物入侵檢測需求。

（2）融合事件判斷網絡。

與傳統基于視覺圖像進行事件判斷的方法不同，該方法不僅強調深度信息的語義判斷，如異物停留事件、軌跡分析、類別識別等，還引入了光流信息以增強檢測能力。

具體而言，該文利用光流信息為圖像中的每個像素點賦予速度矢量，通過捕捉運動目標與靜態背景之間速度矢量的顯著差異，有效地將運動目標與背景區分開來。此外，結合視覺網絡輸出的特征向量和背景模板進行特征比對，并設置動態閾值以實時更新背景模板，進而實現異物檢測。這種方法能夠有效應對場景變化，并從多個維度提供準確的事件報警判斷。具體算法流程如圖1所示：

3 雷視融合技術原理

雷視融合的工作原理主要基于兩方面：一是雷達系統通過發射和接收電磁波精確測定目標物體的距離、速度，以及角度等關鍵參數；二是攝像頭傳感器通過捕捉目標物體的圖像信息，進而執行目標檢測、詳細識別及精確跟蹤等任務。

通過融合雷達和攝像頭兩種傳感器，結合雷達的主動探測性和高靈敏度，雷視融合系統能夠在復雜環境條件下保持穩定性能，實現全天候的目標檢測、識別和跟蹤。此外，通過攝像頭的視頻流數據，雷視融合系統還能夠獲取豐富的目標細節信息，如顏色、紋理、形狀等，從而提高目標識別和分類的準確性。

4 系統功能設計

4.1 系統概述

4.1.1 物理架構

外場安裝毫米雷達、智能球形攝像機及邊緣計算單元，實現事件的及時感知、實時計算等。通過交換機、5G路由器將感知后的事件回傳到軟件平臺進行事件預警。物理架構如圖2所示：

4.1.2 軟件平臺架構

軟件平臺采用SpringBoot等服務模式開發，可快速將服務拆分，利用Spring Cloud等微服務框架實現微服務架構，實現系統各板塊的模塊化，使系統變得更靈活，能根據客戶的實際業務量達到彈性的擴展能力。

4.1.3 預警業務流程

預警系統將設備接收到的數據進行入庫保存、數據分析管理，以及預警響應等相關操作，預警業務主體流程圖如圖3所示：

4.1.4 數據庫基礎設計

平臺數據庫是基于關系數據庫和GIS技術，面向災害風險、地質環境業務應用和信息系統構建的統一的數據存儲、管理、應用和服務系統，是業務系統與數據資源進行集中、集成、共享、分析的軟硬件設施及其數據、業務應用等的有機組合。

4.2 功能設計

4.2.1 數據統計總覽

數據統計總覽將監測平臺的信息投送到大屏進行總覽顯示。通過大屏系統，監測中心工作人員可以實時觀察預警監測情況，大屏可以從多維度顯示監測數據，以及經過處理分析的數據。

4.2.2 實時報警信息

提供對預警監測點基本信息的管理和顯示，包括預警時間、預警地點、預警狀態、預警實時視頻、預警截圖等。

4.2.3 GIS地圖

地圖展示四川省內的地理信息，鼠標移動到地圖上時，可顯示當前位置的經緯度信息；可靈活切換二、三維地圖，以滿足多種需求；地圖上的綠色點位代表視頻設備，橙色代表雷達設備，點擊測距或測面按鈕，可展示距離或區域面積。

4.2.4 警情管理

系統內提供對預警預報產生的告警信息，進行全生命周期的狀態管理。其中警情信息包括新警情、已反饋、已關閉等狀態節點。

5 系統驗證

為驗證雷視融合的鐵路異物入侵算法的檢測能力、系統的報警聯動能力，該文進行現場人工事件的模擬，如圖4所示：

6 結語

該文研究基于雷視融合的鐵路異物入侵檢測技術，旨在克服復雜鐵路場景下傳統檢測方法的局限性。通過集成深度點云與視覺融合算法及創新的融合事件判斷網絡，顯著提升了異物入侵的檢測效率與準確性，進而構建了高效的鐵路異物入侵檢測系統。該系統能夠自動識別并即時報警鐵路上的運動目標入侵，為鐵路運輸的安全穩定構筑堅實防線。

參考文獻

[1]宋華杰.軌道異物入侵檢測的必要性及措施分析[J].科技視界， 2022（5）：136-138.

[2]陳根重.基于單目視覺的軌道交通異物侵限檢測方法研究[D].北京：北京交通大學， 2013.

[3]李睿.雙目視覺立體匹配算法在鐵路異物自動識別中的研究[D].蘭州：蘭州交通大學， 2014.

[4]NABATI R，QI H.RRPN.Radar Region Proposal Network" for Object Detection in Autonomous Vehicles[C].2019 IEEE International Conference on Image Processing（ICIP）. Taipei： IEEE.2019： 3093-3097.

[5]Wang Z， Miao X， Huang Z， et al. Research of Target Detection and Classification Techniques Using Millimeter-Wave Radar and Vision Sensors[J]. Remote Sensing， 2021（6）：1064.

[6]Nobis F， Geisslinger M， Weber M， et al. A Deep Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection[C].2019 Sensor Data Fusion： Trends， Solutions， Applications （SDF）.Munich， Germany IEEE.2019：1-7.

收稿日期：2024-08-28

作者簡介：楊洋（1989—），男，本科，工程師，主要從事人工智能與大數據研究工作。