黃驊港智慧車站視頻智能化應用研究

陳剛，袁錢芳

黃驊港站作為朔黃鐵路中的一個重要節點，也是西煤東運的主要下海通道，在煤炭集疏運體系中有著舉足輕重的地位和意義。調車作業是黃驊港技術站的主要作業環節，目前受限于現場系統的建設和工作方式，調車作業主要依靠人工操作，自動化水平低下；關鍵作業區域無視頻覆蓋，調車組人員必須現場盯控作業；車站的傳統視頻通過九宮格方式顯示，眾多攝像機畫面堆砌，作業人員查看監控的效率不高，對翻車機前后的作業情況、車廂小門是否關閉、車廂是否脫軌，以及人員是否闖入作業線路等嚴重安全隱患，都無法通過視頻監控及時發現，難以實現車站智能化全局管控的效果。

隨著5G通信技術的普及，以物聯網、人工智能等為代表的新一代工業技術快速發展，加速了中國鐵路數字化轉型［1-3］，同時也為改善作業環境、保障作業安全和實現黃驊港調車作業智能化水平全面提升提供了新的技術手段。本研究通過開發集AR實景可視化［4］和AI視頻智能分析于一體的立體防控云防系統來滿足現場智能化作業和安全生產的需求。

1 系統架構

智慧車站立體防控云防系統（簡稱“系統”）由感知層、接入層、服務層和應用層組成，系統框架見圖1。感知層是系統采集信息的主要渠道，感知設備主要包括增強現實（Augmented Reality，AR）超級云眼攝像機［5］、雷球攝像機、音視頻記錄儀等；接入層分為視頻接入和數據接入兩部分，視頻接入服務具備設備接入、視頻存儲、視頻流轉發功能，數據接入服務具備數據接入、轉換和發布功能；服務層包含基礎、數據、視頻、通信、安全等管理服務，為上層應用提供服務支撐；應用層包含視頻實景地圖、調車作業安全監測、車輛狀態智能監測等應用。

圖1 系統框架

2 功能設計

2.1 視頻實景地圖

通過安裝在車站制高點的AR超級云眼攝像機對黃驊港車站進行全局監控［5］，以視頻實景地圖的方式顯示，同時結合增強現實技術對調車機、股道線路、建筑物、地面道路、設備裝置、重點目標等進行標注［6］，畫面直觀全面。視頻實景地圖見圖2。同時在較低位置設置低點攝像機，以視頻標簽的方式接入，可通過畫中畫的方式查看具體畫面。在應急指揮場景下，通過高、低視頻接力快速找到事發地點的畫面，提高指揮效率。

圖2 視頻實景地圖

2.2 調車作業安全監測

1）來車預警。系統通過接收調車自動駕駛控制系統推送的車輛運行信息，在車輛進入某一區段作業時，提前打開該區段的聲光報警器，利用報警燈和語音提醒現場作業人員即將有車輛通過，起到預警作用。

2）入侵報警。系統對鐵路作業線路提供全天候入侵檢測及報警功能。使用智能雷球一體機來實現線路周界防范預警［7］，對入侵目標進行探測，解析出目標的距離、速度、方位等信息。該設備采用相控陣技術的毫米波雷達，同時支持多目標定位、軌跡跟蹤，以及多方位聯動視頻跟蹤，通過智能算法分析，在多種模式下濾除誤報事件。對入侵事件進行實時多維感知、智能分析和綜合判斷，確定為入侵行為后觸發報警［8］。同時，對上報的報警事件進行視頻復核，確認無誤后，及時推送給調車自動駕駛控制系統［9］，作為車列緊急制動的判斷依據。

3）報警聯動。通過毫米波雷達和球型攝像機的聯動，實現目標的檢測、跟蹤和抓拍。系統接收到前端檢測設備告警信息的同時，在軟件客戶端同步彈窗顯示現場的實時視頻，便于車站管理人員可視化復核。

2.3 可視化調車和車輛巡檢

在翻車機房與一度停車位置設置制動缸、撥車機、夾輪器狀態確認攝像機，以及道口安全監測攝像機和線路人員入侵監測攝像機。調車組人員可通過視頻確認車輛推進線路、道口區域是否可以安全通行，夾輪器和撥車機是否就位等情況，打破原先只能依靠調車組人員沿線行走確認的僵局，提高調車作業的工作效率。通過調取翻車機房的低點攝像機監控畫面，可對已完成翻車作業的車輛進行檢查，查看車輛的完整性和煤是否清理干凈等情況。

2.4 車輛狀態智能監測

重載列車貨車車廂一端裝設旋轉車鉤，車輛另一端裝設普通固定車鉤。當車輛進入翻車機位時，翻車機帶動待翻車輛旋轉，以車鉤縱向中心線為軸旋轉180°，未進翻車機位的車輛靜止不動，被翻轉車輛與其連掛的旋轉車鉤一起翻轉，實現不摘車作業，縮短了卸貨作業時間。為便于區分辨識，通常在裝設旋轉式車鉤的一端車廂外部噴涂醒目黃色標識，工程現場稱之為“黃端”，所有進入翻車機房的車輛必須保持黃端一致，不一致時進行翻車作業會導致車輛脫軌等安全事故。通過翻車機房前后安裝的攝像機，利用視頻智能分析技術，及時發現黃端不一致、車廂傾斜、小門未關等異常情況，通過彈框的形式提醒作業人員及時處理（見圖3），提高作業安全性的同時，也降低了現場作業人員的勞動強度。

圖3 車輛狀態智能監測

2.5 音視頻管理和指揮調度

建設音視頻一體化管理平臺，對車站內配發的音視頻記錄儀統一管理，每天的作業視頻可通過5G網絡進行實時回傳。同時，視頻實景地圖可以顯示音視頻記錄儀（巡檢員）的實時位置。圖4為視頻畫面中動態設備的標簽，當作業過程中出現緊急情況時，調度人員可通過點擊標簽直接進入視頻通話模式，指導現場問題的處理。

圖4 動態設備標簽

3 關鍵技術

3.1 增強現實（AR）技術

增強現實技術也被稱為擴增現實，是綜合真實世界信息和虛擬世界信息內容的技術。增強現實技術的特點是三維跟蹤注冊、虛實融合顯示和人機實時交互。三維跟蹤注冊將虛擬場景準確定位到真實環境中，對現實場景中的圖像或物體進行跟蹤與定位；虛實融合顯示構建出文字、圖片、音視頻、鏈接等與物理世界結合，使物理世界和虛擬場景合為一體；人機實時交互可使用戶快速獲取虛實融合信息，并通過語音、按鈕、手勢等方式交互，實現所見即所得的效果［10］。

系統將AR超級云眼攝像機的實時畫面作為現實場景，與車站調車作業、車輛狀態、作業音視頻等數據、信息標簽結合，實現現實場景與虛擬場景的疊加，同時將信息標簽注冊到實時畫面中，對場景中的音視頻資源、作業人員進行跟蹤定位，并可通過語音、按鈕等方式與場景進行交互，形成車站AR實景全息化一張圖管理的新模式。

3.2 視頻智能分析技術

系統針對車站場景開發的視頻智能分析算法，需要適應環境中不同的亮度、天氣、工作人員、動物、車輛等因素的干擾，對目標智能識別準確性和報警邏輯抗干擾有較大挑戰，無相關應用案例可參考，開發過程中累計策劃十幾種方案，如貨車車號識別、鐵路來車檢測、貨車車廂檢測、股道上人員檢測、夜間抗飛蟲干擾、人體跟隨、人體動作識別等。其中，敞車車廂黃端識別為室外全天候使用算法，場景較復雜、干擾項多，極具代表性。

敞車通過翻車機房進行翻車作業的前提條件是車廂黃端必須一致，故需對車廂黃端進行檢測。若發現某一節敞車車廂黃端不一致立即抓拍，并結合識別到的車號信息，推送到系統報警中心進行報警提示。敞車黃端一致的檢測方法涉及2種模型：敞車車廂和黃端識別采用單階目標檢測模型（You Only Look Once Versions 5，Yolov5）；車號識別采用二階段文字識別模型［11］（Optical Character Recognition，OCR）。

3.2.1 模型訓練

敞車車廂和黃端識別采用Yolov5模型，該模型訓練分為樣本策劃、樣本采集、樣本增強、模型訓練、模型評估5個步驟。

Step 1模型樣本策劃階段。首先設計車廂類別，包括列車頭、黃端在左車廂、黃端在右車廂、無黃端車廂共4種；同時策劃樣本特征，特征維度包括目標大小、圖像明暗、天氣、采集樣本的時間段、車廂清潔程度。

Step 2樣本采集階段。根據策劃的樣本類型和特征，從現場采集用于訓練和模型評估的樣本數據。

Step 3樣本增強階段。通過圖像翻轉、圖像裁剪、明暗變換、噪聲干擾等方法，在采集的樣本數據基礎上擴充更多訓練樣本。

Step 4模型訓練階段。采用隨機劃分策略將訓練劃分成訓練集和校驗集。

Step 5模型評估階段。訓練出模型后，使用測試樣本測試識別情況，獲取模型評估指標，根據評估指標和使用情況，調整或者補充樣本，再次訓練和評估，最終使模型識別指標達到使用要求，獲得敞車車廂和黃端識別模型。

車號識別采用二階段OCR模型：第一階段模型是文本區域識別模型，用于識別圖片中的文本區域；第二階段模型是文字識別模型，用于識別第一階段獲取的文本區域中的文本內容。采集現場車廂號圖片，標注車廂號的位置和內容，用可微分二值化網絡模型訓練文本區域識別模型，采用卷積循環神經網絡訓練文字識別模型，獲得車號識別模型。

3.2.2 檢測判斷方法

1）車號最佳選擇方法。車廂從進入畫面到離開期間，攝像機會抓拍到多張車廂圖片，系統對每張圖片進行分析，優先輸出被識別頻次較多的車號，如果識別頻次一致，選擇二者中識別置信度較高的結果作為最終結果輸出。

2）車廂跟蹤方法。兩次識別目標屬于同一節車廂的條件為：二者的中心距離小于閾值，且后一次識別框中心位置在前一次識別框中心位置運動方向側。車廂矩形對象跟蹤條件見圖5。以2車為例，T2時刻識別的2車在運動方向側，且S1小于閾值，故T2時刻中間車廂為T1時刻的2車。

圖5 車廂矩形對象跟蹤條件

3.2.3 檢測流程

1）敞車車廂與黃端識別：按配置對實時視頻流進行抽幀，在抽取的視頻幀中通過敞車車廂和黃端識別模型分析目標股道是否存在車廂，若是，把車廂圖片加入到車廂跟蹤管理器中進行跟蹤，并記錄黃端信息，預處理流程見圖6。

圖6 敞車車廂與黃端識別流程

圖7 車廂號識別流程

2）車廂號識別：獲取車廂跟蹤管理器中未處理的車廂圖片，利用車號識別模型完成車廂車號的識別后，刪除本次車廂跟蹤對象，直到所有車廂圖片處理完成。

3）識別結果推送：車廂跟蹤結束后，選擇跟蹤過程圖像中識別出的最佳車廂號及黃端朝向，推送結果。

4）應用判斷流程：系統收到識別結果，判斷車廂黃端方向與車列黃端方向是否一致，如不一致，獲取本車廂號信息，推送到系統報警中心。

4 結論

本文對智慧車站的視頻智能化應用進行研究，針對車站視頻覆蓋、快捷調用和視頻語義化，通過增強現實技術，在視頻實景地圖上以靜態、動態標簽的形式進行視頻和數據的融合。

通過雷達、球機聯動檢測線路周界人員入侵，視頻智能分析算法檢測黃端不一致、車廂傾斜、小門未關等故障，有效解決車輛推進、作業防護、翻前翻后車輛狀態檢測等場景需要大量人員投入的問題，在減少室外作業人員數量的同時提高了工作效率。

隨著視頻分析技術的進一步發展，在日常調度作業和應急指揮方面，視頻系統查看內容更豐富、操作更便捷、聯動更快速、指揮更高效，能為車站提供更多場景的智能應用，為最終實現車站無人化的安全運營提供支撐。