實景全息化與智能識別技術在貨場的應用

陳 剛，夏 雷，梁多姿，陳 剛，袁錢芳，葉衛春

（1．中國鐵路上海局集團有限公司科技和信息化部，上海 200071；2．高新興創聯科技有限公司，杭州 310013）

1 項目背景

鐵路貨運是國內主要的貨物運輸方式之一，鐵路貨物運輸在國內貨物運輸市場中長期處于主導地位。隨著國內經濟的高速發展，全社會貨物運輸需求的持續增長，加上電子商務的迅速發展，使鐵路貨物運輸市場的需求量大量增加，客戶對貨物運輸的時效性、準確性以及服務質量的要求也不斷提高。

近年來鐵路貨場安全事故時有發生，目前貨運站場內主要通過人防手段對場內人員、車輛、貨物、作業過程等進行管控，信息化、智能化程度水平較低，無論是監管力度還是監管效率都有待提高，各種原因導致的多起違章事故，給人員、財產安全造成較大的隱患。當前部分貨場已經部署了視頻監控系統，但未充分發揮視頻的優勢，信息化建設需要進一步優化提升，亟需建設一套實景全息化和智能分析于一體的智能安全管控系統來滿足現場安全生產需求。

2 關鍵技術應用研究

2.1 增強現實技術

增強現實技術(Augmented Reality，AR)，是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術，是把原本在現實世界的一定時間空間范圍內很難體驗到的實體信息(視覺、聲音、味道、觸覺等)，通過電腦等科學技術，模擬仿真后再疊加，將虛擬的信息應用到真實世界，被人類感官所感知，從而達到超越現實的感官體驗。真實的環境和虛擬的物體實時地疊加到同一個畫面或空間同時存在。AR 實現需要用到的底層技術包括計算機視覺、虛實融合、人機交互，顯示輸出等，這些技術是增強現實技術的基礎。AR 要進行完美呈現，主要依賴于3 個方面。

1）虛實結合

AR 技術依靠計算機技術構建出文字、圖片、視頻、音頻、網站鏈接、三維模型、三維動畫、全景信息等和物理世界的結合，讓物理世界和虛擬對象合為一體。

2）虛實同步

AR 實現虛擬世界和物理世界的實時同步，滿足用戶在物理世界中真實地感受虛擬空間中模擬的事物，增強用戶體驗效果。

3）交互自然

可以使用手部動作與手勢控制所讀出的3D 模型移動旋轉，以及通過語音、眼動、體感等更多的方式來與虛擬對象交互。

2.2 基于AR技術的前端感知設備

基于AR 技術的前端感知設備由增強現實云眼攝像機和管理終端組成，如圖1 所示。增強現實云眼攝像機內設有視頻信息采集模塊、地理位置信息采集模塊、姿態信息獲取模塊和視頻流處理模塊。視頻信息采集模塊采集監控區域的視頻信息，地理位置信息采集模塊采集攝像機的地理位置信息，姿態信息獲取模塊獲取攝像機的姿態信息，由視頻流處理模塊將地理位置信息、視頻信息和姿態信息合成視頻流，傳送到增強現實管理終端。增強現實管理終端對地理位置信息和姿態信息進行圖形化處理后，再疊加在實時畫面上進行顯示。其中，地理位置信息采集模塊為GPS/北斗定位模塊，姿態信息獲取模塊為數字羅盤、加速度計等。

圖1 前端感知設備Fig.1 Diagram of front-end sensing equipment

2.3 基于AR技術的多信息融合顯示

視頻流獲取模塊獲取視頻流處理模塊傳送的視頻流信息，視頻流解碼模塊進行解碼，同時將地理位置信息和姿態信息傳送到圖形化處理模塊進行圖形化處理，并疊加在實時視頻畫面上進行顯示。用戶也可以通過自定義標簽添加模塊在顯示畫面上添加自己感興趣的信息，并送到圖形化處理單元進行圖形化處理后，疊加在實時畫面上進行顯示，實現用戶與畫面的互動。

2.4 實景全息化

利用安裝在貨場制高點的增強現實云眼攝像機，并結合AR 技術和視頻地圖引擎，將云眼攝像機的實時視頻畫面與視頻覆蓋范圍內的人、車、物、事件等信息以標簽標注的形式疊加到畫面中形成一張實景地圖。同時，接入既有業務系統的視頻、圖片、音頻、文本等信息，實現貨場實景全息化。

2.5 智能識別技術

視頻智能算法服務基于圖像處理和深度神經網絡技術識別視頻。圖像處理是以識別各種模式的目標和對象的技術，并對質量不佳的圖像提供一系列的增強和重建技術手段。深度神經網絡由多層神經網絡層構成，具有學習能力強、適應性好、逐層表征圖像抽象特征、端到端訓練等優點，在視頻智能識別中被廣泛應用。圖像處理技術和深度學習結合構成了智能識別算法服務技術。系統利用智能識別技術識別車廂門、叉車、安全帽等物體，實現開關車門是否使用拉門繩、叉車司機未佩戴安全帽等應用。

2.6 深度學習

深度學習以神經網絡為主要模型，主要用來解決一些通用人工智能問題和推理決策等，是學習樣本數據的內在規律和表示層次，這些學習過程中獲得的信息對諸如文字，圖像等數據的解釋有很大的幫助。深度學習使機器模仿視聽和思考等人類的活動，它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像等數據。系統利用深度學習技術識別車號、車輛等內容，優化貨場作業管理流程，實現車輛來車預警。

3 鐵路貨場安全智能管控系統方案研究

3.1 系統架構

鐵路貨場安全智能管控系統（簡稱系統）包括：采集層、接入層、服務層和應用層。

采集層設備是整個系統感知信息主要來源，主要包括增強現實云眼攝像機、雷達視頻一體機、熱成像攝像機等。

接入層為各種前端感知設備配套的采集、處理、控制的子系統，如視頻監控系統、安全預警系統、人臉車輛識別系統等。這些系統大都只是對數據進行采集、簡單分析處理。

服務層包含視頻管理服務、數據管理服務等，實現數據分析、發布等服務，是對接入層進行整合、優化，為上層應用提供服務支撐。

應用層在服務層的支撐下，結合增強現實技術，可視化、扁平化地將各種動態運行數據疊加到全局監控的視頻畫面上，實現實景視頻地圖、智能識別、報警自動推送、智能處置、可視化指揮調度等應用。

系統以AR 增強現實技術和圖像智能識別技術為核心，以視頻地圖引擎為基礎，將整個貨場的人、車、物、事件等信息以標簽標注的形式疊加在視頻地圖上，通過各類智能圖像算法來識別作業過程中的安全風險，保障貨場內的安全生產。同時對接防火系統、來車預警系統、人車門禁系統等，實現“貨場安全管控一張圖”的管理新模式。

系統框架如圖2 所示。

圖2 系統框架Fig.2 System framework

3.2 系統功能

系統實現安全智能管控全息化、貨區安全管理、入侵防護管理、作業安全管理、作業過程管理、人員合規管理、車輛管理和報警信息閉環管理等8 項功能。

1）安全智能管控全息化功能

系統可以用標簽標注的方式將整個貨場以一個視頻實景地圖顯示，在實景地圖可以打開任意位置的低點視頻，如圖3 所示。在發生報警時，自動聯動低點視頻進行聚焦，并可一鍵打開可視化應急預案。

圖3 安全智能管控全息化Fig.3 Holography for intelligent safety management and control

2）貨區安全管理功能

系統可以對雨棚、倉庫等貨區進行防火監測，同時對不按規定擺放托盤、抽煙、打電話等行為發出報警，如圖4 所示。

圖4 貨區安全管理Fig.4 Safety management of freight yards

3）入侵防護管理功能

系統通過對實時視頻的分析，為鐵路周界包括咽喉區、月臺間股道提供全天候的入侵檢測及報警功能。通過對周界的各種報警事件進行多維檢測，確定為人體目標觸發報警規則，發出告警信息，如圖5 所示。

圖5 入侵防護管理Fig.5 Management of trespass prevention

4）作業安全管理功能

系統對作業安全進行管理，如圖6 所示，自動識別叉車司機是否佩戴安全帽，叉車是否超速，開/關車門是否使用拉門繩，人員過平交道是否打手勢，平交道來車是否做好防護，對有安全風險的行為和事件發出報警。

圖6 作業安全管理Fig.6 Management of operation safety

5）作業過程管理功能

系統對人員作業過程進行監管，通過巡檢儀并結合圖像識別算法，加強對人員巡檢作業過程的監督管理，簡化原有的作業流程，為巡檢作業人員提供便捷，提高作業過程管理能力。

6）人員合規管理功能

系統對人員進出口進行規范化管理，實名制進/出，外來人員需通過訪客系統方可進入。

7）車輛管理功能

系統對接當前貨場車牌智能識別系統，對進/出貨場的車輛進行管控。并對車輛超速進行監控，當車輛超速時，監控中心將接收到報警提示，如圖7 所示；并可以對多次超速的車輛自動設置為黑名單。

圖7 車輛管理Fig.7 Vehicle management

8） 報警信息閉環管理功能

系統設有專門的報警功能模塊，對所有接收到的報警信息進行集中管理，并進行分級，根據對應的分級進行閉環管理，如圖8 所示。

圖8 報警信息閉環管理Fig.8 Closed-loop management of alarm information

4 應用價值

4.1 智能化提升產生的社會安全效益

通過建設貨場安全智能管控系統，可將貨場內現有視頻監控、出入口車輛識別系統、AI 智能識別系統、人臉門禁系統、來車監測防護系統等多業務系統進行融合，在實景視頻畫面中可隨時調用這些系統數據。當出現異常報警時，能第一時間鎖定異常報警發生位置，可視化指揮周邊的巡邏人員趕赴現場處置，提高應急處置效率，保障貨場運營安全。

4.2 工作效率提升帶來的經濟效率

通過項目建設，集成現有視頻設備、網絡設備、消防監控設備、門禁設備等，打通信息孤島，連接傳統的各個監管、監控平臺，提高設備利用率，減少作業人員的使用成本、培訓成本、設備維護，從而加快工作進度，落實各項工作開展，穩定推進貨運行業發展，為貨運的運營提升帶來較大收益，間接體現了工作效率提升帶來的經濟效益。

5 總結

貨場安全智能管控系統在實際應用中取得預期效果，包括全局視頻聯動化、技術應用創新化、貨場視頻實景全息化、安全管控智能化、報警聯動立體化、數據資源一體化等效果。同時在新科研技術的帶動下，為貨場解決實際問題，達到一張實景地圖、視頻資源上圖、多維聯動、智能報警閉環管理等綜合運用，最終實現貨場安全運營。