基于AI邊緣計算的鐵路行車視頻監(jiān)控智能識別研究

李博，楊欣

（中國鐵路武漢局集團有限公司麻城車務(wù)段，湖北 黃岡438300）

鐵路車務(wù)站段既有的監(jiān)控系統(tǒng)均未設(shè)置監(jiān)控報警功能，缺乏對特定場景違章動作的自動判斷，指揮中心專人查看視頻監(jiān)控畫面判斷現(xiàn)場職工違章違紀情況，不僅費時費力，也不能及時發(fā)現(xiàn)問題。為提高監(jiān)控效率，對特定區(qū)域場景進行識別分析，根據(jù)設(shè)定標準判斷職工作業(yè)情況，并將不規(guī)范行為的場景向指揮中心端發(fā)出實時告警信息，并在后臺記錄存檔，重點對行車室睡崗、外勤接車與否、咽喉區(qū)閑雜人員闖入等場景進行實時監(jiān)控，并進行AI智能分析，通過視頻圖像深度處理，自動識別作業(yè)情況，對違章違紀的情況向監(jiān)控中心進行報警并存檔，利用事件觸發(fā)報警傳輸?shù)臋C制，能有效提升網(wǎng)絡(luò)利用率，提升數(shù)據(jù)的存儲效率，管理人員根據(jù)實時報警或存檔記錄進行確認后進行教育考核。

1 研究內(nèi)容及對象

通過對視頻數(shù)據(jù)的采集、分析、建模，自動識別異常情況、提取關(guān)鍵信息，有效減少管理人員勞動強度，實現(xiàn)實時監(jiān)控、實時報警、實時處理，提高安全盯控與應(yīng)急指揮的實時性和時效性，提升網(wǎng)絡(luò)利用率和數(shù)據(jù)存儲效率。

該系統(tǒng)主要在中國鐵路武漢局集團有限公司麻城車務(wù)段下屬中驛車站的兩端咽喉區(qū)、行車室、助理接車亭配備固定式攝像頭，用于實時監(jiān)控站區(qū)及作業(yè)人員（咽喉區(qū)非工作人員侵入、外勤助理接車、值班室人員睡崗、離崗）的作業(yè)情況并進行研究分析。

2 系統(tǒng)研究方法

2.1 技術(shù)路線

鐵路車站監(jiān)控視頻智能識別技術(shù)的研究應(yīng)用采用邊緣計算路線，將AI計算模組放在攝像頭一側(cè)，采用網(wǎng)絡(luò)、計算、存儲、應(yīng)用核心能力一體化，就近提供最近端服務(wù)。其應(yīng)用程序在邊緣側(cè)發(fā)起，產(chǎn)生更快的網(wǎng)絡(luò)服務(wù)響應(yīng)，滿足鐵路行業(yè)在實時業(yè)務(wù)、應(yīng)用智能、安全與隱私保護等方面的基本需求。

2.2 技術(shù)優(yōu)勢與對比

邊緣計算具有低時延、高帶寬、高可靠、海量連接、異構(gòu)匯聚和本地安全隱私保護等特點。實現(xiàn)監(jiān)控視頻AI化，主要有兩種技術(shù)路線。一種是云計算的方式，將視頻數(shù)據(jù)匯總到云端進行分析處理；另一種是邊緣計算（AI計算盒）的方式，在設(shè)備端處理好視頻，提取有用的數(shù)據(jù)再上傳到云端[1]。

邊緣計算和云計算路線對比如下：①邊緣計算可以實時或更快地進行數(shù)據(jù)處理和分析，讓數(shù)據(jù)處理更靠近源，相比外部數(shù)據(jù)中心或者云，可以縮短延遲時間。②在成本預(yù)算上可以大大減輕經(jīng)費預(yù)算。企業(yè)在本地設(shè)備上的數(shù)據(jù)管理解決方案所花費的成本大大低于云和數(shù)據(jù)中心網(wǎng)絡(luò)。③減少網(wǎng)絡(luò)流量。隨著物聯(lián)網(wǎng)設(shè)備數(shù)量的增加，數(shù)據(jù)生成繼續(xù)以創(chuàng)紀錄的速度增長，結(jié)果網(wǎng)絡(luò)帶寬變得更加有限，壓倒了云，導(dǎo)致更大的數(shù)據(jù)瓶頸。④提高應(yīng)用程序效率。通過降低延遲級別，應(yīng)用程序可以更高效、快速地運行。⑤個性化。通過邊緣計算，可以持續(xù)學習，根據(jù)個人的需求調(diào)整模型，帶來個性化互動體驗。⑥安全和隱私保護。網(wǎng)絡(luò)邊緣數(shù)據(jù)涉及個人隱私，傳統(tǒng)的云計算模式需要將這些隱私數(shù)據(jù)上傳至云計算中心，這將增加泄露用戶隱私數(shù)據(jù)的風險。在邊緣計算中，身份認證協(xié)議的研究應(yīng)借鑒現(xiàn)有方案的優(yōu)勢之處，同時結(jié)合邊緣計算中分布式、移動性等特點，加強統(tǒng)一認證、跨域認證和切換認證技術(shù)的研究，以保障用戶在不同信任域和異構(gòu)網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)和隱私安全[2]。

2.3 系統(tǒng)的技術(shù)應(yīng)用

深度學習技術(shù)。鐵路車站監(jiān)控視頻智能識別系統(tǒng)采用深度學習技術(shù)，相對于傳統(tǒng)視覺技術(shù)而言，能提供更準確的物體識別能力。

邊緣計算技術(shù)。利用TensorRT，利用層間/張量融合與數(shù)據(jù)精度校準技術(shù)，實現(xiàn)了AI計算盒（邊緣設(shè)備）上的高效運行。

Websocket技術(shù)。應(yīng)用Websocket技術(shù)，實現(xiàn)多路Web端實時視頻流直播。免去了安裝客戶端的煩惱，也免去了不同客戶端設(shè)備之間不兼容的問題。

可視化技術(shù)。應(yīng)用基于ECharts的圖表可視化技術(shù)，可以統(tǒng)計查看更加直觀的報警記錄。

3 系統(tǒng)的架構(gòu)

3.1 系統(tǒng)結(jié)構(gòu)組成

從物理拓撲上看，系統(tǒng)包括數(shù)字網(wǎng)絡(luò)攝像頭、AI計算模組、報警管理服務(wù)器、交換機、數(shù)字錄像機、操作終端等組成部分。

從系統(tǒng)架構(gòu)上看，分為AI邊緣層、業(yè)務(wù)層和系統(tǒng)層三個層次，如圖1所示。

圖1 系統(tǒng)架構(gòu)組成

AI邊緣層。負責對視頻數(shù)據(jù)進行采集和智能分析，并向上提供報警事件。

業(yè)務(wù)層。負責存儲報警記錄、進行事件檢索、處理報警工作流、提供對外接口等工作。

系統(tǒng)層。負責系統(tǒng)管理、用戶管理、終端交互等，提供對服務(wù)層的接口。

3.2 系統(tǒng)功能模塊

3.2.1 固定式攝像頭算法模塊

固定式攝像頭算法模塊如圖2所示。站區(qū)（兩端岔區(qū)視頻范圍內(nèi)）如果有非工作人員進入，則定義為人員入侵事件。

圖2 固定式攝像頭算法模塊

算法判斷人員進入視頻范圍，則自動向系統(tǒng)終端報警，提示有閑雜人員進入，同時通過可識別的防護衣和防護帽來區(qū)分工作人員和非工作人員，極大減少誤報率[3]。

3.2.2 立崗接車識別模塊

立崗接車識別模塊如圖3所示。在有車進站的情況下，在接車崗?fù)の闯霈F(xiàn)接車人員，即定義未立崗接車。

圖3 立崗接車識別模塊

在劃定的視頻范圍內(nèi)，列車通過畫面與視頻內(nèi)是否有人員進行比對。算法可識別行進中的列車以及接車員，可設(shè)置要求多長時間提前到崗[4]。

3.2.3 睡崗及離崗識別模塊

睡崗及離崗識別模塊如圖4所示。在工作期間，工作人員在崗位上靜止超過一定時間（系統(tǒng)設(shè)定為15 min），即為睡崗事件。算法根據(jù)劃定的睡崗區(qū)域，以及設(shè)定的報警門限時間，對睡崗行為進行判斷，超過門限時間即報警。

圖4 睡崗及離崗識別模塊

在規(guī)定時間內(nèi)，工作人員離開視頻監(jiān)控范圍內(nèi)，視為離崗事件。算法根據(jù)劃定的離崗區(qū)域，以及設(shè)定的報警門限時間，對離崗行為進行判斷，超過門限時間即報警。

3.3 系統(tǒng)管理模塊

3.3.1 視頻輪播

首頁視頻輪播頁面如圖5所示，采用H5的方式進行視頻呈現(xiàn)，當有報警產(chǎn)生時，直接彈出報警信息，出現(xiàn)報警信息頁面。

圖5 視頻輪播頁面

3.3.2 報警信息管理

報警信息管理頁面如圖6所示，包含首警圖、報警前后30 s視頻以及實時視頻畫面，方便用戶進行查看。報警信息管理頁面主要是將報警記錄以倒序的方式列出來，也可以根據(jù)發(fā)生時間、關(guān)鍵詞等進行查詢。用戶可對報警記錄進行簽收和處理操作，可填寫報警原因及處理意見，并保存到系統(tǒng)中[5]。

圖6 報警信息管理頁面

3.3.3 分析統(tǒng)計

分析統(tǒng)計頁面如圖7所示。其中，板載信息頁面負責統(tǒng)計所有AI盒子的信息，包括CPU占用率、CPU溫度、內(nèi)存使用率、存儲使用率、NPU使用率、NPU溫度等。報警分類統(tǒng)計頁面，負責按類別統(tǒng)計所有的報警信息，為安全指導(dǎo)意見提供數(shù)據(jù)支撐。

圖7 分析統(tǒng)計頁面

3.3.4 設(shè)備管理

設(shè)備管理如圖8所示。其中，AI計算盒管理包括編輯AI計算盒的編號、IP、端口號、機構(gòu)等信息，同時能提供修改和刪除等操作。攝像頭管理包括攝像頭的IP地址配置、報警管理、端口號、編號等信息配置。

圖8 設(shè)備管理頁面

4 系統(tǒng)主要指標和創(chuàng)新點

4.1 主要技術(shù)指標

固定式監(jiān)控要達到的指標為：檢出率100%，準確率大于90%，綜合檢出時間小于等于2 s。

技術(shù)指標分為：①建立樣本庫。針對每個智能檢測目標，要求樣本規(guī)模大于2 000個，正樣本比例大于50%，標注信息樣本比例大于80%。②視頻結(jié)構(gòu)化方法技術(shù)指標為一級響應(yīng)等級。系統(tǒng)報警分為三級，由高到低分別為一級、二級、三級，結(jié)構(gòu)化存儲相較于傳統(tǒng)存儲方式，提高至少50倍存儲利用率。③關(guān)鍵視頻片段提取。對固定式監(jiān)控，能自動提取事件發(fā)生前后30 s的關(guān)鍵視頻片段。

4.2 系統(tǒng)創(chuàng)新點

將深度學習技術(shù)應(yīng)用于鐵路行崗視頻監(jiān)控領(lǐng)域，能夠識別咽喉區(qū)入侵、外勤點接車規(guī)范、離崗睡崗等行為規(guī)范。針對咽喉區(qū)入侵應(yīng)用場景，實現(xiàn)了根據(jù)工作服判別工作人員的識別效果，極大程度上減少了誤報。針對外勤點接車規(guī)范，實現(xiàn)了同時檢測行進中的列車和工作人員，將出現(xiàn)行進中的列車作為觸發(fā)事件，同時判斷規(guī)定時間內(nèi)是否有工作人員到崗，準確有效。針對離崗睡崗行為規(guī)范，重新訓練了深度學習模型，實現(xiàn)了從背后檢測人員在崗睡崗情況的算法，相較于普通的需要人員正面圖像才能識別的算法而言有較大的提升。針對夜間場景，專門訓練了深度學習模型，能準確識別夜間攝像頭下的黑白目標。

5 結(jié)束語

國鐵集團2021年度1號文件中提及發(fā)揮站段安全生產(chǎn)指揮中心作用，加強作業(yè)環(huán)節(jié)管控，研究應(yīng)用音視頻、大數(shù)據(jù)技術(shù)、人工智能等技防手段，對現(xiàn)場作業(yè)行為進行智能識別、實時預(yù)警、精準畫像、有效管控。此次車務(wù)站段監(jiān)控視頻智能識別技術(shù)的研究應(yīng)用，是嚴抓現(xiàn)場管控和提高鐵路安全管理水平的重要創(chuàng)新舉措，是構(gòu)建車務(wù)站段智能指揮中樞重要一環(huán)，在研究中探索、在應(yīng)用中總結(jié)，進一步推進鐵路安全管理向智能管控方向縱深發(fā)展。