基于圖像AI 技術的機車視頻自動分析系統的設計與研究
——以朔黃鐵路為例

李 琳

（國能朔黃鐵路發展有限責任公司機輛分公司，河北 滄州 062350）

隨著朔黃鐵路運量的大幅提升，列車安全開行成為運輸管理中的關鍵環節。機車乘務員作為鐵路列車運輸中的重要參與者，其執行標準是否到位直接對列車的安全開行造成影響。公司每年在乘務員投入大量精力持續不斷地進行業務培訓、安全教育，讓其掌握更多的行車知識，樹立更加牢固的安全思想來保證行車安全。但在實際行車中，由于乘務員人員較多，學歷教育、業務水平、思想素質等方面能力參差不齊，導致很多乘務員并未按照標準規范行車，從而造成安全隱患。目前采取卡控乘務員作業標準的方式為管理人員添乘和抽轉視頻硬盤人為分析兩種方式，以此判斷乘務員是否有行車違規行為，鑒于以上兩種方式的局限性，不可能全面覆蓋所有機車，達不到對乘務員全覆蓋有效盯控的目的，因此，需借助現代化技術手段來對乘務員違章行為進行監測分析，設計研究了基于圖像AI 技術的機車視頻自動分析系統[1]。

1 系統流程設計

基于圖像AI 技術的機車視頻自動分析系統包含地面視頻智能分析，實現從機車轉儲下來的視頻文件進行AI 快速分析，結合乘務員行車操作規范和LKJ 監控文件數據信息，實現離線視頻中對于違規行為的快速檢索，自動生成報告，基于圖像AI 技術的機車視頻自動分析系統配備有自我學習的智能算法，在分析的過程中不斷根據自我更新算法進行迭代優化，增加分析速度和準確率[2]。在離線視頻分析的基礎上，利用已經研究的行為分析算法，研究設計了車載視頻智能分析主機，將地面算法進行優化并移植到車載智能視頻分析主機，結合機車運行實時數據，實現乘務員行為的實時分析，分析結果實時報警，并將分析結果、實時數據信息及視頻片段上傳至地面服務器，同時系統可實時通知地面管理人員；車載分析系統可以和地面進行算法聯動，當地面分析算法自我學習并完善后，車載分析系統可以復用既有無線傳輸數據通道自動更新完善算法，增加算法的分析速度以及準確率。

2 地面視頻智能分析系統

2.1 主要組成

由視頻存儲服務器、視頻分析服務器、高速轉儲裝置、定制轉儲柜、轉儲交互終端及NVIDIA 深度學習顯卡等部分組成。

2.2 系統分析流程

通過地面視頻智能分析服務器自動分析離線視頻，分析目標是針對機車視頻監控轉儲下來的所有類型視頻文件，同時結合LKJ 文件解析后的機車運行數據以及乘務員操縱規范，以視頻智能分析服務器作為硬件基礎，視頻AI 算法為核心，將業務數據與機車運行數據進行綜合分析，實現對乘務員行為的快速分析，同時系統可以自動生成行為分析報告，系統流轉分析如圖1 所示。

圖1 地面視頻智能分析系統流轉圖

2.3 主要功能

本系統功能設計結合了視頻格式統一轉換、視頻分析作業需求，通過對系統軟件、硬件持續優化完善，實現了LKJ 文件自動分析、多路視頻同步播放、LKJ文件與視頻同步顯示、違規異常分析處置、違規視頻片段及分析報告的生成與導出、數據快速檢索等功能。

（1）LKJ 文件自動分析。系統對LKJ 文件進行結構化解析，實現LKJ 全程記錄列表顯示，全程記錄曲線顯示，關鍵點快速定位等功能；（2）多路視頻同步播放。系統支持多路視頻的同步播放，支持長時間跨度的錄像秒級回放功能，支持最大16 倍速快速播放，同時支持單個視頻放大播放，可根據時間點自定義跳轉，解析轉碼與結構化存儲功能相結合，可通過一個系統實現各廠家視頻的統一播放；（3）LKJ 文件與視頻同步顯示。系統采用統一時間軸方式控制視頻與LKJ數據的播放進度，支持LKJ 數據關鍵點篩選（進出站、開停車、過分相等）和快捷跳轉，LKJ 數據跳轉后視頻同步跟進定位至關鍵點，為分析人員提供綜合數據參照；（4）違規異常分析處置。通過對LKJ 文件的分析，自動生成LKJ 文件相關項點，同時可在分析過程中隨時手動添加違規異常項點，關聯監控視頻，并提供分析結果與簽注結果的填寫，違規異常記錄會長期保存，便于回溯查看和分析；（5）違規視頻片段及分析報告的生成與導出。根據分析結果生成報告，同時生成異常違規項點對應的音視頻切片文件；異常記錄與異常音視頻切片服務器自動保存，并支持一鍵導出；（6）數據快速檢索。基于結構化數據庫存儲技術，可從多個維度對歷史轉儲數據、違規異常項點和關鍵作業點進行檢索，通過綜合檢索查詢，能夠做到快速定位，同步分析。

2.4 識別項點設計

系統根據操規、LKJ 數據以及乘務員行為分析智能算法給出的識別結果進行綜合分析，歸納實現以下七大項點：（1）疲勞識別。列車值乘中出現長時間閉眼、打哈欠、打盹睡覺行為，視為疲勞報警識別出來；（2）分心識別。列車值乘中出現使用電子設備、扭頭聊天、長時間低頭等行為，系統報警項點為分心駕駛/間斷瞭望，對其行為判斷識別；（3）手比識別。列車值乘中系統根據設定的手比項點來判斷乘務員值乘中有無進行手比，主要為線路上主體信號、機車信號發生變化、調車信號等；（4）其他行為識別。乘務員升弓未開窗確認，列車運行中打開車門，進出站、臨時限速、過分相等特殊地段時學習司機未立崗等行為時進行判斷識別；（5）異常監測識別。乘務員存在長時間遮擋攝像頭或未按規定雙崗值乘、離崗時系統進行判斷識別；（6）語音識別。列車值乘中出現各種信號、儀表確認、禁止鳴笛標、特殊地段等需呼喚應答時，系統判斷為無聲手比；（7）視頻質量識別。除對乘務員行為識別外，對視頻設備質量部分項點也可判斷識別，包括視頻畫面黑屏、模糊，視頻無聲音、噪聲大。

3 乘務員在線實時分析系統

3.1 主要組成及工作原理

由車載視頻分析主機、數字高清攝像頭、車載顯示終端車載無線傳輸裝置、煙感報警器等組成。

（1）車載智能視頻分析主機。在完成傳統視頻監控及防火煙感報警功能的同時，核心是結合LKJ 實時數據以及乘務員操作規范完成乘務員行為實時分析、提醒并上傳結果，同時在存儲策略、自我學習方面進行研究；（2）車載顯示終端。安裝于司機室，實現傳統視頻監控中顯示屏功能，本系統新增視頻分析報警提醒功能，具備視頻監控實時顯示智能切換、視頻回放、預警報警；（3）視頻數據采集攝像頭。主要針對機車狀況進行視頻數據采集，對各種乘務員行為采集參數有不同要求，分為高清黑光全彩數字攝像頭、行為視頻采集攝像頭、人臉視頻采集攝像頭、司機室360度攝像頭。

3.2 系統分析流程

乘務員視頻實時分析是利用車載智能視頻分析主機，結合機車運行實時數據，實現乘務員在行車過程中行為實時分析，對違規行為通過車載顯示終端實時報警，并通過既有車載無線傳輸通道上傳至地面存儲服務器[3]。

3.3 主要功能

主要功能包括車載視頻數據實時采集分析、智能識別違規行為實時報警、違規片段上傳至云端服務器、實時將語音轉成文本、裝置與現有生產系統的接口打通、地面管理系統實現高效管理等功能。

3.4 識別項點設計

乘務員在線實時分析系統項點設計與上文所述地面視頻智能分析系統項點相同。

4 主要技術

4.1 視頻深度學習技術

本項目研究工作的核心是行為分析算法實現。

首先的技術核心是利用卷積神經網絡，卷積神經網絡通常由卷積層、池化層、全連接層堆疊而成。卷積層利用多個不同的卷積核，提取目標的特征，生成特征圖；池化層用來進行下采樣，將相鄰特征圖的特征進行合并，減小維度；全連接層起到將學到的分布式特征映射到樣本標記空間的作用。然而深度神經網絡在訓練時，各層網絡的輸入分布會受到上一層的影響，隨著網絡的不斷加深，網絡層的微小變動產生的影響會被放大，從而導致梯度消失、梯度爆炸、網絡收斂到一個局部最優值等問題。為此，系統將批量歸一化思想從圖像分類領域引入了行為識別領域，對網絡輸入的樣本進行小批量歸一化處理。

另一個核心技術是將傳統的2D 卷積擴展為包含時間的3D 卷積，并對整體模型進行調優。在訓練調優的過程中，探討如優化數據的采集和標注流程，以及如何通過數據增強的方式增強模型的通用性[4]。

一般來講，任何算法都有各自的優缺點，評價一個算法的性能指標有很多，只要算法能滿足一定的評價指標，我們就認為算法是可靠的，比如在動作識別算法中，拒識率和誤識率只要控制在5%～10%之間，算法性能就很優越，拒識率和誤識率指標值越小，可靠性越高，兩者為零的情況在現實環境中是不存在的。再者，訓練樣本大小，訓練模型成熟度等對算法都有一定的影響。

4.2 車載視頻分析裝置

由車載視頻分析主機和司機室前端、司機室右后、側后方等位置的數字高清攝像頭組成，其中前視視頻裝置采集司機面部表情、行為姿勢，采集后的視頻算法集中于值乘狀態檢測、行為動作分析，前視攝像頭由于安裝位置距司機較近，從側后方攝像頭采集的圖像可彌補前視攝像頭視場不足，能夠采集整個司機室的圖像，供視頻分析主機分析。視頻主機分析后，對違規行為、精神不振行為通過車載顯示終端進行語音提醒。車載智能視頻主機本身帶4G 無線傳輸功能，可將實時檢測結果以及對應的音視頻文件同步至地面管理系統。

4.3 方言識別

現實生活中，多數人所說的普通話因受其方言背景的影響而不十分標準，這大大影響了語音識別的性能。一種解決方案是，對每種方言都收集足夠多的語音數據，然后構造相應的識別器，但由于漢語方言種類多且差異大，時間和成本都是很高的[5]。

5 結語

該系統的研發使用不僅可降低大量的人工重復勞動，還可實現對機車視頻管理的自動化，提高視頻分析效率，同時可實現現場乘務員行為即時分析，發現違規行為并及時提醒，從而降低行車安全事故發生的概率，提高數據檢索、回放效率。