基于視頻錄制和分析技術的行車作業檢索分析系統研究

湯寶偉

安全和高效是行車指揮的兩個永恒主題，它依賴于行車指揮設備功能的完備性和調度指揮人員的操作水平。CTC3.0 的應用［1］，在設備安全指揮方面上了一個新的臺階。但在實際的行車指揮過程中，在各種應急情況和非正常情況下，鐵路運輸部門急需一定的方法和設備能夠對實際過程中的違規、不合理操作及時發現，進而通知操作員及時更正，防止安全隱患［2-4］。

基于CTC 報警信息和站場圖掃描的行車作業檢索分析系統在這方面進行了探索［5］，取得了顯著的效果。但其應用存在局限性：一是依賴于CTC 報警信息，目前有些在用的TDCS/CTC 系統或者沒有報警信息或者信息不全，因此無法進行行為檢索；二是無法對菜單、按鈕等操作過程進行記錄，不利于對操作行為和習慣進行具體分析；三是沒有對多工種的操作場景進行記錄和合成，不能進行多業務的綜合性分析。為了解決這些問題，需要同現有技術方案相結合，繼續尋找新的技術方案。

1 目標方案選擇

方案設計的目標是對操作行為能夠進行全程全方位記錄：諸如操作員在某時刻的語言，在終端上的輸入，辦理了哪些操作等。在此基礎上，再對其操作行為的合理性進行分析。

在全程全方位記錄方面，可通過記錄鍵盤點擊事件、鼠標點擊事件并記錄坐標，再使這些事件在相同系統中進行場景還原。然而此方案由于無法獲得在事件發生時CTC 系統及外圍系統狀態，也就無法再現屏幕操作。因此，基于視頻錄制是唯一的技術選擇。而傳統的在操作終端上安裝錄屏軟件，由于占用主機系統資源，難免會對生產系統造成影響，因此該方案行不通。而采取外設攝像頭的方式，由于安裝位置和角度的限制，畫面失真和扭曲，效果也不好。經過對視頻錄制技術的分析，采用把HDMI 信號的輸出通過重新編碼壓縮成視頻的方式可以解決這一難題［6-8］。

在完成視頻記錄的基礎上，對視頻進行分析是另外一個目標。錄屏的海量視頻數據，單純靠人工來分析，工作量大，成本高。而隨著云計算的應用，AI 技術的發展，視頻的識別和分析算法已經取得了顯著的發展［9-10］，在識別率、實時性方面可以滿足行為檢索的需求。

綜上所述，采用基于視頻的錄制和分析技術，實現對行車指揮行為的記錄和分析是可行的，同時也能擴大系統的檢索范圍。

2 系統結構

如圖1 所示，基于視頻錄制和分析技術的行車作業檢索分析系統是在原有行車作業檢索分析系統、TDCS/CTC 衛星授時系統的基礎上，增加了語音采集、音視頻錄制、動態圖形建模和流程定義、視頻分析和視頻文件存儲管理等子系統。

圖1 系統結構圖

TDCS/CTC 衛星授時系統用于提供系統時鐘，保證不同來源的音視頻信號基于同一時鐘基準進行視頻編碼，以便多個終端的錄制視頻在播放時能夠實現同步；語音采集子系統采集工作人員的語音，生成語音記錄；音視頻錄制子系統實現終端操作界面的錄屏功能，并通過視頻文件存儲管理子系統實現文件存貯；視頻分析子系統依據識別判定依據，對操作行為進行檢索，并通過既有的檢索分析系統的報警信息管理子系統進行報警信息管理。

3 主要功能及原理

3.1 音視頻錄制功能

音視頻錄制功能是指對車站值班員、調度員等終端進行不間斷地屏幕錄制，記錄終端上所有的操作行為，同時記錄工作人員的語音。音視頻錄制的工作原理如下。

1）獲取圖像。音視頻錄制子系統接收終端輸出的HDMI 信號，從HDMI 的TMDS 時鐘信號、Preamble （控制信息）、Data Island （數據包）、Video Data（視頻信息）里面提取圖像大小、幀速率信息、RGB 或YUV 通道圖像數據，合成完整的RGB圖像序列，根據獲取TDCS/CTC 系統時鐘和圖像幀速率，計算圖像實際產生的時間并進行標注，把產生的圖像序列集進行緩存。

2）獲取語音和字幕。音視頻錄制子系統接收語音采集子系統提供的語音數據，同時把語音轉換成文字，用做視頻字幕；并根據語音開始的系統時間和語音參數，設置字幕對應的播放時間，根據錄音設備ID識別講話人，并將其加入字幕當中。

3）視頻編輯合成。音視頻錄制子系統根據用戶設置的視頻圖像大小，幀速率、編碼器，通過視頻分析模塊給出的視頻錄制指令（該指令用于指示合成哪段時間的視頻或者全部合成，來節省硬盤空間），把在緩存中的圖像序列集、音頻、字幕進行視頻合成，形成音視頻文件。當同一時刻存在多個音頻和字幕時，可將音頻和字幕加入不同的通道，以保證信息的完整性。

3.2 基于視頻的行為分析功能

基于視頻的行為分析是指依據單個圖像或者圖像序列集和語音，對操作員的指揮行為進行檢索分析，并給出分析結果，供操作員或管理人員調閱查看。

1）判定依據定義。為了計算機能夠在圖像中查找特定圖像信息，需要對檢索目標進行定義。利用動態圖形建模、流程定義子系統完成這一功能。動態圖像建模是用實際顯示的圖形來表示信號機、道岔、股道、進路、列車、供電臂、封鎖區域、計劃圖表的各種狀態；用一組圖形序列來表達列車進路、調車進路建立和進路解鎖時，道岔、信號機的前后序列變化，列車移動時軌道區段的變化、車次號的變化等，以便計算機通過圖像間的變化來識別具體設備特征。流程定義是對設備故障下的各種非正常操作和調度命令等關鍵業務操作，以操作步驟的形式來表達，比如要電話通知哪些崗位，做哪些登記，做哪些設備操作，以及這些操作之間的先后關系等。

2）行為分析。視頻分析子系統接收來自多臺終端的圖像序列、語音和字幕，依據判斷依據進行識別。通過對圖像序列進行掃描，識別報警信息框中的報警信息［11］，提取設備狀態信息、操作信息及時間；識別信號設備故障類型及編號，并記錄開始故障的時間；識別調度命令擬寫、下發、簽收操作及調度命令類型，并記錄相應時間；對于設備故障的非正常操作，以設備故障時間為起點，識別經過該故障設備辦理的接發車進路及時間，識別菜單操作命令、按鈕操作命令及時間，依據這些時間在語音文字記錄里面提取語音指令，并把這些事件按照時間先后進行排序，形成設備故障情況下的操作動作集合。同時，視頻分析子系統還把來自不同終端的操作動作集合進行關聯，以分析不同工種間業務的協同。視頻分析子系統對操作動作集與正常的操作流程進行比對，形成分析結果。分析結果信息包括操作發生的時間，對應的設備、具體操作、操作人，分析結論以及視頻對應的終端ID，通過既有檢索分析系統中的報警管理信息子系統，對分析結果進行存儲。

3.3 視頻文件存儲管理

視頻文件存儲管理子系統按組織把屬于同一調度臺、車站各個終端對應的多個音視頻文件組成一組，并根據時間順序進行存儲。

3.4 行為統計及場景回放

既有檢索分析系統中已經實現了行為的統計功能和場景回放功能。在行為統計方面，來源于視頻分析的報警可以無差別地與原有系統兼容，進行統計顯示。而場景回放功能需要選擇一個視頻播放器，增加對視頻文件播放的支持，而且該播放器需要支持多路視頻協同播放的功能，以觀看各業務工種間操作的協同情況。

4 應用與技術創新

基于視頻錄制與分析技術的操作行為檢索分析系統，在原有檢索分析系統的基礎上，進行了以下的應用和技術創新。

1）采用通過HDMI 信號錄制視頻的方式，解決了在操作終端上安裝錄屏軟件帶來的內存、性能、硬盤讀寫等資源消耗，進而影響生產系統的問題，填補了目前行車記錄回放缺乏菜單操作、鍵盤操作、鼠標操作的空白，對補全現場信息具有重要作用。

2）記錄多工種人員的操作行為，并將這些圖像、語音基于統一的系統時鐘合成視頻，把多個相關聯的視頻分成一組進行存儲，解決了現場信息零星分散，缺乏相關性，不易存儲管理的難題，有利于全方位對操作行為進行立體綜合分析。

3）通過對信號設備、圖表等要素進行動態圖像建模和標準流程定義，通過語音和圖像識別技術檢索，能夠實時發現不合理的操作行為，解決了現有檢索系統與各個廠家數據和協議的耦合問題，具有通用性強、檢索范圍廣和易于拓展的優勢。

5 結束語

基于報警信息和站場圖掃描的行車作業檢索分析系統已經應用于上海局、沈陽局、哈爾濱局、武漢局，在提高車務和調度人員設備操作和應急處理水平方面發揮了一定的作用。而基于視頻錄制和分析的檢索分析系統，是多媒體技術與運輸指揮系統的深度融合，符合利用技術保安全的發展方向，其在還原現場指揮真實場景，全方位信息整合方面提供了重要技術支撐，使得檢索分析系統邁上了一個新的臺階。