基于智能視頻識別技術的機車司機行為辨識系統的設計與實現*

張瑞芳， 苗 勇， 楊紅運， 盧萬平， 楊旭林

(1 中國鐵道科學研究院集團有限公司 機車車輛研究所， 北京 100081;2 北京縱橫機電科技有限公司， 北京 100094)

近幾年來，視頻分析與識別技術已取得突飛進展，理論成果已廣泛應用于交通、安防、金融、建筑、醫學、軍事等領域，主要應用有人臉識別[1]、視頻客流統計、疲勞狀態檢測、人群聚集度檢測、移動物體跟蹤[2]、可疑行為識別[3]等，取得了令人矚目的成果。

和諧機車上已批量安裝機車車載安全防護系統(6A系統)[4]的視頻監控設備，對機車乘務員在值乘當中標準化作業執行不到位、精力不集中、盹睡、間斷瞭望、錯輸命令號等違章行為通過網絡或電話形式及時給予提醒糾偏，避免列車發生冒進信號、沖動沖撞、撞牲畜甚至撞人等事故。目前，對該裝備的視頻數據的地面分析任務采用人工瀏覽察看方式,一方面分析全部機車的視頻錄像需要配備大量且足夠的地面視頻數據分析人員和設備，分析效率低，特別對于特定事件查找的情況下，分析工作量巨大，且容易遺漏。另一方面，由于是事后做人工分析，無法對乘務員在機車運行過程中不當行為進行實時提醒。因此，基于智能視頻識別技術，設計了機車司機行為識別系統。

1 系統框架設計

機車司機行為辨識系統主要由攝像機、存儲設備、報警設備，以及內置行為識別模塊的視頻智能識別板卡4部分組成，如圖1所示。行為識別模塊主要通過采集攝像頭拍攝到的機車司機室的實時監控圖像，采用深度學習的算法，自動檢測識別出在機車運行環境下乘務員的行為，識別速度快，在服務器上能達到實時，板卡上能達到0.45 m/s的速度。

對機車司機行為進行分類，總結出6大類動作，具體定義如下：

圖1 機車司機行為識別系統總體框架

(1)離開座位檢測：列車駕駛員在工作時間段內，擅自離開了崗位，這種情況判斷為離崗行為。

(2)正常工作檢測：列車駕駛員在工作時間段內，按照要求一直堅守在自己的崗位，則判定為正常工作。

(3)接聽電話：列車駕駛員在工作時間段內，有接聽電話的動作時將會被識別出來。

(4)向前揮手：列車駕駛員在工作時間段內，有檢測到右手向前方示意，則判定為揮手。

(5)扒著睡覺：駕駛員在工作時間段內，檢測到有扒在駕駛操控臺上睡覺的動作時，將其檢測出來。

(6)站立：在工作時間段內，當有人在駕駛室站立或者隨意走動，算法將會檢測到并標注為站立狀態。

視頻中人體的動作識別不同于圖像的檢測與識別，動作是一連貫的子動作構成的序列，傳統的圖像檢測大都不能有效的識別復雜場景中的動作。另外，視頻分析與識別技術在機車環境下的應用與常規應用有較大區別，機車運行中振動幅度較大，成像模糊，影響視頻畫面的穩定、列車運行過程中光照變化比較大，影響識別的準確度、機車環境下識別對象差異較大，也會影響視頻識別的適應性等。視頻圖像的處理同時面臨光照、遮擋、旋轉等因素的影響，導致傳統動作識別的精度并不高。近幾年，深度學習技術在圖像和語音識別等領域獲得巨大成功，其識別率已經遠遠超過傳統識別算法，因此，本系統將機器學習(深度學習)的相關技術應用于機車司機行為識別當中。

2 系統實現

本系統主要分為模型訓練和行為判別兩個階段，其中，模型訓練在歷史視頻司機行為分析系統完成，行為識別在實時視頻司機行為分析系統中完成。

2.1 模型訓練

基于6A歷史視頻司機行為分析系統主要完成數據訓練，大量視頻數據的分析、處理，完成對6類司機行為動作的檢測，存儲盤采用8T企業監控盤，主要完成6類結果的分類存儲。針對鐵路司機室視頻，目前在服務器上處理速度能達到110幀/s，可以對數據進行訓練、預測并將結果保存下來。

圖2 模型訓練流程

模型訓練基于6A系統視頻監控子系統的大量視頻數據，通過圖像輸入、圖像標注、前向卷積網絡模塊、數據后處理模塊、反饋網絡模塊5個流程后輸出模型，每個模塊內容及作用如下:

(1)圖像輸入：待訓練的機車司機室內的6類預先定義好的圖像集合，包含正常作業、打電話、向前揮手、在崗、站立、睡覺共計6類常見的機車司機行為。但該動作的定義是開放的，用戶也可以根據需要自定義動作的類別。

(2)圖像標注：該步驟主要是手動標注目標框，并保存目標矩形框的相關信息(起始位置，寬、高等)的過程，為適應算法需要，在實際使用過程中，這些信息被預先做出相應的處理(歸一化)并保存。

(3)前向卷積網絡[5]：該模塊是識別算法的核心，是當下最適合應用于圖像識別的卷積網絡，該模塊包含若干層卷積層和一些降采樣、非線性變換等，對訓練圖像集進行一級一級的抽象化，最終得到一些對訓練以外的圖像也具有一定識別能力的模型特征(以模型權重的形式存儲)。輸入圖像經過一系列處理，代表性信息逐漸減少，也意味著經過卷積網絡處理后，有價值的信息得以保存，而一些冗余的信息被摒棄，也即是圖像特征被抽象化了，大量圖像特征信息的相互作用，共同訓練出一個魯棒的模型輸出。

(4)數據后處理：該模塊也是訓練過程特有的一個環節，主要對前向卷積網絡得出的結果進行一些后處理，以備下一步驟使用。

(5)反饋網絡：該步驟起到對前向卷積網絡得出的權重進行調節的作用，利用梯度下降法優化代價函數，從后向前逐級調整每一層卷積網絡的權重值，從而使得輸出模型的泛化能力得到較大的提升。

視頻行為識別模塊作為系統的應用層，內置于ubuntu14.04操作系統。由于本算法需要用到深度神經網絡模型，訓練需要GPU加速，因此需要使用CUDA應用程序。

圖像標注和前向卷積網絡為整個系統的核心，將接收到的攝像機拍攝的視頻圖像進行去除噪聲、灰度變換、幾何校正等預處理，盡量降低機車環境對于視頻分析的影響。該模塊對預處理后的圖像進行以下檢測識別：離開崗位檢測、堅守崗位檢測、接聽電話、向前揮手、睡覺檢測、站立檢測，一方面將識別后的報警信息發送至司機室的報警裝置，對司機進行提醒，同時在識別后的圖像上打上特定的標簽，并進行編碼存儲，通過標準的檢索工具，則能實現對已經被記錄的特定事件的查詢。

2.2 實時視頻司機行為分析

實時視頻司機行為分析系統主要由攝像機前端、存儲設備(16G)、視頻智能識別板卡、報警設備等組成，攝像頭前端主要完成對司機室視頻的采集，視頻智能識別板卡內置的行為識別模塊主要完成對常見的6類動作檢測和識別，用戶可以自定義并添加新的動作類別。存儲設備主要用來存儲已經識別過的視頻圖像，報警設備主要完成對司機不良行為的在線提醒。通過對機車司機室視頻6大類日常行為進行在線識別，可對于機車運行過程中乘務員不符合規則的行為進行在線提醒，提高機車運用的安全性。

建立基于視頻圖像的事件檢測與行為分析系統，檢索關心的狀態項點，可以避免大量垃圾信息干擾的麻煩。同時通過對圖像自動化的檢索，便于解脫繁重的人工工作，提高分析的效率和準確性。

圖3 行為判別流程

行為判別環節是使用訓練環節得到的模型對圖像(視頻)進行識別的過程，正如以上模型訓練環節提到的那樣，該環節不包含圖像標注、反饋網絡、數據后處理3個步驟，輸入圖像和模型直接加載到卷積網絡，得到識別結果，圖3描述了行為識別的整體流程，其中的步驟內容及作用如下：

(1)模型加載：模型指的是訓練得出的各網絡層的權重值，共幾十萬～幾百萬個參數，整個識別過程模型只需要加載一次

(2)前向卷積網絡：和訓練環節的前向卷積網絡幾乎相同，只是增加了一個Detection層，以便對識別結果進行約束，該行為識別算法雙管齊下，能同時準確地標注出物體的位置，并同時預測出物體的類別，兩者相輔相成，從而提高了檢測識別的可信度。

(3)識別結果：最終輸出結果可預測出司機動作是屬于含正常作業、打電話、向前揮手、在崗、站立、睡覺6類中的哪一類。司機動作識別目前僅限于上述6類特定的動作，只有上述6類經過模型訓練過的動作才能被識別。

3 結束語

基于智能視頻識別技術的機車司機行為辨識系統主要由模型訓練和實時視頻司機行為分析兩部分組成。其中，模型訓練基于6A系統視頻監控子系統的大量視頻數據，利用深度學習技術，通過圖像輸入、圖像標注、前向卷積網絡模塊、數據后處理模塊、反饋網絡模塊5個流程后輸出模型。該系統大大降低視頻監控人員的工作量，并對機車司機不安全行為及時提示，保障了機車運行安全。