基于視覺的地鐵列車前向目標識別系統研究

趙輝 張陸軍 張永鵬 田文健

摘 要：為解決地鐵列車前向運行環境中障礙物判斷問題，提出基于視覺的地鐵列車前向目標識別系統。該系統利用語義分割算法提取行駛軌道區域，結合軌道區域識別，基于 SSD 算法提取前向運行環境中軌道限界范圍內的列車、行人等目標。針對上述場景，建立列車前向運行環境樣本庫，并基于該樣本庫完成模型訓練。實驗結果證明所得模型可有效識別列車前向行駛多目標。

關鍵詞：地鐵列車;視覺;深度學習;語義分割;目標識別

中圖分類號：U284.1

1 研究背景

隨著地鐵的大規模建設，城市軌道交通技術也隨之快速發展。但目前的技術主要聚焦在常規運營場景下的無人化作業方面，故障應急場景下通常仍需要人工介入處理。由于無人駕駛系統在異常場景下的安全性、可靠性、可用性以及無人化水平方面，尚存在很大的提升空間，目前亟需一種技術手段增強列車對復雜周邊運行環境的自主識別能力，使之在信號系統故障時，仍能在照明不良、視距受限的隧道、彎道、坡道等運行環境下，對前方列車和其他影響行車安全的障礙物進行準確地距離判斷和制動防護，為司機提供可靠的制動預警信息，從而有效避免因設備故障或人為失誤造成的追尾、側沖或闖信號等運行事故。

如何檢測并識別軌道線及其周邊是否存在障礙物（行人、車輛）并迅速做出反應，是實現無人駕駛列車運行的重要環節。目前針對軌道區域目標的識別，國內外采用了不同的識別技術，對這一領域的發展都做出了貢獻。AL Polivka等人[1]通過光纖陀螺提供的角速度信息來判斷通過岔道時的列車運行軌道。蔡伯根等人[2]提出了一種新的列車軌道占用自動識別算法，分析了LTS-Hausdorff距離的計算過程及軌道占用自動識別決策方法。王劍等人[3]提出了一種基于隱馬爾可夫模型（HMM）軌道占用自動識別的算法，即利用不同軌道的列車運行歷史數據建立各自對應的HMM。

現今目標識別的問題多依賴于視覺傳感器，計算機視覺的研究從傳統基于特征的方法，如邊緣特征、紋理特征、模板匹配等[4-5]，到現如今基于機器學習中神經網絡的深度學習方法，效果大幅提升[6]。文獻[7]使用滑窗、小波、哈爾特征進行識別，它是第一個可以實時處理的物體類別識別算法。文獻[8]利用方向梯度直方圖（HOG）和支持向量機（SVM）作為分類器可識別行人。文獻[9]提出了DPM算法以解決非剛體識別問題。文獻[10]提出基于卷積神經絡的方法，使得計算機視覺領域開始進入深度學習時代。文獻[11]使用深度網絡進行目標回歸。文獻[12]使用卷積網絡預測目標包圍盒。文獻[13]提出了SSD目標識別算法，使得網絡實現端到端訓練，并且大幅提高了網絡速度，效果也達到當時的頂級。基于深度學習的方法可有效提升識別效果，故本文采用深度學習的方法進行前向目標識別。

基于上述研究基礎，本文提出了一種基于視覺的列車前向目標識別系統，該系統利用語義分割算法提取出行駛軌道區域，與此同時應用目標識別算法識別出前向列車、行人等目標，在此基礎上結合識別的軌道區域，從而判別識別的目標是否影響車輛行駛。本系統可有效提升列車行駛安全，實現列車信號系統故障時的前向列車安全防護。

2 系統介紹

本文提出的基于視覺的列車前向目標識別系統的功能如圖1所示，主要包含樣本庫構建和算法開發兩大部分。由于列車運行場景較為特殊，樣本庫無法使用MNIST、VOC、COCO、ImageNet等公用數據集，因此本文針對軌道交通列車實際運行場景采集視頻素材，并根據采集的視頻進行處理可得到針對列車前向運行場景的樣本庫。算法開發部分包含軌道區域識別算法開發，列車、行人識別算法開發以及信號機識別算法開發3個部分。其中軌道區域識別是基于深度學習的語義分割算法，列車、行人識別和信號機識別是基于卷積神經網絡中的多目標識別算法。為使上述算法有良好的封裝和應用功能，本文的算法設計、訓練、測試和應用都是基于Caffe深度學習框架完成，硬件設備使用Nvidia Titan X Pascal。將構建好的樣本庫輸入已設計完成的深度學習網絡，并利用Caffe訓練網絡模型，在網絡權值及參數最優之后得到訓練模型。

2.1 樣本庫構建

構建良好的樣本庫對于深度學習網絡訓練來說尤為重要，增加特征不夠明顯、應用場景不夠準確的樣本會破壞訓練模型精度，大幅度提高誤識別率和漏識別率。因此為了提高訓練模型性能，本文將根據實際列車行駛場景采集視頻素材，并根據不同的算法處理該視頻素材，構建針對列車前向行駛的樣本庫。

為結合長焦攝像機探測距離遠，短焦攝像機探測視角廣的優點，視頻素材采集過程中同時使用了長短焦攝像機。長短焦攝像機的安裝位置在列車駕駛室內，以保證獲取的視頻素材不受天氣影響，不僅能維持高質量的識別度，還無需頻繁擦拭或者更換攝像機。攝像機安裝時面向列車行駛正前方，以保證沒有遮擋。攝像機安裝完成后需進行聯合標定，從而實現長短焦坐標信息的統一，主要應用基于張正友相機標定算法進行相機內參標定，同時應用相機幾何成像原理進行相機外參標定。標定完后在列車實際行駛時采集視頻素材。由于視頻素材無法直接輸入模型訓練，需要進行圖片截取和標注并構建樣本庫。

2.2 軌道區域識別算法

列車實際行駛時通常會有兩條甚至多條軌道，由于列車某一時間只能在一條軌道內固定行駛，因此通常不在該列車行駛軌道中的物體不需要關注，否則會引起誤報警。針對以上需求，對列車行駛的軌道區域識別尤為重要。

本文針對軌道區域識別采用語義分割算法，相比于其他傳統算法，語義分割算法可更好地解釋道路環境，十分適用于本文的軌道區域識別場景。基于深度學習的語義分割算法可構建端到端的網絡映射框架，并能實現像素級分類。將處理好的樣本庫輸入進語義分割算法網絡中，利用Caffe框架訓練即可得到軌道區域識別模型。

2.3 多目標識別算法

在軌道區域識別的基礎上引入多目標識別，目的是識別出列車前向的多目標物體，通過判斷該目標是否在軌道區域內進而提供預警或決策信息。若在列車前進軌道的安全限界內，則判斷其目標為前向行駛障礙物，若不在列車前進軌道上，則判斷為安全物體。同時利用該識別方法還能夠獲取信號機信息。

目標識別任務可以分為傳統圖像處理方法和基于深度學習的方法，由于傳統圖像處理方法應用場景單一且精度較差，因此本文將采用基于深度學習的方法?；谏疃葘W習的多目標識別算法有Faster R-CNN[14]、YOLO[15]以及SSD算法等。Wei Liu等提出的SSD算法是一種one-stage的目標檢測方法，可在一張圖像中檢測多類目標。它保留了Faster R-CNN中的錨點（Anchor）機制，識別精度高于YOLO算法。它的待識別目標類別和識別方框可一次性預測，識別速度快于Faster R-CNN算法。由于其速度精度俱佳的良好特性，因此十分適用于本文的列車多目標識別場景。針對列車行駛場景樣本庫輸入進SSD卷積神經網絡進行訓練，可得到多目標識別模型。

3 實驗驗證

為分別說明并驗證軌道區域識別及多目標識別的訓練模型是否有效，測試視頻數據分別選用只含有軌道、列車不在前進軌道以及列車在前進軌道3類。分別如圖2、圖3、圖4所示。從測試結果能夠發現，所得的訓練模型不僅能夠有效分割前向軌道區域，還能有效識別目標，并結合兩者判斷該目標是否在列車行駛軌道上。

為深入分析算法的性能，進一步采集大量的列車正常運行視頻數據進行分析。采集的視頻數據分辨率大小均為1280dpi×720dpi，本文中采集的數據集包含10000幀數據，其中前向有車的數據為4 800幀。

本文選取了2個指標用于評估列車的識別精度，包括漏識別率和誤識別率，漏識別率指的是漏識別的列車數占數據集中所有樣本的比例，誤識別率指的是錯誤識別的列車數占數據集中所有樣本的比例，本文的識別結果如表1所示。

通過表1可知，該地鐵列車前向目標識別算法在漏識別和誤識別上均有較高精度，對于保障列車運行安全具有重要意義。

4 結語

本文針對列車行駛環境特征提取問題，提出了基于視覺的列車前向目標識別系統研究。針對特定場景，通過在列車前方安裝長短焦攝像頭，來采集實際列車運行的視頻素材，并構建該特定場景的樣本庫。該系統首先利用語義分割算法進行軌道區域識別任務，可將列車前向軌道進行像素級分類提取。結合軌道區域識別，利用SSD算法進行多目標識別任務，可判斷列車前進軌道內是否包含列車、行人等危險障礙物，還能夠識別信號機等信息。實驗結果表明上述算法所得模型識別效果較好。現階段本研究基于視覺數據，檢測效果易受光線等因素干擾，下一步研究將采用視覺與激光雷達融合進行前向列車識別，從而提升列車的識別效果。

參考文獻

[1]Polivka A，Ede B M，Drapa J. North American joint positive train control project [R]. Railroad Safety，2009.

[2]蔡伯根.低成本列控系統的列車組合定位理論與方法[D]. 北京：北京交通大學，2010.

[3]王劍，張輝，蔡伯根，等. 基于HMM的列車軌道占用自動識別算法研究[J].鐵道學報，2009（3）：54-58.

[4]張宇，韓振軍，焦建彬.一種基于綜合特征評估的運動目標跟蹤算法[J].中國科學技術大學學報，2010（5）：491-495.

[5]Mithun N C， Howlader T， Rahman S M M. Video-based tracking of vehicles using multiple time-spatial images[J]. Expert Systems with Applications，2016（6）： 17-31.

[6]Zhang Z， Peng H. Deeper and wider siamese networks for real-time visual tracking[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019.

[7]Viola P， Jones M. Rapid object detection using a boosted cascade of simple features[J]. Computer Vision and Pattern Recognition，2001（2）：511-518.

[8]Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]. 2005 IEEE Computer Society Conference on Computer Vision，2005.

[9]Felzenszwalb P F， Girshick R B， McAllester D， et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，32（9）：1627-1645.

[10] Krizhevsky A， Sutskever I， Hinton G E. Imagenet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems，2012.

[11] Szegedy C， Toshev A， Erhan D. Deep neural networks for object detection[C]. Advances in Neural Information Processing Systems，2013.

[12] Erhan D， Szegedy C， Toshev A， et al. Scalable object detection using deep neural networks[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014.

[13] Liu W， Anguelov D， Erhan D， et al. SSD： Single shot multibox detector[C]. European Conference on Computer Vision，2016.

[14] Ren S， He K， Girshick R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[C]. Advances in Neural Information Processing Systems. 2015.

[15] Redmon J， Divvala S， Girshick R， et al. You only look once： Unified， real-time object detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.

收稿日期 2019-07-15

責任編輯 胡姬

Research on visual based metro train forward target recognition system

Zhao Hui， Zhang Lujun， Zhang Yongpeng， et al.

Abstract： In order to solve the problem of identifying obstacles in the metro train forward direction running environment， this paper proposes a visaul-based forward target recognition system. Taking into consideration of the track area recognition， and based on SSD algorithm to extract the train， pedestrian and other targets in the forward running environment， the system uses semantic segmentation algorithm to extract the running track area. In view of the above scenarios， it establishes the train forward operation environment sample database， and completes the model training based on the sample database. The experimental results show that the model effectively identifies the train moving forward multiple targets.

Keywords： metro train， visual， deep learning， semantic segmentation， target recognition