基于深度殘差神經(jīng)網(wǎng)絡(luò)的地鐵站臺門與列車門間異物自動檢測方法研究*

孔德龍 蒲 凡

(中南民族大學(xué)計算機科學(xué)學(xué)院， 430074，武漢 ∥ 第一作者，講師)

為防止乘客不慎跌落站臺造成安全事故，大部分地鐵在車站站臺都設(shè)置了站臺門。但由于站臺門與列車門之間存在寬20～30 cm的間隙，因而在客運高峰期容易發(fā)生乘客被夾情況[1]。國內(nèi)地鐵線路已發(fā)生過數(shù)起因乘客夾在空隙中而產(chǎn)生的運營安全事故。現(xiàn)有對該空隙的異物檢測主要依賴司機人工目視，或采用紅外、激光等輔助方法。但人工目視容易因疏忽產(chǎn)生漏判，而紅外、激光等方法由于站臺環(huán)境復(fù)雜會出現(xiàn)準(zhǔn)確度差、誤報率高的問題，不利于列車的行車安全[2-3]。隨著地鐵無人駕駛技術(shù)的迅速發(fā)展，針對無人值守列車更加需要一種準(zhǔn)確度高、實時性好的站臺自動異物檢測方法。

隨著人工智能技術(shù)的迅速發(fā)展，以深度學(xué)習(xí)為代表的人工智能圖像識別技術(shù)已廣泛應(yīng)用于醫(yī)療、軍事等領(lǐng)域中，并取得了良好的應(yīng)用效果[4]。殘差神經(jīng)網(wǎng)絡(luò)模型是一種性能優(yōu)異的神經(jīng)網(wǎng)絡(luò)模型，相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型具有訓(xùn)練時間短、圖像識別準(zhǔn)確率高、實時性好等優(yōu)點[5]。因此，本文提出構(gòu)建基于深度殘差神經(jīng)網(wǎng)絡(luò)ResNet50模型的空隙自動異物檢測系統(tǒng)，通過獲取并處理站臺閉路電視監(jiān)控系統(tǒng)傳輸給發(fā)車指示器的站臺門與列車門視頻幀信息，完成對站臺門與列車門之間異物的自動檢測。

1 深度殘差神經(jīng)網(wǎng)絡(luò)圖像識別

1.1 基于深度學(xué)習(xí)的圖像識別原理

深度殘差神經(jīng)網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)的一種，其結(jié)構(gòu)主要由卷積層、池化層和全連接層組成[6]。其典型結(jié)構(gòu)是由卷積層和池化層交替排列組成多組特征提取網(wǎng)絡(luò)，并在網(wǎng)絡(luò)尾部設(shè)置全連接層。當(dāng)系統(tǒng)中輸入一個大小為W(長)×H(寬)×C(通道數(shù))的張量T，首先在網(wǎng)絡(luò)卷積層中利用卷積函數(shù)計算系統(tǒng)輸入張量與卷積核的卷積結(jié)果，再使用激活函數(shù)以張量的形式輸出卷積層的特征圖。設(shè)張量Tc為張量T在通道c上的分量，定義卷積函數(shù)為Conv，則可以得到張量T與第n個卷積核張量Kn的卷積結(jié)果To為：

Mc∈Tc,Tc∈T,mw,h,c∈Mc,kw,h∈Kn

(1)

其中，張量Mc為張量T在卷積窗口內(nèi)的子張量M在通道c上的分量。Tc的卷積計算原理如圖1所示。

圖1 卷積的計算原理

將卷積結(jié)果To作為激活函數(shù)的輸入量，遍歷張量To的每一個像素點To,w′,h′,c′。令b為偏置變量，可得到非線性激活函數(shù)在卷積核Kn上的輸出張量T1為：

(2)

將卷積層的輸出張量T1輸入池化層進(jìn)行降采樣處理，從而降低輸出張量的維度并在減少計算量的同時不丟失圖像特征。池化層通過利用Mc中的最大像素點取代卷積計算中的Mc·Kc，其中，卷積核張量Kc為在通道c上的分量。設(shè)最大池化函數(shù)為Pool，則T的最大池化結(jié)果為：

(3)

將To輸入到非線性激活函數(shù)中，可得到池化層的輸出結(jié)果。系統(tǒng)輸入在經(jīng)過多個由卷積層與池化層交替排列的特征提取網(wǎng)絡(luò)后進(jìn)入全連接層中進(jìn)行處理。設(shè)全連接函數(shù)為Full，則T的全連接計算結(jié)果可以表示為：

Tc∈T,tc1,w,h,c∈Tc,kw,h∈K

(4)

1.2 深度殘差神經(jīng)網(wǎng)絡(luò)

提出深度殘差神經(jīng)網(wǎng)絡(luò)是為了解決傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型在結(jié)構(gòu)向深層化發(fā)展時，由于發(fā)生梯度彌散而出現(xiàn)測試與訓(xùn)練誤差比淺層網(wǎng)絡(luò)模型大的問題[7]。通過在網(wǎng)絡(luò)模型中引入殘差學(xué)習(xí)的概念，可以有效地解決傳統(tǒng)多層卷積神經(jīng)網(wǎng)絡(luò)中梯度彌散的問題。一個基本的殘差學(xué)習(xí)模塊如圖2所示。

圖2 殘差學(xué)習(xí)模塊

圖2中，x為系統(tǒng)輸入，H(x)為系統(tǒng)目標(biāo)映射，F(xiàn)(x)為求和前的網(wǎng)絡(luò)映射。其核心思想為：由于系統(tǒng)很難直接實現(xiàn)由x至H(x)的映射，因此不直接通過堆疊卷積網(wǎng)絡(luò)來實現(xiàn)一個理想目標(biāo)映射H(x)的學(xué)習(xí)，而是使網(wǎng)絡(luò)去學(xué)習(xí)殘差函數(shù)F(x)=H(x)-x。深度殘差神經(jīng)網(wǎng)絡(luò)就是由多個殘差塊堆疊組成的。由于殘差學(xué)習(xí)突出學(xué)習(xí)過程中的微小變化，自動消除了隱含層中的部分冗余層，相對于傳統(tǒng)的映射方式，殘差映射更容易實現(xiàn)優(yōu)化，從而解決了深層網(wǎng)絡(luò)性能退化的問題。為了進(jìn)一步提升系統(tǒng)性能，本文采用bottleneck結(jié)構(gòu)建立殘差學(xué)習(xí)模型，其基本原理如圖3所示。

圖3 Bottleneck殘差學(xué)習(xí)模塊

該殘差學(xué)習(xí)模塊包括了3個卷積層。其中，第一個1×1的卷積層主要用于降維處理，降維后再由第二個3×3卷積層處理，最后由第三個1×1卷積層實現(xiàn)升維恢復(fù)。通過這兩個1×1的卷積層的設(shè)置減少了網(wǎng)絡(luò)中的參數(shù)數(shù)量，同時增加了網(wǎng)絡(luò)深度，相比基本模型有更好的性能。

2 基于深度殘差神經(jīng)網(wǎng)絡(luò)圖像識別的異物檢測系統(tǒng)

2.1 異物檢測系統(tǒng)總體設(shè)計

2.1.1 站臺空隙異物定義

由于地鐵站臺門與列車門都包含機械式防夾設(shè)備，當(dāng)列車門或站臺門由于異物存在而無法關(guān)閉時，會向列車控制系統(tǒng)進(jìn)行報警。因此，本文的主要研究對象為站臺門與列車門間隙處的異物檢測。該處異物的定義為：當(dāng)站臺門與列車門完全關(guān)閉時，間隙處存在威脅行車與乘客安全的人體或物品。通過查閱相關(guān)文獻(xiàn)并實際試驗，該處異物的外形尺寸不小于30 mm(長)×12 mm(寬)×20 mm(高)。

2.1.2 異物檢測系統(tǒng)總體設(shè)計與流程

利用深度殘差神經(jīng)網(wǎng)絡(luò)來實現(xiàn)地鐵站臺車門與站臺門間的異物自動檢測。首先，要建立圖像數(shù)據(jù)集，通過在訓(xùn)練站站臺模擬多種異物入侵與乘客被夾方式，并對所模擬圖像進(jìn)行處理，建立殘差神經(jīng)網(wǎng)絡(luò)訓(xùn)練集與測試集；其次，利用所建網(wǎng)絡(luò)訓(xùn)練集對深度殘差神經(jīng)網(wǎng)絡(luò)ResNet50模型進(jìn)行迭代訓(xùn)練并完成對測試集的識別；最后將真實站臺圖像數(shù)據(jù)輸入已訓(xùn)練完成的殘差神經(jīng)網(wǎng)絡(luò)中，給出檢測結(jié)果以實現(xiàn)自動異物檢測。其流程如圖4所示。

圖4 自動異物檢測系統(tǒng)檢測流程圖

2.2 基于殘差神經(jīng)網(wǎng)絡(luò)圖像識別的異物檢測方法

2.2.1 系統(tǒng)特征集的建立

由于安全原因，無法直接在真實地鐵車站中獲取站臺門與列車門間存在的異物圖像數(shù)據(jù)。因此，采用在地鐵訓(xùn)練站模擬多種實際上、下客狀況并采集圖像信息，共得大小為224 mm×224 mm的1 906張圖像數(shù)據(jù)。通過樣本擴充處理，最終得到12 245張圖像數(shù)據(jù)。并按8…2 的比例劃分為訓(xùn)練集與測試集，共得到訓(xùn)練集數(shù)據(jù)9 796張，驗證集數(shù)據(jù)2 449張。

2.2.2 模型驗證與結(jié)果分析

本文采用目前較為先進(jìn)的ResNet50(殘差50)模型。該模型是由多個殘差網(wǎng)絡(luò)堆疊而成的深層卷積神經(jīng)網(wǎng)絡(luò)，總計有152層。在圖像識別領(lǐng)域有較為成熟的應(yīng)用，共進(jìn)行了1 000類常見物體的訓(xùn)練，取得了不錯的成績[8]。因此,基于遷移學(xué)習(xí)原理借助已成熟的訓(xùn)練模型，針對本文圖像分類問題的特殊情況，只對該模型中的140～152層進(jìn)行針對性訓(xùn)練。

模型采用2 個節(jié)點的Softmax層，使用非線性Sigmoid激活函數(shù)，Dropout概率p設(shè)置為0.25，學(xué)習(xí)率a設(shè)置為0.1；系統(tǒng)訓(xùn)練最大迭代次數(shù)設(shè)置為100次。通過訓(xùn)練集數(shù)據(jù)訓(xùn)練使該模型最終實現(xiàn)優(yōu)化。對該模型進(jìn)行100 次迭代訓(xùn)練后，訓(xùn)練集與驗證集準(zhǔn)確率與數(shù)據(jù)集損失值如圖5～6所示。

由圖5～6可得，在初始階段訓(xùn)練集準(zhǔn)確率為98.38%，損失值為0.046 6；而驗證集的準(zhǔn)確率為98.98%，損失值為0.051 3。隨著訓(xùn)練次數(shù)的增加，模型趨于收斂。最終訓(xùn)練集準(zhǔn)確率達(dá)到100%、損失值為4.39×10-7，驗證集準(zhǔn)確率達(dá)到99.9%，損失值為6.04×10-6，證明該模型具有較強的泛化能力，滿足檢測需要。重復(fù)多次試驗該模型皆能收斂，且相對誤差很小，并在容許范圍內(nèi)。

圖5 系統(tǒng)準(zhǔn)確率

圖6 系統(tǒng)數(shù)據(jù)損失值

特征提取的能力決定了系統(tǒng)對驗證集數(shù)據(jù)的識別準(zhǔn)確率。因此，對系統(tǒng)輸入層、淺層卷積層、深層卷積層的輸出進(jìn)行可視化處理。通過對輸出通道進(jìn)行遍歷得出Channel個大小為Size×Size的圖像，并將其拼接為一張圖片。輸入層的輸出維度為224×224×3，對第三維遍歷得到3 張分辨率為224像素×224像素的特征圖，將其拼接后如圖7所示。

圖7 輸入層特征圖

淺層卷積層輸出維度為112×112×64，對第三維遍歷得到64張分辨率為112像素×112像素的特征圖，將其拼接后如圖8所示。

圖8 淺層卷積層特征圖

深層卷積層輸出維度為14×14×256，對第三維遍歷得到256 張分辨率為14像素×14像素的特征圖，將其拼接后如圖9所示。

圖9 深層卷積層特征圖

從圖7～9可以看出，系統(tǒng)準(zhǔn)確的提取出了輸入數(shù)據(jù)中的特征，達(dá)到了預(yù)期的識別目的。由于地鐵安全運營要求該異物識別系統(tǒng)應(yīng)具有較強的實時處理能力，因此對1 000張數(shù)據(jù)集的讀取和預(yù)測耗時進(jìn)行統(tǒng)計。其中，處理平臺環(huán)境：操作系統(tǒng)為Windows 10系統(tǒng)，處理器為Core i7-6700，內(nèi)存為雙通道16 GB，顯卡為NVIDIA GTX 1050Ti(4 GB顯存)。系統(tǒng)總耗時統(tǒng)計結(jié)果如圖10所示。

圖10 系統(tǒng)總耗時

從圖10中可以得出，該模型對單張數(shù)據(jù)集的預(yù)測總耗時不超過47 ms。由于幀率是1 s可以處理的圖片數(shù)量，系統(tǒng)處理一張圖不超過47 ms。因此系統(tǒng)的處理幀率不低于21幀/s，具有良好的實時處理能力，能夠滿足實際應(yīng)用需求。利用該自動異物檢測系統(tǒng)對武漢地鐵某車站中間位置站臺門與列車門1周視頻數(shù)據(jù)進(jìn)行處理驗證。以線路運行過程中每小時模型預(yù)測準(zhǔn)確性與單張視頻幀總耗時的最低值為統(tǒng)計目標(biāo)，取1周內(nèi)的平均值進(jìn)行統(tǒng)計，可得表1。

表1 實際預(yù)測準(zhǔn)確率與單張視頻幀總耗時統(tǒng)計

由表1可以得出，在線路早、晚高峰時段，系統(tǒng)的預(yù)測準(zhǔn)確率與處理總耗時有部分下降。產(chǎn)生該現(xiàn)象的原因主要為在早、晚高峰時段車站上、下客人數(shù)增多，乘客在站臺門前的候車與擁擠行為導(dǎo)致測試環(huán)境變?yōu)閺?fù)雜，導(dǎo)致系統(tǒng)預(yù)測性能相對下降。但系統(tǒng)全時段最低準(zhǔn)確率仍不低于98.7%，最高單張視頻幀總耗時不超過64 ms，處理幀率不低于15幀/s，總體性能優(yōu)良滿足地鐵線路正常運營的需求。

3 結(jié)語

由于現(xiàn)有地鐵站臺門與列車門間空隙異物檢測方法存在檢測精度差、誤報率高，有一定的安全隱患，影響了列車的安全運營。本文通過模擬地鐵正常運營中上、下客方式建立圖像數(shù)據(jù)集，搭建并訓(xùn)練基于深度殘差神經(jīng)網(wǎng)絡(luò)ResNet50模型的自動異物檢測系統(tǒng)，利用真實車站發(fā)車指示器視頻幀數(shù)據(jù)對自動異物檢測系統(tǒng)進(jìn)行測試。測試結(jié)果表明，利用該方法實現(xiàn)對地鐵站臺門與列車門間空隙的異物自動檢測是可行的，且具有較高的檢測精度與實時能力。