基于視頻圖像分析的地鐵列車車輛擁擠度識(shí)別方法研究

張杏蔓，魯工圓,2

基于視頻圖像分析的地鐵列車車輛擁擠度識(shí)別方法研究

張杏蔓1，魯工圓1,2

（1. 西南交通大學(xué)，交通運(yùn)輸與物流學(xué)院，成都 611756；2. 綜合交通運(yùn)輸智能化國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室，成都 611756）

準(zhǔn)確掌握地鐵車輛內(nèi)擁擠程度是提高城市軌道交通服務(wù)質(zhì)量的手段之一。本文在對(duì)地鐵車輛監(jiān)控視頻圖像提取與分析的基礎(chǔ)上，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的車輛擁擠度識(shí)別方法。該方法使用車輛監(jiān)控視頻建立了車廂乘客數(shù)據(jù)集，通過(guò)提取視頻圖像檢測(cè)區(qū)域以及人群特征檢測(cè)來(lái)實(shí)現(xiàn)地鐵列車車輛擁擠度識(shí)別。實(shí)驗(yàn)結(jié)果表明，所提出的方法檢測(cè)速度快，能夠滿足實(shí)際應(yīng)用中實(shí)時(shí)性要求，三級(jí)擁擠度分類識(shí)別實(shí)驗(yàn)準(zhǔn)確度為98%，四級(jí)擁擠度分類識(shí)別實(shí)驗(yàn)準(zhǔn)確度為87%，其檢測(cè)結(jié)果可輔助城市軌道交通管理者快速掌握線網(wǎng)實(shí)時(shí)客流擁擠情況。

城市軌道交通；車廂擁擠度；卷積神經(jīng)網(wǎng)絡(luò)；車廂監(jiān)控視頻

0 引 言

近年來(lái)，隨著我國(guó)城市化的快速推進(jìn)以及城市軌道交通系統(tǒng)的快速發(fā)展，日益增長(zhǎng)的線網(wǎng)規(guī)模給城市軌道交通的日常運(yùn)營(yíng)與安全管理帶來(lái)了新挑戰(zhàn)。地鐵車輛擁擠度是乘客在乘車過(guò)程中對(duì)舒適度和安全性的一種心理感受，是衡量城市軌道交通系統(tǒng)服務(wù)質(zhì)量的重要指標(biāo)。在《城市軌道交通工程項(xiàng)目建設(shè)標(biāo)準(zhǔn)》中首次提出了該概念及相應(yīng)的評(píng)價(jià)標(biāo)準(zhǔn)。隨后，在北京頒布的《城市軌道交通工程設(shè)計(jì)規(guī)范》中進(jìn)一步給出了車廂擁擠度的相關(guān)建議值，作為城市軌道交通客運(yùn)組織的參考數(shù)據(jù)[1,2]。

地鐵車輛擁擠度能夠反映城市軌道交通線網(wǎng)服務(wù)水平與運(yùn)營(yíng)效益，對(duì)車廂擁擠度進(jìn)行實(shí)時(shí)檢測(cè)可以真實(shí)地反映線網(wǎng)客流狀態(tài)，提供更全面的斷面客流信息，為城市軌道交通實(shí)時(shí)調(diào)度與客流控制提供依據(jù)。目前，針對(duì)地鐵車輛擁擠度的研究還相對(duì)較少，傳統(tǒng)研究都是基于城市軌道交通自動(dòng)售檢票系統(tǒng)（Automatic Fare Collection System，AFC）數(shù)據(jù)結(jié)合客流分配模型進(jìn)行的擁擠度預(yù)測(cè)，這類擁擠度預(yù)測(cè)方法存在AFC系統(tǒng)數(shù)據(jù)上傳延遲性、網(wǎng)絡(luò)化運(yùn)營(yíng)背景下多徑路分配不確定性等缺陷[3]。近年來(lái)，隨著交通監(jiān)控系統(tǒng)的廣泛應(yīng)用以及計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，利用視頻圖像處理技術(shù)的擁堵檢測(cè)已成功應(yīng)用于道路交通，這也為城市軌道交通的日常客流檢測(cè)與管理提供了借鑒。

本文提出了一種基于視頻分析的地鐵車輛擁擠度檢測(cè)方法，直接利用地鐵車輛監(jiān)控視頻，建立車廂乘客數(shù)據(jù)集，通過(guò)提取視頻圖像檢測(cè)區(qū)域以及人群特征檢測(cè)來(lái)判斷車廂擁擠程度，以期為城市軌道交通系統(tǒng)的舒適、高效、安全運(yùn)營(yíng)提供新的技術(shù)手段支持。

1 相關(guān)研究概述

針對(duì)視頻圖像采用人群計(jì)數(shù)的方法可以反映出目標(biāo)的密集程度，是目前人群密度估計(jì)的常用手段，該方法主要可以分為基于行人檢測(cè)的直接法和基于特征回歸的間接法兩類[4]。

直接法將行人作為特定的檢測(cè)目標(biāo)，通過(guò)特征學(xué)習(xí)得到目標(biāo)分類器，在檢測(cè)圖像中做目標(biāo)分類任務(wù)。但這類方法在人群密度較高、遮擋嚴(yán)重的場(chǎng)景下識(shí)別率較低[5]。間接法將人群視為一個(gè)整體，利用卷積神經(jīng)網(wǎng)絡(luò)提取人群特征并通過(guò)估計(jì)人群密度圖來(lái)實(shí)現(xiàn)人數(shù)統(tǒng)計(jì)[6]。該類方法能夠在一定程度上解決人群遮擋問(wèn)題，是近年來(lái)國(guó)內(nèi)外學(xué)者在人群計(jì)數(shù)問(wèn)題上的主要研究方向。

其中最具代表性的是，C. Zhang等人借助卷積神經(jīng)網(wǎng)絡(luò)來(lái)估計(jì)不同場(chǎng)景中的人數(shù)，將圖像與標(biāo)注的密度圖作為輸入數(shù)據(jù)，采用深度學(xué)習(xí)框架進(jìn)行人群密度特征學(xué)習(xí)[7]；文獻(xiàn)[8]在此基礎(chǔ)上提出了一種多列卷積神經(jīng)網(wǎng)絡(luò)來(lái)估計(jì)人群密度圖，每列卷積神經(jīng)網(wǎng)絡(luò)具有不同大小的卷積核，能夠提取不同尺度的行人特征；Sam等人在多列卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，設(shè)計(jì)了用來(lái)為不同密度下的人群選擇合適尺度特征的選擇神經(jīng)網(wǎng)絡(luò)，在提高人群計(jì)數(shù)精度和效率的同時(shí)，減弱了圖像透視效應(yīng)的影響[9]；此后，Sindagi等人又提出了一種具有高級(jí)先驗(yàn)知識(shí)的級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠適應(yīng)多種密度程度的人群計(jì)數(shù)問(wèn)題，在數(shù)據(jù)集上的表現(xiàn)優(yōu)于其他模型[10]。這些相關(guān)研究表明，利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)人群密度特征的方法優(yōu)于傳統(tǒng)的檢測(cè)方法，這也為本文基于視頻圖像的車廂擁擠度識(shí)別研究提供了理論基礎(chǔ)。

此外，現(xiàn)有研究都是基于公開(kāi)的標(biāo)準(zhǔn)人群數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)與測(cè)試，目前還沒(méi)有使用人群計(jì)數(shù)方法實(shí)現(xiàn)城市軌道交通系統(tǒng)客流檢測(cè)的研究。并且由于地鐵車輛監(jiān)控視頻中乘客特征和現(xiàn)有標(biāo)準(zhǔn)數(shù)據(jù)集之間存在一定差異，基于視頻圖像特征提出適用于城市軌道交通系統(tǒng)的客流檢測(cè)方法，將具有較高的研究?jī)r(jià)值和廣闊的應(yīng)用前景。

2 地鐵車輛監(jiān)控視頻圖像特征及預(yù)處理

2.1 地鐵車輛監(jiān)控視頻圖像特征

本文數(shù)據(jù)來(lái)源于地鐵車輛監(jiān)控視頻，與現(xiàn)有公開(kāi)的人群數(shù)據(jù)集相比，攝像頭設(shè)置的角度及高度，車廂內(nèi)的光照強(qiáng)度以及圖像清晰度等特征均存在一定差異。如圖1所示，視頻圖像像素為352×288，圖像中不同位置的乘客存在明顯透視現(xiàn)象，并且伴隨車廂內(nèi)人群聚集，乘客間遮擋情況較為嚴(yán)重。

圖1 地鐵車輛監(jiān)控視頻截圖

2.2 視頻圖像預(yù)處理

為進(jìn)一步提高車廂擁擠度識(shí)別的準(zhǔn)確性，本文建立了地鐵車廂乘客數(shù)據(jù)集。考慮到人群計(jì)數(shù)方法的輸入數(shù)據(jù)形式及監(jiān)控視頻圖像特征，圖像預(yù)處理主要包括人群密度圖制作、消除圖像干擾信息以及圖像數(shù)據(jù)增強(qiáng)等操作。

（1）人群密度圖

人群密度圖反應(yīng)了乘客在圖像中的分布特征，是人群計(jì)數(shù)模型學(xué)習(xí)的目標(biāo)值。對(duì)于密度圖的制作，目前國(guó)內(nèi)外研究者普遍采用二維高斯分布來(lái)標(biāo)注人頭部區(qū)域或身體部分，并通過(guò)歸一化處理，使密度圖的積分和等于標(biāo)注的總?cè)藬?shù)[4]。

式中：表示二維高斯內(nèi)核的大小；表示圖片中所有標(biāo)記點(diǎn)的集合。

（2）灰度處理

地鐵車輛監(jiān)控視頻圖像為彩色圖像，所含的紅綠藍(lán)三通道分量會(huì)使圖像特征較為復(fù)雜，若直接用于計(jì)算處理數(shù)據(jù)量將過(guò)大。為消除圖像中無(wú)關(guān)信息干擾，增強(qiáng)有關(guān)信息的可檢測(cè)性和最大化地簡(jiǎn)化數(shù)據(jù)，需對(duì)原始采集圖像進(jìn)行灰度處理。變換后的灰度圖像將只包含亮度信息，保留了原始圖像的整體和局部色彩等級(jí)的分布特征[12]。

（3）隨機(jī)剪裁

由于監(jiān)控?cái)z像頭的透視效應(yīng)以及遮擋影響，在圖像中不同位置的乘客呈現(xiàn)出不同的大小和形狀特征，即對(duì)于目標(biāo)乘客，隨著它與攝像頭的距離變化，其特征向量也會(huì)發(fā)生改變[13]。此外，建立乘客特征和人數(shù)之間的回歸關(guān)系，需要大量的訓(xùn)練數(shù)據(jù)。為了減小透視效應(yīng)的影響，并且克服原有訓(xùn)練數(shù)據(jù)不足的困難，本文采用隨機(jī)剪裁作為數(shù)據(jù)增強(qiáng)處理的方式[14]，從每張圖像中隨機(jī)剪裁1/8大小的子圖像塊，使用局部圖像進(jìn)行特征學(xué)習(xí)，數(shù)據(jù)集子圖像塊示例如圖3所示。

圖3 數(shù)據(jù)集子圖像塊示例

3 地鐵車輛擁擠度識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)方法

針對(duì)地鐵車輛監(jiān)控視頻的圖像特征，即不同位置的乘客表現(xiàn)出不同的尺度特征，并且乘客之間存在一定的遮擋情況，基于特征回歸的人群計(jì)數(shù)方法更適用于這種情景下的人數(shù)識(shí)別任務(wù)。本文采用了級(jí)聯(lián)構(gòu)架的卷積神經(jīng)網(wǎng)絡(luò)，以車廂乘客圖像及其對(duì)應(yīng)的乘客密度圖作為訓(xùn)練數(shù)據(jù)，通過(guò)特征學(xué)習(xí)建立像素點(diǎn)特征與密度分布的映射關(guān)系。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)比現(xiàn)有人群計(jì)數(shù)模型的結(jié)構(gòu)特點(diǎn)和在公開(kāi)標(biāo)準(zhǔn)數(shù)據(jù)集上的表現(xiàn)效果，本文參考文獻(xiàn)[10]中的模型作為地鐵車輛擁擠度識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，主要由初始共享網(wǎng)絡(luò)、密度先驗(yàn)網(wǎng)絡(luò)以及密度估計(jì)網(wǎng)絡(luò)三部分構(gòu)成。

圖4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

（1）初始共享網(wǎng)絡(luò)：對(duì)輸入圖像進(jìn)行初步特征提取，所提取的特征圖將作為后面兩個(gè)網(wǎng)絡(luò)的輸入。網(wǎng)絡(luò)包含兩個(gè)卷積層，分別為16個(gè)大小為9×9的卷積核和32個(gè)大小為7×7的卷積核，每層之后都使用參數(shù)化線性整流單元（Parametric Rectified Linear Unit，PReLU）作為激活函數(shù)，以加速模型訓(xùn)練收斂[15]。

（2）密度先驗(yàn)網(wǎng)絡(luò)：對(duì)人群密度作預(yù)先估計(jì)，作為輔助信息來(lái)提高人群計(jì)數(shù)模型的準(zhǔn)確性。網(wǎng)絡(luò)包含卷積層、空間金字塔池以及全連接層。其中，卷積層由16個(gè)大小為9×9的卷積核、32個(gè)大小為7×7的卷積核、16個(gè)大小為7×7的卷積核以及8個(gè)大小為7×7的卷積核構(gòu)成，每層卷積都使用PReLU激活函數(shù)，并且前兩層卷積之后均連接步長(zhǎng)為2的最大池化層。空間金字塔池層（Spatial Pyramid Pooling，SPP）插入在最后一個(gè)卷積層之后，SPP層將卷積層獲取的特征進(jìn)行整合，產(chǎn)生固定大小的輸出，并將其提供給全連接層[16]。全連接層有三個(gè)，每一層都連接了PReLU激活函數(shù)。其中，第一層有512個(gè)神經(jīng)元，第二層有256個(gè)神經(jīng)元，第三層有10個(gè)神經(jīng)元。

（3）密度估計(jì)網(wǎng)絡(luò)：用于進(jìn)一步特征提取，并融合其他網(wǎng)絡(luò)的特征信息以得到最終密度估計(jì)圖。包含兩組卷積網(wǎng)絡(luò)，第一組網(wǎng)絡(luò)連接初始共享網(wǎng)絡(luò)，由20個(gè)大小為7×7的卷積核、40個(gè)大小為5×5的卷積核、20個(gè)大小為5×5的卷積核以及10個(gè)大小為5×5的卷積核構(gòu)成，每層卷積后都使用PReLU激活函數(shù)，并且前兩層卷積后均連接步長(zhǎng)為2的最大池化層。第二組網(wǎng)絡(luò)分別由24個(gè)大小為3×3的卷積核、32個(gè)大小為3×3的卷積核以及2個(gè)反卷積層組成，反卷積核大小為4×4，步長(zhǎng)為2，反卷積層能夠恢復(fù)因最大池化操作而丟失的細(xì)節(jié)信息[17]。

3.2 損失函數(shù)

損失函數(shù)用于判斷估計(jì)的密度圖與真實(shí)值之間的偏差情況，分別設(shè)置在密度先驗(yàn)階段和密度估計(jì)階段。但不同于傳統(tǒng)的基于多任務(wù)學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)，密度估計(jì)階段的損失函數(shù)取決于密度先驗(yàn)階段的輸出結(jié)果。

密度先驗(yàn)網(wǎng)絡(luò)采用交叉熵誤差作為損失函數(shù)，定義如下：

密度估計(jì)網(wǎng)絡(luò)采用歐式距離誤差作為損失函數(shù)，定義如下：

最終，總損失函數(shù)用兩部分損失函數(shù)的加權(quán)來(lái)表示，定義如下：

3.3 訓(xùn)練與評(píng)價(jià)

卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練是一個(gè)不斷調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的過(guò)程，每一次參數(shù)調(diào)整都包含前向傳播、計(jì)算損失、反向傳播和參數(shù)更新四個(gè)部分。網(wǎng)絡(luò)在接收輸入的圖像信息后，經(jīng)過(guò)前向傳播得到乘客密度估計(jì)值，然后根據(jù)估計(jì)值與真實(shí)值計(jì)算損失函數(shù)，接下來(lái)以損失函數(shù)為優(yōu)化目標(biāo)，利用反向傳播完成參數(shù)更新。反向傳播時(shí)常用到梯度下降優(yōu)化算法，如隨機(jī)梯度下降法、小批量梯度下降法以及Adam優(yōu)化算法等，本文采用小批量梯度下降法和Adam優(yōu)化算法來(lái)更新網(wǎng)絡(luò)參數(shù)。

（1）網(wǎng)絡(luò)訓(xùn)練

（2）模型評(píng)價(jià)

模型評(píng)價(jià)選擇人群計(jì)數(shù)研究普遍采用的平均絕對(duì)誤差（Mean Absolute Error，MAE）和均方誤差（Mean Squared Error，MSE）作為評(píng)價(jià)標(biāo)準(zhǔn)[18]，各評(píng)價(jià)指標(biāo)定義如下：

4 擁擠度識(shí)別實(shí)驗(yàn)

地鐵車輛擁擠度識(shí)別方法主要通過(guò)提取指定檢測(cè)區(qū)域，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)指定區(qū)域進(jìn)行檢測(cè)，最終根據(jù)人數(shù)檢測(cè)特征來(lái)判斷車輛的擁擠程度。因此，本文主要設(shè)計(jì)了模型訓(xùn)練實(shí)驗(yàn)、擁擠度識(shí)別精度實(shí)驗(yàn)、擁擠度識(shí)別效率實(shí)驗(yàn)三部分來(lái)驗(yàn)證方法的準(zhǔn)確性以及識(shí)別效率。

4.1 模型訓(xùn)練實(shí)驗(yàn)

首先，進(jìn)行模型訓(xùn)練實(shí)驗(yàn)來(lái)獲得最佳網(wǎng)絡(luò)參數(shù)，設(shè)置Adam通過(guò)學(xué)習(xí)進(jìn)行優(yōu)化的訓(xùn)練速度為0.000 01，動(dòng)量為0.9，并且為了避免過(guò)擬合問(wèn)題，在網(wǎng)絡(luò)的全連接層使用Dropout正則化處理，Dropout概率取值為0.5。采用Python語(yǔ)言編碼，利用Pytorch深度學(xué)習(xí)框架對(duì)模型進(jìn)行訓(xùn)練[19]。訓(xùn)練數(shù)據(jù)集來(lái)自于地鐵車輛監(jiān)控視頻，共包含11 700張帶有人工標(biāo)注的子圖像塊，其中9 360張子圖像塊為訓(xùn)練集，1 170張子圖像塊為驗(yàn)證集，余下1 170張子圖像塊作為測(cè)試集。表1為在不同迭代次數(shù)下的模型訓(xùn)練結(jié)果。

表1 不同迭代次數(shù)下的模型訓(xùn)練結(jié)果

Tab.1 Model training results with different iteration times

續(xù)表1

迭代次數(shù)MAEMSE 6000.51.1 8000.51.0 1 0000.51.0

如表1所示，隨著迭代次數(shù)的增加，MAE和MSE值逐步減少，網(wǎng)絡(luò)參數(shù)不斷得到優(yōu)化，但當(dāng)?shù)螖?shù)達(dá)到足夠多時(shí)，模型訓(xùn)練結(jié)果將不會(huì)有太大的改變，此時(shí)卷積網(wǎng)絡(luò)已呈收斂狀態(tài)，即模型訓(xùn)練已得到最優(yōu)結(jié)果。隨后，在測(cè)試集數(shù)據(jù)上進(jìn)一步驗(yàn)證模型的性能，檢測(cè)結(jié)果為MAE = 0.59，MSE = 1.30，其平均絕對(duì)誤差較小，表明模型具有一定的適用性。

4.2 擁擠度識(shí)別精度實(shí)驗(yàn)

另從視頻中提取450張圖像作為擁擠度識(shí)別精度實(shí)驗(yàn)的數(shù)據(jù)集，其中350張圖像用于特征提取，余下100張圖像用于測(cè)試檢驗(yàn)。利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像不同區(qū)域進(jìn)行多次檢測(cè)后發(fā)現(xiàn)，車廂中部通道區(qū)域的乘客圖像具有明顯的不同擁擠度特征。因此，本文選擇該區(qū)域內(nèi)人數(shù)檢測(cè)特征來(lái)判斷車廂的擁擠程度，以下是不同擁擠度分級(jí)下的檢測(cè)實(shí)驗(yàn)。

（1）三級(jí)擁擠度

將檢測(cè)圖像劃分為擁擠度0（車廂中部通道無(wú)乘客聚集）、1（車廂中部通道有乘客聚集，乘客間具有一定活動(dòng)空間）、2（車廂中部通道有大量乘客聚集，乘客間身體接觸頻繁）三類，檢測(cè)樣本示例如圖5所示。

隨后，對(duì)100幅包含不同擁擠程度的圖像進(jìn)行測(cè)試，結(jié)果顯示本文算法的檢測(cè)準(zhǔn)確率達(dá)98%。

（2）四級(jí)擁擠度

將檢測(cè)圖像劃分為擁擠度0（車廂中部通道無(wú)乘客聚集）、1（車廂中部通道有少量乘客）、2（車廂中部通道有乘客聚集，乘客間具有一定活動(dòng)空間）、3（車廂中部通道有大量乘客聚集，乘客間身體接觸頻繁）的四類，檢測(cè)樣本示例如圖7所示。

圖6 三級(jí)擁擠度樣本特征檢測(cè)結(jié)果

（3）五級(jí)擁擠度

將車廂擁擠度劃分為五級(jí)，檢測(cè)樣本圖像示例如圖9所示。實(shí)驗(yàn)結(jié)果表明在這種擁擠度細(xì)分類型下，人群檢測(cè)特征值區(qū)別不明顯，樣本特征檢測(cè)結(jié)果如圖10所示。其原因主要為在較為擁擠的情況下，車廂內(nèi)乘客間遮擋情況嚴(yán)重，人數(shù)變化情況不明顯，不利于進(jìn)一步細(xì)分特征。

圖8 四級(jí)擁擠度樣本特征檢測(cè)結(jié)果

（a）擁擠度0（b）擁擠度1（c）擁擠度2 （d）擁擠度3（e）擁擠度4

4.3 擁擠度識(shí)別效率實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證算法的識(shí)別效率，選取一段時(shí)長(zhǎng)為15min的地鐵車輛監(jiān)控視頻進(jìn)行識(shí)別效率實(shí)驗(yàn)。由于擁擠度實(shí)時(shí)識(shí)別將直接調(diào)用訓(xùn)練得到的最優(yōu)模型，因此，模型訓(xùn)練時(shí)間將不考慮在識(shí)別效率之中。

以每秒鐘提取一幀視頻圖像的速度提取圖像，共提取901幀視頻圖像，分別測(cè)試在GPU和CPU系統(tǒng)下視頻圖像檢測(cè)效率，實(shí)驗(yàn)結(jié)果如表2所示。

圖10 五級(jí)擁擠度樣本特征檢測(cè)結(jié)果

表2 擁擠度識(shí)別效率實(shí)驗(yàn)結(jié)果

Tab.2 Experimental results of congestion recognition efficiency

如表2所示，在NVIDIA GTX1070 GPU系統(tǒng)下，利用本算法進(jìn)行擁擠度檢測(cè)共用時(shí)16 264 ms，即圖片檢測(cè)速度為18.07 ms/幀；在intel Core i5-8250U CPU系統(tǒng)下，擁擠度檢測(cè)共用時(shí)22 006 ms，即圖片檢測(cè)速度為24.42 ms/幀。由于地鐵車廂內(nèi)人數(shù)改變通常在每次停站后，兩次檢測(cè)間的可用時(shí)間為兩次停站間的時(shí)間，顯然，本文所提出方法的檢測(cè)速度能夠滿足現(xiàn)場(chǎng)檢測(cè)需求。

5 結(jié) 論

在網(wǎng)絡(luò)化運(yùn)營(yíng)背景下，為進(jìn)一步提高城市軌道交通系統(tǒng)的服務(wù)水平，本文提出了一種車廂擁擠度快速檢測(cè)的方法。該方法主要利用地鐵車輛監(jiān)控視頻信息，在不額外增加設(shè)備支出的前提下，實(shí)現(xiàn)了安全監(jiān)控與客流檢測(cè)的雙重作用。試驗(yàn)證明三級(jí)擁擠度分類識(shí)別實(shí)驗(yàn)準(zhǔn)確率達(dá)98%，四級(jí)擁擠度分類識(shí)別實(shí)驗(yàn)準(zhǔn)確率為87%，并且具有很高的識(shí)別速度，檢測(cè)結(jié)果可輔助城市軌道交通管理者快速掌握線網(wǎng)實(shí)時(shí)客流擁擠情況。

由于攝像頭高度位置、乘客遮擋等原因，二維圖像中存在著大量信息的缺失，從而導(dǎo)致使用本文方法在更細(xì)化的擁擠度分類識(shí)別時(shí)存在著精度問(wèn)題，后續(xù)研究中將嘗試獲取車廂內(nèi)三維信息進(jìn)行識(shí)別，以期提高識(shí)別精度。此外，如何更好地將車廂擁擠度檢測(cè)技術(shù)運(yùn)用到城市軌道交通的日常運(yùn)營(yíng)管理之中，也是未來(lái)應(yīng)該進(jìn)一步研究的問(wèn)題。

[1] 中華人民共和國(guó)建設(shè)部. 城市軌道交通工程項(xiàng)目建設(shè)標(biāo)準(zhǔn)[M]. 北京: 中國(guó)計(jì)劃出版社, 2008.

[2] 北京市質(zhì)量技術(shù)監(jiān)督局. 城市軌道交通工程設(shè)計(jì)規(guī)范[M]. 北京: 北京地方標(biāo)準(zhǔn), 2013.

[3] 盧愷, 韓寶明, 魯放. 城市軌道交通運(yùn)營(yíng)客流數(shù)據(jù)分析缺陷及應(yīng)對(duì)[J]. 都市快軌交通, 2014, 27 (4): 25-29.

[4] 魏夢(mèng). 基于卷積神經(jīng)網(wǎng)絡(luò)的人群密度分析[D]. 合肥: 中國(guó)科學(xué)技術(shù)大學(xué), 2018.

[5] 沈娜. 智能視頻監(jiān)控系統(tǒng)中人群密度估計(jì)與實(shí)現(xiàn)[D]. 南京: 南京航空航天大學(xué), 2012.

[6] 陶茂輝. 基于視頻圖像的人群密度估計(jì)研究[D]. 成都: 電子科技大學(xué), 2014.

[7] ZHANG C, LI H, WANG X, et al. Cross-scene crowd counting via deep convolutional neural networks[C]// Conference on Computer Vision and Pattern Recognition. Boston: IEEE press, 2015: 833-841.

[8] ZHANG Y Y. Single-image crowd counting via multi- column convolutional neural network[C]// Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE press, 2016: 589-597.

[9] SAM D B, SURYA S. Switching convolutional neural network for crowd counting [C]// Conference on Computer Vision and Pattern Recognition. Hawaii: IEEE press, 2017: 429-437.

[10] SINDAGI V A, PATEL V M. Cnn-based cascaded multi- task learning of high-level prior and density estimation for crowd counting [C]//Conference on Advanced Video and Signal Based Surveillance. Piscataway: IEEE press, 2017: 1-6.

[11] 袁燁, 吳震宇, 江先志. 基于卷積神經(jīng)網(wǎng)絡(luò)的人群計(jì)數(shù)研究[J]. 成組技術(shù)與生產(chǎn)現(xiàn)代化, 2017, 34 (2): 49-53.

[12] 張霖, 韓寶明, 李得偉. 基于圖像技術(shù)的城市軌道交通大客流辨識(shí)[J]. 都市快軌交通, 2012, 25 (1): 72-77.

[13] 劉旭. 視頻監(jiān)控中的目標(biāo)計(jì)數(shù)方法研究[D]. 合肥：中國(guó)科學(xué)技術(shù)大學(xué), 2018.

[14] 馬海軍, 王文中, 翟素蘭, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的監(jiān)控視頻人數(shù)統(tǒng)計(jì)算法[J]. 安徽大學(xué)學(xué)報(bào): 自然科學(xué)版, 2016, 40 (3): 22-28.

[15] 覃勛輝, 王修飛, 周曦, 等. 多種人群密度場(chǎng)景下的人群計(jì)數(shù)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2013, 18 (4): 392-398.

[16] HE K, ZHANG X, REN S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]// European Conference on Computer Vision Computer Vision. Zurich: Springer press, 2014: 346-361.

[17] 時(shí)增林, 葉陽(yáng)東, 吳云鵬, 等. 基于序的空間金字塔池化網(wǎng)絡(luò)的人群計(jì)數(shù)方法[J]. 自動(dòng)化學(xué)報(bào), 2016, 42 (6): 866-874.

[18] 馬海軍. 監(jiān)控場(chǎng)景中人數(shù)統(tǒng)計(jì)算法的研究與應(yīng)用[D]. 合肥：安徽大學(xué), 2016.

[19] SINDAGI V A. CNN-based cascaded multi-task learning of high-level prior and density estimation for crowd counting [EB/OL]. https: //github. com/svishwa/ crowdcount- cascaded-mtl, 2017.

Subway Train Congestion Degree Recognition Method Based on Video Image Analysis

ZHANG Xing-man1，LU Gong-yuan1, 2

（1. School of Transportation and Logistics, Southwest Jiaotong University, Chengdu 611756, China;2. National United Engineering Laboratory of Integrated and Intelligent Transportation, Chengdu 611756, China）

Accurately analyzing and obtaining the congestion levels in subway trains is one way of improving the quality of urban rail transit services. This paper proposes a vehicle congestion recognition method using a convolutional neural network to extract and analyze subway vehicle monitoring video images. This method uses the vehicle monitoring video to build a dataset of passengers in the carriage and uses a convolutional neural network with a cascade structure to realize recognition of subway train vehicle congestion by extracting the detection area of the video image and detecting crowd characteristics. The experiment results demonstrated that our proposed method had a fast detection speed and can meet real-time requirements in practical applications. The accuracy of three-level congestion degree experiment is 98%, and the accuracy of four-level congestion degree experiment is 87%. The test results can assist urban rail transit managers to quickly understand real-time passenger flow congestion in the line network.

urban rail transit; congestion level in the subway train; convolutional neural network; surveillance video

U231

A

10.3969/j.issn.1672-4747.2020.03.017

1672-4747（2020）03-0142-11

2019-09-04

國(guó)家重點(diǎn)研發(fā)計(jì)劃（2017YFB1200701）；四川省教育廳2018—2020年高等教育人才培養(yǎng)質(zhì)量和教學(xué)改革項(xiàng)目（JG2018-135）

張杏蔓（1994—），女，四川成都人，碩士研究生，研究方向：智能交通，E-mail：616785990@qq.com

魯工圓（1983—），男，四川射洪人，副教授，碩士研究生導(dǎo)師，研究方向：運(yùn)輸組織優(yōu)化，E-malil：lugongyuan@swjtu.edu.cn

張杏蔓，魯工圓. 基于視頻圖像分析的地鐵列車車輛擁擠度識(shí)別方法研究[J]. 交通運(yùn)輸工程與信息學(xué)報(bào)，2020，18（3）：142-152

（責(zé)任編輯：李愈）