一種改進的乘客走行時間測量方法研究

摘要：乘客走行時間是乘客步行通過車站內特定路線所花費的時間，該時間在車站客流風險調查、清分模型驗證調查中發揮重要作用。現有檢測方法存在過采樣或欠采樣問題，過采樣會降低準確率，欠采樣會降低召回率。為了提高準確率和召回率，文章提出了一種基于行人跟蹤的走行時間測量方法，該方法根據乘客軌跡進行單一采樣，從而避免了過采樣和欠采樣，最終大幅提升測量方法的準確率和召回率。經充分的實驗驗證，在攝像頭角度合適的情況下，該測量方法可以達到98%的準確率和52%的召回率，滿足多項業務的要求。

關鍵詞：視頻分析；行人跟蹤；行人重識別；走行時間；智慧地鐵

The Design and Application Research of Subway Train Passenger

Travel Time Measuring Method

LI Hui， SHI Xu， LI Tianyu， YAO Shiyan， ZHENG Jianfei

（Beijing Metro Network Control Center， Beijing 100101， China）

Abstract： The time for passengers to walk is the time spent walking through a specific route in the station， which is used in the station passenger wind risk investigation， clearing model verification， and trial. Existing detection methods have over sampling or under sampling problems， oversampling reduces accuracy， and under sampling reduces recall. In order to improve the accuracy and recall rate， this paper proposes a walking time measurement method based on pedestrian tracking， which performs a single sampling according to the passenger trajectory， thereby avoiding over sampling and under sampling， and ultimately greatly improving the accuracy and recall of the measurement method. Sufficient experimental verification shows that the measurement method can achieve 98% accuracy and 52% recall rate when the camera angle is suitable， meeting the requirements of multiple services.

Key words： video analysis; travel time measuring; deep learning; smart metro

1" "研究背景

為滿足北京市交通委下達的千分制風險點位評估工作要求及軌道交通的路網信息完善、參數優化、運營分析等工作要求，路網公司開展多項客流調查業務。目前已有25項客流調查業務，支撐7個業務及技術部門的14項業務。據統計，目前有10項客流調查業務需要測量乘客在車站內特定路線的走行時間。

傳統人工測量方法需要客流調查隊員現場跟隨乘客，手動記錄乘客走行時間。傳統人工測量方法耗費大量人力，且乘客召回率太低。在現有方法中，文獻[1]利用行人檢測和行人重識別技術對現有監控視頻進行分析，自動測量大量乘客的走行時間，該方法的乘客采樣過程會使乘客過采樣、欠采樣和丟失關鍵幀。

為了解決采樣過程中欠采樣、過采樣和丟失關鍵幀的問題，本文提出了一個基于乘客軌跡的乘客走行時間測量方法。該方法首先使用行人檢測算法[2][3]檢測行人，然后使用行人跟蹤方法跟蹤視頻內每一位乘客，得到乘客的軌跡，并根據乘客的軌跡和乘客特征選取關鍵幀，使用關鍵幀的乘客特征進行乘客匹配，解決了欠采樣、過采樣和關鍵幀丟失的問題，最終在測試集召回率達到52%、準確率達到98%，相對文獻[1]中的方法，召回率提高了20%、準確率提高了9%。

2" "地鐵乘客走行時間測量方法

2.1 測量方法整體方案

乘客走行時間是乘客步行通過車站內特定路線所花費的時間。在視頻分析中，乘客走行時間可以定義為乘客從路線起始攝像頭走到路線結束攝像頭所花費的時間。

本文提出的方法依托現有地鐵攝像頭，使用行人檢測技術、行人跟蹤技術和行人重識別技術在路線起始攝像頭和路線結束攝像頭根據關鍵幀特征匹配乘客。本文提出的方法主要分為三個部分：一是對每位乘客進行跟蹤，得到乘客軌跡；二是根據軌跡和軌跡內乘客特征選取關鍵幀；三是根據關鍵幀特征進行乘客匹配。

2.2 乘客跟蹤

本文的乘客檢測算法參考文獻[1][4][5]，本文對ByteTrack行人跟蹤算法[6]進行改進，得到一個適用于地鐵監控的行人跟蹤算法。ByteTrack是一個多目標跟蹤算法，該方法對低分的檢測框進行二次匹配，從而在不使用Reid特征的情況下，檢測效果可超過傳統的deepsort多目標跟蹤算法[7]。

現有多目標跟蹤算法使用卡爾曼濾波方法，可根據乘客現有軌跡預測乘客下一幀的邊框，并與下一幀的檢測框進行二分匹配，更新乘客軌跡。研究中發現，由于地鐵監控攝像頭掛高過低，乘客順著攝像頭拍攝方向走進攝像頭時先僅露出頭部，然后才露出全身。在這個過程中，乘客的檢測框的長寬比由1/5左右快速變到2左右。這種情況會導致卡爾曼濾波方法來不及更新參數，從而預測出遠比檢測框寬的邊框，會嚴重影響乘客匹配的準確率。為了解決這個問題，本文將卡爾曼濾波預測的邊框僅用于軌跡的二分匹配，而使用檢測框更新乘客的軌跡，從而得到長寬比正常的軌跡。

2.3 關鍵幀的選取

在得到乘客的軌跡之后，本文提出的方法對軌跡進行處理，然后選取關鍵幀。本文提出的方法首先刪除長度低于閾值的軌跡；然后刪除軌跡內邊界距離圖片邊界低于閾值的乘客邊框；最后迭代地選取檢測分數更高且面積更大的乘客邊框，選取關鍵幀并提取該乘客的特征。

本文提出的方法篩選掉短軌跡，保證乘客在未被遮擋時不會被欠采樣，同時在軌跡內細粒度地選取關鍵幀，從而保證關鍵幀被采樣。本文提出的方法解決了文獻[1]出現的過采樣、欠采樣和關鍵幀丟失的問題。

本文使用行人重識別技術為乘客提取特征。本文提出的方法參考文獻[8]使用殘差網絡ResNet101[9]作為提取特征的主干網絡。殘差網絡通過殘差學習的思想，增強模型的梯度傳播，使之可以學習更具表達力的特征。設乘客的圖片為，使用主干網絡提取圖片的特征。本文為訓練集內每一個乘客分配一個編號，該視為該乘客的類別，使用全連接層和層對乘客特征進行分類，將其分到第類。最后通過最小化訓練集所有乘客的分類損失來優化骨干網絡和全連接層。訓練完成后，骨干網絡即可為乘客提取特征，同一乘客在不同攝像頭的特征是相似的。

2.4 乘客匹配

本文提出的方法通過起始攝像頭和結束攝像頭分別維護一個乘客集合，該集合包含特定時間范圍內所有未匹配的乘客，起始攝像頭和結束攝像頭的時間范圍相同。本文提出的方法對結束攝像頭內的乘客按軌跡的時間從早到晚進行排序，依次對起始攝像頭乘客集合內所有乘客進行匹配，如果匹配的分數大于閾值，則輸出一個結果，并將乘客從乘客集合內刪除。隨著算法的運行，超出當前時間范圍的乘客被視為消失，從而從乘客集合中刪除。

文本提出的方法從軌跡中選取距離測量線最近的幀作為乘客的起始幀和結束幀，使用關鍵幀進行乘客匹配，使用起始幀和結束幀進行走行時間的精確計算。

3" "實驗測試與驗證

3.1 數據集和評價指標

3.1.1 地鐵走行時間v1數據集

地鐵走行時間v1數據集是一個大規模、多場景的走行時間數據集，在收集時考慮了走行時間的各種場景，包括走行時間的長短、乘客密集程度和乘客朝向。針對走行時間的長短，數據集收集了30秒、60秒、120秒和240秒量級的走行時間測試數據；針對乘客密度程度，數據集收集了大客流和小客流情況下的走行時間測試數據；針對乘客朝向，數據集收集了正向-正向、正向-反向和反向-反向情況下的走行時間測試數據。數據集共有14個走行時間起始攝像頭-結束攝像頭組合，共100個視頻片段，視頻段的平均長度為3分鐘。

地鐵走行時間v1數據集采用跟蹤+匹配的方式進行細粒度地標注。標注員首先標注視頻段內所有乘客的軌跡，并給乘客標記一個ID，然后將起始攝像頭中的ID和結束攝像頭的ID進行匹配，得到精準的走行時間標注。本數據集的標注格式參考MSCOCO數據集[10]。

3.1.2 評價指標

本文使用準確率、召回率和FPS評價走行時間測量方法的性能。本文提出的走行時間測量方法在分析視頻時會輸出乘客在起始攝像頭和結束攝像頭的圖片對，準確率為圖片對是同一個人的比例，召回率為正確召回的圖片對占總圖片對的比例，FPS（Frame Per Second）為算法每秒可以處理的圖片數量。

3.2 走行時間測量實驗結果

在測試時，本文提出的方法處理每一對起始視頻和結束視頻，輸出匹配到的乘客的圖片對并進行人工校驗，得到正確匹配的乘客數量，最后與標注的乘客數量進行對比，計算出準確率和召回率。本文提出的方法的結果如表1所示。在表1數據集中走行時間測量指標，采用文獻[1]方法，準確率為89%，召回率為32%；采用本文提出的方法，準確率為98%，召回率為52%。

根據對實驗結果表1和表2的分析，本文提出的方法呈現出四個特點。

（1）相對文獻[1]方法，本文提出的方法提高了9%的準確率和20%的召回率，最終達到了98%的準確率和52%的召回率，具有性能好的特點。

（2）本文提出的方法在乘客朝向為正正的攝像頭的表現優于乘客朝向為反反的攝像頭和乘客朝向為正反的攝像頭。正向乘客比反向乘客展現出更多特征，且正向乘客展現出與反向乘客不同的特征，反向乘客與反向乘客匹配效果最好，正向和反向乘客匹配的效果最差。這一特點指導我們在選擇測量走行時間的攝像頭時盡量選取正正方向的攝像頭，盡量避免正反方向的攝像頭。

（3）本文提出的方法的測試結果受平均走行時間的影響較小。可以看出在120 s以內，隨著平均走行時間的增加，本文提出的方法的召回率并無明顯的下降趨勢。在平均走行時間為240 s時，本文提出的方法的召回率大幅下降，然而經過對測試視頻的具體分析發現，召回率大幅下降并非由于平均走行時間的增加，而是由于測試視頻拍攝距離太遠，無法拍清乘客身上的特征。這一結果指導我們在選擇攝像頭時可以不考慮平均走行時間，而重點考慮攝像頭的拍攝質量。

（4）本文提出的方法在小客流的情況下表現更好。造成此現象的原因有兩個：一是大客流情況下，匹配階段乘客候選較多，因而匹配的難度更大；二是大客流情況下乘客之間遮擋嚴重，使用行人重識別方法提取的特征無法保證是單一乘客的特征，因此給匹配增加了干擾。原因一告訴我們在大客流情況下測量走行時間時，可以采取分段匹配的方式。分段匹配在起始攝像頭和結束攝像頭之間增加一個輔助攝像頭，這樣每段內的候選乘客就會變少，可以降低匹配的難度。原因二告訴我們需要優化匹配算法，根據遮擋情況自動選擇用于匹配的特征。

本文提出的方法基于triton推理框架進行部署。行人跟蹤部分和關鍵幀選取部分部署在服務端，使用grpc協議進行通信，使用異步推理的方式進行加速；乘客匹配部分部署在客戶端，由于計算量小，僅需使用cpu進行乘客間的匹配。經過部署和優化，本文提出的方法可以達到50 fps的處理速度，視頻每秒需要抽取10幀，因此本文提出的方法可以以2.5倍速處理一對起始視頻和結束視頻。圖1為本文提出的方法測量結果的可視化。

4" "結束語

本文提出了一個基于乘客軌跡的乘客走行時間測量方法，解決了現有方法中過采樣、欠采樣和關鍵幀丟失的問題，大幅提高了算法的準確率和召回率。輔以人工校驗，該方法可以提高乘客走行時間測量的效率和質量，達到降本的目的。本文提出了一個大規模乘客走行時間測試集，該數據集考慮了走行時間的長短、客流量的大小和乘客的朝向，可以綜合地測試走行時間測量方法的性能。該方法還有很多待改進的地方，未來的工作可以從以下幾個方向進行：一是乘客之間常常存在遮擋，未來的算法應可以動態地根據未遮擋的部分進行匹配；二是本文提出的方法的匹配過程采用貪心策略，未來應在全局進行匹配，得到更好的匹配結果；三是本文提出的方法在大客流情況下召回率不高，未來應重點研究大客流情況下的測量方法。

參考文獻

[1] Li T．基于行人重識別的乘客走行時間測量方法研究[C]．路網公司第十二屆論文集，2022.

[2] He K ，" Gkioxari G ， P Dollár， et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis amp; Machine Intelligence， 2017.

[3] Ren S， He K， Girshick R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis amp; Machine Intelligence， 2017， 39（6）：1137-1149.

[4] Wojke N， Bewley A， Paulus D. Simple Online and Realtime Tracking with a Deep Association Metric[C]// 2017 IEEE International Conference on Image Processing （ICIP）. IEEE， 2017.

[5] Liu S， Qi L， Qin H， et al. Path Aggregation Network for Instance Segmentation[J]. IEEE， 2018.

[6] Zhang Y， Sun P， Jiang Y， et al. ByteTrack： Multi-Object Tracking by Associating Every Detection Box[J]. arXiv preprint arXiv：2110.06864， 2021.

[7] Wojke N， Bewley A， Paulus D. Simple online and realtime tracking with a deep association metric[C]//2017 IEEE international conference on image processing（ICIP）. IEEE， 2017： 3645-3649.

[8] Zhou K， Yang Y， Cavallaro A， et al. Omni-scale feature learning for person re-identification[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019： 3702-3712.

[9] He K， Zhang X， Ren S， et al. Deep Residual Learning for Image Recognition[J]. IEEE， 2016.

[10] Lin T Y， Maire M， Belongie S， et al. Microsoft COCO： Common Objects in Context[J]. European Conference on Computer Vision， 2014.

基金項目：北京市基礎設施投資有限公司科研項目（2021-26-02-13）。

作者簡介：李" "輝（1979-），男，漢族，北京人，工程師，碩士，研究方向為軌道交通行業智能視頻分析產品研發與人工智能。

石" "旭（1981-），男，漢族，北京人，高級工程師，碩士，研究方向為軌道交通行業智能視頻分析產品研發及應用。

李天宇（1996-），男，漢族，北京人，算法工程師，碩士，研究方向為計算機視覺。

姚世嚴（1991-），男，漢族，北京人，本科，研究方向為軟件架構。

鄭劍飛（1988-），男，漢族，北京人，學士，研究方向為數據管理與AI數據分析。