基于改進YOLOv5s 模型的客流密度分析系統設計與實現

張潔溪，田海超，張勝陽

（1.中鐵科（北京）信息工程設計咨詢有限公司，北京 100081；2.北京經緯信息技術有限公司，北京 100081）

目前，地鐵客流數據主要依靠自動售檢票系統（AFC，Auto Fare Collection）進/出站閘機傳感器獲取[1]，無法實現實時客流統計。在早、晚高峰時段，大客流集中出現，地鐵空間內客流密度短時間內急劇攀升，容易產生踩踏等危險事件。因此，各地鐵運營公司均提出建立客流密度分析系統的需求。

當前，地鐵站內既有攝像機僅用于視頻監控轉發、錄制及回放，利用率較低。智能視頻分析技術有良好的目標檢測基礎，隨著該技術在地鐵中的廣泛應用，可充分利用既有攝像機等前端設備采集乘客信息，依托客流密度分析系統對采集信息進行客流密度分析，從而保障乘客安全、提高疏導能力。

目前，客流密度分析方法主要有基于軸重傳感分析融合的背景差分法及YOLO 系列的目標檢測法。汪曉臣等人[2]提出基于軸重傳感的背景差分法，即利用當前目標圖像與背景進行像素差分運算，再對比列車空車狀態與列車運行時軸重數據差輔助分析，得到客流密度。該方法簡單易行，但只是粗略估算，沒有較高的準確度，無法直觀讀取視頻流中人群數據，僅能呈現“擁擠”、“一般”、“舒適”等3種狀態，不利于構建大數據平臺。Redmon 等人[3]提出YOLO（You Only Look Once）算法，即將視頻流截取圖片拆分成n×n 網格，輸入卷積神經網絡（CNN，Convolutional Neural Network），一次判斷出目標的位置與類別。YOLOv5s 模型是one-stage 目標檢測模型，該模型最為輕量，響應速度快，但精準能力相對薄弱[4]。

地鐵客流量是城市軌道交通各項業務依托的重要數據，也是軌道交通OD 模型建立的基礎[5]。客流密度分析系統精準度的提升，有助于構建城市交通綜合平臺，通過整合客流數據，分析乘客異常行為，及時排除危險因素，建立安全有序的地鐵環境；與智慧車站線上客服聯動[6]，拓寬客服招援渠道；根據乘客出行規律，為周邊公交接駁提供可靠數據，為疏解城市早晚高峰交通壓力起到重要作用。

基于以上研究，本文設計了基于改進YOLOv5s模型的客流密度分析系統，該系統在YOLOv5s 模型基礎上引入注意力機制，加強對小目標的關注度，提高目標檢測精準度，通過改進YOLOv5s 模型的C3 模塊[7]，將其替換為更為輕量的c2f 模塊，解決由于引入注意力機制引起的推理耗時問題，從而既提高模型檢測精度又保證響應時效。改進后的YOLOv5s 模型更加適應于空間密閉、人員密集的地鐵環境。

1 系統設計

1.1 系統組成

客流密度分析系統主要由中心子系統、車載子系統和車站子系統組成，如圖1 所示。

圖1 客流密度分析系統組成

車載子系統面向乘客端采集設備，如攝像機、錄像機等，對乘客行為、客流方向及客流數據進行采集，將獲取的乘客信息傳入列車兩端智能視頻分析服務器，通過運算取得客流密度。

中心子系統接收車載子系統上傳的乘客信息視頻流、客流密度等數據，經交換機輸入到中心服務器進行審核。審核完成后下發到車站子系統。

車站子系統接收到中心子系統下發的數據后，交由LCD 播放控制器進行報文解析，并將結果經地鐵LCD 顯示屏進行顯示。

1.2 系統架構

客流密度分析系統架構由采集層、網絡層、數據層及應用層組成，如圖2 所示。

圖2 客流密度分析系統架構

（1）采集層

采集層通過圖像采集設備獲取客流圖像。前端圖像采集設備主要有視頻監控中攝像機及監控過程中使用的各類相關設備。

（2）網絡層

網絡層即通過從中心到各車站的局域網、列車與地面的車地無線網絡，將從采集層獲取的客流量數據，經視頻服務器分析換算，將客流密度結果傳輸至數據層，實現客流數據、載重數據輸送。

（3）數據層

數據層用于數據存儲、分析及管理客流數據、載重數據，形成文字、圖片、視頻全類型、格式統一的數據庫。該層數據主要包括客流量數據、軸荷重轉換數據、客流密度數據等。

（4）展示層

基于感知層、網絡層而構建，實現客流數據分析、人群計數統計，結合載重數據，形成客流密度分析數據。主要通過LCD 顯示屏發布顯示客流密度信息及控制中心在PC 端的收發信息。

2 系統功能

本文根據業務需求，結合視頻監視系統，設計了客流密度分析系統的功能模塊。

2.1 客流密度分析

客流密度分析功能包含客流密度分析和人數統計功能，智能視頻服務器能夠在20 s 內輸出客流密度和人數統計數據，按照地點分類，向中心上報分析結果。地鐵站內客流具有時間、空間分布不均衡的特性[8]，通過客流密度分析形成的客流分布特征，可以為中心預判高峰時段、列車運行秩序等提供可靠依據。

2.2 行為異常告警

行為異常告警功能包含乘客跌倒、招援等動作識別功能，并及時將乘客信息上報中心，產生告警，提高應急處置效率，保障乘客安全。形成“人、車、站”協同管理。

2.3 客流疏導

根據上報中心的客流數據，構建客流大數據分析模塊，結合歷史數據分析、大客流預警，形成熱力圖和動態圖，顯示乘客活躍路線，預判乘客高峰走勢，方便運營部署限流等疏導策略。

3 客流密度分析流程

客流密度分析基本流程，如圖3 所示。

圖3 客流密度分析流程

前端攝像機獲取實時視頻流進行數據采集，列車控制與管理系統（TCMS，Train Control and Management System）進行列車軸重數據采集，分別在列車車頭、車尾各設置一臺車廂客流密度分析設備，對視頻圖像分析，以軸荷重數據輔助，得出最終結果。在客流密度分析數據形成后，通過車地無線網絡傳送給控制中心，通過控制中心再下發到車站子系統中乘客信息編播中心，經站臺LCD 終端顯示屏，將乘客導向合適的車廂進行乘車，運用大數據幫助運營疏導管理。

3.1 數據采集

（1）視頻流獲取

攝像機、流媒體服務器等設備實時錄取車廂情景，通過實時流傳輸協議進行視頻流獲取傳輸。

（2）軸重荷數據采集

TCMS 系統中遠程輸入輸出模塊（RIOM，Remote Input/Output Module ）具有數據采集及控制的功能。通過乘客信息控制單元與外部地面PIS 系統關聯，傳輸軸重動態數據，反映每列車所載乘客的數量，從而形成客流密度數據。

3.2 客流密度分析

通過運用YOLOv5s 檢測算法，對客流進行分析、識別和計算，得出客流密度分析、人數統計數據，并在20 s 內響應，能夠輸出1 列車6 節車廂全部客流密度數據和人數統計數據。列車在到達下一站前將分析結果發送至地面中心PIS 系統服務器，站臺乘客通過站臺乘客信息發布屏獲取列車各車廂擁擠度信息。視頻分析過程中不受報警觸發的影響而中斷，通過Onvif 或GB28181 等視頻標準協議傳輸視頻流并解析，分析準確率不低于90%。

3.3 發布與顯示

（1）站臺LCD 顯示

通過前端攝像機獲取視頻流，經視頻分析及目標檢測算法，結合軸重分析，得出客流密度數據。將該數據上傳到控制中心，由控制中心審核下發到站臺LCD 播放控制器并解析轉換信號格式，通過乘客信息系統軟件中媒體編播與消息發布等功能模塊，發布與顯示，如圖4 所示。

圖4 站臺LCD 屏客流密度顯示

（2）站廳LCD 顯示

控制中心收到客流密度分析結果后，將信息下發到車站站廳層票亭LCD 顯示屏，如圖5 所示。

4 關鍵技術

4.1 引入注意力機制

地鐵場景環境復雜，前端視覺機器感知信息冗余。為了強化圖像重要特征，讓網絡模型更能夠關注識別人物特征，抑制其他無用特征，本文在YOLOv5s 模型中引入一種卷積注意力模塊（CBAM，Convolutional Block Attention Module），該模塊能夠在通道和空間雙重機制作用下，運用平均池化和最大池化，經過多層感知器（MLP，Multi-Layer Perceptron）得到特征圖信息，從而強化特征提取的能力，增強模型感受野（網絡區域感知能力）。引入注意力機制后的模型，能夠達到良好的性能指標。

4.2 改進Backbone 主干網絡結構

由于YOLOv5s 網絡主要用目標函數指導神經網絡進行信息學習，在執行過程中權重不斷更新，又基于運用線性回歸算法，因此會產生大量的損失函數與梯度。借助梯度下降的方法，原YOLOv5s 運用C3 模塊提取圖片特征信息。C3 模塊具有多尺度特征融合性能的同時也帶來了大量參數，導致模型信息冗余。因此本文借助YOLOv8 模型結構，將YOLOv5s 模型中Backbone 主干網絡層中C3 模塊替換為c2f 模塊，該模塊在提取特征時，每層特征圖輸入瓶頸層（bottleneck）的通道數均是上一級的0.5 倍，因此降低了運算量，使模型進一步輕量化，改進后的模型運行推理速度明顯提高。

5 實現與應用

5.1 實驗數據集

基于改進YOLOv5s 模型的客流密度分析系統，在北京新機場線項目上實現并應用。為了定量分析檢測性能，在該項目上采集地鐵列車車廂圖像，按比例劃分為訓練集和測試集。

5.2 評價指標

本文共采用AP50、AP50∶5∶95、推理耗時共3 個指標來評估改進后模型的性能。

（1）AP50

平均精度（AP，Average Precision）值，即以召回率（Recall）為橫軸、預測精準率（Precision）為縱軸構成的PR-Recall 曲線面積，AP 值越大，說明預測值越高，性能表現越為精準。AP50 為并交比閾值設置為50%時的平均檢測精度。

（2）AP50∶5∶95

是指并交比閾值取0.5，0.55，…，0.95，步長為0.05 時，將對應不同類別的平均精度值，再取平均值。該指標能夠綜合衡量不同交并比閾值下模型的性能，AP50∶5∶95 值越大，模型性能越穩定準確。

（3）推理耗時

推理耗時表示模型處理一張圖片需要的時間，由于添加CBAM 后模型mAP 值有一定提升，同時，也增加了模型的復雜度，增加推理耗時。因此，將推理耗時作為一項評估指標。

為了驗證本文提出的改進后的YOLOv5s 模型與原YOLOv5s 模型相比精準度有無提升，依據AP50、AP50∶5∶95、推理耗時這3 項評價指標對比兩種模型的檢測性能，結果如表1 所示。

表1 改進模型與原模型性能對比

5.3 應用結果分析

分別應用基于原YOLOv5s 模型的客流密度分析系統與基于改進后的YOLOv5s 模型的客流密度分析系統在地鐵車廂乘客數據集上進行訓練。運行環境為：CPU 為 intel i7-1065G7，GPUwei NVIDIA GeForce MX350，內存為10 GB，操作系統為Windows10，開發語言為Python，使用了Pytorch 深度學習框架。由表1 可知，單項引進注意力機制后，AP50、AP50∶5∶95 兩項指標均有所提高，推理耗時增加了1.1 ms；單項改進主干網絡模塊，AP50、AP50∶5∶95 兩項指標無明顯變化，推理耗時降低了0.5 ms；而改進后的YOLOv5s 模型，AP50、AP50∶5∶95 兩項指標分別提升1.04%和4.7%，而推理耗時相較于單項引入注意力機制降低了1.3 ms。因此，本文提出的改進模型能有效提高檢測精度，性能更佳。

6 結束語

本文設計了基于改進YOLOv5s 模型的客流密度分析系統，在YOLOv5s 模型中引入CBAM，通過學習方式自適應獲取每個特征通道的特征信息，根據對當前任務重要程度，提取特征，抑制不相關特征，提升檢測精度；將主干網絡C3 模塊替換更為輕量的c2f 模塊，解決因引入注意力機制增加推理耗時的問題。該系統已在北京地鐵新機場線項目實際應用，應用表明，基于改進YOLOv5s 模型客流密度分析系統能夠在客流高峰時段，乘客密集時有效提高精準度，應用表現良好。未來，將繼續圍繞客流密度分析系統，進一步完善系統功能，提高客流分析精準度和智能化程度；進一步整合客流數據資源，提高資源使用效率，為乘客出行提供有力保障。