基于YOLOv5m和注意力機制融合的地鐵車廂乘客實時檢測*

邱 芳，李玉峰，孔才華

（1.沈陽地鐵集團有限公司運營分公司，沈陽 110011；2.沈陽航空航天大學電子信息工程學院，沈陽 110136）

1 引言

近年來，城市軌道交通快速發展，地鐵已成為市民出行的主要交通工具。地鐵車廂乘客密度大，客流復雜，科學合理地實時檢測車廂乘客，可指導乘客安全出行，保障安全運營[1]。國內外學者針對目標檢測在地鐵領域的應用做了大量研究。例如方晨晨等人[2]提出基于BP神經網絡的地鐵車廂下車人數短時預測方法；楊譜等人[3]利用紋理分析和神經網絡相結合的方法對地鐵人群密度進行預測；勞超勇等人[4]利用Wi-Fi探針實現對地鐵站內擁擠點客流量的統計。各方法在客流預測中取得一定效果，但對車廂乘客目標檢測涉及不多。談世磊等人[5]利用YOLOv5模型對人員口罩佩戴進行實時檢測，實驗階段具有一定優勢，但實用性有待驗證。YOLOv5算法是基于回歸思想的目標檢測[6-8]，將檢測與類別區分開[9]，按照其深度和寬度的不同，分為YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。YOLOv5算法速度快，可快速部署，相比傳統檢測方法，精度和速度都有所提升，但是對小目標和密集目標檢測性能仍然較弱。針對以上方法目標檢測性能差、檢測方法單一等問題，在此提出注意力模塊（CBAM）與YOLO v5m主干網絡層進行融合改進，在通道和空間維度提高檢測目標的特征提取能力，從而提高目標檢測性能。該模型權重小、速度快，可滿足對地鐵車廂乘客實時檢測的要求。

2 基于YOLOv5的目標檢測

YOLOv5算法網絡結構如圖1所示。按照執行順序，處理過程可分為四個層次：輸入端（Input）、骨干網絡層（Backbone）、中間層（Neck）網絡，以及預測層（Prediction）[10]。

圖1 YOLOv5網絡結構

輸入端主要完成Mosaic數據增強、自適應錨框計算和自適應圖片縮放等基本圖像處理任務。骨干網絡層作為主干網絡，增加了Focus結構和CSP結構，主要是通過深度卷積操作提取輸入圖像不同層次特征，其中Focus結構主要是對輸入端的圖像進行壓縮、整合得到圖像特征圖，Bottle net CSP結構通過減輕網絡模型參數量，來提高模型精度和速度。Neck層使用特征圖金字塔網絡（FPN）及路徑聚合結構（PAN），進一步加強Backbone層提取的不同層次圖像特征的特征融合，提升目標檢測性能。Prediction層做預測，利用加權NMS對多目標框進行篩選，獲得最優目標框，主要預測不同層次特征圖的不同尺寸目標[11]。

3 CBAM模塊與YOLOv5融合

注意力學習機制在深度學習領域已成為重要的實用工具，原理上可提升模型的性能，并在細粒度分類和目標檢測方面效果顯著，可以在有限的資源環境下，從無關背景下篩選出重要的目標區域[12]。注意力機制是對特征圖進行注意力重構，突出特征圖中的重要信息，抑制一般信息，其中主要包括通道注意力、空間注意力、混合注意力、自注意力和類別注意力等。

混合注意力機制CBAM是在原有的通道注意力（CAM）的基礎上，銜接了一個空間注意力（SAM）模塊的綜合特征注意力方法，使得檢測性能在通道維度和空間維度得到提升。CBAM作為一個輕量型的通用模型模塊，可集成到任何CNN框架上，計算量可忽略不計，其結構圖如圖2所示[13]。

圖2 CBAM結構圖

對于輸入的三維特征F∈RC×H×W，通過將通道注意力和空間注意力級聯使用，對輸入的特征圖進行平均池化和最大池化操作壓縮，得到平均池化特征Fsavgfavg和最大池化特征Fcavgfmax，減少單一池化操作對特征信息的影響，再將兩個特征傳送到由多層感知器和隱含層共同構成的共享網絡，生成通道注意力特征Mc(F)∈RC×1×1，利用特征間的空間關系，生成空間注意力模塊所需的特征。與通道注意力不同，空間注意力通過通道上的平均和最大池化操作，生成平均池化特征Fsavgfavg∈R1×H×W和最大池化特征Fcavgfmax∈R1×H×W，將兩個特征拼接串聯。通過7×7卷積操作行降維和使用Sigmoid函數進行歸一化，生成空間注意力特征Ms(F)∈RC×1×1，將空間注意力所需模塊與空間注意力特征做乘法，便可得到最終特征圖。

YOLOv5采用卷積和池化對圖像特征進行提取，在模型的快速部署上具有很強的優勢。但是隨著不斷加深加寬網絡，性能雖有提升但檢測速度卻急劇增加。為進一步提升網絡性能，解決YOLOv5對地鐵車廂乘客目標檢測精度低、檢測正確性差的問題，將計算量較小的CBAM模塊進行網絡結構融合，模型命名為YOLOv5-C，在通道和空間維度方面加以改良，提高網絡對檢測目標的提取能力，提高檢測性能。YOLOv5-C主干網絡模塊結構如圖3。

圖3 YOLOv5-C主干網絡模塊結構圖

融合后網絡結構對輸入的三維特征圖進行通道注意力和空間注意力的池化、卷積降維、Sigmoid函數歸一化處理等操作，獲得新的空間特征。經處理后特征圖中的重要信息更加突出，一般信息得到抑制，目標特征信息得到更好的全局把握。

4 實驗與分析

4.1 實驗準備

實驗研究的是空間狹小、密閉和環境更為復雜的地鐵車廂內乘客的目標檢測。車廂內攝像機實際是按照俯視角度進行車廂內乘客拍攝，因此進行目標檢測時只考慮乘客的頭部即可。通過比較和進行大量的測試最終選擇了部分數據集進行YOLOv5網絡模型訓練，各選中數據集的描述見表1。數據集的標注格式遵循PascalVOC標準。

表1 實驗選用數據集描述

為更好比較數據集的檢測效果，將實驗目標檢測網絡模型輸入均調整為640×640像素大小，超參數也設置成相同數值。實驗在谷歌云服務器下進行，其中深度學習框架為Pytorch；使用型號Tesla K80 GPU進行運算；顯卡CUDA版本為10.1。實驗設計的YOLOv5網絡模型超參數如表2所示。

表2 YOLOv5網絡模型超參數設置

4.2 實驗結果及對比分析

4.2.1 YOLOv5模型訓練

按照模型設計和實驗平臺設置進行YOLOv5模型訓練，并利用目標檢測的評價指標精準率（Precision）、召回率（Recall）、類平均精度（mAP）和GIOU_Loss損失函數等進行模型性能評估，得到的實驗結果曲線如圖4所示。

圖4 實驗數據集訓練性能評估結果

圖 中，exp1、exp2、exp3、exp4對 應 數 據 集Ⅰ；exp5對應數據集Ⅱ；exp6對應數據集Ⅲ；exp7、exp8、exp9、exp10對應數據集Ⅳ。

實驗配置環境數據集的訓練及驗證得出的最優結果整理為表3。可以看到，Metro數據集中，數據集Ⅰ的類平均精度、精準率和召回率的數值接近于80%，損失函數數值在1.4%～2.1%之間；數據集Ⅳ的幾項指標數值則在90%以上，損失函數數值在1.1%～1.9%之間。SCUT-HEAD數據集中，數據集Ⅱ和Ⅲ類平均精度、精準率和召回率的數值也均在90%以上；其中數據集Ⅲ類平均精度和精準率數值接近于100%，損失函數的數值在3.2%以上。由此，通過數據性能指標數值可以看出，YOLOv5網絡模型對于頭部特征數據集的檢測效果是理想的。

表3 YOLOv5四種模型訓練結果對比單位：%

4.2.2 實驗測試

將地鐵車廂內測試視頻的數據輸入到訓練模型中進行實驗，視頻分為視頻1和視頻2，分別得到測試結果如圖5、圖6所示。

圖5 各數據集在視頻1模型測試結果

圖6 各數據集在視頻2模型測試結果

目標框上的數值代表類別標簽的置信度。實驗通過模型正確檢測該幀視頻人數占該幀視頻總人數比例得到模型的檢測效果。對地鐵車廂內測試視頻進行人工統計總人數，并將YOLOv5的四個模型分別進行性能檢測，詳細對比結果如表4所示。

表4 YOLOv5網絡模型性能比較

可見，SCUT-HEAD數據集中數據集Ⅱ、Ⅲ的測試正確檢測率分別為16.7%，20.4%，正確率較低；數據集Ⅱ、Ⅲ訓練的模型無法準確檢測該幀視頻中人數，因此不適合對于特定車廂內的乘客頭部特征檢測。從模型的測試性能結果看，數據集Ⅳ中YOLOv5m模型的正確檢測率最優，分別達到83.3%和80%，比數據集Ⅰ中YOLOv5m模型的正確檢測率分別高12.5%和3.3%，可清晰顯示該幀視頻下數據集Ⅳ比數據集Ⅰ檢測更多目標。比較表3中訓練模型各性能數值，也可看到數據集Ⅳ的各項指標數值都優于數據集Ⅰ。綜合訓練模型性能指標和測試正確率情況，選擇自制的Metro數據集（Ⅳ）訓練的YOLOv5m模型作為地鐵車廂乘客實時檢測器。

4.2.3 YOLOv5m-C模型實驗結果分析

針對特定環境的地鐵車廂乘客目標實時檢測，Metro數據集訓練的YOLOv5m模型在正確檢測率方面優于其他模型，因此在該模型上融合CBAM注意力機制進行改進，模型命名為YOLOv5m-C，對特征圖重構，突出重要的乘客頭部特征，抑制一般特征信息，進一步提升目標檢測的效果。使用Metro數據集進行YOLOv5m-C模型訓練，并將訓練的模型進行視頻測試，實驗中網絡模型超參數按上述表2設置，得到實際測試效果如圖7，與其他文獻數據的詳細對比如表5所示。

圖7 實際測試前后效果對比

表5 算法性能比較

從表中數據可見，YOLOv5系列算法性能指標正確檢測率、平均精度和召回率都高于文獻中提到的其它算法。改進后的YOLOv5m-C在精準率和正確檢測率上都有明顯的提升，且精準率的指標達到92.3%，比原始網絡提升了5%；測試后的正確檢測率達到87%，比原方法提升了4.4%。

綜述所述，YOLOv5系列算法檢測性能指標更加全面，且性能普遍優于當前大多數算法，能夠很好地滿足實時性檢測需求。

5 結束語

注意力模塊CBAM與YOLOv5m模型主干網絡融合后，網絡特征提取能力得以提升，也改善了檢測器識別效果。針對地鐵車廂這種特定環境的目標檢測，本模型訓練精準率和測試正確檢測率均得到一定提升，每幀視頻預處理時間僅為0.5ms，推理時間為61.7ms，檢測性能與速度表現均優于當前大多數其他算法，能夠勝任地鐵車廂乘客的實時檢測工作。