基于改進YOLOv5 的工程著裝檢測算法

李敏芳

（昆明理工大學信息工程與自動化學院）

檢測建筑工地上作業人員是否按要求佩戴安全帽、穿反光衣，是保障作業人員安全的重要事項之一。 2000年，國家發布了《勞動防護用品配備標準》，2017年發布了《安全生產標準“十三五”發展規劃》，針對不同行業制定了防護安全標準。但這些強制標準不能保證作業人員落實安全著裝，因此很多作業現場就不得不以人工監督這種原始的方式加以督促。

隨著計算機視覺技術的發展，設計以目標檢測算法［1］為核心的智能監管系統，可以克服人工監督效率低下和成本過高的問題。 目標檢測技術是指在獲得圖片時自動檢測圖片上物體的位置和類別，可分為3個步驟：首先，對需要檢測的區域進行定位；然后提取目標特征；最后將特征傳給算法分類器，例如Adaboost［2］、支持向量機［3］及隨機森林［4］等，對目標類別進行判斷。 2012年之前，主要是利用傳統目標檢測方法進行這類實驗和應用；之后，目標檢測引入了深度學習的思想來優化傳統算法，但是當前針對工程安全著裝的算法基本都是在網絡結構復雜的二階算法模型上實現的， 即以犧牲一定的檢測速度來提高精確度， 而且并未就圖像中的小目標物體進行處理，導致一定的漏檢和誤檢。 傳統目標檢測方法存在計算效率低下和準確率低的問題。

隨著卷積神經網絡的不斷發展，目標檢測技術在圖片提取特征方面有了明顯提高。 很多學者在神經網絡的基礎上提出諸如R-CNN、Fast RCNN、Faster R-CNN［5］等優秀的目標檢測方法。 在工程安全方面，2017年中南大學的畢林采用深度卷積神經網絡（CNN）在Caffe框架下對礦山環境中工人安全帽的佩戴情況進行檢測， 在500輪訓練后取得了約79%的檢測精度；文獻［6］用目標檢測算法Faster R-CNN對安全帽佩戴情況進行檢測，取得了約84%的平均精度，但網絡深度大的二階算法會導致訓練速度較慢，在工程安全對于時效性非常看重的情況下，就把目光轉向了基于回歸的一階算法 （如SDD、YOLO系列等） 模型。YOLOv1［7］是YOLO系列的第1個版本，把目標檢測問題轉換成了回歸問題，也就是讓它直接回歸到物 體 的 類 別 概 率 和 位 置 坐 標 值。 YOLOv2［8］在YOLOv1 的基礎上引入了Anchor 機制和Batch Normalization，并且使用Darknet-19替代原來的網絡 結 構。 2018 年，Redmon 提 出 了YOLOv3，用Darknet-53替代了Darknet-19， 由此YOLOv3可以實現多尺度檢測，并且利用邏輯回歸方法替代了YOLOv2的Softmax來實現分類。 2019年，施輝采用圖像金字塔（Image Pyramid），通過提取多種尺度的特征圖，結合YOLOv3進行安全帽佩戴的檢測。YOLOv4［9］保留了YOLOv3的頭部部分，將主干網絡換成了CSPDarknet-53 （Darknet-53和CSPNet的結合體），并且使用空間金字塔池化（SPP）［10］增加感受野，在YOLOv3的FPN［11］的基礎上對PAN［12］使用張量連接， 以此為頸部作為參數聚合的方法。2020 年6 月10 日YOLOv5 發 布，YOLOv5 模 型 比YOLOv4小近90%，但在整體計算速度上提高了很多， 同時檢測精確度卻沒有YOLOv4 的高，YOLOv5由輸入端、主干網絡、頸部和檢測端4部分組成。 YOLOv5的主干網絡主要由Focus結構和CSP結構組成，Focus結構是在YOLOv5中新增加的一個操作，重點是切片。 頸部位于主干網絡和預測之間， 使用FPN-PAN結構、CSP2結構和PAN來聚合特征，增加特征的融合能力。

工程安全著裝檢測面臨的挑戰［13］主要是：安全帽這類小目標在圖片中占比過小， 特征不明顯； 卷積神經網絡的多次下采樣導致安全帽等小目標特征丟失問題。 在針對目標檢測的小目標識別上，可以簡略地考慮分為Anchor-based的改進以及Anchor-free的改進。 YOLOv5是一個Anchor-based模型，并且YOLOv5含有多層卷積神經網絡， 因此就YOLOv5 的模型特征考慮：在Anchor機制上進行優化； 在整個網絡結構上優化。 筆者先利用遺傳算法對Anchor機制優化錨框，克服自適應Anchor機制過于依賴初始聚類中心的問題； 然后在網絡結構里嵌入輕量級的注意力機制模塊ECAnet［14］，以提高整體模型提取重要信息特征的能力以及對安全帽等小目標的檢測能力。

1 模型改進策略

Anchor機制能夠產生大量密集錨框， 可以通過設計更符合安全帽等小目標、尺度和長寬比不同的錨框來覆蓋盡可能多的有效感受野，在此基礎上， 網絡可以進行目標分類和預測框坐標回歸， 并且密集錨框對網絡的召回能力有一定提高，這對目標識別有很大的優勢。

YOLOv5原來使用自適應錨框計算， 模型受初始設定的影響， 不一定適用于現在的數據集，因此引入遺傳算法優化錨框。 YOLOv5是一個提取多尺度特征圖的模型，會提取出不同深度的特征圖。 對于不同深度的特征圖，深層特征具有更多的語義信息和抽象信息，淺層特征保留了更多的空間信息。 因此，深層特征圖缺乏目標的細粒度信息， 而淺層特征圖會有語義信息不足的問題。 筆者引入ECAnet模塊來高效融合不同層次的特征信息， 不僅增加淺層特征圖的語義信息，也增加了深層特征圖的細顆粒信息，也即總體增強了安全帽等小目標細節特征的同時保留了它們的邊緣信息， 提高了整體網絡的特征提取能力。改進后的YOLOv5結構如圖1所示。

圖1 改進后的YOLOv5模型結構

1.1 基于遺傳算法對自適應錨框的優化

Anchor機制最初是在Faster R-CNN 中提出的，目標是處理圖像尺寸和長寬比的大規模變化問題，規劃規范的預測框型號以減少冗雜的計算量。

YOLOv5模型中是自適應錨框算法， 加入遺傳算法進行優化，利用預設錨框對預測框計算寬長比， 取寬長比最小值和9個錨框中最大的比例值， 原本的k-means算法是利用歐式距離作為度量， 本研究采用交并比（Intersection over Union，IoU）替代歐式距離計算聚類。 遺傳算法的流程如圖2所示，將最大可能召回率（best possible recall）作為指標， 首先利用默認的錨框計算出寬高，并對比真實框的寬高差距計算交并比，利用k-means算法不斷更新錨框大小， 最終得到最佳的9個錨框值；然后計算最大可能召回率，如果最大可能召回率大于0.98就直接輸出， 如果小于0.98則進入遺傳算法。

圖2 遺傳算法流程

遺傳算法主要是對參數的編碼進行操作，不影響參數本身，從族群出發，不是只關注在特定點上，因此可以防止過程收斂在局部最優，它的規則是由概率決定，而非一個確定的答案。 本研究選擇遺傳算法的過程只經過了選擇和變異的過程。 具體操作過程：首先對根據聚類選出來的n個點進行隨機突變，利用適應度函數（mAP@.5和mAP@.5：.95的比例為1∶9） 選出突變后最佳的錨框值，計算最大可能召回率，如果大于0.98則直接輸出，如果小于0.98就進入下一次迭代。

1.2 基于注意力機制優化網絡結構

為了讓模型獲得關于需要注意的目標的更詳細的信息，并抑制來自不同通道的其他無用信息，考慮利用注意力機制。 在之前的注意力機制的研究中，大多現有方法都致力于開發更復雜的注意力模塊，以獲得更好的性能，這不可避免地增加了模型的復雜性。 為了能夠保留YOLOv5輕量級的優勢，本研究引入一個高效信道注意ECA模塊（ECAnet），該模塊只涉及少量參數，同時帶來明顯的性能增益。

ECAnet是 在SEnet［15］的 基礎 上 進行 優 化 后 的版本。 SEnet是注意力機制的經典算法，在給定輸入特征之后，SEnet為每個通道采用全局平均池化（GAP），之后利用非線性的全連接層（FC）和Sigmoid函數來獲取通道的權重。 其中，全連接層是為了獲得非線性的跨通道交互，與降維和控制復雜度有關。 研究發現，降維會對預測帶來負面影響， 并且對通道間的關系也沒有較明顯的作用，因此不同于SEnet，ECAnet去掉了SEnet中使用的兩個為了獲取跨通道權值、降維的FC層。如圖3所示，ECAnet在不降低維度的情況下進行了全局平均池化， 利用當前通道和它的k個相鄰通道來進行本地跨通道交互。 具體操作：特征圖輸入在進入全局平均池化的聚合特性后，ECAnet用一維卷積替代SEnet中的FC層快速生成通道權值，其中k為卷積核大小，作為參數進行通道間的交互。

圖3 ECAnet模塊結構

ECAnet使用一個矩陣Wk來學習通道注意力，Wk的計算式為：

可以看出Wk涉及k×c個參數。

權值ωi的計算式為：

其中，yi的權值只考慮yi和它的k個鄰居通道直接的交互；σ為Sigmoid函數；Ω為y的集合。

假設所有通道共享相同的學習參數，那么就簡化了式（2），得到：

上述過程可以簡略地利用一個大小為k的卷積核一維卷積實現：

其中，C1D是一維卷積。

式（4）由ECAnet調用，它只涉及k個參數。k值可通過通道維度量C的函數自適應地確定， 計算式為：

其中，｜·｜odd指選擇最近的奇數；γ的值取2，b取1。

卷積神經網絡對小目標特征提取過程中的特征不斷降維縮小會導致小目標的信息損失，選擇在卷積網絡這邊嵌入ECAnet以增強小目標信息，通過網絡結構“Conv+BN+ECAnet+LeakyRe-LU”在網絡學習中捕獲不同通道的權重參數，更多地保留小目標的細節信息，強化重要信息并抑制非重要信息。 具體結構如圖4所示。

圖4 ECAnet嵌入位置

2 實驗與分析

2.1 實驗

2.1.1 數據集

本研究涉及的數據集包括：coco2017公開數據集和私有數據集。 其中包括了不同人體朝向（正面、背面、側面、上半身）在不同場景（室內、室外）及不同密度（單人、多人）等情況，并劃分出3 004張訓練集和400張驗證集。

2.1.2 環境配置

Windows 10操作系統，Pytorch框架Python語言完成模型的訓練。 測試設備CPU型號11th Gen Intel（R）Core（TM）i5-11400@2.60 GHz，GPU 型 號NVIDIA GeForce RTX 3060，內存16 G，軟件環境CUDA 11.4，CUDNN 7.6，Python3.8。

2.1.3 性能指標

精確率P是計算預測正確的比率，召回率R是正確找到目標的比率。

本研究引入精確率和召回率作為衡量是否準確找到目標物體的基礎，計算式為：

其中，TP指將正樣本預測為正，FP指將負樣本預測為正，FN指將負樣本預測為負。

平均精確度AP（AveragePrecision）的計算式為：

AP是由R作為橫坐標和P作為縱坐標的積分，即PR曲線下方的面積，它的取值范圍在0～1。

mAP（mean Average Precision）表示每個類AP的平均值，用作多類標簽預測的指標，計算式為：

其中，QR指的是分類的數量。

IoU的計算如圖5所示，可以看出IoU是預測框與真實框之間的交集與并集的一個比值，這個值的大小可以反映檢測效果。

圖5 IoU計算示意圖

mAP@.5的含義是當IoU為0.5時的mAP值；mAP@.5：.95指的是在不同IoU （從0.50到0.95，步長0.05）上mAP的平均值。

2.2 實驗步驟

本研究首先將數據集轉換成YOLOv5可以處理的格式。

為了設計出更優化的YOLOv5模型， 筆者對YOLOv5 構建的不同深度和寬度的模型（YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x）進行了實驗和對比。 通過實驗選擇出最適合的基準模型，然后針對基準模型進行優化和改進。

本研究在YOLOv5常用的4種模型上的超參初始設置：迭代次數1 000代；初始學習率0.01；余弦退火值0.2；動量（momentum）0.937；batchsize為4。

為了讓模型提前熟悉一下數據集，如果使用較大的學習率會導致整個模型振蕩， 選擇warmup預熱會比較快地使模型穩定，因此這里設置的是3代小學習率warm-up訓練。

2.2.1 4種模型對比實驗

圖6是目標物體的位置和大小分布。 從圖6a中可以看出目標物體的分布比較均勻， 說明所選數據集在目標物體的位置信息上具有泛化性。 圖6b是目標物在整個圖像中所占寬高比， 可以看出數據集中的目標物體在圖像上的占比大部分偏小。

圖6 目標物體的位置和大小分布

小目標的定義即指圖片上占比過小或像素點稀疏的目標物，因此此數據集屬于小目標檢測范疇。

當一個模型擁有越復雜的網絡結構，可能會獲得更高的檢測精確度， 但其相對參數也越多，訓練所需時間也越長。 模型如果過于復雜，未必能在小目標樣本上得到最優結果，而且復雜模型的權重相對較高，計算量也更大。

筆者先針對YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x對本數據集進行訓練。 不同模型的各項指標見表1， 其中深度指網絡的深度也就是通道的系數， 在后面計算時需將通道數乘以該系數；寬度是指網絡的寬度， 也就是BottleneckCSP模塊的層縮放系數，需將每一層的卷積核數量乘以該系數。 隨著模型復雜度加深，模型參數也越來越多，GFLOPS（每秒千兆浮點運算次數）也越高，對于GPU的內存需求也就越大。

表1 4種模型指標參數

4種模型訓練過程的對比如圖7所示，可以看出，模型的性能表現跟其結構的復雜程度是成正比的，損失值越小，說明錯漏檢測的情況越少，在理想狀態下，希望這個值越接近0越好。由圖7a可以看出， 模型損失隨著訓練的進行逐漸下降，在訓練了500代后基本穩定接近10%， 最終達到10%以下。 由圖7b可以看出，mAP@.5的值在訓練了200代之后逐漸穩定，最終接近90%。還可以看出，4個模型的最終精確度非常接近。在實際應用過程中，除了要考慮模型效果，還應該考慮硬件是否比較容易達到， 這樣才能推廣并降低成本。YOLOv5x模型對于CPU內存的需求將近YOLOv5s的3倍多，可見，模型越復雜，對計算機的性能要求也越高。

圖7 4種模型訓練過程對比

將4個模型在測試集上得到的數據和訓練集上訓練的數據結合，得到表2（表中“檢測速度”指檢測一次所花費的時間），可以看出，模型越復雜，能夠獲得的精確度也越高， 但是付出的時間代價也越大。 在精確度相差不大的情況下，YOLOv5x所需的檢測時間是YOLOv5s的3倍多，YOLOv5x所花費的檢測時間以及訓練時長都遠多于YOLOv5s。在實際生產過程中， 目標檢測對于實時性要求很高，越快速地檢測出目標物體越好。 因此，在精確度相差不大的情況下， 選擇YOLOv5s作為工程應用的最佳檢測模型比較符合實際。

表2 4種模型在測試集上的性能對比

2.2.2 改進后的模型和YOLOv5s模型的對比實驗

圖8是優化前、 后模型的訓練過程對比，“YOLOv5s+ECA” 為YOLOv5s 經 由 遺 傳 算 法 和ECAnet優化后的模型。 由圖8a可以看出，總的損失在前100代左右是急速下降的， 之后擬合狀態良好，逐漸趨于緩和，優化后的模型在總的損失值上的表現比基準模型更加優秀，更接近于0。 由圖8b可以看出，平均精確度隨著訓練迭代次數的加大而增加， 在100代左右就達到了比較好的擬合狀態，后面逐漸趨于穩定，平均精確度在訓練到200代時已經能夠達到比較高的精確率， 接近90.00%。

圖8 改進后的模型和YOLOv5s模型的對比

在對比了訓練模型之后，為了驗證優化模型的效果是否到達預期，將優化后的模型和基準模型在測試集上進行實驗，結果見表3，可以看出，改進后的模型在原來的基礎上召回率提高了3.82%，mAP@.5提高了0.73%，mAP@.5：.95提高了1.00%。 也就是說在檢測速度差不多的情況下，引入ECAnet和遺傳算法提高了整體檢測精度。

表3 改進后模型與YOLOv5s模型在測試集上的性能對比

圖9為改進后的模型和基準模型的檢測效果對比， 可以明顯看出優化后的模型相較于原模型在精確度上有一定的提高。 YOLOv5s模型能夠準確地檢測出大尺度目標， 但是在檢測被遮擋的小尺度目標時出現了錯漏； 改進后的模型對小尺度目標的檢測效果更好，錯漏情況更少。證明改進模型在復雜場景下，相較于YOLOv5s模型，對于小尺度目標具有更高的檢測精度、定位精度和魯棒性。

圖9 改進前、后模型的檢測效果對比

3 結束語

為了適應小尺度目標的特征， 對YOLOv5s的Anchor機制利用IoU替代歐式距離作為k-means算法的度量，然后進行遺傳算法的流程優化，增強模型的收斂效果。 為了削減卷積神經網路在特征提取過程中對安全帽等小目標特征的丟失現象，筆者在骨干網絡中嵌入ECAnet，利用ECAnet對不同通道進行加權以更好地專注在重要通道上的特點，可以提高整個模型的特征提取能力，減少整個模型的計算量。與原YOLOv5s模型相比，優化后的模型召回率增加了3.82%，mAP@.5增加了0.73%，mAP@.5：.95增加了1.00%。 相關實驗也證明改進模型在各種常見建筑作業下，對于不同姿勢和服裝顏色都能夠做出準確的識別，證實了模型的普適性和魯棒性。

在接下來的研究工作中，會繼續針對小目標特征進行模型改進， 并在不同數據集上進行實驗，以期得到性能更好、應用更廣泛的模型。