利用鐵塔視頻圖像和改進YOLOv5 的違規施工監測

余添添，吳 松，唐芝青，屈偉軍，肖德勛，李 琪

（1. 北京吉威數源信息技術有限公司，北京 100000；2. 湖南省第二測繪院，湖南 長沙 410000）

鐵塔視頻是一種近地、實時的對地監測手段，監測頻率高、監測粒度細，不易受陰雨天氣影響，可實現問題的“早發現、早制止”。以挖掘機、推土機、打樁機等建設施工設備為目標，基于深度學習目標檢測算法可及時發現疑似違規/違法施工行為，實現對自然資源高頻率、精粒度的監測[1]。鐵塔視頻數據具有體量大、價值密度低、背景繁多復雜等特點，需配以快速高效的算法模型實現數據的價值“提純”，因此研究出目標檢測速度快、準度高的網絡模型是實現鐵塔視頻違規施工監測的必要前提。YOLO 模型自2015年提取以來已歷經多次更新改造，其中YOLOv5 推理速度快、檢測精度高，是目前較為廣泛使用的目標檢測網絡，適用于實時視頻目標檢測[2-4]。

由于鐵塔攝像頭焦距縮放范圍大，挖掘機、推土機、打樁機等建設施工所用到的工程機械設備目標在實際視頻中呈現出極大的尺度差異，小目標居多，且背景復雜。而隨著網絡加深、感受野緩慢增長，容易被大目標主導，小目標提取的特征少，容易被忽略[5-6]，因此本文提出一種改進的YOLOv5s算法，提高小目標檢測率，以實現對違規/違法施工行為快速、準確的識別。

1 YOLOv5s算法

YOLOv5s 是YOLOv5 的輕量化版本，更適合基于視頻的目標實時檢測。YOLOv5s模型網絡結構由Input部分、Backbone 部分、Neck 部分和Head 部分組成[7]，如圖1所示。

圖1 YOLOv5s結構圖

1.1 Input部分

Input部分主要包含數據增強、自適應錨框、自適應圖片縮放等。增強方式包括縮放，色彩空間調整和Mosaic，其中Mosaic 增強是通過將4 張圖像進行隨機縮放、隨機裁剪、隨機分布方式進行拼接，可使小目標的檢測效果得到提升[8]。自適應錨框計算是指YOLOv5會自動按照新的數據集的labels自動學習anchors的尺寸，采用k 均值和遺傳學習算法對自定義數據集進行分析，獲得適合自定義數據集中對象邊界框預測的預設錨定框。自適應圖片縮放是指YOLOv5 通過計算圖片最適宜的尺寸，使缺邊補充范圍達到最小，很好地保留了圖片的特征[9]。

1.2 Backbone部分

Backbone 部分包括focus 結構和CSP 結構。其中Focus結構使用切片并concat的方式替換池化操作，完成下采樣的同時不損失特征。由于減少了卷積層，所以可以減少計算量，同時不損失精度[10]。

YOLOv5 也使用CSPDarknet 作為BackBone 主干網絡，其設計了2種CSP結構，CSP1_X應用于Backbone主干網絡，另一種CSP2_X 結構則應用于Neck 中。CSP 結構解決了其他大型卷積網絡結構中的重復梯度問題，減少模型參數和檢測速度，既保證了推理速度和準確率，又減小了模型尺寸[11]。在Backbone最后采用了SPPF 將不同感受也的特征圖融合，提高特征圖的表達能力，同時速度快于SPPNet[12]。

1.3 Neck部分

Neck部分YOLOv5采用了與YOLOv4一樣的FPN+PAN結構，不同點在于YOLOv4的Neck結構中采用的都是普通的卷積操作，而YOLOv5的Neck結構中采用CSP2_X結構，加強網絡特征融合的能力[13]。

1.4 Head部分

Head 部分算法采用GIOU_Loss 作為Bounding box的損失函數，GIOU_Loss 損失函數在重疊的目標檢測中效果較好，同時YOLOv5 算法合理利用freebie 和specials進行調優處理，平均精度和檢測速度都有一定的提升，可以獲得最優目標。

2 改進YOLOv5算法

2.1 Mosaic-9數據增強

一個成功的、可工程化應用的深度學習網絡大都需要基于大量的樣本數據訓練，而實際中樣本本身數量少，加之在海量視頻中尋找包含目標的數據難度大，訓練樣本十分缺乏，因此需要使用數據增強方法對樣本數據進行增廣擴充，最大程度上提高模型的泛化能力。

Mosaic 圖像增強是在現有樣本數據中隨機選擇4個圖像經過裁剪拼接形成新的樣本數據，可以豐富樣本多樣性，增強小目標檢測，降低模型對于多樣性學習的難度。由于本文選用了挖掘機、推土機、打樁機等目標，小目標多、類別不均衡，因此使用Mosaic-9進行數據增強，具體方法如圖2 所示，將隨機選取的9 個圖像進行隨機裁剪并拼接，形成新的樣本數據，其優勢在于進一步增加了數據量，同時增加了小目標數量，在歸一化處理時，會計算9 張圖片，不依賴處理參數，減輕了計算量。

圖2 Mosaic-9數據增強

2.2 優化特征提取

隨著網絡加深，網絡所提取的特征語音信息豐富，但位置精度會隨之降低，尤其是小目標，其影響更為顯著，因此文本在CSP1_1 部分增加一個輸出特征圖，接入NECK 部分。輸入數據大小為640×640時，此部分輸出的特征圖大小為160×160，每個特征對應的感受野為4×4，可更好地檢測到小目標，也可在特征融合過程中提供更多信息。

2.3 引入注意力機制

SKNet 是通過一種非線性的多核信息聚合方法實現神經元的自適應感受野大小的算法，是一個基于通道域注意力的輕量級嵌入式模塊。SKNet 模塊可以對特征通道進行重要性加權，使最終得到的特征圖更加關注對檢測識別等任務有用的特征通道，并且該模塊會自動選擇調整最優的卷積算子，因此在特征提取后嵌入SKNet，可對特征通道進行重要性加權，再送入目標檢測層，在理論上可以改善檢測識別的性能[14]。

如圖3所示，SKNet由Split、Fuse及Select部分組成。Split是對原特征圖經過不同大小的卷積核進行卷積得到?和，為了進一步提高效率，將5O5 核替換為3O3 核、步距為2 的膨脹卷積[15]。Fuse 部分基本思想是使用門來控制信息從攜帶不同信息尺度的多個分支流入下一層的神經元，使得神經元根據刺激信號自適應調整感受野大小。為了實現這個目的，需要整合來自所有分支信息， 將兩部分的特征求和?。Fgp為全局平均池化操作，Ffc為先降維再升維的2 層全連接層，輸出的2 個矩陣a和b，其中矩陣b為冗余矩陣，在如圖2 個分支的情況下b=1-a。Select是使用跨通道的軟注意自適應地選擇不同的信息空間尺度。按照信道的方向使用Softmax函數計算每個卷積核的權重。使用a和b兩個權重矩陣對?和進行加權操作，再進行相加得到輸出V[15-16]。經過以上3部分改造，得到改進的YOLOv5s網絡結構，如圖4所示。

圖3 SKNet網絡結構

圖4 改進yolov5s網絡結構圖

3 實 驗

3.1 實驗數據集

實驗所用訓練樣本數據為使用湖南省第二測繪院所建立的鐵塔檢測系統內1779個攝像頭的視頻幀數據，共計5628張圖片，標注后包含目標7873個，并按照7∶2∶1的比例劃分訓練集和測試集和驗證集。

3.2 實驗配置與精度評價

實驗采用的硬件設備為Intel Core i7-9700k@3.6 GHz，顯卡為NVIDIA GeoForce RTX 2080 Ti，顯存為11 G，配以CUDA10.0及對應的cudnn以提高計算效率。模型訓練批量大小為16，epoch為100，學習率為0.001，采用余弦退火策略降低學習率，衰減系數設置為0.0005。

目標檢測常用的評價指標包括平均精度AP、均值平均精度mAP、準確率（Precision，P）和召回率（Recall，R），表達式分別為式（1）、（2）、（3）、（4）。

式中，TP為被正確檢測的正樣本；FP為被錯誤檢測的正樣本；FN為被檢測為目標的負樣本；n為目標類別數，本文所檢測目標只有工程機械一類，因此AP=mAP。

3.3 實驗結果分析

為了驗證改進算法的有效性，本文對比了YOLOv5s 改進前后的檢測效果，改進后AP 值達到了79.63%，而YOLOv5s 的AP 值為74.59%，提升了6.8%。為了進一步證明改進算法的有效性，對比了使用YOLOv5s 改進前后算法的檢測結果，如圖5～6所示。其中左側為改進前算法檢測效果，右側為算法改進后檢測效果，改進前算法對于背景復雜、隱蔽的小目標、被遮擋的目標等存在漏檢情況，改進后的算法彌補了小目標提取效果不好這一缺點的同時，增加了算法的魯棒性和抗干擾能力。

圖5 背景復雜的隱蔽目標

圖6 目標被遮擋

為了更直觀地展示改進方法的優越性，本文進行了簡單的消融實驗，實驗結果如表1 所示。由表中數據可知，各組改進均可發揮一定提升作用，其中使用Mosaic-9數據增強后，AP提升了0.6%，驗證了Mosaic-9數據增強可提升模型目標檢測精度和模型的泛化能力；進一步在YOLOv5s中引入4倍下采樣，優化特征提取與融合部分后，AP提升了3.4%，提升較為顯著，尤其是小目標部分，優化較為明顯。在此基礎上，引入SKNet注意力模塊，AP 提升了6.7%，注意力模塊對無用信息進行抑制，使模型更加關注目標，進一步優化了模型。

表1 消融實驗結果

4 結論

選用挖掘機、推土機、打樁機等工程機械設備為目標，對違規/違法占用/破壞自然資源現象進行監測。針對目前監測算法中對小目標漏檢情況，提出一種改進的YOLOv5s算法。首先采用mosaic-9對數據增強方式進行了改進，增加小目標樣本數量，提高了小目標特征信息量；改進網絡結構，增加了一個檢測尺度，優化了特征提取與特征融合過程，提高了小目標的檢測精度。另外在主干網絡末尾處增加了注意力模塊，通過注意力機制，使模型更加關注感興趣區域，抑制無用信息和復雜背景的干擾，提高算法的檢測準確率。經實驗驗證，改進后的YOLOv5s算法在沒有增加過多的參數和體量的情況下，保證檢測效率不降低的同時，對工程機械目標的檢測精度有了一定的提高，可滿足工程化生產使用。今后可進一步擴充樣本數據集，并對模型的網絡結構做進一步的調整，以達到更優的檢測效果。