改進YOLOv5 的礦用輸送帶損傷檢測方法

張 舒 葉 濤 陳 云

武漢理工大學機電工程學院 武漢 430070

0 引言

帶式輸送機在礦山運輸系統(tǒng)中起著重要的作用，大量運用于散料轉載系統(tǒng)[1]，其具有運量大、速度高、可持續(xù)運輸?shù)忍攸c[2]。然而輸送帶的擊穿、表面劃傷、破損等損傷導致輸送帶撕裂，帶來斷帶風險，制約著煤炭生產的效率，其嚴重后果直接影響著安全生產，甚至威脅著井下工人的人身安全[3]，故輸送帶的損傷檢測成為了亟待解決的問題。

目前國內外對輸送帶撕裂的檢測方法較多，主要可分為人工檢測和自動檢測。人工檢測方法屬于靜態(tài)檢測方法，受個人經驗的影響較大，且因輸送帶距離長，導致人工檢測工作量大，無法實現(xiàn)智能化發(fā)展。自動化檢測方法種類繁多，近年來基于機器視覺的輸送帶損傷檢測方法使用更為廣泛[4-6]。周宇杰等[7]改進了PANet 的部分路徑融合網絡，增加與淺層特征層的融合，提高了模型對特征提取的能力，提高了檢測準確度；生鵬飛[8]提出基于區(qū)域卷積神經網絡對特征提取模塊和特征融合方式進行改進，改進輕量化區(qū)域卷積神經網絡，實現(xiàn)了快速識別破損目標并提高了微小破損的學習能力；李飛[9]在YOLOv4 算法中嵌入混合域注意力機制ECSNet 的Mobilenetv3，構建輕量化集成網絡模型，定制化搭建FPGA 硬件加速結構，開發(fā)了輸送帶縱向撕裂智能監(jiān)測系統(tǒng)；Li X G 等[10]提出了一種基于激光的在線機器視覺檢測方法，利用可見光CMOS 相機捕捉傳送帶圖像，然后進行分析判斷傳送帶表面是否有裂縫；Zhang Y Z等[11]基于深度學習網絡結構改進注意力機制，并將其引入圖像空間特征提取模型中，以解決輸送帶監(jiān)控視頻中背景復雜的問題，同時設計了一種利用時間卷積網絡（TCN）提取連續(xù)多幀視頻圖像的方法，提升了輸送帶損傷識別率。

在實際使用中，輸送帶的損傷是輸送帶失效結果之一，輸送帶的損傷檢測可以有效減少因輸送帶損傷導致的重大事故。因此，本文提出一種改進YOLOv5 的礦用輸送帶損傷檢測方法，通過YOLOv5 目標檢測網絡對輸送帶損傷類型進行檢測。

1 YOLOv5 算法

YOLOv5 由Input 輸入層、Backbone 骨干層、Neck 頸部層和Prediction 預測層4 部分組成，其相較于YOLOv4 改動不大，最主要的區(qū)別在于Anchor 的處理機制，其是讓YOLOv5 快速收斂的核心。相比于YOLOv4，YOLOv5 設計了2 種CSP 結構，分別用在了Backbone 和Neck 部分[12]，CSP 結構涉及到了Depth_Multiple 和Width_Multiple 2 個參數(shù)，這2 個參數(shù)用來調節(jié)Backbone，使其結構變動更加靈活，YOLOv5 網絡結構如圖1 所示。

圖 1 YOLOv5 網絡結構

2 改進的YOLOv5 算法

2.1 SPD-Conv 模塊添加與改進

SPD-Conv（Space-To-Depth）[13]由空間到深度（SPD）層和非Stride 卷積（Conv）層組成，可以適用于大多數(shù)的CNN 架構。SPD-Conv 模塊主要是解決卷積帶來的問題，將YOLOv5 算法中的Conv 模塊進行替換，具體替換是將YOLOv5 中Stride ＝2 的卷積替換成SPD-Conv 即可，共替換7 個模塊，在主干網絡中有5個Stride ＝2 卷積層，主要用于對特征圖進行下采樣，則直接替換；在Neck 部分使用了2 個Stride ＝2 的卷積層，并在每個跨步卷積之后連接一個連接層，替換時將其保持在SPD 和Conv 中間。

將YOLOv5 的跨步卷積層替換成SPD-Conv 后，在MS-COCO 數(shù)據(jù)集上進行實驗對比，結果如表1 所示。

表1 YOLOv5-SPD 與YOLOv5 實驗對比

從實驗結果可知，對跨步卷積進行替換后，YOLOv5-SPD 相對于YOLOv5 原始版本，在小目標檢測有所提升，提升效果可達到11.4%。結果表明對YOLOv5 進行SPD-Conv 改進效果良好，能更好地針對低分辨率和小目標檢測。

2.2 添加注意力機制CBAM 模塊

注意力機制模塊(Convocational Block Attention Modulses，CBAM) 由通道注意力(Channel Attention Module，CAM) 和空間注意力(Spartial Attention Module，SAM) 2 部分組成[14]。本文在注意力機制添加位置進行了2 處設計，第1 處在BottleNeck 的后面，標志著每個C3-n模塊都會對特征圖進行注意力機制計算，有利于特征圖在不同維度的注意力加權重，提升算法對目標特征的提取，如圖2 所示。

圖2 注意力機制位置示意（第1 處）

上述改進是對Backbone 與Neck 部分的特征圖進行加強，考慮到注意力機制模塊能在加強目標特征的同時抑制非主要目標特征，在高層語義中進行注意力操作，使目標特征信息更加準確化，所以設計出第2 處改進，在主干網絡特征提取完成后與預測輸出之前添加注意力機制模塊，結構如圖3 所示。

圖3 注意力機制位置示意（第2 處）

2.3 引入高斯濾波

本文將從2 個方面引入高斯濾波器，對YOLOv5算法在礦用輸送帶損傷檢測方面進行改進。礦用輸送帶工作環(huán)境在礦井下，工業(yè)攝像頭提取到的圖片存在干擾噪聲及圖片模糊昏暗等問題，高斯濾波器的引入目的是消除噪聲干擾，提升算法目標檢測效率。引入高斯濾波器后的網絡模型如圖4 所示。

針對上述問題，第1 處改進在骨干特征提取網絡之前，先將輸入的圖像經過一個高斯濾波器，進行原始圖像高頻噪聲的抑制，目的是為了減輕高頻噪聲在卷積中對特征提取的影響。為保證后續(xù)骨干網絡特征提取的有效性，經過高斯濾波器的原始圖像不能失真。因此，高斯濾波器的卷積核應較小，選擇尺寸大小為3×3；圖像不失真要求平滑程度較不明顯，標準方差設置為0.5。

第2 處改進在骨干特征網絡上采樣之后，上采樣后會將低層語義與高層語義融合，在此之前先將底層語義特征圖經過一個小程度的高斯濾波器，去噪平滑后再與高層語義特征在維度上進行融合拼接。

本文引入了2 種不同的高斯濾波器，主要區(qū)別在于標準方差不同。第1 種高斯濾波器連接在原始圖像之后，原始圖像高斯噪聲較明顯，需進行有效的抑制，故標準方差選擇略大。第3 種高斯濾波器連接在特征提取之后，此時留下的特征信息基本上都是有效信息，高斯噪聲較弱，則標準方差不宜選擇過大。

3 實驗過程與結果分析

3.1 系統(tǒng)軟硬件環(huán)境配置

為保證實驗的可靠性，本文實驗系統(tǒng)硬件與軟件配置均在相同的配置下進行。計算機配置為Intel(R)Core(TM) i7 10750H CPU @ 2.60 GHz，顯存16 GB；NVIDIA GeForce RTX 2060，顯存6G；操作系統(tǒng)為Windows 10 64 位操作系統(tǒng)；深度學習框架為 Pytorch1.7；編程語言為 Python3.8。

3.2 數(shù)據(jù)集制作與標注

將深度學習目標檢測技術應用到礦用輸送帶損傷檢測領域，目前在此方面的研究較少。因此，需要專業(yè)的礦用輸送帶損傷數(shù)據(jù)集為礦用輸送帶損傷目標檢測技術研究作數(shù)據(jù)支撐，具體制作流程為：

1）數(shù)據(jù)集圖片的標準化

用于本文實驗的數(shù)據(jù)集圖片來源于現(xiàn)場拍攝以及互聯(lián)網搜索，共收集圖片8 046 張，為便于管理數(shù)據(jù)集，對圖片以1 為起始編號遞增命名。

2）數(shù)據(jù)集圖片標注

數(shù)據(jù)集采用Pascal voc 格式，并使用LableImg 工具對礦用輸送帶損傷數(shù)據(jù)集進行標注，包括Surface Scratch、Breakdown、Damage、Tearing 4 種類型，其中SurfaceScratch 表示表面劃傷；Breakdown 表示擊穿；Damage 表示破損；Tearing 表示撕裂。標注界面如圖5所示。

圖5 輸送帶損傷標注

3）格式轉換

標注完成后，將生成圖像的信息（尺寸大小、目標的類型和位置信息），生成的圖像信息將被保存至xml 格式的文件。完成上述操作后，數(shù)據(jù)集屬于Pascal voc 格式類型，不滿足YOLOv5 算法要求格式，需對數(shù)據(jù)集進行格式轉換，將原有存放圖片信息的xml 文件轉換成txt 文件，txt 文件中存放圖片的5 類信息：目標類型的編號、目標中心點坐標（x，y），標注框寬與高（w，h）。

對數(shù)據(jù)集按照8:2 的比例劃分，80% 當作訓練集，20% 當作驗證集，本文共收集8 046 張礦用輸送帶損傷圖片，包含撕裂、擊穿、表面劃傷、破損4 種類別，其中訓練集包含6 436 張，驗證集1 610張。

4）圖片數(shù)據(jù)增強

在原始據(jù)集的基礎上，進一步增加模型訓練數(shù)據(jù)量，同時提高模型對小目標的檢測能力。在YOLOv5 礦用輸送帶損傷檢測模型訓練階段，采用在CutMix 算法基礎上進一步改進得到的Mosaic數(shù)據(jù)增強算法，對原始數(shù)據(jù)集進行數(shù)據(jù)增強。Mosaic 數(shù)據(jù)增強算法將4 張圖片，通過隨機縮放、隨機剪裁、隨機排布的方式拼接成一張圖片[15]，如圖6 所示。

圖6 Mosaic 數(shù)據(jù)增強

3.3 評估指標和改進的模型

改進后的網絡結構如圖7 所示。本文將其命名為YOLOv5-Improved，算法在原有算法的基礎上，根據(jù)礦用輸送帶損傷檢測的實際需求，進行了針對性的3 處改進。為了提高小目標檢測能力與改善礦下采集圖像分辨率低的問題提出了SPD-Conv 改進與CBAM 注意力機制改進；針對井下采集圖像噪聲干擾的問題，提出了高斯濾波改進。

3.4 實驗結果與分析

2 次實驗都進行300 輪迭代，2 次實驗的Loss 損失如圖8 所示，BaseLine 為原始的YOLOv5 算法，YOLOv5-Improved 為改進后的算法。從實驗結果可以得出，算法都在250 輪訓練后趨近穩(wěn)定，前50 輪訓練中，Loss 損失大致相同，之后改進后的YOLOv5-Improved相比于原始YOLOv5 損失值下降更快，更快趨近于穩(wěn)定，YOLOv5-Improved 訓練300 輪后，Loss 下降至0.002左右，比YOLOv5 算法收斂速度更快，效果更好。

圖8 Loss 曲線對比圖

根據(jù)實驗結果數(shù)據(jù)繪制各類型損傷的P-R 圖，如圖9 所示，P-R 曲線與橫縱坐標圍成的面積為各類型損傷檢測的平均精度，故得出YOLOv5-Improved 對本文劃分的損失類型表面劃傷、撕裂、破損、擊穿的檢測精度分別為93.7%、89.6%、88.1%、97.8%，如圖10 所示。

圖9 各損傷類型的P-R 曲線

圖10 各類型損傷預測精度

與原始YOLOv5 算法檢測結果對比如表2 所示，從實驗結果可以得出，針對撕裂損傷，YOLOv5-Improved在撕裂類型檢測精度達到了89.6%，提升了34.7%；擊穿類型檢測精度達到了97.8%，提升了7.8%；表面劃傷損傷類型檢測精度達到了93.7%，提升了16.1%；破損損傷類型檢測精度達到了88.1%，提升了150.3%，整體檢測精度提高了35.1%，達到了92.3%。

表2 YOLOv5-Improved 與YOLOv5 算法結果對比

4 結語

由于缺少科學有效的輸送帶在線監(jiān)測設備，使得輸送帶的質量管理困難，造成了很大的安全隱患和企業(yè)經濟損失。為此，本文為了解決輸送帶損傷檢測故障識別率低的問題，提出了YOLOv5-Improved 的改進算法，對輸送帶的撕裂、擊穿、表面劃傷、破損4 種損傷類型的檢測平均精度分別為89.6%、97.8%、93.7%、88.1%，平均精度均值達92.3%，相較于YOLOv5 算法，提高了35.1%，檢測速度達到90 幀/s，提高了20%。滿足了對輸送帶損傷的檢測要求，實現(xiàn)了對礦用輸送帶損傷的快速識別。