煤礦運輸皮帶故障檢測的機器學習方法

黨浚哲 陳立燁 崔子航 段琦鋒 陳思妍

摘? 要：為了能夠及時對煤礦運輸皮帶的故障進行檢測，文章研究一種用于煤礦運輸皮帶機故障檢測的機器學習方法。在對皮帶故障檢測圖像特點分析的基礎上，以基于ShuffleNet V2改進的YOLOv5網絡建立了煤礦運輸皮帶的故障檢測網絡。針對因工作環境導致的圖像質量問題，在網絡前部加入了圖像預處理模塊。同時，為了減小模型體積，提高檢測速度和效率，對加強特征提取模塊和多尺度特征融合模塊進行了改進。實驗結果表明，煤礦運輸皮帶故障檢測網絡的mAP值達到0.896，實現了較高的檢測精度；同時檢測速度可達32.2幀/秒，滿足工業現場對實時檢測的需求。

關鍵詞：生產安全；皮帶運輸機；目標檢測；計算機視覺

中圖分類號：TP391.4? 文獻標識碼：A? 文章編號：2096-4706（2023）17-0145-06

Machine Learning Method for Fault Detection of Coal Mine Transport Belt

DANG Junzhe， CHEN Liye， CUI Zihang， DUAN Qifeng， CHEN Siyan

（School of Mechanical Electronic & Information Engineering， China University of Mining and Technology-Beijing，

Beijing? 100083， China）

Abstract： In order to detect the fault of coal mine transport belt in time， this paper studies a machine learning method for fault detection of coal mine transport belt machine. Based on the analysis of the characteristics of belt fault detection images， the fault detection network of coal mine transport belt is established by using the improved YOLOv5 network based on ShuffleNet V2. Aiming at the problem of image quality caused by working environment， an image preprocessing module is added to the front of the network. At the same time， in order to reduce the model volume， improve the detection speed and efficiency， the enhanced feature extraction module and the multi-scale feature fusion module are improved. The experimental results show that the mAP value of the proposed fault detection network of coal mine transport belt is up to 0.896， which achieves high detection accuracy. At the same time， the detection speed can be up to 32.2 FPS， to meet the needs of industrial field real-time detection.

Keywords： production safety; belt conveyor; object detection; computer vision

0? 引? 言

皮帶運輸機是一種遠距離物料運輸設備，在煤礦生產中廣泛使用。受到日常檢修維護、工作環境以及皮帶耐久性等因素的影響，長時間、長距離地運行時可能會出現各種故障，如果解決不及時，將會發生事故，嚴重影響煤礦的生產安全，甚至會給企業造成巨大的損失。研究運輸皮帶故障檢測具有重要的實際意義。

對于運輸皮帶故障國內外學者提出了很多檢測方法，按照檢測方式可以劃分為接觸式檢測與非接觸式檢測。接觸式檢測較為常用的方法是物理機械式檢測法，檢測裝置包括棒形檢測器、壓力檢測器[1]等。非接觸式機器視覺檢測方法，譚恒提出了改進的Canny算法進行輸送帶的縱向撕裂和跑偏檢測[2]。張桂堂提出了改進的Otsu閾值分割算法和基于方向模板的中心二次提取算法，利用區域分割特征提取實現縱向撕裂的檢測[3]。武文澤提出了基于AlexNet和GoogLeNet的撕裂檢測算法[4]。崔敏提出改進的Sobel梯度算子，利用PCNN和MaskRCNN實現撕裂圖像特征提取和撕裂位置檢測，識別效果優于基于混合特征的SVM方法[5]。滕飛提出利用X射線和FCOS故障檢測算法，改進了CIoU損失函數增強小撕裂的檢測能力[6]。

本文研究一種基于深度神經網絡的皮帶磨損、撕裂檢測方法。

1? 皮帶故障檢測問題

皮帶機常見的故障主要包括撕裂、磨損、漏料、跑偏以及打滑等。就皮帶撕裂故障而言，目前常用的是機械式的檢測方法。機械式檢測方法容易誤報，另外，由于長期的接觸摩擦，使用壽命會受較大影響，可靠性較差。

非接觸式方法進行故障檢測，例如超聲波檢測、X射線檢測、電磁感應檢測。這類方法可以對皮帶內部結構進行實時檢測，通過對比正常運行與故障時內部結構的不同來判斷皮帶工作情況。非接觸式檢測裝置檢測精度高，但是使用壽命會有所減少，成本較高，未能普遍推廣應用。

采用計算機視覺技術進行檢測需要獲取運輸皮帶的圖像，煤礦生產環境粉塵多，照度不足，環境背景主要是煤，這樣造成的問題一是采集到的圖像普遍畫質較差，需進行圖像預處理；二是采集到的圖片同質化嚴重，易導致深度神經網絡模型訓練時過擬合，泛化能力減弱。另外，運輸皮帶檢測任務對實時性要求高，算法要有高的檢測速度。

YOLOv5網絡在檢測精度與速度上具有較好的平衡性。它完全去除了候選區域生成和隨后的特征再篩選的過程，在PASCAL VOC等公開數據集上的實驗證明SSD在保證準確性的同時，速度更快，適用于工業場景下的部署應用。

本文將以YOLOv5算法為基礎，建立運輸皮帶故障識別模型。

2? 運輸皮帶故障識別模型的建立

2.1? 基礎模型YOLOv5

YOLOv5網絡結構簡潔，優化了模型大小，減少了模型的參數量，運行速度更快，適合工業生產過程的實時檢測。它由三個部分組成，分別是Backbone、Neck（FPN+PAN）、Head三個部分。如圖1所示。

Backbone模塊主要包括三個部分，分別是卷積結構、CSP和SPP。其中卷積結構由三部分組成，分別是卷積層、BN層和激活函數。

Neck層主要包括FPN和PAN結構。PAN層則在FPN層的基礎上增加了從低維度向高維度傳遞語義信息的過程，能夠實現對大目標特征提取的同時兼顧對小目標特征的提取。

Head又叫Prediction層，Head層中利用率損失函數，能對前面網絡綜合提取出的特征進行推理和預測，實現對目標的定位操作。

本文將根據煤礦運輸皮帶檢測的需要，進行模塊的修改，在YOLOv5的基礎上建立運輸皮帶故障檢測模型。

2.2? 皮帶故障檢測模型

為了更好地適合皮帶故障檢測應用，本文提出了幾個修改，分別是圖像預處理模塊、主干特征提取模塊、加強特征提取模塊、多尺度特征融合模塊和預測輸出模塊，建立了一種深度神經網絡運輸皮帶故障檢測模型。

2.2.1? 圖像預處理模塊

煤礦皮帶運輸機的工作現場環境惡劣，環境照明度低，空氣中存在粉塵和水霧，使得圖像的質量降低，需要在算法的輸入端之前加上圖像預處理模塊，具體需要完成的包括低照度圖像增強和圖像去霧。

低照度增強模塊使用自適應直方圖均衡技術。本文的皮帶磨損和撕裂故障需要關注對圖像局部細節的增強處理，因此采用自適應直方圖均衡法，能夠對局部圖像的像素與灰度分布特征進行均衡化處理，對增強局部細節效果更好。

去霧處理本文使用DehazeNet算法，該算法能通過學習得到有霧圖像與透射圖之間的映射關系，進而生成透射率映射圖[7]，再利用大氣散射模型恢復出無霧圖像。

2.2.2? 主干特征提取模塊

雖然YOLOv5中使用的殘差結構可以通過堆疊多層來增強網絡的特征提取能力，但是層數增多也會增大計算量，使得建立的模型不能達到輕量化的要求。本文使用ShuffleNet V2網絡來實現圖像主要特征的提取。

ShuffleNet V2[8]是一種輕量化的網絡，具有計算量小、推理速度快等特點，同時也有很強的特征提取能力。本文選擇ShuffleNet V2作為backbone中的特征提取模塊，為了進一步減小計算量，本文對原有的ShuffleNet V2網絡進行了改進。主要是對原ShuffleNet V2的block中的channel shuffle操作進行了一些修改。原有的channel shuffle操作能夠對不同卷積分組的結果進行信息融合，從而保證得到的特征圖中的信息更加豐富。但是對于本文的皮帶檢測任務來說需要這些不同通道中的不同的信息，為此，在Stride為2的block的右側分支借鑒Picodet[9]和MobileNet V3中的處理方法，使用深度可分離卷積來替代channel shuffle的操作，實現不同通道的特征整合，同時在dw卷積后添加SE通道注意力模塊，增強通道之間信息整合能力。在Stride為1的block右側分支借鑒了GhostNet中的Ghost block方法來減少計算量，而左側捷徑分支與右側的輸出拼接后再接入SE注意力模塊。改進后的Enhanced ShuffleNet網絡結構如圖2所示。

2.2.3? 加強特征提取模塊

使用SPP模塊來實現特征的進一步提取時需要計算三種不同的最大池化，從而增大了計算量。為了進一步提高檢測速度，本文使用SPPF模塊代替原有的SPP模塊。SPPF模塊不需要進行分組卷積，也不需要進行不同尺度的池化。僅僅使用單一尺度的最大池化，并通過對不同深度的池化層的拼接處理實現對多尺度特征的信息融合。具體網絡結構如圖3所示。

實驗表明，改進的SPPF模塊相比于SPP模塊運算速度快，更適用于本文的應用場景。

2.2.4? 多尺度特征融合模塊

YOLOv5網絡使用PAN模塊來實現對不同尺度特征的融合。PAN模塊雖然能融合多尺度的特征，但是在計算中跨越了大量卷積層，計算量很大。為了降低計算成本、提高模型的檢測速度，本文用CSPPAN模塊代替PAN模塊來完成對不同尺度特征圖的獲取。在PAN模塊的基礎上引入了CSP網絡和深度可分離卷積，利用深度可分離卷積可以調整特征圖的channel數，同時利用CSP網絡進行特征融合，從而減少了計算成本。

圖4中P6輸出中提取了尺度比較小的特征，利用此模塊更有利于對小尺度目標的檢測，從而提高皮帶故障檢測網絡的小目標檢測能力。

2.2.5? 預測輸出模塊

預測輸出模塊就是對最終提取出來的特征進行解碼，對相應的目標進行預測。預測輸出模塊分為三個部分，分別是分類模塊、回歸模塊和置信度模塊。

分類模塊對特征圖進行逐點分類，從特征圖中獲取每個位置所屬類別信息。本文算法識別的故障為皮帶磨損和撕裂兩類故障，所以分類模塊輸出的特征圖形狀為W×H×2。

回歸模塊對分類模塊輸出的特征圖進行解碼，計算出故障的大小和位置。利用故障中心點坐標偏移量tx、ty和故障長寬比率tw、th這四個參數可以計算出故障位置信息偏移量bx、by、bw、bh。回歸模塊的示意圖如圖5所示。

置信度模塊有利于網絡更快地收斂，本文在預測輸出模塊中最后引入置信度模塊，可以增強網絡對預測結果的判別區分能力。本文檢測的皮帶磨損和撕裂具有高度的相似性，因此加入此模塊能夠更好地區分這兩類故障，增強網絡的檢測能力。

3? 數據集和模型實驗

3.1? 數據集的建立

本文采集某選煤廠的圖像數據建立了皮帶故障樣本庫。共采集了2 500張磨損、撕裂圖片。其中撕裂圖像1 550張，磨損圖像1 250張，這里重復計算了同時包含兩種故障的圖像計300張。樣本庫由兩個部分組成，一個是原始故障圖片，另一個是儲存在json文件中的標注。本文采用MSCOCO標注格式。磨損撕裂兩種故障如圖6所示。

3.2? 訓練相關措施

本文使用的訓練平臺的硬件配置如下：CPU為Intel Corei 7-9900KF，內存為32 GB，GPU為兩塊GeForce RTX 2080 Ti。軟件及版本為：操作系統Ubuntu 20.04 LTS，Conda 5.3.1，PyTorch 1.10.2，Python 3.8。

本文在對模型進行訓練時使用了Mosaic數據增強技術。Mosaic數據增強結果如圖7所示。

皮帶故障檢測數據集中兩種故障的樣本數量不均衡，本文使用過采樣策略來使得模型對于兩種故障的訓練達到平衡。

本文利用PyTorch的數據集采樣類Weighted Random Sampler方法來實現過采樣，由于數據集中磨損故障的樣本數量較少，所以增大這類樣本的權重，使得這類故障的樣本更容易被采樣到，從而實現對磨損和撕裂故障學習次數的平衡。

模型優化器使用常用的小批量隨機梯度下降（MSGD），搭配nesterov、momentum、weight decay更新網絡參數。學習率初始設置為0.01，momentum設置為0.9，weight decay設置為0.000 5，更新卷積層權重、卷積層偏置、BN層參數同時僅對卷積層的權重進行權重衰退。學習率調整采用了余弦退火衰減策略，并且增加了學習率預熱機制。使用EDA策略，提高模型的魯棒性。

損失函數包括分類損失和定位損失，由于皮帶的兩種常見故障——磨損和撕裂占圖片總面積很小，而背景區域占面積很大。而正樣本包含故障，負樣本則是無關背景，因此本文的皮帶機故障檢測問題存在著較為嚴重的正負樣本不均衡的問題。為了解決此問題，本文使用的分類損失函數為基于Focal Loss（FL）的Quality Focal Loss（QFL）。Focal Loss計算式為：

權重因子αt用來緩解正負樣本不平衡問題，γ≥0可以緩解難易樣本不平衡問題。Quality Focal Loss計算式為：

式中y為0～1的質量標簽，δ為預測的結果分數。QFL在繼承了FL的優點的同時，性能上也有一定的提升。

對于皮帶機故障檢測而言，雖然常用的GIoU損失在回歸框與真實框沒有交集的時候仍然可以進行梯度的反向傳播，從而達到訓練效果。DIoU損失相對于IoU和GIoU損失相比，收斂速度更快。模型在相同的訓練時間的情況下，用DIoU損失、訓練后得到的模型，在用于檢測時，回歸框與真實框的接近或重合程度會比用GIoU損失函數訓練結果更好。因此本文定位損失函數選擇了DIoU Loss。計算式為：

IoU Loss與DIoU Loss對比如圖8所示。

3.3? 評價指標與實驗結果分析

作為實時檢測模型，其性能可以用檢測精度和檢測速度來評價。檢測精度能夠就是模型能否準確地識別出故障類型，代表了模型的檢測效果。目前使用較多的衡量模型檢測精度的指標主要有基于混淆矩陣計算的查準率、查全率，同時考慮查準率和查全率的PR曲線，平均精確度以及平均準確度均值等。本文選取IoU閾值0.5和在[0.5，0.95]每隔0.05得到的AP值計算平均值得到AP@0.5和mAP作為皮帶故障檢測模型精度的評價指標。

如圖9所示，三條曲線分別來自不同的模型測試結果，通過PR曲線可以直觀地判斷出兩個模型的精度差異。例如圖中模型B的曲線完全在模型A曲線的上方，則模型B的精度優于模型A。同樣，圖中模型C的檢測精度也優于模型A。對B、C而言，由于兩個模型的PR曲線存在交點，此時就難以直觀地判斷B、C哪一個精度更高，此時就需要計算兩個曲線哪一個與坐標軸圍成的面積更大，面積更大的那個模型精度更高。

為了能定量地更加精確地對模型進行評價，可以使用平均精度（AP），平均精度等于PR曲線與兩個坐標軸圍成的面積。計算式為：

式中的p（r）為PR曲線方程，在計算AP的基礎上在全部目標類別上對AP計算平均值就得到了平均精確度均值（mAP）。

對于本文的皮帶故障檢測模型而言，考慮從模型發現故障到識別出故障的耗時，耗時越短檢測速度就越快。本文選擇單位時間的檢測幀數（FPS）作為評價模型檢測速度的指標。

本文將建立的皮帶故障檢測模型性與FasterRCNN、SSD、CenterNet和YOLOv3 tiny模型進行了對比實驗。繪制出各算法AP@50、mAP、FPS、FLOPs如圖10所示。

對比實驗結果可知，本文建立的檢測算法在檢測精度上略好于FasterRCNN、SSD，明顯強于CenterNet、YOLOv3 tiny。檢測速度上大幅領先

FasterRCNN、SSD、CenterNet，稍遜YOLOv3 tiny。而且本模型計算過程中涉及的參量更少，浮點運算次數FLOPs少于其他4個，因此若將模型部署到性能有限的嵌入式設備中更有優勢。

4? 結? 論

本文針對煤礦運輸皮帶的磨損和撕裂兩種故障提出了一種基于YOLOv5的輕量化檢測模型。該模型具有檢測速度快、檢測效果好、計算量小易部署等優點。本文主要內容：

1）研究了煤礦運輸皮帶故障檢測的問題和解決辦法。

2）以YOLOv5為基礎建立了運輸皮帶磨損和撕裂故障的檢測模型。

3）為了提高模型的特征提取能力，更好地區分兩種故障類型，在模型中引入了注意力機制SE模塊。

4）為了實現使模型更加輕量化的目標，將SPP網絡替換為SPPF網絡，將ShuffleNetV2改進為Enhanced ShuffleNet，將PAN模塊替換為CSPPAN模塊，減小了計算成本，為AI邊緣計算設備部署提供了可能性。

本文提出的檢測模型與常用的4個模型相比有不同幅度的領先優勢。根據本文提出的評價指標， 在不同的AP值下測出的E值均領先于其他4個模型改：因此，本文的檢測模型在執行檢測任務時性能更加優越。

參考文獻：

[1] 頊熙亮.基于機器視覺的礦用皮帶運輸機故障智能檢測系統 [J].煤礦現代化，2020（5）：212-215.

[2] 譚恒.基于雙視圖像的帶式輸送機異常狀態檢測 [D].太原：太原理工大學，2021.

[3] 張桂堂.基于機器視覺的重型輸送帶縱向撕裂檢測技術研究 [D].青島：青島科技大學，2021.

[4] 武文澤.基于機器視覺的選煤廠輸送機皮帶磨損故障診斷研究 [D].徐州：中國礦業大學，2020.

[5] 崔敏.基于機器視覺的輸送帶縱向撕裂檢測系統研究 [D].曲阜：曲阜師范大學，2021.

[6] 滕飛.基于深度學習的鋼絲繩芯輸送帶故障檢測算法研究 [D].蘭州：蘭州理工大學，2021.

[7] 謝艷麗，姜志，王軍，等.霧霾天氣下光源目標檢測算法 [J].激光雜志，2021，42（11）46-52.

[8] MA N，ZHANG X，ZHENG H T，et al. Shufflenet v2：Practical guidelines for efficient cnn architecture design [EB/OL].[2023-02-18].https：//scholar.lanfanshu.cn/scholar？q=Shufflenet+v2%3APractical+guidelines+for+efficient+cnn+architecture+design.

[9] YU G，CHANG Q，LV W，et al. PP-PicoDet： A Better Real-Time Object Detector on Mobile Devices [EB/OL].[2023-02-18].https：//scholar.lanfanshu.cn/scholar？q=PP-PicoDet%3AA+Better+Real-Time+Object+Detector+on+Mobile+Devices.

作者簡介：黨浚哲（2002—），男，漢族，遼寧營口人，本科在讀，研究方向：計算機視覺、機器學習；陳立燁（2003—），男，漢族，山東臨沂人，本科在讀，研究方向：深度學習、信息處理；崔子航（2002—），男，漢族，河南駐馬店人，本科在讀，研究方向：計算機視覺、大數據；段琦鋒（2001—），男，漢族，山西太原人，本科在讀，研究方向：信息處理、圖像識別；陳思妍（2003—），女，漢族，湖南株洲人，本科在讀，研究方向：信息傳輸、無線通信。