基于機器視覺的煤矸檢測算法研究

趙佳偉，雷偉強，王建飛

(1.山西大同大學， 山西 大同 037003；2.晉能控股煤業集團 四老溝礦， 山西 大同 037003)

目前，由于風電、水電等清潔能源不易儲存，70%的發電依然需要煤炭供應，而煤矸石分選有助于提高原煤質量，提升煤炭利用率[1]. 傳統的煤矸石分揀依賴于工人經驗，不僅效率低而且準確率不高，誤差偏大；重介質分離方法雖然效率高，但工藝流程復雜，成本高[2]；利用射線進行分選，是依據矸石和煤對射線吸收能力的差異進行，但對工作人員的健康有隱患。目前煤礦智能化建設發展步入快速發展期，煤矸石分揀智能化也是煤炭生產中很重要的一部分，而煤和矸石的準確識別和定位是實現智能化分揀的重要技術。利用機器視覺算法對煤矸石進行識別定位不僅安全且方便維護。

很多學者從不同方面研究了煤矸石的檢測精度。王家臣等[3]通過對不同照度條件下的煤矸石進行灰度和紋理提取，設計了不同的SVM分類器，來提升檢測的準確率。雷世威等[4]通過對YOLOv3的網格結構和損失函數進行改進，利用不同角度、形態、光照條件下的煤矸石數據集進行實驗，也有效地提高了煤矸石識別的準確率。王閏澤等[5]提出了搭載VGG網絡的煤矸石識別算法，擴大了網格的感受野，并引入了殘差結構，在目標形狀差異較大的數據集下，提升煤矸識別準確率。目前，基于機器視覺的檢測算法分為單步和兩步，常用的單步檢測算法有YOLO系列、SSD等[6]，兩步檢測算法有R-CNN系列[7]. 單步檢測算法可以實現端到端檢測，減少計算過程中的參數量，對檢測速度有很大提升。

在實際生產環境中，由于光線昏暗、環境嘈雜，圖像會出現模糊，有很多噪點。考慮到這些因素，提出了基于機器視覺的目標檢測模型，通過對YOLOv5的主干網絡進行改進，引入注意力機制并且優化邊界框損失函數，以實現降低模型參數量和大小，同時可以提升檢測精度的效果。最后，將模型在自制的煤矸數據集上進行訓練，并對該算法的有效性進行驗證。

1 YOLOv5目標檢測模型

YOLOv5目標檢測模型是一種端到端的單步檢測算法，模型主要由輸入層、主干網絡、檢測頭3部分組成[8]. 模型的輸入是一張分辨率為640×640大小，格式為JPG的圖像，在模型的第一階段，原始圖像需經過mosaic數據增強、自適應Anchor計算和自適應圖像縮放3部分進行圖像處理。在模型的第二階段，處理后的圖像會經過二維卷積操作提取圖像特征、批歸一化處理和激活函數操作，以及C3模塊對殘差特征進行學習，最后再通過快速空間金字塔池化層SPPF，將3次最大池化后的特征圖堆疊起來，使得模型更加關注特征圖中重要的那部分信息。在模型的第三階段，利用FPN+PAN結構對特征圖進行多尺度融合，FPN通過自頂向下進行上采樣，使得底層特征圖獲得更強的語義信息；PAN通過自底向上進行下采樣，使得頂層特征包含很好的位置信息，兩種特征最后進行融合，使得不同尺寸的特征圖都包含強語義信息和很好的位置信息，使得算法可以實現對目標的準確檢測。

2 改進的YOLOv5煤矸檢測模型

通過對原始YOLOv5模型的網絡結構進行改進，在主干網絡(backbone)部分的第8層中對C3模塊添加了CBAM，并將這個新模塊命名為CC模塊。原始YOLOv5模型的邊界框損失函數采用的是CIOU，而本文采用EIOU，EIOU是將CIOU中關于縱橫比的損失項替換為預測的寬高分別與最小外接框寬高的差值，以此加速收斂、提高回歸精度。該算法由兩個主要階段組成，一個是訓練階段，另一個是檢測階段。在訓練階段，利用Mosaic數據增強對輸入圖像進行處理，豐富數據集；然后卷積提取特征；利用損失函數對預測結果進行修正不斷迭代。在檢測階段，使用3種不同的尺度來對不同大小的特征圖進行檢測，最終reshape成同樣尺度的圖像，輸出檢測結果。改進后的YOLOv5算法整體網絡結構見圖1.

圖1 改進后的YOLOv5網絡模型圖

2.1 CBAM

CBAM是一種輕量級卷積塊注意力，受SENet的啟發產生[9]，將通道注意力模塊(Channel Attention)和空間注意力模塊(Spatial Attention)進行結合，使得特征更加明顯。CBAM網絡結構圖見圖2，其中在通道注意力模塊部分對輸入特征圖先分別進行最大池化和平均池化，再將兩種池化后的結果輸入到同一個多層感知機中，對通道進行壓縮再擴張，得到兩個結果，然后將這兩種結果進行相加并經過sigmoid激活，得到通道注意力處理后的特征圖，再乘以原始的輸入特征圖，使得通道維度不變。而空間注意力模塊，則是將通道注意力的結果進行最大池化后再進行平均池化，然后將兩次池化進行堆疊，因此通道數翻倍，再進行卷積操作將通道變為1保證維度不變，經過sigmoid激活得到空間注意力處理后的特征圖，乘以通道注意力處理后的特征圖，使得通道維度不變。通道注意力模塊關注的是圖中最重要的信息。而空間注意力模塊關注的是檢測目標的位置信息。二者相結合，可實現更好的檢測效果。

圖2 CBAM網絡結構圖

交并比(IOU)是用來輔助訓練損失函數(Loss=1-IOU)的一個指標，檢測目標的預測框和真實框重合度越高，IOU越接近于1，即損失函數越小。因此模型可以通過降低損失函數來獲得更好的預測結果。常用的IOU有:GIOU、DIOU、CIOU.

考慮到CIOU中v反映的是縱橫比的差異，實際是一個比值，無法體現預測框寬高和真實框寬高的差異，反而會阻礙模型的優化。因此本文采用EIOU邊界框損失函數，EIOU是對CIOU中關于縱橫比部分進行改進，將其拆分為寬和高的損失。具體公式如下：

LEIOU=LIOU+Ldis+Lasp=

式中，LIOU代表預測框和真實框的重疊損失；Ldis代表預測框和真實框的中心距離損失；Lasp代表預測框和真實框的寬高損失；b代表預測框；bgt代表真實框；w代表預測框的寬；wgt代表真實框的寬；h代表預測框的高；hgt代表真實框的高；c表示能夠同時包含預測框和真實框的最小外接框的對角線距離；γ2表示預測框與真實框兩個中心點之間的歐氏距離。

將縱橫比的損失項拆分成預測框的寬高分別與最小外接框寬高的差值，可以加速收斂并且提高回歸精度。

3 實驗及結果分析

3.1 數據采集與處理

以煤和矸石作為研究對象，皮帶為背景，采用邁德威視的MV-GE500 M-T面陣相機對煤和矸石進行圖像采集，共收集到混合的煤矸圖片約600張。以7∶2∶1的比例隨機劃分為訓練集、驗證集和測試集，煤混矸數據集中每張圖片中所含煤和矸的個數至少7個，其中煤占多數，且統一以jpg格式保存;然后使用labelImg標注軟件對數據集樣本進行標注并全部以txt格式進行保存;最后將數據集樣本和對應的標簽均保存在My_dataSets文件夾的指定路徑下。

3.2 模型訓練

該實驗搭建在Pytorch1.10.0框架下，操作系統為Windows11，處理器為Inter Core i5-11400H，2.70 GHz的主頻，內存為16 GB，顯卡為NVIDIA GeForce GTX 3050，4G顯存，安裝CUDA11.4使用Python編程語言。模型訓練時，超參數batch size取2；epoch取150；學習率初始值取0.01完成一次循環改為0.2；動量取0.93；權重衰減取0.000 5.

3.3 評價指標

目標檢測算法的評價指標一般主要是指檢測目標類別的查準率mAP. mAP在本文指的是煤和矸石兩個AP值的平均，可體現出算法總的查準率，其中各類別AP的值就是查準率(Precision)和查全率(Recall)形成的曲線與坐標軸圍成的面積。

查準率=TP/(TP+FP)

查全率=TP/(TP+FN)

其中，TP(True positives)：正樣本被正確預測為正樣本；TN(True negatives)：負樣本被正確預測為負樣本；FP(False positives)：負樣本被錯誤預測為正樣本；FN(False negatives)：正樣本被錯誤的預測為負樣本。

3.4 實驗分析

采用煤矸平均精度的均值(mAP)、查準率、查全率、參數量(Parameters)、模型大小以及億次浮點數運算(GFlops)等6個指標對煤矸檢測模型的有效性進行驗證。首先，選擇YOLOv5s目標檢測模型作為基準模型，將YOLOv5s模型和YOLOv5s-CE模型設置同樣的參數并分別在煤混矸數據集上訓練300次，兩種模型的查準率曲線見圖3.

圖3 查準率曲線圖

從圖3中可以看出，YOLOv5s模型波動較大，收斂效果相較于YOLOv5s-CE模型較差，訓練迭代次數在150次以后YOLOv5s-CE模型的查準率穩穩高于YOLOv5s模型，最終收斂于0.978附近。

為了進一步驗證改進后模型的有效性，將煤矸數據集分別在YOLOv3模型、YOLOv5s模型以及YOLOv5s-CE模型上進行訓練，并將訓練中得到的最好模型對未標注的煤矸圖像進行檢測，檢測結果見圖4.

從圖4可以看出，YOLOv3模型存在誤檢，圖4a)的第一張圖中右上角位置的煤被檢測成了矸石，YOLOv5s模型對這張圖中的煤塊預測是煤塊的置信度為0.77，而YOLOv5s-CE模型檢測此煤塊的置信度可以達到0.83. 從其余圖中也可看出改進后模型的查準率有明顯提高。具體數據見表1.

表1 煤矸識別算法對比表

圖4 3種檢測結果對比圖

4 結 論

通過對YOLOv5s的主干網絡進行改進，引入CBAM注意力機制，提升網絡模型對特征圖中重要特征的關注度并且優化邊界框損失函數，以達到加快收斂速度的效果。改進后的YOLOv5s-CE模型作為檢測煤矸石所用的網絡模型，在自制的煤矸石檢測數據集上進行訓練，達到了94.8%的mAP，相比YOLOv5s模型檢測精度提升了1.7%，參數量減少了319 518，同時模型大小降低了0.6 MB. 因此，該算法具有較好的適應性，適合處理煤矸混合的復雜情況，并且有較好的查準率，模型很小，可以很好地滿足現場生產需要，從而為煤矸分選設備設計及選型提供參考模型。