基于CBAM-YOLOv5的煤礦輸送帶異物檢測

郝 帥，張 旭，馬 旭，孫思雅，文 虎，王均利

(1.西安科技大學(xué) 電氣與控制工程學(xué)院，陜西 西安 710054；2.西安科技大學(xué) 安全科學(xué)與工程學(xué)院，陜西 西安 710054；3.陜西彬長礦業(yè)集團有限公司，陜西 咸陽 712046)

輸送帶作為煤礦井下煤炭運輸?shù)闹饕O(shè)備，其所處工作環(huán)境較為復(fù)雜。在長期、高負荷使用過程中，輸送物料中易夾雜大塊煤炭、矸石、錨桿、槽鋼等異物，如未能被碎煤設(shè)備、除鐵設(shè)備及時清理，在下落時可能造成輸送帶局部損傷，甚至?xí)檀┹斔蛶А４送猓@些異物也易卡在槽體、托輥與帶體間，致使輸送帶被磨透，從而導(dǎo)致帶體出現(xiàn)撕裂現(xiàn)象，進而影響煤礦正常生產(chǎn)，降低產(chǎn)值[1]。因此，本文擬研究一種基于計算機視覺技術(shù)的異物檢測方法，以期在對輸送帶監(jiān)控過程中能夠自動、準確檢測異物目標，便于后續(xù)處理，提高帶式輸送機運行的穩(wěn)定性和生產(chǎn)效率，預(yù)防皮帶撕裂。該研究對于保證煤礦的安全生產(chǎn)以及礦工的生命安全具有重要意義。

目前，國內(nèi)外眾多學(xué)者利用計算機視覺技術(shù)對輸送帶上的異物檢測已開展了大量研究，并取得了一定的研究成果。申斌學(xué)等[2]通過深度學(xué)習(xí)圖像識別技術(shù)對X射線傳感器獲取的物塊射線特征信息進行分析，從而可以準確識別出煤和矸石；劉富強等[3]利用矸石和煤炭之間的灰度以及紋理差異對其進行識別；程健等[4]考慮視頻背景對待檢測目標的干擾，研究中先利用一種改進的高斯混合模型去除視頻背景的影響，然后進行煤矸石的檢測。然而上述方法主要依賴于人工特征提取，存在易受外部環(huán)境干擾、泛化能力不強等缺點，其檢測精度往往難以保證[5]。此外，由于井下環(huán)境復(fù)雜，存在光照不均、煤塵干擾嚴重以及輸送帶高速運動易造成圖像模糊等問題，從而使得基于人工提取特征的目標檢測方法效果往往欠佳[6]。

鑒于人工特征提取存在的缺陷，眾多學(xué)者利用深度學(xué)習(xí)方法進行目標檢測[7]。目前，基于深度學(xué)習(xí)的目標檢測算法主要分為2類：第1類是two-stage目標檢測模型，代表算法有Fast R-CNN[8],Faster R-CNN[9]等。該類算法主要是根據(jù)圖像中目標物體的具體位置，采用預(yù)先提取候選區(qū)域的方法進行訓(xùn)練。吳守鵬等[10]提出一種基于Faster-RCNN的雙向特征金字塔網(wǎng)絡(luò)(Bidirectional Feature Pyramid Networks，BFPN)輸送帶異物識別方法，并通過實驗證明了該方法對矸石、錨桿等非煤異物具有較高的識別率；李偉山等[11]提出一種改進的Faster-RCNN煤礦井下行人檢測方法，并通過實驗證明了所提出的方法相比于傳統(tǒng)方法具有更高的準確率以及更強的泛化能力。另一類是one-stage目標檢測模型，代表算法有SSD[12]和YOLO[13]系列等。該類算法直接對網(wǎng)絡(luò)進行端到端的訓(xùn)練，具有網(wǎng)絡(luò)結(jié)構(gòu)簡單、實時性好等優(yōu)點。WANG等[14]在SSD檢測算法基礎(chǔ)上，通過改進損失函數(shù)以及優(yōu)化錨框比例，實現(xiàn)了礦井輸送帶的異物檢測；劉浩等[15]基于YOLOv3網(wǎng)絡(luò)設(shè)計了一種井下人員不安全行為識別系統(tǒng)。YOLOv5[16]作為YOLO系列的典型代表，在輸入端采用了自適應(yīng)錨框計算以適應(yīng)不同數(shù)據(jù)集；在backbone中采用了Focus模塊對圖像進行切片采樣，從而可以得到更加完備的下采樣目標特征信息；在Neck部分采用了新的CSP結(jié)構(gòu)以加強網(wǎng)絡(luò)中特征融合能力，其檢測精度和實時性相較于YOLOv3和YOLOv4均有較大提升[17-18]。

為此，針對煤礦井下輸送帶中異物目標圖像受輸送帶高速運動、煤塵干擾以及光照不均等影響造成傳統(tǒng)檢測算法難以準確檢測問題，提出一種基于卷積塊注意模型的YOLOv5井下輸送帶異物檢測方法。本文主要創(chuàng)新點為：① 為了解決輸送帶中異物目標圖像易受煤塵干擾問題，對待檢測圖像首先進行自適應(yīng)直方圖均衡化，提高圖像對比度，增強圖像質(zhì)量。② 針對輸送帶中異物目標受光照不均影響使其難以被準確檢測的問題，在YOLOv5檢測網(wǎng)絡(luò)基礎(chǔ)上引入卷積塊注意模型(Convolutional Block Attention Module，CBAM)[19]以增強目標在復(fù)雜背景中的顯著度，從而提高異物目標的特征表達能力，進而提高檢測網(wǎng)絡(luò)的檢測精度。③ 針對輸送帶高速運動易導(dǎo)致圖像模糊進而導(dǎo)致異物目標難以被準確檢測問題，通過引入深度可分離卷積模塊精簡原檢測網(wǎng)絡(luò)模型參數(shù)以提高網(wǎng)絡(luò)的檢測速度，并通過優(yōu)化損失函數(shù)來降低網(wǎng)絡(luò)的損失值以加快網(wǎng)絡(luò)收斂速度，進而提高整個檢測網(wǎng)絡(luò)的檢測精度。

1 YOLOv5算法原理

YOLOv5模型主要由Input，Backbone，Neck，Prediction 四部分組成。Input主要由mosaic數(shù)據(jù)增強、自適應(yīng)錨框計算和自適應(yīng)圖片縮放3部分組成。Backbone包含焦點層(Focus)、跨階段局部網(wǎng)絡(luò)層(Cross Stage Partial Network，CSP)和空間金字塔池化(Spatial Pyramid Pooling，SPP)3部分。其中Focus結(jié)構(gòu)對圖片進行切片操作，可得到2倍信息的下采樣特征圖[20]；CSP 結(jié)構(gòu)主要是為了從網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的角度解決推理中計算量過大的問題；SPP層通過對特征層3次卷積后進行最大池化，增大感受野，增強網(wǎng)絡(luò)的非線性表達能力。YOLOv5中Neck部分是對FPN結(jié)構(gòu)的改進，以加強網(wǎng)絡(luò)的特征融合和網(wǎng)絡(luò)中推理信息的傳輸[21]。原網(wǎng)絡(luò)中的Prediction使用的是GIOU_Loss(Generalized Intersection over Union Loss)[22]函數(shù)，該函數(shù)用來估算檢測目標矩形框的識別損失，YOLOv5整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 YOLOv5 network structure

2 基于改進的YOLOv5輸送帶異物檢測方法

本文所提出算法的檢測框架如圖2所示。首先，將礦井輸送帶監(jiān)控視頻采集到的圖片大小調(diào)整為640×640，并進行自適應(yīng)直方均衡處理；然后，將其送入到所設(shè)計的檢測網(wǎng)絡(luò)中進行訓(xùn)練，從而獲取檢測模型訓(xùn)練權(quán)重；最后，利用測試數(shù)據(jù)對所提出的檢測網(wǎng)絡(luò)進行測試驗證。

2.1 融合卷積塊注意模型的檢測網(wǎng)絡(luò)

為了解決煤礦井下復(fù)雜背景導(dǎo)致的大塊異物目標顯著度低的問題，在YOLOv5網(wǎng)絡(luò)模型的CSP模塊后引入通道和空間卷積塊注意模型，其結(jié)構(gòu)如圖3所示，其中，F(xiàn)為輸入特征圖；FX為通過空間注意力后得到的特征圖。

圖3中，MC為卷積塊注意模型中的通道注意力；MS為空間注意力。給定特征圖F∈RC×H×W，其中，C為特征圖的通道數(shù)；H×W為特征圖大小；R為由C，H，W組成的三維矩陣。

圖2 所提出算法的檢測框架Fig.2 Detection framework of the proposed algorithm

圖3 CBAM模塊Fig.3 CBAM module

CBAM模塊首先將F送入通道注意力模塊，通過平均池化和最大池化得到每個通道的信息，并將得到的參數(shù)通過多層感知器進行疊加，再經(jīng)過Sigmoid函數(shù)激活，從而得到通道注意力特征MC(F)，其計算公式[23]為

(1)

將給定特征圖FX送入空間注意力模塊后，通過平均池化和最大池化沿通道維度匯聚空間信息，生成空間特征圖Favg∈R1×H×W和Fmax∈R1×H×W，再通過1×1的卷積和Sigmoid函數(shù)激活，得到空間注意力特征；接著與FX逐元素乘，最終得到空間注意力特征圖FS，其計算公式[24]為

(2)

YOLOv5在提取特征過程中無注意力偏好，對不同重要程度的特征采用相同的加權(quán)方式。本文通過在3個CSP模塊后分別引入CBAM模塊來解決原網(wǎng)絡(luò)無注意力偏好問題，使網(wǎng)絡(luò)在檢測過程中能夠更多的關(guān)注興趣目標。

2.2 深度可分離卷積

為了使網(wǎng)絡(luò)具有較高檢測精度的同時減少引入注意力機制后對網(wǎng)絡(luò)檢測速度的影響，引入深度可分離卷積(Depthwise Separable Convolution，DWConv)[25]代替主干網(wǎng)絡(luò)中的原有卷積操作，其結(jié)構(gòu)如圖4所示。

圖4 深度可分離卷積結(jié)構(gòu)Fig.4 Deep separable convolution structure

圖4中，M為數(shù)據(jù)輸入通道數(shù)；N為數(shù)據(jù)輸出通道數(shù)；Dx為數(shù)據(jù)輸入長度；Dy為數(shù)據(jù)數(shù)據(jù)輸入寬度；Dk為卷積核大小；Dw為數(shù)據(jù)輸出長度，Dh為數(shù)據(jù)輸出寬度。網(wǎng)絡(luò)中原有卷積主要是對通道特征圖進行卷積操作[26]，其計算量Q1為

(3)

圖4中，深度可分離卷積將卷積操作分解為1個3×3的深度卷積和1個1×1的逐點卷積[27]。假設(shè)輸入的特征圖F為DxDyM，經(jīng)過深度卷積操作后得到DhDwN的特征圖G，其計算量Q2為

(4)

由式(3)和式(4)可以推出，深度可分離卷積與標準卷積之間的計算量比值為

(5)

通過引入深度可分離卷積可以將原網(wǎng)絡(luò)的計算量降低和參數(shù)減少，從而能夠顯著提高檢測速度。本文采用3×3的卷積核，輸入通道為3，輸出通道為256，網(wǎng)絡(luò)總計算量可降低為使用標準卷積計算量的1/8。

2.3 優(yōu)化損失函數(shù)

損失函數(shù)可以很好的反應(yīng)模型和實際數(shù)據(jù)間的差異，YOLOv5原網(wǎng)絡(luò)中邊框回歸損失采用GIOU函數(shù)計算，其計算公式為

(6)

式中，C為2個框的最小外接矩形；B∪Bgt為2個框的并集。

當(dāng)預(yù)測框和目標框相互包含或?qū)挕⒏叱霈F(xiàn)對齊時，損失函數(shù)會退化為IOU(Intersection over Union)。此時，將無法評估預(yù)測框和目標框的相對位置，造成目標定位不準確，預(yù)測框失去收斂方向，影響最終檢測精度。DIOU(Distance Intersection over Union)[28]綜合考慮了預(yù)測框與目標框之間的距離、重疊率以及尺度影響，從而能夠保證訓(xùn)練過程中具有較好收斂速度的同時不易發(fā)散。為此，筆者使用DIOU代替原損失函數(shù)從而實現(xiàn)目標框與預(yù)測框之間更有效的損失計算，其計算公式為

(7)

式中，b和bgt分別為檢測框和目標框的中心點；ρ為2個中心點間的歐式距離；S為覆蓋檢測框和目標框之間最小矩形的斜距。

2.4 自適應(yīng)直方圖均衡

針對異物目標圖像受煤塵干擾大的問題，使用自適應(yīng)直方圖均衡對數(shù)據(jù)集進行增強，提高圖像對比度，增強圖像質(zhì)量。

自適應(yīng)直方圖均衡主要是將輸入圖像分割為小塊后，對每個像素通過其周邊一個矩形范圍內(nèi)像素的直方圖進行均衡化，從而均衡圖像灰度并增強圖像的邊緣[29]。輸入圖像像素數(shù)記為x，并在[0，L-1]取值，L為動態(tài)范圍內(nèi)的離散灰度級。輸入圖像的直方圖p(rk)可以表示為

(8)

式中，rk為第k個灰度級；nk為圖像中出現(xiàn)的像素個數(shù)。

灰度累計分布函數(shù)Sk可表示為

(9)

直方圖均衡化變換函數(shù)為

r′k=round((L-1)，SK)，K=0，1,2，…，L-1

(10)

其中，r′k為直方圖均衡化后的灰度級；round(·)為四舍五入取整運算。自適應(yīng)直方圖均衡化處理后的局部效果對比如圖5所示。

從圖5可以看出，經(jīng)過自適應(yīng)直方均衡處理后的圖像可以減少煤塵干擾，清晰度明顯優(yōu)于原圖，為后續(xù)目標的準確檢測提供了良好基礎(chǔ)。

圖5 自適應(yīng)直方均衡圖 Fig.5 Adaptive histogram equalization diagram

3 模型訓(xùn)練及結(jié)果分析

實驗中使用的軟硬件平臺配置見表1。

表1 軟硬件平臺配置

3.1 數(shù)據(jù)采集

本文所用數(shù)據(jù)來自于某煤礦井下輸送帶工作時的監(jiān)控視頻，輸送帶運動速度大致為4.5 m/s，共截取樣本2 300張。實驗中，隨機選取1 600張作為訓(xùn)練樣本，其余700張作為測試樣本。

3.2 網(wǎng)絡(luò)模型訓(xùn)練

模型訓(xùn)練過程中，動量因子設(shè)0.937，以避免模型陷入局部最優(yōu)解或跳過最優(yōu)解。將網(wǎng)絡(luò)訓(xùn)練的前300輪學(xué)習(xí)率設(shè)置為0.01，后200輪訓(xùn)練的學(xué)習(xí)率降為0.001。將權(quán)重衰減正則項設(shè)置為0.000 5以防止網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)過擬合。最后經(jīng)過500輪的模型迭代訓(xùn)練，得到最優(yōu)模型權(quán)重。

3.3 實驗結(jié)果及分析

為了驗證本文算法優(yōu)勢，將本文提出算法與YOLOv5進行對比，其結(jié)果如圖6所示。

從圖6可以看出，YOLOv5算法迭代到50次左右準確率才逐漸上升到0.8左右，并最終穩(wěn)定在0.87左右；而本文算法迭代了50輪后準確率大致在0.9左右，并最終穩(wěn)定在0.93左右。損失曲線和mAP曲線對比結(jié)果如圖7所示。

圖6 準確率變化曲線Fig.6 Accuracy rate change curves

圖7 評價指標Fig.7 Evaluating indicator

由圖7(a)可知，YOLOv5損失在迭代到50次才逐漸降低到0.04，最終穩(wěn)定在0.039左右；引入CBAM模塊后，網(wǎng)絡(luò)的初始損失為0.098左右，最終穩(wěn)定在0.05左右；優(yōu)化損失函數(shù)后，網(wǎng)絡(luò)損失值降低且收斂速度加快，初始損失值在0.075左右，最終穩(wěn)定在0.029，可以看出本文所提出的檢測模型達到了較好的訓(xùn)練效果。由圖7(b)的mAP變化曲線可以看出，本文算法的mAP(Mean Arerage Precision,平均精度)數(shù)值明顯高于YOLOv5網(wǎng)絡(luò)。由于本文算法在原始YOLOv5檢測框架下分別進行了自適應(yīng)直方均衡、引入CBAM和深度可分離卷積，并且對損失函數(shù)進行了優(yōu)化。為了驗證各部分作用，進行消融實驗驗證，其結(jié)果見表2。

表2 消融實驗結(jié)果

表2中第1行為原始YOLOv5(采用GIOU損失函數(shù))網(wǎng)絡(luò)的檢測結(jié)果。通過表2可以看出，當(dāng)原網(wǎng)絡(luò)加入自適應(yīng)直方均衡模塊后，可以提高圖像的對比度，減少煤塵干擾，從而使檢測精度提高了1.5%；加入CBAM模塊后可以提升異物目標在復(fù)雜環(huán)境中的特征表達能力，其檢測精度相比于原網(wǎng)絡(luò)提升了4.3%；當(dāng)損失函數(shù)改為DIOU后，檢測精度在原網(wǎng)絡(luò)基礎(chǔ)上提高了2.3%；當(dāng)引入深度可分離卷積后，檢測精度相比于原網(wǎng)絡(luò)雖然下降了2.1%，但檢測速度提高了25.3 fps；本文算法綜合了各模塊的優(yōu)點，檢測精度可達94.7%，并且具有較好的實時性。

為了衡量本文算法對運動模糊圖像的有效性，選取Brenner函數(shù)、SMD2(灰度方差)和Vollath函數(shù)[30-31]作為客觀評價指標來評價圖像的清晰度，3個指標數(shù)值越大表示圖像越清晰，其表達式分別為

DB(f)=∑y∑x|f(x+2，y)-f(x，y)|2

(11)

(12)

(13)

式中，f(x，y)為像素點(x，y)的灰度；DB(f)為Brenner函數(shù)清晰度計算結(jié)果；DS(f)為SMD2清晰度計算結(jié)果；DV(f)為Vollath函數(shù)清晰度計算結(jié)果；μ為整幅圖像的平均灰度；M和N分別為圖像的寬和高。

隨機選取1 000張輸送帶圖像進行測試，并利用上述3個指標進行評價，其中以輸送帶靜止時獲取的圖像為基準(清晰圖)，對3個指標歸一化后得到的結(jié)果見表3。

表3 清晰度評價

從表3可以看出，對模糊圖像經(jīng)過自適應(yīng)直方均衡處理后圖像清晰度有所提升，但是依然存在圖像模糊問題，這也給后續(xù)目標檢測帶來一定的挑戰(zhàn)。

為了驗證本文算法的優(yōu)點，選取了含有煤塵干擾、存在運動模糊以及光照不均3種典型場景進行測試驗證，如圖8(a)所示。為了分析方便，圖8(a)中待檢測的大塊異物目標已用紅色虛線框標注。為了描述方便用MK表示檢測到的大塊異物，選取SSD，YOLOv3，YOLOv4和YOLOv5 四種經(jīng)典檢測算法與本文提出的檢測算法進行比較，檢測結(jié)果如圖8(b)～(f)所示。

圖8 檢測結(jié)果對比Fig.8 Comparison of test results

從第1組實驗可以看出，由于煤塵干擾造成待檢測目標與背景環(huán)境灰度值較為接近，利用SSD，YOLOv3，YOLOv4以及YOLOv5算法檢測時均存在漏檢，而本文算法由于采用自適應(yīng)直方均衡操作增強了圖像的對比度，提高圖像的清晰度，在一定程度上可以減輕煤塵干擾，進而能夠有效檢測出所有異物目標。

從第2組實驗可以看出，由于輸送帶的高速運動造成獲取的圖像較為模糊，4種對比算法均存在不同程度的漏檢，而本文算法由于引入深度可分離卷積精簡原網(wǎng)絡(luò)模型參數(shù)提高了網(wǎng)絡(luò)的檢測速度，并且通過優(yōu)化損失函數(shù)提升了整個網(wǎng)絡(luò)的檢測精度，從而可以實現(xiàn)高速運動背景下的異物目標準確檢測，較好的解決了由于運動引起的目標漏檢問題。

從第3組實驗可以看出，受光照影響，待檢測的大塊異物目標區(qū)域亮度較高，尤其是圖8中下方的異物目標與周圍背景較為相似。從實驗結(jié)果可以看出各種對比算法只能檢測出原圖中上方的異物目標，對于下方的異物目標均存在漏檢。而本文算法引入了CBAM模塊，通過利用該模塊的通道注意力使網(wǎng)絡(luò)自動獲取每個通道的重要程度，并將每個通道的信息與權(quán)重共享的多層感知器進行疊加從而賦予每個通道不同的權(quán)重來強化目標特征；通過利用CBAM模塊的空間注意力為特征圖中每個位置生成權(quán)重并加權(quán)輸出，增強目標特定區(qū)域的同時弱化不相關(guān)的背景區(qū)域，從而進一步增強異物目標的特征表達能力，使檢測網(wǎng)絡(luò)注意力偏向異物目標，進而能夠準確檢測出目標，較好的解決了漏檢問題。

為了進一步驗證本文算法優(yōu)勢，將其與上述4種對比算法在相同數(shù)據(jù)集和訓(xùn)練環(huán)境下進行客觀指標對比，檢測結(jié)果見表4。

表4 客觀指標對比結(jié)果

從表4的對比算法檢測結(jié)果可以看出，本文算法在檢測精度上明顯高于其他4種檢測算法，檢測速度雖然略低于YOLOv5，但相比于其他對比算法具有明顯優(yōu)勢。

4 結(jié) 論

(1)采用自適應(yīng)直方均衡對圖像進行預(yù)處理可以減少煤礦井下煤塵對圖像的干擾，提高數(shù)據(jù)集質(zhì)量。通過引入深度可分離卷積可以提升網(wǎng)絡(luò)的檢測速度，通過優(yōu)化損失函數(shù)可以提高網(wǎng)絡(luò)檢測精度。在YOLOv5檢測模型中引入CBAM注意力機制可以有效解決復(fù)雜環(huán)境中異物目標顯著性較弱，進而導(dǎo)致其難以準確檢測的問題。

(2)通過大量實驗結(jié)果證明本文算法對于分辨率為1 280×720的圖像平均檢測精度可達94.7%，檢測速度為3 1fps，優(yōu)于SSD，YOLOv3，YOLOv4以及YOLOv5算法。

(3)受實驗樣本數(shù)量限制，實驗結(jié)果中的檢測精度有限，但是隨著后期樣本的擴充，所提出的檢測網(wǎng)絡(luò)精度將會進一步提高。