基于深度學(xué)習(xí)的帶式輸送機(jī)非煤異物識(shí)別方法

胡璟皓，高妍，張紅娟，靳寶全

(1.太原理工大學(xué) 電氣與動(dòng)力工程學(xué)院， 山西 太原 030024；2.太原理工大學(xué) 新型傳感器與智能控制教育部與山西省重點(diǎn)實(shí)驗(yàn)室， 山西 太原 030024)

0 引言

帶式輸送機(jī)作為煤礦井下運(yùn)輸?shù)年P(guān)鍵設(shè)備，在煤礦運(yùn)輸中起著舉足輕重的作用。隨著煤礦生產(chǎn)效率的提升，對(duì)帶式輸送機(jī)可靠性方面的要求不斷提高[1-3]。由于井下環(huán)境復(fù)雜，在煤礦生產(chǎn)運(yùn)輸過程中，斷裂的錨桿、角鐵等非煤異物易導(dǎo)致輸送帶縱向撕裂、斷帶等事故，影響煤礦安全生產(chǎn)[4-5]。快速準(zhǔn)確地識(shí)別輸送帶中非煤異物并提前預(yù)警，對(duì)煤礦安全運(yùn)輸具有重要意義。

目前，圖像識(shí)別法因其安裝維護(hù)簡單、成本低，成為非煤異物檢測(cè)研究熱點(diǎn)[6]。何敏等[7]引入支持向量機(jī)，結(jié)合圖像樣本分析與特征提取對(duì)煤矸石進(jìn)行識(shí)別。程健等[8]利用高斯混合模型分離煤流視頻背景，結(jié)合粒子群算法優(yōu)化模型，實(shí)現(xiàn)煤流中矸石等異物的檢測(cè)。陳立等[9]利用小波分析對(duì)采集到的煤與矸石圖像進(jìn)行降噪，并通過構(gòu)造小波矩對(duì)煤和矸石進(jìn)行特征提取，以此識(shí)別煤與矸石。薛光輝等[10]采用灰度-梯度共生矩陣提取煤矸圖像紋理特征，利用隨機(jī)森林算法對(duì)紋理特征排序，以提高模型識(shí)別效果。Y. Pu等[11]基于VGG16卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行煤矸識(shí)別。然而，現(xiàn)階段研究主要是針對(duì)煤矸進(jìn)行識(shí)別，缺乏對(duì)多類別非煤異物的識(shí)別，且現(xiàn)有識(shí)別模型缺乏對(duì)異物的精確定位，運(yùn)行速度慢，無法實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。

針對(duì)上述問題，本文提出一種基于深度學(xué)習(xí)的帶式輸送機(jī)非煤異物識(shí)別方法。該方法以目標(biāo)檢測(cè)算法YOLOv3為基礎(chǔ)框架，構(gòu)建異物圖像數(shù)據(jù)集，搭建異物檢測(cè)模型，并對(duì)模型進(jìn)行改進(jìn)，采用焦點(diǎn)損失(Focal Loss)函數(shù)替代交叉熵?fù)p失函數(shù)，依據(jù)井下環(huán)境設(shè)計(jì)數(shù)據(jù)增強(qiáng)手段，對(duì)非煤異物圖像進(jìn)行訓(xùn)練與測(cè)試，實(shí)現(xiàn)了對(duì)非煤異物的多目標(biāo)、快速、精準(zhǔn)識(shí)別與定位。

1 YOLOv3模型改進(jìn)

1.1 YOLOv3模型

1.1.1 模型結(jié)構(gòu)

YOLOv3模型結(jié)構(gòu)[12]如圖1所示。模型采用Darknet-53全卷積網(wǎng)絡(luò)作為特征提取骨干。Darknet-53中若干個(gè)殘差層串行連接，每一個(gè)殘差層由1×1卷積核與3×3卷積核交叉組成，利用卷積代替池化進(jìn)行下采樣，使模型能夠接收任意大小圖像輸入。整體骨干共包含53層卷積層，以更好地控制模型擬合，增強(qiáng)模型學(xué)習(xí)能力。模型后端設(shè)計(jì)借鑒特征金字塔網(wǎng)絡(luò)(Feature Pyramid Net, FPN)思想[13]，利用上采樣方法融合構(gòu)造13×13、26×26、52×52共3個(gè)尺度的特征圖，對(duì)目標(biāo)位置和類別進(jìn)行預(yù)測(cè)，并獲得對(duì)應(yīng)的預(yù)測(cè)張量。這種結(jié)構(gòu)使得模型感受野范圍擴(kuò)大，提高了模型對(duì)不同尺寸目標(biāo)的識(shí)別能力。

圖1 YOLOv3模型結(jié)構(gòu)Fig.1 Structure of YOLOv3 model

1.1.2 預(yù)測(cè)過程

YOLOv3算法是一種基于回歸的預(yù)測(cè)方法[14-15],其預(yù)測(cè)過程如圖2所示。算法將輸入圖像分割成S×S個(gè)網(wǎng)格，預(yù)測(cè)目標(biāo)的中心落在某個(gè)網(wǎng)格中，則由該網(wǎng)格負(fù)責(zé)預(yù)測(cè)該目標(biāo)。利用卷積神經(jīng)網(wǎng)絡(luò)直接回歸預(yù)測(cè)目標(biāo)的相對(duì)位置與類別，構(gòu)建預(yù)測(cè)邊界框。通過置信度閾值和非極大值抑制算法對(duì)所有邊界框進(jìn)行篩選，將置信度最高的邊界框作為輸出結(jié)果。

圖2 YOLOv3算法預(yù)測(cè)過程Fig.2 Prediction process of YOLOv3 algorithm

YOLOv3引入了錨框機(jī)制來預(yù)測(cè)目標(biāo)的相對(duì)位置，使定位預(yù)測(cè)更加精確，如圖3所示。錨框是一類由數(shù)據(jù)集實(shí)際邊界框通過聚類得到的先驗(yàn)邊框，每個(gè)網(wǎng)格都會(huì)設(shè)定固定數(shù)量的錨框。目標(biāo)定位信息包括xb，yb，wb和hb4個(gè)值，(xb，yb)為邊界框中心點(diǎn)相對(duì)坐標(biāo)，wb，hb分別為邊界框的相對(duì)寬度和高度。

xb=σ(xt)+xg

(1)

yb=σ(yt)+yg

(2)

wb=waexp(wt)

(3)

hb=haexp(ht)

(4)

式中：σ(·)為sigmoid激活函數(shù)；(xt，yt)為邊界框中心點(diǎn)實(shí)際坐標(biāo)；(xg，yg)為網(wǎng)格左上角坐標(biāo)；wt，ht分別為邊界框?qū)嶋H寬度和高度；wa，ha分別為錨框?qū)挾扰c高度。

圖3 基于錨框的位置預(yù)測(cè)Fig.3 Position prediction based on anchor

YOLOv3將置信度f作為目標(biāo)類別預(yù)測(cè)的標(biāo)準(zhǔn)，其反映了模型對(duì)預(yù)測(cè)邊界框中是否存在目標(biāo)的信心程度和預(yù)測(cè)邊界框的定位準(zhǔn)確度。

f=pcpiI

(5)

式中：pc為目標(biāo)存在概率，若邊界框中存在目標(biāo)則為1，否則為0；pi為當(dāng)前邊界框中的目標(biāo)屬于第i種類別的概率；I為預(yù)測(cè)邊界框與實(shí)際邊界框的交并比(IoU)，用來評(píng)判預(yù)測(cè)位置準(zhǔn)確程度，值越大說明定位精度越高。

本文中所用錨框是在COCO通用數(shù)據(jù)集上利用K-means算法聚類所得，共有9種尺寸，與特征圖對(duì)應(yīng)關(guān)系見表1。

表1 錨框與特征圖尺寸對(duì)應(yīng)關(guān)系Table 1 Size correspondence between anchor and characteristic map

1.2 模型改進(jìn)

本文所采用的圖像數(shù)據(jù)集中，異物像素與背景像素比為1∶1 500，被檢測(cè)異物相對(duì)于背景過小，易出現(xiàn)樣本不平衡問題。為此，利用Focal Loss函數(shù)[16]替換原模型中的交叉熵?fù)p失函數(shù)，以改進(jìn)YOLOv3網(wǎng)絡(luò)模型。

交叉熵?fù)p失函數(shù)為

Lc(p)=-log2p

(6)

式中p為類別概率，范圍為[0,1]。

Focal Loss函數(shù)在交叉熵?fù)p失函數(shù)基礎(chǔ)上添加了2個(gè)超參數(shù)以平衡訓(xùn)練權(quán)重，公式為

LF(p)=-α(1-p)γlog2p

(7)

式中：α為權(quán)重參數(shù)；γ為焦點(diǎn)參數(shù)。

通過調(diào)節(jié)γ和α來平衡樣本之間的比例，降低大量簡單背景樣本在訓(xùn)練中的占比，使模型在訓(xùn)練時(shí)更專注學(xué)習(xí)復(fù)雜目標(biāo)樣本特征，提高模型預(yù)測(cè)性能。

1.3 分類性能指標(biāo)

二分類混淆矩陣見表2。利用混淆矩陣統(tǒng)計(jì)模型預(yù)測(cè)結(jié)果，計(jì)算精確率、召回率、準(zhǔn)確率和F-1得分4個(gè)統(tǒng)計(jì)學(xué)性能指標(biāo)，性能指標(biāo)計(jì)算方法見表3。

表2 二分類混淆矩陣Table 2 Two-class confusion matrix

表3 混淆矩陣性能指標(biāo)計(jì)算公式Table 3 Calculation formula of confusion matrix performance index

根據(jù)K-折交叉驗(yàn)證理論，將數(shù)據(jù)集平均劃分為K折，將每個(gè)子集數(shù)據(jù)分別作為1次測(cè)試集，其余K-1折子集作為訓(xùn)練集，共得到K個(gè)模型。分別獲取這K個(gè)模型的混淆矩陣，以評(píng)估模型在該數(shù)據(jù)集上的分類性能。

2 模型訓(xùn)練

2.1 數(shù)據(jù)集構(gòu)建

本文中所使用的異物數(shù)據(jù)均來自實(shí)驗(yàn)室模擬煤礦井下帶式輸送機(jī)圖像，考慮到煤礦井下環(huán)境復(fù)雜，采集圖像時(shí)用了不同光照強(qiáng)度，在膠帶不同方位拍攝圖像，并在后期增加噪聲以模擬井下粉塵影響，部分訓(xùn)練樣本如圖4所示。整個(gè)數(shù)據(jù)集有6 034張異物圖像，分辨率為2 592×1 944，包含了錨桿、角鐵、螺母3種單目標(biāo)樣本和多目標(biāo)樣本4類。

圖4 部分訓(xùn)練樣本Fig.4 Part of training samples

對(duì)所有異物圖像進(jìn)行標(biāo)注，以獲得模型訓(xùn)練與測(cè)試所需的先驗(yàn)標(biāo)簽，如圖5所示。標(biāo)注內(nèi)容包含類別序號(hào)、(xa、ya)為預(yù)測(cè)邊界框中心點(diǎn)相對(duì)坐標(biāo)、預(yù)測(cè)框邊界相對(duì)寬度wa、預(yù)測(cè)邊界框相對(duì)高度ha。

圖5 數(shù)據(jù)集標(biāo)注Fig.5 Data set annotation

2.2 數(shù)據(jù)增強(qiáng)

利用旋轉(zhuǎn)、鏡像、亮度調(diào)節(jié)等圖像處理方法對(duì)異物數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，以擴(kuò)大數(shù)據(jù)集規(guī)模，加強(qiáng)數(shù)據(jù)集多樣性，如圖6所示。

圖6 數(shù)據(jù)增強(qiáng)Fig.6 Data enhancement

2.3 超參數(shù)設(shè)置與訓(xùn)練

本文中異物檢測(cè)模型訓(xùn)練在Ubuntu16.04 + Intel i9-9900k + GeForce GTX 2080Ti(12G)計(jì)算機(jī)系統(tǒng)中完成，框架為Darknet。超參數(shù)設(shè)定：輸入圖像大小為416×416，批數(shù)量大小為64，分8組輸入，采用動(dòng)量梯度下降法進(jìn)行迭代，訓(xùn)練迭代次數(shù)為12 000，學(xué)習(xí)率為0.001，動(dòng)量參數(shù)為0.9，權(quán)重衰減系數(shù)為0.000 5，交并比閾值為0.75。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 Focal Loss函數(shù)參數(shù)分析

使用網(wǎng)格搜索法[17]確定Focal Loss函數(shù)中超參數(shù)γ與α的取值：γ范圍為[0,5]，步長為0.5；α范圍為[0,1]，步長為0.05[16]。采用異物預(yù)測(cè)平均準(zhǔn)確率作為得分評(píng)判標(biāo)準(zhǔn)，γ與α取不同值時(shí)的準(zhǔn)確率如圖7所示。其中，A點(diǎn)為準(zhǔn)確率最高點(diǎn)，對(duì)應(yīng)參數(shù)γ=2，α=0.75，準(zhǔn)確率為90.5%；B點(diǎn)為交叉熵?fù)p失函數(shù)點(diǎn)，對(duì)應(yīng)參數(shù)γ=0,α=1,準(zhǔn)確率為85.5%。實(shí)驗(yàn)結(jié)果表明，F(xiàn)ocal Loss函數(shù)在該異物數(shù)據(jù)集中表現(xiàn)優(yōu)于交叉熵?fù)p失函數(shù)，在γ=2，α=0.75時(shí)準(zhǔn)確率提升5%，故選取該組超參數(shù)為最優(yōu)參數(shù)。

圖7 γ與α取不同值時(shí)的準(zhǔn)確率Fig.7 Accuracy when γ and α take different values

3.2 模型評(píng)估

設(shè)置α=0.75，γ=2，利用10折非煤異物數(shù)據(jù)集對(duì)模型進(jìn)行10-折交叉驗(yàn)證測(cè)試，其中第1折(含604張圖像)交叉驗(yàn)證的混淆矩陣見表4。

表4 第1折交叉驗(yàn)證混淆矩陣Table 4 Confusion matrix for the first fold cross-validation

從表4可看出，第1折共出現(xiàn)1 178個(gè)異物樣本，其中錨桿出現(xiàn)412次，角鐵出現(xiàn)358次，螺母出現(xiàn)388次。經(jīng)計(jì)算可得：3種異物的預(yù)測(cè)精確率分別為88.3%，90.2%和93.0%，召回率分別為94.3%，93.6%和95.5%，F(xiàn)-1得分分別為91.2%，91.9%和94.2%，平均準(zhǔn)確率為90.5%。

用10-折交叉驗(yàn)證對(duì)YOLOv3模型改進(jìn)前后的異物檢測(cè)精確率和召回率進(jìn)行統(tǒng)計(jì)，結(jié)果如圖8、圖9所示。可看出利用Focal Loss函數(shù)改進(jìn)模型后，精確率和召回率明顯提升。經(jīng)計(jì)算，錨桿、角鐵、螺母的平均精確率分別提升了約4.7%，3.5%和6.8%，平均召回率分別提升了約6.6%，3.5%和6.0%。

圖8 異物預(yù)測(cè)精確率Fig.8 Precision of foreign object forecast

圖9 異物預(yù)測(cè)召回率Fig.9 Recall of foreign object forecast

3.3 預(yù)測(cè)結(jié)果

將測(cè)試集輸入模型，模型會(huì)預(yù)測(cè)出圖像中異物位置、種類和置信度。根據(jù)預(yù)測(cè)的位置，利用OpenCV在圖像中繪制對(duì)應(yīng)的矩形框，并在矩形框左上角顯示異物種類，部分測(cè)試圖像預(yù)測(cè)結(jié)果如圖10所示。

異物置信度在命令行中顯示，圖10中各圖像異物預(yù)測(cè)結(jié)果見表5。可看出異物預(yù)測(cè)類別與實(shí)際一致，且置信度在94%以上。

圖10 部分測(cè)試圖像結(jié)果Fig.10 Some forecast results on the test images

表5 異物預(yù)測(cè)結(jié)果Table 5 Forecast results of foreign objects

4 結(jié)論

(1) 利用Focal Loss函數(shù)代替交叉熵?fù)p失函數(shù)解決異物圖像數(shù)據(jù)集中的樣本不平衡問題，提高異物預(yù)測(cè)準(zhǔn)確率，最佳超參數(shù)為γ=2，α=0.75。

(2) 利用6 034張異物圖像對(duì)改進(jìn)前后的YOLOv3模型進(jìn)行10-折交叉驗(yàn)證測(cè)試，改進(jìn)后的模型預(yù)測(cè)性能顯著提升，錨桿、螺母、角鐵3種異物預(yù)測(cè)的平均精確率分別提升了約4.7%，3.5%和6.8%，平均召回率分別提升了約6.6%，3.5%和6.0%。

(3) 改進(jìn)YOLOv3模型在2080Ti平臺(tái)下對(duì)每張圖像中異物的預(yù)測(cè)類別與實(shí)際類別一致，且置信度在94%以上。