基于煤礦井下傳送帶空載檢測①

成彥穎,白尚旺,黨偉超,潘理虎,2,吳喆峰

1(太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,太原 030024)

2(中國科學(xué)院 地理科學(xué)與資源研究所,北京 100101)

3(精英數(shù)智科技股份有限公司,太原 030012)

煤炭作為我國的重要能源之一,主要采用傳送帶輸送機(jī)進(jìn)行煤炭的輸送,所以傳送帶運(yùn)輸機(jī)的運(yùn)行狀況直接影響著煤礦的產(chǎn)能和效率[1].近年來我國的經(jīng)濟(jì)也在進(jìn)一步轉(zhuǎn)型,煤礦企業(yè)也正在改變過去的生產(chǎn)經(jīng)營模式,大力推廣節(jié)能降耗技術(shù),提高能源利用率[2].煤礦井下傳送帶運(yùn)輸距離遠(yuǎn)、運(yùn)輸量大、運(yùn)輸時間長,而且因?yàn)樯a(chǎn)需要,不能隨時停機(jī),導(dǎo)致傳送帶輸送機(jī)經(jīng)常無煤空載,不僅浪費(fèi)了電能,對輸送機(jī)損害嚴(yán)重,而且影響煤礦的產(chǎn)能和效益[3].據(jù)統(tǒng)計(jì),每年煤礦傳送帶空載造成的電能虧損占到正常運(yùn)行電能損耗的30%.所以本文通過檢測傳送帶輸送機(jī)的煤量、判斷運(yùn)行狀態(tài),防止傳送帶無煤空載,節(jié)省電能,提高傳送帶的工作效率.

傳統(tǒng)的輸送機(jī)為了防止堆煤,大部分采用逆煤流的啟動方式,造成多臺輸送機(jī)長時間空載運(yùn)行,嚴(yán)重浪費(fèi)了電能.國內(nèi)煤礦主要采用變頻器調(diào)整電壓和電流,進(jìn)而控制傳送帶的速度[4],后來利用PLC 變頻調(diào)速技術(shù)自動控制運(yùn)行速度,但無法根據(jù)實(shí)際煤量自動調(diào)整.劉鴻利[5]針對這一問題,設(shè)計(jì)了一種載荷檢測的煤礦運(yùn)輸機(jī)控制系統(tǒng),該系統(tǒng)根據(jù)傳送帶上的煤量自動判斷傳送帶是否處于空載狀態(tài),從而自動控制傳送帶的速度.但在復(fù)雜艱苦的煤礦環(huán)境下,電磁容易受到干擾、電源異常、變頻器損壞[6].隨著煤礦行業(yè)信息智能化技術(shù)的不斷深入,國內(nèi)大部分煤礦都安裝了傳送帶輸送機(jī)的視頻監(jiān)控系統(tǒng)和集成系統(tǒng).所以程健等[7]對煤矸石的視頻特征分析,采用改進(jìn)的高斯混合模型提取視頻背景,實(shí)現(xiàn)煤矸石的檢測和識別.張瑞勛等[8]結(jié)合Faster R-CNN 模型,提出傳送帶目標(biāo)檢測方法.該方法對傳送帶上的藥盒及空位目標(biāo)進(jìn)行檢測,以此判斷傳送帶的擁堵狀態(tài).這兩種方法在實(shí)時性和處理速度方面有待提高.而YOLOv3是一個很好的檢測器,檢測速度快,準(zhǔn)確率高.

本文采用邊緣結(jié)構(gòu)相似算法和YOLOv3 目標(biāo)檢測相結(jié)合的方法.首先基于邊緣結(jié)構(gòu)相似算法判斷傳送帶的啟停狀態(tài),通過邊緣結(jié)構(gòu)特征比較圖像之間的差異,判斷傳送帶處于運(yùn)行狀態(tài)還是停機(jī)狀態(tài).當(dāng)判斷出傳送帶運(yùn)行時,通過改進(jìn)的YOLOv3 目標(biāo)檢測方法檢測傳送帶上的煤量.當(dāng)傳送帶運(yùn)行并且無煤時,傳送帶處于空載狀態(tài).

1 空載檢測的方法

傳送帶空載狀態(tài)需要具備兩個條件:傳送帶正在運(yùn)行,并且傳送帶上不運(yùn)輸煤炭.本文方法包括3 個模塊,模塊1 判斷傳送帶是否處于運(yùn)動狀態(tài),模塊2是目標(biāo)檢測模塊,通過目標(biāo)檢測判斷傳送帶是否空載.模塊3是廣播預(yù)警模塊,當(dāng)傳送帶空載時,發(fā)出警告.傳送帶空載檢測方法的流程圖如圖1所示.

1.1 基于邊緣結(jié)構(gòu)相似的傳送帶狀態(tài)判斷

煤礦井下的攝像頭將采集的傳送帶視頻轉(zhuǎn)化為圖像,然后通過相鄰幀圖像的相似度來判斷傳送帶的運(yùn)行狀態(tài).

圖像一般具有亮度、灰度、對比度等結(jié)構(gòu)特征,這些結(jié)構(gòu)特征能夠描述圖像的信息.結(jié)構(gòu)相似性(SSIM)[9]就是衡量兩張圖片相似度的重要指標(biāo).傳統(tǒng)的圖像相似度通過均方差MSE、峰值信噪比PSNR 等方法來比較像素之間的差異,雖然計(jì)算簡單,但沒有充分考慮人類的視覺系統(tǒng)[10].煤礦井下傳送帶運(yùn)輸系統(tǒng)視覺條件差,并且傳送帶運(yùn)行時,煤流寬度及紋理在變化,有時采集的視頻煤量邊緣和傳送帶顏色相近,基于上述產(chǎn)生的問題,本文首先計(jì)算整張圖片平均結(jié)構(gòu)相似性,然后運(yùn)用Sobel 算子提取圖像不同尺度的邊緣值,計(jì)算邊緣結(jié)構(gòu)相似度.將兩者融合來比較圖像的相似度,每隔10 幀檢測圖像的相似度,連續(xù)檢測3 次,判斷傳送帶是否運(yùn)行.算法實(shí)現(xiàn)步驟如下:

(1)將圖像分成N×N共M個圖像塊,分別計(jì)算每一個圖像塊的均值、方差及協(xié)方差,然后計(jì)算對應(yīng)圖像塊的結(jié)構(gòu)相似性.SSIM的公式定義如下:

其中,SSIM的衡量指標(biāo)亮度函數(shù)、對比度函數(shù)的計(jì)算分別為α、β主要調(diào)節(jié)指標(biāo)的相對重要程度.然后以單位像素移動圖像塊,使整張圖像結(jié)構(gòu)相似度指標(biāo)計(jì)算完畢.最后將結(jié)構(gòu)相似性(SSIM)的平均值比較兩張圖片的相似度.由此,整張圖像的平均結(jié)構(gòu)相似性表示為(MSSIM):

(2)圖像塊分別選取雙尺度3×3和5×5的窗口,利用Sobel 邊緣檢測算法和梯度提取其邊緣信息,計(jì)算每個尺度邊緣幅度的估計(jì)值函數(shù)e1(x,y),e2(x,y).將不同尺度的邊緣估計(jì)值函數(shù)加權(quán)求和計(jì)算出每個圖像塊的邊緣結(jié)構(gòu)相似性e(x,y),α取1/2.

(3)將結(jié)構(gòu)相似性、邊緣相似度相合并,不斷移動窗口計(jì)算整張圖像的邊緣結(jié)構(gòu)相似性(ESSIM).然后計(jì)算整張圖像的平均邊緣結(jié)構(gòu)相似性(MESSIM).

1.2 YOLOv3 目標(biāo)檢測

在1.1 節(jié)中通過圖像之間的邊緣結(jié)構(gòu)差異判斷了傳送帶是否運(yùn)行.在運(yùn)行的基礎(chǔ)上檢測煤量.

基于深度學(xué)習(xí)的目標(biāo)檢測算法采取從關(guān)注分類到基于回歸的思路,從RCNN[11]到Y(jié)OLO[12]、SSD[13]、YOLOv2[14]、YOLOv3[15],目標(biāo)檢測的速度和準(zhǔn)確度都在逐漸提高.YOLOv3 利用多尺度檢測目標(biāo)物體的位置、大小,準(zhǔn)確率高、速度快.適合應(yīng)用于實(shí)時的工程目標(biāo)檢測.YOLOv3 以Darknet-53 作為基礎(chǔ)網(wǎng)絡(luò),主要由一系列的3×3和1×1 卷積層、殘差結(jié)構(gòu)構(gòu)成.其中卷積層用來提取圖像的特征,通過調(diào)整卷積步長控制特征圖的輸出尺寸.每個卷積層后增加批標(biāo)準(zhǔn)化(batch normalization)和Leaky ReLU 激活層降低差異性、加速收斂和避免過擬合.殘差結(jié)構(gòu)通過增加網(wǎng)絡(luò)深度提高準(zhǔn)確率,緩解梯度消失問題.圖2表示了YOLOv3的數(shù)據(jù)流程圖,輸入圖像大小以256×256為例.經(jīng)過Darknet-53 網(wǎng)絡(luò)、YoloBlock 生成的特征圖分為兩個分支,第一個分支經(jīng)過3×3、1×1 卷積之后生成特征圖一,第二個分支經(jīng)過1×1 卷積層加上采樣層,與Darknet-53 網(wǎng)絡(luò)中間層的輸出結(jié)果按照通道維度進(jìn)行拼接,生成第二個特征圖.如此循環(huán)得到第三個特征圖.

圖2 YOLOv3 數(shù)據(jù)流程圖

YOLOv3 添加了類似的特征金字塔網(wǎng)絡(luò)(FPN),采用多尺度對不同大小的物體進(jìn)行檢測.在確保實(shí)時性的基礎(chǔ)上提高了準(zhǔn)確率.YOLOv3 輸出3 種不同尺度的特征圖,每個網(wǎng)格預(yù)測3 個邊界框(bounding box),每個邊界框包含5 個要素(x,y,w,h,confidence),即邊界框的4 個偏移量和1 個目標(biāo)的預(yù)測.在COCO 數(shù)據(jù)集中有80 個類別,N×N表示輸出特征圖的網(wǎng)格數(shù),所以輸出張量為N×N×.本文檢測的是有煤、無煤兩類,修改YOLOv3的分類器,得到輸出維度為3×(5+2)=21.

1.3 自適應(yīng)錨框機(jī)制

本文通過YOLOv3 錨框機(jī)制來完成目標(biāo)檢測任務(wù),根據(jù)傳送帶上的煤量范圍,使用聚類維度來預(yù)測錨框(anchor box),通過錨框預(yù)測區(qū)域建議產(chǎn)生預(yù)測框(bounding box).當(dāng)預(yù)測框(bounding box)和實(shí)際真實(shí)框(ground truth box)的差值很小時,就可以比較準(zhǔn)確的定位目標(biāo)物體.這就需要設(shè)置不同大小和縱橫比的錨框,得到9 個錨框,將其平均分配到輸出的3 個特征圖上.同時YOLOv3 使用邏輯回歸(logistic regression),去掉不必要的錨框,從9 個錨框中找到最有可能是目標(biāo)的錨框來預(yù)測物體的類別、位置.

隨著物體變得復(fù)雜,默認(rèn)錨框的數(shù)量也會增加,使預(yù)測變得復(fù)雜.為了更有效的定位目標(biāo)物體,本文提出了一種基于深度信息的自適應(yīng)錨框機(jī)制,其目標(biāo)檢測結(jié)構(gòu)如圖3所示.首先輸入的圖像經(jīng)過YOLOv3 網(wǎng)絡(luò)得到預(yù)測參數(shù),這些參數(shù)用來將歸一化錨框變?yōu)闅w一化預(yù)測框.d?(P)(*表示x,y,w,h)為網(wǎng)絡(luò)預(yù)測輸出的參數(shù)[9].將歸一化默認(rèn)錨框和參數(shù)計(jì)算得到歸一化預(yù)測框.

圖3 自適應(yīng)錨框機(jī)制的結(jié)構(gòu)

從攝像頭中獲取深度圖像,然后計(jì)算圖像中每個像素的比例因子以形成比例映射.計(jì)算的比例因子可以自動改變錨框大小.根據(jù)煤礦井下攝像頭拍攝到的圖像建立數(shù)學(xué)模型,使得攝像頭到物體之間的距離與采集的圖像大小之間可以轉(zhuǎn)換.從采集到的深度圖像中計(jì)算比例因子,定義攝像頭與物體之間的距離為深度h,物體的長度為l,攝像機(jī)的長度為f,成像物體的長度s為比例因子,計(jì)算的比例因子s=f×l÷h.通過比例因子與歸一化預(yù)測框計(jì)算公式,式(5)-式(8)大小相乘得到區(qū)域建議.

該結(jié)構(gòu)放棄了預(yù)測物體大小的過程,更關(guān)注物體的中心的像素坐標(biāo)和寬高比例.不從卷積層提取特征,而從攝像頭收集的深度圖像中計(jì)算的比例因子自動改變錨框的大小,將預(yù)測不同大小的物體.當(dāng)攝像頭角度發(fā)生變化時,計(jì)算的比例因子仍然不變,使得目標(biāo)檢測模型也能達(dá)到很強(qiáng)的適應(yīng)性和較高的準(zhǔn)確率.

2 實(shí)驗(yàn)

2.1 制作數(shù)據(jù)集

本文的數(shù)據(jù)來源于三甲煤礦不同機(jī)頭和機(jī)尾、不同的拍攝角度、不同的時間段的傳送帶監(jiān)控視頻數(shù)據(jù),具有代表性.三甲煤礦攝像頭采用KBA127 礦用隔爆型攝像儀安裝在各個傳送帶的正上方,距離傳送帶2 米,光源對準(zhǔn)傳送帶,采集10 段不同場景的視頻,每個場景包含有煤運(yùn)行、無煤運(yùn)行、無煤停止3 種類型的視頻,將視頻數(shù)據(jù)按每相鄰3 幀截成8000 張圖像數(shù)據(jù)集,挑選不同場景的、清晰的3500 張有煤(包括少煤、多煤),選擇3500 張無煤作為訓(xùn)練集,對訓(xùn)練集按照COCO 數(shù)據(jù)集標(biāo)注標(biāo)準(zhǔn)進(jìn)行標(biāo)注,生成XML 文件.選取沒有訓(xùn)練的1000 張圖像(有煤、無煤)作為測試集來驗(yàn)證實(shí)驗(yàn)的可靠性.

2.2 實(shí)驗(yàn)流程

首先對數(shù)據(jù)集進(jìn)行預(yù)處理,圖像裁剪將圖片尺寸裁剪為240×240,圖像池化使用卷積神經(jīng)網(wǎng)絡(luò)池化層的思想,對目標(biāo)區(qū)域的像素值起到平滑的效果.對預(yù)處理之后訓(xùn)練集使用YOLO_mark 工具進(jìn)行標(biāo)注,然后通過邊緣結(jié)構(gòu)相似算法每相隔10 幀比較圖像的相似度,連續(xù)比較3 次,若平均邊緣結(jié)構(gòu)相似性(MDESSIM)的值越低,則兩幅圖像的相似度越低,差異越大,則可以判斷傳送帶處于運(yùn)行狀態(tài).若兩幅圖MDESSIM的值不變,則傳送帶處于停機(jī)狀態(tài).當(dāng)傳送帶運(yùn)行時,通過改進(jìn)的YOLOv3 目標(biāo)檢測模型對目標(biāo)區(qū)域的煤炭進(jìn)行檢測,當(dāng)檢測到有煤時,認(rèn)為傳送帶上有煤運(yùn)輸.相反,在15 s 內(nèi)沒有檢測到煤炭,且傳送帶正在運(yùn)行,則判斷傳送帶處于空載狀態(tài),提醒工作人員實(shí)行空載時自動降速或停機(jī)的操作.

2.3 實(shí)驗(yàn)結(jié)果分析與對比

(1)圖像MESSIM的比較

選取測試集進(jìn)行測試,每隔10 幀計(jì)算圖像的MESSIM,如表1所示,分別計(jì)算第1 幀,第10 幀,第20 幀的MESSIM,不同圖像計(jì)算的MESSIM比較的結(jié)果如表1所示.

表1 不同幀的圖像MESSIM 比較

從表1可以看出,當(dāng)MESSIM的值為1 時,說明不同幀之間的圖像都相同,此時傳送帶處于停止?fàn)顟B(tài).而當(dāng)MESSIM的值隨著幀數(shù)的變化而降低時,圖像之間的相似度越來越低,說明傳送帶正在運(yùn)行.

(2)煤量檢測結(jié)果

將傳送帶運(yùn)行時的圖像通過改進(jìn)的YOLOv3 模型訓(xùn)練,檢測傳送帶上是否有煤,檢測結(jié)果如圖4所示.

在圖4中,傳送帶正在運(yùn)行,YOLOv3 自動檢測傳送帶上的煤量,并且根據(jù)煤流寬度,自動調(diào)整檢測框的大小,尤其在煤量少時,也不會出現(xiàn)誤測.當(dāng)連續(xù)20 s內(nèi)檢測到無煤時,就可以判斷傳送帶正在空載.

(3)實(shí)驗(yàn)對比

在制作的傳送帶數(shù)據(jù)集上通過YOLOv2、YOLOv3和本文提出的方法進(jìn)行對比,比較平均準(zhǔn)確率,結(jié)果如表2所示.

YOLOv2 通過改變錨框數(shù)量,得到不同的平均準(zhǔn)確率.根據(jù)表2的實(shí)驗(yàn)結(jié)果,說明當(dāng)YOLOv2 錨框的數(shù)量為2 時,檢測的平均準(zhǔn)確率較高,隨后增加錨框數(shù)量,就會出現(xiàn)過擬合現(xiàn)象.而YOLOv3的輸出為3 個特征圖,每個特征圖至少需要分配一個錨框,所以選擇的錨框數(shù)量為3 個.由表2結(jié)果可以看出,本文提出的方法準(zhǔn)確率達(dá)到了96.85%,與傳統(tǒng)的YOLOv2、YOLOv3相比,能達(dá)到更高準(zhǔn)確率.并且該實(shí)驗(yàn)在一張2080Ti顯卡上運(yùn)行的fps 可以達(dá)到30～40 之間,滿足實(shí)時性的需求.從而能夠更準(zhǔn)確的判斷出傳送帶的空載狀態(tài).

圖4 YOLOv3 模型上的檢測結(jié)果

表2 傳送帶數(shù)據(jù)集目標(biāo)檢測比較

3 結(jié)論與展望

本文針對煤礦井下傳送帶空載問題,提出了一種融合YOLOv3和邊緣結(jié)構(gòu)相似算法的井下傳送帶空載判定方法.首先運(yùn)用邊緣結(jié)構(gòu)相似算法比較圖像的相似度,從而判斷傳送帶的運(yùn)行狀態(tài).然后通過自適應(yīng)錨框機(jī)制的YOLOv3 目標(biāo)檢測模型檢測傳送帶上是否有煤.通過這兩個步驟判斷傳送帶的空載狀態(tài).實(shí)驗(yàn)結(jié)果表明,邊緣結(jié)構(gòu)相似算法能夠有效解決將空載狀態(tài)誤判為停機(jī)狀態(tài)的問題,準(zhǔn)確判斷傳送帶的運(yùn)行狀態(tài).自適應(yīng)錨框機(jī)制的YOLOv3 模型可以準(zhǔn)確、快速的檢測煤量.綜上,本文提到的傳送帶空載檢測方法能夠?qū)崟r可靠的檢測傳送帶的空載狀態(tài),達(dá)到節(jié)能降耗的目的.從而提高煤礦企業(yè)的生產(chǎn)效率、經(jīng)濟(jì)效益和能源利用效率、打造能約節(jié)約型企業(yè).但是本文沒有考慮光照、灰塵等因素對檢測造成的影響,這是下一步的研究方向.