基于視覺的選煤廠膠帶運(yùn)輸機(jī)故障監(jiān)測方法

聶龍飛

(西山煤電集團(tuán) 洗選管理中心, 山西 太原 030054)

膠帶運(yùn)輸機(jī)是一種選煤廠常用的運(yùn)輸設(shè)備。膠帶運(yùn)輸機(jī)在長時間高負(fù)荷的運(yùn)行過程中會因為膠帶材質(zhì)、機(jī)械故障以及運(yùn)輸物品中的異物等因素影響,出現(xiàn)跑偏、磨損、撕裂、穿透等故障[1],在運(yùn)輸量大的情況下會造成堆煤、落煤等事故。為此,利用計算機(jī)視覺的方法,采用工業(yè)相機(jī)實時捕捉膠帶故障,進(jìn)而實現(xiàn)故障的實時報警,達(dá)到預(yù)防更大事故發(fā)生的目的。

1 圖像目標(biāo)檢測算法

對于膠帶故障的檢測主要是利用基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法,目標(biāo)檢測的任務(wù)是檢測出膠帶故障,確定故障類型和位置。深度神經(jīng)網(wǎng)絡(luò)在圖像識別中的任務(wù)主要有分類、定位、檢測、分割[2]. 針對膠帶故障檢測問題可歸類到分類和定位。分類是指對故障類型進(jìn)行分類,視覺方法可以檢測到的故障包括膠帶橫向撕裂、膠帶縱向撕裂、膠帶磨損、膠帶跑偏。針對不同的故障類型,利用目標(biāo)檢測算法實現(xiàn)對以上幾種常見故障正確劃分類別。定位是指當(dāng)故障出現(xiàn)在圖像某個區(qū)域時,目標(biāo)檢測可以實現(xiàn)對故障位置鎖定,在圖像上進(jìn)行標(biāo)記,從而實現(xiàn)故障定位。

2 圖像預(yù)處理方法

膠帶運(yùn)輸機(jī)的工作現(xiàn)場往往照度低,存在粉塵和機(jī)械振動,會造成視頻圖像不清晰,直接影響計算機(jī)視覺故障檢測,需通過低照度圖像增強(qiáng)、圖像去模糊、圖像去霧保障膠帶故障檢測的準(zhǔn)確性。

2.1 直方圖均衡增強(qiáng)圖像

直方圖均衡(Histgram Equalization,HE)是圖像增強(qiáng)的經(jīng)典方法,灰度直方圖可以描述圖像灰度分布,利用直方圖統(tǒng)計圖像中屬于各個灰度值像素的個數(shù)[3]. 對于灰度級范圍在[0,L-1]的圖像,其灰度直方圖可以利用一個離散函數(shù)h(rk)表示,公式如下:

h(rk)=nk(k=0,1,…,L-1)

(1)

式中:rk代表第k級灰度值;nk代表屬于第k級灰度值的像素點個數(shù)。將式(1)歸一化后可以得到p(rk),計算公式如下:

(2)

當(dāng)灰度的分布集中于某一個局部區(qū)域時,其原圖的對比度越低,圖像越不清晰。直方圖均衡通過將低對比度圖像的灰度分布映射到整個灰度級范圍,使得原始圖像的局部灰度直方圖的分布變?yōu)槿糠秶木鶆蚍植肌Ｗ赃m應(yīng)直方圖均衡化效果圖見圖1. 從圖1可以看出,自適應(yīng)直方圖均衡化可以將原始圖像無法觀測到的故障區(qū)域恢復(fù),經(jīng)過增強(qiáng)的圖像更利于計算機(jī)視覺故障檢測。

圖1 自適應(yīng)直方圖均衡化效果

2.2 圖像去霧

粉塵、噴水降塵產(chǎn)生的選煤廠運(yùn)輸膠帶圖像不清晰問題,會影響后續(xù)計算機(jī)視覺任務(wù)的性能,尤其是膠帶的撕裂檢測和識別。因此對膠帶圖像進(jìn)行去霧、 去模糊預(yù)處理后,再送入故障檢測網(wǎng)絡(luò)。有霧圖像可用下面的模型來表示:

I(x)=J(x)t(x)+A(1-t(x))

(3)

式中:I(x)是觀察到的有霧圖像;J(x)是無霧狀態(tài)下的圖像;t(x)是大氣透射率,指被大氣散射后傳入到計算機(jī)的部分光。

去霧算法所實現(xiàn)的功能是從I(x)中恢復(fù)J(x),并計算出A和t(x). 透射率可以表示為t(x)=e-βd(x),其中β是大氣散射參數(shù);d是景深的函數(shù)關(guān)系,公式指出透射率與距離成指數(shù)關(guān)系減弱。本文采用Dehaze Net方法作為去霧算法。

Dehaze Net算法是利用深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)的去霧算法,通過對有霧圖像提取特征估計大氣散射參數(shù),生成透射率映射圖。利用估計的參數(shù)值和大氣退化模型對有霧圖像進(jìn)行恢復(fù)。Dehaze Net算法見圖2.

圖2 Dehaze Net流程圖

Dehaze Net利用非線性降維映射方法—Maxout unit,通過堆疊通道數(shù)為16的卷積核、4通道的Maxout unit模塊來實現(xiàn)有霧圖像的特征提取。Maxout層輸出的特征經(jīng)過多尺度特征提取可以得到原始特征的多尺度映射,多尺度特征可以幫助網(wǎng)絡(luò)生成更好的透射率圖。特征圖經(jīng)過7×7最大池化層可以獲取激活性最高的區(qū)域,并且抑制誤差,然后通過非線性回歸部分利用通道數(shù)為48的6×6卷積對疊加起來的特征圖提取特征,通過BReLU激活函數(shù)做非線性映射得到透射率圖。

DehazeNet需要利用有霧圖像進(jìn)行訓(xùn)練,通過神經(jīng)網(wǎng)絡(luò)尋找到有霧圖像的概率分布,利用自適應(yīng)的濾波器提取特征生成透射率圖,相對于Dark Channel Prior來說具有更強(qiáng)的魯棒性,同時算法中的卷積操作可以在GPU上運(yùn)算,加快了算法運(yùn)行速度,可以滿足去霧的實時性要求。

2.3 圖像降噪

膠帶圖像在采集過程中會因為環(huán)境電磁干擾和傳輸過程疊加上多種噪聲,降低了圖像的可辨識性。經(jīng)過圖像增強(qiáng)、去霧等預(yù)處理后,噪聲會被放大,影響后續(xù)的故障檢測。圖像中常見的噪聲有椒鹽噪聲、高斯白噪聲、泊松噪聲等。為了增強(qiáng)圖像的細(xì)節(jié)信息,減少噪聲對原圖的影響至關(guān)重要。圖像降噪方法有圖像濾波、小波變換、基于機(jī)器學(xué)習(xí)的降噪方法等,本文采用圖像導(dǎo)向濾波算法。

導(dǎo)向濾波是圖像處理領(lǐng)域常用的邊緣保持濾波器,通過參考導(dǎo)向圖像來計算輸入圖像的濾波輸出,可以有效地保留圖像中的邊緣信息。設(shè)輸入圖像為I,導(dǎo)向圖像為G,輸出圖像為O,則以圖像中某個像素c為中心的窗口wc上,導(dǎo)向圖像G與輸出圖像O有下式關(guān)系:

Op=acGp+bc

(4)

式中:p是wc窗口內(nèi)的任意像素,ac和bc是窗口wc上的恒定線性系數(shù)。對上式兩邊同時求梯度可以得到:

(5)

上式說明了導(dǎo)向圖像G與輸出圖像O存在對應(yīng)關(guān)系。線性系數(shù)ac和bc可以利用輸入圖像I獲取。導(dǎo)向濾波將輸出圖像O作為降噪后的圖像,即:

Op=Ip-up

(6)

式中:up為噪聲信息,利用線性嶺回歸可以確定線性系數(shù)ac和bc,設(shè)置損失函數(shù)為下式,優(yōu)化方向為最小化損失函數(shù)。

(7)

式中:ε為正則化參數(shù)用來約束和懲罰ac數(shù)值。

使用導(dǎo)向濾波對輸入圖像進(jìn)行降噪可以增強(qiáng)圖像中邊緣信息,讓圖像的特征更加明顯,同時濾波算法計算速度快,可以利用GPU加速運(yùn)算,滿足檢測故障的實時性要求。

3 膠帶撕裂和磨損檢測

設(shè)計的輸送帶撕裂和磨損的檢測系統(tǒng)硬件系統(tǒng)架構(gòu)見圖3.

圖3 輸送帶故障檢測硬件系統(tǒng)架構(gòu)

圖4 圖像采集裝置示意圖

圖3中嵌入式系統(tǒng)運(yùn)行深度神經(jīng)網(wǎng)絡(luò)模型,識別輸送帶是否有故障發(fā)生。發(fā)現(xiàn)故障時向監(jiān)控室傳送相關(guān)信息。攝像頭用來采集輸送帶圖像。

圖像采集裝置將圖像送入與其連接的嵌入式計算設(shè)備,隨后進(jìn)行圖像預(yù)處理和圖像增強(qiáng)。經(jīng)過增強(qiáng)的圖像送入深度神經(jīng)網(wǎng)絡(luò)提取圖像特征,然后送入到特征增強(qiáng)網(wǎng)絡(luò)和多尺度特征融合網(wǎng)絡(luò),故障檢測模塊對增強(qiáng)過的特征進(jìn)行分析判別,如果發(fā)現(xiàn)故障特征,則反饋故障位置和故障類型,系統(tǒng)根據(jù)該信息將發(fā)出報警信號提示當(dāng)前膠帶出現(xiàn)故障,提示工作人員及時維修,同時檢測的圖像和報警信息會上傳給選煤廠的監(jiān)控中心,監(jiān)控中心留存該記錄用于后續(xù)安全分析。系統(tǒng)工作流程見圖5.

圖5 系統(tǒng)工作流程

結(jié)合選煤廠膠帶運(yùn)輸機(jī)實際工作情況和檢測算法的實時性要求,選擇將原始視頻抽幀處理,每秒鐘等間隔抽取30幀圖片用于輸入檢測算法,檢測算法達(dá)到30 FPS即可以滿足實時監(jiān)測要求。

對于安全檢測來說,對檢測模型的檢測精度和檢測速度上都有一定的要求。選取one stage檢測算法作為故障檢測的基本框架,并且在此基礎(chǔ)上結(jié)合檢測速度更快的anchor free檢測算法,使研究的算法能夠滿足工業(yè)現(xiàn)場對檢測速度的要求。

4 膠帶跑偏檢測

由于選煤廠膠帶運(yùn)輸機(jī)運(yùn)行距離較長、運(yùn)輸機(jī)機(jī)架上的裝置可能存在安裝誤差、運(yùn)輸物料不均勻、運(yùn)輸時受到外力的拉扯等因素,膠帶會發(fā)生向一側(cè)偏移現(xiàn)象即膠帶跑偏。跑偏膠帶會與輸送機(jī)邊緣的裝置發(fā)生摩擦,長距離摩擦?xí)?dǎo)致膠帶邊緣磨損,與托輥發(fā)生摩擦也會導(dǎo)致輸送帶破損撕裂,若不及時糾正膠帶跑偏,可能會引發(fā)火災(zāi)造成重大事故。

膠帶跑偏定義為輸送帶整體偏移超過膠帶帶寬的5%,本文使用基于機(jī)器視覺的邊緣檢測方法檢測膠帶偏移角度,通過膠帶偏移角度是否超過5°判斷膠帶跑偏現(xiàn)象是否發(fā)生。

常用于邊緣檢測的方法有基于閾值分割的Otsu算法、改進(jìn)的Otsu算法、直方圖變換法、Canny算法以及改進(jìn)的Canny算法等。基于閾值分割的邊緣檢測算法運(yùn)行速度快,可以達(dá)到實時檢測的要求,但是其對噪聲敏感,魯棒性較差。因此選擇使用Canny邊緣檢測算法對膠帶邊緣進(jìn)行檢測,然后利用邊緣檢測的結(jié)果對膠帶邊緣線進(jìn)行建模,通過分析邊緣線偏移的角度確定當(dāng)前膠帶是否跑偏。跑偏檢測流程見圖6.

圖6 跑偏檢測流程

利用光學(xué)攝像機(jī)實時獲取圖像后進(jìn)行圖像預(yù)處理和增強(qiáng),減少原始圖像的噪聲使其邊緣特征更加清晰,然后將圖像灰度化處理,加快邊緣檢測算法的運(yùn)行速度。

5 評價指標(biāo)與實驗結(jié)果分析

5.1 評價指標(biāo)

對于實時膠帶故障檢測來說,故障區(qū)域的檢測效果,發(fā)現(xiàn)故障的時間以及故障模型的識別時間都是重要的性能參數(shù)。本文采用模型的檢測精度、模型的檢測速度來評價模型的性能。

為了更好地對模型進(jìn)行評價,可以使用平均精度(AP),該指標(biāo)利用查準(zhǔn)率和查全率PR曲線下方與坐標(biāo)軸圍成面積作為評價指標(biāo)[4]. 計算公式為:

(8)

式中:p(r)為PR曲線,在計算AP的基礎(chǔ)上在全部目標(biāo)類別上對AP計算平均值得到平均精確度均值(mAP). 選取IoU閾值0.5和在[0.5,0.95]每隔0.05得到的AP值計算平均值得到AP@0.5和mAP作為膠帶故障檢測模型的評價指標(biāo)。

對于膠帶故障檢測網(wǎng)絡(luò),從撕裂、磨損故障的出現(xiàn)到被檢測出來的時間是檢測網(wǎng)絡(luò)的計算耗時,耗時越短則檢測網(wǎng)絡(luò)的性能越好。選擇單位時間的檢測幀數(shù)FPS作為評價模型檢測速度的指標(biāo),基于FPS計算模型n次推理時間tn,將v=tn/n作為模型最終的檢測速度。為了綜合評價嵌入式膠帶故障檢測裝置的識別速度,使用綜合檢測效果、檢測速度的評價指標(biāo)E,計算方法如下:

E=m*accuracy*100+n*speed

(9)

式中:m=0.2;n=0.8.

5.2 實驗結(jié)果分析

膠帶故障檢測模型性能選擇了SSD和CenterNet模型進(jìn)行對比實驗。所有的模型均使用了數(shù)據(jù)增強(qiáng)和預(yù)處理算法,以保證輸入數(shù)據(jù)是相同的,并且所有模型均在ImageNet數(shù)據(jù)集上做了預(yù)訓(xùn)練。對比實驗結(jié)果以檢測效果、檢測速度、綜合評價指標(biāo)值進(jìn)行評價,得到的測試結(jié)果見表1.

表1 模型測試結(jié)果

對比實驗結(jié)果可知,本文所提的檢測算法在檢測精度上好于SSD,明顯強(qiáng)于CenterNet. 檢測速度上大幅領(lǐng)先SSD、CenterNet,同時本文所使用的算法具有更少的參數(shù)量,這對于部署到嵌入式計算設(shè)備更有優(yōu)勢。E∶AP@0.5和E∶AP@[0.5,0.95]分別達(dá)到了131.8、121.8,準(zhǔn)確率在上述算法中最高。綜合來看本文所提的算法更準(zhǔn)確。

6 結(jié) 語

隨著計算機(jī)視覺技術(shù)的日趨成熟和邊緣計算技術(shù)的快速發(fā)展,基于深度學(xué)習(xí)的計算機(jī)視覺技術(shù)在各行各業(yè)的應(yīng)用前景愈發(fā)廣闊。基于計算機(jī)視覺提出選煤廠膠帶運(yùn)輸機(jī)撕裂跑偏等故障的監(jiān)測方法,使用直方圖均衡增強(qiáng)圖像、圖像去霧、圖像降噪對圖像進(jìn)行預(yù)處理,提出了膠帶撕裂和磨損檢測模型以及膠帶跑偏檢測方法,提出了一種基于邊緣檢測的皮帶跑偏檢測算法,通過對比實驗驗證了提出方法的有效性。將其用于工業(yè)生產(chǎn)中對于提高煤礦安全監(jiān)控和管理水平具有重要的意義 。