礦井帶式輸送機膠帶表面異物視頻檢測系統設計研究

蒲志強

(陜西長武亭南煤業有限責任公司，陜西 長武 713600)

在煤炭運輸過程中，錨桿、木塊、木桿、大塊煤等異物經常對帶式輸送機造成損壞，導致煤礦停產，造成巨大的經濟損失。因此，應對帶式輸送機上的異物進行實時監測，以盡量減少煤礦企業事故發生的概率、影響程度和經濟損失。目前，帶式輸送機上外來物體檢測的主要方法是人工檢測、射線法和圖像識別法。人工檢測方法要求工人整天用眼睛觀察膠帶表面，容易引起工人視覺疲勞，造成煤礦安全隱患[1]。射線法利用射線反射吸收的不同能量進行煤與非煤物質的識別，但該方法所使用的相關設備費用昂貴，維護困難。對于圖像識別方法，可以利用煤礦井下的高分辨率攝像機采集圖像，然后通過計算機進行智能檢測。該方法安裝和維護簡單，檢測效率高，因此具有廣闊的應用前景。 目前SSD算法也有一定的缺陷：SSD具有大量的參數，對GPU的依賴性很強，同時在設計中考慮了各種目標對象的大小，設置了各種比例的識別框，但當目標對象較大時，原來的識別框設置比例不適合檢測。 為此，針對目前視頻檢測存在的缺陷，從以下幾個方面進行了改進：調整網絡的卷積模式，減少網絡參數的數目，提高網絡的運行速度。

1 基于改進SSD的膠帶表面異物檢測

1.1 SSD檢測框架設計

SSD 算法模型分為2部分：①第1部分是特征提取網絡，利用VGG16協議對輸入圖像進行特征提取；②第2部分是多尺度特征檢測網絡，通過逐層減少匯集產生的特征映射[2]，在每層特征映射上生成多個識別框，然后根據多個卷積預測目標物體的位置和類別，最后通過非最大值抑制方法得到最終檢測結果，實現多尺度特征映射的檢測。其結構如圖1所示。

圖1 SSD檢測技術網絡結構Fig.1 Network structure of SSD detection technology

SSD和YOLO的方法都使用CNN網絡來提取圖像特征，但SSD網絡提取不同大小的特征映射來檢測圖像中不同大小的目標。同時，SSD還借鑒了Faster r _ SSD中生成錨點的方法[3]，并設置了具有不同縱橫比和不同尺度的識別檢測框。

(1)采用多尺度特征映射進行檢測。多尺度特征映射是一個不同大小的特征映射。在SSD中，特征映射會隨著操作發生變化，特征映射向前越遠，特征映射越大，特征映射向后越遠，特征映射越小。如圖2所示，較大的特征映射和較小的特征映射都用于檢測，目的是用較大的特征映射檢測較小的對象，用較小的特征映射檢測較大的對象。圖2中，8×8的特征圖可分為更多的單元，可以檢測較小的目標，而4×4的可分單元較小，可以檢測較大的目標[4]。

(2)設置識別框。生成識別框時，由于對數據層的處理，每個數據層提取的特征映射也是不同的。提取SSD中Conv4_3、 Conv7、 Conv8_2、Conv9_2、Conv10_2、Conv11_2的應用層輸出作為檢測特征映射，其識別分辨率大小分別為(38，38)、(19，19)、(10，10)、(5，5)、(3，3)、(1，1)。然而，對應于不同大小的特征映射的識別框的數量和識別框的大小是不同的。

圖2 不同檢測網格大小的特征Fig.2 Features of different detection grid sizes

(3)Loss函數的定義。為了判斷網絡訓練所得到的預測結果與實際情況之間的誤差，在網絡訓練的SSD 中引入了一個損失函數，包括位置誤差和置信誤差。位置誤差損失函數的計算通過預測結果識別框坐標與GT圖像坐標之間的誤差進行度量。

1.2 改進的SSD算法設計

盡管SSD比r_SSD和YOLO更快，但它仍難以滿足實時需求。為此對SSD進行了以下改進[5]。

(1)SSD模型的主干網絡為VGG16，主要用于圖像特征提取，但該網絡參數較多，需要較長的時間提取圖像特征。為此，引入深度可分卷積來簡化特征提取網絡，減少了網絡參數的數量，提高了網絡的運行速度。

(2)對于SS的位置損失函數，只能根據識別框與GT圖像之間的度量損失，而忽略了重疊區域的大小。因此，引入了GIOU來代替原始損失函數中的位置損失函數，提高網絡定位精度。

(3)當SSD網絡被應用時，識別的識別框被設計用20個不同大小的物體。本文中目標對象的類型較少，而目標對象的體積較大。因此，網絡識別框的生成方法并不完全符合這一點。為此，本文將優化網絡識別框和特征提取層的大小，以提高網絡的準確性。

1.3 深度可分離卷積原理

在深度學習中，網絡結構比較復雜，參數也比較多，計算機的計算能力和存儲空間相對較大。當標準卷積網絡被深度可分卷積(DSC)代替后，網絡參數的數量減少，運行速度提高。標準卷積如圖3所示。

圖3 標準卷積示意Fig.3 Schematic diagram of standard convolution

深度可分卷積將標準卷積分解為深度卷積和逐點卷積，對輸入圖像進行深度卷積生成輸出，然后利用1×1的卷積核對深度卷積結果進行點卷積生成最終輸出，提高了視頻識別的算法速度以及識別率[6]。深度卷積如圖4所示。

圖4 深度卷積示意Fig.4 Schematic diagram of depth convolution

2 基本網絡的優化改善

2.1 基本網架構

在計算機視覺領域，注意力機制被廣泛用于提高網絡性能。在這項研究中，由于現時目標檢測方法是基于解析力的分割方法，這個網絡的架構包括編碼器、解碼器和辨識模塊，聯合預測過程如圖5所示。

圖5 基本網絡條件下算法預測過程示意Fig.5 Schematic diagram of algorithm prediction process under basic network conditions

同時由于顯示模型的時間和空間復雜性，提出采用的浮點運算模型具有空間復雜度，辨析頻率達到40.35 Hz[7]。該網絡由以下3個組成部分組成[8]。

(1)編碼器。特征采用深度可分卷積提取，最大限度地用于采樣，以獲得多比例尺特征映射。低層特征具有更高的分辨率并包含更多的位置和細節，但它們的語義較低。高級特征具有更強的語義信息，但分辨率低、細節感差。因此，為了提高模型的性能，融合了多尺度特征映射。

(2)解碼器。使用轉置卷積來增加抽樣特征映射恢復空間維度。連接層用于融合多尺度特征，這允許上下文將信息傳播到高分辨率層，加強了特征圖的細節和增強了特征表示和識別。

(3)辨識模塊。SSD設計有辨識模塊，以提高對前景像素的敏感度，使SSD能夠自動學習聚焦于不同形狀和大小的目標輪廓，可以突出顯著區域，但無法抑制無關區域背景。

2.2 網絡條件下特征圖辨析規定

在SSD中，為了檢測不同大小的目標對象，分別從Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv8_2層次提取了不同大小的特征圖[9]。其中，大的特征映射被用于圖像處理檢測小的物體，而小的特征映射可以用來檢測大型對象，同時，識別框在每個中心點設置不同的長寬對每個特征映射進行檢測。

在這個實驗中，煤、錨桿、木塊、木桿對于圖像中相對較大的區域識別工作尤為關鍵，所以當特征提取了一個較小的特征映射，可以提取一個較小的特征映射到探測目標物體，如錨桿、木塊在識別框生成時，方形識別框的長寬比為1。此時的長寬比是特征圖中識別框的比例層，相對于原始圖形，Smax和Smin分別代表識別框的最大值和最小值。一般選取Smax=0.9、Smin=0.2[10]。長度和寬度是相應識別框的長度和寬度，不能隨意設定。

2.3 影響SSD網絡的因素

(1)不同尺度的特征映射對網絡性能的影響。在SSD中，利用CNN網絡對圖像進行特征提取。特征映射越高，特征映射越大，特征映射越低，特征映射越小。在檢測過程中，較小的對象被大的特征映射檢測到，較大的對象被小的特征映射檢測到，網絡的準確率可達87.1%，但當特征映射減少時，網絡的準確率相應降低[11]。當大特征映射減少時，網絡性能受到的影響較小，而當小特征映射提取減少時，網絡性能受到很大影響。大特征映射被充分利用來檢測小目標，小特征映射被用來檢測大目標，從而提高了檢測精度，這也是SSD網絡性能較好的一個主要原因。

(2)不同識別框長寬比對網絡性能的影響。在SSD網絡中，具有不同長寬比的識別框也會影響SSD網絡的性能。不同高寬比的識別框越多，網絡的精度越高，但也增加了計算量，降低了運行速度。

3 工程實驗環境的建立

3.1 實驗裝置

圖6 控制系統和機械裝置裝配Fig.6 Control system and mechanical device assembly

此外，由于生產環境中粉塵較大，圖像采集裝置配備了相機鏡頭除塵裝置。所有的組件都已安裝在一個映像采集室，減少現場的不均勻照明，如圖7所示。該系統的核心是1臺計算服務器，由CPU(Intel(R)Core(TM)i7 9600 K@12核心3.7 GHz)、16 GBRAM(隨機存取內存、內存)和GPU(NVIDIAtitanXP圖形)組成，保證實時檢測。PLC控制器系統主要由PLC、定位模塊、通信模塊組成，連接通信模塊與計算服務器一起進行數據傳輸，并利用該定位模塊來控制操縱器裝置。

3.2 靜態圖像識別訓練

通過靜態方式收集的圖像識別數據并進行整理，共收集了13 251幅原材料圖像，其中9 357幅含有異物。通過人工計數，發現每張圖像中包含40個碎片(包括煤、煤矸石和異物)。該數據集包括4種異物：硬棒、剛性木板、軟繩和軟布。異物的辨識情況如圖8所示。

圖7 圖像數據收集與照明輔助部件安裝示意Fig.7 Schematic diagram of image data collection and installation of lighting auxiliary components

據統計，有剛性異物11 930件，其中棒狀物體為10 112件及板樣物體為1 818個。軟異物分為繩狀物體(304 632件)和布樣物品。此外，異物周圍散落著煤矸石碎片535 308塊。

從統計結果可知，樣品中剛性異物的數量遠多于軟異物(約12∶1)。在剛性異物中，棒狀物體的數量最多，占異物總數的78.59%。 圖像樣本中材料類別之間的嚴重不平衡，影響CNN網絡應用的適應性訓練成果。因此，應當使用數據增強功能并且結合實際工程實踐來提高模型檢測的性能。

圖8 各類異物的辨識效果Fig.8 Recognition effect of various foreign objects

4 研究結果的實踐應用

4.1 多個圖像識別方法的對比分析

為了評價建議的有效性方法，進行了準確性對比實驗。該方法與le-net5，PCANet+SVM進行了三級分類試驗。

從數據集中選擇的不同數字的圖像數據，包括沒有異物、小異物和大型異物以及大小實驗數據集是200、500、1 000、2 000和2 500個。實驗結果是平均識別率經過多次實驗后所得到的結果記錄，不同異物識別方法的準確率對比分析見表1。根據實驗結果可知，改進后的SSD方法的視頻識別準確率是高于其他方法的。

K1+160—K1+310高邊坡開挖后形成6級邊坡，計算得其安全系數、破壞概率、風險計算結果均超過規范要求，故需對該邊坡進行治理，運用坡腳擋墻結合預應力錨索施工措施。詳細加固措施見表1，施工斷面圖見圖4。治理加固總費用為229.8721萬元，具體見表6。

表1 不同異物識別方法的準確率對比分析Tab.1 Comparison and analysis of the accuracy of different foreign body recognition methods

4.2 動態圖像識別效果

該模型選擇了礦山傳送帶監控視頻幀圖像，形成數據集，然后訓練圖像分類模型。煤礦監控視頻數據從不同工作面的監控錄像數據中提取，并且來自不同的采煤機、膠帶和采煤機在不同區域的視頻圖像，每秒鐘獲取一個視頻圖像幀。根據訓練圖像的辨識，圖像煤礦的視頻幀是基于是否含有異物及異物大小和數量分為3類：沒有異物、小異物及大異物，每個類別包含3 000張圖片，如圖9所示。

圖9 不同類型異物類別的識別圖像Fig.9 Recognition images of different types of foreign body categories

4.3 非煤異物實驗數據驗證統計

以錨桿、角鐵、螺母等異物為例，設計了1 178個異物樣品。其中，錨桿出現412次，角鐵出現358次，螺母出現388次。經計算可得：3種異物的預測精確率分別為88.3%、90.2%和93.0%，召回率分別為94.3%、93.6%和95.5%，平均準確率為90.5%。用實際工程實驗驗證對SSD模型改進前后的異物檢測精確率和召回率進行統計，結果如圖10、圖11所示。

圖10 非煤異物預測精確率Fig.10 Non-coal foreign matter prediction accuracy rate

圖11 非煤異物預測召回率Fig.11 Predicted recall rate of non-coal foreign matter

由圖10、圖11可看出，利用Focal Loss函數改進SSD檢測模型后的精確率和召回率明顯提升。經計算，錨桿、角鐵、螺母的平均精確率分別提升了約4.7%、3.5%和6.8%，平均召回率分別提升了約6.6%、3.5%和6.0%。

5 結語

針對煤礦井下帶式輸送機輸送帶表面異物檢測問題，優化了主干網絡、損耗函數和SSD算法的基本網絡。采用深度可分網絡代替SSD算法的骨干網絡，減少了代替后的算法參數數目，提高了運行速度，但也略微降低了檢測精度，Focal Loss函數再次得到優化，并且代替原有的位置損失數據的表達，克服了識別圖框與工程實時圖像重疊被忽略的問題，提高了檢測精度，優化了特征映射的提取層和識別框的長寬比，提高了大目標的檢測精度。實驗結果表明，優化后的檢測精度更高，檢測速度更快。改進后的模型能夠有效地提高模型的預測精度，基于深層神經網絡模型的圖像分類精度與一般圖像分類精度比較更加清晰。因此，本文所研究的模型和檢測系統具有較強的工程實用性，并且具有較好的可擴展性，易于進行理論分析，在工程領域具有較好的應用前景。

參考文獻(References)：

[1] 王媛彬.煤礦煙霧的計算機視覺檢測方法[J].遼寧工程技術大學學報(自然科學版)，2016，35(11)：1230-1234.

Wang Yuanbin.Computer vision detection method of coal mine smoke[J].Journal of Liaoning Technical University(Natural Science Edition)，2016，35(11)：1230-1234.

[2] 王福斌，孫海洋，Paul T.U.邊緣擴展的膠帶撕裂支持向量機視覺檢測[J].中國機械工程，2019，30(4)：455-460.

Wang Fubin，Sun Haiyang，Paul T.U.Support vector machine vision detection of belt tearing with edge extension[J].China Mechanical Engineering，2019，30(4)：455-460.

[3] 趙金憲，王亞晶.基于DSP的頂板破碎程度圖像處理系統研究[J].機械制造與自動化，2011，40(5)：106-107.

Zhao Jinxian，Wang Yajing.Research on the image processing system of roof fracture degree based on DSP[J].Machinery Manufacturing and Automation，2011，40(5)：106-107.

[4] 陳湘源.基于超聲波的帶式輸送機多點煤流量監測系統設計[J].工礦自動化，2017，43(2)：75-78.

Chen Xiangyuan.Multi-point coal flow monitoring system design based on ultrasonic belt conveyor[J].Industry and Mine Automation，2017，43(2)：75-78.

[5] 郝志偉.基于機器視覺識別技術的煤礦帶式輸送自適應控制系統設計[J].煤炭工程，2019，51(9)：37-41.

Hao Zhiwei.Design of coal mine belt conveyor adaptive control system based on machine vision recognition technology[J].Coal Engineering，2019，51(9)：37-41.

[6] 代偉，趙杰，楊春雨，等.基于雙目視覺深度感知的帶式輸送機煤量檢測方法[J].煤炭學報，2017，42(S2)：547-555.

Dai Wei，Zhao Jie，Yang Chunyu，et al.Coal detection method of belt conveyor based on binocular visual depth perception[J].Journal of China Coal Society，2017，42(S2)：547-555.

[7] 李紀棟，蒲紹寧，翟超，等.基于視頻識別的帶式輸送機煤量檢測與自動調速系統[J].煤炭科學技術，2017，45(8)：212-216.

Li Jidong，Pu Shaoning，Zhai Chao，et al.Belt conveyor coal quantity detection and automatic speed regulation system based on video recognition[J].Coal Science and Technology，2017，45(8)：212-216.

[8] 趙謙，王奕婷，曾召華，等.一種礦井巷道圖像邊緣檢測算法[J].工礦自動化，2013，39(2)：71-75.

Zhao Qian，Wang Yiting，Zeng Zhaohua，et al.An algorithm for edge detection of mine roadway images[J].Industry and Mine Automation，2013，39(2)：71-75.

[9] 張明輝，王建武，劉極智，等.基于機器視覺的軸承溝道曲率半徑在線檢測[J].機床與液壓，2019，47(16)：50-54.

Zhang Minghui，Wang Jianwu，Liu Jizhi，et al.On-line detection of curvature radius of bearing groove based on machine vision[J].Machine Tool and Hydraulics，2019，47(16)：50-54.

[10] 高德芝，鄭榜貴，段建民.基于逆透視變換的智能車輛定位技術[J].計算機測量與控制，2009，17(9)：1810-1812.

Gao Dezhi，Zheng Banggui，Duan Jianmin.Intelligent vehicle positioning technology based on inverse perspective transformation[J].Computer Measurement and Control，2009，17(9)：1810-1812.

[11] 曹月花，羅文廣，藍紅莉，等.復雜環境下道路車道線識別算法的研究[J].現代電子技術，2017，40(14)：109-113.

Cao Yuehua，Luo Wenguang，Lan Hongli，et al.Research on road lane line recognition algorithm in complex environment[J].Modern Electronic Technology，2017，40(14)：109-113.