基于深度學習的工業傳送帶異物檢測研究

陸強　徐林　楊凌珺　何勝方　張輝　盧兆林

摘? 要：在大型工業生產企業，工業用料主要通過傳送帶運輸，需要用大量視頻監控設備實時觀察傳送帶，以防各類生產工業原料的運輸過程中傳送帶出現異物導致的偏移、折疊、撕裂、發熱起火等意外情況對工廠人員與財物造成危險。為了避免監控過程巨大的人力消耗，提出一種基于改進CenterNet的傳送帶異物檢測方法。針對實時監控對計算速度性能的需求，對深度學習網絡進行改進，采用深度可分離卷積替換殘差結構以減少計算參數，引入具有線性瓶頸逆殘差結構以避免參數減少帶來的精度損失;針對傳送帶上異物具有多尺度、多角度特性，引入多尺度特征模塊以增強網絡感受野、優化特征提取;最后實現了工業傳送帶異物檢測系統。應用該系統在馬鞍山鋼鐵集團的港務原料廠進行實驗測試，結果表明，應用改進CenterNet算法的系統可有效進行工業傳送帶異物及狀態突變的監控。

關鍵詞：異物檢測;視頻監控;深度學習;深度可分離卷積

Abstract：? Most ore is mainly transported by conveyor belts. A large number of video surveillance equipments need to be used to observe the conveyor belt in real time to prevent accidental conditions such as deviation， folding， tearing， heat and fire caused by foreign objects in the conveyor belt during material transportation， which may cause danger to the personnel and property of the industrial facilities. In order to avoid the huge manpower consumption in the monitoring process， a foreign object detection method based on improved CenterNet is proposed. In response to real-time monitoring requirements for computing speed and performance， the deep learning based network is improved by using deep separable convolution to replace the residual structure to reduce calculation parameters， and then introducing an inverse residual structure with a linear bottleneck to avoid the loss of accuracy caused by parameter reduction; The foreign object on the conveyor belt has multi-scale and multi-angle characteristics. Multi-scale feature modules are added to enhance the network receptive field and optimize the feature extraction. Finally， the industrial conveyor belt foreign object detection system is realized. Using this system， the experimental test was carried out in MASteel Group. The results show that the system using the improved CenterNet algorithm can effectively monitor the foreign object and state mutations of the industrial conveyor belt.

Keywords： foreign objects detection; video surveillance; deep learning; deep separable convolution

0引 言：

大型傳送帶是工業運輸的關鍵設備。隨著產能的增加，對各類工業傳送帶在載重、速度和運輸距離等方面的要求也越來越高。可是由于長度，傳送帶上的物料復雜性等，傳送帶容易發生偏移、折疊、發熱起火、撕裂、斷裂、堵料等安全事故。一方面，安全事故極易造成人員傷亡;另一方面，傳送皮帶作為帶式輸送機的主要結構，造價與維修價格十分昂貴。因此，保障工業傳送帶安全穩定運行，對保障生產安全和工業產能具有重要意義。

根據有關統計，在常見的傳送帶異常事故中，大部分都屬于傳送帶撕裂[1]。該事故的主要原因是異物誤入傳送帶，常見的異物有錨桿、槽鋼等鐵器和矸石。迄今為止，傳送帶保護研究主要集中在皮帶縱向撕裂的檢測上[2]，在一定程度上減少皮帶撕裂后所造成的損失，但不能從根本上杜絕傳送帶被破壞。本文擬從傳送帶發生意外的根本原因出發，旨在設計并實現在異物對傳送帶造成影響之前及時發現并向工作人員報警的系統，以保障工業作業穩定安全運行。

目前的文獻中，多應用射線法[3]進行煤礦傳送帶的異物檢測。射線法通過不同元素對射線能量吸收系數的不同區分某些礦產，比如煤與非煤異物。但該方法成本高，難度大，且射線探測器的輻射對井下作業人員存在極大的安全隱患。而對于地面作業的大型工廠比如馬鋼的原料廠而言，方法并不多。現在采用監控攝像頭檢測異物的方式更受歡迎，因為攝像頭設備安裝維護簡單，成本較低。但是隨著工業傳送帶越來越長，攝像頭布置越來越多，監控顯示屏數量遠少于攝像頭，且人工24小時監控也需要大量的人工成本，所以怎么用機器取代人工監控一直是廣大研究者的研究熱點。

近年來，隨著機器學習與人工智能的飛速發展，基于卷積神經網絡的目標檢測方法成為計算機視覺的研究重點，基于深度學習的異物檢測方法也在工業上得到了廣泛應用。目標檢測方法主要有Anchor-Based和Anchor-Free兩種。Anchor-Based以兩階段的Faster R-CNN[4]和Mask R-CNN[5]及一階段的YOLO[6][7]、SSD、RetinaNet等為代表，相比于傳統的人工設計特征的機器學習目標檢測算法，Anchor-Based方法在檢測精度上取得了巨大進步，但高精度的帶價是需要人工設置大量anchor，進而引入大量超參數，這些超參數的設置有很大的不確定性。為消除anchor的缺陷，提出Anchor-Free方法，即用關鍵點代替anchor-based方法中的anchor，主要代表算法有CornerNe、FCOS、CenterNet等。

上述算法均可實現工業傳送帶異物檢測，但要綜合考慮工業傳送帶異物檢測的精度和實時性要求，受CenterNet網絡啟發，在其基礎上，針對實時性要求提出深度可分離卷積和逆殘差結構改進網絡，針對傳送帶上異物多尺度的情況，提出金字塔池化模組，聚合不同區域的上下文從而達到獲取全局上下文的目的。實驗結果表明，本文提出的算法可在不依賴錨框的情況下，準確檢測出傳送帶上異物，滿足工業傳送帶異物檢測系統的速度和精度要求，算法可擴展性較好。

1 CenterNet算法

CenterNet是一種將目標檢測問題轉化為關鍵點估計問題的Anchor-Free目標檢測算法。該算法將待檢測物體用中心點替代，借助熱力圖確定物體中心并回歸出物體的高度，寬度等其他屬性。

CenterNet常用的有卷積殘差網絡（Upconvolutional Residual Networks， ResNet），深層特征融合網絡（Deep Layer Aggregation，DLA） 以及沙漏網絡（Hourglass Network）三種主干網絡。上述三種主干網絡的內部結構各不相同，但均為完整的編解碼網絡。其結構的輸出是三個獨立的預測值，分別為類別信息，中心點坐標預測，中心點偏置，該輸出是通過在模型的最后輸出部分增加三個網絡構造加以實現。在使用CenterNet算法時，無需多尺度的設計，無需實現設置錨框，這在很大程度上簡化了結構，避免了復雜的相關超參數選取。

2 CenterNet的改進

2.1Hourglass網絡改進

在常用的三個主干網絡結構中，ResNet速度稍快，Hourglass精度最高，所以我們選擇在Hourglass-104[6]網絡上進行改進。

其中如圖所示的一階模塊，可見Hourglass網絡最基本的網絡單元是殘差模塊，該單元承擔了整個網絡絕大部分計算操作，但其計算參數相當多，而本文要實現工業傳送帶異物檢測系統的實時應用，對網絡速度性能要求非常高，所以針對殘差單元的改進是必須的。為了提高殘差單元的計算速度，引入逆殘差結構，該結構之所以能極大提升網絡計算速度，起主要作用的是其中的深度可分離卷積（Depthwise Separable Convolution， DSC）模塊。假設輸入數據為，其中分別為特征圖像batch_size的大小、通道數、寬高。做3x3的卷積操作，標準卷積的計算量式（2-1）為：

由此可見，當處理的數據越多時，深度可分離卷積帶來的速度收益越明顯。在此基礎上，我們為了獲得更高的精確度，需要從特征圖中獲取更多的信息，因此引用了逆殘差結構。逆殘差結構和殘差網絡正好相反，它是首先獲取大張量，再將它縮小。逆殘差結構首先利用擴展層（Expansion layer）進行維度的擴展，然后使用深度可分離卷積提取特征。為使網絡重新變小，使用投影層（Projection layer）對數據進行壓縮。在擴展層和投影層當中都有可以學習的參數，所以整個網絡結構可以學習如何更好地擴展和重新壓縮數據。逆殘差網絡結構。

2.2多尺度特征融合

傳送帶上異物出現在攝像頭后，由遠及近再由近及遠，其分辨率隨著距離時刻發生變化，所以工業傳送帶異物檢測系統需要適應不同尺度、不同類別的目標。為了增強算法對不同尺度異物檢測的魯棒性，進一步提高檢測精度，引入PPM（Pyramid Pooling Module，金字塔池化模塊）[7]。

在利用GAP （Global Average Pooling， 全局平均池化）融合全局上下文信息時，其集成和提取信息的能力有限。因此單純使用GAP將信息壓縮到一個通道中有可能會造成大量有用信息的丟失。這里引入PPM模塊將不同感受野的特征和子區域的特征融合加以增強特征表征能力。PPM模塊將上級網絡提取出的特征圖分為兩個部分。將其中一個部分分為多個子區域分別進行全局平均池化后利用的卷積調整其通道大小，再使用雙線性插值獲得未池化前的大小，最后融合兩個部分，由此得到channel數增加1倍的特征圖。最后，通過1×1卷積實現多尺度特征融合，有效提高了網絡在檢測小尺度輸送帶異物空間位移時的魯棒性，提高了不同尺度異物的檢測效果。

3 實驗與分析

本文數據集均在馬鋼集團的港務原料廠傳送帶上采集，總共采集34條膠帶，30天內在每個小時開始后5分鐘內的運行視頻。視頻已覆蓋各膠帶在不同光線、不同物料、不同天氣狀態下的各類樣本。因各個攝像頭的配置規格不同，平均每秒可采集10張圖片。另，通過在料堆廠中采集了11種常見物料的狀態，并且采集了常見異物在料堆中的位置、形態等。綜合以上采集圖片，達到每種樣本平均8000以上的采集量，之后將所有采集到的照片分類、匯總，再利用各類反轉、鏡面方法，針對不同的視頻圖片進行拓展生成。其可使用的圖片數也已經實現了平均8倍的增長。最終建立了十萬級別數量級的大型數據庫。其中70%作為訓練集，20%作為驗證集，剩下10%作為測試集。

經過大量訓練后，網絡基本達到收斂狀態。為驗證算法性能，在相同實驗平臺，相同訓練數據下，與不同檢測網絡性能做對比測試，測試結構如表1。

可以看出，改進后的算法與原算法相比，平均檢測時間縮減了近130ms，檢測精度也提高了8%左右。相比于兩階段的Faster R-CNN算法，我們的算法雖然精度稍低，但計算速度有著巨大優勢，相比于一階段的YOLOv3算法，我們的算法檢測速度和精確度都有一定優勢，結果表明，本文提出的算法在檢測速度與精確度上在目前主流算法中均有較大優勢。

從測試集中隨機挑選四張測試圖片，用本文提出的算法進行測試，檢測結果如圖6所示，可以看出本文算法對于小尺度（如瓶子）和大尺度（如箱子）等各類目標均能準確檢測，尤其是在由近及遠的過程中，本文算法能穩定識別同一個物體不同分辨率的樣子。

4 系統結構設計與實驗分析

工業傳送帶異物檢測系統，主要包括布置在傳送帶上的工業相機、計算機及報警系統。

異物檢測系統運行流程為：

（1）工業相機24小時不間斷監控傳送帶，并將視頻流實時傳輸給計算機。

（2）計算機運行傳送帶異物檢測軟件，實時分析工業相機傳輸過來的畫面，若發現有異物出現在傳送帶上，則向報警器發出信息。

（3）報警器響起警報，提醒工作人員及時清理傳送帶上的異物以保障傳送帶安全穩定運行。

工業傳送帶異物檢測軟件子系統包括監控視頻讀入，并對每一幀圖像進行預處理，再由改進后的CenterNet算法進行自動檢測，將檢測結果反饋到軟件界面上，若出現異物及時報警。

軟件運行界面。

5 結論

本文針對馬鋼工業傳送帶異物實時監控對計算速度性能及精度的要求，在CenterNet目標檢測算法的基礎上，首先引入了逆殘差網絡結構，減少網絡參數，提高計算速度，然后加入特征融合模塊以解決傳送帶上物體分辨率變化問題，最后實現了完整的工業傳送帶異物檢測系統，并在馬鋼的港務原料廠得到初步應用。如何進一步提升算法速度與精確度，并搭配機器人實現異物自動分揀功能，從而實現去人工化，進一步降低安全隱患是后續工作的重點研究方向。

參考文獻（References）

[1]李偉偉.皮帶運輸機在煤礦運輸中常見故障與處理[J].西部探礦工程，2019，31（12）：85-86.

[2]曹虎奇.煤礦帶式輸送機撕帶斷帶研究分析[J].煤炭科學技術，2015，43（S2）：130-134.

[3]葛學海，白云飛，陳鵬，張立功.煤與矸石分離系統中X射線探測器的設計[J].選煤技術，2017，{4}（06）：64-67.

[4]Ren S ，? He K ，? Girshick R ， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：1137-1149.

[5]He K ， Gkioxari G ， P Dollár， et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017.

[6]Redmon J ， Divvala S ， Girshick R ， et al. You Only Look Once： Unified， Real-Time Object Detection[J]. IEEE， 2016.

[7]Redmon J ， Farhadi A . YOLO9000： Better， Faster， Stronger[C]// IEEE. IEEE， 2017：6517-6525.