智慧礦山皮帶運輸機堵煤視頻智能識別算法研究綜述

趙學軍 楊征

中國礦業大學（北京）機電與信息工程學院

0 引言

隨著人工智能、大數據、物聯網等技術的飛速發展，各個行業都朝著智能化的方向發展，但是在煤礦行業的信息智能化程度還有待提高。煤礦行業實現智能化發展，可以有效降低煤礦生產的經濟成本，減少安全事故的發生。因此，跟隨社會科技的發展，智慧礦山建設成為煤炭行業發展的必然趨勢。

目前，國內大多數煤礦實現了視頻監控，但是對皮帶運輸機的視頻監控主要依靠人工，在出現預警的情況下調取監控發現，其并沒有充分發揮視頻監控系統的真正作用，無法達到智能化監控的效果。因此，對視頻圖像進行智能分析，可以為煤礦安全生產提供強有力的保障，極大提高煤礦生產效率。

對皮帶運輸機的運行狀態進行智能監測，是實現煤礦智能化的重要基礎。針對煤礦井下特殊的環境，主要是對皮帶運輸機進行堵煤智能識別監控，從皮帶運輸機的運行監測視頻出發。目前對視頻中的目標檢測屬于計算機視覺領域的重要組成部分，一般是將檢測的運動目標進行提取，然后對目標進行準確分析。在提取運動目標的過程中，通用的方法主要有光流法、背景減法、幀差法、深度模型以及基于各算法的變形和改進。但是由于井下情況特殊，單一采用以上方法用于對皮帶運輸機堵煤的智能識別，往往難以取得滿意的效果。本文針對幾種皮帶運輸機堵煤識別算法進行對比和分析。

1 基于煤量檢測的堵煤識別算法研究

傳統的堵煤識別方法一般是通過檢測皮帶運輸機上的運煤量來判斷其是否出現堵煤或者空載等問題。皮帶機輸煤量一般是通過布設繁多的傳感器實現，傳感器磨損較大，且不精準。目前，對煤量檢測的裝置是電子膠帶秤，雖然其應用廣泛，但價格昂貴，且存在誤差。

曾飛等使用激光掃描的帶式輸送機物料瞬時流量高精度實時測量方法，利用二維激光測距儀和測速傳感器獲取帶式輸送機高速運行下物料流三維激光點云數據，通過分析掃描線上激光點云空間形態特征，提出一種物料流輪廓自動提取方法，并建立基于面元積分的帶式輸送機物料瞬時流量計算數學模型。這種方法主要是通過激光掃描皮帶，獲得皮帶上煤炭的點云信息，根據點云構成的輪廓，確定輸送帶輸煤量。

關丙火提出了一種基于激光掃描的帶式輸送機瞬時煤量檢測方法。通過數字攝像儀和激光儀器獲取帶式輸送機上散煤的圖像，利用Ohta 顏色空間特性提取激光線輪廓，采用梯形面積累積法計算散煤的截面面積，實時獲取皮帶運輸機的瞬時煤量。

曾飛等和關丙火都是通過激光檢測儀檢測皮帶運輸機上的運煤量，從而判斷皮帶運輸機是否出現堵煤或者空載的情況，但是利用激光對煤炭進行點或者線的掃描時，容易受環境中細小顆粒物的影響。礦井下煤炭粉狀懸浮空中，對激光掃描造成了很大的影響，對煤炭輪廓的提取造成較大干擾，同時，激光儀價格昂貴，難以在各個煤礦普及。

陶偉忠根據采取的皮帶運輸機上煤炭的圖像信息，分別選取煤流的顏色、運動和能量特征作為時域和頻域特征，對滿足時域和頻域特征區域的圖像取交集運算，進而計算出煤流區域面積。李紀棟主要是通過圖像邊緣檢測的方法得到煤料的寬度，通過知識庫模糊計算得到輸煤量。

陶偉忠和李紀棟主要是通過傳統的圖像算法提取圖像特征，針對礦井下環境較為昏暗的情況，傳統人工提取圖像特征的算法準確率較低，且通用性能較差，對于煤量的檢測準確率較低，進而造成堵煤識別具有不準確性。

隨著神經網絡的發展，利用卷積神經網絡進行端到端的學習，神經網絡自動學習圖像特征，提高了圖像檢測準確率。韓濤提出了一種基于多任務卷積神經網絡的帶式輸送機輸煤量和跑偏檢測方法，同時對輸煤量檢測和跑偏檢測這兩個任務進行學習，減小了網絡體積，降低計算量，提高運行速度。

上述方法是針對皮帶運輸機上運煤量進行檢測，通過判斷皮帶運輸機上煤炭的量來判斷皮帶運輸機上是否出現堵煤或者空載等異常情況。這種先檢測煤量、再判斷是否堵煤的傳統方法，好處是可以有效地檢測到皮帶運輸機上的煤量，從而防止皮帶運輸機空載情況的發生，但是這種方法需要兩步判斷，需要投入大量的人力、物力，經濟成本較高，難以有效實現對皮帶運輸機智能堵煤的識別。

2 基于目標檢測的堵煤識別算法研究

隨著深度學習的快速發展，目標檢測在各個領域的應用越來越廣泛，但是沒有一種通用的檢測算法。在煤礦這一特殊的行業，需要根據環境的不同而使用不同的檢測算法，從而實現檢測算法的良好性能，達到減少生產成本和安全事故發生的同時，實現對井下的智能化監控。接下來，將應用在皮帶運輸機堵煤識別中的幾種目標檢測算法進行分析對比。

2.1 融合邊緣檢測和背景減法的視頻目標檢測

煤礦井下環境特殊，單純地使用一種檢測算法總是存在各種局限，檢測效果不夠理想。因此，許風志提出了融合背景差分、幀間差分和處理后的邊緣檢測的目標提取方法。該算法使用幀間差分進行或運算，擴大運動目標檢測區域，然后使用Canny算子提取三幀差分圖像的邊緣，最后與邊緣檢測后的運動目標團塊進行與運算，消除光照和噪聲的影響。三幀差分后使用Canny 邊緣檢測算子進行檢測，得到運動目標邊緣并進行填充。

該算法選用的運算簡單、復雜度低。使用傳統目標檢測的算法對煤礦井下物體進行檢測，同樣可以應用在皮帶運輸機堵煤的識別上，但是此算法利用傳統的目標檢測算法，較為繁瑣，計算量大，不能達到及時檢測的效果，對光照和噪聲敏感，嚴重依賴背景模型的建立。

2.2 基于Faster RCNN 的目標檢測算法

Faster RCNN 由RCNN 連續發展而成。郜振國提出了基于Fasetr RCNN 的皮帶異物檢測算法。Faster RCNN 通過區域建議網絡RPN處理任意尺寸輸入圖像，輸出預選區域矩陣集合。在每一個滑動窗口位置，假設提供k 個預選區域，則回歸層提供4k 個輸出，對應k 個預選區域的頂點坐標編碼。分類層提供2k 個輸出，對應該預選區域是不是目標的概率。

以每個預選區為中心，定義9 種不同尺寸候選區域anchor，計算與真值的重疊率，確定其中是否包含目標，形成正負樣本用于訓練。通過最小化損失函數，來訓練模型。

Faster RCNN 原模型結構采用VGG 作為骨干網，但由于井下皮帶運輸機檢測的實時性要求，實際檢測時間需盡可能短，因此，本研究采用ZF 模型作為骨干網提取特征信息。ZF 網絡核心結構包括5 層卷積神經網絡進行特征提取，3 層全連接神經網絡實現分類。在模型訓練中，使用dropout 技術避免過擬合。網絡結構相對VGG 更簡單，因此，能夠保證良好的運行速度。

基于Faster RCNN 的皮帶運輸機堵煤識別算法，是利用深度網絡模型對煤礦井下視頻來自動學習堵煤特征信息，將視頻信息交給網絡結構，通過網絡結構的訓練，得出皮帶運輸機上堵煤識別的情況，從而實現堵煤情況的自動識別。與傳統方法相比，其正確率獲得了明顯提高，并且Faster RCNN 可以實時識別，有利于及時發現堵煤情況，降低人力、物力的投入，減少安全事故的發生。具體算法流程如圖1 所示。

圖1 算法處理流程

2.3 基于RFCN 的目標檢測算法

Faster-RCNN 算法在目標的檢測和識別過程中雖然也有較好的表現效果，但是圖像信息在ROI Pooling 的全連接層時，出現目標信息的部分丟失現象。許風志提出了基于RFCN 的井下目標識別算法。為了解決Faster-RCNN 在目標檢測識別過程中出現的目標位置丟失問題，改進了Faster-RCNN 中的ROI Pooling，在ROI Pooling 層前面引入了位置敏感得分圖，能夠精確地檢測到運動物體的位置，并對每個類別進行投票，得出類別的得分，有效地解決了以上問題。將RFCN 算法應用于皮帶運輸機的堵煤識別算法，相對于Faster RCNN 算法來說速度更快，更能有效地達到實時檢測的效果。模型結構如圖2所示。

圖2 模型結構

3 待解決的問題與未來研究方向

皮帶運輸機是煤炭運輸的主要設備，且成本較高，因此，對其進行實時、有效的檢測是煤炭生產活動中至關重要的一環。根據已有的研究方法和最新的研究思路，本文對基于皮帶運輸機堵煤識別的關鍵技術下一步待解決的問題與未來研究方向進行展望。

（1）如何使模型更適用于煤礦井下的目標檢測需求。由于煤礦井下環境復雜，視頻圖像質量不高，極大地限制了模型學習的能力。因此，需要通過上下文信息、數據增強、互補特征融合等各種方法，不斷提高模型的性能，以適應煤礦場景下的目標檢測需求。

（2）如何在數據集樣本較少的情況下實現精確的目標檢測。皮帶運輸機出現堵煤或者空載的現象是很少的，大部分都是正常運行的狀態，在訓練模型時，異常狀態的數據集含量較少的情況下，很難將模型訓練好。因此，需要通過遷移學習或者強化學習等方法來訓練深度網絡模型，提高檢測的效果。

（3）如何選擇高性能的骨干網絡。骨干網絡的好壞直接影響檢測效果，因此，如何獲取高性能的骨干網絡，將對后續的研究與實驗結果產生重要影響。目前，針對骨干網的選擇具有很大的隨機性，在不同的任務要求下，不同的骨干網產生的性能也就不同。

4 結束語

皮帶運輸機堵煤視頻智能識別系統是智慧礦山指揮調度系統的子系統。本文從皮帶運輸機進行堵煤識別檢測的原因和必要性出發，針對目前皮帶運輸機進行堵煤識別的幾種方法進行了綜述，主要是煤量檢測和基于目標檢測算法的堵煤識別，對這兩種情況下分別存在的幾種方法進行了描述與對比，同時，對該領域如何使模型更適用于煤礦井下的目標檢測需求、如何在數據集樣本較少的情況下實現精確的目標檢測、如何選擇高性能的骨干網絡3 個研究熱點進行了分析與展望。