基于改進Faster R-CNN的綜放煤矸混合放出狀態識別方法

單鵬飛，孫浩強，來興平，朱興攀,3，楊建輝，高健銘

(1. 西安科技大學 能源學院,陜西 西安 710054; 2. 西安科技大學 教育部西部礦井開采及災害防治重點實驗室,陜西 西安 710054; 3. 陜西陜煤榆北煤業有限公司,陜西 榆林 719000; 4. 陜西陜煤曹家灘礦業有限公司,陜西 榆林 719000)

煤炭依舊是我國能源安全的壓艙石，并在未來很長一段時間內發揮巨大的作用，2050年前以煤炭為主導的能源結構難以改變。實現煤炭行業的高質量發展成為了必須實現的任務，而智能化發展是核心方向之一。我國厚煤層儲量豐富，煤炭資源已探明儲量中厚煤層儲量約占44%，智能化綜放開采方法是我國厚煤層未來實現高效高產的主要技術途徑，但綜采放頂煤開采過程中頂煤與矸石混合流動放出是無法避免的，亟需實現放煤過程智能監測，提高綜放采出率、提升放出煤質。因此，綜放煤矸混合放出狀態分析識別方法已成為智能化綜放開采領域研究熱點之一。

近年來，國內外學者在煤矸混合狀態分析識別方法方面取得了較多的研究進展。王家臣等針對精準快速識別混矸率與適應惡劣環境方面存在的技術難題，建立了輕量級的放頂煤工作面矸石識別及邊界測量模型，提出了快速寫意重建和精準重建等2種煤矸塊體三維重建方法，并結合Retinex等去粉塵算法最終形成了“三位一體”夾矸智能識別技術，對放煤過程存在的夾矸實現了精準識別；伍云霞等基于曲線變換提取煤矸石圖像的邊緣特征，并訓練基于支持向量機的分類器來識別煤與矸石；孫繼平等提出了一種基于二元交叉對角線紋理矩陣的煤矸石圖像特征提取和識別方法，以此來分類煤與矸石；XUE等通過分析煤矸圖像的灰度直方圖的差異性來分類煤與矸石；張強等通過主動激勵紅外熱成像技術來開展煤巖界面的研究。以上研究對于煤矸石識別過程均采用偏向理想化試驗環境，對放頂煤的煤矸識別現場應用指導仍存不足。袁源等在綜采工作面設計感應尾梁來收集放頂煤信號數據集，建立放頂煤聲信號分類樣本庫，利用機器學習分類方法進行煤矸石下落信號特征提取與分類；宋慶軍等提出了一種基于一維卷積的頂煤矸下落聲音特征融合分類方法來進行煤矸聲音分類，以此來進行煤矸下落分類。以上研究對放頂煤開采下落過程不僅含有煤矸石聲音，還夾雜著機器轟鳴等額外條件，從而引起分類誤差等問題；于騰飛等利用差分盒維法通過對煤矸石的分形維數進行比較甄別，其開采現場震蕩灰塵較大，分辨成功率偏低；秦小衛等基于相位一致性的邊緣檢測法，采用基于梯度邊緣提取算子進行特征提取，其受煤泥覆蓋污染嚴重影響，煤矸邊緣差異不清晰，分辨成功率較低；徐志強等基于ResNet等經典網絡與SqueezeNet等先進輕量級網絡建立了煤矸圖像識別模型，分析了各模型的訓練收斂情況，同時準確捕捉煤與矸石由于硬度不同所產生的輪廓、紋理、表面平整度等差異；華同興等采用了一種基于機器深度學習Faster R-CNN的煤巖識別方法，實現了煤巖圖像中煤層和巖層的識別和定位，為采煤機滾筒在空間位置上的自動調整提供依據；綜上所述，圖像識別方法在煤矸智能識別方面具有較大前景，應重點研究工作面粉塵濃度等因素對識別精度以及效果的影響。

筆者提出了一種改進實時區域卷積神經網絡的煤矸混合放出狀態分析識別方法，構建了粉塵環境下綜放開采煤矸混合放出狀態模擬試驗平臺，模擬綜采工作面粉塵環境，采集煤矸運動圖像數據；引入預處理方法研究粉塵環境處理前后對于識別效果的影響；采用CBAM對經典模型網絡中的權重關注點進行優化處理，定量研究了權重優化以及粉塵環境處理對煤矸下落識別的影響，揭示了“預處理+CBAM Faster R-CNN”識別方法對煤矸混合放出狀態識別的分類依據，為實現綜放開采放煤量的智能監測提供了可靠理論支撐。

1 改進實時區域卷積神經網絡的檢測算法

1.1 Faster R-CNN算法

目標檢測是圖像視覺領域的基本任務之一。近年來，隨著深度學習技術的快速發展，目標檢測算法也從傳統的人工特征提取算法發展到基于深度卷積神經網絡的檢測技術。隨著該技術的快速發展，從最初的深度卷積神經網絡、R-CNN、Fast R-CNN、RFCN、Mask R-CNN、YOLO、SSD到Faster R-CNN，這些算法在目標檢測數據集上的檢測效果和性能都很出色。其中，Faster R-CNN是由何凱明等在R-CNN基礎上提出的Two-stage目標檢測算法。與傳統CNN算法相比，該算法提出了RPN候選框生成算法，使得目標檢測的速度得到了很大提高。

圖1為Faster R-CNN算法以煤矸混合介質為分類目標的檢測流程示意，為Two-stage檢測框架，具體流程包括：

(1)輸入圖像，進行主干網絡特征提取，經過Extract Features得到共享特征層Feature Maps；

(2)將共享特征層分為2部分，一部分作為RPN網絡的輸入用來在特征圖上產生候選框預測區域，另一部分用來產生感興趣框RoI Pooling層；

(3)利用多重分類回歸和邊框回歸得到Classification。

圖1 Faster R-CNN檢測框架Fig.1 Faster R-CNN detection framework

1.2 圖像特征提取原理

卷積神經網絡由堆積的卷積層、池化層、全連接層以及激活函數組成。首先，在卷積層中圖像與卷積核反復作用并自動調節卷積核的權值，經反復測試及驗證，最終得到該圖像特征的卷積核權值；其次，由于卷積層在圖像特征提取過程中不僅只有1個，故多個卷積核造成的多重參數冗余現象將采用池化層減少。池化操作如圖2所示，示意窗口大小為2×2，步長為2。池化窗口從特征圖中獲取最大/平均元素，利用降低維度的方式不僅解決了卷積核參數過多的情況，而且保留了重要信息。最后利用全連接層將局部特征全連接以構建分類器，具體如圖3所示。

圖2 池化操作過程Fig.2 Pooling operation process

圖3 基于煤矸圖像分類的卷積特征求解Fig.3 Solving convolution features based on coal-gangue mass image classification

筆者以后續模擬試驗所得圖像為例，其中三角形代表矸石，矩形代表煤，將2類目標中卷積核計算所得全部特征權值連接作為分類器，連接S4：Feature maps中的所有卷積核特征至C5中，共連接120個卷積核，以三角形、矩形構成2個分類器，最終根據構建分類器可以實現在圖像中識別出2類目標。

1.3 注意力機制

注意力機制(Convolutional Block Attention Module,CBAM)包含通道注意力模塊和空間注意力模塊2部分(圖4)，即輸入的特征圖∈××，通過一維通道注意力矩陣C××和二維空間注意力矩陣∈××串行計算，得到輸出特征″，即

′=()?

(1)

″=(′)?′

(2)

式中，為特征輸入；′為特征輸入經過通道注意模塊輸出的特征；″為經過注意力機制最終輸出的特征；()，()分別為通道注意力模塊和空間注意力模塊的權重系數矩陣。

圖4 卷積特征提取網絡的注意力機制框架Fig.4 Attention mechanism framework of convolutional feature extraction network

圖4中包含通道注意力模塊子圖和空間注意力模塊子圖。其作用流程為：① 將輸入煤矸特征經過Global Max Pooling和Global Average Pooling，再輸入共享全連接層，最后基于element-wise加和操作后生成Channel Attention Feature maps作為空間注意力模塊的輸入；② 利用通道注意力模塊輸出的特征圖作為空間注意力模塊的輸入，通過基于通道注意模塊的Global Max Pooling和Global Average Pooling，隨后通過卷積操作降維，最后通過加和操作得到特征權值。

將注意力機制加入主干特征提取網絡，主要利用注意力模塊專注于被檢測目標的真實內容信息，對主干特征提取網絡輸出結果起很有效作用。在通道注意力模塊中，權重系數矩陣()的計算公式為

()=((()+()))

(3)

式中，為Relu激活函數；為平均池化；為最大池化；為多層感知器網絡。

空間注意力模塊作用于網絡中，使得網絡更加關注被檢測目標的位置信息，增強了網絡檢測關注度，并解決了檢測目標中應該關注的問題。同樣，首先空間注意模塊通過輸入特征′進行如圖2所示的2種池化操作，然后將各通道合并卷積運算，最終得到空間注意力模塊的權重系數矩陣公式為

(′)={[(′),(′)]}

(4)

其中，為單核卷積核的7×7卷積操作。將式(4)得到的(′)代入式(2)，可獲得輸出特征″。

2.4 CBAM Faster R-CNN算法

經典Faster R-CNN網絡中，多數將VGG，ResNet等作為主干特征提取網絡，該網絡模型學習不同檢測區域特征權重，但在特征提取過程中，對于權重注意力大小很難有效確定。為此筆者基于此經典網絡，將CBAM機制加入主干特征提取網絡ResNet50中，構建CBAM Faster R-CNN檢測算法，從而利用注意力機制幫助卷積特征網絡模型更加有效的學習不同區域的特征權重，使得被檢測目標區域的特征權重增大，無檢測目標區域特征權重將減小。在綜放開采煤矸石放出識別過程中，識別網絡模型的關注點應在煤與矸石所在區域，故引入CBAM，有效提高了Resnet50模型中煤矸石所在區域特征權重，進而提升了檢測效果。CBAM Faster R-CNN識別模型框架如圖5所示。

CBAM Faster R-CNN主要由預處理算法模塊、主干特征提取網絡、注意力機制模塊、建議框部分和感興趣框部分等構成的RPN網絡模塊組成。前期預處理算法模塊包含模擬粉塵環境工況放出過程中出現的濃霧、下落模糊等外在條件的處理；在特征提取過程中，采用ResNet50作為特征提取網絡，將CBAM作用于ResNet50特征提取網絡的所有卷積殘差塊，得到新的特征提取網絡為CResNet50網絡，該網絡對有效和無效區域特征權重進行調節，有效解決了識別精度的問題。

圖5 CBAM Faster R-CNN網絡框架Fig.5 CBAM Faster R-CNN network framework

但將CBAM模塊加入模型的Backbone層有2種方式：第1種，包含不改變ResNet50網絡結構，即加在網絡的第1層卷積層和最后1層卷積層，但由于不改變其網絡結構，在測試階段還使用了預訓練參數，所以不采用該方式；第2種，根據圖6發現，ResNet50由Conv Block和Identity Block組成，但2種模塊的作用不同，Conv Block用來改變網絡維度，所以輸入與輸出維度不同，故不能連續串聯；Identity Block用來提取特征信息，增加網絡深度，因此最終構成了由Conv Block和Identity Block并串聯協同的ResNet50網絡。根據此特點結合ResNet50結構，筆者發現，隨著提取深度的不斷加深，將注意力機制融入不同Identity Block連續串聯的Conv Block具有很好的優化效果，提取特征信息也在不斷豐富，但在初始提取過程中，卷積提取到的一般為通用特征，這種使用模型在預訓練煤矸數據集上的參數即可獲得很好的效果，所以在Conv Block-1后加入CBAM不僅不能達到很明顯的效果，而且還增加了計算量。

主干特征提取過程目標即是可提取到后部分更加重要的語義信息，故綜合以上情況以及ResNet50特點，筆者融合注意力機制的過程(圖6)，在Conv Block-2，Conv Block-3，Conv Block-4后添加注意力機制模塊。對煤矸石放出圖像的檢測過程包含：① 根據2.5節對煤矸放出圖像進行數據增強預處理；② 將處理后煤矸數據輸入CResNet50網絡進行訓練；③ 輸出特征成為Feature Maps，一部分映射到ROI，另一部分輸入進RPN網絡中，首先采用如圖5所示的3×3卷積遍歷進行特征整合生成先驗框，再經過9×1通道和9×4兩種1×1卷積通道進行卷積操作，以此來判斷先驗框內部是否包含煤矸石以及先驗框的調整參數；④ 使用邊界回歸損函數調整煤矸石位置；⑤ 獲取檢測位置框和識別概率。

圖6 融合注意力機制的ResNet50網絡Fig.6 ResNet50 network integrated with attention mechanism

1.5 煤矸圖像預處理

綜放工作面環境下識別影響因素多，試驗聚焦粉塵影響，利用風機加煤粉等來制造工作面粉塵環境，但在此環境下收集到的煤矸石放出狀態，由于粉塵引起濃霧影響造成的模糊將會影響網絡訓練，故利用暗通道去霧處理算法解決由于粉塵引起濃霧的拍攝模糊影響；由于拍攝的煤矸石放出狀態引起的運動模糊影響也會造成網絡訓練的差異，導致識別精度不理想，故采用模糊集圖像增強預處理來減弱運動模糊現象。

(1)暗通道去霧處理。

原始有霧圖像表達式為

()=()()+[1-()]

(5)

其中，為有霧圖像；為清晰圖像；為光強；為大氣透射率。故由式(5)得到清晰圖像的計算公式為

(6)

由式(6)可得，當()→0時，式(6)無效，故()應有下界，即

(7)

其中，為初始透射率。()過小會導致目標區域的亮區域過亮、暗區域過暗，故為了保證式(7)有效，取0.07。

由式(7)可知，煤矸放落過程中，去除粉塵影響產生的濃霧現象，具體思路包括計算光強和大氣透射率。式(5)兩邊同時取暗通道計算得到大氣折射率為

(8)

其中，為R，G，B中的某一通道；為某一通道的大氣光值；()為像素點周圍的小區域；()為某一通道處濾波窗口去霧圖；為去霧程度。對于去霧程度的取值，先驗條件下一般取0.95；但對粉塵環境下的煤矸石下落圖像的預處理，本試驗的粉塵影響遠大于現實空氣中的霧霾效果，且與一般環境中的確定性霧霾有很大區別；不同放煤量的粉塵濃度不同，所以先驗條件下的單一指標無法滿足更復雜多變的放煤工作面環境，因此結合先驗條件，本文將設置為[0.8 0.9]區間，以應對復雜多變的粉塵濃度環境下落煤矸石圖像預處理。的估計選擇在暗通道圖像中前0.1%的像素，然后在原中找到該0.1%像素每個通道的最亮點，將其作為外界光照強度的估計值。

該試驗所需訓練集僅包含煤矸部分數據，利用上述流程經過編譯處理后的煤矸混合放出狀態圖像數據，如圖7所示。由圖7可以看出，利用暗通道去霧處理算法使得由于濃霧引起的模糊現象減少，使識別精度更加精確。

圖7 暗通道去霧處理方法Fig.7 Dark channel defogging processing method

(2)運動模糊處理。

煤矸混合放出狀態中利用相機拍攝運動狀態時會出現運動模糊現象，這種現象會對煤矸識別精度造成很大影響，所以降低其造成的精度損失。對上述暗通道去霧處理后的煤矸圖片，采用基于模糊集的圖像增強方法來減弱運動模糊現象。

基于模糊集圖像增強方法具體步驟：

(1)設置隸屬度函數，將圖像變換到模糊集區域中；

(2)設置模糊增強算子，在模糊集區域中進行圖像處理；

(3)利用第1步設置的隸屬度函數將處于模糊集區域的圖像重新變回。

基于模糊集圖像增強算法內容本文將不多贅述，只展示其處理步驟及結果，以便后續制作數據集所用。具體處理結果對比如圖8所示。

圖8 模糊集圖像增強方法Fig.8 Fuzzy set image enhancement method

2 粉塵環境下煤矸混合放出狀態模擬試驗

2.1 試驗方案設計

試驗裝置主要由圖像識別系統、采集設備和模擬粉塵環境放頂煤裝置組成，其中采集設備、放煤裝置及識別系統如圖9所示。

圖9 綜放開采煤矸混合放出狀態模擬試驗平臺Fig.9 Testing platform for mixed and release state of coal-gangue masses in fully mechanized caving

模擬綜采粉塵環境煤矸混合介質下落狀態作為靜態識別的首要任務，其數據的真實性表征識別的有效性。采用200 W金貝燈作為主光源，10根8 W的LED光源作為下落過程輔助光源，并結合風機和灰塵等模擬開采工作面的粉塵等外在條件；放煤裝置中采用一側多組放煤口進行組合放煤。采集設備決定采集圖像的圖像質量、分辨率等，關系到最終的識別效果，故選用型號為5F04的千眼狼高速攝像機，全副分辨率為2 320×1 720@500 fps。

以粒徑約為100 mm的塊體煤和矸石作為分類對象，選取原煤和矸石各150 kg作為下落分類對象。

2.2 試驗數據采集

采用單側放煤口，分別按照單論間隔、多輪間隔進行放煤，分為全煤、全矸、煤矸混合3組實驗進行不同組別放煤。所得試驗煤矸下落圖像數據近82 GB視頻資料，最終從中得到靜態下落圖像數量為：全煤6 323張，全矸2 954張，煤矸混合6 621張，不同組別下落狀態靜態樣本集如圖10所示。

圖10 靜態樣本集Fig.10 Static sample set

2.3 數據集制作

針對外界粉塵環境的影響進行數據預處理后，使用LabelImg進行標記樣本，增強后的數據集轉換成PascalVOC格式。PascalVOC格式的數據集包含煤矸下落狀態中原煤和矸石的圖像名稱，并記錄每個圖像中對應的目標對象的標簽內容和位置信息等，以.xml文件形式保存。

由于在數據預處理上利用不同方法處理試驗中的復雜工況，因此建立數據集時建立3種數據包，其中按照數據劃分，包含3 000張訓練集、1 500 張驗證集以及1 500張測試集，以便檢測時，從不同角度分析網絡訓練及預處理效果，具體關系見表1。將3種數據集進行網絡訓練，以此分析煤矸石在模擬粉塵環境下煤矸石下落過程中的識別效果。

表1 不同數據集關系Table 1 Relational table of different data sets

2.4 評價指標

-score值是統計學中用來衡量多任務分類模型精確度的指標，尤其是對于二分類問題，它同時兼顧了分類模型的查準率(precision)和召回率(recall)，可看成是和的一種加權平均。被檢測樣本集與真實標簽同為煤時，定義為TP(True Positive)；被檢樣本集為煤，但標簽為矸石時，定義為FP(False Positive)；被檢測樣本集和真實標簽同為矸石時，定義為TN(True Negative)；被檢測樣本集為矸石，但真實標簽為煤時，定義為FN(False Negative)。查準率和召回率分別為

(9)

(10)

故在利用-score值評價模型指標時，用查準率和召回率的加權平均來評價模型訓練效果指標，計算公式為

(11)

3 結果與分析

3.1 測試平臺及流程

圖像識別系統為圖像處理和識別的核心部分。訓練識別所用服務器為DESK TOP ERA5N0V，CPU為Intel(R) Core(TM) i5-10600KF CPU@4.10GHz和相關驅動器組成。通過基于經典模型的理論分析以及數據量驗證，將基于CBAM Faster R-CNN網絡模型的初始化參數設置見表2，流程如圖11所示。

表2 網絡訓練參數初始設定Table 2 Initial setting of network training parameters

3.2 測試結果

將訓練完成后的模型參數載入經典網絡和基于CBAM改進的網絡中，對含有1 500張煤矸下落圖像的3種數據集進行預測。原始圖片、暗通道去霧處理以及模糊集數據增強減弱運動模糊處理的3種數據集對比訓練結果如圖12所示。由圖12可以看出，經處理后的圖片在網絡測試結果中的準確率更高，召回率增加。由圖12(c)可知，在改進的網絡中對3種數據集進行訓練后，對于煤矸石放出時的檢測更為準確。

3.3 結果分析

..本文模型性能對比

基于2.1，2.4節2種網絡框架的復雜工況煤矸石放出狀態靜態識別模型，3種數據集訓練得到的訓練準確率折線如圖13所示。

圖11 煤矸混合放出狀態識別流程Fig.11 Mixed and release state of coal-gangue masses status recognition process

圖12 不同模型預測結果對比Fig.12 Comparison of prediction results of different models

圖13 模型訓練效果對比Fig.13 Model training effect comparison

從圖13(a)可看出，經典Faster R-CNN網絡的3種數據集訓練曲線均在10個訓練輪次內的準確率提升到95%以上，且隨著訓練輪次的增加，模型訓練平均準確率不斷增加，達到45次附近時，模型準確率趨于收斂，3種數據集訓練準確率分別穩定收斂在97.4%，97.9%和98.6%左右。由圖13(b)可得,基于CBAM改進的Faster R-CNN網絡在20個訓練輪次內的準確率提升到95%以上，達到55次附近時，模型準確率趨于收斂，且隨著訓練輪次的增加，模型準確率增加，3種數據集訓練準確率分別穩定在98.8%，99.1%，99.5%左右。

經過2輪50輪次的訓練后，3種數據集在2種網絡中收斂準確率都呈遞增趨勢，經模糊集和暗通道去霧處理后的數據集在模型訓練過程中明顯比原始拍攝圖像效果好。

基于2.2節的CBAM注意力機制，在加入原始Faster R-CNN網絡后，3種不同數據集對比訓練得到的訓練準確率曲線如圖14所示。

圖14 基于3種數據集的2種模型訓練曲線Fig.14 Two model training curves based on three data sets

由圖14可知：訓練數據在初始迭代時，經典網絡的平均準確率分別約為77.65%，77.92%，81.54%；改進后網絡的平均準確率分別約為82.11%，82.83%，84.67%。前6次左右，經典網絡的訓練準確率明顯高于改進網絡，但在6～25次，改進網絡的訓練準確率明顯高于經典網絡。隨著訓練輪次的增加，2種網絡模型基本趨于擬合，改進后網絡的擬合曲線均高于經典網絡。

綜上，煤矸石放出狀態識別過程中，經典網絡的深度以及復雜度均小于改進網絡，因此經典網絡的前期訓練準確率增長更占優；隨著訓練輪次的增加，CBAM在主干特征提取過程中對權重分配的調節，使得改進后的網絡訓練準確率明顯增高。在迭代100次后，2種模型的訓練平均準確率分別97.98%，99.23%。綜合考慮模型的訓練輪次、深度以及訓練數據，基于CBAM改進后的網絡模型性能更佳。

為了驗證本文模型的優化性對比效果，選取預處理后的DS3數據集進行不同模型的數據訓練，選取Yolov3，Yolov5，SSD，R-FCN，Faster R-CNN五種深度學習模型與本文模型進行對比分析，具體結果件表3。從表3可以發現：在查準率方面，基于ResNet101網絡的R-FCN模型最高，達91.23%，本文模型為90.44%，且召回率在各模型最高，為92.58%；Yolov5模型大小為14.8 MB，較Faster R-CNN以及其他模型優勢明顯，對比Faster R-CNN和CBAM Faster R-CNN兩種模型大小可發現，雖然融入注意力機制的模型大小稍有增加，但準確率方面比Faster R-CNN提高很多，且檢測速度加快。

同一數據集在不同模型下的對比說明本文模型在傳統意義上的改進優化效果，但無法說明該模型的泛化性能，為此筆者選取文獻[16]的ResNet等經典網絡與SqueezeNet等先進輕量級網絡建立煤矸圖像識別模型進行縱向對比，選取綜合評價指標作為對比依據，發現基于輕量級網絡的SqueezeNet 煤矸識別模型=0.857，MobileNet系列模型在不同權重下的也均未超過0.8；基于LeNt_5的煤矸識別模型=0.365，本文CResNet50模型=0.915。

綜合分析，煤矸識別模型下的SqueezeNet，MobileNet系列以及同數據集下的經典ResNet50，CSPDarkNet53等均有很好的優化效果，因此在煤矸石下落過程中由于額外環境的影響，效果更好的識別準確率對于識別本身具有更重要作用，且綜合對比檢測速度以及識別效果，融合注意力機制的Faster R-CNN模型能夠提取更深層次的重要語義信息，對煤矸放落過程的靜態識別具有更優效果。

..融合注意力機制的效果對比

為了研究2.4節的融合注意力機制方式，選取經2種預處理后的數據集DS3進行訓練，結果見表4。由表4可以發現，3種融入主干特征提取網絡對比原始ResNet50訓練結果，其Precision、召回率、查準率均提高；但將模塊融入Conv Block-3中發現，其Precision、召回率、查準率分別為83.71%，92.58%和90.44%，高于Conv Block-2和Conv Block-4，這說明初始前期對于重要特征信息的提取仍不全面，但在最后模塊的提取出現下降情況，這與煤矸特征提取過程中復雜的額外目標有關，提取到了更深層次的環境目標信息，因此綜合對比融合注意力機制的模塊在Conv Block-3，經CBAM模塊后，模型增強了煤矸區域的特征顯著性，從而提升了檢測效率。

表3 DS3數據集下的不同模型效果對比Table 3 Comparison of the effects of different models under the DS3 data set

表4 融合注意力機制的位置效果對比Table 4 Comparison of the position effect of the integrated attention mechanism

..CBAM Faster RCNN測試效果分析

為了測試本文模型以及預處理方法對煤矸石放出狀態識別的實際測試效果，基于DS2，DS3數據集中的1 500張測試集進行測試，測試結果見表5。為了驗證粉塵環境的影響以及預處理方法的效果，利用基于DS2，DS3各1 500張原始煤矸混合圖像進行測試，再利用試驗收集的放出狀態視頻資料中截取全煤、全矸放出階段相同數量測試樣本集對上述模型進行測試，測試結果見表6。利用3.4節的評價指標計算表5，6中2種模型的-score，如圖15所示。

表5 預處理煤矸圖像測試結果Table 5 Pretreatment coal-gangue mass image test results

表6 原始煤矸圖像測試結果Table 6 Original coal-gangue mass image test results

圖15 2種模型F1-score值情況Fig.15 Two models F1-score situation

由表6可知，3種測試樣本集的-score分別為0.854，0.840，0.837，均高于同時期基于3種經典網絡的-score。與Faster R-CNN模型檢測結果對比發現，CBAM Faster R-CNN模型的平均查準率提升7.7%，平均召回率增加6.6%。對比表5，6發現，DS2，DS3的查準率分別為86.31%，90.44%，召回率為89.25%，92.58%，均高于原始圖像的81.6%和85.9%，說明試驗模擬的粉塵環境影響了頂煤的放出過程識別，也表明本文建立的粉塵環境下落圖像預處理方法在識別優化提升顯著。

此外，在基于CBAM改進的網絡中，利用DS3數據集，每訓練一輪次，使用煤矸混合檢測樣本集測試一次，計算一次-score，結果如圖16所示。從圖16可以看出，在隨著訓練輪次增加，-score隨著訓練準確率的提升而不斷增大，在訓練輪次達50次時，訓練準確率趨于擬合，-score也隨之穩定在0.84左右，且在利用訓練平均準確率擬合前的45次左右訓練過程中，得到關于訓練平均準確率()和-score()的關系式為

=2 982.5+21 510-103 939+ 154 259-97 597+22 787

(12)

其中，=0.963 6，趨于1，說明模型穩定性很高。總體改進網絡模型的評價指標-score能隨著訓練平均準確率的提高而穩定增大。

圖16 訓練平均準確率與F1-score關系Fig.16 Relationship between average training accuracy and F1-score

綜上，可得出基于本文方法建立并優化后的粉塵環境下煤矸石放出狀態識別方法，可很準確捕獲煤與矸石，且預處理后的拍攝下落圖像狀態識別效果明顯比原始數據好。

4 結 論

(1)提出了一種綜采工作面粉塵因素影響下煤矸放落瞬態煤矸目標檢測方法，研發了綜放惡劣環境煤矸放落模擬與放落瞬態采集系統。

(2)構建了基于經典Faster R-CNN網絡模型改進的CBAM Faster R-CNN網絡模型，確定了融合注意力機制的最佳檢測效果位置。迭代訓練100次后，與經典網絡相比，平均查準率提升7.7%，平均召回率提升6.6%，-score遠高于經典模型，表明改進模型的檢測效率更好，有效提高模型準確性。

(3)針對綜放工作面高濃度粉塵環境特征，提出了融合暗通道去霧處理和模糊集增強的圖像預處理方法，圖像預處理操作后識別精確率和召回率分別達90.44%，92.58%，可靠性大幅增加。