基于集成學習的煤和矸石圖像識別技術研究與實現

郜亞松

摘要：針對目前基于深度學習方法對煤和矸石識別研究中所存在的數據使用效率低，泛化能力差等問題，本文提出采用交叉驗證的方法來提升研究目標對象數據的利用效率，并對訓練集數據添加人工噪聲，從而提升深度模型的泛化能力。另外在訓練過程中以驗證集ROC提前終止訓練的依據，可以兼顧實際生產中對煤和矸石識別的查準率和召回率的要求，同時加速網絡的訓練過程。最后在測試集進行模型預測時采用TTA（Test Time Augmentation）方法提升模型預測結果的穩定性，并采用集成學習的方法將多個深度計算模型的預測結果進行融合，以此提升整個識別方法的性能。經過實驗研究結果發現，通過以上方法可以在小型數量級上較快得到一個具有較高識別精度和召回率識別模型，并且模型的預測結果更能夠反映模型在實際生產環境中的真實表現。綜上可以得知，本文所實現的模型方法更能夠適應煤和矸石的識別研究領域的需求，對未來深度學習方法在煤矸識別的研究具有較高的實際應用價值和意義。

關鍵詞：煤矸識別;集成學習;人工噪聲;交叉驗證;TTA

中圖分類號：TP31? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）10-0197-03

煤作為我國主要能源供應，而矸石則是對煤產能效率的主要影響因素，所以如何有效地降低矸石含量，對于提升燃煤功能效率，具有很高的實際應用價值。

傳統對于煤和矸石識別的研究主要分為兩點，其中一種較為復雜的是煤和矸石的物理性質差異實現的識別技術，比較有代表性的有射線法，振動法等。但此類方法對于我國采煤環境地質復雜的情況不能很好適用，另外，這些工業方法會帶來嚴重的輻射污染，聲污染以及水污染等[1-2]。第二種則是根據煤和矸石在圖像上所呈現出來的視覺差異所實現的識別技術，其中比較有代表性的分為基于手動提取的紋理，灰度等特征所實現的機器學習識別方法[3-4]。另一個是基于深度學習所實現的自主特征學習的圖像識別方法，該方法相比于傳統機器學習圖像識別方法具有較高的泛化能力，并且可以通過對深度網絡模型的復雜度以及結構進行調整，更方便的應對實際生產對模型的精度或速度的要求[5-6]。

通過對相關文獻資料查詢得知，目前基于深度學習模型在煤矸石識別的研究中。從數據集采集方面來說，大多數數據量總和基本位于5萬張左右，這樣的小型數據量對于深度學習網絡來說若采用簡單的訓練集，驗證集以及測試集的數據劃分方式是很難高效的利用數據，同時也會對模型最終反映出來的評價指標有著較大的影響，使之無法真實地反映出模型本身的性能。除了研究中的數據集大小的問題之外，在實驗室環境中所采集得到的煤和矸石的圖像一般是比較清晰的，并沒有像實際生產環境中所存在的粉塵，部分遮蔽物等諸多噪聲的情況，并且在測試集中數據同樣是沒有相應的噪聲信息，所以對應得到的深度識別網絡模型的存在嚴重的過擬合問題。針對以上情況，本文提出使用交叉驗證的方法來提升數據的使用效率，并且采用集成學習的方法融合多個深度識別模型的識別效果，從而來實現一個具有一個整體性能較強的煤和矸石的識別方法。另外通過對訓練集數據添加人工噪聲的方法，進一步的提升網絡模型的泛化能力。最后在數據預測過程中采用TTA技術來提升網絡預測結果的穩定性，同時采用集成學習的方法融合多個深度模型的預測結果來進一步提升網絡的性能。本次研究，主要針對目前基于深度學習對煤和矸石圖像識別研究中所存在的問題提出了相應的解決方法，對未來深度學習方法在煤和矸石智能化的研究中具有較高的實際應用意義和價值。

1 相關工作

本次對于煤和矸石識別技術的研究使用的是深度學習網絡，其中挑選的是在各個相關識別比賽和實際應用中較多的兩種網絡，即ResNet系列和EfficientNet系列網絡。其中ResNet中所具有的殘差網絡結構是目前所有深度網絡模型的基礎，該結構可以很好的降低由于網絡深度加深所帶來的特征消失等問題，可以有效地提升深度網絡模型的可訓性[7]。

EfficientNet網絡是目前在各個深度學習相關競賽以及公司研發深度學習相關產品中首先考慮使用的深度學習網絡模型，該模型兼備了速度和精度。該網絡模型摒棄了傳統深度模型計算中為了追求速度和精度所使用的簡單剪枝和加深網絡的做法，而是通過研究出平衡網絡深度，寬度和輸入數據分辨率的方法來達到對速度和精度不同目的的要求[8]。

以往煤和矸石圖像在進行訓練時所采用的增強技術一般是對圖像進行旋轉，隨機裁剪或者是顏色相關的方法，這些方法可以很好地減小了模型對圖像中煤或矸石的位置，以及亮度等因素的敏感度。但在煤和矸石的實際生產環境充滿了各種視覺噪聲信息，所以為了進一步的提升深度模型對復雜環境的魯棒性，本次研究中將針對圖像采取人工添加噪聲的方法對圖像進行增強處理，其中包括在圖像信息中添加霧噪聲，雨噪聲以及隨機裁剪等，對應產生的人工噪聲增強的圖像效果如圖所示。

集成學習和測試時增強技術TTA（Test Time Augmentation）[9]兩者都是一種對預測結果做進一步處理的操作方法，其中TTA技術主要是對采用增強技術處理的測試集進行多次預測并求其均值作為最終預測結果的一個模型預測方法，該方法可以對一個模型的預測結果起到穩定的作用。而集成學習的方法則是將多個深度模型預測的結果，按照其對應任務目標要求所占的比重，對應分配其不同的權重，然后進行預測結果融合，可以有效地提升預測結果的性能。

2 網絡模型搭建

雖然對于煤和矸石圖像識別的目標設定中是二分類問題，但是若對于網絡的輸出設置為非煤即矸石的設定就會極大地降低網絡的魯棒性。例如向模型中傳入既不是煤也不是矸石的圖像，經過模型輸出判斷結果。若設定真正例為煤，那么輸入圖像的經過網絡的判斷非煤，那么網絡就會判定為矸石，所以在對網絡的輸出設定含有兩個節點的輸出，并且要通過正確的調整判斷閾值來進行最終結果的限定，而不是僅僅使用非A即B的判斷，對應網絡結構如下所示。

3 實驗過程與結果

3.1 模型訓練過程

為了能夠從有限的煤和矸石的數據中訓練得到最佳的識別模型，在訓練過程中需要合理的對一些參數進行設定。首先對所采集到的所有數據90%作為訓練集數據，然后將訓練集根據交叉驗證訓練的劃分經驗和實驗中數據的總量劃分個數K為5，每個訓練子集的輪次為15輪次，而初始學習率的設置由于采用了預訓練權重，對應的學習率可以設置為較小的值，以實現對模型權重參數的微調，所以將初始學習率設置為0.0005，學習率衰減因子為0.4。除了以上兩種常規深度學習網絡訓練中所設置的參數，還包含了提前終止訓練上限值，經過數次訓練之后確定了值為3，所代表的意思是當對在劃分后的一個訓練集上的模型隨著輪次不斷推進時，連續3次出現ROC得分沒有得到提升，則提前終止模型在該子集上的訓練。最后將本次訓練中TTA參數的設置為3，表示將會使用訓練好的模型在測試集上預測3次，然后將3次的預測得分求其均值，圖中所示模型訓練過程的工作流程。

從圖中可以看到，在對不同劃分情況的訓練集和驗證集訓練完成之后，都會直接對本次劃分情況下所產生的最佳識別模型進行預測TTA次預測，然后將預測結果求均值。在完成最后k個劃分的訓練之后，將所有的預測結果根據k值求均值，最終完成對一個深度網絡的完整模型訓練。

3.2 模型預測結果與性能評估

為了驗證本文所實現的煤和矸石識別方法的優勢，將選擇一組對比模型進行實驗，其中改組模型在未采用人工噪聲增強的訓練集上進行訓練，然后通過交叉驗證的方式取得最好的模型效果，然后將該模型分別對沒有噪聲的測試集上和有噪聲的測試集進行測試，并對其ROC曲線進行對比分析，對應的曲線如下所示。

從圖中可以看到，對于a組未采用噪聲訓練的模型在沒有噪聲的測試集上的表現幾乎接近百分之百，但是當用于含有噪聲的測試集上的時候，對應的網絡性能產生了大幅度的下降，整個網絡在兩個數據集上的表現可以反映出未采用人工噪聲訓練得到的模型對于未知數據泛化能力是很堪憂的。而在本文設計實現的生成的模型在含有噪聲和沒有噪聲的測試集上的變現雖然有小幅度的變化，但是基本預測結果數據分布相同，模型泛化能力得到大幅度的增強。另外，為了驗證集成學習對于模型預測性能提升的有效性，選擇了對ResNet系列網絡和EfficientNet系列網絡的預測結果進行結果增強，對應的ROC曲線如下所示。

從圖中可以看到在沒有采用集成學習的方法對預測結果進行預測之前的網絡由于深度的變化對應的ROC得分有一定的起伏和波動，通過集成學習的方法處理之后對應整個網絡的ROC得分得到的一定的增強，在ResNet網絡這種性能表現較弱的學習機的提升更是明顯，并且對應的預測結果得分相比原始模型更加平滑，在煤和矸石的圖像識別上具有更好的性能。

4 結束語

本文主要提出使用交叉驗證的方法對煤和矸石圖像識別技術進行研究，可以很好地對有限的數據資源進行高效率的使用，并且通過針對性人工噪聲添加的方法來提升網絡模對煤和矸石復雜識別環境的魯棒性，從而提升了深度計算模型實際應用價值。另外通過TTA技術對預測結果進行均值化處理，最后通過集成學習的方法融合多種深度識別模型方法對整個識別效果進行性能提升，經試驗驗證以上技術在煤和矸石識別的研究中對模型的整體提升具有顯著的效果，有效地促進了深度學習在煤和矸石自動識別領域的應用，對未來進步的推進煤和矸石自動化識別的研究具有較高的實際應用價值和意義。

參考文獻：

[1] 孟繁明，郭科偉.基于雙能γ射線透射技術的煤矸石識別與分選系統研究[J].黑龍江科技信息，2013（36）：83.

[2] 李福仁.選煤技術及工藝流程的研究[J].石化技術，2020，27（7）：309，311.

[3] 余樂，鄭力新，杜永兆，等.采用部分灰度壓縮擴階共生矩陣的煤和煤矸石圖像識別[J].華僑大學學報（自然科學版），2018，39（6）：906-912.

[4] 洪惠超.基于機器視覺的煤矸石分選算法的研究[D].泉州：華僑大學，2018.

[5] 曹現剛，薛禎也.基于遷移學習的GoogLenet煤矸石圖像識別[J].軟件導刊，2019，18（12）：183-186.

[6] 王鵬，曹現剛，夏晶，等.基于機器視覺的多機械臂煤矸石分揀機器人系統研究[J].工礦自動化，2019，45（9）：47-53.

[7] Tan MX，leQ V.EfficientNet：rethinking model scaling for convolutional neural networks[EB/OL].2019[LinkOut]

[8] Szegedy C，Ioffe S，Vanhoucke V，et al.Inception-v4，Inception-ResNet and the Impact of Residual Connections on Learning[C].National Conference on Artificial Intelligence， 2016： 4278-4284.

[9] Wang G T，LiW Q，AertsenM，et al.Aleatoric uncertainty estimation with test-time augmentation for medical image segmentation with convolutional neural networks[J].Neurocomputing，2019，338：34-45.

【通聯編輯：梁書】