煤矸石圖像分類方法

饒中鈺，吳景濤 ,2，李明

(1.中國礦業大學 信息與控制工程學院，江蘇 徐州 221116；2.冀中能源股份有限公司 章村煤礦，河北 邢臺 054000)

0 引言

煤炭是我國的主導能源，約占能源生產、消費總量的68%和60%[1]。在煤炭開采和加工過程中，矸石含碳量較低，色澤與煤炭相近，是伴隨產生的廢棄物，占原煤生產總量的15%～20%[2]。矸石在燃燒時會產生以SO2為主的大量有害氣體，加重大氣環境污染，大幅降低煤炭品質。在煤炭利用前，必須對矸石與煤進行分選。傳統的煤矸石分選方法主要包括人工排矸法、機械濕選法和γ射線分選法[3-7]，在快速高效性、安全無害性、簡單操作性等方面無法兼顧。

隨著人工智能技術的發展，機器視覺技術越來越多地應用于圖像識別領域。雖然煤和矸石外表都是黑色，但二者灰度分布與紋理特征不同?；诖?，許多學者將機器視覺技術引入煤矸石分選，其中大多數采用特征提取與分類算法相結合的圖像處理算法，如余樂[8]通過改進的灰度共生矩陣進行煤矸石紋理特征分析，何敏等[9]基于支持向量機分類方法結合煤矸石紋理及灰度特征進行煤矸石分類，張勇[10]采用多特征融合并結合K近鄰算法、支持向量機進行煤矸石分選。上述方法在煤矸石識別方面具有較高準確率，但存在魯棒性不強、易受光照影響等問題。

卷積神經網絡基于卷積特征提取方法構建，具有快速方便、魯棒性強等優點，越來越多地應用于圖像分類。本文基于機器視覺技術，研究煤矸石圖像分類方法。采用基于距離變換的分水嶺算法，完成對煤矸石圖像的分割提?。环謩e采用傳統基于特征提取與基于卷積神經網絡的圖像分類方法，對煤矸石圖像進行分類識別，驗證了基于卷積神經網絡的方法具有更高的準確率。

1 煤矸石圖像分割

1.1 圖像預處理

采集河南某礦區矸石與煤若干塊。為模擬傳輸帶上煤矸石分類場景，以黑色背景拍攝煤矸石圖像，如圖1所示。

圖1 煤矸石圖像

煤矸石增強圖像如圖2(a)所示?？煽闯鲈鰪妶D像對比度較原圖顯著提高，但圖像中的噪聲同時得到增強。因此，采用高斯卷積核為(3，3)、標準差為0的高斯平滑濾波方法對增強圖像進行平滑去噪處理，結果如圖2(b)所示。

(a)增強圖像

(b)濾波圖像

1.2 圖像分割

對預處理后的煤矸石圖像進行分割。采用自適應閾值分割方法中的最大類間方差(OSTU)算法及K均值算法分割圖像，結果如圖3所示?？煽闯鍪芄庹占瓣幱坝绊?，OSTU算法與K均值算法分割圖像時均存在一定程度的誤分割情況。

(a)OSTU算法分割結果

(b)K均值算法分割結果

采用基于距離變換的分水嶺算法[11]進行圖像分割。為了防止圖像過度分割，通過標記前景圖像和背景圖像來優化分割效果。標記前景圖像過程：對預處理后的圖像進行基于開運算及閉運算的重建，以清理圖像中不必要的小塊區域；求取圖像中的極大值，并將極大值標記為前景圖像，如圖4(a)所示。標記背景圖像過程：采用OSTU算法得到分割圖像；計算分割圖像中白色區域與前景圖像邊緣的距離，將距離前景圖像較遠的部分標記為背景。對標記出背景圖像和前景圖像的掩膜圖像進行分水嶺分割，結果如圖4(b)所示?？煽闯霾捎没诰嚯x變換的分水嶺算法分割煤矸石圖像時，矸石與煤的前景圖像和背景圖像被很好地分割出來，效果優于OSTU算法及K均值算法。

(a)前景圖像

(b)分割圖像

2 基于特征提取的煤矸石圖像分類

2.1 特征提取

采用方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征及灰度共生矩陣作為圖像特征。HOG特征選取單元格大小為8×8，單獨區域塊大小為2×2，輸入圖像大小為128×128，每個單元格選取9維特征，1個block里有4×9個特征向量，選取8個像素長度作為步長，由此計算得水平、垂直方向各有15個掃描窗口，最終可得4×9×15×15=8 100維特征。

灰度共生矩陣通過分割圖像中2個像素點的聯合概率密度來定義，即從灰度為i的像素點開始，與這些像素點距離為d、角度為α處灰度為j的概率?；叶裙采仃嚲S度過高，通常選取部分特征作為特征向量。本文選取能量、熵、對比度及反差分矩陣作為圖像紋理特征。

2.2 煤矸石圖像分類

采用應用廣泛的支持向量機、隨機森林及K近鄰算法進行煤矸石分類。支持向量機基本思想是通過尋找一個超平面來分割樣本，分割過程中依據支持向量間隔最大化原則進行分類。實際存在的樣本大多是高維且線性不可分的，因此需要引入核函數來實現數據線性可分。本文采用常見的徑向基函數作為核函數。隨機森林是由眾多決策樹模型組合構成的監督學習算法，基本思想是將所有決策樹結果匯總，以投票形式生成最終結果，算法步驟：隨機抽樣生成訓練子集，構造決策樹并對其組合生成隨機森林，對隨機森林進行投票產生最終結果。K近鄰算法基本思想為通過尋找樣本集中與待測樣本最相近的k個相似點，并統計k個相似點所屬類別來劃分待測樣本類別。本文采用常見的歐式距離計算公式，近鄰個數k=10。

針對煤矸石圖像的HOG特征和灰度共生矩陣，分別選取支持向量機、隨機森林、K近鄰算法作為分類器進行分類，準確率見表1?？煽闯龌贖OG特征和支持向量機的煤矸石圖像分類方法的準確率最高，為91.9%。

表1 基于特征提取的煤矸石圖像分類方法準確率

3 基于卷積神經網絡的煤矸石圖像分類

3.1 數據擴充

共拍攝863張煤矸石圖像，選取690張圖像作為訓練集、173張圖像作為測試集。從訓練集中隨機選取部分圖像，采用旋轉、縮放、添加噪聲、隨機裁剪方法對樣本進行擴充。本文直接調用Keras內部集成的ImageDataGenerator函數擴充圖像樣本，擴充參數設置：旋轉角度為40°，水平、垂直平移距離均為0.2倍圖像長度，圖像縮放比例為0.2。擴充后訓練集中樣本為3 200張，然后將擴充樣本與其標簽一一對應。

3.2 基于淺層卷積神經網絡的煤矸石圖像分類

搭建基于Keras深度學習框架的淺層卷積神經網絡模型，如圖5所示。該模型為4個卷積層、4個池化層、2個全連接層的網絡結構，4個卷積層與4個池化層交替連接，每個卷積層均采用ReLU激活函數。輸入圖像大小為150×150，卷積核大小為3×3，4個卷積層卷積核數分別為32，32，64，64，卷積核步長為1。選取最大池化方式，池化的鄰域大小為2×2。在卷積層和池化層提取完圖像特征后，連接2個全連接層，全連接層輸出大小依次為64，1。采用Sigmoid激活函數實現圖像輸出。

圖5 淺層卷積神經網絡結構

卷積神經網絡采用按批次訓練的方法，訓練批次為16，采用交叉熵損失函數及rmsprop優化器，訓練迭代50次。淺層卷積神經網絡在煤矸石分類過程中的損失函數及分類準確率如圖6所示。可看出模型在訓練集上擬合效果較好，隨著迭代次數增加，損失函數逐漸收斂，準確率最高達98.44%；在測試集上準確率最高達92.5%，但分類效果不穩定，損失函數震蕩較大，分析認為可能是由于樣本擴充后相關度太高而導致出現一定程度的過擬合現象?？梢姕\層卷積神經網絡不能很好地實現煤矸石分類，需引入更深層的神經網絡結構。

(a)損失函數

(b)準確率

3.3 基于VGG16網絡的煤矸石圖像分類

由于樣本采集和圖像拍攝需耗費大量時間和精力，所以引入遷移學習方法來解決樣本不足問題。遷移學習可通過加載之前訓練完成的模型，結合樣本庫進行再次訓練，從而優化分類效果。基于ImageNet數據集預訓練得到的網絡權重中包含對多種圖像的特征表達，可用于不同的識別任務[12]。因此本文采用基于ImageNet數據集預訓練的VGG16網絡[13-15]，如圖7所示。網絡模型在1 000個類別的ImageNet數據集中進行預訓練。采用預訓練后的VGG16網絡模型權重(不包括全連接層)作為初始權重。

圖7 VGG16網絡結構

為了進一步提高VGG16網絡進行煤矸石分類時的穩定性和準確率，對最后一個卷積塊進行微調，在保留預訓練中提取特征表達的同時，結合煤矸石圖像樣本庫進一步擬合所提取的特征。微調過程中設置學習率為10-4，選用隨機梯度下降方法進行優化，網絡Dropout設置比例為0.5，訓練50次，測試集與訓練集樣本比例為4∶1。

VGG16網絡在煤矸石分類過程中的損失函數及分類準確率如圖8所示?？梢奦GG16網絡收斂速度快，穩定性好；隨著迭代次數增加，損失函數逐漸收斂，分類準確率逐漸提高，對測試集的分類準確率最高可達99.7%，明顯優于淺層卷積神經網絡。

(a)損失函數

(b)準確率

4 結語

針對煤炭開采中混入大量矸石的情況，提出了基于機器視覺的煤矸石圖像分類方法。模擬帶式輸送機運輸煤炭場景，拍攝了黑色背景下的煤矸石圖像，采用基于距離變換的分水嶺算法將煤與矸石從黑色背景中分割出來，再分別采用基于特征提取和基于神經網絡的分類方法，對圖像中煤與矸石進行分類識別。研究結果驗證了基于VGG16網絡的煤矸石圖像分類方法準確率高于基于特征提取或淺層卷積神經網絡的方法。