卷積神經(jīng)網(wǎng)絡(luò)在煤巖圖像識(shí)別中的應(yīng)用研究

呂紅杰

摘 要：為解決煤礦井下煤巖圖像識(shí)別問(wèn)題，本文研究了煤巖圖像識(shí)別現(xiàn)狀以及卷積神經(jīng)網(wǎng)絡(luò)在煤巖圖像識(shí)別中的應(yīng)用方式、存在問(wèn)題和解決辦法。通過(guò)對(duì)AlexNet網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，將學(xué)習(xí)好的神經(jīng)網(wǎng)絡(luò)用于煤巖識(shí)別，并研究了不同網(wǎng)絡(luò)對(duì)煤巖圖像識(shí)別率、訓(xùn)練速度的影響。實(shí)驗(yàn)結(jié)果表明，本文方法能夠取得較好的煤巖圖像識(shí)別結(jié)果，為之后應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)解決煤巖圖像識(shí)別問(wèn)題提供了重要的參考價(jià)值。

關(guān)鍵詞：煤巖識(shí)別 神經(jīng)網(wǎng)絡(luò) 特征提取 AlexNet

中圖分類(lèi)號(hào)：TP391.41；TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2019）03（c）-0137-03

Abstract： In order to solve the problem of coal and rock image recognition in coal mine， this paper studies the current status of coal and rock image recognition， and the application methods， existing problems and solutions of convolutional neural network in coal and rock image recognition. Through the migration learning of the AlexNet network， a well-learned neural network is used for coal rock identification. The effects of different networks on the recognition rate and training speed of coal and rock images are studied. The experimental results show that the proposed method can obtain better image recognition results of coal and rock， and provides an important reference value for solving the problem of coal and rock image recognition by using convolutional neural network.

Key Words： Coal and rock recognition； Neural network； Feature extraction； AlexNet

煤炭是我國(guó)的主體能源。為促進(jìn)煤炭行業(yè)向信息化、智能化的方向轉(zhuǎn)變，實(shí)現(xiàn)煤炭資源的智能開(kāi)采尤其重要。其中，煤巖自動(dòng)識(shí)別是實(shí)現(xiàn)煤礦井下無(wú)人化開(kāi)采的關(guān)鍵性技術(shù)之一。有效提高煤巖識(shí)別率對(duì)保證煤炭的高產(chǎn)出率和綜采工作面的安全生產(chǎn)具有重要意義。

在煤巖識(shí)別的眾多方法中，通過(guò)圖像進(jìn)行識(shí)別具有不受電磁干擾，穩(wěn)定性強(qiáng)、適用范圍廣等優(yōu)勢(shì)。本文以此為依據(jù)，針對(duì)煤巖圖像識(shí)別問(wèn)題進(jìn)行了深入研究。總結(jié)了目前煤巖圖像識(shí)別發(fā)展現(xiàn)狀，并在此基礎(chǔ)上，研究了具有強(qiáng)大圖像表征能力的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在煤巖圖像識(shí)別方向的應(yīng)用問(wèn)題，以AlexNet[1]網(wǎng)絡(luò)模型為基礎(chǔ)，使用遷移學(xué)習(xí)方法，將小數(shù)據(jù)集的煤巖圖像用于對(duì)AlexNet網(wǎng)絡(luò)的參數(shù)微調(diào)，訓(xùn)練模型，達(dá)到提高煤巖圖像識(shí)別率的目的，與手工提取圖像特征方式相比，本文方法無(wú)需進(jìn)行復(fù)雜的圖像預(yù)處理過(guò)程，網(wǎng)絡(luò)能夠進(jìn)行端到端學(xué)習(xí)，針對(duì)不同質(zhì)量圖像，基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方式魯棒性更強(qiáng)，研究?jī)r(jià)值更大。

1 煤巖圖像識(shí)別

目前，已有的煤巖圖像識(shí)別方法主要有變換域法[2]、字典學(xué)習(xí)[3]、池化[4]等機(jī)器學(xué)習(xí)方式。這些方法中，通過(guò)手動(dòng)提取圖像紋理、灰度等特征，進(jìn)行組合，并嘗試各種圖像特征與分類(lèi)器之間的組合關(guān)系尋求最優(yōu)解，耗費(fèi)精力的同時(shí)并不能保證所提取的特征一定是最佳的。而利用卷積神經(jīng)網(wǎng)絡(luò)的方法，能夠自動(dòng)學(xué)習(xí)煤巖圖像特征、構(gòu)建分類(lèi)器，通過(guò)迭代訓(xùn)練達(dá)到網(wǎng)絡(luò)最佳識(shí)別效果。作為圖像識(shí)別領(lǐng)域中的強(qiáng)大算法，目前卻鮮有研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到煤巖圖像識(shí)別任務(wù)中，本文作為探討，分析了卷積神經(jīng)網(wǎng)絡(luò)在煤巖圖像識(shí)別中的方法應(yīng)用，并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種典型的神經(jīng)網(wǎng)絡(luò)，因其具有卷積結(jié)構(gòu)而得名。卷積神經(jīng)網(wǎng)絡(luò)一般包含卷積層、池化層、全連接層以及輸入輸出層。網(wǎng)絡(luò)層數(shù)越多，包含的參數(shù)越多，特征提取能力越強(qiáng)。卷積神經(jīng)網(wǎng)絡(luò)采用了稀疏連接及權(quán)值共享模式，減少網(wǎng)絡(luò)參數(shù)，降低網(wǎng)絡(luò)復(fù)雜度，加快訓(xùn)練速度。2012年的Image大賽中，AlexNet卷積神經(jīng)網(wǎng)絡(luò)以絕對(duì)的優(yōu)勢(shì)奪得了圖像識(shí)別競(jìng)賽冠軍，也因此掀起了卷積神經(jīng)網(wǎng)絡(luò)研究的熱潮。如圖1所示，是AlexNet網(wǎng)絡(luò)模型圖。其中包括五個(gè)卷積層和三個(gè)全連接層。AlexNet網(wǎng)絡(luò)在每個(gè)卷積層中使用ReLU函數(shù)進(jìn)行激活，改善了深度神經(jīng)網(wǎng)絡(luò)中的梯度彌散問(wèn)題；網(wǎng)絡(luò)中加入三個(gè)最大池化層；全連接層中使用Dropout方式隨機(jī)忽略部分神經(jīng)元，避免過(guò)擬合；同時(shí)訓(xùn)練過(guò)程使用GPU加速訓(xùn)練。

原始AlexNet網(wǎng)絡(luò)模型在超過(guò)一百萬(wàn)張圖像的ImageNet數(shù)據(jù)庫(kù)上進(jìn)行訓(xùn)練，能夠?qū)?000個(gè)常見(jiàn)物品、動(dòng)物等進(jìn)行分類(lèi)，訓(xùn)練好的AlexNet網(wǎng)絡(luò)具備強(qiáng)大的特征表示能力。在訓(xùn)練好的Alexnet網(wǎng)絡(luò)上進(jìn)行遷移學(xué)習(xí)[5]，即通過(guò)在網(wǎng)絡(luò)中輸入新的樣本數(shù)據(jù)，對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，憑借AlexNet網(wǎng)絡(luò)的強(qiáng)大自學(xué)習(xí)能力，達(dá)到對(duì)新的圖像樣本進(jìn)行準(zhǔn)確分類(lèi)的效果，能夠解決樣本量不足、訓(xùn)練時(shí)間過(guò)長(zhǎng)、易出現(xiàn)過(guò)擬合等問(wèn)題。

3 實(shí)驗(yàn)及結(jié)果分析

本文采用在ImageNet數(shù)據(jù)庫(kù)上訓(xùn)練好的AlexNet網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，以達(dá)到煤巖圖像的精確識(shí)別目的。

數(shù)據(jù)集：實(shí)驗(yàn)樣本選取不同光照、不同角度、不同環(huán)境中的砂巖、頁(yè)巖、煙煤和無(wú)煙煤圖像各120幅，共480幅。為了防止因樣本數(shù)量過(guò)少造成的網(wǎng)絡(luò)訓(xùn)練過(guò)擬合問(wèn)題，本文通過(guò)數(shù)據(jù)增廣，將每幅煤巖圖像均經(jīng)過(guò)切割、旋轉(zhuǎn)、平移、加噪等處理，得到新的樣本圖像，以增加實(shí)驗(yàn)樣本數(shù)量。最終得到用于實(shí)驗(yàn)的煤巖圖像數(shù)據(jù)集的數(shù)量為2400幅，每一類(lèi)圖像各600幅，圖像大小統(tǒng)一設(shè)置為227×227×3，格式為.jpg。

隨機(jī)選取70%煤樣本圖像和70%巖樣本圖像作為訓(xùn)練數(shù)據(jù)集，其余的圖像作為測(cè)試數(shù)據(jù)集，即訓(xùn)練集樣本容量為1680，測(cè)試集樣本容量為720。

實(shí)驗(yàn)環(huán)境：MATLAB2018b，win10系統(tǒng)，在配置為Intel Core i5-2450 2.50 GHz CPU，8GB RAM的PC機(jī)下運(yùn)行，實(shí)驗(yàn)中僅使用CPU進(jìn)行運(yùn)算。

為使用AlexNet網(wǎng)絡(luò)進(jìn)行煤巖圖像識(shí)別，實(shí)驗(yàn)過(guò)程首先將網(wǎng)絡(luò)模型的最后一層替換為維度為4的分類(lèi)層，改變?cè)搶訉W(xué)習(xí)率為10，以便更快訓(xùn)練；由于數(shù)據(jù)集較小，無(wú)需多次訓(xùn)練，因而設(shè)置網(wǎng)絡(luò)Maxepochs值為10；同時(shí)降低卷積層中學(xué)習(xí)速率至1e-4。

圖2是在訓(xùn)練好的AlexNet網(wǎng)絡(luò)上進(jìn)行遷移學(xué)習(xí)訓(xùn)練過(guò)程識(shí)別率圖。可以看出，當(dāng)?shù)螖?shù)達(dá)到350次以上時(shí)，煤巖圖像識(shí)別率進(jìn)入平穩(wěn)狀態(tài)，停止訓(xùn)練后，在測(cè)試數(shù)據(jù)集上的最終識(shí)別率為98.92%，效果良好。

圖3是AlexNet網(wǎng)絡(luò)訓(xùn)練過(guò)程損失圖。損失值表明了卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化過(guò)程，損失值越小，表明網(wǎng)絡(luò)優(yōu)化性能越好。當(dāng)網(wǎng)絡(luò)迭代次數(shù)達(dá)到350次以上時(shí)，損失值降到最低，表明此時(shí)網(wǎng)絡(luò)已經(jīng)訓(xùn)練到最優(yōu)狀態(tài)。

考慮到本文所使用的煤巖圖像數(shù)據(jù)集相對(duì)較小，而使用大型的AlexNet網(wǎng)絡(luò)可能會(huì)造成訓(xùn)練時(shí)間過(guò)長(zhǎng)而識(shí)別效果提升不明顯，特別是AlexNet網(wǎng)絡(luò)的最后三個(gè)全連接層，訓(xùn)練參數(shù)數(shù)量高達(dá)50M以上，耗費(fèi)大量訓(xùn)練時(shí)間。因而本文通過(guò)去掉AlexNet網(wǎng)絡(luò)最后兩個(gè)全連接層，只保留一層全連接層和最后的分類(lèi)層，稱(chēng)為改進(jìn)的AlexNet網(wǎng)絡(luò)，表示為I-AlexNet，進(jìn)行了實(shí)驗(yàn)，結(jié)果如表1。

圖4是I-AlexNet網(wǎng)絡(luò)訓(xùn)練過(guò)程識(shí)別率圖。當(dāng)?shù)螖?shù)達(dá)到300次以上時(shí)，網(wǎng)絡(luò)進(jìn)入平穩(wěn)狀態(tài)，停止訓(xùn)練后，在測(cè)試數(shù)據(jù)集上的最終識(shí)別率為98.39%，比微調(diào)過(guò)的AlexNet網(wǎng)絡(luò)略低。

圖5是I-AlexNet網(wǎng)絡(luò)訓(xùn)練過(guò)程損失圖。當(dāng)?shù)螖?shù)達(dá)到300次以上時(shí)，損失值降到最低，表明網(wǎng)絡(luò)已經(jīng)訓(xùn)練到最優(yōu)狀態(tài)，相比于具有三個(gè)全連接層的AlexNet網(wǎng)絡(luò)，所需迭代次數(shù)更少，效率更高。

同時(shí)，本文比較了兩種網(wǎng)絡(luò)在其他條件設(shè)置相同時(shí)，所需訓(xùn)練時(shí)間的差異，如表1所示。可以看出，兩種網(wǎng)絡(luò)在識(shí)別率上差異不大，但去掉了兩個(gè)全連接層的I-AlexNet網(wǎng)絡(luò)模型，在訓(xùn)練時(shí)間上比AlexNet網(wǎng)絡(luò)模型減少了近1/3的時(shí)間，計(jì)算效率顯著提高。

通過(guò)實(shí)驗(yàn)分析卷積神經(jīng)網(wǎng)絡(luò)在煤巖圖像識(shí)別任務(wù)中的應(yīng)用效果，以及兩種不同網(wǎng)絡(luò)模型在識(shí)別精度、訓(xùn)練時(shí)間上的不同，可以發(fā)現(xiàn)，盡管在深度學(xué)習(xí)領(lǐng)域中，卷積神經(jīng)網(wǎng)絡(luò)模型通常適用于具有大型數(shù)據(jù)庫(kù)的圖像分類(lèi)，但合理運(yùn)用訓(xùn)練好的網(wǎng)絡(luò)模型，通過(guò)遷移學(xué)習(xí)，仍然可以得到良好的煤巖圖像識(shí)別效果。同時(shí)，更深層的網(wǎng)絡(luò)通常需要耗費(fèi)更多的訓(xùn)練時(shí)間，對(duì)計(jì)算能力的要求更高，要綜合考慮對(duì)識(shí)別率、訓(xùn)練時(shí)間和硬件條件的實(shí)際需求，合理構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型。

4 結(jié)語(yǔ)

本文采取的應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行煤巖圖像識(shí)別的方法，能夠有效提取圖像深層特征，避免了手工提取特征的復(fù)雜方式，提高了識(shí)別率。通過(guò)遷移學(xué)習(xí)的方式，解決了因煤巖圖像數(shù)據(jù)集過(guò)小，導(dǎo)致的卷積神經(jīng)網(wǎng)絡(luò)容易出現(xiàn)過(guò)擬合的問(wèn)題。同時(shí)比較了AlexNet和I-AlexNet兩種網(wǎng)絡(luò)模型在識(shí)別率和訓(xùn)練時(shí)間上的差異，發(fā)現(xiàn)在識(shí)別率差異不大的情況下，更淺層的神經(jīng)網(wǎng)絡(luò)能夠有效減少訓(xùn)練時(shí)間，節(jié)約計(jì)算資源。總之，本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)的煤巖圖像識(shí)別方法魯棒性和泛化能力更強(qiáng)，識(shí)別精度更高，取得了理想的識(shí)別效果。

參考文獻(xiàn)

[1] Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks [C]. International Conference on Neural Information Processing Systems. Curran Associates Inc， 2012：1097-1105

[2] 張婷. 基于變換域與高斯混合模型聚類(lèi)的煤巖識(shí)別方法[J].煤炭技術(shù)，2018，37（11）：320-323.

[3] 孫繼平，陳浜. 基于CLBP和支持向量誘導(dǎo)字典學(xué)習(xí)的煤巖識(shí)別方法[J].煤炭學(xué)報(bào)，2017，42（12）：3338-3348.

[4] 伍云霞，田一民. 基于最大池化稀疏編碼的煤巖識(shí)別方法 [J].工程科學(xué)學(xué)報(bào)，2017，39（7）：981-987.

[5] Maxime Oquab， Leon Bottou， Ivan Laptev and Josef Sivic. Learning and Transferring Mid-Level Image Representations using Convolutional Neural Networks[C]. 2014 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， 2014：1717-1724.