融合殘差信息輕量級網絡的運煤皮帶異物分類

程德強，徐進洋，寇旗旗，張皓翔，韓成功，于 彬，錢建生

(1.中國礦業大學 信息與控制工程學院，江蘇 徐州 221116；2.中國礦業大學 計算機科學與技術學院，江蘇 徐州 221116；3.永貴能源開發有限責任公司新田煤礦，貴州 畢節 551514)

我國是世界上最大的煤炭生產國和消費國，對煤礦進行安全的開采和運輸尤為重要。國家八部委發布的《煤礦智能化建設指南2021版》指出要科學規范有序開展煤礦智能化建設，加快建成一批多種類型、不同模式的智能化煤礦。運煤皮帶作為煤炭開采和運輸的大動脈，其運行的工作狀態直接影響著煤炭的開采運輸量，皮帶上的異物如大塊矸石、錨桿在皮帶高速運行過程中易造成皮帶的劃傷、撕裂和落煤口的堆煤堵煤等問題，因此對運輸皮帶上存在的大塊、錨桿等異物進行分類識別，以便提前進行預警處理，可有效保障煤礦的安全生產。目標檢測和圖像分類技術都可以實現對皮帶異物的分類識別，但目標檢測需要先在圖像中對異物部分進行定位然后再進行識別，這在一定程度上增加了網絡的計算量，而圖像分類技術則可直接對異物進行識別，不需要對異物進行定位，可以將更多的計算資源用于快速的異物識別中。

礦井的復雜環境使得現有的圖像分類方法在運煤皮帶異物分類的應用備受挑戰，許多學者將機器視覺技術引入礦井異物圖像分類，如WANG等基于幀間差分法、閾值分級和Select-Shape算子對帶式輸送機的大塊異物進行識別，HE等使用支持向量機的分類方法同時結合異物的紋理及灰度特征進行異物分類，ZHANG等采用多特征融合并結合K近鄰算法、支持向量機進行異物識別。上述方法取得了不錯的成績，但其采用特征提取與分類算法相結合的圖像處理方法，整體上存在魯棒性差、易受光照影響等問題。

卷積神經網絡使用卷積的方法來進行特征提取，魯棒性強，在多個領域得到了廣泛的應用，也有學者對于礦井異物圖像分類網絡進行研究。PU等基于VGG16網絡和遷移學習的思想，建立了異物識別模型，但樣本集較小，僅有240張。SU等設計改進的LeNet-5網絡，對20 000張非生產環境下的異物圖片進行了訓練，識別率為95.88%。MA等基于MobileNet網絡，針對異物圖像的特點優化了網絡結構、改進了損失函數，識別率進一步提高。現階段關于礦井異物圖像分類的不足之處在于：① 樣本采集較為理想，沒有考慮實際的工況環境；② 網絡模型復雜度高，參數量大，精度低，實時性差。

筆者針對以上問題，構建了一種基于殘差信息的輕量級網絡來進行礦井運煤皮帶異物圖像分類。該網絡采用多通道交叉學習機制和特征拼接的融合方式，增強了特征的表現力；采用改進殘差塊作為基本特征提取單元，去除卷積塊之間的激活函數。

1 相關算法

1.1 殘差網絡模型

隨著深度學習的發展，理論上認為更深的網絡結構能夠取得更好的分類效果，但實驗證明直接堆疊網絡層數，會引發梯度爆炸與梯度消失的問題。HE等提出的ResNet網絡解決了此類問題。在傳統的網絡中，輸入到輸出的映射可以表示為()=(),為輸入值，殘差網絡的輸入輸出映射可以表示為()=()-，即目標值()與輸入值的差值。殘差網絡結構如圖1所示。

圖1 殘差塊結構Fig.1 Structure of Residual Block

每一個殘差塊可用式(1)，(2)來表示。

=()+(,)

(1)

+1=()

(2)

其中，和分別為第層的輸入和輸出；(·)為直接映射；(·)為激活函數；(,)為殘差信息。整體的殘差網絡為

+1=+(,)

(3)

對于層，與層的關系為

(4)

根據前向傳播中使用的導數的鏈式法則，損失函數關于的梯度為

(5)

1.2 損失函數閾值處理

在網絡模型訓練過程中，隨著迭代次數的增加，訓練集損失函數應該逐漸減小，測試集的準確率逐漸上升，損失函數逐漸減小。但在實際訓練中，當訓練集損失函數降低到一定程度時，測試集的損失函數會出現不降反升的情況，文獻[18]分析了造成這種情況的原因。是由于部分錯誤數據主導了損失函數，而這部分數據在整體的測試集中只占很小的比例。

(6)

2 本文算法

2.1 融合殘差信息分類網絡的構建

本文網絡采用殘差塊作為基本特征提取單元，整體上分為特征提取和圖像分類2個階段。在特征提取階段中構建3個通道數不同的信息融合網絡，每一個信息融合網絡中包含3個殘差網絡，每個殘差網絡包含2個殘差塊，對3個殘差網絡的輸出信息進行交叉拼接融合，整體的網絡結構如圖2所示。

圖2 模型整體網絡結構Fig.2 Overall network structure of the model

(7)

(8)

2.2 信息融合網絡特征提取

在特征提取階段，首先將圖片通過1個大小為3×3，通道數為64，步長為1的卷積塊，將輸出結果輸入到第1個信息融合網絡；在第1個信息融合網絡中，將輸入的信息依次通過3個殘差網絡進行進一步的特征提取，每一個殘差網絡都包含2個殘差塊，每個殘差塊包含3個大小為3×3，步長為1的卷積核；然后對3個殘差網絡的輸出分別進行3種不同方式的特征拼接得到3個特征信息，將3個特征信息分別通過1×1的卷積核進行降維處理，將降維處理后的特征信息分別與第3個殘差網絡的輸出信息再次融合，最后將得到的3個特征信息分別經過大小為3×3，步長為1的卷積核和大小為3×3的池化層處理，將經過處理后得到的3個特征信息再次進行特征拼接，最終將拼接后的特征信息輸入到下一個信息融合網絡。在特征提取階段中共有3個信息融合網絡，它們的不同之處在于網絡內卷積核的通道數，通道數分別為64，128和256。為了保證能夠正確進行特征拼接，需要不同特征圖的長和寬保持一致，因此，在每一次卷積操作之后，都需要在特征的最外層進行補零的操作。

()=([(),(),…,()])

(9)

其中，()為降維處理。對比2種方法可以發現，特征拼接的權重系數是特征疊加權重系數的倍，它能夠通過更多的權重控制來進行更詳細的特征表達。特征拼接模型如圖3所示。

圖3 特征拼接模型結構Fig.3 Structure of feature splicing information model

在傳統的ResNet網絡中，隨著網絡層數的不斷加深，圖片特征信息會出現丟失的情況。Lü等和JIANG等為了保留更多的信息，提出把不同分支的信息進行融合的方法。CHENG等在此基礎上提出了多通道交叉學習機制融合方法，利用交叉學習機制將各個通道間獨立的特征信息充分融合，能夠提高網絡對細節信息的學習能力。融合特征信息表示為

對信息融合網絡進一步改進，精簡單個信息融合網絡結構，增加網絡個數，同時采用特征拼接的方式來增加特征表達能力。本文信息融合網絡的模型如圖4所示，圖4中的殘差網絡包含2個相同的殘差塊，具體結構如圖5所示。

圖4 信息融合網絡結構Fig.4 Network structure of information fusion model

為了進一步避免因為網絡層數的加深帶來的特征映射丟失的問題，在進行特征融合之前，將每個殘差網絡的輸出信息與信息融合網絡的輸入信息相乘，增加了原始信息的表現力。本文網絡中的信息融合網絡為如式(10)所示。

詳細的網絡結構如表1和圖6所示。

(10)

圖5 殘差網絡結構Fig.5 Structure of Residual network

表1 本文網絡的結構

圖6 本文模型的詳細結構Fig.6 Detailed structure of the model in the paper

3 實驗結果分析

本文的實驗平臺選擇Ubuntu20.04.2版本；CPU型號選擇Intel(R) Core(TM) i9-10980XE @ 3.0 GHz；GPU型號選擇GTX3090，顯存容量為24 GB；系統內存為64 GB；CUDA為11.1版本；Pytorch框架為1.8版本。模型初始學習率設置為0.000 1，每迭代80次，學習率乘0.2，總共迭代240次。

3.1 實驗數據

本文的所有實驗對比都在3個數據集上進行，包括2個公開數據集和1個自建數據集。公開數據集選擇Cifar10和Cifar100，自建數據集的圖片來自礦井下的現實生產環境。

Cifar10數據集由包含飛機、汽車、鳥類、貓、鹿、狗、蛙、馬、船和卡車10個類的60 000張32×32的彩色RGB圖像組成，每類有6 000張圖像，分為5 000張訓練圖像和1 000張測試圖像。

Cifar100數據集也由60 000張32×32的彩色RGB圖像組成，共有100個類，每一類有600張圖像，分為500張訓練集圖像和100張測試集圖像。這100個類被分成20個超類，每個圖像都帶有一個“精細”標簽(它所屬的類)和一個“粗糙”標簽(它所屬的超類)。

礦井圖像數據集采集自礦井下皮帶的運輸環境，共采集圖片6 000張，分為3類：大塊圖片、錨桿圖片和正常圖片，每類有2 000張圖像，包含訓練圖像1 600張和測試圖像400張。部分數據集圖像如圖7所示。

圖7 礦井圖像數據集展示Fig.7 Display of mine image dataset

圖7中，第1行和第2行的圖片是大塊圖片，大塊體積大、質量大，在傳輸過程中一旦堵住落煤口容易造成皮帶脫軌；第3行和第4行的圖片是錨桿圖片，錨桿具有尖銳、細長的特征，在傳輸過程中容易劃傷、撕裂皮帶；第5行和第6行的圖片是正常的煤流圖片。

3.2 結果分析

為了探究激活函數ReLU的位置對本文網絡分類效果的影響，對圖8所示的4種殘差塊網絡結構進行對比實驗。在Cifar10數據集上進行驗證，驗證結果如圖9、表2所示。為了更清楚地展示4種殘差結構對圖像分類準確率的影響，分類準確率曲線從第20次迭代起開始繪制。

圖8 4種不同的殘差塊結構Fig.8 Structures of four different residual block

圖9 4種殘差塊結構在Cifar10上的準確率曲線Fig.9 Accuracy curves of four residual block structures on Cifar10

表2 測試集準確率對比

如圖9、表2所示，在本文網絡中，沒有激活函數的殘差塊(ReLU_0)比另外3個有激活函數的殘差塊分類準確率分別提高0.4%，0.6%和0.8%，由此可見，不使用激活函數的殘差塊更契合本文的網絡。

本文網絡在損失函數上采用損失函數閾值處理的方法，在Cifar10和Cifar100兩個公用數據集上進行對比實驗，實驗結果如表3和圖10所示。

表3 測試集準確率對比

圖10 Cifar10和Cifar100上測試集準確率和損失函數對比Fig.10 Comparison of the loss function and accuracy of the test set on Cifar10 and Cifar100

分析實驗結果可以發現，采用了損失閾值處理的模型(Ours_ow)比沒有使用損失閾值處理的模型(Ours)在Cifar10數據集上的準確率降低了0.1%，在Cifar100數據集上的準確率沒有變化；但是損失函數上升的問題完全解決，大大提高了模型的泛化性。

為了進一步驗證本文模型的分類精度和實時性，選取以下10種圖像分類網絡：ShufflenetV2，MobileNetV2，LetNet-5_Su，GoogleNet，VGG16，ResNet34，ResNet50，ResNeXt50，

W-ResNet50和ResNet110對比他們的參數量、FLOPs和FPS，并且在Cifar10，Cifar100和礦井圖像數據集上對比分類的準確率，對比結果見表4。

根據表4的實驗結果可以看出，不同網絡的參數量、計算復雜度、分類的準確率和幀率都有著顯著的差異。GoogLeNet和VGG16網絡在Cifar10數據集上的分類準率為88.2%和88.9%；在Cifar100數據集上的分類準確率為69.7%和69.1%；在礦用數據集上的分類準確率為81.3%和80.4%。本文選取了5種常見殘差網絡進行對比實驗，實驗結果表明，在3個數據集中，殘差網絡整體上優于非殘差網絡。其中，W_ResNet50是WANG等提出的基于ResNet50的改進網絡，它將圖像輸入部分的特征提取模塊從7×7變成了3×3，使用了soft-center損失函數，在礦用數據集上的分類準確率達到了84.8%，在Cifar10和Cifar100上也表現良好，雖然分別比ResNet110網絡低了0.2%和0.1%，但參數量只有它的一半。本文網絡在礦用數據集上的準確率為85.1%，比W-ResNet50還高出0.3%，在Cifar10上為94.1%，和ResNet110相同，但是參數量只有它的1/3，在Cifar100上為73.9%，比W-ResNet50和ResNet110分別高出0.3%和0.1%。用于礦井煤矸石分類的網絡LeNet-5_Su在礦用數據集上的分類準確率為77.7%，比本文網絡低了7.4%。筆者選取了ShufflenetV2，MobileNetV2和ResNeXt50三種主流輕量級網絡進行對比，在礦用數據集上的分類準確率為80.1%，80.9%和84.6%，比本文網絡低了5.0%，4.2%和0.5%。從FLOSs和FPS指標上來看，本文網絡為2.980 0×10和98，比ShufflenetV2、Mobile-NetV2，LeNet-5_Su和GoogLeNet效果稍差，但是分類準確率分別提高了5.0%，4.2%，7.4%和3.8%，高達98的FPS也能夠達到實時的處理效果。此外，相比于其他的分類網絡，本文的分類網絡在FLOSs和FPS上都實現了超越。與分類準確率同本文網絡相近的ResNet50，ResNeXt50和W_ResNet50相比，其FPS也分別提高了28，26和34。

表4 不同網絡的參數量、分類準確率、FLOPs和FPS對比

因此，通過詳細的實驗對比和分析，證明了本文所提出的算法具有網絡參數量少、計算復雜度低、分類準確率高、處理速度快的優點，能夠有效地對運煤皮帶的上的異物進行分類，從而提高運煤皮帶的運輸效率。

4 結 論

(1)以改進的殘差結構和交叉學習機制為基礎，提出一種融合殘差信息的輕量級圖像分類網絡。該網絡以改進的殘差結構作為基本特征提取單元，增強了對細節特征的提取能力；采用特征拼接的信息融合方式，能夠通過更多的權重控制來進行更詳細的特征表達；采用交叉學習機制的信息融合網絡，能夠提高特征的利用率，增加原始特征的表現力；采用損失閾值的處理方式，能夠改善測試集損失函數升高的情況，提高模型泛化性 。

(2)實驗結果表明，本文提出的圖像分類網絡能夠有效地對運煤皮帶上煤炭夾雜的異物進行分類。改善了運煤皮帶異物識別時存在的網絡參數量大、實時性差、識別精度低等問題。

(3)本文提出的網絡能夠增強對運煤皮帶中異物識別的效果，提高對帶式輸送機的安全保護水平和煤炭輸送的效率，為無人化煤炭精準開采及基于機器視覺的智能裝備研制提供技術理論支撐，從而促進智能視頻分析技術在礦井煤流輸送過程中的發展和應用。