輕量化的多尺度跨通道注意力煤流檢測網絡

朱富文 侯志會 李明振

摘要：為通過變頻調速提高帶式輸送機運行效率，需要對帶式輸送機煤流進行檢測。現有基于深度學習的帶式輸送機煤流檢測方法難以在模型輕量化和分類準確度之間達到平衡，且很少考慮在特征提取過程中通道權重分布不平衡對檢測準確度的影響。針對上述問題，提出了一種輕量化的多尺度跨通道注意力煤流檢測網絡，該網絡由特征提取網絡和分類網絡組成。將輕量化的殘差網絡 ResNet18作為特征提取網絡，并在此基礎上引入煤流通道注意力（CFCA）子網絡，CFCA 子網絡采用多個卷積核大小不同的一維卷積，并對一維卷積的輸出進行堆疊，以捕獲特征圖中不同尺度的跨通道交互關系，實現對特征圖權重的重新分配，從而提高特征提取網絡的語義表達能力。分類網絡由3個全連接層構成，其將向量化的特征提取網絡的輸出作為輸入，并對其進行非線性映射，最終得到“煤少”、“煤適中”、“煤多”3類結果的概率分布，通過將煤流檢測問題轉換為圖像分類問題，避免瞬時煤流量波動過大導致帶式輸送機頻繁變頻調速的問題，提高帶式輸送機運行穩定性。實驗結果表明， ResNet18+CFCA 網絡在幾乎不增加網絡參數量和計算復雜度的情況下，比 ResNet18網絡在分類準確率上提升了1.6%，可更加有效地區分圖像中的前景信息，準確提取煤流特征。

關鍵詞：帶式輸送機；煤流檢測；圖像分類；輕量化；多尺度跨通道注意力；殘差網絡中圖分類號： TD712??? 文獻標志碼： A

Lightweight multi-scale cross channel attention coal flow detection network

ZHU Fuwen1， HOU Zhihui2， LI Mingzhen3

（1. Electrical Department， Jiaozuo Coal Industry（Group） Co.， Ltd.， Jiaozuo 454002， China；

2. Zhaogu No.1 Coal Mine， Jiaozuo Coal Industry（Group） Co.， Ltd.， Huixian 453634， China；

3. Jiaozuo Huafei Electrionic and Electric Co.， Ltd.， Jiaozuo 454000， China）

Abstract： In order to improve the operating efficiency of belt conveyors through variable frequency speed regulation， it is necessary to detect the coal flow of belt conveyor. The existing deep learning-based coal flow detection methods for belt conveyors are difficult to achieve a balance between model lightweight and classification accuracy. There are few researches on the impact of imbalanced channel weight distribution on detection accuracy in the feature extraction process. In order to solve the above problems， a lightweight multi- scale cross channel attention coal flow detection network is proposed. The network consists of a feature extraction network and a classification network. The lightweight residual network ResNet18 is used as the feature extraction network， and on this basis， the coal flow channel attention （CFCA） subnetwork is introduced. The CFCA subnetwork uses multiple one-dimensional convolutions with different kernel sizes， and stacks the output of one-dimensional convolution to capture cross channel interaction relationships at different scales in the feature map. It achieves the reassignment of feature map weights， thereby improving semantic expression capability of the feature extraction network. The classification network consists of three fully connected layers， which take the output of the vectorized feature extraction network as input and perform nonlinear mapping on it. It ultimately obtains the probability distribution of three types of results："little coal"， "moderate coal"， and "much coal". By transforming the coal flow detection problem into an image classification problem， the problem of frequent frequency conversion and speed regulation of belt conveyors caused by excessive fluctuations in instantaneous coal flow is avoided. It improves stability of belt conveyor operation. The experimental results show that the ResNet18+CFCA network improves classification accuracy by 1.6% compared to the ResNet18 network， with almost no increase in network parameters and computational complexity. It can distinguish foreground information in images more effectively and accurately extract coal flow features.

Key words： belt conveyor; coal flow detection; image classification; lightweight; multi scale cross channel attention; residual network

0 引言

帶式輸送機因其運輸距離遠、運載能力強、結構簡單、易于維護等特點，廣泛應用于煤炭運輸過程中[1-3]。帶式輸送機是煤礦最主要的耗能設備之一，其工作負荷占整個礦井工作負荷的30%左右。但由于煤礦開采過程的不均衡性，帶式輸送機經常處于“大馬拉小車”的運行狀態，造成大量電能浪費和設備損耗[4-6]。為提高帶式輸送機運行效率，煤礦企業已陸續開展對帶式輸送機的改造升級[7]。其中，應用最廣泛的方案是將帶式輸送機運行狀態從工頻定速升級為變頻調速[8]。但變頻調速只是賦予了帶式輸送機根據載荷進行速度調節的一種能力，而釋放這種能力的關鍵是準確感知帶式輸送機煤流量。

帶式輸送機煤流檢測方法整體上可分為接觸式和非接觸式2種。接觸式檢測方法中應用較廣泛的是電子膠帶秤[9]，但受稱重拖輥非準直度、膠帶張力及運行阻力等因素影響，在長期使用過程中傳感器損耗嚴重，導致實時性變差，檢測結果準確性較差。因此非接觸式檢測方法逐漸成為研究熱點。文獻[10]使用單線激光雷達獲取煤流截面的二維輪廓，進而估計出煤流的截面積，從而實現煤流檢測。文獻[11]提出了一種基于雙激光雷達的帶式輸送機煤流量檢測系統，使用2個激光雷達測量煤流輪廓，提高了煤流量檢測的準確性。文獻[12]使用激光的 Ohta 顏色特征構建煤流輪廓線，計算煤流梯形截面積，從而獲得煤流量。上述文獻都是用激光進行點或線的掃描，容易受外界環境影響，產生較大干擾；同時激光儀價格昂貴，限制了其推廣。利用相機獲取煤流信息的方法因成本低、抗干擾能力強、獲取信息量豐富，逐漸受到人們關注。文獻[13]使用激光三角法與雙目視覺結合的線激光雙目立體檢測方法，對帶式輸送機上的煤流動態體積進行測量，并計算得出煤流量。文獻[14]使用單目相機結合激光線條紋的圖像采集方案，用以實現煤流檢測。文獻[15]使用線激光來輔助相機進行帶式輸送機上煤流的三維信息采集和重建工作，可提高煤流檢測精度。但這些方法需要人工設計圖像特征，而人工設計圖像特征的通用性并不佳。

近年來，隨著深度學習迅猛發展，基于深度學習的帶式輸送機煤流檢測方法因其能利用卷積神經網絡自學習圖像特征，在煤流檢測領域被逐步推廣。文獻[16]借助圖像分類網絡中的視覺幾何組網絡（Visual Geometry Group Net，VGGNet），實現對煤流的離散性檢測。文獻[17]提出了一種基于編碼器?解碼器融合架構的網絡模型，先提取不同層次的煤流特征信息，再進行特征融合，實現了對帶式輸送機的煤流檢測。

然而，上述方法難以在模型輕量化和分類準確度之間達到平衡，且很少考慮在特征提取過程中通道權重分布不平衡對檢測準確度的影響。因此，本文提出了一種輕量化的多尺度跨通道注意力煤流檢測網絡。選取殘差網絡（Residual Network，ResNet）[18]中輕量級的 ResNet18作為特征提取網絡，并在 ResNet18中嵌入煤流通道注意力（Coal Flow Channel Attention，CFCA）子網絡，可有效捕獲特征圖中不同尺度的跨通道交互關系，實現對特征圖中通道權重的重新分配，從而提高特征提取網絡的語義表達能力。另外，采用離散化處理將煤流分為“煤少”、“煤適中”、“煤多”3個等級，從而將煤流檢測問題轉換為圖像分類問題，避免因瞬時煤流量波動較大、帶式輸送機頻繁變頻調速導致運行狀態不穩定的問題。

1 基本理論

1.1 ResNet

ResNet是深度學習領域廣泛采用的一種卷積神經網絡，根據卷積層數目的不同，ResNet可分為 ResNet18， ResNet34， ResNet50， ResNet101和 ResNet152。為了提高網絡運行效率，本文采用輕量化的 ResNet18作為特征提取網絡，其結構如圖1所示。

ResNet18工作流程：首先，輸入圖像依次通過一個7×7卷積層、最大池化層、卷積層1（Conv1）、卷積層2（Conv2）、卷積層3（Conv3）、卷積層4（Conv4），以進行相應的特征提取，其中 Conv1和 Conv4均由2個 Basic Block Ⅰ組成；Conv2和 Conv3 均由1個 Basic Block Ⅰ和1個 Basic Block Ⅱ組成；然后，將 Conv4輸出的特征圖通過全局平均池化后送入全連接層；最后，將全連接層的輸出送入softmax層，進行分類概率輸出。

1.2 通道注意力機制

在深度學習中，通道注意力機制作為視覺注意力機制中的一種，其引入的參數量和計算復雜度都相對較小，可忽略不計，同等條件下有更高的運行效率，因此被廣泛應用。通道注意力機制更多地采用全連接操作來提取全局之間的通道相互關系，并以此作為權重分配的依據。常用的通道注意力機制包括壓縮與激勵網絡（Squeeze-and-Excitation Networks，SENet）[19]和高效通道注意力網絡（Efficient Channel Attention Network，ECANet）[20]。ECANet相較于SENet，擁有更高效的跨通道交互能力，且網絡復雜度更小，更加輕量級。ECANet通過一維卷積即可實現通道權重的分配，但ECANet采用的是固定大小的卷積核，對通道權重的分配并不均衡。

本文基于ECANet的思想，提出 CFCA 子網絡，采用多個卷積核大小不同的一維卷積來獲取特征圖中不同尺度的跨通道交互關系，以增強網絡的特征提取能力。

2 輕量化的多尺度跨通道注意力煤流檢測網絡

輕量化的多尺度跨通道注意力煤流檢測網絡主要由特征提取網絡和分類網絡組成，如圖2所示。

特征提取網絡采用 ResNet18網絡的 Conv1— Conv4部分，用于實現對輸入煤流圖像的特征提取，以獲取其高級語義信息。此外，將 CFCA 子網絡嵌入在特征提取網絡中，沿著通道維度對特征圖的權重進行重新分配，以提高特征提取網絡的語義表達能力。分類網絡由3個全連接層構成，其將向量化的特征提取網絡的輸出作為輸入，并對其進行非線性映射，最終得到“煤少”、“煤適中”、“煤多”3類結果的概率分布。

2.1 CFCA 子網絡

CFCA 子網絡結構如圖3所示。

對于任意的輸入特征圖X 2 RHxWxC（H，W，C分別為 X 在高、寬和通道維度上的取值），CFCA 子網絡沿著通道維度C對其進行全局平均池化，結果為

式中：X12 R1x1xC；GGAP （·）為全局平均池化操作。

CFCA 子網絡對X1進行不同卷積核大小下的一維卷積運算，并對運算結果求和，得

X2=ΣCco（K）nv （X1）???? （2）

式中：X22 R1x1xC；Cco（K）nv （·）為不同卷積核大小K下的一維卷積運算。

之后 CFCA 子網絡對X2使用 sigmoid 函數激活，得到的新的特征圖通道權重分布為

P1=σ（X2）?????? （3）

式中： P12 R1x1xC；σ（·）為 sigmoid 函數。

經 CFCA 子網絡通道權重分配后的特征提取網絡輸出為

Xout = X P1?????????? （4）

式中：Xout 2 RHxWxC；為通道權重與特征對應通道加權乘積運算符。

不同于SENet和ECANet，CFCA 子網絡借鑒了特征金字塔網絡[21]的思想，采用多個卷積核大小不同的一維卷積，用于捕獲特征圖中通道間多尺度的相互依賴關系。另外，通過對一維卷積的輸出進行堆疊，實現對特征圖通道權重的重新分配，可有效提升特征圖中煤流區域的響應值，并抑制無關的背景信息，從而提高網絡的抗干擾能力。

2.2 損失函數

本文使用的總損失函數為多分類交叉熵損失函數，其表達式為

L = [yc（j）lny（?）c（j）+（1一yc（j）） ln（1一 y（?）c（j））]（5）

式中：yc（j）為第j（j=1，2，··· ， N，N 為訓練的樣本總數）個樣本對應第 c（c=1，2，··· ， M，M 為類別總數，本文中M=3）個類別的真實值；y（?）c（j）為經過softmax函數輸出得到的第j 個樣本對應第 c 個類別的預測值。

3 實驗結果及分析

3.1 實驗環境

硬件平臺中 CPU 為 Intel Core i7?12700，內存為32 GiB，GPU 為 RTX 3080，顯存為12 GiB，操作系統為 Ubuntu 18.04.6 LTS，深度學習框架采用PyTorch 1.13。本文采用的數據集從焦作煤業（集團）有限責任公司九里山礦獲取，其中訓練數據集包括18119張圖像，測試數據集包括7891張圖像。

在網絡訓練過程中，設置每批次輸入圖像的張數（batch size）為16，迭代次數（epoch）為200。

3.2 網絡參數選取

為研究使用不同卷積核大小的一維卷積對 CFCA 子網絡效果的影響，將 CFCA 子網絡嵌入在 ResNet18網絡的 Conv4之后，且 CFCA 子網絡所采用的一維卷積核大小分別為3，5，7，9，結果見表1。當 K=3時，表示 CFCA 子網絡僅采用1個卷積核大小為3的一維卷積；當 K=3，5時，表示 CFCA 子網絡采用2個卷積核大小分別為3，5的一維卷積；當 K=3，5，7時，表示 CFCA 子網絡采用3個卷積核大小分別為3，5，7的一維卷積；當 K=3，5，7，9時，表示 CFCA 子網絡采用4個卷積核大小分別為3，5，7，9的一維卷積。

由表1可知，當 CFCA 子網絡采用3個卷積核大小分別為3，5，7的一維卷積時，網絡的分類準確率最高。

為獲取 CFCA 子網絡嵌入到 ResNet18網絡的最佳位置，進行了消融實驗，結果見表2。

從表2可看出，將 CFCA 子網絡嵌入在 ResNet18網絡的 Conv3和 Conv4之間及 Conv4之后的效果最好。這是由于在網絡的淺層，獲取的多為結構化特征（如角點、邊緣等），此時對特征圖各個通道進行權重的重新分配，只是對角點和邊緣等特征進行了重新組合，對分類準確率的提升有限；但在網絡的深層，捕獲的多為目標的語義化信息，此時對特征圖的各個通道進行權重分配，可實現對特征圖中前景目標的增強和背景區域的抑制，從而提高分類準確率。

3.3 對比實驗

為驗證 CFCA 子網絡的有效性，將其與SENet、ECANet通道注意力網絡進行對比，三者在 ResNet18 網絡中的位置及實驗參數均一致，結果見表3。

由表3可知，相對于 ResNet18網絡，ResNet18+ CFCA 子網絡在增加的參數量和計算復雜度可忽略不計的條件下，對煤流檢測的準確率提升了1.6%。這是由于 CFCA 子網絡可在不同的局部范圍內建模通道特征的依賴關系，并在此基礎上進行通道權重的分配，有助于網絡抑制煤流的背景信息，并突出煤流信息，從而提高分類準確率。

不同網絡訓練時的損失函數曲線如圖4所示（由于ECANet是 CFCA 子網絡中 K=3時的特例，所以圖4中并未涉及 ResNet18+ECANet 的損失函數曲線）。可看出 ResNet18+CFCA 網絡的損失函數收斂速度與 ResNet18基本保持一致，表明在增加 CFCA 子網絡的情況下，ResNet18+CFCA 網絡仍能保持快速收斂。

對特征提取網絡的最后一個卷積層輸出的特征圖進行可視化輸出，ResNet18+CFCA 和原始的 ResNet18對比結果如圖5所示（圖中顏色較亮的地方對應更大的響應值）。可看出 ResNet18+CFCA 網絡可以更加有效地區分圖像中的前景信息，同時抑制背景因素對前景信息的影響，從而更加準確地提取煤流特征。

4 結論

1）輕量化的多尺度跨通道注意力煤流檢測網絡由特征提取網絡和分類網絡組成。在特征提取網絡 ResNet18的基礎上嵌入 CFCA 子網絡，可從圖像中提取出更多的前景信息，從而更加準確地提取煤流特征。在分類網絡中，通過3個全連接層對特征提取網絡的輸出進行非線性映射，最終得到“煤少”、“煤適中”、“煤多”3類結果的概率分布。

2）CFCA 子網絡使用不同卷積核大小的一維卷積，能夠有效捕獲特征圖中多尺度的通道間相互依賴關系，提升了網絡的抗干擾能力。

3）實驗結果表明，輕量化的多尺度跨通道注意力煤流檢測網絡在幾乎不增加網絡參數量和計算復雜度的情況下，具有更好的煤流檢測效果，能夠滿足工業部署的需求。

參考文獻（References）：

[1] 王海軍，王洪磊.帶式輸送機智能化關鍵技術現狀與展望[J].煤炭科學技術，2022，50（12）：225-239.

WANG Haijun，WANG Honglei. Status and prospect of intelligent key technologies of belt conveyor[J]. Coal Science and Technology，2022，50（12）：225-239.

[2] 張志軍.基于變頻技術的煤礦帶式輸送機節能控制系統研究[J].能源與環保，2023，45（7）：210-215.

ZHANG Zhijun. Research on energy-saving control system of coal mine belt conveyor based on frequency conversion? technology[J]. China? Energy? and Environmental Protection，2023，45（7）：210-215.

[3] 李阿紅.基于圖像處理的礦用帶式輸送機系統設計及其能效分析[J].能源與環保，2023，45（7）：228-232，238.

LI Ahong. Design and energy efficiency analysis of mining belt conveyor system based? on image processing[J]. China Energy and Environmental Protection，2023，45（7）：228-232，238.

[4] 王志廣，王朋飛.變頻控制系統在礦用帶式輸送機中的應用[J].能源與環保，2021，43（9）：255-259，265.

WANG Zhiguang， WANG Pengfei. Application of frequency conversion control system in belt conveyorused in mine[J]. China Energy and Environmental Protection，2021，43（9）：255-259，265.

[5] 李亞飛.變頻節能控制系統在帶式輸送機中的應用研究[J].石化技術，2023，30（6）：297-298.

LI Yafei. Research on the application of frequency conversion and energy saving control system in belt conveyor[J]. Petrochemical? Industry? Technology，2023，30（6）：297-298.

[6] 于林海. 帶式輸送機能耗優化控制系統設計與應用[J].石化技術，2023，30（5）：249-250.

YU Linhai. Design and application of optimised control system for energy consumption of belt conveyor[J]. Petrochemical Industry Technology，2023，30（5）：249-250.

[7] 王文龍. 煤礦帶式輸送機智能化控制系統技術應用[J].機械管理開發，2023，38（5）：217-218，223.

WANG Wenlong. Intelligent control system technology application for coal mine belt conveyor[J]. Mechanical Management and Development，2023，38（5）：217-218，223.

[8] 王桂忠，葉隆浩.基于煤流量識別的帶式輸送機節能控制系統設計與研究[J].煤礦機械，2023，44（1）：14-17.

WANG Guizhong，YE Longhao. Design and research of belt conveyor energy-saving control system based on coal flow recognition[J]. Coal Mine Machinery，2023，44（1）：14-17.

[9] 張少賓，蔣衛良，芮豐.礦用帶式輸送機輸送量測量方法現狀及發展趨勢[J].工礦自動化，2019，45（5）：100-103.

ZHANG Shaobin，JIANG Weiliang，RUI Feng. Current status and development trend of measuring methods of conveying capacity of mine-used belt conveyor[J]. Industry and Mine Automation，2019，45（5）：100-103.

[10] 姜玉峰，張立亞，李標，等.基于單線激光雷達的帶式輸送機煤流量檢測研究[J].煤礦機械，2022，43（8）：151-153.

JIANG Yufeng，ZHANG Liya，LI Biao，et al. Study on coal flow detection of belt conveyor based on single-line LiDAR[J]. Coal Mine Machinery，2022，43（8）：151-153.

[11] 于海里，孫立超，左勝，等.基于雙激光雷達的帶式輸送機煤流量檢測系統[J].工礦自動化，2023，49（7）：27-34，59.

YU Haili，SUN Lichao，ZUO Sheng，et al. Coal flow detection system for belt conveyor based on dual lidar[J]. Journal of Mine Automation，2023，49（7）：27-34，59.

[12] 關丙火.基于激光掃描的帶式輸送機瞬時煤量檢測方法[J].工礦自動化，2018，44（4）：20-24.

GUAN Binghuo. Detection method of instantaneous coal quantity of belt conveyor based on laser scanning[J]. Industry and Mine Automation，2018，44（4）：20-24.

[13] 崔振國.基于機器視覺的帶式輸送機煤量監測系統研究[D].徐州：中國礦業大學，2021.

CUI Zhenguo. Study on coal quantity monitoring system of belt conveyor based on machine vision[D]. Xuzhou： China University of Mining and Technology，2021.

[14] 李學暉.基于機器視覺和深度學習的帶式輸送機煤量識別方法研究[D].邯鄲：河北工程大學，2022.

LI Xuehui. Research on coal quantity identification method of belt conveyor based on machine vision and deep learning[D]. Handan： Hebei University of Engineering，2022.

[15] 袁敦鵬.基于三維點云的帶式輸送機跑偏及堆煤監測技術研究[D].徐州：中國礦業大學，2022.

YUAN Dunpeng. Study on the belt conveyor deviation and coal stacking monitoring based on three-dimensional point cloud[D]. Xuzhou：China University of Mining and Technology，2022.

[16] 王桂梅，李學暉，楊立潔，等.基于深度學習的永磁直驅帶式輸送機煤量檢測方法研究[J].煤炭技術，2022，41（1）：188-190.

WANG Guimei， LI Xuehui， YANG Lijie， et al. Research on coal quantity detection method of permanent magnet direct drive belt conveyor based on deep learning[J]. Coal Technology，2022，41（1）：188-190.

[17] 成彥穎.煤礦井下傳送帶智能輸煤檢測的研究[D].太原：太原科技大學，2021.

CHENG Yanying. Research on intelligent coal conveying detection of underground conveyor belt in coal mine[D]. Taiyuan：Taiyuan University of Science and Technology，2021.

[18] XI Tianyu，WANG Jiangning，HAN Yan，et al. Multiple butterfly recognition based on deep residual learning and image analysis[J]. Entomological Research，2022，52（1）：44-53.

[19] HU Jie，SHEN Li，SUN Gang. Squeeze-and-excitation networks[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition，Salt Lake City，2018. DOI：10.1109/CVPR.2018.00745.

[20] WANG Qilong，WU Banggu，ZHU Pengfei，et al. ECA- Net：efficient channel attention for deep convolutional neural networks[C]. IEEE/CVF? Conference? on Computer Vision and Pattern Recognition，Seattle，2020. DOI：10.1109/CVPR42600.2020.01155.

[21] WANG Chengyang，ZHONG Caiming. Adaptive feature pyramid networks for object detection[J]. IEEE Access，2021，9：107024-107032.