基于Res2-UNet 模型的皮帶煤量檢測?

成彥穎 白尚旺

（太原科技大學計算機科學與技術學院 太原 030024）

1 引言

煤炭產量是衡量煤礦生產效率和經濟效益的重要指標，帶式輸送機作為煤礦中常用的輸送設備，在運輸煤料中經常會出現堆煤、少煤、空載的情況，使得煤量運輸不均勻。所以煤量的檢測不僅能預測煤炭產量，進行生產管理，而且能將皮帶煤料上的情況反饋給工作人員，對皮帶進行及時有效的控制，達到優化煤量，節省電能的目的。

傳統的皮帶煤量檢測有接觸式或非接觸式兩種方法，接觸式的方法包括傾斜開關、壓力檢測［1］或電子膠帶秤［2］。傾斜開關雖然簡單，容易檢測，但皮帶易磨損，需要定期檢查維修，而且檢測的準確率和可靠性差［1］。壓力檢測和電子膠帶秤由于和皮帶長時間接觸、皮帶自身的重量和速度等誤差都會對檢測造成影響［3］。非接觸式方法有電場感應和激光檢測，電場感應通過安裝智能傳感器來檢測煤量，產生的電場變化作為煤量檢測的輸出，但是電場感應方法無法檢測煤量的多少［1］。激光檢測通過激光掃描測量技術實時采集煤流的三維數據，計算煤的體積和重量［4］。這種方法可以檢測出煤量的多少，但是成本較高，不能很好的普及。部分煤礦將變頻技術和載煤量自動匹配控制結合起來，加強了節能的效果［5］，但是在復雜的煤礦環境中，變頻器易收到干擾而損壞。

隨著計算機視覺的發展，利用深度學習進行圖像分割檢測也有著突出表現。在煤礦領域中，利用了視覺檢測中的單目視覺技術構建小孔成像測距模型，實現了膠帶堆煤檢測［6］。基于機器視覺的智能輸煤檢測系統將煤量檢測分為煤寬和煤高檢測，采取煤寬分割區域和基于卷積神經網絡的煤高檢測，整體效果好，但是在復雜的環境下適應性差且精度較低［7］。

本文針對煤炭圖像檢測精度低，且適應性差等問題，提出了一種新的煤量檢測方法，首先通過Camshift 算法實時跟蹤捕捉皮帶煤量的區域，然后通過Res2-UNet模型將多層次、多尺度的顯著性特征集中到單一的網絡，檢測煤量的輪廓區域。實現了對煤量的準確定位和分割。

2 皮帶煤量檢測視覺監控系統

本系統在皮帶上方安裝礦用高清防爆攝像頭實時采集皮帶的視頻，將采集到的視頻通過網絡傳到服務器上，服務器通過人工智能視頻識別模型檢測和分析煤量，采用Camshift 算法跟蹤和Res2-UNet網絡檢測。圖1為皮帶煤量檢測視覺監控系統。

圖1 皮帶煤量檢測視覺監控系統

3 實驗流程

3.1 預處理

首先讀入要檢測的皮帶視頻，采集煤流數據，為了保證圖像檢測的準確性和提高訓練的速度，需要對目標圖像進行預處理，包括圖像裁剪、光照均勻處理、圖像池化等。圖像裁剪根據檢測的目標對象的坐標來定位裁剪區域，將圖像尺寸調整為250像素×250 像素。光照均勻處理，是指當在工作場景中光照不均勻時，可能會對我們的檢測造成影響，光照的變化會導致圖像的像素矩陣發生變化，這里對圖像做光照均勻處理可在一定程度上改善算法的判斷效果。最后，對于預處理步驟中的圖像池化，是因為在實際場景中可能會出現攝像頭輕微抖動等情況，可能會導致相鄰的視頻幀的圖像的像素值會發生一定的偏移，這里使用卷積神經網絡中的池化層的思想，對圖像進行池化可達到對池化區域內像素值進行平滑的效果，可在一定程度上改善輕微的像素值變化造成的影響。

預處理之后利用Camshift 算法快速跟蹤捕捉運行的皮帶煤流圖像，然后通過Res2-UNet模型進行煤量檢測。圖2為皮帶煤量檢測流程圖。

圖2 皮帶煤量檢測流程圖

3.2 基于Camshift算法的皮帶煤量快速跟蹤

利 用Camshift（Continuously Adaptive Mean Shift）［8］連續的自適應平均移位（Meanshift）算法對快速移動的物體跟蹤，提取煤量的位移。這種算法根據目標物體的顏色特征跟蹤目標的運動軌跡，顏色特征不會受外界的環境變化，所以Camshift 算法對于跟蹤物體來說比較穩定，并且實時性好、準確率和效率都很高。

本文通過礦用高清防爆攝像頭捕獲高速運動的皮帶，對采集到的視頻幀做預處理，將RGB 顏色空間變為HSV 空間形成候選目標區域，手動定義搜索窗口選擇移動目標，通過Meanshift 運算，并且使上一幀目標窗口的的中心位置和大小作為下一幀的目標窗口的初始值，依次迭代下去，直到最后一幀的目標跟蹤。Camshift算法流程如圖3所示。

圖3 Camshift算法流程圖

首先計算搜索區域的大小，將RGB 圖像轉化為HSV 圖像，HSV 空間有三個參數，即色調（H）、飽和度（S）和明度（V），計算公式如下：

計算搜索窗口的目標顏色直方圖是為了得到顏色概率分布圖像。當直方圖投影后，每個像素的值代表了顏色的概率信息，從而通過顏色特征可以跟蹤目標的軌跡。

搜索區域像素點的坐標為（x，y），在投影圖中，對應的像素值為I（x，y）。搜索窗口的零階矩、一階矩、二階矩分別為M00；M01；M10；M20；M02；M11。

定義了搜索框的質心坐標（xc，yc）：

長軸為l，短軸為w，目標的方向角為

通過Meanshift 算法，搜索窗口的中心移動到質心位置，設定搜索窗口中心到質心距離閾值，不斷移動計算兩者之間的實際距離，若實際距離小于設定的閾值，則達到了收斂條件進行下一幀的循環，否則重新調整搜索窗口的質心位置以滿足條件。

3.3 建立Res2-UNet煤量檢測模型

本文提出的Res2-UNet 模型借鑒了圖像分割U-Net［9~11］網絡的思想，是一個編碼器-解碼器架構，編碼器采用Res2Net［12］多尺度卷積網絡提取特征信息，如圖4 所示，Res2Net 將ResNet 通用的3×3的卷積核變為多分支的特征組，這些特征組以分層殘差的形式連接以增加多尺度的輸出。首先將輸入特征圖分成幾組，一組輸入特征圖提取特征，其輸出特征與另一組的輸入特征圖共同送入下一個3×3 的卷積核，重復幾次，處理完所有的輸入特征圖，輸出不同大小感受野，將輸出結果融合并且經過1×1的卷積核，得到更多尺度的特征。

圖4 Res2Net網絡模型

隨著深度的增加，圖像尺寸逐漸減少，所以通過下采樣操作提取高層次的特征，輸入圖像以256×256 為例，以Res2Net 網絡作為特征提取模塊得到8×8 的特征圖。解碼器通過反卷積操作擴大圖像尺寸，并與下采樣相同尺寸的特征圖拼接起來，將輸入特征的空間大小加倍，傳播上下文信息到更高分辨率的層，然后將拼接后的特征圖經過1×1 的卷積核和反卷積操作后，使得輸出與輸入圖像的的分辨率大小相同。最后通過1×1 分類器映射特征向量到輸出層進行分類，采用Sigmoid 函數作為激活函數，以交叉熵為代價函數，提高訓練的速度［13~14］。Res2-UNet的模型結構如圖5所示。

圖5 Res2-UNet的模型

4 實驗

4.1 Camshift算法快速跟蹤皮帶

煤礦中皮帶工作時以較高的速度運行，皮帶煤量視覺監控系統必須快速捕捉跟蹤皮帶上的煤量，在煤量區域的視野范圍內，采集高速運行的皮帶圖像。本文實地采集三甲煤礦不同場景（露天煤礦、地下煤礦）、不同角度、不同時間段5 段共10h 皮帶煤流運行的視頻，具有代表性，符合實際情況，驗證本文方法在多變環境中的煤量檢測效果。

首先采用Camshift 算法跟蹤快速運行的皮帶視頻，觀察煤量變化的情況。如圖6 所示為跟蹤皮帶第230幀和第245幀的結果。

圖6 皮帶跟蹤結果

4.2 Res2-UNet模型皮帶檢測

通過Camshift 算法快速跟蹤到煤量區域后，在跟蹤后的圖片數據集挑選無煤、少煤、中煤、多煤、大塊煤各150 張數據集，總共800 張訓練集和100張測試集。將訓練集在Res2-UNet 網絡中進行訓練，訓練參數如表1所示，“batch_size”表示每次迭代的皮帶圖像數量，“epochs”表示訓練集中所有數據迭代的次數。“imgs_train”表示訓練集的總數。“Resolution”表示訓練集圖像的分辨率。 實驗采用隨機梯度下降法。訓練完成后識別和分割皮帶上的煤量，結果如圖7所示。

表1 設置訓練參數

圖7 煤量檢測結果

通過對比本文的煤量檢測方法與CNN、E-Net［15］、U-Net 在平均準確率和運行時間指標上的區別，精確率為測試圖像中每個像素點與真實圖相對比，分類正確的占比，運行時間為每張圖像從輸入網絡到輸出的時間。驗證本文方法的有效性。檢測結果如表2所示。

表2 不同模型的精度

從表2可知，U-Net網絡平均準確率較高，但是運行時間不占優勢，E-Net 運行時間少，但是平均準確率低。而本文提到的煤量檢測方法準確率更高，達到95.5%。且運行時間為4.8s，從而能更準確及時地檢測皮帶上煤料，對帶式輸送機進行有效的控制。

5 結語

為了能實時準確地檢測皮帶上的煤量，本文采用Camshift 算法捕捉跟蹤快速運行的皮帶煤量目標，當定位目標的感興趣區域后，通過Res2Net 網絡提取煤量顯著特征，結合U-Net網絡的設計思想建立Res2-UNet 模型。該架構通過收縮路徑捕捉煤量的上下文信息，對稱的擴張路徑來準確定位，可以用很少的數據集實現端到端的訓練，降低了模型訓練的難度，減少了計算量，加快了檢測速度。綜上本文提到的檢測方法能高效快速地檢測皮帶煤量，大大減少了電能損耗，提高了煤礦井下煤量的生產效率和經濟效益。