基于改進Mask R-CNN 的刮板輸送機鐵質異物多目標檢測

史凌凱，耿毅德，王宏偉，4，王洪利

（1.太原理工大學 安全與應急管理工程學院，山西 太原 030024；2.太原理工大學 山西省煤礦智能裝備工程研究中心，山西 太原 030024；3.山西焦煤集團有限責任公司 博士后工作站，山西 太原 030024；4.太原理工大學 機械與運載工程學院，山西 太原 030024）

0 引言

刮板輸送機是煤礦井下運輸煤炭的主要設備。在刮板輸送機運行過程中，一旦鏈槽內落入鋼板、鋼索、錨桿等剛性鐵質異物，會加速刮板、鏈條等部件的磨損和疲勞，甚至會造成刮板停頓、鏈條斷裂等故障，影響煤礦正常生產。此外，刮板輸送機在高速運行時具有較大慣性，若落入鏈條間隙的鐵質異物飛出，則會引發人員傷亡等嚴重事故，是工作面安全隱患之一。

近年來，很多研究者利用機器視覺對鐵質異物的智能識別進行研究，并取得了一定成果。任國強等[1]提出了一種Fast_YOLOv3 算法，采用反卷積網絡算法解決目標樣本不均衡問題，實現了異物識別。杜京義等[2]將DarkNet22-DS 輕量化網絡植入Jetson Xavier NX 開發板中，通過金字塔系統實現異物識別。吳守鵬等[3]設計了基于Faster-RCNN 的異物辨識模塊，利用雙重監督特征金字塔網絡（Feature Pyramid Networks，FPN）的特征融合技術實現異物識別。王衛東等[4]構建了一種能夠減小背景干擾影響的語義分割網絡，實現了鐵質異物識別。王燕等[5]提出了基于幀內差分法和Select-Shape 算子的大塊鐵質異物探測方法，實現了異物識別。上述研究主要存在以下局限性：①檢測精度與圖像特征緊密相關，適應性較差。井下存在大量水霧和粉塵，光照情況多變，且刮板輸送機上的鐵質異物形狀、大小各異，識別難度大。② 無法區分異物類別與數量，如無法有效區分錨桿、鋼板、頭盔、角鐵和鐵鍬等。

針對上述問題，本文提出一種基于改進掩碼區域卷積神經網絡（Mask Region-Convolutional Neural Network，Mask R-CNN）的刮板輸送機鐵質異物多目標檢測方法。對Mask R-CNN 進行改進，并通過自標注的刮板輸送機鐵質異物圖像數據集對改進Mask R-CNN 模型進行訓練和測試，以提升鐵質異物檢測精度。

1 刮板輸送機鐵質異物多目標檢測流程

刮板輸送機鐵質異物多目標檢測具體流程如圖1 所示。首先，采集刮板輸送機鐵質異物圖像并制作數據集，對圖像進行標注，然后進行格式轉換。其次，將改進Mask R-CNN 模型部署于本地計算機，輸入數據集，對模型進行訓練。然后，當模型的損失值收斂時停止訓練并保存訓練模型。最后，通過測試數據集對訓練模型進行測試。

圖1 刮板輸送機鐵質異物多目標檢測流程Fig.1 Multi-object detection process of iron foreign bodies in scraper conveyor

2 Mask R-CNN 模型及其改進

2.1 Mask R-CNN 基本原理

Mask R-CNN 是經典的兩階段網絡框架。第1 個階段掃描異物圖像，生成可能含有異物目標的區域；第2 個階段進行分類，并生成掩碼和邊界框[6-7]。Mask R-CNN 模型結構如圖2 所示。該模型是對Fast RCNN 改進得到的，在原來輸出的分類結果（預測框的標簽）和回歸結果（預測框的坐標位置）基礎上，通過全卷積網絡（Fully Convolutional Networks，FCN）增加一個輸出，即物體掩碼Mask。3 個輸出結果是平行支路關系。這種簡化的網絡結構可提高運算速度和異物目標識別率。

圖2 Mask R-CNN 模型結構Fig.2 Structure of mask region-convolutional neural network model

2.1.1 特征提取網絡

Mask R-CNN 可采用多樣化特征提取框架，本文采用ResNet-50 特征提取器獲取鐵質異物圖像特征。這種深度殘差網絡能夠將前面某一數據層的輸出直接作為后面數據層的輸入[8]，跳過卷積網絡。這就意味著前面某層的特征貢獻在后面部分的特征層中占據更大比例，使得淺層特征在深層中得到重用，能夠較好地解決特征提取過程中訓練集準確率隨著網絡深度增加而下降的問題。

2.1.2 FPN

刮板輸送機上的鐵質異物是小尺度目標，為加強模型對小尺度目標的識別效果，本文采用FPN 進行特征融合，引入一條從上到下的路徑，保證同時擁有高層的語義特征（如類別、屬性等）和低層的輪廓特征（如顏色、輪廓、紋理等），以提高鐵質異物識別精度[9]。FPN 結構如圖3 所示。P1-P4為不同尺寸的特征圖，C1-C3為特征融合后的特征圖，以C3為例，其中含有低層特征圖P2和高層特征圖C2的多重圖像特征。

圖3 FPN 結構Fig.3 Structure of feature pyramid networks

2.1.3 區域特征聚集網絡

區域特征聚集網絡通過收集圖像特征和候選區域特征，依據預測框的位置坐標，將對應的圖像區域轉換為特定尺寸的特征圖[10]，作為后續全連接層的輸入，而后進行目標類別判定、邊框和掩碼覆蓋的回歸操作?；貧w操作使得候選邊界框更加接近真實邊界框，主要包含平移和尺度縮放2 種變換。真實邊界框內為圖像中的目標區域，候選邊界框內為算法預測的可能含有目標的區域。求解回歸邊界框的公式為

式中：tx，ty為候選邊界框平移參數；x，y，w，h分別為候選邊界框中心點的橫縱坐標及寬度、高度；xa，ya，wa，ha分別為錨點（用來預測候選邊界框）中心點的橫縱坐標及寬度、高度；tw，th為候選邊界框縮放參數；tx*，ty*為真實邊界框平移參數；x*，y*，w*，h*分別為真實邊界框中心點的橫縱坐標及寬度、高度；tw*，th*為真實邊界框縮放參數。

2.2 模型改進

雖然Mask R-CNN 能夠有效地實現目標檢測與分割[11]，但因井下圖像背景復雜、異物圖像尺寸相差過大等，檢測時需要更多圖像低層特征。Mask R-CNN 模型中的錨點是由區域選取網絡生成的特定長寬比例的矩形框，共計9 個錨點。由于錨點與本文中待檢測的5 種鐵質異物尺寸不對應，在生成建議區域的過程中會進行過量回歸操作，降低Mask R-CNN 模型的檢測精度。針對該問題，本文采用k-meansⅡ聚類算法代替原來的錨點生成方案[12]。該算法避免了選定初試聚類中心點的隨機性，通過遍歷數據集中標注框的長寬信息得到聚類中心點。k-meansⅡ聚類算法的詳細步驟如下：

（1）輸入含有異物目標的數據集。

（2）在數據集中隨機選定k個點作為初始聚類中心點，再重復4 次隨機取樣過程，得到5k個數據點，進行聚類分析，得到k個聚類中心點。

（3）采用歐幾里得度量公式將數據集中的每個點劃分為距離該點最近的一類。歐幾里得度量公式為

式中：D為距離；n為平面內點的個數；xi，yi為平面內第i個點的坐標。

（4）重置每個類別的聚類中心，重置規則為

式中：ci為聚類后像素點的類別；cj為聚類前像素點的類別。

（5）根據設定的閾值進行判斷：如果每個類別與當前已有聚類中心的最短距離大于閾值，則聚類結束，否則轉到步驟（3）。

（6）輸出k個聚類中心。

3 實驗分析

3.1 實驗環境及步驟

在太原理工大學院士科創基地搭建刮板輸送機鐵質異物智能識別實驗臺，如圖4 所示。該實驗臺由ZY6800/08/18D 液壓支架、SGZ630/110 刮板輸送機、KBA18 礦用本安攝像儀、KXB12 本質安全型聲光報警器、計算機及硬盤錄像機組成。

圖4 刮板輸送機鐵質異物智能識別實驗臺Fig.4 Test bed for intelligent identification of iron foreign bodies in scraper conveyor

模型訓練、測試的實驗環境配置見表1。設置迭代次數為4 000，學習率為0.000 1，訓練批次為10。

表1 實驗環境配置Table 1 Experimental environment configuration

實驗步驟如下：

（1）采集異物圖像樣本，去除圖像中的無關區域，剔除干擾。

（2）采用圖像增強算法對鐵質異物圖像進行處理，并運用旋轉、剪切等操作對數據集進行擴充，實現數據增強。

（3）使用Labelme 對增強后的異物圖像進行標注和命名，得到對應的json 文件，包括labelme.png和label_names.txt，其中主要含有鐵質異物種類名稱、坐標及長寬信息。

（4）配置改進Mask R-CNN 模型的運行環境及參數，開展模型訓練及測試。

（5）實現結果可視化，通過平均精度[13]和損失函數[14]評估模型，并與當前主流物體檢測模型對比，驗證本文模型的有效性和優越性。

3.2 數據采集

3.2.1 圖像采集

為模擬井下真實環境，將采集環境光亮度設置為較低，將異物和煤樣隨機放置于運行中的刮板輸送機上，分別使用移動式攝像儀與KBA18 礦用本安攝像儀以不同視角采集圖像。共計采集到鐵質異物圖像2 254 張，分辨率為2 560×1 440，包含錨桿、鋼板、頭盔（含鐵質部分，歸結為鐵質異物）、角鐵和鐵鍬5 種鐵質異物樣本，如圖5 所示。

圖5 鐵質異物樣本Fig.5 Sample of iron foreign bodies

3.2.2 圖像預處理

數據集對深度學習模型的識別性能影響較大。訓練數據集增大，會加快網絡輸出值與實際值之差趨零，從而獲得性能較高的網絡模型。但出現在刮板輸送機上方的鐵質異物具有隨機性和多樣性，且井下實際環境能見度較低，導致異物圖像特征信息受限。因此本文采用基于Laplace 算子的圖像增強算法進行預處理。利用二次微分方法對圖像進行銳化處理，增強圖像內像素點的對比度，從而減弱圖像噪聲，提升圖像整體亮度，增強不同物體間的對比度。圖像增強前后對比如圖6 所示。

圖6 圖像增強前后效果對比Fig.6 Comparison of image effects before and after enhancement

3.2.3 數據集構建

使用Labelme 軟件工具對增強后的鐵質異物圖像進行逐個標注，得到json 格式文件。為達到可視化目的，將json 格式文件轉換為位深度為8 的png 格式彩色標簽圖，背景類像素點設置為黑色，得到對應的Mask 圖像，如圖7 所示。

圖7 數據集構建Fig.7 Dataset construction

3.3 模型訓練

分別采用原始圖像及數據增強后的圖像制作訓練集，采用改進Mask R-CNN 模型訓練400 次，結果如圖8 所示?？煽闯鼋涍^數據增強后模型損失值減小，驗證了數據增強能夠明顯加快模型收斂速度，有效降低模型損失率，提高鐵質異物檢測效果。

圖8 圖像增強前后模型損失值對比Fig.8 Comparison of model loss values before and after image enhancement

在自制的刮板輸送機鐵質異物圖像訓練集上訓練。Mask R-CNN 模型改進前后的訓練結果如圖9所示。由圖9（a）所示的精確率-召回率（P-R）曲線可看出，改進后模型性能較改進前更好。由圖9（b）可看出，訓練初期損失值下降速度很快，訓練1 500 次后逐漸趨于穩定，最終損失值收斂于0.334 9，改進后模型的損失值一直低于改進前。

圖9 模型改進前后訓練結果對比Fig.9 Comparison of training results before and after model improvement

3.4 異物識別效果分析

為了直觀展示模型對鐵質異物的識別效果，對多種鐵質異物原圖、標簽圖及模型改進前后識別出的異物圖像進行比對，如圖10 所示。可看出改進后模型對異物分割更為準確，更為接近異物真實輪廓。

圖10 刮板輸送機5 種常見鐵質異物多目標檢測效果Fig.10 Multi-object detection effect of five common iron foreign bodies in scraper conveyor

基于自制的刮板輸送機鐵質異物數據集，采用改進前后的Mask R-CNN 模型對676 張圖像分別進行檢測，結果見表2?？煽闯?，與Mask R-CNN，YOLOv5相比，改進Mask R-CNN 模型對單張圖像的平均檢測時間分別縮短0.093，0.002 s，平均精度分別提高11.4%，2.9%。

表2 不同模型檢測效果對比Table 2 Comparison of detection effects of different models

4 結論

（1）采用k-meansⅡ聚類算法代替Mask R-CNN模型的錨點生成方案，并采用改進Mask R-CNN 模型進行刮板輸送機鐵質異物多目標檢測。

（2）采用基于Laplace 算子的圖像增強算法進行數據預處理，可明顯加快模型收斂速度，有效降低模型損失率，提高鐵質異物檢測效果。

（3）實驗結果表明，改進Mask R-CNN 模型對單張圖像的平均檢測時間為0.732 s，與Mask R-CNN，YOLOv5 相比，分別縮短0.093，0.002 s；平均精度為91.7%，與Mask R-CNN，YOLOv5 相比，分別提高11.4%，2.9%。