基于Mask R-CNN 的地下礦爆堆塊度檢測技術研究*

劉瑩瑩 ,龐其壯,張寶金,張洪昌,荊洪迪,張興帆

(1.鞍鋼集團關寶山礦業有限公司,遼寧 鞍山市 114044;2.鞍山冀東水泥有限責任公司,遼寧 鞍山市 114013;3.鞍鋼礦業有限公司眼前山分公司,遼寧 鞍山市 114000;4.中國科學院沈陽自動化研究所,遼寧 沈陽 110016)

0 引言

礦石的尺寸大小是礦山爆破中一個十分重要的研究方向,很多學者對其進行了深入的研究,因為礦石的尺寸影響著之后工序的效率,如裝載、運輸、破碎等[1-3]。

獲得爆破后爆堆的礦巖尺寸信息,是進行爆破參數優化的第一步。目前,爆破后爆堆礦石尺寸信息的傳統測量方法主要有篩分法、二次爆破統計法、爆堆直接測量法、相關測量法、經驗法、攝影測量法等[4-6]。上述方法各有弊端,例如,篩分法不僅會消耗大量人力物力,還會影響礦山正常的生產,因此只適合在實驗室研究使用;二次爆破統計法及相關測量法得出的數據受設備影響較大,準確率不高;經驗法依賴有豐富經驗的專家,不適合大規模推廣應用。

隨著圖像處理技術的發展,眾多的學者將圖像分割技術應用于爆堆的大塊檢測任務中,主要的圖像分割技術有基于閾值的圖像分割方法[7-8]、基于區域的圖像分割方法[9]、基于邊緣的圖像分割方法[10-11]以及基于深度學習的圖像分割方法[12-14]。然而,以上所述的方法或是不適合應用于礦石圖像的分割,或是分割后難以統計礦石的尺寸信息,都不適合于爆堆大塊的檢測以及大塊尺寸信息的測量。

近年來,隨著深度學習技術的發展,越來越多的領域中都出現了深度學習技術的身影,如人臉識別、語音識別以及自動駕駛等。深度學習技術是讓計算機模擬人類的學習過程,從而在海量信息中提取特征。在眾多的神經網絡結構中,卷積網絡結構(CNN)因其較少的參數量,高準確率和高精確率等特點在圖像處理中得到了廣泛的應用。

然而,深度學習技術還未能在礦業領域得到廣泛的引用。本研究的目的是利用深度學習技術以解決傳統的爆堆塊度測量中的勞動強度大、礦石尺寸無法直接計算的問題。

本研究提出了一種爆堆大塊檢測及尺寸測量模型(OBDM 模型),在利用相機獲取爆堆的圖片后,利用labelme軟件制作數據集,利用制作的數據集對OBDM 模型進行訓練,訓練完成的模型即可用于礦山中爆堆大塊的檢測和測量。本研究的主要貢獻有:建立了專門用于爆堆大塊檢測和測量的實例分割模型(OBDM 模型);解決了傳統圖像分割方法無法直接測量大塊尺寸的問題;在OBDM 模型中使用了resnet34特征提取網絡模型并使模型的性能達到了最優;研究了傳統的圖像分割方法,并將分割結果與OBDM 模型得到的結果比較,證明了OBDM 模型性能的優越性。

1 OBDM 模型

1.1 OBDM 模型結構

目前,在礦山領域大塊率的測量主要采用圖像分析法,但是傳統的圖像分析法無法精確地給出大塊的信息。為了能夠實現爆堆大塊檢測及尺寸測量,本文基于Mask-RCNN 實例分割模型提出了爆堆大塊檢測及尺寸測量模型(OBDM)。圖1展示了OBDM 模型的整體結構。Mask-RCNN 模型使用的特征提取網絡是resnet101。101的意思是這種網絡由101層網絡層構成,是一種深度很深的網絡結構。這決定了resnet101網絡可以提取圖像中十分細微的特征,但是也使得訓練和檢測過程的速度十分緩慢。礦石圖像具有結構簡單,種類單一的特點,不需要使用resnet101這種深度很深的網絡。因此,本文提出了一種結構簡單的特征提取網絡resnet34,試驗結果證明resnet34網絡在礦石分割領域中的精度與resnet101相差無幾,速度卻提升了很多。為了解決爆堆圖像中礦石尺寸難以測量的問題,提出了一種基于標志的礦石尺寸測量方法。最后,為了使檢測框的位置更準確,引入一種基于coarse-to-fine網絡結構的級聯區域建議網絡。

圖1 OBDM 模型結構

1.2 resnet34特征提取網絡

resnet網絡主要用于解決深度神經網絡的“退化(degradation)”問題,即使用淺層網絡線性疊加成深層網絡后,深層網絡強大的特征提取能力并未被利用,而且準確率會降低,需要注意的是,這個退化不是由于過擬合導致的。

resnet網絡也稱為殘差網絡。resnet是由殘差塊(Residual Building Block)構建的,包含了兩種映射:恒等映射(identity mapping)和殘差映射(residual mapping)。

殘差塊由多個級聯的卷積層和一個shortcut connections組成,將二者的輸出值累加后,通過Re-LU 激活層得到殘差塊的輸出。多個殘差塊串聯起來從而實現更深的網絡。

殘差結構可簡單的寫成如下形式:

通過遞歸,可以得到任意深層單元L特征的表達:

即對于任意深的單元L的特征xL可以表達為淺層單元的特征xl加上一個形如的殘差函數,這表明了任意單元L和l之間都具有殘差特性。

對于反向傳播,假設損失函數為E,根據反向傳播的鏈式法則可以得到:

這個導數可以被分為兩部分。

(2)通過權重層的傳遞,見下式:

前者保證了信號能夠直接傳回到任意的淺層xl,同時這個公式也保證了不會出現梯度消失的現象,因為不可能為－1。

Shortcut Connection的兩種方式。

(1)shortcut同等維度映射,F(x)與x相加就是就是逐元素相加。

(2)如果兩者維度不同,需要給x執行一個線性映射來匹配維度。

前文已經提出,Mask-RCNN 實例分割模型主流的特征提取網絡是resnet101,101代表resnet101由101個網絡層組成。如此多的網絡層,決定了其訓練及檢測過程的耗時特性。基于礦石圖像中結構簡單及種類單一的特性,提出了resnet34網絡結構。如圖2 所示,在resnet34 網絡結構中,采用兩種殘差塊,一種是x經過卷積操作后與F(x)相加,稱為conv_block;另一種是x不經過卷積操作直接與F(x)相加,稱之為identity_block。

圖2 殘差塊結構

兩種殘差塊采用相同的結構,皆采用3層卷積結構,每層卷積層后都會進行歸一化和激活函數處理操作。需要注意的是,第三層卷積層的激活函數處理操作是在Shortcut Connections 操作之后進行的。

resnet34網絡結構一共有34層,其中,第一層卷積層和最大池化層用來獲取第一種尺寸的特征圖;用一個conv_block 和兩個identity_block 共9層網絡層獲取第二種尺寸的特征圖;用一個conv_block和3個identity_block共12層網絡層獲取第三種尺寸的特征圖;用一個conv_block即3層網絡層獲取第四種尺寸的特征圖;用一個conv_block和兩個identity_block共9層網絡層獲取第五種尺寸的特征圖。

1.3 多尺寸特征圖融合模式

在礦石大塊檢測任務中,大塊尺寸之間差異巨大是檢測中一個具有挑戰性的難點。具體來說,有的礦石的尺寸可以達到數米,而有些礦石的尺寸卻只有數十厘米。為了提升模型檢測和分割不同塊度礦石的能力,建立的礦石大塊檢測與測量模型(OBDM)引入了一種名為特征金字塔網絡(FPN)的多尺度特征融合模式。FPN 中高維、低維特征圖融合過程如圖3 所示。首先,高維的特征圖進行1×1的卷積操作以減少高維特征圖的通道數,處理之后的特征圖經過一個2×上采樣操作來增加高維特征圖的尺寸使其與低維的特征圖相匹配。最后,高維和低維的特征圖通過特征金字塔模型逐步融合。直觀地講,高維特征圖的語義信息補償入分辨率更高的低維特征圖中來提升模型檢測不同尺度目標的能力。

圖3 FPN 中高維、低維特征圖融合過程

1.4 OBDM 模型損失函數

OBDM 模型訓練過程的損失函數主要有4種:檢測框回歸損失函數、目標類別損失函數、建議區域損失函數、實例分割損失函數。

在檢測框回歸函數中,假定一個RoI的位置信息是b=(bx,by,bw,bh)。其中,bx,by為檢測框左上角的坐標,bw,bh代表檢測框的寬度和長度。檢測框的回歸損失函數的公式如下:

式中,smoothL1代表smooth-L1損失函數,計算公式如下:

目標種類損失函數和建議區域損失函數采用交叉熵損失函數(CE),公式如下:

式中,h x（）表示分類函數,一般通過softmax函數計算,公式如下:

式中,Z代表一個K＋1維的向量。

實例分割的損失函數是對輸出的每個對象的二進制掩碼逐像素進行交叉熵損失函數計算,最后取所有值的平均值。

OBDM 模型即是利用上述4 種損失函數的和作為損失值來進行訓練。

1.5 礦石尺寸計算模塊

目前礦石大塊檢測任務的主要難點是礦石真實尺寸難以計算。因此,本文提出了一種基于像素點統計的爆堆圖像大塊尺寸測量方法。

為計算爆堆圖像內大塊實際尺寸,需要知道大塊由多少個像素點構成以及每個像素點代表的面積是多少。大塊的像素點個數通過OBDM 模型輸出的大塊mask掩碼來計算,即在OBDM 的預測器中加入掩碼計算及輸出分支。而每個像素點面積通過引入Pixel Area(PA)這一概念來計算。PA 的計算是通過引入一個面積已知的標志物。這樣得到的爆堆圖像中便有了面積已知的物體。

在利用圖像制作數據的時候,將礦石的種類設定為rock,將標志物的種類設定為marker。這樣,在OBDM 模型的輸出中既有大塊的掩碼信息又有標志物的掩碼信息。OBDM 的預測模塊結構如圖4所示。通過OBDM 模型輸出的marker的掩碼信息以及已知的marker的面積,可以計算出PA值。

圖4 OBDM 預測模塊結構

2 工程應用

本文圖片數據皆來自鞍鋼礦業集團眼前山地下礦,由實驗室工作人員使用自主開發的邊緣設備現場采集。制作了一個由數百張圖片組成的數據,專門用于爆堆大塊的檢測及尺寸計算。

2.1 數據集準備

本研究中,制作了一個名為MPBRD1.0的爆堆大塊圖像數據集。數據集中包含數百張爆堆圖像,每張圖像中的物體類別分為rock和marker兩類。對數據集利用labelme標注軟件來標注實例掩碼。根據大塊不同的尺寸,將大塊分為3 種,超級大塊(srock),中等大塊(mrock),普通大塊(nrock)。在標注的過程中,將每張圖片內不同種類大塊的數量進行統計,最后將所有圖片中不同種類大塊的數量進行統計,得到數據集中不同尺寸大塊的數量分布統計。

2.2 評估方法

在本研究中,采用Mean Average Precision(m AP)以及處理圖片的時間(PT)來評估模型的性能,采用MS COCO 方法來計算每種大塊的m AP,計算公式如下:

式中,m AP 代表平均精確率;Pinterp（r）=代表對應于召回率r的最高精確率;class代表大塊的種類。

2.3 超參數設置

訓練過程中采用隨機梯度下降算法(SGD)作為模型的優化算法,動量設置為0.9。初始學習率設為0.01,學習率衰減系數設為1E-4,訓練的epochs設置為108,訓練批次(batch_size)設置為1。訓練開始階段,采用學習率遞減方法來訓練模型,在最后的8個epoch里,采用multi-step方法來更新學習率。同時隨機地對圖片進行豎直翻轉來增強數據。模型的訓練在jupyter編譯器中利用tensorflow 深度學習框架完成。

2.4 試驗結果

本試驗中隨機選取兩張爆堆圖片進行處理,得到的處理結果如圖5所示。

圖5 爆堆圖像OBDM 模型處理效果

圖5(a)和圖5(b)是經過OBDM 模型處理的爆堆圖像效果圖,可以看到圖中的大塊都被識別。整體識別效果可達到應用要求,但是礦石的形狀復雜多樣,導致模型不能對礦石的形狀做到百分百的分割。受制于訓練集的數量,在圖像分割領域中,訓練集中圖片數量越多,模型學習到的細節就越多,分割的準確性就越好,訓練集中圖片數量在一定程度上影響分割結果。

本模型的檢測結果明顯優于canny算法、分水嶺算法及U-Net網絡等圖像分割方法所得到的結果。圖中每個檢測框上第一行顯示的文字為目標的種類及屬于該種類的分數,第二行為目標的面積。Rock代表的種類是大塊,marker代表的種類是標志物?？梢钥吹?圖中的大塊都被準確識別出來,且大塊尺寸也被準確計算出來。

最終,將模型與程序搭載于帶視覺系統的邊緣計算設備上,該設備能夠輔助現場技術人員及時對地下礦復雜環境條件下的現場爆破效果進行及時評價,有助于地下礦爆破效率與質量的提升。

3 結論

地下礦爆堆大塊的現場快速識別和測量,對于礦山生產具有重要的現實意義。為了解決爆堆大塊的識別和測量問題,本研究提出了一種基于實例分割技術的大塊檢測模型(OBDM)。OBDM 模型的建立主要包括:采集礦山現場爆堆圖像數據;利用labelme標注軟件制作數據集;基于深度學習數據集對OBDM 模型進行訓練;邊緣計算設備搭載OBDM 模型進行爆堆大塊檢測及測量。

試驗結果證明,相較于傳統的圖像分割方法,本研究提出的OBDM 模型的檢測結果不僅在分割準確程度上取得了極大地提升,還能同時測量出大塊的尺寸,可以為實際生產提供技術支撐。經地下礦現場試驗證明,本研究提出的大塊檢測及測量方法取得了較好的結果,在地下礦現場生產實踐中有較好的的應用前景。