基于深度學習的普通金屬礦石快速分揀系統的研究

許志勇 馬小林 陳 壯 周煒程

(武漢理工大學信息工程學院寬帶無線通信與傳感器網絡湖北省重點實驗室 湖北 武漢 430070)

0 引 言

金屬礦產資源是自然資源的重要組成部分，是國家經濟建設的基礎物質資料，隨著我國經濟的飛速發展，對金屬礦產資源的需求也迅速增長[1]。金屬礦石開采后的第一道工序就是粉碎礦石和泥塊，粉碎后需要進行數次洗礦。前兩到三次洗礦粗選，使用高壓水槍洗去松散的泥塊以及礦石表面附著的大面積泥土，每次洗礦后，再人工分揀出粘結性較強的泥塊。在粗選之后，還需要使用洗礦機進行細選，洗去礦石表面附著的頑固泥土，以確保礦石的高質量[2]。如果泥土含量過多，會極大地增加之后工序的難度，嚴重時甚至會堵塞礦機，造成財產的損失并威脅工作人員的安全。如何提高洗礦效率、減少礦石的含泥量，已經成為迫切需要解決的問題。

孫海波[3]通過改進回采工藝，增大水槍壓力等方法提高選礦效率；黃春源等[4]采用圓振篩+直線篩+濃密機組合進行洗礦工藝改造,大大提高了礦漿流動性,避免管道和分礦箱堵塞。但這些方法著重提高洗礦工藝，對粘結性強的泥塊的處理能力還顯得不足，存在著水資源消耗過大，人工參與較多以及工藝改造成本高問題。

丁濤等[5]提出了一種基于視覺識別技術的礦石在線分選機的系統，將圖像處理技術應用于礦石選礦上。其根據礦石和脈石不同的光學特性，通過機器視覺技術，判斷出脈石的具體位置，并進行剔除處理。但是這種方法效率較低，并且抗干擾性能差。礦石和泥塊的分揀數量巨大，形態復雜，在實際情況還會有大量碎泥和碎石作為噪聲，單純的機器視覺技術已經不能滿足需求。

近年來，隨著深度學習(Deep Learning,DL)技術的成熟，這項技術被越來越多地應用在目標揀選上。深度學習通過逐層初始化人工神經網絡解決了大規模多層神經網絡在訓練速度上的難題，以此奠定了DL的基礎。王鵬等[6]設計了一種基于機器視覺的多機械臂煤矸石分揀機器人系統，應用了深度學習方法中的目標檢測技術對煤矸石抓取特征并識別，能夠實現對煤矸石高效、快速分揀。這驗證了基于深度學習的目標檢測器在礦石分揀方面的優勢。

為了克服傳統洗礦操作含泥量過大問題，滿足對大量礦石和泥塊的快速分揀要求，本文提出了一種礦石泥塊混合物分揀的原型驗證系統。本系統創造性地使用了深度學習中的目標檢測方法，在選定目標檢測框架后，通過使用大量的礦石泥塊混合物的數據集對模型進行訓練，結合設計的圖像采集與無線快速傳輸裝置、云服務器等設備，實現了對礦石泥塊混合物的快速分揀。

1 系統整體設計

基于深度學習的金屬礦石快速分揀系統如圖1所示。該系統由圖像采集與傳輸裝置、云服務器等構成。

圖1 金屬礦石快速分揀系統的整體架構

系統總體工作流程如下：(1) 礦石粗選時產生礦石和泥塊的混合物，在進行下一次工序前，通過圖像采集與傳輸裝置將混合物的圖片上傳至云服務器；(2) 云服務器將接收的圖片存儲到指定位置，并使用目標檢測算法對圖片中的礦石、泥塊進行檢測，檢測的結果在終端予以顯示；(3) 根據檢測結果生成泥塊的位置信息，發送控制信號給下位機，控制分揀裝置進行分揀。

2 硬件系統實現

2.1 圖像的采集與傳輸

考慮到裝置的成本和簡易性，采用STM32F407作為主控板芯片。本系統對圖像分辨率要求不高，采用OV5640作為攝像頭，存儲器大小FLASH：1 MB，RAM：192 KB。在實際生產中，存在大量礦石和泥塊待分揀，需要保證圖像傳輸的實時性，采用Marvell 88W8801無線傳輸模塊。圖像采集與傳輸裝置的工作流程如圖2所示。

圖2 圖像采集與傳輸的工作流程

STM32F407自帶一個數字攝像頭接口(DCMI)，用于接收外部CMOS攝像頭OV5640模塊輸出的高速數據流，不斷地對礦石和泥塊進行圖像采集。裝置采用1 920×1 080分辨率，由于一幀圖像的數據遠遠超出了DMA傳輸的最大數目65 535字節的限制，需要完成多次DMA中斷。在中斷中改變圖像數據存儲地址才能將圖像數據存儲到SRAM中。

未經壓縮的RGB565圖像格式數據流太大，會阻礙圖像的傳輸與存儲，降低圖像傳輸速率，本裝置對圖像進行了JPEG格式壓縮。通過對原始圖像進行圖像預處理、離散余弦變化、量化及熵編碼[7]，并將最終壓縮好的數據封裝上JPEG文件頭、文件尾、數據段，即成為標準的JPEG格式文件。

采集到的圖像經過主控芯片處理，通過SDIO接口連接Wi-Fi模塊發送出去。Wi-Fi模塊傳輸速率為72.2 Mbit/s，支持802.11b/g/n無線標準，支持TCP/IP網絡協議棧[8]，工作在STA站點模式，通信IP地址設為192.168.0.8。無線通信上位機顯示采用FLASK網絡套接字(Socket)編程[9]：首先打開套接字，將其初始化為數據流套接字，并開始監聽；之后調用函數連接AP(無線接入點)，連接成功則接收數據；最后對接收后的數據進行解碼，就可以顯示清晰的圖像。

圖像采集與傳輸裝置的實物圖和上位機顯示結果如圖3所示。

圖3 圖像采集與傳輸裝置的實物圖和上位機顯示結果

2.2 云服務器

目標檢測模型部署在云服務器上，并采用GPU加速。云服務器為阿里云的GPU輕量型服務器，系統為Ubuntu 16.04，CPU：Intel Xeon E5- 2682 V4，GPU：Nvidia Tesla P4/8，內存6 GB，系統盤40 GB固態硬盤。服務器后端采用FLASK、Gunicorn、Nginx架構及HTTP協議，完成圖片的存儲和識別結果的推理。

服務器前端的網站顯示界面如圖4所示,在輸入用戶名和密碼后，可以將傳入圖片的識別結果顯示到界面上。

圖4 前端顯示界面

3 礦石和泥塊檢測算法

3.1 檢測算法對比

在深度學習的推動下，目標檢測的技術近年來得到了飛速的發展，使用深度學習中的CNN來進行目標檢測已經成為了主流的技術，出現了諸如Fast R-CNN、Faster R-CNN、R-FCN、YOLO、SSD等算法。其中Faster R-CNN、YOLO和SSD是現今應用最廣泛的三種架構[10]。

Ren等[11]提出的新的Faster R-CNN算法，引入了RPN網絡提取的proposals，通過共享卷積層實現proposals和目標特征的提取，使得運算速度大大提升。Redmon等[12]提出YOLO算法，將目標檢測和目標識別同時實現，發揮了速度快的特點，但精度有所下降。Liu等[13]提出SSD算法，結合了YOLO回歸思想和Faster R-CNN的anchor機制，實現了速度與準度并存。

由于本文所實現的裝置只要求識別1種目標，同時由于礦石和泥塊數量巨大，對精度要求不追求完美。根據表1中三種模型在公共數據集VOC2007、VOC2012和COCO的精度和速度表現，本系統選擇以VGG-16[14]為網絡的SSD512目標檢測框架作為實驗模型。

表1 三種模型在公共數據集上的表現

VGGNet(VGG-16)是卷積神經網絡的經典網絡，由輸入層、卷積層、全連接層和輸出層四個部分組成。輸入層用于直接輸入原始圖像數據；卷積層主要用于提取輸入數據的特征，包括兩部分，一部分是卷積核，另一部分是下采樣層，對目標圖像進行降維，以減少數據處理量；全連接層相當于一個分類器，用來實現信號的縱向傳導，每一層的神經元節點分別連接線上的權值，然后經過加權組合來獲取下面一層的輸入；輸出層用于推理結果輸出。

相比于SSD300模型，SSD512模型使得網絡能提取到更細微的特征，且較大地擴充了先驗框的數量，使得模型的識別準確率提高一個檔次。

3.2 數據采集與預處理

本文為了研究初選的礦石和泥塊識別任務，在實驗前，使用CMOS相機，采用1 920×1 080和1 080×1 920兩種像素對礦石和泥塊的數據圖進行實地采集。為了滿足數據集多樣性的要求，模擬實際場景，增加識別網絡的魯棒性，特地選取了表面粗糙度、干濕度、裹泥量和本身自然形態都不相同的礦石泥塊混合物作為樣本。再從拍攝角度入手，以不同的光照和角度，對此前收集的目標樣本進行大量的圖片采集。在采集中，添加了一些碎石和碎泥作為噪聲，增加所訓練網絡的抗干擾能力。采集的部分圖片如圖5所示。

(a)

(b)圖5 數據集采集的部分圖片

最終采集了4 600幅礦石泥塊混合物圖片，根據SSD官方模型采用的PASCAL VOC競賽數據集[15]格式，使用LabelImage軟件對感興趣的區域進行了標注，所標注目標的4元組參數(Xmin,Ymin,Xmax,Ymax)，分別表示標注框的左上和右下角坐標，并只對圖像中的泥塊進行了標記，即只有泥塊Mud和背景Background兩種Classes，信息保存在了xml文件中。

根據常見數據集的劃分規則，本實驗將訓練集和測試集按8 ∶2比例進行劃分，即訓練集計3 680幅，測試集計920幅。訓練集用于網絡參數的訓練，測試集用于目標預測的性能評估。

為進一步提升網絡的魯棒性，還采用數據增強的方法提高其泛化能力，使用相應變換函數，對輸入圖像進行翻轉、裁剪和平移等操作。數據集通過迭代器輸入網絡，迭代器在每次圖像輸入時會進行隨機的圖像增強變換，進一步擴充了數據量。

3.3 算法實現

根據SSD512的輸入數據要求，將輸入的.jpg文件調整到512×512的像素大小，并轉化為Array形式，再將像素點值矩陣X用式(1)減去均值，通過轉置函數轉置，以Tensor形式輸入到網絡中去。

X=X-(104.0,117.0,123.0)

(1)

SSD512網絡模型屬于前饋神經網絡，以VGG-16作為目標檢測分類的基礎架構，輸入為512×512像素大小的圖片，在5層網絡后，丟棄全連接，并添加額外的卷積層，卷積層的大小逐層地遞減，以此提取不同粒度的特征。選取規定的7個多尺度下的卷積層(Conv)作為特征層(Feature map)，在特征層每個單元上，按照不同長寬比分別提取4到6個先驗框，總共可以獲取24 564個先驗框。整個SSD網絡前向結構如圖6所示。

圖6 SSD512 網絡前向結構圖

(2)

位置損失Lloc是預測框l和真實標簽回歸框g之間的平滑L1損失。平滑L1損失見式(3)，由此推導的位置損失見式(4)。

(3)

(4)

(5)

(6)

根據上述位置和置信度損失，總體目標函數可用兩者加權和表示為:

(7)

式中:c是SoftMax函數對每個類別的置信度；N是匹配先驗框的數量；權重項a取1。

(1) 網絡模型的訓練。圖像數據輸入網絡后，經過網絡的前饋，可以求得總體目標損失函數L(x,c,l,g)。結合損失函數，通過SGD梯度下降方法，使得網絡不斷學習，參數不斷更新，位置的回歸和類別的分類精確度不斷上升，最終能達到一個理想的模型權值。

(2) 網絡模型的測試。在模型訓練的過程中，每隔一段時間對模型的精準度進行測試。測試時，將測試集圖片經預處理輸入到訓練過后的SSD512網絡模型中去，得到輸出預測框位置loc值和置信度conf值。對loc值進行解碼(decode)，并和24 564個先驗框比較，通過篩選規則將conf值小于給定閾值的框篩除掉。可以得到很多互相重疊的框，對這些框運用NMS(非極大值抑制)算法[16]，即可得到最終的框選結果。根據預測結果可以分析出此時網絡的學習情況。

NMS算法流程：假設有N個框，每個框的分類得分為Sb(1≤Sb≤N)。新建集合H，將N個框放入集合H中，同時初始化一個空集M，用來存放最優框。① 將H中框box按得分Sb進行排序，選出得分最高框box_m，將box_m移動至集合M中；② 遍歷H中的框box，分別與框box_m計算交并比(IOU)，表示為：

(8)

③ 若IOU高于某個閾值，則將此框box從集合H中去除。不斷重復步驟①到步驟③，直到集合H為空，集合M即最終框選結果。

3.4 實驗平臺與超參數設置

SSD算法的訓練和測試都在Linux PC上完成，其軟件配置為Ubuntu 16.04、Pytorch(0.3.1)、CUDA(9.0)，使用雙GPU服務器進行并行訓練。

由于隨機參數的初始化將消耗大量的算力和時間用于降低模型損失值，本實驗采用了遷移學習方法。遷移學習所訓練的卷積層具有提取通用圖像特征的本領[17]，將經大數據集ImageNet[18]數據下訓練好的預訓練模型，共享底層結構權重參數，然后修改其頂層網絡結構，在新任務訓練中可以大大加速收斂速度。

考慮到硬件設備的條件限制、原始權重經過大數據訓練，以及礦石和泥塊本身存在多樣性不高的問題，經過嘗試和調整，將各實驗參數設置如表2所示。

表2 參數設置

4 實 驗

4.1 評價指標

本算法中用于評價目標檢測算法的指標如下：

(1) 精確率(Precision，P)。

(9)

式中：TP代表true positive，即正樣本中被預測正確的數量；FP代表false positive，即負樣本被預測為正樣本的數量。

(2) 召回率(Recall，R)。

(10)

式中：FN為false negative，即正樣本被錯誤地分為負樣本的數量。

(3) 平均準確率(Average Precision，AP)。

(11)

式中：P(R)表示精準率隨召回率變化的函數。

(4) 平均精確率均值(mean Average Precision，mAP)。

(12)

式中：N為檢測類別的數量。

4.2 實驗結果

本系統算法的評估使用的是SSD512網絡模型中的位置損失Lloc(式(4))和置信度損失Lconf(式(5))，在對訓練的日志文件中的位置損失值和置信度損失值進行提取后，繪制了如圖7所示的算法模塊的位置損失值和置信度損失值的散點圖。

(a)

(b)圖7 SSD512模型的損失值散點圖

本實驗1次迭代輸入16幅數據，總共迭代近30 000次。每迭代10次，記錄一下訓練損失值。從圖7(a)位置損失和圖7(b)置信度損失可以看出，在0到5 000次迭代時，訓練損失下降較慢，在迭代5 000次后，訓練損失下降速度開始加快，在迭代10 000次后，訓練損失趨于平滑其中位置損失值在0.15附近波動，置信度損失值在0.75附近波動，網絡趨于穩定。

此外，每10個Epoch，對920幅的測試集進行1次測試，測定出mAP。mAP變化曲線如圖8所示。

圖8 10個Epoch后的mAP大小曲線

可以看出，在35個Epoch之后，mAP數值趨于穩定，在0.91附近波動。

4.3 結果分析

從上述現象中可以看出，得益于遷移學習的特征提取優勢，在較少的Epoch下，損失函數收斂，達到了91%的精準度。具體為，在0到5 000次迭代訓練的過程中，損失函數抖動較大，但整體呈現下降趨勢，此時神經網絡正在學習礦石泥塊之間的特征。在5 000次之后，礦石泥塊之間區別的重要特征已經學習完成，且由于本身數據集之間區分度不大，損失函數發生加速下降。在10 000次后模型進入學習的平臺期，此時模型的識別mAP已經達到91%左右，并不再上升，這表明模型的訓練已經完畢。

泥塊的識別mAP達到91%后不再繼續上升，主要原因是數據集中有部分礦石裹泥量過大，甚至已經完全覆蓋礦石表面。這種礦石圖像從圖像角度，已經和泥塊沒有任何差別，在標注過程中依舊把這些礦石標注為礦石，就會降低泥塊的識別率。這種情況在實驗和實際情況中是不可避免的，只能通過前期高壓水槍的沖刷盡量沖去表面附著的大量泥巴。

圖片測試時，一幀圖片的檢測時間大約維持在0.05 s左右，能夠滿足實時性檢測要求。圖9為使用訓練后的網絡識別的結果圖。

(a)

(b)圖9 網絡識別后的結果圖

圖9中，mud值代表泥塊置信度，其取值范圍為0～1，mud數值越大，表明是泥塊的可能性越大。可以看出，網絡對傳入的一幅礦石泥塊混合物圖片進行了識別，并對可能是泥塊的目標進行了標注，標注的數值越大，表明網絡判斷該目標是泥塊的可能性越大。建立的模型已經提取出了礦石、泥塊的特征，并可以根據學習到的特征精準地識別出礦石和泥塊。礦石表面的附著的泥巴過多，與泥塊基本沒有區分度，則會發生置信度大于0.5的誤判。而整個的泥塊，無論是干是濕，都能夠產生置信度為1左右的正確判決。

5 結 語

本文提出了一種基于深度學習的普通金屬礦石快速分揀系統，主要由圖像采集與傳輸裝置、云服務器等構成。通過SSD512目標檢測算法對輸入的礦石泥塊混合物數據集進行學習實驗，結果顯示生成的模型能夠完成對礦石泥塊混合物的識別任務，且識別準確率達到了91%左右，具有良好的魯棒性。由于礦石泥塊識別對精度要求并不能追求完美，所以使用該模型作為系統的核心算法模塊是滿足要求的，能夠實現整個系統裝置的良好運作。

未來的算法研究方向主要著重于兩方面，一是繼續優化網絡結構，使得檢測的準確率得到更大的提升;二是研究網絡的壓縮算法，得到更輕型的網絡，從而提高本文提出模型的識別效率，增加識別的實時性。