基于神經(jīng)網(wǎng)絡(luò)的端到端的砂石粒徑檢測(cè)

秦宋林， 呂 鵬， 陳嘉浩， 吳 銳

（1 哈爾濱工業(yè)大學(xué)， 哈爾濱 150001； 2 中電建河南萬山綠色建材有限公司， 河南 洛陽 471900）

0 引 言

粒度控制是選礦破碎作業(yè)中的核心工作。 粒度參數(shù)主要有破碎顆粒的面積、周長(zhǎng)、粒徑和體積等；粒度分布是指不同粒度的顆粒占總顆粒的百分比含量。 破碎礦石的粒度分布是破碎過程主要的工藝考核指標(biāo)，若能精確檢測(cè)破碎礦石產(chǎn)品的粒度分布，并據(jù)此及時(shí)調(diào)節(jié)破碎工序控制參數(shù)，調(diào)整破碎產(chǎn)品的粒度分布，那么就可以實(shí)現(xiàn)破碎過程粒度控制的優(yōu)化，進(jìn)一步提高破碎效率，降低能源消耗［1-2］。

為此，研究使用基于神經(jīng)網(wǎng)絡(luò)的方法直接完成對(duì)砂石圖像的粒度估計(jì)。 具體包括數(shù)據(jù)集的獲取、數(shù)據(jù)集的標(biāo)注、以及模型骨架網(wǎng)絡(luò)設(shè)計(jì)、損失函數(shù)的設(shè)計(jì)等方面。

1 研究現(xiàn)狀

傳統(tǒng)視覺分割主要包括分水嶺［3］、Canny 算子［4］和Graph cut 算法［5］等。 Beucher 等學(xué)者［3］提出了分水嶺算法，根據(jù)分水嶺的構(gòu)成來考慮圖像的分割。 分水嶺計(jì)算分為2 個(gè)步驟，一個(gè)是排序過程，一個(gè)是淹沒過程。 首先對(duì)每個(gè)像素的灰度級(jí)進(jìn)行從低到高排序，然后在從低到高實(shí)現(xiàn)淹沒過程中，對(duì)每一個(gè)局部極小值采用先進(jìn)先出（FIFO）結(jié)構(gòu)進(jìn)行判斷及標(biāo)注。 分水嶺算法在諸多分割任務(wù)中重驗(yàn)證了操作的可行性。 Canny 開發(fā)出多級(jí)邊緣檢測(cè)算法Canny 算子，首次提出了邊緣檢測(cè)計(jì)算理論并且應(yīng)用于圖像分割領(lǐng)域。 Canny 算子通過降噪、尋找圖像中的亮度梯度、在圖像中跟蹤邊緣等步驟完成圖像的邊緣檢測(cè)，并且這種方法可以適用于不同的場(chǎng)合［4］。 Boykov 等學(xué)者將Graph cut 用于分割任務(wù)當(dāng)中［5］。 此類方法把圖像分割看作像素標(biāo)記問題，目標(biāo)區(qū)域和背景區(qū)域標(biāo)記為不同的值。 進(jìn)而通過最小化能量函數(shù)來得到目標(biāo)區(qū)域和背景區(qū)域的邊界，即可得到分割結(jié)果。

由于砂石開采的實(shí)際情況充滿了粉塵顆粒，大量的粉塵顆粒對(duì)于算法的魯棒性提出了更高的要求。 對(duì)于分水嶺算法而言，需要調(diào)節(jié)眾多的超參數(shù)，無法滿足實(shí)際的工作要求。 同時(shí)現(xiàn)場(chǎng)工作空間的不穩(wěn)定性導(dǎo)致一套超參數(shù)無法滿足長(zhǎng)時(shí)間的工作需要，即參數(shù)需要隨時(shí)進(jìn)行調(diào)整，從而降低了算法的適用性。 基于上述的分析可知，傳統(tǒng)算法難以適用于砂石粒度檢測(cè)問題研究中。 因此，基于神經(jīng)網(wǎng)絡(luò)，本文提出了魯棒性更強(qiáng)、效果更好、超參數(shù)更少的粒度檢測(cè)算法。

2 算法描述

為實(shí)現(xiàn)粒度檢測(cè)的實(shí)時(shí)化、自動(dòng)化、智能化，需要搭建自動(dòng)化的粒度檢測(cè)系統(tǒng)，能對(duì)破碎所產(chǎn)生的砂石粒度分布進(jìn)行實(shí)時(shí)監(jiān)測(cè)。 通過粒度分布的情況，就能對(duì)生產(chǎn)作業(yè)進(jìn)行指導(dǎo)，實(shí)現(xiàn)智能生產(chǎn)。 采用神經(jīng)網(wǎng)絡(luò)直接估計(jì)工業(yè)相機(jī)拍攝圖像的砂石粒度分布。 具體訓(xùn)練流程如圖1 所示。

圖1 訓(xùn)練過程圖Fig. 1 Training process diagram

2.1 數(shù)據(jù)采集

構(gòu)建砂石粒度檢測(cè)數(shù)據(jù)集的關(guān)鍵在于使用工業(yè)相機(jī)獲取圖像以及對(duì)圖像進(jìn)行正確的標(biāo)注。 在圖像獲取階段，本文使用真實(shí)的砂石人為進(jìn)行混淆，進(jìn)而用相機(jī)進(jìn)行拍攝獲取圖像。 這種操作相比于直接在生產(chǎn)環(huán)境中獲取具有簡(jiǎn)便靈活等特點(diǎn)，同時(shí)圖像并不會(huì)有較大差距。 在采集圖像中，關(guān)鍵就在于控制圖像數(shù)據(jù)的分布。 在構(gòu)建數(shù)據(jù)集之初將砂石按照大小進(jìn)行初步的分類，共分為大粒度、中粒度、小粒度三種。 因此在獲取圖像階段，不斷從3 種粒度砂石堆中拿出砂石進(jìn)行混淆，在混淆階段不斷地調(diào)整大粒度、中粒度、小粒度三種砂石的比例，以此來保證分布的均勻性。 采樣得到的砂石圖像如圖2 所示。

圖2 采樣得到的砂石圖像Fig. 2 The sampled gravel images

2.2 訓(xùn)練數(shù)據(jù)集構(gòu)建

完成砂石粒度獲取的另一個(gè)關(guān)鍵的步驟在于圖像數(shù)據(jù)的標(biāo)注。 砂石的分布信息無法從圖像中直接獲取，必須借助于統(tǒng)計(jì)圖像中砂石的個(gè)數(shù)，并且依靠每個(gè)砂石的粒徑大小計(jì)算整體的粒度分布。 本文對(duì)于一個(gè)砂石標(biāo)注信息定義為（x1，y1，x2，y2），其中坐標(biāo)系原點(diǎn)為圖像左上方。 標(biāo)注如圖3 所示。 圖3中，紅色線條表示標(biāo)注的粒徑。

圖3 砂石圖像的粒徑標(biāo)注Fig. 3 Particle size annotation of gravel images

在粒度檢測(cè)中，圖像的標(biāo)簽是一個(gè)圖像中礦石的粒度分布情況，概率密度函數(shù)能夠?qū)Ψ植甲龊芎玫谋磉_(dá)，然而對(duì)標(biāo)注提出了更高的要求，因此本文采用離散型概率分布來對(duì)圖像粒度分布進(jìn)行表達(dá)。

本文設(shè)計(jì)離散型隨機(jī)變量X，K個(gè)特定大小的粒徑｛t0，t1，…，tk｝ 且滿足t0≤t1≤…≤tk。 標(biāo)注的圖像為一張圖像所有砂石的粒徑信息，因此需要完成粒徑信息到粒度信息的轉(zhuǎn)換。 對(duì)于粒度分布P，有：

其中，P（tm≤X ＜tn） 表示一張圖像中粒徑范圍在［tm，tn） 中砂石數(shù)目占總體砂石數(shù)目的比例；n表示圖像中砂石的總數(shù)目；A表示圖像中粒徑的集合。另外，隨著數(shù)值K的增大，粒度分布P可以更好地對(duì)真實(shí)的粒度分布進(jìn)行表達(dá)。 本文設(shè)定K＝6，即粒度分布曲線由6 種指定的粒徑進(jìn)行劃分。

2.3 模型訓(xùn)練

提出的模型包括輸入輸出、骨架網(wǎng)絡(luò)設(shè)計(jì)、損失函數(shù)設(shè)計(jì)三個(gè)方面。 模型的輸入即工業(yè)相機(jī)拍攝的砂石圖像，輸出即砂石的粒度分布情況

在處理視覺圖像中，最為有效的骨架網(wǎng)絡(luò)為卷積神經(jīng)網(wǎng)絡(luò)。 然而隨著神經(jīng)網(wǎng)絡(luò)的研究不斷深入，卷積神經(jīng)網(wǎng)絡(luò)也涌現(xiàn)出不同的結(jié)構(gòu)，其中不同的網(wǎng)絡(luò)適用的任務(wù)類型也多種多樣。 因此，選取符合砂石粒度檢測(cè)的網(wǎng)絡(luò)是非常關(guān)鍵的。 本文選取DenseNet［6］作為骨架網(wǎng)絡(luò)，選用具有121 層、4 個(gè)DenseBlock 結(jié)構(gòu)的DenseNet-121 作為砂石粒度檢測(cè)算法的骨架網(wǎng)絡(luò)。 DenseNet 的架構(gòu)如圖4 所示。

圖4 DenseNet 基本架構(gòu)Fig. 4 Architecture of DenseNet

在粒度檢測(cè)任務(wù)中，使用KL 散度作為損失函數(shù)［7］：

其中，P分布表示圖像真實(shí)的粒度分布情況，Q分布表示神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的砂石分布情況。

3 結(jié)果分析

為了能更好地進(jìn)行比較，本文采用了2 種評(píng)價(jià)指標(biāo)，分別是均方誤差和正確率。 均方誤差計(jì)算方法如式（3）所示：

其中，Ek表示6 種指定粒度中第k個(gè)粒度的誤差；N表示測(cè)試集的大小；zi表示預(yù)測(cè)粒度分布；表示真實(shí)的粒度分布。 上述指標(biāo)是針對(duì)6 個(gè)粒度范圍設(shè)計(jì)的各自評(píng)價(jià)指標(biāo)，對(duì)于整體粒度分布的均方誤差公式如下所示：

均方誤差指標(biāo)能夠較好地反映模型對(duì)整體數(shù)據(jù)集預(yù)測(cè)結(jié)果和真實(shí)值之間的誤差，但是無法有效衡量單個(gè)樣本的粒度檢測(cè)結(jié)果。 因此，本文提出正確率指標(biāo)來衡量分割結(jié)果，推得的計(jì)算公式為：

正確率的含義可以看作如果一張砂石圖像的粒度分布和真實(shí)分布各個(gè)粒徑范圍的均方誤差小于一定的閾值，那么這張圖像判別正確，反之則錯(cuò)誤。

提出的神經(jīng)網(wǎng)絡(luò)算法及分水嶺算法的均方誤差見表1。

表1 神經(jīng)網(wǎng)絡(luò)和分水嶺算法均方誤差比較Tab. 1 Mean Squared Error comparison of neural network and watershed algorithm %

基于神經(jīng)網(wǎng)絡(luò)的方法在6 種粒度范圍和整體粒度上均高于基于分水嶺的算法，并且在小粒度上神經(jīng)網(wǎng)絡(luò)得到的提升更加顯著。 同時(shí)，基于神經(jīng)網(wǎng)絡(luò)的方法得到的誤差均較低，尤其是在大粒度砂石上擁有極低的均方誤差。 這說明大粒度砂石具有相對(duì)來說比較明顯的特征，而小粒度砂石的特征不容易區(qū)分。

正確率指標(biāo)見表2。 為了更好地度量算法的性能，本課題采用了3 種不同的閾值（τ＝5%，τ＝7%，τ＝10%） 來評(píng)估模型最終的性能。

表2 神經(jīng)網(wǎng)絡(luò)和分水嶺算法正確率比較Tab. 2 Comparison of Acc between neural network and watershed algorithm%

由表2 可知，基于神經(jīng)網(wǎng)絡(luò)的算法性能遠(yuǎn)遠(yuǎn)超過基于分水嶺的算法，并且在τ＝10%的時(shí)候算法在測(cè)試集上達(dá)到了100%。 將現(xiàn)有正確率結(jié)果和均方誤差結(jié)果做對(duì)比，理論上基于神經(jīng)網(wǎng)絡(luò)的算法在測(cè)試集上的均方誤差為3.5%，當(dāng)τ ＞3.5%時(shí)理論上算法性能應(yīng)該達(dá)到100%，但是顯然τ＝5%算法準(zhǔn)確率卻只有92.2%。分析內(nèi)在原因，主要是均方誤差指標(biāo)無法衡量一些測(cè)試集中的異常樣本。 測(cè)試集中某些樣本存在較小的誤差而某些樣本存在較大的誤差，使用均方誤差將會(huì)淹沒掉這些較大誤差的樣本帶來的誤差，從而顯示算法在整體數(shù)據(jù)集上具有較好的性能。

4 結(jié)束語

本文首先對(duì)現(xiàn)有的砂石粒度檢測(cè)算法進(jìn)行了全面分析，得出了分水嶺算法并不適用于當(dāng)前砂石粒度檢測(cè)這個(gè)任務(wù)的結(jié)論。 同時(shí)提出了基于神經(jīng)網(wǎng)絡(luò)的砂石粒度檢測(cè)算法，并且詳細(xì)說明了如何進(jìn)行數(shù)據(jù)集的采集和標(biāo)注；算法的具體實(shí)現(xiàn)包括骨架網(wǎng)絡(luò)的搭建和損失函數(shù)的設(shè)計(jì)。 最后，本文對(duì)提出的算法在測(cè)試集上進(jìn)行量化分析，分析結(jié)果表明基于神經(jīng)網(wǎng)絡(luò)的端到端的砂石粒徑檢測(cè)方法展現(xiàn)了出色的性能。