基于深度殘差網(wǎng)絡(luò)ResNet的廢料瓶分類系統(tǒng)

王浩

基于深度殘差網(wǎng)絡(luò)ResNet的廢料瓶分類系統(tǒng)

王浩

（武漢理工大學(xué) 信息工程學(xué)院，湖北 武漢 430070）

為探索深度學(xué)習(xí)在資源回收領(lǐng)域中的應(yīng)用，采用深度殘差網(wǎng)絡(luò)ResNet18網(wǎng)絡(luò)模型將廢料瓶分類為塑料瓶、金屬瓶、玻璃瓶、紙瓶四類。在圖像采集過(guò)程中，利用Opencv識(shí)別出主體對(duì)象，并去除多余的背景，將圖像預(yù)處理為224×224矩陣數(shù)據(jù)，以減少模型運(yùn)算量，再以TF2.0框架為后臺(tái)搭建ResNet18殘差網(wǎng)絡(luò)，并在卷積層后激活函數(shù)前增加BN層減少模型訓(xùn)練時(shí)間。最終基于深度殘差網(wǎng)絡(luò)ResNet18的廢料瓶分類識(shí)別正確率為89.4%，實(shí)現(xiàn)了對(duì)廢料瓶子的有效分類，但識(shí)別正確率仍有待提高。

廢料瓶分類；Opencv；深度學(xué)習(xí)；ResNet18

1 引言

在再生資源回收領(lǐng)域，廢料瓶是生活中最主要的可回收利用資源。資料顯示，中國(guó)每年需要生產(chǎn)的包裝瓶數(shù)量在 2 000億個(gè)左右。但在實(shí)際回收操作中，由于人工分類廢料瓶成本較高，使得廢料瓶的回收率不高。

計(jì)算機(jī)硬件水平以及運(yùn)行速度的提升，使得計(jì)算機(jī)圖像數(shù)據(jù)處理能力不斷提高。由機(jī)器視覺(jué)加深度學(xué)習(xí)的圖像處理逐漸可替代人的重復(fù)性識(shí)別勞動(dòng)，與人眼識(shí)別相比，深度學(xué)習(xí)識(shí)別圖像的能力與準(zhǔn)確度更強(qiáng)，深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型（CNN）由最初的LeNet模型到 AlexNet、VGGNet、InceptionNet再到ResNet，模型的深度逐漸加深，識(shí)別準(zhǔn)確率逐漸提高。所以，本文采用訓(xùn)練深度殘差網(wǎng)絡(luò)ResNet網(wǎng)絡(luò)模型實(shí)現(xiàn)對(duì)廢料瓶的識(shí)別分類。

2 總體方案設(shè)計(jì)

本文所用數(shù)據(jù)集來(lái)源為像機(jī)采集與網(wǎng)絡(luò)圖片爬取，并將采集到的數(shù)據(jù)在圖像預(yù)處理過(guò)程中進(jìn)行數(shù)據(jù)增強(qiáng)，避免因?yàn)橛?xùn)練樣本數(shù)據(jù)量小而模型過(guò)于復(fù)雜出現(xiàn)過(guò)擬合使測(cè)試集準(zhǔn)確率降低。由此建立數(shù)據(jù)集塑料瓶、金屬瓶、玻璃瓶、紙瓶共4個(gè)類別，按訓(xùn)練樣本集與測(cè)試集比例8∶2進(jìn)行分類。為盡可能縮小模型運(yùn)算量并保留數(shù)據(jù)集中有效的特征，本文先對(duì)圖像中待識(shí)別的主要物體進(jìn)行目標(biāo)定位、高斯模糊二值化與框選裁剪掉多余背景留下主體的256×256像素RGB圖像。在實(shí)際模型建構(gòu)中，考慮到訓(xùn)練條件的影響，為提高模型收斂速率縮短模型訓(xùn)練時(shí)間，在ResNet模型中添加了BN層，最后輸入測(cè)試樣本集進(jìn)行模型訓(xùn)練，并用測(cè)試集進(jìn)行模型測(cè)試，直至測(cè)試達(dá)到正確率方可應(yīng)用。

3 數(shù)據(jù)預(yù)處理

3.1 數(shù)據(jù)集采集

本文在數(shù)據(jù)集采集中為了減少背景噪聲對(duì)識(shí)別正確率的影響，人工拍攝時(shí)背景為白色。因人力勞動(dòng)資源有限，無(wú)法獲得大量的廢料瓶數(shù)據(jù)訓(xùn)練模型。在深度學(xué)習(xí)模型訓(xùn)練過(guò)程中，隨著模型深度的逐漸提高，意味著訓(xùn)練模型的數(shù)據(jù)集數(shù)量也需適應(yīng)模型的復(fù)雜程度而逐漸增大。深度殘差ResNet18網(wǎng)絡(luò)模型在訓(xùn)練過(guò)程中需要數(shù)量極大的訓(xùn)練樣本數(shù)據(jù)集，否則會(huì)加大因?yàn)檩斎霐?shù)據(jù)量過(guò)小出現(xiàn)過(guò)擬合的可能，導(dǎo)致在測(cè)試集測(cè)試時(shí)模型預(yù)測(cè)正確率下降，所以本文在圖像預(yù)處理中采取了將數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)以擴(kuò)展數(shù)據(jù)集數(shù)量的方法，同時(shí)數(shù)據(jù)增強(qiáng)也有利于提高模型的泛化能力。

3.2 圖像預(yù)處理

圖像預(yù)處理如圖1所示。由于現(xiàn)實(shí)拍攝圖像的尺寸過(guò)大，往往背景比廢料瓶主體部分還要大，為了減少無(wú)用數(shù)據(jù)量和模型的運(yùn)算量，并盡可能保留圖像的主體特征，本文在圖像預(yù)處理過(guò)程中對(duì)圖像背景進(jìn)行裁剪。具體實(shí)現(xiàn)步驟如下：①首先將輸入的RGB圖像轉(zhuǎn)化為單通道灰度圖像，并對(duì)灰度圖進(jìn)行高斯模糊處理（將灰度圖像每個(gè)像素與高斯分布進(jìn)行卷積），增強(qiáng)圖像在不同比例大小下的圖像效果并弱化反光點(diǎn)，有助于接下來(lái)保證二值化操作的準(zhǔn)確性。得到圖像如圖1（a）所示。②再對(duì)圖1（a）進(jìn)行二值化，并將圖像進(jìn)行黑白反色得到圖像，如圖1（b）所示。③對(duì)圖像（b）進(jìn)行主體的輪廓識(shí)別，得到圖像主體輪廓的邊界矩形。④將圖像裁剪為256×256像素的RGB圖像，如圖1（d）所示。

4 深度殘差網(wǎng)絡(luò)ResNet

4.1 殘差網(wǎng)絡(luò)概述

在CNN網(wǎng)絡(luò)結(jié)構(gòu)的發(fā)展中，基本思想為通過(guò)不斷加深網(wǎng)絡(luò)層數(shù)以豐富特征的層次，來(lái)提高分類精度。但簡(jiǎn)單地堆疊層數(shù)不但沒(méi)提高模型的精度反而導(dǎo)致出現(xiàn)梯度消失問(wèn)題。

2015年何愷明及其團(tuán)隊(duì)提出深度殘差網(wǎng)絡(luò)ResNet，可將模型層數(shù)提高到上百層，ResNet殘差網(wǎng)絡(luò)不再讓下一層直接擬合我們想得到的底層映射，而是令其對(duì)一種殘差映射進(jìn)行擬合。其核心思路為：對(duì)一個(gè)準(zhǔn)確率達(dá)到飽和的淺層網(wǎng)絡(luò)，在它后面加幾個(gè)輸出等于輸入的恒等映射層，增加網(wǎng)絡(luò)深度的同時(shí)不增加誤差。這使得神經(jīng)網(wǎng)絡(luò)的層數(shù)又可以繼續(xù)加深，提高了準(zhǔn)確率。

ResNet模型仍然沿用了VGG網(wǎng)絡(luò)的多個(gè)3×3小卷積核的結(jié)構(gòu)方法，這使得ResNet模型的計(jì)算量變得更小，且相比于其他網(wǎng)絡(luò)尺寸較大的5×5卷積核來(lái)說(shuō)，小卷積核對(duì)提取的特征具有更好的表征能力。

4.2 網(wǎng)絡(luò)構(gòu)建

在代碼編寫(xiě)中恒等映射的具體實(shí)現(xiàn)方法分為兩種情況，當(dāng)兩層堆疊卷積沒(méi)有改變特征圖的維度時(shí)可直接將前一層的輸出疊加到當(dāng)前層；相反，當(dāng)兩者改變了特征圖維度時(shí)，則需要對(duì)前一層的輸出用1×1的卷積核進(jìn)行降維后再與當(dāng)前層相加。

ResNet模型逐漸加深了CNN網(wǎng)絡(luò)結(jié)構(gòu)的同時(shí)，模型中需要迭代確定的權(quán)重、訓(xùn)練中需要計(jì)算的復(fù)雜度也隨之增加，導(dǎo)致訓(xùn)練時(shí)資源占用過(guò)多，對(duì)訓(xùn)練設(shè)備的要求也高，訓(xùn)練效率低。

本文為了提高模型訓(xùn)練時(shí)的收斂速率，縮短了模型的訓(xùn)練時(shí)間。在ResNet網(wǎng)絡(luò)模型的卷積層后增加批標(biāo)準(zhǔn)化BN層，即把神經(jīng)網(wǎng)絡(luò)每層的輸入進(jìn)行數(shù)據(jù)預(yù)處理為符合均值為0、標(biāo)準(zhǔn)差為1的分布，因此經(jīng)過(guò)BN層后的數(shù)據(jù)落入到非線性激活函數(shù)后對(duì)輸入變化更敏感的區(qū)域，從而減少了模型的過(guò)擬合，避免模型出現(xiàn)梯度爆炸的問(wèn)題。另外添加BN操作后就不需要Dropout進(jìn)行隨機(jī)踢出神經(jīng)元的過(guò)程，BN層能替代Dropout層實(shí)現(xiàn)抑制模型的過(guò)擬合，添加BN層后，模型訓(xùn)練時(shí)間縮短，收斂速率加快。

5 實(shí)驗(yàn)結(jié)果分析

在本文實(shí)際實(shí)現(xiàn)過(guò)程中，首先使用相機(jī)拍攝與網(wǎng)絡(luò)爬取獲得廢料瓶圖像數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)增強(qiáng)與圖像預(yù)處理后制作成ResNet模型可用的三通道矩陣數(shù)據(jù)集，并在ResNet殘差網(wǎng)絡(luò)的卷積層后增加BN層提高收斂速率，將三通道矩陣樣本集送入ResNet網(wǎng)絡(luò)模型中進(jìn)行殘差神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，再用測(cè)試數(shù)據(jù)集調(diào)用模型驗(yàn)證生成的殘差神經(jīng)網(wǎng)絡(luò)識(shí)別廢料瓶的準(zhǔn)確率。經(jīng)過(guò)測(cè)試集測(cè)試結(jié)果表明本文方案將廢料瓶分類為塑料瓶、金屬瓶、玻璃瓶、紙瓶四類的準(zhǔn)確率為89.4%。

6 結(jié)語(yǔ)

本文采用深度殘差網(wǎng)絡(luò)ResNet18網(wǎng)絡(luò)模型并為避免模型訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合的現(xiàn)象，在網(wǎng)絡(luò)的卷積層后增加BN層以減少模型的訓(xùn)練時(shí)間方便進(jìn)行模型訓(xùn)練，有效實(shí)現(xiàn)了將廢料瓶分類為塑料瓶、金屬瓶、玻璃瓶、紙瓶四類的目的，經(jīng)過(guò)測(cè)試集測(cè)試，識(shí)別正確率為89.4%，有助于解決廢料瓶分類領(lǐng)域中人工勞動(dòng)價(jià)值比分類所獲價(jià)值更高的窘境，可應(yīng)用于工業(yè)分揀廢品系統(tǒng)中。

因在實(shí)際過(guò)程中采集圖像較困難，本文網(wǎng)絡(luò)采集的部分?jǐn)?shù)據(jù)集中出現(xiàn)圖像與標(biāo)簽不一致現(xiàn)象，使模型適應(yīng)性降低，導(dǎo)致相比較于深度學(xué)習(xí)在其他方面的應(yīng)用，本文所訓(xùn)練的模型正確率仍有待提升。

［1］林云森，范文強(qiáng)，姜佳良.基于深度學(xué)習(xí)的水果識(shí)別技術(shù)研究［J］.光電技術(shù)應(yīng)用，2019，34（6）：45-48，58.

［2］李力涵.基于計(jì)算機(jī)視覺(jué)的智能廢料瓶分類系統(tǒng)［D］.杭州：浙江工商大學(xué)，2019.

［3］楊劍，劉方濤，張濤，等.基于改進(jìn)型殘差網(wǎng)絡(luò)煙霧圖像識(shí)別［J］.科學(xué)技術(shù)與工程，2019，19（32）：236-243.

X705；TP391.41

A

10.15913/j.cnki.kjycx.2020.14.026

2095－6835（2020）14－0071－02

〔編輯：王霞〕