基于改進(jìn)Resnet18的垃圾分類收運(yùn)監(jiān)管方法研究

何彥弘，徐怡寧，傅嘉琪，陳書航，李俊峰

(1.浙江理工大學(xué)信息科學(xué)與工程學(xué)院，浙江 杭州 310018；2.浙江理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310018)

2019330301193@mails.zstu.edu.cn;2019329621218@mails.zstu.edu.cn;2019330301190@mails.zstu.edu.cn;2019330361008@mails.zstu.edu.cn;ljf2003@zstu.edu.cn

1 引言(Introduction)

隨著經(jīng)濟(jì)的發(fā)展、城市化進(jìn)程的推進(jìn)及人們生活水平的提高，垃圾產(chǎn)生量迅速增加，從而增加了城市垃圾收集、運(yùn)輸及垃圾處理系統(tǒng)的壓力[1]。2020 年我國(guó)城市固廢量達(dá)310.9百萬(wàn)噸，同比增長(zhǎng)1.5%。預(yù)計(jì)2022 年我國(guó)城市固廢處理量將達(dá)到349.3百萬(wàn)噸，大量的垃圾嚴(yán)重阻礙了城市發(fā)展與人們的健康生活，因此研究如何更好地進(jìn)行垃圾的分類回收對(duì)解決上述問題具有重要意義。垃圾分類是指按一定規(guī)定或標(biāo)準(zhǔn)將垃圾分類儲(chǔ)存、投放和運(yùn)輸從而轉(zhuǎn)化成公共資源的一系列活動(dòng)的總稱。垃圾分類可以分為三個(gè)步驟：前端分類、中端清運(yùn)和后端回收利用。

近年來(lái)，機(jī)器學(xué)習(xí)迅速發(fā)展，在很多領(lǐng)域得到廣泛運(yùn)用，很多學(xué)者提出了采用機(jī)器學(xué)習(xí)方法輔助垃圾分類[2-4]，F(xiàn)ENG等[5]提出了一種基于Inception-v3遷移學(xué)習(xí)模型的辦公室垃圾智能分類方法，WANG等[6]提出了一種基于機(jī)器視覺的垃圾分類和回收系統(tǒng)，通過(guò)機(jī)器人對(duì)垃圾進(jìn)行智能識(shí)別，根據(jù)垃圾類別進(jìn)行分類回收。但是，上述研究的應(yīng)用場(chǎng)合分別為辦公室垃圾和散落的建筑垃圾，不適用于產(chǎn)生量更大的生活垃圾的分類和回收，在這個(gè)領(lǐng)域具有一定的局限性；趙珊等[7]提出了基于MobileNetV2網(wǎng)絡(luò)和隱式特征金字塔網(wǎng)絡(luò)(IFPN)改進(jìn)的單步多框目標(biāo)檢測(cè)器(SSD)垃圾實(shí)時(shí)分類檢測(cè)，提高了對(duì)小目標(biāo)的檢測(cè)能力。

同時(shí)，劉南杉等[8]提出了利用人工智能虛擬現(xiàn)實(shí)等技術(shù)對(duì)垃圾分類進(jìn)行整體規(guī)劃?rùn)z測(cè)；CHUNG等[9]提出了一種智能分類和環(huán)境監(jiān)測(cè)系統(tǒng)實(shí)現(xiàn)垃圾自動(dòng)分類和環(huán)境監(jiān)測(cè)；YU等[10]提出了利用人工智能技術(shù)，提高方程式廢物處理的準(zhǔn)確性和效率；CHEN等[11]提出了一種基于“互聯(lián)網(wǎng)+”的城市垃圾分類回收與輸運(yùn)體系框架，給出了垃圾分類運(yùn)輸系統(tǒng)智能化和信息化的解決方案，但并未提出如何對(duì)垃圾分類運(yùn)輸過(guò)程形成有效監(jiān)管以提升垃圾分類的效果。

上述研究為應(yīng)用計(jì)算機(jī)技術(shù)實(shí)現(xiàn)垃圾分類提供了重要的參考，但上述研究的重點(diǎn)均在垃圾分類前端，而在將機(jī)器視覺技術(shù)運(yùn)用于垃圾的清運(yùn)過(guò)程的監(jiān)管方面有所欠缺。通過(guò)走訪某市的環(huán)境衛(wèi)生和生活固廢處置保障中心得知，垃圾收集和運(yùn)輸過(guò)程中混裝率極高，存在“前端分類，后端混裝”的現(xiàn)象。清運(yùn)混裝垃圾會(huì)挫傷市民實(shí)施垃圾分類的積極性，增大垃圾后續(xù)處理的難度，同時(shí)會(huì)影響垃圾分類效果，因此對(duì)該過(guò)程進(jìn)行有效的監(jiān)管是非常有必要的。清運(yùn)過(guò)程會(huì)受到作業(yè)環(huán)境、時(shí)間等多種因素的影響，因此對(duì)其進(jìn)行監(jiān)管的難度大。若依賴于人工監(jiān)控，工作量大且效率低。如果利用垃圾清運(yùn)車上安裝的工業(yè)攝像頭對(duì)垃圾清運(yùn)圖像進(jìn)行實(shí)時(shí)采集，并應(yīng)用圖像處理等技術(shù)進(jìn)行分析，用計(jì)算機(jī)替代人工進(jìn)行實(shí)時(shí)監(jiān)控，就能有效提高對(duì)清運(yùn)過(guò)程的監(jiān)管效率，減少不規(guī)范清運(yùn)和垃圾混裝現(xiàn)象的發(fā)生，從垃圾分類的中端提升垃圾分類效果。結(jié)合深度卷積網(wǎng)絡(luò)的相關(guān)研究[12-15]，本文提出一種基于改進(jìn)Resnet18的垃圾桶顏色分類與匹配算法，解決垃圾清運(yùn)過(guò)程中的監(jiān)管問題。首先，通過(guò)在Resnet18添加SE-Net通道注意力機(jī)制模塊對(duì)模型實(shí)現(xiàn)改進(jìn)，并提出了一種多尺度感受野融合模塊，添加在Resnet18中構(gòu)成晚期融合用于提升網(wǎng)絡(luò)性能；其次，提取垃圾車作業(yè)期間的監(jiān)控視頻的關(guān)鍵幀構(gòu)建垃圾桶分類數(shù)據(jù)集；最后，利用改進(jìn)后的Resnet18對(duì)上述數(shù)據(jù)集進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)對(duì)垃圾清運(yùn)的有效監(jiān)管。

2 垃圾清運(yùn)監(jiān)管問題分析(Problem analysis of waste clearing and transportation supervision)

經(jīng)過(guò)調(diào)研和訪談發(fā)現(xiàn)，垃圾清運(yùn)過(guò)程主要存在以下問題。

(1)裝車過(guò)程中掛載的垃圾桶數(shù)量超量。按照垃圾清運(yùn)作業(yè)規(guī)定，垃圾車作業(yè)時(shí)，每次只能將兩個(gè)垃圾桶掛在車上，并將桶內(nèi)垃圾倒入清運(yùn)車內(nèi)，這是為了保證垃圾桶的垃圾不掉落地面上，保證作業(yè)場(chǎng)地的清潔；保障收運(yùn)工人的作業(yè)安全，以免產(chǎn)生安全隱患。但在實(shí)際作業(yè)現(xiàn)場(chǎng)，作業(yè)人員為了提升工作效率而掛載三個(gè)垃圾桶，存在違規(guī)操作行為。

(2)垃圾桶蓋未完全打開。在垃圾清運(yùn)作業(yè)時(shí)，為了確保桶內(nèi)的垃圾能夠被清運(yùn)干凈，要求將垃圾桶蓋完全打開后再進(jìn)行作業(yè)。但在實(shí)際作業(yè)現(xiàn)場(chǎng)，作業(yè)人員為了方便而沒有人工打開部分閉合的垃圾桶蓋，從而影響了垃圾清運(yùn)的效果。

(3)垃圾桶顏色(對(duì)應(yīng)垃圾類別)與垃圾清運(yùn)車收運(yùn)垃圾類別不匹配。為了實(shí)現(xiàn)垃圾的分類清運(yùn)，通常會(huì)將分類后的不同類型垃圾裝在對(duì)應(yīng)顏色的垃圾桶中并采用不同的垃圾清運(yùn)車運(yùn)送。這就要求垃圾桶的顏色(即垃圾的類別)要與垃圾清運(yùn)車收運(yùn)的垃圾類型相匹配。但是實(shí)際收運(yùn)過(guò)程中，常有不匹配的垃圾桶被錯(cuò)誤清運(yùn)的問題，導(dǎo)致垃圾的混裝混運(yùn)，降低了垃圾分類效果。

針對(duì)上述問題，本文提出了一種垃圾清運(yùn)監(jiān)管解決方案(圖1)，可實(shí)現(xiàn)對(duì)垃圾分類清運(yùn)過(guò)程中的有效監(jiān)管，具體可以分成兩個(gè)部分實(shí)施：一是使用目標(biāo)檢測(cè)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)垃圾桶及其狀態(tài)的識(shí)別；二是使用分類網(wǎng)絡(luò)對(duì)檢測(cè)到的垃圾桶的類型進(jìn)行判斷。

圖1 垃圾清清運(yùn)監(jiān)管解決方案Fig.1 Solution to waste clearing and transportation supervision

本文就“垃圾桶顏色(對(duì)應(yīng)垃圾類別)與垃圾清運(yùn)車收運(yùn)垃圾類別不匹配”的問題，提出了一種基于改進(jìn)Resnet18的解決方案，該方法可以對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)到的垃圾桶目標(biāo)加以識(shí)別分類。按照不同的收運(yùn)垃圾類型，本文對(duì)垃圾桶做出以下分類，分別為藍(lán)色垃圾桶(可回收垃圾)、綠色垃圾桶(廚余垃圾)、灰色垃圾桶(其他垃圾)、紅色垃圾桶(有害垃圾)、黃色垃圾桶(其他垃圾)和未知顏色垃圾桶(未知垃圾)，由于在清晨或夜晚等作業(yè)條件下的光線不足和垃圾袋反光問題，以及部分垃圾過(guò)大對(duì)垃圾桶造成遮擋，造成難以識(shí)別的問題，因此添加了未知顏色這一類別)。

3 Resnet18及其改進(jìn)方法(Resnet18 and its improving method)

3.1 Resnet18

深度殘差網(wǎng)絡(luò)是由HE等[16]于2016 年提出的，殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。該研究證明了引入跳層連接能有效解決梯度彌散導(dǎo)致的模型難以收斂和深度神經(jīng)網(wǎng)絡(luò)退化兩大問題，并使計(jì)算輕量化。

圖2 殘差網(wǎng)絡(luò)基本結(jié)構(gòu)Fig.2 Basic structure of Resnet network

Resnet18是一種基于上述殘差結(jié)構(gòu)構(gòu)造的網(wǎng)絡(luò)，其模型如圖3所示。Resnet18的殘差模塊中首先進(jìn)行一次3×3卷積，其次進(jìn)行批標(biāo)準(zhǔn)化和ReLU激活，再次進(jìn)行一次3×3卷積和標(biāo)準(zhǔn)化，最后與輸入特征圖相加后進(jìn)入ReLU激活。殘差模塊Ⅱ在跳層連接中加入了1×1卷積進(jìn)行下采樣。

圖3 Resnet18模型Fig.3 Resnet18 model

3.2 SE-Net注意力機(jī)制

SE-Net(Squeeze-and-Excitation Networks)是由HU等[17]提出的一種通道注意力機(jī)制，其主要原理是根據(jù)全局信息學(xué)習(xí)通道特征權(quán)重，對(duì)通道信息重標(biāo)定從而增大有效通道特征的權(quán)重，減小無(wú)效或效果較小的通道特征的權(quán)重，提升模型特征提取能力，其結(jié)構(gòu)如圖4所示。

圖4 SE-Net結(jié)構(gòu)Fig.4 SE-Net structure

該算法可以分為三個(gè)部分，即通道特征壓縮(Squeeze)、通道特征激發(fā)(Excitation)和通道權(quán)重重標(biāo)定(Scale)。首先Squeeze操作通過(guò)全局平均池化操作將C通道H×W的特征圖壓縮成C通道1×1的特征圖；然后Excitation操作對(duì)上一步結(jié)果進(jìn)行全連接，得到C/r維的向量后進(jìn)行ReLU激活，再對(duì)該結(jié)果進(jìn)行一次全連接，將C/r維變換成C維向量，并通過(guò)Sigmoid激活，使其值分布在0—1；最后將通道權(quán)重加權(quán)到原始特征圖上，完成對(duì)原始特征的重標(biāo)定。

結(jié)合本文分類任務(wù)和圖像數(shù)據(jù)特征，從圖5中可以直觀地看到，對(duì)垃圾桶分類識(shí)別較為關(guān)鍵的信息是閉蓋垃圾桶的垃圾桶蓋和開蓋垃圾桶的垃圾桶邊緣部分。通過(guò)SE-Net學(xué)習(xí)通道權(quán)重，理論上能抑制通道權(quán)值較小的特征，提升模型對(duì)通道的敏感性和模型的特征提取能力。

圖5 垃圾桶顏色識(shí)別關(guān)鍵信息(黑色部分)Fig.5 Key information of trash can color

SE-Net常與Resnet殘差網(wǎng)絡(luò)按圖6中的方法結(jié)合，但要注意到在Resnet殘差結(jié)構(gòu)的不同位置加入SE-Net，可能會(huì)產(chǎn)生不同的效果。本文擬提出三種方案，分別將其插入在Resnet殘差結(jié)構(gòu)的始端(Pre-SE)、末端(Post-SE)和殘差連接(Res-SE)處，其結(jié)構(gòu)如圖7所示。

圖6 Resnet與SE-Net結(jié)合方法Fig.6 Combination of Resnet and SE-Net

圖7 三種SE-Net與Resnet結(jié)合方法Fig.7 Three approaches to combining SE-Net and Resnet

3.3 多尺度感受野融合殘差結(jié)構(gòu)

Inception結(jié)構(gòu)[18]通過(guò)輸入不同尺度的特征圖預(yù)測(cè)不同大小的目標(biāo)，受此啟發(fā)，若對(duì)輸入特征圖進(jìn)行多尺度融合，就能夠增加模型對(duì)特征信息的感受野。結(jié)合本文圖像數(shù)據(jù)特點(diǎn)(圖8)，可以直觀地感受到多尺度融合的效果。本文數(shù)據(jù)集可以按照垃圾桶狀態(tài)分為兩大類，即開蓋垃圾桶(Open Garbage Can)和閉蓋垃圾桶(Close Garbage Can)：對(duì)于開蓋垃圾桶的顏色分類任務(wù)，最重要的信息位于垃圾桶圖像的四周，而垃圾桶內(nèi)的顏色對(duì)該任務(wù)影響甚微；而對(duì)于閉蓋垃圾桶，其圖像主體為垃圾桶顏色。進(jìn)行多尺度融合后可以直觀地發(fā)現(xiàn)(圖8)，開蓋垃圾桶的特征信息增加了，而對(duì)于閉蓋垃圾桶，多尺度融合導(dǎo)致其特征信息的減少是有限的。綜上所述，理論上多尺度融合有利于提升本文數(shù)據(jù)集特征提取能力。

圖8 多尺度變換后的圖像Fig.8 Image of multi-scaled transformation

結(jié)合上述分析與殘差網(wǎng)絡(luò)的思想，擬提出一種針對(duì)本文數(shù)據(jù)集的多尺度感受野融合殘差模塊(Multi-Scaled Receptive Field Fusion Residual Module,MSRM)，其結(jié)構(gòu)如圖9所示。

圖9 多尺度感受野融合殘差模塊結(jié)構(gòu)圖Fig.9 Residual module structure of multi-scaled receptive field fusion

上述多尺度感受野融合模塊首先進(jìn)行1×1卷積將特征圖變換為2C×H×W，然后采用空洞率不同的空洞卷積對(duì)特征圖進(jìn)行下采樣和融合，最后利用3×3轉(zhuǎn)置卷積進(jìn)行上采樣，將特征圖的尺度變換為C×H×W并與輸入進(jìn)行殘差融合,最終得到輸出特征圖。需要注意的是，每次卷積后都進(jìn)行了批標(biāo)準(zhǔn)化和ReLU激活。

圖10 不同空洞率的空洞卷積感受野比較Fig.10 Receptive field comparison of the dilation convolution with different dilation rates

空洞卷積[19]可以在保持卷積核大小不變的前提下擴(kuò)大感受野，從圖11中可以直觀地感受到使用空洞率不同的空洞卷積能夠提取到更大范圍的信息，使得融合后的特征圖具有更豐富的語(yǔ)義信息。

考慮到在中期和晚期融合的過(guò)程中，特征圖自身的通道數(shù)較多，上述模塊可能對(duì)網(wǎng)絡(luò)性能有較大的影響，但普通的標(biāo)準(zhǔn)卷積可以由深度卷積和點(diǎn)卷積兩個(gè)部分替代，因此使用深度可分離卷積[20]重構(gòu)上述模塊中計(jì)算量較大的卷積，從而提升網(wǎng)絡(luò)計(jì)算效率。

將上述模塊插入Resnet18的不同位置分別構(gòu)成早期融合(Early-Fusion,EF)、中期融合(Mid-Fusion,MF)和晚期融合(Late-Fusion,LF)，具體如圖11所示。

圖11 不同位置的MSRMFig.11 MSRM of different positions

4 實(shí)驗(yàn)與分析(Experiment and analysis)4.1 數(shù)據(jù)集

本文研究使用的圖像來(lái)源于某市垃圾清運(yùn)車搭載的工業(yè)攝像機(jī)拍攝的視頻，通過(guò)提取視頻關(guān)鍵幀和裁剪的方法構(gòu)建數(shù)據(jù)集。原始圖像共7,753 張，具體分為6 類，即黃色、灰色、紅色、綠色、藍(lán)色和未知顏色的垃圾桶。

由于不同顏色的垃圾桶使用的頻率存在顯著差異，導(dǎo)致數(shù)據(jù)集中樣本分布失衡，原始數(shù)據(jù)集分布如圖12(a)所示。為了使數(shù)據(jù)集分布均衡，通過(guò)人工重新拍攝和數(shù)據(jù)增強(qiáng)擴(kuò)增數(shù)據(jù)集。最終數(shù)據(jù)集共包含6,818 張圖像，數(shù)據(jù)分布如圖12(b)所示，統(tǒng)一縮放為224×224 像素，并按照7∶2∶1的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集，分別為4,773 張、1,362 張和683 張。

圖12 數(shù)據(jù)集數(shù)據(jù)分布Fig.12 Data distribution of the dataset

為了擴(kuò)增數(shù)據(jù)集以提高模型的泛化能力，使其適應(yīng)垃圾收運(yùn)作業(yè)環(huán)境的復(fù)雜性，采用亮度調(diào)整、0°—20°隨機(jī)旋轉(zhuǎn)、水平垂直翻轉(zhuǎn)、高斯模糊和GridMask方法[21]對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)。同時(shí)，本文采用開放計(jì)算機(jī)視覺庫(kù)(OpenCV)模擬降雨、降雪和大霧等天氣，提高模型在不同天氣條件下分類的準(zhǔn)確性。部分?jǐn)?shù)據(jù)增強(qiáng)方法如圖13所示，天氣模擬如圖14所示。

圖13 數(shù)據(jù)集增強(qiáng)Fig.13 Dataset argumentation

圖14 模擬天氣Fig.14 Weather simulation

4.2 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)的硬件環(huán)境：處理器為Intel(R) Core(TM) i5-9300H CPU @ 2.40 GHz，內(nèi)存為8 GB，顯卡為Nvidia GTX 1650，操作系統(tǒng)為64 位，磁盤大小1 TB。

軟件環(huán)境：操作系統(tǒng)為Windows 10，深度學(xué)習(xí)框架為Pytorch 1.10.1，開發(fā)環(huán)境為PyCharm，開發(fā)語(yǔ)言為Python，包管理器和環(huán)境管理器為Anaconda，GPU加速庫(kù)為CUDA 11.3和cuDNN 8.2.1。

4.3 超參數(shù)設(shè)置

4.3.1 學(xué)習(xí)率

本文實(shí)驗(yàn)中，學(xué)習(xí)率采用具有重啟機(jī)制的余弦退火調(diào)整策略[22](Cosine Annealing with Warmup Restart)，該方法使學(xué)習(xí)率在一個(gè)周期內(nèi)按照余弦函數(shù)隨著迭代次數(shù)的增加而發(fā)生改變，同時(shí)通過(guò)熱重啟在設(shè)定的Epoch(一個(gè)Epoch相當(dāng)于使用訓(xùn)練集中的全部樣本訓(xùn)練一次)增大學(xué)習(xí)率跳出局部最優(yōu)解。通過(guò)預(yù)訓(xùn)練調(diào)整初始學(xué)習(xí)率和余弦退火策略的相關(guān)參數(shù)值，實(shí)驗(yàn)所用的學(xué)習(xí)率與迭代次數(shù)的關(guān)系如圖15所示。

圖15 余弦退火調(diào)整策略Fig.15 Cosine annealing adjustment strategy

4.3.2 其他超參數(shù)

本實(shí)驗(yàn)輸入的圖像尺寸為224×224 像素，訓(xùn)練100 Epoch；采用隨機(jī)梯度下降(SGD)策略進(jìn)行訓(xùn)練，初始學(xué)習(xí)率設(shè)為0.01，動(dòng)量設(shè)置為0.9，衰減因子設(shè)置為0.000484，batch設(shè)置為16。

4.4 實(shí)驗(yàn)結(jié)果與分析

4.4.1 SE-Net實(shí)驗(yàn)

根據(jù)SE-Net通道注意力機(jī)制插入在Resnet18殘差結(jié)構(gòu)的不同位置，分別構(gòu)成始端(Pre-SE)、末端(Post-SE)和殘差連接(Res-SE)處的通道注意力機(jī)制。對(duì)三種不同位置的網(wǎng)絡(luò)按照上述超參數(shù)設(shè)置進(jìn)行實(shí)驗(yàn)，得到實(shí)驗(yàn)結(jié)果如表1所示。

表1 SE-Net實(shí)驗(yàn)具體結(jié)果Tab.1 Specific results of SE-Net experiment

考慮到不同顏色的垃圾桶在本研究的對(duì)象城市中的使用頻率不同，因此對(duì)不同顏色的垃圾桶的查準(zhǔn)率(查全率)進(jìn)行加權(quán)作為該模型的加權(quán)平均查全(準(zhǔn))率。根據(jù)本文“4.1”中提到的數(shù)據(jù)集，將原始數(shù)據(jù)集中不同顏色的垃圾桶的出現(xiàn)頻率作為權(quán)值，得到以下加權(quán)算法：

通過(guò)表2中的數(shù)據(jù)發(fā)現(xiàn)，加入SE-Net通道注意力機(jī)制后對(duì)模型的大小和檢測(cè)速度影響較小，但能夠在一定程度上提升網(wǎng)絡(luò)的性能，從各個(gè)顏色分類的性能指標(biāo)來(lái)看，對(duì)網(wǎng)絡(luò)性能的提升較為全面。與Resnet18相比，是對(duì)未知顏色的垃圾桶有了更高的檢測(cè)性能。Pre-SE、Post-SE和Res-SE分別較未改進(jìn)的Resnet18在加權(quán)F1值上分別提升了9.26%、9.01%和8.81%。同時(shí)，加入SE-Net對(duì)模型的大小和每秒識(shí)別幀數(shù)(FPS)指標(biāo)并沒有太大的影響，該指標(biāo)僅小幅度降低，但是綜合上述指標(biāo)對(duì)三種位置的SE-Net進(jìn)行比較，顯然在殘差結(jié)構(gòu)的始端(Pre-SE)加入SE-Net通道注意力機(jī)制對(duì)模型的性能有更大的提升。因此，本文選擇Pre-SE作為一種改進(jìn)方案。

表2 SE-Net實(shí)驗(yàn)結(jié)果Tab.2 Results of SE-Net experiment

4.4.2 MSRM實(shí)驗(yàn)

在Resnet網(wǎng)絡(luò)結(jié)構(gòu)的不同位置加入MSRM模塊，分別形成早期融合、中期融合和晚期融合。對(duì)三種不同位置的網(wǎng)絡(luò)按照上述超參數(shù)設(shè)置進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，對(duì)于早期和中期融合，隨著訓(xùn)練集Loss的降低，驗(yàn)證集上的精確率難以提升，如圖16和圖17所示，早期融合和中期融合會(huì)導(dǎo)致模型泛化能力惡化。同時(shí)，上述實(shí)驗(yàn)也發(fā)現(xiàn)MSRM加入在網(wǎng)絡(luò)中的位置越深，對(duì)模型的影響逐漸從惡化轉(zhuǎn)變?yōu)樘嵘砥谌诤夏茉谝欢ǔ潭壬咸嵘W(wǎng)絡(luò)的性能，尤其體現(xiàn)在對(duì)黃色垃圾桶和未知顏色垃圾桶的識(shí)別上。

圖16 早期融合位置1和早期融合位置2訓(xùn)練準(zhǔn)確率和損失Fig.16 Training accuracy and loss of early-fusion at position 1 and 2

圖17 中期融合位置1和位置2訓(xùn)練準(zhǔn)確率和損失Fig.17 Training accuracy and loss of mid-fusion at position 1 and 2

對(duì)網(wǎng)絡(luò)性能有較明顯效果的晚期融合進(jìn)行進(jìn)一步的數(shù)據(jù)分析，實(shí)驗(yàn)結(jié)果如表3和表4所示。

表3 MSRM 實(shí)驗(yàn)具體結(jié)果Tab.3 Specific results of MSRM experiment

表4 MSRM 實(shí)驗(yàn)結(jié)果Tab.4 Results of MSRM experiment

對(duì)表3和表4中的數(shù)據(jù)進(jìn)行分析，在具體分類上，MSRM模塊對(duì)黃色垃圾桶和未知顏色垃圾桶識(shí)別的準(zhǔn)確率有較明顯的提升，LF-1和LF-2對(duì)于未知顏色垃圾桶的查全率分別提升了12.41%和0.38%；對(duì)黃色垃圾桶的查全率分別提升了13.94%和5.67%，但是對(duì)綠色、灰色和紅色垃圾桶的識(shí)別的準(zhǔn)確率均有不同程度的降低。從整體的實(shí)驗(yàn)結(jié)果來(lái)看，LF-1的加權(quán)查全率、加權(quán)查準(zhǔn)率和加權(quán)F1值較Resnet18分別提升了7.17%、7.58%和7.36%，LF-2較Resnet18分別提升了6.47%、5.98%和6.22%。

但是，隨著MSRM模塊加入的位置越深，Resnet18加入節(jié)點(diǎn)的特征圖通道數(shù)也隨之增加，從而導(dǎo)致模型變大和檢測(cè)速度降低。相比Resnet18，LF-1和LF-2的模型大小分別增加了18.92%和75.25%，檢測(cè)速度也有所下降。

綜上所述，實(shí)驗(yàn)結(jié)果表明，MSRM模塊以晚期融合的方式加入網(wǎng)絡(luò)的末端對(duì)網(wǎng)絡(luò)性能有所提升，同時(shí)綜合各種因素，本研究選擇晚期融合在LF-1位置將MSRM模型加入網(wǎng)絡(luò)中。

4.4.3 消融實(shí)驗(yàn)

結(jié)合實(shí)驗(yàn)“4.4.1”和“4.4.2”，本文改進(jìn)后的Resne18網(wǎng)絡(luò)如圖18所示。

圖18 改進(jìn)的Resnet18Fig.18 Improved Resnet18

對(duì)其進(jìn)行消融實(shí)驗(yàn)以驗(yàn)證其效果，實(shí)驗(yàn)結(jié)果如表5和表6所示。

表5 消融實(shí)驗(yàn)具體結(jié)果Tab.5 Specific results of ablation experiment

表6 消融實(shí)驗(yàn)結(jié)果Tab.6 Results of ablation experiment

研究人員通過(guò)消融實(shí)驗(yàn)結(jié)果，發(fā)現(xiàn)Pre-SE和LF1-MSRM都能提升網(wǎng)絡(luò)的性能，Pre-SE對(duì)網(wǎng)絡(luò)整體性能都有所提升，LF1-MSRM的部分性能較Resnet18有所下滑，例如對(duì)紅色垃圾桶查準(zhǔn)率下滑7.05%，對(duì)灰色垃圾桶查準(zhǔn)率下降1.3%，但對(duì)于未知顏色和黃色垃圾桶的查準(zhǔn)率有較大幅度的提升。將上述兩種模塊疊加使用后，使網(wǎng)絡(luò)性能有了較大的提升，尤其是對(duì)于未知顏色的垃圾桶，較單獨(dú)的Pre-SE和LF1-MSRM查準(zhǔn)率分別提升了9.66%和5.12%，但這是以犧牲一定的對(duì)其他顏色的檢測(cè)性能為代價(jià)的，例如針對(duì)紅色垃圾桶的查準(zhǔn)率，改進(jìn)后的Resnet18較單獨(dú)使用Pre-SE改進(jìn)的網(wǎng)絡(luò)下降了3.75%。但從總體來(lái)看，改進(jìn)后的Resnet18的性能是得到提升的，加權(quán)查全率、加權(quán)查準(zhǔn)率和加權(quán)F1值較單獨(dú)使用Pre-SE改進(jìn)的網(wǎng)絡(luò)分別提升了1.12%、0.88%和1%，較單獨(dú)使用LF1-MSRM改進(jìn)的網(wǎng)絡(luò)分別提升了3.37%、2.4%和2.9%。

因此，改進(jìn)后的網(wǎng)絡(luò)的檢測(cè)性能更加均衡，在犧牲少量速度的前提下，較未改進(jìn)的Resnet18性能有了較大幅度的提升。

4.4.4 對(duì)比實(shí)驗(yàn)

將改進(jìn)后的Resnet18與其他網(wǎng)絡(luò)對(duì)比，得到結(jié)果如表7和表8所示。

表7 對(duì)比實(shí)驗(yàn)具體結(jié)果Tab.7 Comparison of specific experiment results

表8 對(duì)比實(shí)驗(yàn)結(jié)果Tab.8 Comparison of experiment results

從以上研究結(jié)果中可以看到，Resnet系列隨著網(wǎng)絡(luò)深度的加深，性能并沒有得到較好的提升，檢測(cè)速度降低明顯。改進(jìn)后的Resnet18的檢測(cè)速度略低于Resnet34，但網(wǎng)絡(luò)性能遠(yuǎn)超同類網(wǎng)絡(luò)。

5 結(jié)論(Conclusion)

本文主要對(duì)Resnet18在垃圾分類收運(yùn)和監(jiān)管方面的應(yīng)用展開了研究，并針對(duì)本文建立的垃圾桶數(shù)據(jù)集的特點(diǎn)，對(duì)Resnet18進(jìn)行改進(jìn)。通過(guò)上述實(shí)驗(yàn)，得了如下結(jié)論。

(1)在網(wǎng)絡(luò)中加入SE-Net通道注意力機(jī)制能在幾乎不影響檢測(cè)速度的前提下提升模型性能，通道注意力機(jī)制提升了模型對(duì)通道的敏感性，提高了模型的特征提取能力。其中，將SE-Net加入Resnet殘差結(jié)構(gòu)的始端相比與加入末端和殘差連接處具有更好效果。

(2)本文提出了一種多尺度感受野融合的殘差模塊，在垃圾桶數(shù)據(jù)集上有較為突出的表現(xiàn)，尤其是能夠大幅度提升對(duì)未知顏色垃圾桶識(shí)別的準(zhǔn)確率。同時(shí)，上述模塊若加入在Resnet18的不同位置，則對(duì)模型性能有不同的影響，早期融合會(huì)導(dǎo)致模型性能惡化，使得訓(xùn)練過(guò)程難以收斂，晚期融合雖然在一定程度上降低了網(wǎng)絡(luò)的檢測(cè)速度，但是能夠有效提升網(wǎng)絡(luò)的性能。

(3)使用上述兩種模塊同時(shí)對(duì)Resnet18進(jìn)行改進(jìn)，通過(guò)消融實(shí)驗(yàn)表明，同時(shí)加入兩種模塊能夠使網(wǎng)絡(luò)性能更加均衡，并能有效提升網(wǎng)絡(luò)對(duì)垃圾桶分類的正確率。

圖像識(shí)別方法與深度學(xué)習(xí)應(yīng)用于垃圾收運(yùn)管理有著很大的研究空間和應(yīng)用前景。下一步的研究方向是如何將目標(biāo)檢測(cè)網(wǎng)絡(luò)和分類網(wǎng)絡(luò)結(jié)合，或是集中嵌入智慧城市管理系統(tǒng)中或嵌入垃圾清運(yùn)車車載設(shè)備上，從而實(shí)現(xiàn)對(duì)垃圾分類清運(yùn)的實(shí)時(shí)監(jiān)管和反饋，最終提高垃圾分類效果，實(shí)現(xiàn)更有效的資源再利用。