基于深度學(xué)習(xí)的城市固體廢物材質(zhì)識別方法

林柏宏 楊建紅

（華僑大學(xué)，福建 廈門 361021）

為了實現(xiàn)對可回收垃圾的進一步分選，Chung等[1]基于物聯(lián)網(wǎng)方法，將LoRaWAN通信網(wǎng)絡(luò)與垃圾分選設(shè)備相結(jié)合，設(shè)計了提供垃圾桶操作、環(huán)境監(jiān)測與人機交互界面為一體的垃圾分選系統(tǒng)。系統(tǒng)采用靜電電容式接近傳感器，通過測量不同垃圾的介電常數(shù)，對可回收材料（金屬、鋁箔和紙張等）做進一步的篩分。基于物聯(lián)網(wǎng)方法構(gòu)建的垃圾分選系統(tǒng)具有較高的自動化、精細化程度與精度，但系統(tǒng)成本高、結(jié)構(gòu)復(fù)雜，安裝與維護困難[2-3]。人工智能分選方法利用采集的圖像數(shù)據(jù)集所訓(xùn)練的預(yù)測模型，可以準(zhǔn)確、高效地識別圖像中的特征，并對圖像進行分類[4-7]。此類算法只能對圖像中的單個目標(biāo)物體進行分類，為了實現(xiàn)圖像中多目標(biāo)分類任務(wù)，Nie等[8]利用目標(biāo)檢測算法Faster R-CNN完成對圖像的特征提取、分類，并對每個目標(biāo)物體進行定位，在垃圾檢測分類任務(wù)中取得89.68%的準(zhǔn)確率。由于Faster R-CNN為雙階段網(wǎng)絡(luò)，需要先進行候選區(qū)域提取，然后細化分類，此類算法可以獲得較高的識別準(zhǔn)確率，但檢測效率較低。

為了提高目標(biāo)檢測算法識別效率，滿足實時檢測的要求，單階段目標(biāo)檢測網(wǎng)絡(luò)被更多地應(yīng)用于垃圾識別檢測領(lǐng)域。YOLO(You Only Look Once)[9]算法相較于雙階段算法，省去了窮舉候選框這一步驟，檢測速度有效提升，YOLO系列的V4版本在檢測精度和檢測速度方面均優(yōu)于其他單階段目標(biāo)檢測算法[10]。Chen等[11]在YOLO V4骨干網(wǎng)絡(luò)中增加空間注意模塊和通道注意模塊，在Neck網(wǎng)絡(luò)中使用Rescurive-FPN替換PANNet，減少骨干網(wǎng)絡(luò)中的參數(shù)和浮點數(shù)運算量，同時可以保留圖像上的特征信息。此項研究對15種垃圾類別做識別分類，準(zhǔn)確率為64%，F(xiàn)PS為92 f/s。李德鑫等[12]針對垃圾檢測無人機影像中小目標(biāo)檢測精度低的問題，對YOLO V5數(shù)據(jù)增強預(yù)處理進行優(yōu)化，并改進了SPP模塊以及損失函數(shù)。研究在3種河道漂浮垃圾分類任務(wù)中，取得67.36%的mAP(mean Average Precision)。上述研究表明基于機器學(xué)習(xí)的人工智能分選方法可以快速地完成垃圾種類識別，并得到較高的識別準(zhǔn)確率。但垃圾分類系統(tǒng)所用模型均在理想工況下進行測試，背景和垃圾表面較為干凈，未對模型在實際垃圾分揀工況作相應(yīng)的驗證。采用的目標(biāo)檢測算法只能獲取垃圾最小矩形包圍框，在一些需要垃圾外輪廓分揀場景上無法得到有效應(yīng)用。

基于生活垃圾回收廠實際人工分揀工況，考慮垃圾外輪廓信息的獲取，將實例分割網(wǎng)絡(luò)應(yīng)用于垃圾精細化分類。考慮到時空變換后的生活垃圾工況發(fā)生較大改變，導(dǎo)致模型對生活垃圾的回收率與純度進一步下降等問題，引入語義分割網(wǎng)絡(luò)作為輔助，篩選出實例分割網(wǎng)絡(luò)模型識別任務(wù)中的難例樣本，將難例樣本用于更新實例分割模型。增強模型對不同工況物料識別效果，提高模型的泛化能力。

1 數(shù)據(jù)及試驗方法

試驗數(shù)據(jù)為生活垃圾分類回收處理廠中，人工分揀工位上由線陣相機采集、拼接所得到分辨率為1 200像素×1 200像素的圖片。為了驗證模型在不同時空變換下的泛化能力，試驗分兩次進行樣本采集，兩次樣本采集時間間隔為3個月，與第一批數(shù)據(jù)相比，第二批樣本光源反光材料存在部分氧化，導(dǎo)致整體色彩有較大變化，每個季度產(chǎn)生垃圾種類、數(shù)量等也存在差異。第一次共采集樣本3 000張，使用labelme軟件標(biāo)注每張圖像中每個物體的類別，以8 : 2比例劃分為訓(xùn)練集和測試集1[13]。第二次采集樣本7 100張，其中600張標(biāo)注為測試集2，剩余6 500張樣本作為挑選集樣本不做標(biāo)注。不同數(shù)據(jù)集中包含類別以及類別的數(shù)量，其余類為無回收價值垃圾，其余類在數(shù)量上多于其他類樣本，其他九類根據(jù)可回收物的材料、顏色進行劃分，每個數(shù)據(jù)集中的類別比例相對較穩(wěn)定。垃圾分類回收方面不同類別回收價值不同，導(dǎo)致模型精確率（p）與召回率（r）側(cè)重要求不同，采用工程上垃圾分類回收指標(biāo)，回收率Y（每個類別精確率的平均值）、純度P（每個類別召回率的平均值）評價模型性能。在神經(jīng)網(wǎng)絡(luò)多分類問題中，分類結(jié)果一般有4種情況，假設(shè)C類為正樣本，其余類別為負樣本，則情況1屬于C類的樣本被正確分類到C類，這類樣本數(shù)記為TP；情況2不屬于C類的樣本（可能為A也可能是B）被錯誤分類到C類，這一類樣本數(shù)記為FP。情況3屬于C類的樣本被錯誤分類到其他非C類，記該類樣本數(shù)為FN；情況4不屬于C類的樣本（如類A）被正確分類到非C類（類A），記該類樣本數(shù)為TN。

每個類別的精確率與召回率：

回收率、純度定義如下：

式中：N——可回收物類別數(shù)。

不同數(shù)據(jù)集中每個類別樣本數(shù)量如表1所示。

表1 不同數(shù)據(jù)集中每個類別樣本數(shù)量 單位：個

2 試驗及結(jié)果分析

基于Facebook AI Research的Detectron2[14]平臺以及可實現(xiàn)多種實例級檢測與識別任務(wù)的開源工具箱AdelaiDet[15]，完成不同基本實例分割網(wǎng)絡(luò)的快速配置，以驗證訓(xùn)練策略在不同網(wǎng)絡(luò)上的泛化性。試驗主機配置為：Intel(R) Core(TM) i9-10980XE CPU 3.00GHz，NVIDIA GeForce RTX 3090。訓(xùn)練策略泛化性能驗證的實例分割網(wǎng)絡(luò)包括BlendMask[16]、MEInst[17]、CondInst[18]、Mask R-CNN[19]、Cascade R-CNN[20]，語義分割輔助網(wǎng)絡(luò)為PSPNet[21]。

2.1 初代模型

難例樣本挑選實例過程如圖1所示。

圖1 難例樣本挑選實例過程

使用預(yù)訓(xùn)練模型可以為初代模型提供更好的初始化參數(shù)，在目標(biāo)任務(wù)上具備更好的泛化性能與收斂速度。將初代模型定義為各實例分割網(wǎng)絡(luò)在訓(xùn)練集1訓(xùn)練所得模型，各實例分割網(wǎng)絡(luò)初代模型的預(yù)訓(xùn)練權(quán)重源于Detectron2 和AdelaiDet 平臺Model Zoo，由COCO數(shù)據(jù)集訓(xùn)練所得到的模型，主干網(wǎng)絡(luò)為ResNet-50。訓(xùn)練周期為24個周期。由于在單GPU上以原圖大小輸入，在預(yù)訓(xùn)練權(quán)重上繼續(xù)訓(xùn)練，更改Batch Size為4，學(xué)習(xí)率為0.001，其余為Model Zoo配置文件默認設(shè)置。基于配置參數(shù)，構(gòu)建實例分割以及語義分割初代模型。提出利用語義分割網(wǎng)絡(luò)作為輔助網(wǎng)絡(luò)，挑選出實例分割網(wǎng)絡(luò)中的難例樣本。利用初代模型對挑選集中無標(biāo)注樣本進行難例樣本篩選，將難例樣本作為模型更新的訓(xùn)練樣本，即訓(xùn)練集2，神經(jīng)網(wǎng)絡(luò)模型更新策略流程如圖2所示。基于所選難例樣本，提出神經(jīng)網(wǎng)絡(luò)模型更新方法，包括基于初代模型訓(xùn)練，以各初代模型為預(yù)訓(xùn)練權(quán)重，難例樣本為訓(xùn)練集2；基于COCO模型訓(xùn)練，以COCO數(shù)據(jù)集模型為預(yù)訓(xùn)練權(quán)重，難例樣本加入訓(xùn)練集1中共同作為訓(xùn)練集2。

圖2 神經(jīng)網(wǎng)絡(luò)模型更新策略流程

由于神經(jīng)網(wǎng)絡(luò)模型對部分物體有兩個或兩個以上識別結(jié)果，將導(dǎo)致回收率與純度計算偏差，因此對識別結(jié)果進行兩類處理，包括基于得分取值，取目標(biāo)物體多個預(yù)測框中得分最高的一個作為該物體預(yù)測結(jié)果；基于FP樣本取值，若目標(biāo)物體有多個識別結(jié)果，則去掉重復(fù)框，并將目標(biāo)物體視為如第2節(jié)中所述的第二類樣本。

為了判別物體是否存在重復(fù)識別，對圖像中所有預(yù)測框兩兩之間設(shè)置IOU閾值判斷：

式中：Pb1和Pb2——分別為預(yù)測框1和預(yù)測框2；Area（Pb1∩Pb2）和Area（Pb1∪Pb2）——分別為兩個預(yù)測框的交集和并集。

如果IOU＞0.5，則預(yù)測框1和預(yù)測框2為同一目標(biāo)物體的重復(fù)識別結(jié)果。

各初代模型在測試集1中分別以兩種后處理方式測試所得回收率與純度。對包含重復(fù)預(yù)測框的物體而言，以基于得分取值方式處理在回收率指標(biāo)上有明顯提升，但在純度指標(biāo)上均有一定程度降低。結(jié)果表明，對于帶多個預(yù)測框的物體，得分較高且預(yù)測結(jié)果為真實標(biāo)簽的預(yù)測框占多數(shù)，但也存在一部分得分高但識別錯誤的預(yù)測框。初代模型在測試集1上回收率與純度如表2所示。

表2 初代模型在測試集1上回收率與純度 單位：%

隨著時空變換，光源色度、強度總會與初始狀態(tài)有部分差異，生活垃圾的種類、環(huán)境等因素的變化也會增大兩批測試集樣本的差異。使得初代模型對測試集2中的樣本所處場景認知能力較弱，樣本預(yù)測難度增加，導(dǎo)致回收率與純度降低，初代模型在測試集2上回收率與純度如表3所示。

表3 初代模型在測試集2上回收率與純度 單位：%

2.2 模型更新策略

針對模型在不同時空、不同場景回收率與純度大幅下降問題，為了增加初代模型泛化能力，減少回收率與純度下降幅度，需要制作新工況下的樣本，更新原模型以提高在新工況下的識別準(zhǔn)確性。根據(jù)語義分割模型作標(biāo)簽相對較完整的特點，實例分割模型中對低于置信度閾值的個體樣本作篩選，所選樣本即為實例分割模型中的難例樣本。基于所選難例樣本提出基于初代模型與基于COCO模型更新方法。將選出的難例樣本作為實例分割模型更新的訓(xùn)練樣本，實現(xiàn)以較小的標(biāo)注代價完成較好的模型更新效果。

各基本模型從挑選集中篩選出難例樣本數(shù)，為保證各基本模型更新使用的訓(xùn)練集樣本數(shù)相同，以Cascade R-CNN挑選出難例樣本數(shù)287為上限。基本模型在挑選集上選出難例樣本數(shù)如表4所示

表4 基本模型在挑選集上選出難例樣本數(shù) 單位：張

在Cascade R-CNN網(wǎng)絡(luò)上應(yīng)用兩種模型更新方法訓(xùn)練，為了進一步探究訓(xùn)練集樣本數(shù)量對模型更新效果的影響，分別取100張難例樣本與287張難例樣本作為訓(xùn)練集2。基于初代模型訓(xùn)練的方法因訓(xùn)練時訓(xùn)練集數(shù)量較少，對每隔30周期所得模型進行保存，并在測試集2中進行回收率與純度測試，基于初代模型訓(xùn)練方法在測試集2上回收率與純度如表5所示。與初代模型在測試集1中的結(jié)果相比，100張與287張訓(xùn)練集樣本，在回收率方面均得到較大提升，純度明顯下降，說明基于初代模型在學(xué)習(xí)新樣本特征時，對預(yù)訓(xùn)練模型中的權(quán)重系數(shù)進行了局部調(diào)整，這種調(diào)整是以犧牲純度為代價取得回收率的提升。對30～240個訓(xùn)練周期所得模型測試結(jié)果進行分析，因為訓(xùn)練樣本數(shù)較少，所得模型穩(wěn)定性不高，回收率與純度仍有一定波動。

表5 基于初代模型訓(xùn)練方法在測試集2上回收率與純度 單位：%

基于COCO模型訓(xùn)練配置與2.1中初代模型訓(xùn)練配置相同，該方法將難例樣本加入初代模型所用訓(xùn)練集1中共同訓(xùn)練，訓(xùn)練集樣本相對較多，訓(xùn)練周期設(shè)為24，所得模型記為二代模型，在測試集2中進行測試。與初代模型相比，二代模型在測試集2中的測試結(jié)果，回收率與純度均得到較大提升，基于COCO 模型在測試集2 上回收率與純度如表6所示。

表6 基于COCO模型在測試集2上回收率與純度 單位：%

與基于初代模型訓(xùn)練的方法在測試集2上所得結(jié)果相比，基于COCO模型訓(xùn)練在測試集2中測試所得回收率與純度指標(biāo)相對較好。說明難例樣本加入訓(xùn)練集1對模型進行更新，有助于神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)更多樣的特征分布，有效提升了整體特征識別能力。兩種更新方法使用更少的難例樣本數(shù)均獲得了更好的模型效果，難例樣本數(shù)量級適宜偏小，加入過多的難例樣本會使得模型對該樣本特征過于“重視”，對整體特征學(xué)習(xí)將產(chǎn)生不利影響。

對多種不同實例分割網(wǎng)絡(luò)加入100張各自所挑選難例樣本，使用基于COCO模型作為模型更新方式，在測試集2中測試以驗證該模型更新方法的泛化性。基于COCO模型網(wǎng)絡(luò)模型在測試集2上回收率與純度如表7所示，在MEInst網(wǎng)絡(luò)模型方面，回收率有較大提升，犧牲了相應(yīng)幅度的純度指標(biāo)，該網(wǎng)絡(luò)更適合應(yīng)用于側(cè)重回收率指標(biāo)的場景。其余網(wǎng)絡(luò)模型更新后回收率與純度均得到較大提升，基于COCO模型的模型更新方法泛用性較好。對模型識別結(jié)果使用兩種后處理方式，可以進一步提升單項指標(biāo)，能夠針對不同需求進行選擇。

表7 基于COCO模型網(wǎng)絡(luò)模型在測試集2上回收率與純度 單位：%

使用難例樣本對神經(jīng)網(wǎng)絡(luò)模型更新時，基于初代模型更新方法，僅對新工況下的難例樣本進行更新模型，容易使模型陷入某些局部特征的收斂狀態(tài)，導(dǎo)致某個指標(biāo)上升而犧牲了其他指標(biāo)。基于COCO模型更新方法，將少部分難例樣本加入初始訓(xùn)練集中，重新訓(xùn)練模型，可以有效提升模型對整體特征的學(xué)習(xí)程度以及對新場景分布的適應(yīng)性，能夠有效提高對新工況的識別泛化能力。

3 結(jié)語

文章試驗了最先進的實例分割網(wǎng)絡(luò)模型，驗證了模型更新方法在垃圾檢測分類任務(wù)中的適用性，基于神經(jīng)網(wǎng)絡(luò)識別的難例樣本以及對模型在不同工況下的分類任務(wù)，提出了模型更新方法提高模型的泛化性。結(jié)果表明：基于Detectron2和AdelaiDet平臺，測試不同實例分割模型在垃圾分類任務(wù)中的回收率與純度后，表明實例分割網(wǎng)絡(luò)進行垃圾分類具有可行性；針對預(yù)測框存在對同一目標(biāo)物體重復(fù)識別的情況，根據(jù)工程上對回收率與純度側(cè)重要求，提出兩種后處理方法，結(jié)果顯示基于得分取值方法回收率較高，基于FP樣本取值方法純度提升明顯；通過語義分割網(wǎng)絡(luò)對實例分割網(wǎng)絡(luò)中的難例樣本進行挑選，基于所選難例樣本，采用不同模型更新方法對實例分割網(wǎng)絡(luò)模型進行更新，測試新模型在垃圾分類任務(wù)的表現(xiàn)。基于COCO模型更新方法，以COCO數(shù)據(jù)集模型作為預(yù)訓(xùn)練權(quán)重，將難例樣本加入初代模型的訓(xùn)練集，訓(xùn)練的模型對新工況下特征識別能力較強、泛化性能更佳。對多種實例分割網(wǎng)絡(luò)模型更新后，MEInst網(wǎng)絡(luò)使用兩種后處理所得純度分別下降4.03%和4.73%，回收率上升3.87%和3.48%。MEInst網(wǎng)絡(luò)適用于注重回收率指標(biāo)的場景；基于得分取值后處理方法，Mask R-CNN、Cascade R-CNN、BlendMask、CondInst 回收率分別提升1.86%、4.02%、3.48%、2.45%，純度分別提升1.99%、2.23%、1.69%、2.37%；基于FP樣本取值后處理方法，Mask R-CNN、Cascade R-CNN、BlendMask、CondInst 回收率分別提升2.55%、4.06%、3.23%、1.47%，純度分別提升0.60%、2.37%、2.39%、2.41%。