基于圖像深度學習的垃圾熱值預測研究

謝昊源，黃群星，林曉青，李曉東，嚴建華

（浙江大學工程師學院，浙江大學熱能工程研究所，浙江杭州310027）

引 言

垃圾處理已然成為國家環境保護、經濟發展的重點問題。垃圾熱值檢測是垃圾處理中的重要環節，這是因為垃圾熱值的波動性會對爐內垃圾的穩定燃燒造成影響，燃燒狀態關系著爐內壓力、溫度、氧量和風機風壓等多項參數[1]。當爐內出現不充分燃燒時，不僅會對運行效率和機組壽命產生影響，還會產生更多有害氣體污染環境。對垃圾熱值進行預測能夠使操作人員提前掌握熱值的波動范圍和時間，能使他們及時調整輔助用料量、一次風量和二次風量等參數來維持爐內垃圾的穩定燃燒，減小垃圾熱值波動對運行效率與機組壽命的影響。

由于垃圾形態各異且所處背景干擾信息較多，圖像中的垃圾特征較難被提取并識別，但利用卷積神經網絡中的Canny算子能夠有效將垃圾從復雜背景中分離并識別[2]。另外，現有研究在垃圾圖像識別中加入了多目標姿勢評估框架MOPED，加強了對同種垃圾不同形態的識別，并利用Mean-shift目標跟蹤模型加強對垃圾的特征點跟蹤并提取出垃圾的完整輪廓，從而增加識別準確率[3]。因此，對于利用垃圾圖像進行垃圾熱值預測研究來說，減少垃圾圖像中的干擾信息并提取出垃圾有效特征能夠提升垃圾識別時的準確性和可靠性。

我國針對垃圾的熱值檢測主要采用儀器檢測方法，該類方法存在一定滯后性和隨機性。針對以上缺陷，相關研究提出利用灰色關聯度預測生活垃圾熱值的影響，并利用BP(back propagation)神經網絡或是遺傳算法(genetic algorithm)對神經網絡的權值和閾值進行優化，從而建立垃圾熱值預測模型[4]。為了實現垃圾圖像實時檢測，相關研究嘗試使用Yolo系列模型對垃圾檢測過程進行建模，實現了較高的檢測精度和檢測速度[5]。另外，針對在圖像中垃圾遮擋、重疊等問題，常采用局部特征描述方法包 括SIFT(scale-invariant feature transform)、SURF(speeded up robust features)[6]。

目前實現熱值的實時智能預測存在一些困難。首先，垃圾熱值預測模型大多是國外學者提出，由于國內外的垃圾組成成分不同，因此這些模型的適用性較低。其次，由于目前我國缺少有效的儲存入爐垃圾圖像的數據庫，在使用入爐垃圾圖像訓練深度學習網絡時存在一定困難。另外，現有的熱值預測方法依賴歷史時序數據，存在一定的滯后性和精度不足。最后，在利用深度學習模型識別垃圾種類時，垃圾的重疊、遮擋、消融以及變形都會影響圖像的識別精度。

本文首先探討了我國生活垃圾的處置現狀、垃圾物理特性及常用的垃圾熱值檢測方法，其次探討了國內外智能識別垃圾圖像的進展與不足，并提出基于圖像深度學習的垃圾熱值預測方法，最后展望了深度學習在圖像識別領域的應用情況以及垃圾熱值智能預測的發展前景。另外，本文利用高清工業相機采集入爐垃圾圖像，建立符合我國垃圾組分結構的入爐垃圾圖像數據庫，并對數據庫中的圖像采用數據增強處理，在一定程度上能夠減少垃圾堆疊和遮擋對圖像識別精度的影響，最后通過Yolov5模型對圖像中的垃圾類別進行快速識別，并對輸出垃圾類別結果進行熱值預測。

1 生活垃圾的產生量及特性

隨著城鎮人口的逐年增加，人們生活習慣的改變導致部分地區出現“垃圾圍城”的現象。如圖1所示，《2019年全國大、中城市固體廢物污染環境防治年報》中提到，2019年全國生活垃圾生產量約3.43億噸[7]。城市生活垃圾產量的逐年增大，不僅給城市發展帶來阻力，更是十分影響生態環境。因此，2020年由國務院發布的《關于全面加強生態環境保護堅決打好污染防治攻堅戰的意見》中要求實現所有城市和縣城生活垃圾處理能力全覆蓋，一方面推進垃圾資源化利用，另一方面大力發展垃圾焚燒發電產業[8]。

圖1 2015—2020年中國城市生活垃圾產生量及同比增長率Fig.1 Municipal solid waste generation and year-on-year growth rate of China in 2015—2020

我國垃圾組分復雜多變，垃圾熱值波動范圍大、各組分燃燒時間不統一，十分影響爐內垃圾穩定燃燒。另外，我國入爐垃圾組成結構與國外有較大差別，現有的熱值預測模型不能針對性地解決我國垃圾熱值波動問題[9]。因此，通過圖像深度學習技術對我國當前垃圾熱值進行智能預測，有助于垃圾電廠各項參數的“超前調控”，對實現垃圾穩定燃燒具有重要意義。

2 生活垃圾物理特性及熱值測量

如表1所示，《生活垃圾分類標志》[10]將垃圾焚燒電廠處理的生活垃圾按物理組成成分分為11類，分別為塑料類、橡膠類、木竹類、紡織物、紙類、土磚類、廚余類、金屬類、玻璃類、其他類、混合類。但由于金屬、玻璃和土磚等廢棄物難燃、熱值低，因此通常將它們的熱值估算為零。

表1 生活垃圾物理成分組成Table 1 Composition of physical composition of domestic garbage

我國生活垃圾的組分特點為易腐有機質多、含水量較高及熱值較低。垃圾的發熱量主要受垃圾的水分（W）、灰分（A）和可燃分（R）的影響，因此可依據可燃區的界限值：W≤50%、A≤60%、R≥25%，來判斷生活垃圾是否可燃[11]。如表2，為保證爐內穩定燃燒，當生活垃圾的低位熱值在3350～4200 kJ/kg，可以不加或少加輔助燃料燃燒。當生活垃圾低位熱值在4200～5000 kJ/kg時，需要一次、二次風預熱至200～250℃。當生活垃圾低位熱值在5650～8500 kJ/kg時，需要一次風預熱至100～200℃。當生活垃圾低位熱值在8500 kJ/kg以上時，一次風常溫即可穩定燃燒。

表2 生活垃圾焚燒與熱值的關系Table 2 The relationship between domestic waste incineration and calorific value

垃圾的熱值是決定垃圾能否采取熱處理的一個重要因素，同時也是確定熱處理過程中輔助燃料用量的重要因素。我國垃圾種類繁多、水分含量高，一方面可以通過垃圾分類將含水量高的垃圾分離處理[12]，另一方面可以將高水分垃圾進行高溫干燥預處理，同樣能夠提高垃圾熱值[13]。另外，相關研究認為垃圾的組分結構對垃圾熱值的影響程度大于垃圾的含水率[14]，Bonifazi等[15]針對四個城鎮的垃圾焚燒爐進行試驗，通過改變入口垃圾的組分結構來提高垃圾燃燒熱值，其同樣認為垃圾的組分結構對垃圾熱值有較大影響。除此之外，相比于發達國家以塑料包裝為主的生活垃圾結構，我國主要以廚余垃圾為生活垃圾的主要組分，其高含水率使得我國垃圾熱值偏低[16]。

目前垃圾熱值測量方法主要有三種方法，分別是儀器測試（氧彈量熱法）、估值法（以塑膠、動植物性有機物含量計算）、公式法（Dulong/Scheurer-Kestner等）[17]。其中，垃圾物理組成成分、垃圾元素含量分析法、工業特性分析是常用的垃圾熱值檢測方法，并形成了相應的經驗公式與預測模型[18]。由于垃圾物理組成成分不需要實驗室分析儀器且認為垃圾中的塑料、紙張、廚余垃圾對熱值影響較大，因此垃圾物理組成成分法應用更加普遍，表3為三種垃圾熱值計算方法經驗公式。

然而我國垃圾的組成成分十分復雜，大量不可燃成分摻雜其中，傳統的經驗公式與估算法既不能精確測量垃圾熱值，更無法預測垃圾熱值。目前，相關研究首先建立基于神經網絡的生活垃圾熱值計算模型，該模型通過擬合垃圾熱值的歷史數據，避免垃圾中的不可燃成分影響熱值計算結果[22]，并利用灰色關聯度和BP神經網絡對熱值進行預測模擬，后續又進一步通過遺傳算法對神經網絡的權值和閾值進行優化，完善了入爐垃圾的熱值預測模型[23]。但由于我國垃圾成分中的含水量變化范圍大，垃圾熱值也會產生大幅度波動，使用基于歷史數據特征建立的熱值預測模型難免會因為時序問題產生較大誤差[24],而基于深度學習的實時圖像識別方法并不依賴于歷史時序信息，具有更強的泛化性。同時，該方法可以對當前檢測窗口下的垃圾熱值波動做出實時反應，從而為實現機組各項參數“超前調控”提供條件。

表3 三種垃圾熱值計算方法經驗公式Table 3 Three empirical formulasfor calculating the calorific value of garbage

3 國內外智能識別垃圾圖像的進展與不足

生活垃圾圖像中存在較多與垃圾特征無關的背景信息，這增加了垃圾的識別難度?，F有研究通過使用支持向量機（SVM）和殘差網絡進行垃圾識別測試，能夠對垃圾圖像進行一定的分類處理，但因垃圾圖像數據集較小和圖像自身較多的干擾信息而產生較大誤差[25]。隨后，深度卷積神經網絡的加入，通過卷積核較快提取出垃圾圖像中的特征信息，不僅增加了垃圾圖像的處理速度，還增加了垃圾分類識別的準確性[26]。在卷積神經網絡的基礎上，出現了網絡結構更復雜的Yolov2-dense，其不僅能夠快速處理垃圾圖像，還能在垃圾識別的過程對垃圾進行定位，在保證垃圾識別準確率的同時能夠對垃圾進行正確的分類放置[27]。

在對垃圾圖像進行識別的過程中，圖像中垃圾間遮擋和重疊十分影響圖像識別精度，常用局部特征描述方法解決該類問題，具體包括SIFT（scaleinvariant feature transform）、SURF（speeded up robust features）[28]?，F有研究提出了一種基于回歸的Yolo模型，其能夠通過提取被遮擋圖像中的局部特征來降低垃圾間遮擋所帶來的識別誤差，并進一步改進模型結構提出Yolov2模型，增加了垃圾圖像的識別速度。另一方面，將Yolo模型應用在電廠發電負荷圖像分析中，其檢測速度和準確性都能在一定程度上滿足電廠要求[29-30]。

近年來深度學習與圖像識別技術逐步開始進行著有效融合，這在一定程度上能使圖像識別技術更加智能和高效，但融合了深度學習后的圖像識別技術在圖像采集、算法模型和結果分析等方面仍然存在一些的問題。在垃圾圖像的采集過程中，首先工業相機容易受到霧氣、蚊蟲、光照等外界因素影響。其次，由于我國垃圾組分復雜多變，所需識別的種類繁多，且經過垃圾廠堆料區發酵后部分垃圾辨識度不高，增加了垃圾圖像識別的難度。最后，垃圾在運送過程中所產生的堆疊、遮擋問題同樣也給垃圾圖像識別造成一定的困難。在算法模型方面，目前大多熱值預測采用神經網絡或遺傳算法搭建模型，對基于圖像識別的垃圾熱值預測理論研究較少。另外，相較于常用的圖像檢測模型，圖像深度學習能夠為垃圾熱值實時預測提供更高的圖像處理速度和更精準的圖像識別精度。在輸出結果分析方面，由于本文模型采用識別矩形框(bounding box)面積占比代替實際不規則形狀垃圾面積，從而產生一定范圍內的誤差，對熱值的預測精度也會產生一定影響。

4 基于圖像深度學習的垃圾熱值預測方法概述

本文通過高清工業相機對入爐垃圾圖像的實時采集與分類標記建立圖像數據庫，并耦合圖像縮放、色彩空間調整和mosaic數據增強等圖像數據處理方法及神經網絡訓練，提出建立基于Yolov5的垃圾熱值實時預測模型的設想。通過該模型進行熱值預測后，可以對垃圾焚燒發電廠的垃圾履帶速度、一次風量和二次風量等參數進行提前調控。

如圖2通過工業高清相機每隔5 s采集一張入爐垃圾圖像，采集到一定數量后，對圖像數據進行標注，形成垃圾圖像數據集。接著，在數據庫中隨機抽取一部分數據作為測試數據集，用于評估模型精度。對于所有訓練集數據，在進行數據增強后輸入帶有預訓練權重的Yolov5模型中進行微調，最終形成所需的神經網絡權值。

另外，將測試集數據輸入到已訓練好的網絡進行測試，輸出Yolov5能夠識別的各類垃圾的框標。接著通過計算每種垃圾框標的面積占比來確認最終該類垃圾占總垃圾的比例，同時又得到該類垃圾的識別框總面積值，熱值的計算方式為垃圾占比比例、垃圾種類的面積、垃圾密度、各類垃圾平均熱值的乘積，得到該圖像垃圾的預測熱值。由于缺乏所采集到的入爐垃圾圖片中對應的標準熱值，因此，需要搭建小型實驗平臺，對圖像中的垃圾樣品進行氧彈量熱分析，測試出其標準熱值后，與預測垃圾熱值進行數據擬合，得到相應誤差系數，用于后續對預測熱值的校正。

4.1 建立圖像深度學習模型

本文通過使用Yolov5的圖像深度學習模型進行遷移學習，對入爐垃圾圖像進行圖像中垃圾類別的目標檢測并預測熱值。

如圖3所示，Yolov5模型分為四個主要部分，分別為輸入端、Backbone、Neck、Prediction。下面進行具體說明。

輸入端分為三個部分：mosaic數據增強、自適應錨框計算和自適應圖片縮放，其中mosaic數據增強是為了能夠讓模型更好地檢測圖像中的小目標物體，自適應錨框計算是通過更新每一次迭代輸出的預測框面積，能夠使預測結果更加合理，自適應圖片縮放是為了將原始圖片統一縮放到一個標準尺寸，再送入檢測網絡中檢測。Backbone分為兩個結構：Focus結構主要是對圖像進行切片操作，CSP結構主要是為了從網絡結構設計的角度解決推理中計算量很大的問題。Neck為FPN+PAN結構是為了加強網絡特征融合。Prediction使用的是GIOU_Loss函數，該函數用來估算檢測目標矩形框的識別損失[31]。

Yolov5模型能夠基于圖像特征信息進行深度學習，根據其含有的殘差組件個數分為四個預訓練網絡結構，分別為Yolov5s、Yolov5m、Yolov5l、Yolov5x，其殘差組件依次遞增，如表4為Yolov5不同網絡結構的卷積核個數以及殘差組件個數。隨著網絡深度的加深，模型也具有越來越強的特征提取及特征融合能力[32]。

圖2 Yolov5計算方法流程圖Fig.2 Yolov5 calculation method flowchart

圖3 Yolov5的網絡結構圖Fig.3 Yolov5 network structure diagram

表4 Yolov5不同網絡結構的卷積核個數以及殘差組件個數Table 4 The number of convolution kernels and the number of residual components of different network structures in Yolov5

4.2 入爐垃圾圖像采集

入爐垃圾的圖像采集需要運用高清工業相機，工業相機從芯片上分為CCD和CMOS兩種，由于輸送垃圾的傳送帶為運動狀態，應選用CCD相機。根據相機檢測運動物體的原則，選擇的相機的幀率需大于檢測速度，保證處理圖像的時間要短，需要在相機曝光和傳輸時間內完成。最后，由于相機分為面陣相機和線陣相機，而本文中需要檢測運動中的垃圾圖像，對圖像的精度和清晰度要求很高，面陣相機的分辨率和幀率很大程度上不能滿足需求，因此選擇線陣相機。

4.3 建立入爐垃圾圖像數據庫及數據增強

將所采集的圖像中的垃圾進行分類標注，針對標注好的垃圾類別建立入爐垃圾圖像數據庫，并通過數據增強的方式提高模型對圖像的識別精度。數據增強通常分為三部分，分別為圖像變換、隨機替換、混合圖像[33]。其中圖像變換主要由顏色變換和幾何變換兩部分組成，顏色變換即為將圖像的亮度、對比度、飽和度和噪聲進行更改以增強數據，幾何變換則是對圖像進行隨機縮放、裁剪、旋轉以此形成新的數據集。隨機替換是這三種增強方式中比較常用的一種，其將圖像的部分區域替換為隨機值或是訓練集的平均像素值，能夠防止模型記憶訓練數據過擬合。混合圖像則是通過將不同圖像隨機剪裁和拼接，將不相同的圖像進行混合，從而擴充訓練數據集，來提高訓練精度。

本文中的數據增強方式主要為圖像變換和混合圖像，即采用縮放、色彩空間調整和mosaic增強。圖像縮放是非常常見的方法，即將原有圖像數據集中的圖像通過放大、縮小產生更多數據集，在深度學習網絡訓練時能夠識別該物體不同大小的形態，從而確定識別精度，這能夠減少一種垃圾的不同形態對識別帶來的干擾[34]。圖像色彩空間調整如圖4所示，將圖像的色彩/色度、圖像飽和度、圖像亮度進行調整，增加數據集進行圖像識別訓練，這有助于在垃圾識別中，避免識別背景的光線變化帶來的影響。mosaic增強如圖5所示，是將多種需識別的物體按一定比例組合為一張圖像，經過多次訓練后，其能夠使得模型識別出比正常尺寸小的物體，這對于識別電廠中較小的垃圾起到關鍵作用。

4.4 垃圾熱值確定方法

如表5所示，根據《生活垃圾采樣和分析方法》[35]中所提到的各類生活垃圾熱值標準量及氫元素含量，在無量熱儀的條件下可以選用式（1）熱值經驗估算公式計算。

圖4 圖像色彩空間調整后數據增強示例圖Fig.4 Example diagram of color space adjustment data enhancement

圖5 圖像mosaic數據增強后示例圖Fig.5 Example diagram of mosaic data enhancement

表5 各類生活垃圾占比、熱值及氫含量Table 5 Calorific value and hydrogen content of various types of domestic waste

式中，Q′i(h)為某類生活垃圾的干基高位熱值，kJ/kg。

在統計了各類垃圾的平均標準熱值后，利用Yolov5深度學習框架，對各類垃圾進行目標檢測，并用矩形框標識出圖像中的各類垃圾，通過計算在圖像中各類垃圾的矩形框面積和，假設垃圾厚度一定，利用垃圾的矩形框面積代替垃圾體積。如式（2）為某種垃圾預測熱值=某種垃圾的矩形框面積和×垃圾密度×某種垃圾平均熱值×假設垃圾厚度×誤差系數，如式（3）為垃圾預測總熱值為各類垃圾預測熱值之和。抽取部分圖像中的垃圾樣本，通過氧彈量熱法計算出其標準熱值，并與圖像預測熱值數據擬合，進一步優化誤差系數α。

式中，Qp為某類垃圾預測熱值，kJ/kg；Q′p為n類垃圾預測熱值總和，kJ/kg；S為某類垃圾的矩形框面積和，m2；ρ為某類垃圾密度，kg/m3；Qr為某類垃圾平均經驗熱值，kJ/kg；h為某類垃圾假設厚度，m；α為誤差系數。

4.5 模型驗證

模型的驗證分為兩個階段。第一階段對垃圾目標檢測結果進行驗證，對所有測試樣本進行檢測，將檢測結果與標注結果進行對比，評估該階段的準確性。第二階段對熱值檢測精度進行驗證。在確保了目標檢測精度的情況下，根據識別所生成的檢測框進行熱值計算，并將該計算結果與實驗室分析所得結果進行對比，從而評估模型在熱值檢測上的準確性。最終應用在實際電廠中，通過高清工業相機實時采集圖像，實現垃圾穩定燃燒，減小垃圾熱值波動對電廠所帶來的影響。

5 未來展望

目前全球都在大力推行計算機視覺領域的發展，深度學習在計算機視覺領域已經占據了絕對的主導地位[36]。深度學習的加入能夠幫助計算機圖像識別技術在精度和速度方面得到進一步提升。根據全球技術解決方案提供商Soft Serve發布的Big Data Snapshot研究報告顯示，約有62%的大中型公司希望在未來兩年內能將深度學習用于商業分析[37]。傳統的圖像識別技術一直依賴人工設計的特征，對深層次信息難以抽取，深度學習采用一系列非線性變換，能夠更高效地處理圖像中的深層次信息。當前，深度學習在圖像識別領域主要以卷積神經網絡研究為主，未來將進一步通過改善卷積運算形式來簡化深度學習的復雜性，使得圖像識別技術的應用場景更廣、應用技術更簡明[38]。未來將不斷地改進與完善用于圖像分類任務的深度學習模型，將該類模型更好地通過遷移學習應用于垃圾熱值的預測中，利用深度學習的泛化性，能夠通過垃圾圖像信息對熱值進行預測。

在現有的垃圾焚燒發電廠中，操作人員往往通過定期對垃圾樣品抽樣檢測來進行熱值估算，相較于巨大的垃圾堆放量，樣品檢測量遠遠不夠，存在較大估算誤差[39]。另外，當出現垃圾熱值大范圍波動時，現場操作人員只能根據經驗不斷調節風量、傳送帶速度以及抓料量，這不僅會影響垃圾穩定燃燒，還影響設備的使用壽命。因此，通過提取垃圾圖像信息來對熱值進行智能預測，能夠較好地提高垃圾熱值估算的準確性、即時性，并改善熱值波動帶來的經濟、環境影響。具體將開展的工作如下。

（1）將通過開展垃圾給料工藝以及垃圾熱值的波動特性的研究，合理設計采集垃圾圖像的頻率以及采集圖像的大小。

（2）將通過高清工業相機采集入爐垃圾圖像，并通過數據標注建立符合我國垃圾成分結構的入爐垃圾圖像數據庫。

（3）繼續優化垃圾熱值預測的深度學習模型，提高機器視覺對于垃圾特征的提取精度與提取速度，從而更快地預測熱值。

（4）將對垃圾樣本進行氧彈量熱法分析，同時對比智能預測垃圾樣本熱值的方法，計算出誤差系數，進一步縮小垃圾圖像識別中因垃圾厚度、識別不全等問題帶來的誤差。

6結 論

本文探討了國內外的垃圾圖像智能識別和垃圾熱值預測的方法與進展，提出利用基于圖像深度學習的Yolov5框架對入爐垃圾熱值進行實時預測的設想，并針對未來智能預測垃圾熱值提出展望：

（1）由于傳統的神經網絡、遺傳算法模型依靠電廠熱值的歷史數據進行預測，會因為時序信息產生較大誤差?；赮olov5的垃圾熱值實時預測模型能夠快速采集和處理圖像數據，不依賴歷史時序數據，具有更強的泛化性。

（2）通過CCD線陣工業相機采集垃圾圖像，并采用縮放、色彩空間調整和mosaic增強等方式對圖像數據做增強處理，采用神經網絡訓練模型，并通過將垃圾樣品的預測熱值與氧彈量熱法計算出的垃圾標準熱值進行對比驗證，最終建立基于Yolov5的垃圾熱值實時預測模型。

（3）由于我國缺乏有效的垃圾圖像數據庫，且垃圾存在重疊、遮擋和消融等現象，影響圖像識別精度，需建立包含垃圾的不同種類、形態的有效垃圾圖像數據庫。后續研究將通過采集電廠高清入爐垃圾圖像、圖像數據標注、圖像數據增強等處理，形成符合我國垃圾組分結構的垃圾圖像數據庫。

（4）由于垃圾焚燒電廠在進行垃圾熱值抽樣檢測時，樣本量小且檢測間隔長，未來將加深圖像識別技術和深度學習的融合，有助于垃圾熱值的智能預測更加實時和高效。同時，從圖像數據庫建立和模型優化方面，進一步展望了垃圾熱值實時預測模型的驗證方法和后續研究。