卷積神經網絡和支持向量機算法在塑料近紅外光譜分類中的模型應用

張文杰，焦安然，田 靜，王曉娟，王 斌，徐曉軒

（1．南開大學 物理科學學院 弱光非線性光子學教育部重點實驗室，天津 300071；2．江蘇大學 食品與生物工程學院，江蘇 鎮江 212013；3．寧波海關技術中心，浙江 寧波 315048）

塑料自發明以來為人類生產生活提供了便利，得到了應用廣泛。但由于大多塑料制品化學性質穩定、不可降解，導致產生了大量塑料廢棄物。2018年環境規劃署發布的數據表明全世界塑料廢棄物年產量約3億噸。我國是世界上十大塑料制品生產和消費國之一，塑料廢棄物的分類回收再利用十分重要，否則不僅會污染環境，還會造成資源浪費。根據歐洲塑料加工協會的一項調查結果，超過76%的歐洲塑料加工商認為改善塑料廢棄物的收集和分類是提高再生塑料質量的最佳方式［1］。傳統的塑料分類方式如人工分類法、光學分選法、浮選法［2－5］等耗時耗力，為節約勞動力成本，并精確、高效地進行塑料分類，人們研究了塑料的智能分類算法。如，激光誘導擊穿光譜（LIBS）技術和主成分分析（PCA）已成功用于鑒定聚對苯二甲酸乙二醇酯（PET）、高密度聚乙烯（PE）、聚丙烯（PP）和聚苯乙烯（PS）［6］。LIBS技術也可以識別具有相同聚合物基體但添加劑不同的塑料/聚合物樣品［7］。X射線吸收光譜（XAS）結合PCA和反向傳播神經網絡（BPNN）被用于識別15種不同塑料［8］。拉曼光譜和K近鄰算法（KNN）、循環子空間回歸（CSR）、庫搜索被用于塑料分類［9］。衰減全反射傅里葉變換紅外光譜結合主成分分析及系統聚類分析（HCA）被用于對7類廢舊塑料進行分類鑒別，通過選擇余弦和平均距離法作為樣品間以及類間距離函數對數據進行聚類，最終得到100%的分類準確率［10］。而分類和回歸模型（CART）可以從近紅外光譜數據中找到直接和簡單的分類條件［11］。研究者們正不斷探索系統使用近紅外光譜分析技術進行塑料分類的方法。

近紅外光譜主要由含氫基團振動的合頻、倍頻組成［12］，包含吸收峰的強度和位置差異等豐富信息，因快速、無損的特點得到了廣泛應用。由于大多數塑料聚合物分子在近紅外光譜區域可以提供特征信息［13］，因此近紅外光譜分析技術結合傳統的機器學習算法如KNN、PCA、CART等可用于塑料的檢測。塑料分類還可使用支持向量機（Support vector machines，SVM）和深度學習的分類算法。SVM是典型的有監督分類算法之一，在1993年由Corinna Cortes和Vapnik提出［14］，可以根據給定類別的數據點確定一個超平面，將新的數據點劃分在不同類別。而卷積神經網絡（Convolutional neural networks，CNN）作為深度學習的熱門之一，在圖像分類等方面有出色的性能。全連接的人工神經網絡方法需要訓練的參數太多，時間成本大。而CNN的神經元只感知局部信息，同一層中使用的卷積核參數共享，使得需要訓練的參數數量大大減少。近紅外光譜數據在空間上有關聯形成特征，且每個空間上采樣原理一致，適合用CNN學習［15－18］。

PP（聚丙烯）和PE（聚乙烯）是常用的塑料材料，可用于生產生活中的薄膜類制品、注塑制品、管材類制品、絲類制品等。通常塑料廢棄物中PP塑料和PE塑料的比例在70∶30（汽車廢料）～25∶75（包裝廢料）之間變化，不適合直接生產高質量的產品（高質量產品的生產應滿足兩種塑料的純度達到97%［19］）。PP、PE塑料都包含―CH2和―CH3官能團，有相似的化學結構，因而高效區分PP和PE塑料對其回收再利用有重要價值［20］。本文基于100組4種塑料樣本（PP新生料、PP再生料、PE新生料、PE再生料）的近紅外光譜數據，建立了一維卷積神經網絡（1D CNN）模型，將其用于小數據集的預測，并與支持向量機模型進行比較，開發了快速準確的塑料分類方法。

1 實驗部分

1.1 樣品與光譜采集

塑料樣品由寧波市檢驗檢疫局提供，包括PP和PE兩種塑料共100個。其中PE再生料（PE recycled material，簡寫為PEr）32個，PE新生料（PE new raw material，簡寫為PEn）36個，PP再生料（PP recycled material，簡寫為PPr）15個，PP新生料（PP new raw material，簡寫為PPn）17個，類別分別標記為0、1、2、3。

塑料的近紅外光譜數據由江蘇大學食品與生物工程學院提供，使用棱光技術S450近紅外光譜分析儀采集。設置波長范圍為900～2 500 nm，在室溫（25℃）下將裝有塑料樣品的樣品杯置于采集窗口進行光譜采集，每個塑料樣品掃描3次，取其平均光譜數據。

采集的100個樣品的光譜圖如圖1A所示。根據光譜圖比對數據，剔除掉PP再生料中2個異常樣本的數據，得到的光譜圖如圖1B。

圖1 塑料樣品的原始光譜圖（A）與剔除異常值后的光譜圖（B）Fig．1 Raw spectra of plastic samples（A）and spectra after data cleaning（B）

4類塑料樣品均采用隨機選擇法（RS），按照訓練集與驗證集近似3∶1的比例進行樣品集劃分。最終將98個有效樣本分為訓練集樣品72個，驗證集樣品26個。具體信息如表1所示。

表1 塑料樣品信息統計表Table 1 Statistical table of 98 plastic samples

1.2 數據預處理

為了減少光譜中背景噪聲以及樣品散射對模型的影響，在建模之前，分別采用一階導數法（The first derivative，1st Der）、二階導數法（The second derivative，2nd Der）、中心化（Centralization）、標準化（Standardization）、Savitzky－Golay平滑法（Savitzky－Golay smoothing method，SG）、多元散射處理（Multiplicative scatter correction，MSC）、標準正態變換法（Standard normal variate，SNV）對光譜數據進行預處理。在建立支持向量機模型之后，根據實驗結果，選擇最合適的數據預處理方法。

1.3 支持向量機模型

支持向量機一般被用來解決二分類問題，現在也可以處理多分類問題。可以使用一對多（Oneversus－all，OVA）或一對一（One－versus－one，OVO）方式將多分類問題轉化為二分類問題［21］。其基本原理是尋找一個超平面ωTx+b=0，使訓練集中不同類別的點落在超平面的兩側，同時使超平面兩側的空白區域達到最大［22］。使用不同的核函數可以將樣本映射到高維空間找到超平面，因而支持向量機可進行線性分類和非線性分類。

對于線性可分的數據集，目標函數為：

服從約束條件：

對于公式（1）～（4），n為樣本數量，ω和b分別是超平面ωT x+b=0的權重和偏置參數，x i和y i表示第i個輸入的向量和第i個因變量值。使用拉格朗日乘子法可以求解上述極值。

支持向量機近年來被引入化學計量學領域，并且成功應用于中紅外和近紅外光譜分類任務［23］。建模后，進行4折交叉驗證，通過比較不同數據預處理方法的準確率，選擇準確率最高的模型。選擇使模型效果最好的參數：使用OVO方法，即在每兩個類之間都構造一個二分類SVM模型；懲罰因子C的值設為256，核函數為線性核函數。輸入塑料的近紅外光譜數據和相應的類別標簽（0、1、2、3），按照表1的比例隨機選取10個驗證集進行10次實驗。模型輸出包括預測得到的標簽、訓練集準確率和驗證集準確率。

1.4 一維卷積神經網絡模型

卷積神經網絡作為一種非線性模型，可以有效提取光譜中的局部信息，學習能力強。

典型的卷積神經網絡模型包含輸入層、卷積層、池化層、全連接層、輸出層。對于光譜數據，輸入層輸入一維光譜數據比二維光譜矩陣更加高效［17］。輸入數據和標簽后，卷積層使用多個設定好大小和步長的一維卷積核經卷積運算后得到特征圖。池化層通常在卷積層之后用來提取數據的局部特征。經過一個或者多個全連接層，可將特征映射到樣本空間進行分類。激活函數使用ReLU函數可以避免梯度消失問題；而在分類問題中，神經網絡的最后一層通常使用Softmax函數，將輸入映射為0到1之間，作為對應類別的概率。模型訓練時，首先初始化權值，輸入塑料樣本訓練集近紅外光譜數據及類別標簽，經過神經網絡各層得到最終輸出結果。計算模型損失函數值，通過反向傳播將損失函數值從最末層傳至網絡各層，按照最小化損失函數值的方向更新權值，繼續訓練。

本實驗構建了一個6層一維CNN（1D CNN）用于塑料分類，包括輸入層－卷積層C1－池化層S2－全連接層F3－全連接層F4－輸出層，如圖2。將訓練集表示塑料類別的標簽值“0、1、2、3”轉化為one－hot向量輸入，每個樣本光譜數據輸入維度為1 501×1。為了盡可能避免過擬合現象，在神經網絡中添加了正則項和隨機失活（Dropout）。為降低模型復雜性，僅使用一層卷積層，8個卷積核，大小為3×1，步長為1。池化層使用最大池化法，核的大小為2×1，步長為2。模型最后一層全連接層使用Softmax激活函數，優化器為AdamOptimizer，學習率為0．000 1，卷積核個數為3，全連接層神經元個數為60，迭代次數為5 000。模型訓練基于TensorFlow框架GPU版本。

圖2 一維CNN模型各層結構示意圖Fig．2 Representation of one-dimensional convolutional neural network（1D CNN）architecture

使用與MSC－SVM模型相同的10組驗證集進行實驗，得到預測類別和預測準確率。

1.5 評價指標

將訓練集和測試集的分類準確率作為模型評價指標。準確率P為分類正確的樣本數Nc占總樣本數Nr的比例，由式（5）得到：

2 結果與討論

在建立SVM模型時，比較了不進行數據預處理以及不同數據預處理方法建模后的交叉驗證實驗結果，如表2所示。

表2 不同數據預處理的SVM模型準確率Table 2 Comparison of validation accuracy using different SVM models

可見采用MSC后模型準確率最高。選擇分類性能最好的MSC－SVM模型進行10次隨機實驗，98個樣本共得到結果980次，其中訓練集720次，驗證集260次。將這980次結果進行統計，記錄不同塑料種類的分類結果，將其真實值和預測值在表格中體現，得到混淆矩陣，如表3所示。類似的，記錄1D CNN模型10次隨機實驗共980次分類結果的混淆矩陣，如表4所示（每次隨機實驗驗證集與MSC－SVM模型使用的對應驗證集相同）。混淆矩陣中對角線元素表示被正確分類的樣品，訓練集、驗證集實驗結果若在表格中呈對角線分布，則說明模型分類準確率高。

表3 MSC－SVM模型980次分類結果混淆矩陣Table 3 Confusion matrixes of 980 plastic type labels using MSC－SVM model

表4 1D CNN模型980次分類結果混淆矩陣Table 4 Confusion matrixes of 980 plastic type labels using 1D CNN model

由表3可知，MSC－SVM模型的訓練集結果均分布在對角線上，表明在此實驗中分類完全準確；而其驗證集除PE新生料外其他3種塑料都有分類錯誤的結果。表4數據未全部分布在對角線，表明1D CNN模型訓練集、驗證集分類結果都存在少數錯誤結果。綜合來看，對于PP新生料的類別預測，1D CNN模型效果更好，MSC－SVM模型會較大概率將其誤判為PP再生料。兩種模型中，PE再生料都有一定概率被誤判為PE新生料。而PE新生料幾乎都可以被正確分類。

將MSC－SVM模型和1D CNN模型10次隨機實驗結果進行綜合比較，得到表5。

表5 MSC－SVM模型和1D CNN模型準確率對比Table 5 Comparison of accuracies using MSC－SVM and 1D CNN models

由表5可知，MSC－SVM模型在訓練集上表現很好，準確率為100%。在驗證集上，1D CNN模型準確率為91．5%，略優于MSC－SVM模型。對于不同類別的塑料，PE再生料和PP再生料兩種模型預測效果近似，PP再生料的判定準確率都不高；PE新生料的判定準確率在驗證集上都達到100%；PP新生料使用1D CNN模型進行分類的準確率達100%。單次實驗訓練所需的平均程序執行時間，MSC－SVM模型為2．84 s，而1D CNN模型為24．55 s。可見在數據量較小的情況下，MSC－SVM模型相比1D CNN模型更快速。CNN一般在數據量大的情況下有顯著優勢，而在小數據集上容易發生過擬合現象。但本實驗證明，只要卷積層數合理，一維卷積核的參數設置合適，加之采用一些避免過擬合的方法，也可以達到較好的準確率。而且CNN對數據預處理的要求較低，有些情況甚至無需數據預處理，亦無需考慮樣本數據的特性，是一種普適方法，在近紅外光譜數據分析上具有很大的應用潛力。

3 結 論

本文基于近紅外光譜分析技術建立了塑料分類的MSC－SVM模型和1D CNN模型。在建立SVM模型時，比較了多種數據預處理方法對模型的影響。MSC－SVM模型在驗證集上的準確率為90．8%，1D CNN模型在驗證集上的準確率為91．5%，略好于MSC－SVM模型。PE新生料在驗證集上的分類準確率均為100%；使用1D CNN模型判別PP新生料在驗證集的準確率達100%。在本實驗的小數據集上，MSC－SVM建模快速準確，而1D CNN則具有高度自學習、提取特征的能力，說明以1D CNN模型結合近紅外光譜技術進行自動塑料分類可行，并可推廣到其它領域的光譜分析中。