基于近紅外光譜和深度學習算法的羊毛混紡廢舊紡織品定性分析

邱 迅，劉媛媛，郭晟材，劉冬志，王 翀，劉 俊，徐淑華，楊 莉，龔 龑,,8

(1.新疆大學 紡織與服裝學院，新疆 烏魯木齊 830017； 2.北京服裝學院 材料設計與工程學院，北京 100029；3.天津九光科技發展責任有限公司，天津 300450； 4.新疆環疆綠源環保科技有限公司，新疆 烏魯木齊 830019；5.烏魯木齊海關，新疆 烏魯木齊 830011； 6.新疆如意紡織服裝有限公司，新疆 石河子 832000； 7.新疆如意時尚服裝有限公司，新疆 石河子 832000； 8.塔里木大學 機械電氣化工程學院，新疆 塔里木 843300)

紡織品在生產的過程中會消耗大量的水[1-2]，并排放出帶有有害物質的廢氣和廢水。未處理的廢舊紡織品不容易在自然環境中降解，因此為實現綠色環保的發展理念，針對廢舊紡織品進行回收再利用十分必要。通常情況下，廢舊紡織品由不同比例的纖維混紡而成，其中回收羊毛含量大于70%的廢舊羊毛紡織品是經濟價值較高的一種回收方式。

為了精準地分揀出羊毛纖維含量達到一定比例的廢舊紡織品[3]，可以采用近紅外光譜儀(NIR)進行定性分析。依據不同物質近紅外吸收光譜的差異性，可使用合適的算法對近紅外光譜的數據進行建模，常用的算法有最小二回歸(PLS)、支持向量機(SVM)、邏輯回歸(Logistic Regression)等。近紅外光譜數據反應物質在700～2500 nm光譜波段的吸收強度、光譜數據的維度大小與光譜儀的分辨率成正比。在建模的過程中，有的波段與標簽相關性低，用相關性低的特征建立分類或回歸模型，會降低模型的效率和準確率，因此，在建模前需要對光譜特征進行降維、選擇光譜的特征波段、提取光譜的高級特征等。光譜特征降維常用主成分分析法(PCA)和T分布隨機鄰域嵌入算法(TSNE)；特征選擇算法有遺傳算法(GA)和競爭性自適應重加權采樣法(CARS)；高級特征有極差、方差、偏度、峰度、自相關系數等。降維、特征選擇和高級特征設計是一個迭代過程，需要不斷的設計特征、選擇特征、建立模型、評估模型，最終得到最優模型，這會導致訓練模型的過程繁瑣。而卷積神經網絡的卷積層利用輸入數據中的局部空間相關性，讓輸入數據在共享參數時具有較少的權重，并且可以較低的計算成本提取相關特征，免去了繁瑣的特征選擇等操作。

因此，本文提出以一維卷積殘差網絡(NIRS_1D-Resnet)對廢舊紡織品的光譜進行分類，通過比較不同歸一化層的模型的準確率，選取準確率最高的模型，而后對比不同預處理方法對模型準確率的影響。此外，為了克服紅外光譜數據集較小導致模型準確率不高的問題，引入遷移學習以期提升模型準確率。

1 實驗部分

1.1 實驗材料

實驗收集377個由不同纖維混紡的布料樣品(蘇州布料博物館提供)，每個面料樣品都有對應的成分標簽，在實驗開始前，記錄各個面料樣品的成分含量，按照面料中羊毛的含量將其分為5類標簽，如表1所示。

表1 不同羊毛含量面料樣品分布表Tab. Distribution table of cloth samples with different wool content

1.2 實驗流程

使用Y802N型烘干機(常州市第一紡織設備有限公司)對面料樣品進行干燥處理，設定烘干溫度為65 ℃，持續烘干25min。經過干燥處理后，放置在溫度20 ℃和相對濕度50%～60%的環境中，而后使用DA200通用型在線近紅外光譜儀(天津九光科技發展有限責任公司)逐一對面料樣本進行掃描，光譜范圍為950～1 650 nm，分辨率為5 nm。

1.3 實驗方法

調試近紅外光譜儀的各項參數后，對每個布料樣品掃描2次光譜，正反面各掃描1次。針對較薄的面料樣品，折疊成2層或3層后進行掃描，掃描后得到各個面料樣本的原始光譜，原始光譜曲線堆疊圖見圖1。

圖1 光譜堆疊圖Fig.1 Spectrum stack diagram

2 光譜數據預處理

面料樣本的近紅外光譜數據的收集過程受到測試環境和面料樣品表面不均的影響，導致原始光譜數據包含噪聲，因此建模前需要對近紅外光譜進行預處理以消除噪聲。

在建模過程中，通過對比各類近紅外光譜預處理方法、數據均衡算法和遷移學習方法對于分類模型準確率的影響，選擇最合適的方案來優化模型。

一般的，近紅外光譜序列數據定義為：

X=[x1,x2，…，xm]

(1)

式中：X為1個面料樣本所對應的近紅外光譜數據序列；m是波長點數；xm為m對應的吸收率。

因此，面料樣品光譜數據集定義為：

S=[X1,X2，…，Xn]T

(2)

式中:S為面料樣品的近紅外光譜數據集;n代表樣品編號;Xn是編號為n的面料樣品對應的光譜數據序列。

常用的近紅外光譜預處理方法有多元散射矯正(MSC)和標準正態變換(SNV)。其中，基本的多元散射矯正的步驟如下。

①求解近紅外光譜的平均光譜曲線作為標準光譜，公式如下：

(3)

(4)

③代入求解得的系數Ki和θi，修正近紅外光譜的每一個波點：

(5)

同時也使用標準正態變換作為數據預處理的手段進行光譜矯正，公式為

(6)

因為MSC與SNV的處理結果是線性相關的，處理后得到光譜數據有較強的一致性[12]，對比這2種前處理方法對數據前處理階段的效果意義不大，故在實際建模過程中使用MSC的擴展算法——擴展多元散射校正(EMSC)算法替代MSC對光譜數據進行矯正。EMSC已經被證實是有效的數學矯正算法，可以糾正加性基線效應、乘法標度效應和干擾效應，已經被用于校正樣品的厚度、溫度，以及水蒸氣、二氧化碳帶來的影響[10]。初始各類別的原始平均光譜如圖2所示，EMSC矯正后的譜線如圖3所示，SNV矯正后的譜線如圖4所示。

圖2 原始各個類別的平均光譜Fig.2 Average spectrum of original Spectra

圖3 EMSC預處理后的平均光譜Fig.3 Average spectra after EMSC pretreatment

圖4 SNV預處理后的平均光譜Fig.4 Average spectra after SNV pretreatment

同時還使用SG平滑算法(savizkg golag smooth)對光譜進行預處理，SG平滑算法的流程如下。

①選取光譜的1段區間(濾波窗口)的相等波長間隔的w個點，把w個點的吸收強度值和對應的波長點數記入集合。則：

Xwin={x1,x2,…，xw},Ywin={y1,y2,…，yw}

(7)

式中：Ywin為選取區間的吸收率數值集；Xwin為選取區間的波長數值集。

②然后對譜線的每一點i進行k-1次的多項式回歸，其中ai是求解多項式回歸中待確定的系數：

(8)

通過上式可以得到下面的線性方程組：

(9)

使用矩陣可表示為：

Y=CA

(10)

然后，利用最小二乘法對A系數矩陣進行估計：

(11)

使用預測值替換原始吸收強度值(SG預處理后的譜線如圖5所示)：

(12)

圖5 SG預處理后的平均光譜Fig.5 Average spectra after SG pretreatment

3 模型建立

3.1 殘差塊

廢舊紡織品的光譜識別任務可以表示為1個M元假設檢驗問題，設面料樣品對應的近紅外光譜類型的集合為L=[1,2,…，M]，M代表類別數。Xi樣品類型的識別任務可以表示為：

γ(Xi)=t,t∈L

(13)

式中：γ(Xi)代表Xi光譜的類型。

使用由一維卷積層以及整流線性單元(Rectified Linear Unit,ReLU)構建的殘差單元作為卷積神經網絡模型的主干結構。殘差單元結構如圖6所示，該結構使得模型更容易訓練，解決了卷積神經網絡模型訓練過程中隨網絡的層次結構的加深而導致梯度消失問題[6]。在此基礎上構建更深的網絡結構有利于提取近紅外光譜數據更高級的特征，增強模型識別性能。

圖6 殘差單元結構Fig.6 Residual block

3.2 網絡結構

設計的神經網絡結構如圖7所示。對輸入的近紅外光譜圖譜數據先進行一維卷積和池化操作，然后再將處理后數據輸入主干網絡。主干網絡結構參考深度殘差網格(ResNet-18)的結構，使用了6個3.1節提到的殘差單元作為神經網絡的主干結構。

圖7 網絡結構圖Fig.7 Network structure diagram

數據經過主干網絡的處理后，通過全局平均池化層減小特征尺寸，通過平鋪層和全連接層后輸出預測結果。為了避免模型過擬合，在最后1層殘差塊和平鋪層后加入隨機失活層(Dropout)，提升模型的泛化能力。建模任務是近紅外光譜數據多分類任務，所以采用交叉熵損失函數(Cross Entropy Loss)作為模型的損失函數，其公式為

(14)

式中：q(t)是神經網絡預測Xi光譜序列為t類別的概率；p(t)是Xi為t類別時的實際的概率。

3.3 歸一化層選擇

為了使網絡模型更容易訓練，提升模型的性能，在上述網絡中的卷積層后加入歸一化層。為了能夠挑選出最適合此網絡和任務的歸一化層，在同等超參數和網絡結構的條件下，對比了常用的批量歸一化(Batch Normalization)、組歸一化(Group Normalization)、實例歸一化(Instance Normalization)和層歸一化(Layer Normalization)加入模型卷積層后的訓練曲線和10次交叉驗證的準確率的評分(均設定訓練輪次為200個)。如表2所示，在使用實例歸一化方式時，10次交叉驗證的準確率評分的均值和組間標準差是最優的，故在圖7所示的網絡中的每一個卷積層后面，使用實例歸一化層做歸一化處理。如圖8所示，可以看出使用實例歸一化方式時，曲線更穩定且驗證集準確率更高。

表2 不同歸一化方式下的模型交叉驗證準確率Tab.2 Model cross validation accuracy under different normalization methods %

圖8 不同歸一化方式下的訓練曲線Fig.8 Training curve of different normalization methods(a)Batch normalization；(b)Group normalization；(c)Instance normalization；(d)Layer normalization

4 模型優化

4.1 遷移學習

要訓練出表現良好的監督學習模型需要大量的近紅外光譜標注數據，但是近紅外光譜數據收集較為困難。為了解決這個問題，可以使用遷移學習技術。遷移學習的流程如圖9所示，在預訓練階段，先使用大量的開源近紅外光譜數據集對模型進行預訓練，調整模型超參數進行多次訓練直到得到滿足精確度要求的預訓練模型。在遷移訓練階段，導入預訓練模型，凍結模型的一部分卷積層，修改輸出的全連接層，進行多次訓練，根據訓練的結果多次調參，最終達到理想的模型。

圖9 遷移學習流程圖Fig.9 Transfer learning process

4.2 數據均衡

由表1所示，廢舊紡織品中各類羊毛紡織品的數據樣本數量少于非羊毛紡織品的數量，這導致訓練集的類別不均衡，為了能獲取良好的模型，采用合成少數類過采樣技術(SMOTE)，自適應合成(ADASYN)，支持向量機合成少數類過采樣技術(SVMSMOTE)以及邊界合成少數類過采樣技術(Borderline SMOTE)對訓練集數據進行預處理，使得數據類別均衡，為了避免過采樣導致的過擬合現象，在使用過采樣算法時，多次訓練模型，根據訓練的結果，多次調整Dropout的參數，直到模型準確率最優。

5 模型評估

在模型訓練過程中，使用分層抽樣法隨機地把近紅外光譜圖譜數據集按照數量比8∶1∶1劃分為訓練集、驗證集和測試集3個子集，測試集的近紅外光譜圖譜數據不參與模型訓練的過程。批量大小設置為20，訓練過程持續500個輪次，訓練過程中的損失值和準確率的變化如圖10所示，可以看到使用一維卷積的殘差單元作為主干結構構建的卷積網絡模型取得不錯的效果。如表3所示，在非遷移學習的情況下，模型10次交叉驗證的準確率均值為94.69%，在遷移學習的處理下，模型10次交叉驗證的準確率均值達到了97.67%，且10次交叉驗證準確率的標準差僅為1.11%，證明遷移學習對于模型的提升非常明顯。通過對比圖10非遷移學習和遷移學習的訓練曲線，可以發現，在使用遷移學習后，模型在驗證集上的準確率表現高于非遷移學習，且訓練過程中的準確率曲線更加平滑穩定。

圖10 訓練過程曲線Fig.10 Curve during training.(a)Non transfer learning;(b)Transfer learnnig

表3 非遷移學習和遷移學習交叉驗證準確率比較Tab.3 Comparison of cross validation accuracy between non transfer learning and transfer learning

在測試中比較了常見的機器學習建模算法——決策樹(Decision Tree)，Logistic Regression，隨機森林(Random Forest)，自適應增強分類器(AdaBoost)，SVM，最近鄰節點算法(KNN),反向傳播神經網絡(BPNN)以及NIRS_1D-Resnet模型在不同的近紅外光譜預處理和數據均衡的方法下的模型精度評分，結果如表4(評分為10次交叉驗證準確率的均值)。可以看到不同的近紅外光譜的預處理操作對機器學習模型精度均有較大的影響，但是NIRS_1D-Resnet模型有較好魯棒性，在不同的預處理方法下都保持較好的準確率。在預處理和數據均衡算法處理后，并沒有使NIRS_1D-Resnet模型的準確率有較大提升，甚至在有些預處理和數據均衡算法下降低了NIRS_1D-Resnet模型的準確率。

表4 在不同預處理和數據均衡方法下的常見機器學習和深度學習分類模型準確率評分表Tab.4 Accuracy scoring table of common machine learning and deep learning classification models under different preprocessing and data balancing methods %

6 結 論

本文使用在線近紅外光譜儀采集廢舊紡織品的近紅外光譜圖譜，然后使用殘差單元為主干的一維卷積殘差網絡(NIRS_1D-Resnet)對采集的廢舊紡織品的近紅外光譜圖譜數據集進行學習。NIRS_1D-Resnet經過訓練后，對模型進行測試，測試結果顯示：使用預處理方法對數據處理并沒有使得深度學習模型準確率大幅度提升反而使得模型性能降低；使用數據均衡算法時，對模型產生了較大的負面影響；使用遷移學習方法對模型提升最高，且泛化性能最好。因此在近紅外光譜數據集較小時，引入遷移學習技巧是最合適的方法。

使用NIRS_1D-Resnet和其他常用的機器學習模型進行對比，結果顯示：深度學習模型的泛化性能和準確率較其他模型更好；在小樣本的情況下，使用遷移學習方法能在數據樣本有限的情況下使得模型取得十分優秀的準確率，證明深度學習算法可以替換常用的機器算法對近紅外光譜進行建模；可以使用深度學習算法和近紅外光譜儀在廢舊紡織品的開環或閉環回收過程中能對羊毛混紡的廢舊紡織品進行定性分析。