基于時頻特征學習的分步式紗疵檢測方法

孫 通， 楊 蕓， 楊 耀， 鮑勁松

(東華大學 機械工程學院， 上海 201620)

紗線的品質會影響紡織品的生產和銷售等一系列流程。在紗線的生產過程中，原材料、紡紗機械以及生產環境等多種影響因素會造成紗線的直徑突變[1]，形成棉結、粗節和細節等紗疵[2]，這將直接影響紗線質量評級和后期織造工序中的織物質量。因此，進一步提升紗疵檢測技術是至關重要的。

目前，針對紗疵檢測的常用方式有基于視覺的傳感方式[3-4]和基于電信號的傳感方式[5-6]。基于視覺的傳感方式受檢測設備硬件配置的限制，難以適應紗線高速運動下的動態特性，無法實現紗線疵點的高效率檢測。而基于電信號的傳感方式具備較高的靈敏度和良好的動態響應能力，受到了學術界和工業界的廣泛關注。

近幾年，學者們大多從傳統特征工程的思路出發，展開對基于電信號傳感的紗疵檢測方法的研究。周國慶等[7]利用線陣CCD采集紗線的直徑信息，基于斜率閾值算法建立紗疵檢測模型，實現紗疵的在線檢測。盛國俊等[8]提出基于K階矩濾波和最小熵濾波的紗疵信號特征識別方法，采用傳統信號處理的方式實現紗疵檢測。Vitor等[9-10]基于相干光信號處理開發紗疵評價系統，并基于統計相關性原理和快速傅里葉變換對信號進行分析，獲取紗線直徑等參數，實現紗疵的檢測。雖然基于閾值統計和信號濾波等傳統特征工程的異常檢測方法可以實現紗疵的檢測，但是這些異常檢測方法大多依賴于人工提取特征，而紗線的運動狀態為高速運動，單根紗線的直徑非常小且紗線表面并不光滑，人工提取紗疵信號特征的方式難度大且效率低，很難滿足實際的檢測需求。此外，不同類型紗疵對應的特征比較類似，基于傳統特征工程的思想難以建立有效的識別模型來實現紗疵的精準檢測。

隨著深度學習技術的不斷發展，卷積神經網絡(convolutional neural networks，CNN)優異的自動表征學習能力使其在圖像分割[11-12]、圖像識別[13-14]以及目標檢測[15-16]等領域得到廣泛應用，尤其在基于一維信號的異常檢測領域取得優異的效果[17-18]。因此，本文提出一種基于時頻特征學習的紗疵檢測方法，通過連續小波變換(continuous wavelet transform，CWT)對一維紗線信號的淺層時頻特征進行提取，利用CNN自動表征學習能力對所提取的淺層時頻特征進行深度學習，完成淺層時頻特征提取到深度特征學習和識別的轉換。同時，針對當前基于深度學習的異常檢測方法存在的檢測準確率和檢測效率難以平衡的問題，提出先“識別”后“分類”的分步式紗疵檢測方法，并對滑動檢測窗口的尺寸進行試驗選擇，在保證紗疵檢測準確率的前提下，提高紗疵的檢測效率，為紗疵檢測技術的發展與應用提供一定的參考價值。

1 紗疵電信號采集試驗平臺

1.1 紗疵電信號獲取原理

圖1 電容式傳感器信號采集示意圖

1.2 試驗平臺及基本參數

紗線試驗平臺如圖2所示，試驗紗線材質為27.8 tex棉紗，由倒線機牽引做卷繞運動，卷繞速度為100 m/min。在卷繞運動過程中，使用JCT-15A型電容式檢測頭作為獲取紗線直徑信息的傳感器，并使用PC虛擬示波器(OWON VDS3104型)以5 kHz的采樣頻率同步采集并保存紗線電信號數據。

圖2 紗線試驗平臺

2 基于CWT的紗疵電信號時頻特征提取

2.1 紗疵一維時域信號分析

當紗線直徑發生變化時，紗線信號也會隨之發生相應變化，因此，不同類型的紗疵由于外觀形狀和長度不同，引起的信號特征也不相同。

本文試驗所用的紗線樣本均為江蘇無錫某紡織科技有限公司生產的27.8 tex純棉紗，通過隨機選取4根帶有不同紗疵的紗線樣本，經捻接器拼接在一根正常的紗線上，拼接后的紗線試樣總長度為35 m。紗線試樣的紗疵實際位置分布與時域信號波形圖如圖3所示。

由圖3可知，由于紗線本身是一個柔軟的彈性體[19]，在高速卷繞過程中極容易發生變形，因此采集到的原始紗線信號是非平穩、非線性的，部分紗疵信號特征被噪聲信號所淹沒。因此，基于傳統特征工程的方法難以滿足準確提取紗疵特征的要求。

圖3 紗疵實際位置分布與時域信號波形圖

FZ/T 01050—1997《紡織品 紗線疵點分級和檢驗方法 電容式》中的紗疵分級標準[20]，如圖4所示，其中S表示紗疵的直徑相對于正常紗線直徑的變化幅度，L表示紗疵的長度。由圖4可知，部分紗疵形態相近，體現在時域信號上的突變波形也比較相似。紗線試樣中正常紗線段的實物圖及局部時域信號波形圖，如圖5(a)所示。由圖5(a)可知，紗線在高速運動下的跳動和形變使得信號在一定范圍內發生波動。圖5(b)～(e)為不同紗疵的實物圖及時域信號波形圖，其中圖5(d)所示的細節紗疵信號與圖5(a)所示的正常紗線信號的波形較為相似。因此，僅憑時域信號波形圖難以實現紗疵的正確識別和分類。

圖4 紗疵分級示意圖[20]

圖5 不同類型紗疵實物圖及局部時域信號波形圖

綜上所述，實現紗疵檢測的關鍵在于如何在非平穩、非線性的原始紗線信號中對不同類型紗疵的一維信號特征進行有效、準確提取。

2.2 紗疵時頻特征提取

時頻分析作為處理非平穩信號的重要工具之一，常用短時傅里葉變換和連續小波變換兩種方法。短時傅里葉變換方法通過將非平穩信號看成是一系列短時平穩信號的疊加，采用固定時間窗函數的平移對信號進行時頻分析，但是由于不同類型的紗線疵點所引起的信號突變長度不同，很難找到合適的固定窗函數平衡時間分辨率和頻率分辨率之間的關系[21]，因此該方法不適用于對當前紗線信號進行時頻分析。連續小波變換采用有限長且會衰減的小波基函數來對信號進行分析，避免了固定窗口長度的問題，更適合對非平穩的原始紗線信號進行分析[22]。假設原始紗線信號為f(t)，則連續小波變換的函數可以表示為

(1)

由于高斯函數在時頻域中具備良好的集中度，所以選用復高斯小波基函數作為基函數，并設定分解尺度為100。一個完整采集的紗線信號，采樣點數非常大，如果直接進行連續小波變換，會因為計算量過大而增加信號處理時間，或信號分析范圍過大而將紗疵信號特征淹沒。因此，需要對原始紗線信號做進一步的處理。

根據實際生產經驗，紗疵的最大長度一般不會超過200 cm。因此，在本文試驗條件下，紗疵信號的采樣點一般不超過500個點，所以試驗采用尺寸為1×500的滑動檢測窗口對原始紗線信號進行分割，再進行CWT處理。紗疵的時頻特征提取效果如圖6所示，其中,各坐標點顏色表示當前采樣點的小波系數，該點的小波系數越大，則該坐標區域的顏色越接近紅色。

由圖6可知，不同類型紗疵的時頻圖之間具備明顯的差異。與圖5的紗線時域信號波形圖相比,圖6的時頻圖具備更高的辨識度和穩定性，因此可以更全面地反映不同紗疵信號特征之間的細微差別。

3 基于時頻特征學習的分步式紗疵檢測方法

3.1 紗疵時頻特征學習算法設計

3.1.1 基于深度可分離卷積的紗疵時頻特征學習算法模型

如何對CWT提取到的紗疵二維時頻特征進行有效學習，是實現紗疵檢測的核心。卷積神經網絡具備良好的自動表征學習能力。但是，大多數卷積神經網絡模型為了提高模型的精度將網絡不斷加深，造成目前很多網絡模型的參數量越來越龐大，因此對運行模型的設備硬件配置要求也越來越高[23]，增加了模型的運行時間。

為適應紗線實際生產的需求，滿足紗疵檢測的實時性要求，并盡可能降低檢測設備成本，本文以采用深度可分離卷積的MobileNet-V1[24]網絡為基礎，搭建用于紗疵二維時頻特征學習的網絡模型。

深度可分離卷積將卷積過程分為depthwise和pointwise兩步，如圖7所示，首先卷積核按照特征圖輸入通道進行按位相乘計算，然后用1×1的卷積核來對上一步的特征圖繼續按照傳統卷積運算方式進行特征提取，其計算量就變為Din×Din×M×Dk×Dk+1×1×M×N×Din×Din。

圖7 深度分離卷積過程

本文選擇MobileNet-V1作為時頻特征學習算法網絡，具體的網絡結構參數和特征圖尺寸如表1所示，其中，s代表卷積步長，Conv代表傳統卷積操作，dw和pw分別代表深度可分離卷積的depthwise和pointwise兩個卷積過程，Pool代表全局平均池化操作，C代表最終紗疵類別數。

表1 時頻特征學習算法網絡結構參數表

3.1.2 紗疵時頻特征深度學習

卷積神經網絡作為一種監督式的深度學習方法，通過輸入帶有標簽的樣本數據集，即可實現對樣本數據的特征學習。

基于卷積神經網絡的紗疵時頻特征學習如圖8所示。本文將帶有紗疵類型標簽的二維時頻圖樣本數據集輸入到構建好的卷積神經網絡模型中，卷積神經網絡通過特征的正向傳播以及誤差的反向傳播，實現紗疵二維時頻特征的學習，并對模型的參數進行更新、調優，最終得到最優紗疵檢測算法模型，完成二維時頻特征空間向多維類別空間的映射。

圖8 基于卷積神經網絡的紗疵時頻特征學習過程

3.2 分步式紗疵檢測方法

在紗線實際生產過程中，所生產的絕大部分紗線為正常紗線，紗疵的出現為小概率事件，如果始終使用尺寸為1×500的小滑動檢測窗口對紗線信號進行分割，會大大增加模型的檢測耗時。因此，本文提出分步式紗疵檢測方法，將紗疵檢測過程分為“紗疵識別”和“紗疵分類”兩步，通過加大紗疵識別過程中滑動檢測窗口尺寸Sw，擴大對紗疵信號檢測的覆蓋面積，減少待檢紗線信號段的數量，提高紗疵的檢測效率。分步式紗疵檢測原理如圖9所示。

圖9 分步式紗疵檢測方法原理

(1)紗疵識別：采用尺寸為1×Sw的大滑動檢測窗口對原始紗線信號進行分割，擴大對紗疵信號檢測的覆蓋面積，以減少待檢信號段的數量。同時，構建一個二分類模型判別當前紗線段是否存在紗疵。

(2)紗疵分類：接收上一步識別為異常的紗線信號段，采用尺寸為1×500的小滑動檢測窗口對異常信號段做進一步分割，并設定滑動窗口步長為250，避免紗疵信號處于邊界時破壞其時頻特征，造成漏檢或誤檢。同時，構建一個五分類模型實現紗疵的具體分類。

4 試驗分析

4.1 試驗環境和參數設置

4.1.1 試驗環境和模型參數

計算機配置：處理器為AMD Ryzen7 4800 H@2.90 GHz；內存為16 GB；GPU為Nvidia?GeForce GTX1650Ti(4 GB)；操作系統為Ubuntu16.04(64位)。程序語言為PythonTM3.6.2(64位)。模型基于Pytorch-GPU 1.2.0深度學習框架搭建。

模型采用隨機梯度下降法進行訓練，采用交叉熵損失函數，輸入時頻圖像分辨率為224像素×224像素，學習率設置為0.001，批訓練大小設置為64，迭代次數設置為200步。

4.1.2 紗疵識別過程的滑動檢測窗口尺寸Sw設置

在紗疵識別過程中，雖然可以通過加大滑動檢測窗口的尺寸Sw來減少待檢紗線信號段的數量，提高紗疵的檢測效率，但是當紗疵信號的檢測范圍擴大后，紗疵時頻特征的分辨率也會隨之下降，直接影響分步式紗疵檢測方法對紗疵的檢測精度。為保證分步式紗疵檢測方法的檢測效率和檢測精度，本文針對紗疵識別過程中滑動檢測窗口的尺寸Sw進行了試驗和選擇。

分別選取了Sw為1×1 000、1×2 000和1×3 000的滑動檢測窗口對紗線信號原始數據進行分割，經CWT時頻特征提取后，分別輸入到紗疵識別-二分類網絡中進行訓練，得到紗疵識別算法模型。

隨機對20段長度為50 m的紗線進行數據采集，采集到的紗線信號樣本點數大約為7.5萬個，分別采用Sw為1×1 000、1×2 000和1×3 000的滑動檢測窗口進行處理后，再經CWT轉換成時頻圖，輸入到對應尺寸的紗疵識別模型，得到不同滑動檢測窗口尺寸的試驗結果，如圖10所示。

圖10 不同滑動檢測窗口尺寸試驗結果

由圖10可知：當Sw為1×1 000時，雖然檢測精度較高，但是檢測耗時較長，檢測效率明顯下降；當Sw為1×2 000時，檢測精度相對于Sw為1×1 000時僅下降約1個百分點，但是檢測耗時卻縮短了一半；而當Sw增大至1×3 000時，雖然檢測耗時較少，但是在檢測精度上卻出現明顯下降。

因此，當紗疵識別過程的Sw為1×2 000時，可以在保持檢測精度的同時，提高紗疵識別階段的檢測效率。

4.2 紗線樣本數據預處理

采集到帶有紗疵的原始有效紗線樣本共400組，經紗疵電信號采集試驗平臺，得到紗線原始信號共400組。對每組數據以Sw為1×2 000的大滑動檢測窗口進行信號分割，分別得到長度為2 000的900組正常紗線信號段和600組異常紗線信號段。經CWT處理后，得到正常紗線時頻圖像900張和異常紗線時頻圖像600張。

為進一步提高二分類模型的泛化能力，通過添加噪聲、鏡像旋轉等圖像處理手段對兩類圖像數據進行擴充，最終得到正常紗線時頻圖1 200張和異常紗線時頻圖1 100張，時頻圖分辨率為224像素×224像素。按照8∶1∶1的比例將數據集分為訓練集、驗證集和測試集，得到如表2所示的二分類樣本數據集分布。

表2 二分類樣本數據集分布

采用Sw為1×500的小滑動檢測窗口對上一步中類別為異常的紗線信號段做進一步分割，分別得到長粗節、短粗節、棉結、細節以及正常紗線的原始紗疵信號樣本數據，5種原始紗疵信號樣本數據集分布如表3所示。由表3可知，由于在紗線生產過程中，紗疵的出現為小概率事件，因此導致正常紗線信號段和紗疵信號段分布嚴重不平衡。此外，受原材料質量和生產環境的影響，各類紗疵的出現頻率不同，也會導致各類紗疵信號段的分布不均衡。

表3 原始紗疵樣本數據集分布

為避免因為數據分布嚴重不均衡而對紗疵識別五分類模型的訓練結果產生嚴重的消極影響，本文采取兩種數據集擴充方法來對紗疵樣本數據集進行處理。

(1)采取信號時移的方法，在保證紗疵信號完整和紗疵信號段長度不變的前提下，通過對紗疵信號進行左右時移，來實現紗疵信號數據的擴充，經CWT處理后得到紗疵時頻圖，實現紗疵樣本數據集的初步擴充。

(2)利用添加噪聲、鏡像旋轉等圖像處理手段對各類紗疵的時頻圖像數據進行處理，完成五分類紗疵樣本數據集的擴充。

對擴充后的數據集按照8∶1∶1的比例將其劃分為訓練集、驗證集和測試集，得到如表4所示的五分類樣本數據集劃分結果。

表4 五分類樣本數據集分布

4.3 試驗結果分析

4.3.1 時頻特征學習算法可行性分析

(1)紗疵識別二分類模型訓練過程的精度曲線和損失曲線如圖11所示，模型在進行100次迭代后訓練損失曲線以及驗證損失曲線趨于收斂，訓練精度可以達到96%左右，并且其在驗證集上的精度也接近94%，說明所得二分類模型可以有效識別長度為2 000的紗線信號段中是否存在紗線疵點。

圖11 二分類模型訓練過程的精度曲線和損失曲線

(2)紗疵五分類模型訓練過程的精度曲線和損失曲線如圖12所示，模型在進行25次迭代后訓練損失曲線以及驗證損失曲線趨于收斂，訓練精度可以達到96%左右，并且其在驗證集上的精度接近94%，說明所得五分類模型可以對長度為500的異常紗線信號段上存在的紗線疵點進行有效分類。

圖12 五分類模型訓練過程的精度曲線和損失曲線

4.3.2 不同CNN算法模型的性能對比

為驗證深度可分離卷積是否可以有效減少模型參數量并縮短模型的運行時間，在保持相同參數和試驗條件的前提下，本文將五分類樣本數據集分別輸入到VGG16、Resnet-34等經典卷積神經網絡模型，得出的試驗結果如表5所示。

由表5可知，采用深度可分離卷積的MobileNet-V1與其他3類算法網絡模型相比，在精度相差不多的前提下，基于MobileNet-V1的算法網絡模型單次運行時間要遠小于其他3類算法網絡模型，可以更好地滿足紗疵檢測實時性需求。此外，MobileNet-V1模型所占用的內存空間也遠小于其他3類算法網絡模型，更有利于后續將該算法模型布置在算力等級不高的移動端，既避免了高算力設備的龐大體積占用較多空間，又可以降低企業的檢測成本。

表5 不同CNN模型之間的性能對比

4.3.3 分步式紗疵檢測模型有效性驗證

為驗證分步式紗疵檢測模型的有效性，將其與單步式紗疵檢測模型進行試驗對比。試驗樣本采用長度為50 m的紗線段，經數據采樣得到紗線信號樣本點數大約為7.5萬個。

(1)單步式紗疵檢測模型性能測試。對所采集的紗線信號樣本采用尺寸為1×500的滑動檢測窗口進行信號分割，設定窗口的滑動步長為250，經CWT處理后得到二維時頻圖300張，輸入到訓練好的五分類模型中進行紗疵檢測，模型檢測總耗時約為5.00 s。

(2)分步式紗疵檢測模型性能測試。對所采集的紗線信號樣本先采用尺寸為1×2 000的大滑動檢測窗口進行信號分割，得到長度為2 000的紗線信號共38段，經第一步中二分類模型篩選后，得到含有紗疵的異常信號段共6段。采用尺寸為1×500的小滑動檢測窗口對含有紗疵的異常信號段做進一步分割，并設定滑動步長為250，最終得到長度為500的待檢紗線信號共42段，輸入到五分類模型完成紗疵分類，模型耗費的總檢測時間約為1.20 s。

為進一步確保試驗結果的可靠性，隨機選取20段長度為50 m的紗線段對模型的性能作進一步測試，得到的測試結果如表6所示。

表6 單步紗疵檢測模型和分步式紗疵檢測模型檢測性能對比

由表6可知：單步式紗疵檢測模型最長檢測耗時約8.50 s，最短檢測耗時約4.90 s，模型的平均檢測耗時約為5.80 s；分步式紗疵檢測模型最長檢測耗時約1.50 s，最短檢測耗時約0.80 s，模型的平均檢測耗時在0.95 s左右。

試驗結果表明，在不影響紗疵檢測精度的前提下，分步式紗疵檢測模型可以有效減少檢測的耗時，提高紗線疵點的檢測效率。

4.3.4 基于時頻特征學習的紗疵檢測方法有效性驗證

為驗證基于時頻特征學習的紗疵檢測方法的有效性，本文將該方法與基于深度學習的異常檢測方法和基于傳統特征工程的異常檢測方法進行比較，試驗驗證所用數據為處理后的五分類樣本數據集。

基于深度學習的異常檢測常用方法主要有LSTM(long short term memory)和1D-CNN，本文分別構建了兩層LSTM分類網絡和基于ResNet-34的1D-CNN分類網絡，來實現紗疵的分類。基于傳統特征工程的異常檢測方法通常采用經驗模態分解(empirical mode decomposition，EMD)對紗疵信號進行分解，獲得本征模態函數(intrinsic mode function，IMF)來構建紗疵特征向量，本文分別采用支持向量機(support vector machine，SVM)和K最近鄰算法(K-nearest neighbor，KNN)作為分類器，實現紗疵的分類。

采用同一組紗線信號樣本數據集對上述方法進行試驗測試，得到的紗疵檢測結果如表7所示。由表7可知，基于深度學習的2種異常檢測方法的紗疵的檢測精度要高于基于傳統特征工程的2種異常檢測方法。但是，本文所提方法的紗疵的檢測精度比基于深度學習的2種異常檢測方法的檢測精度高10個百分點左右。試驗對比結果表明，本文提出的基于時頻特征學習的紗疵檢測方法是可行的。

表7 不同異常檢測方法結果對比

5 結 語

針對現有紗疵檢測方法效率低和特征提取困難等問題，本文提出了一種基于時頻特征學習的分步式紗疵檢測方法，并以27.8 tex純棉紗為檢測對象進行試驗，試驗結果表明：基于時頻特征學習的分步式紗疵檢測方法在識別精度上比現有4種異常檢測方法高出10個百分點以上。同時，該方法檢測一根長度為50 m的紗線平均耗時僅為0.95 s，僅為單步式紗疵檢測方法平均檢測耗時的1/5，有效提高了紗疵的檢測精度和檢測效率。

但是，當前針對紗疵檢測的研究也存在一定的不足：該紗疵檢測方法目前限于試驗條件，只采用27.8 tex純棉紗進行試驗，且該方法只能識別紗疵的所屬類型，還不能有效地對紗疵進行分級。計劃在未來研究中針對其他規格紗線進行方法有效性試驗驗證，并就紗疵分級問題對方法做進一步改進。