融合空間分割注意力的織物材質識別方法

摘" 要：針對傳統神經網絡檢測織物材質精確度低、檢測速度慢的問題，提出一種融合空間分割注意力的織物材質識別算法。首先對多種材質的織物風吹視頻進行分幀處理，得到織物圖像。接著進行數據預處理，并采集織物圖像的時序信息，利用歐氏距離計算織物圖像中同一像素點在時間前后的位移量，將織物圖像進行區域劃分。將處理后的圖像輸入到注意力網絡中進行特征提取，采取深度可分離卷積（DSC）替代普通卷積，以減少網絡參數與計算量，增強網絡的特征提取能力。然后在每個卷積層后引入空間分割注意力模塊（SPAM）來增強重要特征，防止特征圖信息丟失過多，提升網絡精度。最后通過全局平均池化層和softmax層實現織物材質的識別。結果表明：所提出的織物材質識別算法能夠快速、有效地對織物材質進行分類識別，準確率達到93.9％，單張圖片檢測時間為83.14 ms，在保證識別精度的同時具有較強的實時性。

關鍵詞：織物材質識別；空間分割注意力模塊；區域劃分；卷積神經網絡；深度可分離卷積

中圖分類號：TP391.4

文獻標志碼：A

文章編號：1009-265X（2024）12-0058-10

DOI： 10.19398j.att.202403002

收稿日期：20240229

網絡出版日期：20240608

基金項目：山西省自然科學基金項目（202103021224218）

作者簡介：南科良（2000—），男，山西運城人，碩士研究生，主要從事圖像圖形處理方面的研究。

通信作者：靳雁霞，E-mail：zjc991109@163.com

織物材質識別在紡織工業［1-2］、服裝設計［3-4］等領域應用廣泛。傳統紡織行業中，利用人工檢測或復雜的機器裝置對織物材質進行識別，識別準確率和工作效率均比較低，無法滿足當今環境下對紡織行業高質量、高效率的要求。隨著織物種類的增多，這些織物材質識別的難度也加大，因此需探索一種高效率、低成本的織物材質識別分類方法。

目前織物材質的識別方法大多關注織物本身的紋理結構和纖維特征。邢寅初等［5］通過量化織物的紋理特征實現參數化建模，并進一步使用卷積神經網絡來提取織物質感圖像的底層特征，提高了織物材質識別的精度。此外，基于織物視頻的織物材質識別方法也應運而生，彭濤等［6］基于織物視頻的時序信息生成帶有粒子間相互作用力的織物力流圖，并建立織物力模型，共同探索各類織物節點間的邊來構建織物圖結構，最終利用圖卷積神經網絡實現了織物材質識別。Peng等［7］通過采集織物被風吹動時的運動信息，如光流軌跡和密集軌跡來反映織物特征，利用雙流網絡實現了織物的材質識別，但該方法在保證識別精度的同時未考慮網絡的時間復雜度。

普通卷積網絡無法提取織物豐富的特征信息，且卷積的過量堆疊導致網絡參數量過大，時間復雜度過高。因此需要探究一種低參數量、能夠增強提取特征的卷積方式。Xu等［8］提出將transformer編碼器中的線性投影層替換為DSC，利用多頭注意力進一步提取纖維特征，并進行多標簽的織物纖維識別。Cheng等［9］將DSC加入到神經網絡中，并將Densenet網絡作為基線網絡，降低了網絡的參數量，最后融合注意力機制，實現小樣本織物材質的識別。但該方法的注意力機制壓縮了通道信息，可能導致通道信息丟失，損失圖像特征信息。

融合注意力機制的圖像識別是近年的研究熱點之一，被廣泛應用于人臉表情識別［10-12］、織物疵點檢測［13］等領域。將注意力機制融入神經網絡，能自動關注圖像中的重要區域特征，提高網絡的準確性與魯棒性。但大部分注意力機制普遍依賴于直接壓縮空間維度來建模通道關系，可能導致空間信息丟失，如CBAM等混合注意力機制，通過通道融合或壓縮的方式獲取特征圖的空間重要性信息，減小了計算量，但損失了空間信息。

基于以上分析，本文提出一種融合空間分割注意力的織物材質識別算法，在數據預處理階段提取織物圖像的時序信息，采用歐氏距離計算圖像像素點時間前后的位移量；將織物圖像劃分為平坦區域與褶皺區域，以選擇最佳實驗數據集；將普通卷積層替換為DSC，以解決網絡參數量過多導致檢測速度過慢的問題；并融合空間分割注意模塊，實現網絡對特征圖空間信息的保護；同時縮減特征圖的尺寸減小計算量，以此提高網絡的運算速率。本文網絡根據各參數對織物識別準確率的影響以確定最佳網絡，以期實現對多類織物圖像的智能識別與分類。

1" 融合空間分割注意力的織物材質識別算法

針對檢測準確度低，檢測速度慢這一問題，采用卷積神經網絡對復雜結構下的織物進行材質識別。

織物材質識別主要分為以下幾個步驟：1）按幀分割織物視頻得到織物圖像，建立織物圖像庫;2）對織物圖像進行預處理，劃分織物圖像為褶皺區域與平坦區域，確定實驗數據集;3）構建卷積神經網絡，調整參數使網絡性能達到最優，并提取織物特征;4）將提取的織物特征經過普通卷積層和全局平均池化層，最后輸入到softmax分類器中得到分類結果。

1.1" 圖像預處理

從Yang等［14］公開的織物數據集中選擇棉、牛仔、亞麻、錦綸、絲綢、皮革6種類型織物組成本文數據集，并對數據集進行色彩弱化、數據增強和區域劃分操作。

1.1.1" 色彩弱化與數據增強

對數據集采用YUV（顏色編碼）方法進行預處理，將RGB 3個通道的像素值分別賦予權重，并與其對應權重相乘，得到新圖像Image，如式（1）所示：

VImage=R×0.295+G×0.578+B×0.127（1）

式中：VImage表示Image值；R表示紅色通道數；G表示綠色通道數；B表示藍色通道數。

將數據集的6類圖像進行尺寸歸一化，所有圖像像素設置為224 px×224 px，并進行平移、旋轉、隨機擾動等數據增強操作。數據增強后訓練集中每個類別的織物圖像數量增加到1000張。原始圖像、色彩弱化和數據增強后的對比結果如圖1所示。數據增強操作會對后續實驗產生一些細微影響，因此之后對數據集進行區域劃分操作，將底色與目標物體分割開，以消除數據增強對特征學習的不良干擾。

1.1.2" 圖像區域劃分

在織物材質識別任務中，織物圖像所包含的特征信息至關重要，所提取到的特征信息越多，織物的識別準確率越高。當織物被風吹動時，產生的褶皺區域蘊含的特征信息更多，因此將織物圖像劃分為平坦區域與褶皺區域。

圖像區域劃分處理方法：

一段時長為T的織物視頻，按幀分割后形成帶有時序信息的織物圖像數據集，將當前時刻圖像tk與前一時刻圖像tk-1進行對照，某處像素位移超過設置的形變參數q時，將該像素標記為形變點，由形變點組成的點集稱為形變集S1。某處像素位移未超過設置的形變參數q時，將該像素標記為未形變點，由未形變點組合成的點集稱為未形變集S2。如式（2）—（3）所示：

T = T0+T1+…+Tk-1+Tk+…+Tn（2）

Sk-Sk－1≥q，

Sk-Sk－1＜q， Sk∈S1

Sk∈S2（3）

式中：Sk表示Tk時刻的織物圖像tk中的某一像素點；q為形變參數。采用歐氏距離來計算像素點的位移，如式（4）所示：

d=（xk-xk－1）2+（yk-yk－1）2（4）

式中：d表示像素點的位移量；xk、yk表示像素點在圖像中的位置。

織物圖像的褶皺區域、平坦區域和全區域的預處理結果如圖2所示。

預處理后，整合4個備選數據集，分別是數據集1—原數據集，數據集2—褶皺數據集，數據集3—平坦數據集，數據集4—全區域數據集。

1.1.3" 數據集實驗

本文實驗的硬件環境為：內存為16 GB，處理器為Intel（R）Core（TM）i5－13600KF（4.90 GHz）的計算機上。采用PyTorch框架構建網絡，編程語言選擇Python。實驗Batch Size設置為8，學習率初始化0.0001，計算交叉熵損失時選擇衰減因子為0.98，優化器選擇Adam。Epoch設置為500。6種類型織物各1000張，共6000張，選取了4800張作為訓練樣本，1200張作為測試樣本集，改變網絡參數進行多次實驗。

本文在圖像預處理中整合了4個數據集，為了選取最佳的實驗數據集，以Densenet121作為基準網絡對每個數據集進行5折交叉驗證，數據集的第1折作為初始訓練集。數據集1、數據集2、數據集3、數據集4的識別準確率分別是87.22%、92.78%、89.85%、89.25%。結果表明，數據集2的識別準確率比其他3個數據集高2.93%～5.56%，因此選擇數據集2為實驗數據集。數據集3的識別準確率為89.85%，這是因為織物平坦區域的紋理特征相對于織物褶皺區域的紋理特征不夠豐富。

1.2" 織物材質識別網絡

1.2.1" 織物材質識別網絡的構建

卷積神經網絡有較高的精度和魯棒性，但隨著網絡層數的加深，其結構復雜度和時間復雜度會逐漸增加，使得織物材質識別速度過慢；且卷積神經網絡僅通過普通卷積并不能很好的提取織物圖像中豐富的特征，無法保證較高的織物材質識別準確率。

本文提出融合空間分割注意力的織物材質識別網絡，整個網絡分為4個部分：圖像預處理、數據集選取、特征提取和織物分類識別，織物材質識別網絡框架圖如圖3所示。在特征提取階段設計了混合深度可分離卷積模塊，并搭建織物材質識別網絡MDW-CNN。MDW-CNN網絡結構圖如圖4所示。

MDW-CNN首先經過1個3×3卷積提取底層特征，學習空間信息及通道間的相關性。同時在卷積層后引入空間分割注意力模塊（SPAM）模塊，強化網絡內部各層之間的特征關聯性。其次經過4個

結構一致的階段，每個階段分別由3個基礎塊和1個最大池化層構成。每個基礎塊中所有的DSC均采用3×3卷積核，步長設定為1，起始通道數64，并隨著網絡深度的增加，最終可提升至1024個通道。經過卷積層后連接批量歸一化、SeLU激活函數和SPAM模塊進行處理。為減小特征圖的尺寸，網絡在每個階段的最后一步加入窗口大小為3、步長為2的最大池化層執行下采樣操作。最后利用3×3卷積層進行特征映射，利用全局平均池化層進行特征信息求和，得到6個數值，輸入到softmax分類器中，得到對應織物類別預測結果。

1.2.2" 混合深度可分離卷積模塊

本文設計的混合深度可分離卷積模塊由DSC與SPAM組成，該模塊結構圖如圖5所示。首先經過1個卷積核為1×1大小的普通卷積，通過對輸入特征圖每個位置的每個通道進行加權求和，實現關鍵特征的提取。其次對輸出特征圖進行分組操作，按通道維度均勻劃分為8個部分，各部分獨立使用3×3大小、通道數為原始通道數1/8的小型卷積核拓寬感受野，進一步提升特征表達能力。然后通過2個可學習參數α和β進行自適應池化，最后將8個具有不同通道特征的部分執行拼接操作，合并后的特征通過分組卷積來重建通道維度，將帶有注意力權重的像素塊進行重標定，標定后尺寸與原始圖像大小一致，實現對重要通道的增強。

1.2.2.1" 深度可分離卷積

DSC將卷積過程拆分為2個階段，其流程如圖6所示。第1階段是逐點卷積，假設輸入DF×DF×M大小的特征圖，在特征提取階段，采用M個卷積核為DK×DK的深度卷積對每個通道獨立進行卷積操作，提取各個通道內的特征信息，并產生與輸入通道數數量相同的特征圖，特征圖大小變為D′F×D′F×M。第2階段是逐通道卷積，采用N個卷積核為1×1的通道卷積對第1階段得到的各通道特征圖進一步整合，組成D′F×D′F×N的新特征圖。普通卷積與DSC在最終輸出結構上保持一致，但DSC能有效提升網絡運行計算效率，減少參數量。DSC與普通卷積所產生的參數量之比見式（5）：

DK·DK·M·DF·DF+M·N·DF·DFDK·DK·M·N·DF·DF=1N+1DK2（5）

式中：DK表示深度卷積核的邊長；DF表示特征圖的邊長；M表示輸入通道數；N表示輸出通道數。

1.2.2.2" 空間分割注意力

在混合深度可分離卷積模塊中引入SPAM。SPAM針對特征圖進行壓縮，不考慮每一像素點與其他像素點的關系，而是考慮其在特征圖中的重要程度，盡可能地保留空間信息，通過縮減特征圖的尺寸減少計算量，滿足網絡的實時性要求。SPAM模塊結構如圖7所示。輸入特征圖采取對應操作后會得到重標定后的特征圖。

SPAM處理過程如下，輸入尺寸為H（高度）×W（寬度）×C（通道數）的特征圖F。

第一步，利用自適應機制加入池化層獲取初始特征。為了確保網絡能夠整合不同的特征信息，引入2個可學習參數α和β，α控制全局最大池化，β控制全局平均池化，利用這2個參數將最大池化特

征和平均池化特征進行融合，增強圖像特征提取階段的多樣性表達能力。經過上述操作得到FAvg、FMax2組特征圖，此時特征圖尺寸變為h×w×C，其中h=H」，w=W」，」表示向下取整操作，該池化操作有效降低了空間維度且保留了關鍵特征，得到該階段特征F1。處理過程見式（6）：

F1=α×FAvg+β×FMax（6）

式中：α和β為可學習參數；FAvg為經過平均自適應池化后的特征圖；FMax為經過最大自適應池化后的特征圖。

第二步，首先，使用IN層獲取注意力特征圖，IN層具備全局強化或抑制的能力，有助于進一步凸顯特征差異。其次，使用DSC以有效節省參數和計算資源。最后，采用Sigmoid激活函數將所學到的權重進行歸一化處理，并乘以輸入F1，得到F2。處理過程見式（7）：

F2=σ （DSC（IN（F1）））×F1（7）

式中：DSC為深度可分離卷積；σ為Sigmoid激活函數。

第三步，通道維度重建。利用分組卷積獲取特征圖的通道維度并進行重建，分組卷積數量為C/16」，將重建好的特征圖通過激活函數得到歸一化權重，獲得特征權重圖F3。處理過程見式（8）：

F3=σ （GroupConv（F2））（8）

式中：GroupConv表示分組卷積。

第四步，最近鄰插值。F3的特征圖尺寸為h×w×C。關注特征圖的所有通道，計算所有像素的注意力權重。將特征圖尺寸與原特征圖尺寸恢復一致，選擇最近鄰插值，特征圖尺寸變為H×W×C，與輸入特征圖F相乘，得到特征圖F4，處理過程見式（9）：

F4=Interpolate（F3）×F（9）

式中：Interpolate表示插值恢復。

1.2.3" 激活函數

網絡采用SeLU激活函數引入非線性轉換。SeLU函數能促進網絡實現自我歸一化，使網絡在數據傳播過程中自動保持均值接近0、方差接近1，解決深層網絡訓練中的梯度消失和梯度爆炸問題，保證輸入數據的穩定分布。SeLU函數見式（10）。

SeLU（x）=λx，

α·（ex-1），" x＞0

x≤0（10）

式中：x為輸入值，λ與α通常是2個常數：λ=1.05，α=1.67。

1.2.4" 損失函數

網絡采用交叉熵損失函數衡量真實類別與預測類別的差距。損失函數在訓練過程中能不斷優化網絡性能，使預測概率分布盡可能接近真實分布。交叉熵損失越小，網絡預測的準確率越高。交叉熵損失函數見式（11）：

H（p，q）=-∑ni=1p（xi）logq（xi）（11）

式中：xi為輸入樣本；p（xi）為輸入樣本的真實概率；q（xi）為網絡輸出預測值的概率。

2" 實驗結果與分析

2.1" 網絡訓練結果

為檢驗本文提出的織物材質識別網絡在織物材質識別上的效果，本文選擇交叉熵損失值與識別準確率為評價指標，得到網絡交叉熵損失曲線圖和網絡識別準確率曲線圖分別如圖8—圖9所示，實驗結果表明，網絡的交叉熵損失值隨著迭代次數增加而逐步降低，網絡的識別準確率隨著迭代次數增加而逐步增加。

2.2" 消融實驗

為驗證本文數據集預處理方式的有效性，選取6個織物材質識別效果較好的網絡：C+L（CNN+LSTM）、Times（Timesformer）、雙流網絡、ViViT 、v5（YOLOv5）、v8（YOLOv8），與本文網絡MDW-CNN進行對比實驗，輸入本文預處理后的數據集，比較各網絡識別準確率，得到數據集預處理方式效果對比圖如圖10所示。

由圖10可知，加入本文預處理的數據集后，7種網絡的識別準確率提高了2.4％～5.6％。相比于其他6種網絡，C+L網絡識別準確率提升最大，為5.6％，這是因為C+L網絡使用本文預處理后的數據集后，增強了后續網絡流程中對織物重要特征區域的提取。證明本文的數據預處理方法能夠關注織物圖像重點區域，對于織物材質識別準確率的提升有較大作用。

為驗證SPAM模塊的有效性，本文在MDW-CNN和其他6個網絡中加入SPAM模塊，數據集選擇原數據集，卷積層選擇普通卷積。并與未加入SPAM模塊的7個網絡進行對比實驗，比較其識別準確率，得到SPAM效果對比圖如圖11所示。

由圖11可知，加入SPAM模塊后，7種網絡的識別準確率提升了1.6％～6.6％。證明了SPAM模塊通過自適應池化與壓縮特征圖的方式對網絡的識別準確率提升有較大作用。

為驗證DSC的有效性，本文將MDW-CNN和其他6個網絡中的大部分卷積層由普通卷積替換為DSC，數據集選擇原數據集，不加入SPAM模塊。并與未加入DSC進行對比實驗，比較其識別準確率，得到DSC效果對比圖如圖12所示。

由圖12可知，將7種網絡的普通卷積替換為DSC后，網絡的識別準確率提升了0.7％～1.4％。

為了更直觀地展示各模塊對網絡性能提升的影響，將本文數據預處理方法、DSC與SPAM模塊以MDW-CNN為基線網絡進行實驗，得到消融實驗對比結果如表1所示。

由表1可知，僅使用普通的MDW-CNN網絡，識別準確率為86.7％，效果一般。加入本文數據預處理方法后，網絡精度提高為90.3％，提高幅度為3.6％；將普通卷積替換為DSC后，網絡精度提高為87.5％，提高幅度為0.8％；加入SPAM模塊，網絡精度提高為89.5％，提高幅度為2.8％。同時加入數據預處理、DSC與SPAM模塊時，網絡精度最高，識別準確率為93.9％，較普通的MDW-CNN網絡在準確率上提高了7.2％。上述實驗表明，本文數據預處理方法將織物圖像分為褶皺區域與平坦區域，并選擇褶皺數據集為實驗數據集，能有效增強數據集中織物的紋理信息表達，提升織物材質識別準確率；將普通卷積替換為DSC，并加入SPAM模塊來關注重要通道，在不損失通道信息的前提下對特征圖進行壓縮處理，能有效增強織物紋理特征的重要通道信息表達，減少特征信息丟失。3部分結合后能夠有效增強網絡性能，提高網絡識別精度。

本文引入DSC與SPAM模塊，將2部分組合成混合深度可分離卷積模塊，在MDW-CNN網絡中，基礎塊疊加了4個階段，每個階段的網絡結構相同。為了探究疊加基礎塊的最佳數量，進行了不同數量基礎塊的網絡性能對比實驗，得到結果如表2所示。

由表2可知，隨著基礎塊的增加，網絡所產生的參數量逐漸上升，與之相對應的單張圖片檢測時間也隨之上升。但是當基礎塊的數量超過12時，識別準確率開始下降。綜合網絡3方面的評價標準，選擇疊加4個階段，每個階段內基礎塊數量為3，使網絡的參數量、單張圖片檢測時間相對較低，識別準確率達到最高。

確定基礎塊數量為3后，為了驗證本文網絡的優越性，將本文網絡MDW-CNN與其他6個近年來織物材質識別效果好的網絡進行性能實驗，得到不同網絡的性能對比結果如表3所示。

由表3可知，本文方法相比于C+L、Times、雙流網絡、VIVIT、v5和v8在參數量方面降低了3.3％、48.5％、56.7％、29.3％、26.1％和12.7％，保持了低參數量。在識別準確率上，本文方法明顯高于其他網絡，識別準確率達到93.9%。且單張圖片檢測時間相較其他方法耗時最短，檢測時間為83.14 ms。通過網絡參數量、單張圖片檢測時間與識別準確率表明，本文方法能夠在低參數量與低耗時下，保持高識別準確率，證明了MDW-CNN網絡在織物材質識別任務上的優越性。

3" 結論

本文將融合空間分割注意力的卷積神經網絡應用于織物材質識別。首先按幀分割織物視頻得到織物圖像。其次對織物圖像進行預處理，并提取織物圖像的時序信息，將織物圖像處理為平坦區域與褶皺區域，在4類預處理數據集中選擇出實驗數據集。最后網絡方面采用DSC代替普通卷積，優化運算參數量，增強了織物圖像對空間變換的魯棒性，在DSC后加入SPAM模塊，針對特征圖進行自適應池化，關注織物重要特征通道信息，避免織物通道信息丟失。主要得出以下結論：

a）MDW-CNN網絡識別速度快，單張圖片檢測時間達到83.14 ms，與其他6個網絡相比檢測時間降低了0.65～12.29 ms。

b）運算參數量下降為7941056，與其他6個網絡相比參數量降低了3.3%～56.7%。

c）識別準確率達到93.9％，與其他6個網絡相比識別準確率提高了8.5%～27.2%。

d）在織物材質識別任務中，織物圖像的紋理特征非常多，SPAM模塊能夠最大可能避免通道信息的丟失，具有一定的優勢。

但本文方法僅考慮6類織物，對于某些相似度高的織物類型識別效果不佳，在之后的工作中，會進一步研究相似度高的織物類型識別。

參考文獻：

［1］王凱.探析計算機技術在紡織行業中的應用［J］.紡織報告，2020（1）： 26-27.

WANG Kai. Application of computer technology in textile industry［J］. Textile Reports， 2020（1）： 26-27.

［2］GAO X， JIN F. Limiter identification model of color difference amp; bias based on the RGB distribution of fabric image［J］. International Journal of Simulation： Systems， Science amp; Technology， 2016，17（11）.

［3］韓曙光， 姜凱文， 趙麗妍. 基于深度學習的服裝三要素識別［J］. 服裝學報，2022，7（5）：399-407.

HAN Shuguang， JIANG Kaiwen， ZHAO Liyan. Recognition of clothing \"three elements\" based on deep learning［J］. Journal of Clothing Research，2022，7（5）：399-407.

［4］付國定，陳樺，劉紅，等.數字圖像處理技術在紡織服裝領域的研究進展［J］.絲綢，2011，48（12）：22-25.

FU Guoding， CHEN Hua， LIU Hong， et al. Overview of research on image processing technology in textile and clothing field［J］. Journal of Silk， 2011， 48（12）：22-25.

［5］邢寅初，劉驪，付曉東，等.結合面料屬性和觸覺感測的織物識別［J］.中國圖象圖形學報，2020， 25（9）：1800-1812.

XING Yinchu， LIU Li， FU Xiaodong， et al. Cloth reco-gnition based on fabric properties and tactile sensing［J］. Journal of Image and Graphics， 2020， 25（9）：1800-1812.

［6］彭濤，彭迪，劉軍平，等.基于圖卷積神經網絡的織物分類研究［J］.計算機應用研究，2021，38（5）：1581-1585.

PENG Tao， PENG Di， LIU Junping， et al. Fabric classifi-cation based on graph convolutional network［J］. Appli-cation Research of Computers， 2021， 38（5）： 1581-1585.

［7］PENG T， ZHOU X， LIU J， et al. A textile fabric classi-fication framework through small motions in videos［J］. Multimedia Tools and Applications， 2021， 80：7567-7580.

［8］XU L， LI F， CHANG S. Incorporating convolutions into transformers for textile fiber identification from fabric images［J］. Textile Research Journal， 2023， 93（23/24）：5380-5390.

［9］CHENG L， YI J， CHEN A， et al. Fabric material identification based on Densenet variant networks［J］. The Journal of the Textile Institute， 2023， 114（10）：1527-1538.

［10］陳港，張石清，趙小明.采用Transformer網絡的視頻序列表情識別［J］.中國圖象圖形學報，2022，27（10）：3022-3030.

CHEN Gang， ZHANG Shiqing， ZHAO Xiaoming. Video sequence-based human facial expression recognition using Transformer networks［J］. Journal of Image and Graphics， 2022， 27（10）：3022-3030.

［11］陳公冠，張帆，王樺，等.區域增強型注意力網絡下的人臉表情識別［J］.計算機輔助設計與圖形學學報，2024，36（1）：152-160.

CHEN Gongguan， ZHANG Fan， WANG Hua， et al. Facial expression recognition based on region enhanced attention network［J］. Journal of Computer-Aided Design amp; Computer Graphics，2024，36（1）：152-160.

［12］CHEN Z， LIANG M， XUE Z， et al. STRAN： Student expression recognition based on spatio-temporal residual attention network in classroom teaching videos［J］. Applied Intelligence，2023，53（21）：25310-25329.

［13］陳夢琦， 余靈婕， 支超， 等. 融合注意力機制和Faster R-CNN的織物疵點檢測算法［J］. 紡織高?；A科學學報， 2021， 34（4）： 46-52.

CHEN Mengqi， YU Lingjie， ZHI Chao， et al. Fabric defect detection algorithm based on attention mechanism and Faster R-CNN［J］. Basic Sciences Journal of Textile Universities， 2021， 34（4）： 46-52.

［14］YANG S， LIANG J， LIN M C. Learning-based cloth material recovery from video［C］//IEEE Interna-tional Conference on Computer Vision （ICCV）. Venice， Italy. IEEE， 2017： 4393-4403.

A fabric material recognition method based on spatially partitioned attention

NAN" Keliang，" JIN" Yanxia，" WANG" Songsong，" WANG" Ting，" ZHANG" Xiaozhu，" ZHANG "Zhuangwei

（a.School of Computer Science and Technology； b.Institute of Artificial Intelligence and Computer

Vision， North University of China， Taiyuan 030051， China）

Abstract：

To achieve high-precision identification of fabric materials， reduce identification time， and improve production efficiency， it is of great significance to develop a system capable of accurately distinguishing between various fabric types. In this paper， we proposed a fabric material recognition network that incorporates spatial segmentation attention. We utilized the pre-trained DenseNet121 network for experimental dataset selection and combined depthwise separable convolution （DSC） with the spatial partitioned attention module （SPAM） to create a network structure that fulfills the demands of swift recognition and high precision.

To obtain the best performance of the network， the dataset was preprocessed by color weakening， data augmentation and region division. We collected a series of fabric images with temporal sequence information from videos showing fabrics being blown by the wind. The RGB values of critical regions were weighted and recalibrated， and random perturbations， flips， and translations were applied to the images， enhancing clarity in critical regions while suppressing irrelevant ones. The Euclidean distance was used to calculate the displacement amount around the same pixel time of the fabric image， and the image region was divided into wrinkled area and flat areas. We obtained 6，000 grayscale images of 224x224 pixels， with 1，000 fabric images per class across six categories. We constructed the proposed mixed depthwise separable convolutional neural network （MDW-CNN） using Python. Firstly， the fabric video was segmented to obtain the fabric image for data preprocessing. Then， the improved convolutional neural network was used for feature extraction， and the ordinary convolution was replaced by the DSC， which enhanced the ability of the network to extract features and reduced the network parameters and calculation. Secondly， SPAM was introduced after each convolutional layer to enhance the saliency features， prevent the loss of too much information of the feature map， and improve the accuracy of the network. Finally， fabric material recognition was achieved through the global average pooling layer and the softmax layer.

The 224 px×224 px fabric image was used to complete the experiment on the Intel processor， and the CNN+LSTM， Timesformer， two-stream network， ViViT， YOLOv5， YOLOv8 and the network proposed in this paper were compared. The results show that the proposed MDW-CNN can maintain good recognition accuracy while ensuring a low number of parameters. The network proposed in this study shows strong performance in fabric material recognition， achieving a recognition accuracy of 93.9%. Regarding network parameters， the proposed method reduced them by 3.3%， 48.5%， 56.7%， 29.3%， 26.1%， and 12.7% when compared with CNN+LSTM， Timesformer， the two-stream network， ViViT， YOLOv5， and YOLOv8， respectively.

In this study， the improved convolutional network method has been applied to the task of fabric recognition. Experimental results indicate that the improved network offers faster detection speeds， significantly reduces the number of network parameters， achieves a recognition accuracy of 93.9%， and has a detection time of 83.14 ms for a single image. Thus， it achieves real-time performance while maintaining high recognition accuracy.

Keywords：

fabric material identification; spatially partitioned attention module （SPAM）; regional division; convolutional neural network; depthwise separable convolution （DSC）