基于Mask R-CNN深度學習的羊絨羊毛纖維識別技術

從明芳 李子印 盧鴦 韓高鋒 謝凌佳 王啟真

摘 要：為提高羊絨羊毛纖維定量的自動化程度，引入基于掩模區域卷積神經網絡（Mask R-CNN）深度學習技術，對通過光學顯微鏡采集的圖片進行圖片處理、算法模型優化，以及學習和訓練，建立起山羊絨和綿羊毛的自動識別模型。采用測試集對所建立的模型進行了驗證測試，結果表明，對山羊絨和綿羊毛纖維的自動識別正確率達到95%以上，證實了所建立的識別技術的可行性。

關鍵詞：山羊絨;綿羊毛;圖像處理;深度學習;Mask R-CNN

中圖分類號：TS102.3

文獻標志碼：A

文章編號：1009-265X（2022）02-0036-05

Recognition technology of cashmere and wool fibers based onmask R-CNN deep learning

CONG Mingfang1， LI Ziyin2， LU Yang1， HAN Gaofeng1，XIE Lingjia1， WANG Qizhen2

（1.Zhejiang Light Industrial Products Inspection and Research Institute， Hangzhou 310018， China;

2.College of Optical and Electronic Technology， China Jiliang University， Hangzhou 310018， China）

Abstract： To enhance the level of automation for wool fiber quantification， the mask R-CNN deep learning technology was introduced for the processing of the pictures collected by the optical microscope， optimization of algorithm model， learning and training. An automatic recognition model of cashmere and sheep wool was established. Through the verification test using a test set， it was found that the accuracy of automatic recognition of cashmere and sheep wool fibers reached more than 95%， confirming the feasibility of the recognition technology developed in this paper.

Key words： cashmere; sheep wool; image processing; deep learning; mask R-CNN

收稿日期：20210402 網絡出版日期：20210804

基金項目：國家市場監督管理總局科技計劃項目（2019MK031）

作者簡介：從明芳（1986-），女，浙江杭州人，工程師，碩士，主要從事紡織品檢測方面的研究。

通信作者：盧鴦，E-mail：69270913@qq.com

山羊絨纖維因條干均勻、手感柔滑、表面光澤好，被譽為“纖維之王”，素有“軟黃金”之美稱，由于產量稀少而價格昂貴[1]。山羊絨與綿羊毛同屬蛋白質纖維，在外觀形態上非常相似，但價格差距懸殊，因此有些不良商家利用這一特點在羊絨制品中摻入細支綿羊毛、改性綿羊毛等以次充好。為切實維護企業、商家利益與消費者保護權益，打擊假冒偽劣，需要對相關制品中羊絨羊毛的成分含量進行準確定量。目前對山羊絨與綿羊毛的鑒別和定量方法有顯微鏡法、掃描電鏡法、光譜法、染色法、DNA分析法等[2-5]，其中應用最廣泛的是顯微鏡法，即通過觀察山羊絨與綿羊毛在顯微鏡下纖維直徑、鱗片厚度和光滑程度、翹角大小等形態特征來進行鑒別，在區分

出纖維種類后，根據根數比計算得到含量。但是由于這些形態特征并不十分明顯，通過人工目測識別與計數，不僅對人員的專業技能要求高，耗時耗力，而且準確度受主觀因素影響較大，不同機構、不同檢測人員的檢驗結果常常會有較大的差異[6]。

隨著計算機圖像技術和人工智能技術的高速發展，應用顯微圖片與圖像處理技術結合實現自動識別已成為山羊絨纖維鑒別技術研究的發展方向之一[2]，近年來有不少將圖像識別、深度學習理論等應用于山羊絨和綿羊毛鑒別的研究和探索[6-9]，但目前市場上仍未見標準化、能廣泛使用的自動識別方法和設備。從已有的實踐探索中可知，計算機圖像識別法的結果與所建模型數據庫的完整性密切相關，不僅要求模型數據庫具有代表性，并且要有足夠的數據量，否則可能對結果造成不良的影響[1]。本文在采集大量山羊絨及綿羊毛纖維數據庫樣本基礎上，將其在顯微鏡下觀測的圖像進行存儲，通過圖片處理、算法模型優化，采用掩模區域卷積神經網絡（Mask region-based convolutional neural networks，Mask R-CNN）進行學習和訓練，期望將兩類纖維的識別準確度提高，為實現替代人工的自動識別提供參考。

1 實 驗

1.1 樣本采集

為提高自動識別數據庫的代表性，本文在纖維樣本的采集上一方面涵蓋從原料到成品，包括羊毛散纖維、羊毛毛條、羊毛織片、羊毛呢料、羊絨散纖維、羊絨織片、羊絨呢料等多種類型樣品。因為不同類型的樣品所經歷的加工過程不同，在顯微形態上可能會有所差異[10]。另一方面盡量采集得到來自不同產地、不同種類和不同品質的羊毛、羊絨樣品。

1.2 圖像采集

圖像的采集方法依據GB/T 16988-2013《特種動物纖維與綿羊毛混合物含量的測定》標準，取樣后采用切片器制備纖維縱向切片，將試樣切片放至顯微鏡載物臺上，放大500倍，調節焦距盡量使纖維邊緣顯示一細線。由專業人員采集光學電子顯微鏡下各類纖維的縱向形態圖片，通過人工識別方式對每根纖維類別進行標記。采集得到圖片15000張左右，內含約60000根纖維，用于后續的研究。

1.3 圖像處理及模型構建

1.3.1 纖維的分離

顯微鏡采集到的纖維圖像中，每一根纖維并不都是獨立、完整的，常存在纖維間的交錯，且纖維交錯的方式錯綜復雜，如圖1（a）所示。因此，首先需要將纖維與背景進行分離，將分割后的纖維圖像轉化為灰度圖像，以利于減少來自背景的氣泡或雜質干擾，并使纖維圖像輪廓得到增強，有利于接下來的分離和特征提取。然后，通過分水嶺算法，利用圖像的梯度信息，將鄰域內差值較小的像素點連接成封閉的輪廓，配合給定的標記點將圖片中的羊絨羊毛纖維分割為單根纖維。分離后的圖片如圖1（b）所示。

1.3.2 纖維圖像的紋理特征提取

顯微鏡下山羊絨和綿羊毛的外觀特征差異主要表現在纖維鱗片形狀、整齊度、鱗片表面光滑程度、厚度、粗細均勻程度及光澤等方面。綿羊毛與山羊絨顯微圖像特征如圖2所示，山羊絨在顯微鏡下光線的透過性能好、纖維毛干均勻、鱗片較薄、包覆緊密、翹角很小、鱗片間距大，而綿羊毛纖維毛干不均勻、扭轉較多、鱗片厚、翹角大、鱗片的覆蓋面較小或根本不覆蓋、鱗片間距小。在實際檢測中，往往需要綜合考慮這些特征參數， 而不能僅僅依據其中一兩個參數作出判斷。本文采用卷積神經網絡技術建立模型，在網絡的訓練過程中，梯度下降更新出的網絡模型參數會自動提取纖維的各類特征。

2 模型構建

傳統的纖維識別需要先把單根纖維分割后，獲取纖維的特征，然后利用識別算法進行分類，而Mask R-CNN卷積神經網絡能夠在完成語義分割任務的同時實現目標的分割和識別分類。對于圖像，語義分割技術不僅能識別出圖像中的目標，預測出其蒙版、包圍框，還能夠預測出目標的種類，因此本文采用Mask R-CNN卷積神經網絡進行纖維分割和識別以提高處理的效率。

Mask R-CNN卷積神經網絡結構如圖3所示，其中重要的結構有卷積主干網絡（CNN convolutional backbone）、區域生成網絡（RPN）、預測蒙版的掩模分支（Mask branch）、預測包圍框的邊框回歸（Box regression）結構、類別識別的分類（Classification）結構。

Mask R-CNN計算流程如下：

a）輸入一幅圖片，圖片應與訓練網絡時的預處理方式保持一致，如圖像RGB顏色通道的放置順序等;

b）將圖片輸入到訓練好的神經網絡中計算獲得特征圖，如本研究中用的是ResNet-50殘差神經網絡;

c）對這個特征圖中的每一區域設定一個興趣區域，這個區域稱為候選區域，這樣就可以在特征圖中獲得多個興趣區域;

d）將這些候選興趣區域送入區域生成網絡（RPN網絡）進行二值分類和邊框回歸。二值分類能區分興趣區域的前景和背景，邊框回歸能通過興趣區域選框預測目標真實選框，由此來過濾掉一部分候選區域;

e）對這些剩下興趣區域進行熱點區域對齊（ROIAlign）操作，ROIAlign取消了量化操作，使用插值使特征聚集連續，將原圖和特征圖對應進而將特征和特征圖對應;

f）對這些興趣區域進行N類分類、邊框回歸和生成對應掩模。

Mask R-CNN網絡是由深度卷積網絡發展而來的，但其中的很多結構都不相同，特定優化的結構可以提升網絡擬合能力，能提升訓練速度，減少過擬合風險，實現特殊任務執行。

3 結果與分析

3.1 Mosaic數據增強

Mosaic數據增強利用了4張圖片，對4張圖片進行拼接，每一張圖片都有其對應的包圍框，將4張圖片拼接之后就獲得一張新的圖片，同時也獲得這張圖片對應的框框，將這樣一張新的圖片傳入到神經網絡當中去學習，相當于一下子傳入4張圖片進行學習。

Mosaic數據增強時每次讀取4張圖像，分別對4張圖片進行翻轉（對原始圖片進行左右的翻轉）、縮放（對原始圖片進行大小的縮放）、色域變化（對原始圖片的明亮度、飽和度、色調進行改變）等操作。操作完成之后然后再將原始圖片按照第一張圖片擺放在左上，第二張圖片擺放在左下，第三張圖片擺放在右下，第四張圖片擺放在右上4個方向位置擺好。完成4張圖片的擺放之后，利用矩陣的方式將4張圖片它固定的區域截取下來，然后將它們拼接起來，拼接成一張新的圖片，新的圖片上含有框框等一系列的內容。

3.2 訓練過程及結果

以上實驗均是在同一臺計算機上完成的，配置如下：CPU：IntelCorei7-9700K@3.6GHz;RAM：32.0GB;RAM frequency：3000MHz;GPU：NVIDIA GeForce RTX 2080 Ti;VRAM：11GB。

訓練神經網絡時，使用的是Python語言，IDE使用的是PyCharm，深度神經網絡使用的是Pytorch庫來進行編寫，并使用Qt5.9.2進行界面設計編寫。

在訓練時，其顯存使用量約為9 GB，一次訓練耗時約11h。而在推斷時，測試300張圖像，用時95.6s，平均速度0.319幀/s。在對一個標準批次，數量為20張的圖像測試時間為6～7s。訓練數據見表1。

訓練超參數：超參數是一類必須在訓練前設定的參數值，它們不能由訓練得來。合理設定的超參數能夠減少訓練時間，降低模型損失值，提高模型魯棒性。在識別羊絨羊毛纖維時，需要根據纖維的特性，合理設置超參數。表2所示的訓練超參數表是通過多次嘗試得到的參數，這組參數能較好地實現網絡的訓練。

在設定訓練超參數時，將啟用4個數據加載器DATALOADER，以滿足運算時讀取數據的需求，加快訓練速度。由于羊絨羊毛的形狀大多都是長條形，所以將訓練錨框ANCHOR的角度設定為-90，0和90，錨框ANCHOR的長寬比例設定為0.33，1.0和3.0。網絡的訓練將使用階梯式學習率，總迭代次數MAX_ITER為30000，分別在36000和50000次時降低學習率，這樣不僅訓練速度提升，最終的模型損失值也能較低。求解器SOLVER使用的是Adam算法基礎學習率BASE_LR為0.00012，指數衰減率ρ 1=0.9和ρ 2=0.999;數值穩定小常數。

訓練結果：在測試集上，對600張圖像進行測試，結果與人工識別結果進行對比， 結果一致性在95%以上，具體測試結果如表3所示。

3.3 驗證結果分析

使用Mask R-CNN卷積神經網絡，一次性從圖像中得出纖維分類并分割，達到了較高的識別準確率，與人工檢測結果的一致性達到了95%以上，推斷速度達到了0.319幀/秒。對比其與傳統方法對羊絨羊毛纖維檢測識別能力，使用深度卷積神經網絡進行識別，其效果更加優秀。

3.4 測試實例

為了測試所建立模型的識別效果，單獨采用測試集的100張圖片（其中純羊毛和純羊絨各20張圖片，綿羊毛與山羊絨混合的60張圖片），輸入所建立的羊毛羊絨自動識別模型進行測試，以圖片中每根纖維的識別準確性（與人工判別一致性）為評價標準，針對每張圖片，對應輸出識別結果。輸出方式如圖4所示。

經統計，20張純羊毛圖片含羊毛140根，識別正確134根;20張純羊絨圖片中含羊絨128根，識別正確123根;60張羊毛羊絨纖維混合的圖片中，含羊毛120根，羊絨75根，識別正確187根。與人工識別結果相比，纖維自動識別正確率達到95%以上，說明模型能夠較好地實現對兩類纖維的自動判別。具體統計結果見表4。

4 結 論

本文介紹了基于深度卷積神經網絡技術深度學習的羊絨羊毛纖維識別模型建立過程，分析了圖像處理及模型構建中數據增強及訓練過程，并采用測試集對所建立的模型進行了驗證測試，形成結論如下：

a）通過大量山羊絨及綿羊毛纖維顯微圖片樣本的訓練，將兩類纖維的識別準確度提高到95%以上，為實現替代人工的自動識別奠定了堅實基礎。

b）由于山羊絨及綿羊毛纖維在顯微鏡下的形態差異本身并不明顯，且有的樣品經過織造或染整加工，纖維形態會發生部分變化，采用經典目光法判斷時，不同人員之間的結果也會存在一定的分歧，還需要采集更多的山羊絨及綿羊毛纖維樣本擴充數據庫， 同時優化算法，以進一步提高識別的精準程度，實現將其應用于實際檢驗，建立起比傳統人工識別更客觀、高效的檢測方法。

參考文獻：

[1]顧昊，王滿，閆暢，等.羊絨纖維鑒別方法綜述[J].中國纖檢，2017（1）：69-71.

GU Hao， WANG Man， YAN Chang， et al. Review on the detection methods of cashmere fiber[J]. China Fiber Inspection， 2017（1）： 69-71.

[2]馬海，吳桂芳，李志東，等.山羊絨纖維鑒別技術的現狀與發展趨勢[J].毛紡科技，2017，45（3）：5-9.

MA Hai， WU Guifang， LI Zhidong，et al. Current situation and development trend of cashmere identification technology[J].Wool Textile Journal，2017， 45（3）： 5-9.

[3]劉心如，張利平，王建福，等.可見-近紅外漫反射光譜技術對羊毛和羊絨的鑒別研究[J].光譜學與光譜分析，2013，33（8）：2092-2095.

LIU Xinru， ZHANG Liping， WANG Jianfu，et al. Use of visible and near infrared reflectance spectroscopy to identify the cashmere and wool[J].Spectroscopy and Spectral Analysis， 2013，33（8） ：2092-2095.

[4]陳國培，賴心田，唐復潤，等.羊毛及羊絨制品實時熒光PCR鑒定方法研究[J].紡織導報，2013（2）：88-91.

CHEN Guopei， LAI Xintian， TANG Furun， et al. Real-time PCR identification of wool and cashmere products[J].China Textile Leader， 2013（2）：88-91.

[5]董曉東，楊素英，丁楠，等.DNA分析技術在動物纖維鑒別領域的研究進展[J].中國纖檢，2015（17）：70-72.

DONG Xiaodong， YANG Suying， DING Nan， et al. The research advances of DNA technology in identiifcation for animal fibers[J]. China Fiber Inspection， 2015（17）：70-72.

[6]季益萍，王瑞，楊鎖廷，等.計算機圖像識別技術檢測羊絨羊毛混紡比[J].毛紡科技，2008，36（10）：58-60.

JI Yiping， WANG Rui， YANG Suoting， et al. Identifying blend ratio of wool and cashmere by computer image recognition technology[J].Wool Textile Journal， 2008， 36（10）： 58-60.

[7]邢文宇，鄧娜，辛斌杰，等.基于多特征融合圖像分析技術的羊毛與羊絨鑒別[J].紡織學報，2019，40（3）：146-152.

XING Wenyu， DENG Na， XIN Binjie， et al. Identification of wool and cashmere based on multi-feature fusion image analysis technology[J].Journal of Textile Research， 2019， 40（3）： 146-152.

[8]王軍慶，馬佩佩，李保榮，等.基于圖像處理的羊毛/山羊絨鑒別方法研究進展[J].紡織科技進展，2020（9）：8-11.

WANG Junqing， MA Peipei， LI Baorong， et al. Research progress of wool/cashmere identification method based on image processing[J].Progress in Textile Science & Technology， 2020（9）： 8-11.

[9]劉爽，許忠保，李春橋，等.基于數字圖像處理的羊絨與羊毛識別研究[J].棉紡織技術，2019，47（10）：30-34.

LIU Shuang， XU Zhongbao， LI Chunqiao， et al. Study on the recognition of cashmere and wool based on digital image processing[J].Cotton Textile Technology， 2019， 47（10） ： 30-34.

[10]盛冠忠，李龍.關于山羊絨鑒別有關問題的探討[J].毛紡科技，2007，35（12）：52-55.

SHENG Guanzhong， LI Long. Study on distinguishing problem of cashmere fiber[J]. Wool Textile Journal， 2007， 35（12）： 52-55.