基于深度學習的SEM纖維圖像分割方法研究

文/王雯 張芳

1 引言

為了能生產出滿足服裝、裝飾及產業需求的紡織品，獲取紡織材料纖維的直徑、取向度等參數信息至關重要，而纖維參數測量，首先需要對纖維圖像進行準確分割，該工作對評價纖維性能、改進纖維材料生產工藝等具有重要意義。

傳統的圖像分割方法主要在像素集上對目標進行區分，不僅過程復雜，效率和精度較低，只局限于實驗室，通用性和抗干擾等能力方面也還有很多工作要做。[1]直到20世紀80年代末出現了基于人工神經網絡的圖像分割方法，它具有互聯結構和分布式處理單元，系統擁有良好的并行性和魯棒性。

隨著圖像處理以及機器學習等技術在各個領域的不斷深入研究與應用，在纖維圖像識別領域也逐漸開始采用計算機數字圖像處理及機器學習等技術。[2]傳統的圖像分割方法主要分為閾值分割法、邊緣檢測法、區域提取法，分割過程受參數影響大，方法局限性太大，且這些邊緣檢測都是像素級檢測，精度不高。為找到目標識別率較高、更加穩定的圖像分割方法，本文基于深度學習技術對掃描電子顯微鏡(Scanning Electron Microscope，SEM)纖維圖像的分割問題進行研究。

2 基于Mask R-CNN的SEM纖維圖像分割方法

深度學習的結構是仿照人類大腦的分層結構，相較于傳統的淺層學習，深度學習更加強調模型結構的深度，其中特征學習的重要性能被進一步突出。為實現龐大的函數逼近，深度學習采用一種深層的非線性網絡結構。深度學習的系統主要由輸入層、隱含層、輸出層而組成，只有相鄰的節點之間有連接，同一層和跨層節點之間相互無連接。

深度學習技術在被深入研究的同時，越來越多的成果被運用到生活實際中來，如CNN[3]、Fast-R-CNN[4]、Mask R-CNN[5]等都被廣泛使用，本文的試驗使用了Mask R-CNN深度學習網絡。

本文基于Mask R-CNN網絡進行纖維圖像分割研究，主要過程為：準備標注出纖維的訓練樣本和測試樣本數據；將訓練數據輸入網絡，對Mask R-CNN進行訓練；訓練完畢后，對測試圖進行檢測。本文將詳細展示訓練及測試過程。

2.1 網絡結構

Kaiming He[5]等于2017年提出 Mask-RCNN網絡結構，該網絡結構主要用于目標檢測和實體分割，Mask R-CNN的主干網絡采用了Resnet50/101+FPN 的網絡結構，在ResNet50/101的主干網絡中，使用了ResNet中Stage2、Stage3、Stage4、Stage5的特征圖，由于其自頂向下的網絡結構，可把上采樣結果和上層階段的特征圖進行元素間疊加操作，從而生成新的特征圖，這樣底層的特征圖用于去檢測較小的目標，高層的特征圖用于去檢測較大的目標。本文在并未修改Mask R-CNN網絡層數的基礎上進行研究，網絡結構如圖1。

Mask R-CNN具有幾個突出特點：1）在邊緣識別的基礎上添加一個分支網絡，用于Mask識別；2）訓練過程簡單，相對于Faster網絡而言僅多出了一個小的OVERhead結構，可以跑到5FPS；3）擴展到其他任務非常方便，比如對纖維的邊緣識別等；4）不借助Trick，在每個任務上，效果優于目前所有單模型輸入網絡，因此本文選擇Mask R-CNN網絡來進行SEM圖像分割。

圖1 Mask R-CNN的網絡結構

2.2 樣本準備

先標注訓練樣本及待測樣本中的纖維輪廓，制作成相應的二值圖。二值圖像是指每一個像素均為0或1，其灰度值沒有中心過渡的圖像，二值圖像大多數用來描述文字或者圖形。對圖像二值化處理的作用是為了方便提取圖像中的信息，二值圖像在進行計算機識別時，可以提高目標識別率。在本試驗中是為了將感興趣目標和背景分離，讓網絡只對感興趣的部分再進行處理，提高識別效率。

圖2 訓練樣本及對其標注的真值圖

2.3 訓練纖維圖像試驗

下載Mask R-CNN模型，因網絡程序中各項數值都是原始的，所以要修改程序中的對應內容，將默認文件夾地址改為存放訓練樣本的文件夾地址，鏈接好訓練樣本，修改訓練次數即可開始訓練。

由于訓練圖片比較大，因此采用交叉分割（重疊分割）方法，將訓練樣本分割為1296張尺寸為256×256圖，并標注出對應的真值圖，再將1296張訓練樣本全部輸入網絡進行訓練，為提高識別效率，分別訓練80次與100次，訓練樣本如圖3所示。

圖3 訓練樣本及其訓練結果

由訓練結果可分析，隨著訓練次數的增加，對于纖維輪廓完整的目標識別率也在增高，具體試驗結果將在下章討論。

2.4 測試圖像纖維分割試驗

修改程序中的對應內容，將默認文件夾地址改為待檢測樣本的文件夾地址，修改訓練次數即可開始訓練。

取未輸入網絡進行訓練的部分圖片作為檢測樣本集，抽取其中24張進行檢測，為提高識別效率，分別訓練50次、80次與100次，結果如圖4所示。

圖4 一幅待檢測樣本及對其訓練結果

可以看出，訓練50次與80次的結果中，纖維目標識別率并不高，而訓練到100次所得結果中，圖中纖維像素能夠被較好地識別分割，由此可推測訓練次數與目標識別率成正比關系。

經對比可以看出，訓練至100次所得結果目標識別率較高。但將訓練100次得出的結果與標準真值圖相對比，有識別率很高的結果，但其中也有誤差較大的結果。

而當訓練至100次時觀察LOSS曲線(如圖5)已經接近于平穩，說明已經達到了最佳訓練次數，再增加迭代次數會造成過擬合，故最多只訓練到了100次。

圖5 網絡的LOSS曲線

3 試驗結果分析

3.1 試驗準確度分析

為評價本文所研究的纖維圖像分割方法是否可行，選取了四類方法作為評價指標，即正確率（A）、精確率（P）、召回率（R）和評價分類模型的統計量F1-measure（F1），計算公式如下：

其中，TP表示纖維像素中被正確分于維像素類的樣本個數；TN表示背景像素中被正確分于背景像素類的樣本個數；FP表示背景像素類中被分于纖維像素類的樣本個數；FN則表示纖維像素被分為背景像素類的樣本個數。

正確率衡量的是試驗誤差大小，如果正確率較高，則說明試驗的偶然誤差較小，但它的結果也可能是不準確的。精確率指樣本中被正確預測的個數，數值越高，精確率越高。召回率亦是如此。而F1是則衡量準確率和召回率的整體性能，其數值越大就說明方法性能越好。

計算出測試圖片分別訓練50次、80次、100次的評價結果對比如表1所示。

表1 測試結果精確度對比

從表中可以看出，本文提出的纖維圖像分割方法在A、P、R、F1四個評價指標上的表現優異，隨著訓練次數的增加，F1指標接近于1，而F1值是將P值與R值二者融合后用于綜合反映整體的指標。因此，從總體上看，本文提出的纖維圖像分割方法可行，且目標識別率較高。

3.2 試驗誤差分析

分析試驗結果，可發現仍存在較大誤差，如纖維圖像的漏檢、誤檢、重復檢測等問題，如圖6所示。

圖6 幾種檢測錯誤對比

分析誤差原因，一是由試驗環境、網絡程序、硬件設備等客觀因素造成的試驗誤差。

二是由于人為因素而造成的誤差。在進行樣本處理時，將殘缺的纖維結構也歸為了待檢測纖維像素，所制作的二值圖像經后續分割后出現許多干擾，從而增加了試驗誤差。

4 總結

本文利用深度學習方法進行纖維圖像分割，并選擇了卷積神經網絡中的Mask R-CNN網絡進行圖像分割與研究。但其中仍存在很多不足，在很多方面仍需要更深入的研究，探討與改進，可以概括為以下兩點：

1）纖維圖像分割的準確率尚待提高，仍存在漏檢、誤檢與重復等問題。推測與訓練次數較少有關，后續試驗可加大訓練樣本；或與二值圖人工處理有關，嘗試重新制作待檢測圖片的二值圖，將纖維輪廓殘缺部分歸為背景像素再進行試驗，目標識別率或有提升。

2）該方法通過理論確定了Mask R-CNN網絡，未與其他優秀網絡進行試驗對比。還應在其他深度學習網絡中進行試驗，判定該網絡是否為最優分割方法。

OEKO-TEX? 2019年新規

OEKO-TEX?產品組合的現有標準已于2019年年初再次修改更新。新規定將在三個月的過渡期后，于2019年4月1日起生效。以下是一些重要更新的概述：

OEKO-TEX?已符合新“REACH附錄XVII CMR法規”的要求。

苯和四種胺鹽已被列入STANDARD 100 by OEKOTEX?和LEATHER STANDARD by OEKO-TEX?，并定義了限量值。OEKO-TEX?自2018年以來在監測喹啉，目前也已規定了限量值。

在限量值要求的“標準化”過程中，“＜”要求目前幾乎適用于所有限量值。

在上述更新實施后，STANDARD 100和LEATHER STANDARD已符合新“REACH附錄XVII CMR法規”[歐盟委員會法規(EU) 2018/1513] 的要求。該法規自2020年11月1日起將只對其中列出的33種CMR(致癌、致突變、致生殖毒性) 物質的產品強制執行。

限量值目錄新增

新增測試項目包括多種備受關注的物質：硅氧烷D4、D5和D6以及偶氮二甲酰胺(ADCA)。此外，對可萃取重金屬鋇和硒提出了要求。

在STANDARD 100 by OEKO-TEX?附錄6中，對多種參數規定了更嚴格的限量值。包括鄰苯二甲酸酯（增塑劑）、烷基酚和烷基酚聚氧乙烯醚以及全氟和多氟化合物的參數。對紡織材料中殘留物的要求越嚴格，它們對環境、工人和消費者的整體影響就越小。

新增受監測物質

2019年將兩種新產品納入監測范圍：草甘膦及其鹽類以及致癌性亞硝胺和亞硝基物質。特別是草甘膦產品，是目前除草劑的主要成分，在2017年和2018年期間受到了媒體的大量關注，并在世界各地引發了激烈的爭議性辯論。2017年底，在不同的消費群體和環保人士的抗議下，歐盟暫時將草甘膦及其他用途的批準延長至5年。采取“受監測”行動，OEKO-TEX?協會更加關注相關紡織材料中的物質群，并將更詳細地分析其情況。

擴大產品組合以實現可持續生產條件

2019年，STeP評估將擴展到皮革生產工廠。在這個整合過程中，名稱也會發生變化：“可持續紡織生產”將變更為“可持續紡織和皮革生產”，縮寫STeP保持不變。