基于改進YOLOv3的棉花異性纖維檢測

巫明秀， 吳 謹*， 張 晨， 朱 磊

(1. 武漢科技大學 信息科學與工程學院，湖北 武漢 430081； 2. 冶金自動化與檢測技術教育部工程中心，湖北 武漢 430081)

1 引 言

棉花作為棉紡業的重要基礎原料，對促進國民經濟和生產發展具有重大意義。但是棉花中易摻雜異于棉花的異性纖維(簡稱異纖)，會影響棉紡織品的品質和生產效率。因此，棉花異纖檢測系統作為棉花異纖清除機的重要組成部分，其檢測的準確性和快速性會影響棉花分揀的質量和效率。如何智能、高效且快速地檢測出棉花中的異纖是棉產品加工需要解決的重要問題。

近年來，國內外關于棉花異纖檢測的研究取得了一些進展。Gamble[1]和Mustafic[2]通過熒光光譜法實現了棉花異纖的檢測。郟東耀和丁天懷[3]提出一種多波段光譜信息融合成像檢測方法實現棉花異纖的檢測。此類研究需要使用光譜儀，且增加新樣本時需要重新尋找合適的光譜范圍來進行檢測。杜玉紅[4]等人采用聚類統計RGB圖像信息的方法實現異纖的識別定位。師紅宇[5-6]等人構建圖像的灰度和方向特征差分圖進行異纖的檢測。此類研究多基于傳統圖像處理方法進行異纖檢測。楊文柱[7-8]等人提出基于遺傳算法、支持向量機(SVM)的異纖檢測方法。

2014年R-CNN[9]的提出，使得基于深度學習的目標檢測算法受到越來越多的關注。卷積神經網絡特征提取方法的泛化性能優于傳統人工特征提取方法，在醫學[10]、道路檢測[11]等不同場景的圖像分類和檢測任務中均得到了廣泛應用。但是深層神經網絡存在計算復雜度較高的問題。2017年Andrew G.Howard[12]提出了可移植于移動端或嵌入式設備的輕量級MobileNets網絡進行目標分類，采用了深度可分離卷積，減少了計算量，檢測速度得到了明顯提升。

目前鮮有研究將深度學習網絡應用于棉花異纖檢測，且研究的試驗數據多為專用實驗室測試平臺采集的幾十或百張圖像，對實際設備現場采集圖片的檢測效果尚需進一步驗證。為此，本文基于YOLOv3[13]多尺度特征融合網絡架構，引入MobileNets作為特征提取器，并提出一種分段式學習率來優化訓練網絡，采集了5 099張現場實際棉花異纖圖像進行網絡訓練，并使用圖像數據增廣方法擴充數據集，以實現棉花異纖的檢測。

2 試驗數據

2.1 圖像數據采集

目前網絡上尚無數量大且類型統一的棉花異纖公開數據集。本文的數據集使用棉花異纖清除機上的CCD攝像機進行圖像采集。獲取的棉流圖視頻數據如圖1所示，然后再以132×50分辨率進行抽幀裁剪。數據集共有5 099張圖像，棉花異纖種類分為4種：分別為塊狀異性纖維(死棉、廢紙、塑料薄膜、地膜、雞毛)、塊狀偽異纖(黃棉花、棉葉)、條狀異性纖維(丙綸絲、絨線)，以及條狀偽異纖(棉秸稈)。4種棉花異纖圖像示例如圖2所示。

從數據集中選取80%的圖像作為訓練集(4 079張)，20%的圖像作為測試集(1 020張)。完成數據集的采集后，使用LabelImg軟件對原始數據集進行手工標注，標注情況如表1所示。

圖1 CCD攝像機拍攝棉流圖Fig.1 Cotton flow image taken by CCD camera

圖2 棉花異纖圖像示例Fig.2 Example of foreign fiber images

表1 訓練集和測試集中各類別標注框的個數

2.2 圖像數據增廣處理

圖像增廣可以增加圖像樣本的多樣性，提高訓練模型的泛化能力和魯棒性。本文采用了增強對比度、增加亮度、添加高斯噪聲、水平鏡像、裁剪、平移共6種方法進行圖像增廣，同時對標注框的位置也進行相應的操作。對棉花異纖圖像進行圖像增廣處理后的結果示意圖如圖3所示。

圖3 棉花異纖圖像增廣示例Fig.3 Example of foreign fiber image augmentation

3 棉花異纖圖像檢測模型構建

3.1 改進的YOLOv3模型結構

YOLOv3是基于回歸的目標檢測算法。該網絡不需要生成區域建議框，直接將圖像輸入至網絡中回歸檢測目標，反向傳播可以貫穿整個網絡。由于實驗數據集的圖像分辨率低，因此將YOLOv3原有的Darknet53特征提取網絡替換為結構更簡單、運算復雜度更低的MobileNets網絡，并取消了MobileNets分類網絡最后的池化層和全連接層。MobileNets網絡共27層，其結構如表2所示，其中conv為標準卷積，conv dw為深度卷積。

表2 MobileNets結構Tab.2 MobileNets structure

續 表

MobileNets網絡采用深度可分離卷積來減少計算量，將標準3×3卷積分兩步進行：(1)深度卷積，按照通道與3×3卷積核進行按位相乘計算。(2)使用1×1的點卷積進行標準卷積運算。標準卷積的計算量為DF×DF×DK×DK×M×N，而深度分離卷積的計算量為DK×DK×M×DF×DF+1×1×M×N×DF×DF。因此，通過深度可分離卷積，計算量將會下降(1/N+1/DK2)倍，其中DF為特征圖尺寸，DK為卷積核尺寸，M為輸入通道數，N為輸出通道數。

目標位置預測步驟如下：(1)重置圖像尺寸，將原始圖像劃分為13×13的網格。(2)利用劃分的網格回歸預測目標的相對位置，每個網格預測3個錨點框。(3)采用非極大值抑制法(NMS)過濾掉置信度和IoU(Intersection over Union)較低的錨點框。對每個錨點框預測置信度、邊界框的中心坐標(x,y)、寬w和高h，分別記為to，tx，ty，tw，th。則修正后的錨點框的中心坐標、寬和高分別為：

(1)

式中，(cx，cy)表示錨點框中心所在單元格相對于圖像左上角在x軸和y軸上的偏移量；pw表示原始錨點框的寬度；ph表示原始錨點框的高度。

圖4 MobileNets-YOLOv3算法框圖 Fig.4 Schematic diagram of MobileNets-YOLOv3 algorithm

改進后的YOLOv3算法(簡稱MobileNets-YOLOv3)采用多尺度特征融合的方式，將28×28、14×14、7×7三種不同大小的特征圖進行拼接以檢測目標。由于在下采樣過程中會丟失部分圖像信息，故結合多尺度特征圖進行檢測可以提高分類準確率和位置預測準確度。MobileNets-YOLOv3算法結構如圖4所示。其中conv_block為標準卷積加上正則化和Leaky ReLu激活層組成的模塊。

3.2 損失函數的計算

MobileNets-YOLOv3算法使用交叉損失熵方法進行置信度損失(confLoss)、分類損失(probLoss)和邊界框坐標損失(xyLoss)的計算，使用總方誤差法(Sum-Squared Error)進行邊界框寬高損失(whLoss)的計算。各損失函數的計算公式如下：

(2)

(3)

(4)

(5)

4 模型訓練與試驗結果分析

4.1 試驗環境

本文使用TensorFlow深度學習框架實現MobileNets-YOLOv3算法。電腦配置為Inter(R) Core i7-8750H CPU @ 2.20 GHz處理器，16G運行內存，256GB SSD+1T硬盤容量，6GB GTX 1060 GPU，操作系統為Windows 10。使用Pycharm 2018.2.3編譯器，并配置了CUDA 9.2.217，cuDNN 7.2.1進行GPU加速計算。采用TensorBoard可視化工具分析訓練模型的性能。

4.2 棉花異纖檢測網絡訓練

棉花異纖檢測網絡的訓練流程如圖5所示。

圖5 棉花異纖檢測訓練流程Fig.5 Training process of cotton foreign fiber detection

首先對采集的棉花異纖數據集進行邊界框的手工標注，將數據集按8∶2的比例分為訓練集和測試集，然后對訓練集進行圖像增廣操作，同時訓練集的標注框也進行相應的操作，最后使用MobileNets-YOLOv3為訓練網絡，獲得檢測模型，并利用測試集進行檢測驗證。

設置合理的網絡超參數能更有效地訓練網絡且能提高檢測結果的精確度，具體設置如表3所示。

表3 超參數表Tab.3 Hyper parameters

在網絡訓練中，學習率通常采用指數衰減法進行網絡優化。指數衰減法學習率(簡稱ED_LR)如式(7)所示，式中step表示當前迭代步數，初始學習率α0=1×10-4，衰減速度decay_steps=1 020。

(7)

圖6 分段式學習率變化曲線Fig.6 Curve of segmented learning rate

為了提高網絡訓練性能，本文對學習率進行了改進，將學習率劃分為兩個階段(如圖6所示)：第一個階段從0開始線性增加學習率，避免總損失函數出現無窮大的現象；第二個階段采用余弦函數非線性減小學習率，避免出現梯度震蕩，總損失函數不收斂的現象。改進后的分段式學習率(簡稱S_LR)如式(8)所示。設置最大學習率為1×10-4，學習率最后減小至1×10-6，式中，第一階段截止步數wsteps=5 099，總訓練步數tsteps=203 950。

(8)

4.3 試驗結果與分析

4.3.1 評價指標

本文選取平均準確率(mAP)和幀速率作為整個模型檢測效果的評價指標。AP(Average Precision)指的是Precision- Recall曲線與橫軸包圍的面積，mAP為所有類的AP值取平均，計算公式如下：

(9)

(10)

(11)

(12)

4.3.2 試驗結果與分析

采用4.2節設置的參數進行棉花異纖檢測網絡的訓練。訓練模型的總損失函數約8萬步時開始收斂，第200輪時，置信度損失為2.5×10-4，邊界框的位置預測損失為0.103 3，分類損失為0.099 2，總損失為0.202 6。

選擇保存的第200輪訓練模型分別對訓練集和測試集進行檢測，得到的結果如圖7所示。由圖7(a)可知，訓練集的預測準確率達到90%以上，且塊狀偽異纖的誤檢率最低，表明了該訓練模型能有效地學習訓練集樣本數據的特征。由圖7(b)可知，測試集的預測準確率平均為80%，對塊狀偽異纖的檢測效果最好，而條狀異纖的誤檢率最高，表明該檢測模型具有泛化性，對測試集的棉花異纖具有較好的檢測效果。

(a)訓練集上的檢測結果比較(a) Comparison of the number of detected objects in train dataset

(b)測試集上的檢測結果比較(b) Comparison of the number of detected objects in test dataset圖7 數據集檢測目標數對比Fig.7 Comparison of the number of detected objects in dataset

圖8給出了6張測試集圖像檢測結果圖。前4張均為預測正確的結果圖，且置信度均高于0.96。圖8(e)為誤檢的結果圖，將條狀偽異纖檢測為塊狀異纖(置信度為0.54)和條狀偽異纖(置信度為0.81)，圖8(f)為測試集里唯一一張漏檢的結果圖。

圖8 檢測效果Fig.8 Detection results

4.3.3 圖像數據增廣對模型的影響

本文對數據增廣前、后訓練的模型檢測結果進行了對比試驗。試驗結果如表4所示，其中策略A表示未對原圖像數據進行增廣處理，策略B表示對原始數據進行了增廣處理。由表4可知，經過圖像增廣后訓練的檢測模型mAP提高了3.6%，訓練時長縮短了0.46 h。表5給出了不同訓練集各類別異纖的AP值結果。由表5可知，訓練集經過圖像增廣后，塊狀異纖、塊狀偽異纖，條狀異纖和條狀偽異纖的AP值分別提高了1.35%，4.65%，4.72%和3.65%。

表4 不同訓練集檢測指標對比Tab.4 Comparison of results in different training sets

表5 不同訓練集各個類別的AP值對比Tab.5 Comparison of AP in different training sets %

綜上，圖像增廣后，雖然訓練模型時的收斂速度略有減慢，但是改善了模型的過擬合現象，提高了訓練網絡的檢測準確度，且加快了訓練速度，是一種有效的數據處理方式。

4.3.4 學習率的改進對模型的影響

分別使用分段式學習率、指數衰減法學習率訓練模型，檢測結果對比如表6所示。使用分段式學習率訓練的模型在測試集上的mAP比指數衰減法高了5.64%，除了塊狀異纖的AP值略微下降了0.26%，塊狀偽異纖、條狀異纖和條狀偽異纖的AP值分別提高了8.98%、5.85%和7.99%。綜上，分段式學習率能夠加強訓練模型的學習效果，提高檢測的泛化能力。

表6 不同學習率在測試集上的AP值對比Tab.6 Comparison of AP in different learning rate %

4.3.5 與改進前網絡檢測結果的對比

分別以MobileNets和Darknet53為特征提取網絡的檢測結果如表7、表8所示。訓練集的檢測結果mAP比改進前提高了1.85%，測試集的檢測結果mAP比改進前提高了2.03%，且幀速率加快至3倍，訓練時間縮短至1/4倍。MobileNets的網絡層數是Darknet53網絡的1/2倍，針對數據集尺寸較小的特點，減少特征提取次數有利于檢測結果精度的提高。同時，MobileNets采用的深度分離卷積減少了大量的計算量，因此幀速率有大幅度提高。實驗結果表明改進后的檢測模型具有更高的準確度和更好的實時性，誤檢率和漏檢率明顯降低。

表7 改進網絡前后檢測結果對比

表8 改進網絡前后各個類別的AP對比

4.3.6 與其他檢測模型的對比

將本文算法與另外兩種卷積神經網絡Faster R-CNN[14]、SSD_300[15]的檢測效果進行了對比，結果如表9所示。由表9可知，Faster R-CNN的檢測準確率最高，比本文的MobileNets-YOLOv3算法高2%，但是其幀速率只有6.58 f·s-1，同時網絡訓練時間最長，為116.63 h。主要原因是Faster R-CNN用區域生成網絡生成2 000多個可能包含目標的候選區域，然后用CNN對每個候選區域進行分類，復雜的框架增加了網絡的計算量。Faster R-CNN無法滿足實時性的需求。而SSD_300無論在檢測精度和檢測速度上都差于本文算法，主要原因是SSD_300模型低級的特征圖存在特征提取不充分問題，檢測異纖這種小目標誤檢率較高。

表9 不同檢測模型的對比Tab.9 Comparison of different detection models

綜上，本文提出的MobileNets-YOLOv3檢測模型相較于Faster R-CNN、SSD_300深度學習算法，在保證精度的前提下，訓練時間大幅縮減，且幀速率達到了66.67 f·s-1，可以滿足工業檢測對實時性的需求。

5 結 論

(1)提出了一種基于MobileNets-YOLOv3的棉花異性纖維檢測方法，以及一種分段式學習率優化方式，并采用了圖像數據增廣的數據處理方式，對測試集的準確率mAP為84.82%，幀速率達66.67 f·s-1。

(2)與YOLOv3算法相比，采用MobileNets作為特征提取網絡的改進YOLOv3檢測算法，mAP值提高了2.03%，幀速率加快至3倍，訓練時間縮短至1/4倍，具有更高的識別準確度，實時性優勢明顯。

(3) 改進的分段式學習率優化方法比常用的指數衰減法能更好地訓練檢測網絡，在測試集上的mAP值提高了5.64%。對原始圖像數據進行數據增廣后，訓練模型在測試集上的mAP值提高了3.6%，可以改善過擬合現象。

(4)與卷積神經網絡Faster R-CNN和SSD_300相比，本文算法總體性能最佳，既能保證較高的檢測精度，又能保證檢測效率，符合棉花異纖檢測準確率及實時性需求。