基于改進YOLO深度卷積神經網絡的縫紉手勢檢測

王曉華， 姚煒銘， 王文杰， 張 蕾， 李鵬飛

(西安工程大學 電子信息學院， 陜西 西安 710048)

視覺與機器人技術在紡織業的應用促進了紡織業的發展[1-2]。在對柔軟織物進行縫紉時，人與機器人協作完成生產任務，能夠更充分融合機器人與熟練工人各自技術優勢，比機器代人方式更具有研究意義。機器人對工人準確、高效的縫紉手勢識別，是實現人與機器人協作互動的關鍵。機器人依靠視覺信息的手勢識別一般分為傳統人工設計、提取特征方式的識別和深度學習手勢識別2類[3-4]，具有代表性的研究中：文獻[5]通過手工設計特征方式將手部幾何特征與掌紋、手部靜脈等特征進行融合來表示手勢；文獻[6]通過方向梯度直方圖提取手勢特征，并通過神經網絡進行手勢識別，但人工特征方法難以適應手勢的多樣性，尤其在環境復雜或者光照導致圖像中存在膚色相近區域或者陰影時，識別率變差。

深度學習方法能夠更好地獲取圖像高層次、多維度的特征表示并實現復雜環境下的檢測識別[7-8]。 快速區域卷積神經網絡(faster R-CNN)[9]、掩膜區域卷積神經網絡(mask R-CNN)[10]等基于區域的目標檢測算法有較高的檢測精度，但檢測速度較慢；YOLO(you only look once)[11-12]、單次多盒檢測(SSD)[13]等基于回歸的目標檢測算法，采用端到端的檢測，具有較快的檢測速度，但這些方法在檢測速度和精度方面還具有一定提升空間。

縫紉車間中，24 h作業環境中的光照變化較大，工人手部動作速度變化不一，尤其是內包縫、卷邊縫、裁剪布料、抽褶縫等手勢相似度大難以檢測。針對上述問題，本文構建了縫紉手勢數據集并提出了一種基于YOLOv3的縫紉手勢檢測網絡。通過對原始YOLOv3網絡結構改進及參數微調，以適應特定縫紉手勢識別任務，進一步提高模型精度。在不同光照條件、背景復雜場景下，研究改進后的模型的檢測識別效果。

1 YOLOv3目標檢測算法

YOLOv3目標檢測算法將檢測問題轉化為回歸問題，相比其他算法，在實時性方面表現突出，可滿足機器人對縫紉手勢實時交互理解的需求。該網絡使用多尺度預測來檢測最終目標，網絡結構上比YOLOv2更復雜，檢測速度、精度均有顯著提升。多尺度的預測能更有效地檢測小目標。YOLO檢測過程如圖1所示。

圖1 YOLO檢測過程Fig.1 YOLO testing process

網絡將每張圖片劃分為多個網格。如果縫紉手勢的中心落入網格中，則該網格負責檢測目標。每個網格預測邊界框及其置信度分數，以及類別條件概率。當多個邊界框檢測到同一目標時，使用非最大抑制(NMS)方法選擇出最佳邊界框。

2 YOLOv3改進模型

YOLOv3雖然在目標檢測領域有較好的檢測效果，但其主要是針對通用數據集實現的，對于縫紉手勢識別特定場景需再進行調整，以適應縫紉手勢實時檢測任務。在實際縫紉作業中，4種縫紉手勢(內包縫S1、卷邊縫S2、裁剪布料S3、抽褶縫S4)之間相似性高，手勢間差異往往存在于小目標區域，識別難度大，因此，需在滿足實時性要求下，通過采用高分辨率特征圖輸入，減少YOLOv3在檢測小區域出現的漏檢、誤檢現象。原始的YOLOv3網絡采用由殘差網絡(ResNet)構建的Darknet-53網絡作為基本網絡實現特征的提取，更深的網絡則會使得底層特征信息逐漸消失。受密集連接網絡(DenseNet)啟發，在Darknet-53網絡基礎上，通過在較低分辨率的原始傳輸層增加DenseNet密集連接，縮短前后層網絡之間連接，可增強手勢特征的傳遞并促進特征重用和融合，進一步提升檢測效果。

改進后的YOLOv3網絡結構如圖2所示。首先將輸入圖像調整為512像素×512像素，替換原始416像素×416像素的圖像。然后采用由4個密集層組成的密集結構替換原始第10層(分辨率為 64像素×64像素)和第27層(分辨率為32像素×32像素)采樣層。在密集結構中，輸入特征圖為之前所有層的輸出特征圖的拼接。

圖2 YOLO改進的網絡結構Fig.2 YOLO improved network structure

本文傳遞函數采用BN-ReLU-Conv(1×1)+BN-ReLU-Conv(3×3)的形式。其中1×1卷積核用于降維,防止輸入特征圖通道過大。

在64像素×64像素分辨率和32像素×32像素分辨率的層中：由輸入x0和輸出x1拼接的特征圖[x0,x1]作為H2輸入；x2和[x0,x1]被拼接成[x0,x1,x2]用作H3的輸入；x3和[x0,x1,x2]被拼接成[x0,x1,x2,x3]作為H4的輸入；最后，拼接成64像素×64像素×256像素和32像素×32像素×512像素尺寸特征圖向前傳播。在訓練期間，當圖像特征被轉移到較低分辨率層時，深層特征層可在密集結構中接收其前面的所有特征層的特征，從而減少特征損失，增強特征復用，提高檢測效果。本文輸出采用3種不同尺度的邊界框(64像素×64像素、32像素×32像素和16像素×16像素)對縫紉手勢進行檢測。

3 模型訓練與調整

3.1 數據預處理

3.1.1 縫紉手勢數據集采集

縫紉手勢數據集樣本主要來自制衣廠收集與網絡爬蟲。樣本圖像由多位縫紉工采集，每幅圖像的分辨率約為512像素×512像素，通過數據增強后樣本總數量6 670副，包含4種縫紉手勢類別，其中內包縫手勢目標 1 600 個、卷邊縫手勢目標 1 660個、裁剪布料手勢目標1 700個和抽褶縫手勢目標 1 710 個。數據集中訓練集、驗證集和測試集樣本比例約為6∶2∶2。

3.1.2 數據集增強

為增強實驗數據集的質量與豐富性，消除在同一時間采集圖片光照強度不均勻的情況，本文通過傳統的圖像增強技術方法對采集的4種縫紉手勢圖像分別在顏色、亮度、旋轉和圖像模糊方面進行預處理來增強訓練數據，并將同一類別圖片添加至同一類別數據樣本中。數據集增強數量如表1所示。

表1 數據增強方法生成的圖像數量Tab.1 Number of images generated by data enhancement method

顏色校正：在不同的照明條件下，采集的圖像顏色和真實顏色之間存在一定的偏差，采用灰色世界算法(gray world)消除光照對顯色性的影響，并將處理后的圖片添加到訓練數據集中。

圖像亮度：車間24 h生產時，不同光照強度對圖像的影響可通過圖像亮度變換模擬。亮度值變換過高或過低會影響手動標注邊界框的精度，抑制模型性能，選擇亮度變化的范圍控制在0.6～1.5倍，以范圍為0.9～1.1倍隨機生成多幅圖片供訓練使用。

圖像旋轉：為增強訓練模型對不同成像角度的魯棒性，隨機旋轉原始圖像90°、180°、270°以及鏡像操作，并將140個變換圖像附加到訓練圖像集。

圖像模糊：考慮相機調焦以及移動等情況導致的模糊問題會影響檢測結果，通過顏色、亮度和旋轉增強等方法隨機模糊圖像，以進一步增強檢測模型對模糊圖片的檢測能力。

3.1.3 數據集標柱

在縫紉手勢數據集構建中，目標的類別和邊框數據信息通過lambel軟件獲取，并保存為PASCAL VOC 數據集的格式，具體格式分別包含label(類別序列)，x(目標中心點x坐標)，y(目標中心點y坐標)，w(標注框寬)，h(標注框高)，如下式所示。

式中：xmax、ymax為邊框右下角坐標；xmin、ymin為邊框左上角坐標；a、b分別為圖像寬和高。對標注數據進行歸一化處理，便于訓練不同尺寸的圖像及更快地讀取數據。

3.2 模型的訓練參數設置調整

所有的訓練和測試均在深度學習工作站進行，工作站的主要配置為 PC Intel Core(TM) i7-6800k CPU3.80 GHz、12 GB 的 GPU GeForce GTX 1080Ti顯卡 和 128 GB 的運行內存。程序在 Windows10 系統下，采用 C++語言編寫并調用并行計算架構(CUDA)、英偉達神經網絡庫(Cudnn)、開源計算機視覺庫(OPENCV)運行。

模型訓練使用官網預訓練權重文件初始化網絡權重參數，加快模型收斂。訓練參數部分根據經驗設置，訓練參數值如表2所示。為減輕顯卡壓力，尋求內存效率和內存容量之間的最佳平衡，訓練時采用64個樣本數量作為一批樣本數量，每批樣本更新一次參數，并將每批樣本數量分割8次分次送入訓練器。

表2 網絡訓練參數Tab.2 Network training parameters

訓練時采用隨機梯度下降(SGD)算法對網絡模型進行優化。學習率(learning rate)按迭代次數調整策略，初始學習率為0.001，當模型迭代到 8 000 和 9 000 次時學習率衰減10倍。在開始訓練時設置burn_in參數用于穩定模型，burn_in設置為 1 000，在更新次數小于1 000時，學習率策略由小變大，當更新次數大于1 000時，則采用設置的學習率從大到小更新策略。

YOLOv3中合適的先驗框維度直接影響到手勢檢測的速度和目標框定位精度，為得到最佳先驗框維度，對所有樣本數據集的邊界框采用K-means聚類分析來找到適合本樣本數據的9組先驗框維度。訓練時使用的9組先驗框維度為(121,82)、(163,98)、(158,154)、(205,119)、(239,150)、(203,218)、(302,179)、(316,253)、(324,351)，將其尺寸從小到大排列，均分到 3 個不同尺度的特征圖上，其中，尺度更大的特征圖使用更小的先驗框。最后，將用此先驗框維度進行檢測實驗。

3.3 模型的訓練

最終模型共訓練5 000次，耗時6 h，共訓練使用了4 000幅圖像(在4 000幅圖像中隨機抽取并重復使用)。在訓練過程中，通過繪制模型損失曲線觀察訓練動態過程，其對應的損失值變化曲線如圖3 所示。可看出：模型在前期迭代中損失值快速縮減，模型快速擬合；當迭代訓練2 000次后，損失值下降放緩；當迭代至5 000次時，損失值收斂至 0.002 5，結束訓練。

圖3 模型損失曲線Fig.3 Model loss curve

通過計算預測邊界框和真實邊界框之間的平均交并比(IOU)來進一步評估模型的檢測性能，結果如圖4所示。可知，隨著模型迭代次數的增加,真實框與預測框的模型平均交并比在不斷提升，在迭代次數為5 000時，模型交并比趨于0.9。

圖4 平均交并比變化曲線Fig.4 Average cross-sectional ratio curve

4 實驗結果與分析

4.1 模型評估指標

本文實驗采用精確度、召回率、平均精度均值(mAP)和基于精確率與召回率的調和平均值(F1)客觀評價標準來評估模型的泛化能力。

4.2 最佳模型選擇

在訓練時每迭代100次輸出一次權重，共獲得50個權重模型，通過計算每個權重的mAP值篩選出最佳模型，結果如圖5所示。可看出，在迭代次數達到2 000左右時，mAP值趨于穩定，進而選擇最高mAP值(91.80%)作為最佳的權重模型。

圖5 平均精度均值隨迭代次數的變化Fig.5 Average accuracy as a function of iterations number

對訓練好的模型進行最佳置信度閾值選取，以保證模型具有最佳表現。實驗通過在不同置信度閾值下計算準確率、召回率、F1值和交并比篩選出最佳閾值模型，結果如圖6所示。

圖6 置信度閾值Fig.6 Confidence threshold

通過在(0，1)的閾值區間內每跨度0.05計算一次值，共計算出20組數據。比對優先級：準確率>召回率>IOU，閾值達0.6后準確率逐步趨于穩定，閾值最優范圍約在0.6～1.0內。在此范圍內，最佳召回率為0.85,對應的置信度閾值為0.6， IOU值約為0.71，因此，采用0.6為最佳閾值。

選出最佳模型后，通過使用準確率作為垂直軸，召回率作為水平軸獲得最佳模型P-R曲線，如圖7所示。觀察P-R曲線可知，平衡點(度量召回率等于準確率時的取值)約維持在0.80。

圖7 模型P-R曲線Fig.7 Model P-R curve

4.3 不同數據量結果分析

不同的縫紉手勢數據量影響著模型表現，從數據集中隨機選擇圖像，形成500、1 000、2 000、3 000、 4 000 個圖像的訓練集，分析圖像數據集數量大小對YOLO v3密集模型的影響。表3示出對應的模型數據量與F1值的關系。

表3 不同數據量條件下F1實驗結果Tab.3 Experimental results of F1 at different data conditions

從表3可看出，隨著訓練集的數據量增加，模型的F1值不斷提高，模型性能得到不同程度改善。當訓練數據量少于1 000個圖像時，模型性能會隨著訓練集的增長而迅速提高；當訓練數據量超過 1 000 時，隨著圖像量的增加，增強速度逐漸降低；當圖像數量超過3 000時，訓練集的大小沒有顯著影響模型的性能。

4.4 不同光照環境下結果分析

在實際縫紉工廠中，工人工作時長幾乎覆蓋全天，因此，在不同時刻的光照影響下，準確的縫紉手勢檢測尤為重要。為驗證不同光照條件對訓練模型的影響，實驗通過對未使用亮度變換的數據集A與采用亮度變換的數據集B進行IOU值和F1值的評估，驗證模擬全天候亮度變換的有效性，結果如表4所示。最后在工人工作時間內選擇3個不同的光照時刻，對模型進行實際檢驗效果評估。實驗將拍攝時的光照條件作為控制變量，分別有早晨光照、中午光照和燈光。實際檢測效果如圖8所示。

表4 不同光照條件下實驗結果Tab.4 Experimental results under different lighting conditions

通過表4可看出，數據集B在訓練時增加亮度變換，其檢測結果比未增加亮度變換數據集訓練的模型的檢測結果更好。從增加亮度變換訓練后的模型檢測效果中可看出，4種縫紉手勢在白天光照均勻時檢測精度最好，其次是在亮度較低的傍晚。在燈光環境下，亮度明顯增強，檢測難度增大，部分手勢紋理特征喪失。由于本文模型在訓練數據集中增加了亮度變換，因此，可在光照復雜條件下準確檢測出不同的縫紉手勢類別。

4.5 不同算法的檢測效果對比

為驗證本文提出的模型的性能，將所提出的模型與R-CNN、YOLOv2、原始YOLOv3在實際采集的縫紉手勢數據集上進行對比實驗，結果如表5所示。

注：圖片a1～a4為白天光照環境下；圖片b1～b4為 傍晚環境下；圖片c1～c4為燈光環境下。圖8 不同光照條件下4種手勢的檢測效果Fig.8 Detection effect of four sewing gestures under different lighting conditions

表5 不同算法對比實驗結果Tab.5 Comparison of experimental results with different algorithms

通過對比模型的F1值、IOU值和平均檢測速度，本文改進的YOLOv3算法與其他算法相比，mAP值、IOU值均高于其他3種算法，其mAP值為94.45%，IOU值為0.87,F1值為0.885。由于改進YOLOv3模型比YOLOv3模型具有更高的圖像特征復用率，因此，與原始YOLOv3對比平均精度提升了2.29%。在檢測速度方面，改進后的模型速度達到43.0幀/s，遠高于R-CNN，與YOLOv2、YOLOv3檢測速度基本持平。模型檢測效果如圖9所示。

圖9 不同算法4種手勢實驗檢測效果Fig.9 Experimental results of different algorithms for four sewing gestures.(a)R-CNN;(b)YOLOv2;(c)YOLOv3;(d)Modified YOLOv3

從實際檢測效果中可以看出，采用R-CNN與YOLOv2均有不同程度的漏檢現象，原始YOLOv3與改進后的模型均能準確檢測出4種不同的縫紉手勢類別，但改進后的模型在邊框重合度上更加準確。綜上所述，改進后的模型不僅在準確率上有提高，且在檢測速率上有顯著提升，同時完全滿足縫紉手勢檢測的實時性要求。

5 結 論

為解決服裝加工中快速準確的縫紉手勢識別問題，本文提出了基于深度神經網絡 YOLOv3 算法的多種縫紉手勢檢測方法。首先通過對YOLOv3網絡進行改進，增加模型輸入分辨率，提高模型識別能力，然后在具有較低分辨率的YOLOv3原始傳輸層中嵌入密集連接網絡(DenseNet)，以增強功能擴展并促進特征重用和融合。

研究結果表明，改進后模型的檢測精度高，速度快，在復雜環境下魯棒性高，改進的深層網絡在真實環境下進行檢測，交并比和調和平均值分別為0.87和0.885，實時檢測中速度達到 43.0幀/s，基本滿足人機協作中對工人縫紉手勢動作檢測的準確性和實時性需求。