基于深度學習的服裝三要素識別

韓曙光，姜凱文，趙麗妍

(1.浙江理工大學 理學院，浙江 杭州 310018；2.浙江理工大學 服裝學院,浙江 杭州 310018；3.浙江理工大學 國際教育學院,浙江 杭州 310018)

隨著人工智能技術的快速發展與手機等拍攝設備的逐步普及，服裝行業正向著數字化方向推進。如何自動且準確地獲取服裝流行信息已是各大服裝電商關注的重點，其中服裝圖像因其包含的流行信息全面、明確且方便獲取，成為服裝信息數據挖掘的重點。傳統服裝三要素為款式、顏色與面料[1]。面料是圖案的載體，圖案是體現面料特征的一種設計，也是反映服裝流行趨勢的重要藝術形式。因此，從服裝圖像中獲取款式、顏色、圖案三要素是分析顧客偏好的首要條件。

要實現服裝信息的自動獲取，需對服裝圖像進行識別。傳統的服裝圖像識別主要從設計有效的特征描述算子入手，如邊緣檢測、圖像輪廓提取等，然后通過各種分類器進行識別。庹武等[2]采用傅里葉描述子進行特征提取，利用BP神經網絡對服裝款式分類和識別；QIAN S Q等[3]利用Canny算子提取服裝輪廓，結合3層BP神經網絡識別服裝風格；李東等[4-5]采用服裝輪廓曲線的曲率極值點集和傅里葉描述子提取服裝輪廓特征，并結合支持向量機對服裝款式進行分類。上述研究從不同角度對服裝圖像識別進行了探索，但采取的方法存在一定局限性：①需要事先設計特征描述算子，模型泛化能力較為有限；②對多變場景的適應性不強，服裝圖像背景復雜多變，導致識別準確率下降。

近年來，深度學習的逐步興起為特征提取與圖像識別分類提供了新的研究思路[6]，它可以規避傳統方法設計特征描述算子的不足，從圖像中自適應提取特征信息。基于深度學習的服裝圖像研究主要包括分類模型與目標檢測模型。分類模型由兩個模塊組成：①利用卷積神經網絡進行特征提取；②用全連接層進行分類。KIAPOUR M H等[7]利用卷積神經網絡對服裝圖像的特征進行提取，以消除圖像背景的影響，提升跨場景下服裝圖像檢索的效果；尹光燦等[8]針對服裝領型特征識別困難、分類效果不理想等問題，提出了一種基于AlexNet卷積神經網絡的服裝領型識別與分類方法。目標檢測模型是在分類模型基礎上完成的，其實現過程主要有兩個步驟：①目標分類；②目標定位[9]。經典的目標檢測算法有Faster R-CNN[10]、YOLO系列[11]、SSD[12]等,其中YOLO系列在視頻幀的動態檢測上有很大的優勢[13]。劉正東等[14]基于尺寸分割和負樣本增強技術,提出了一種西裝識別檢測算法DN-SSD；張艷清等[15]使用Faster R-CNN對連衣裙衣領進行識別與定位。以上學者已對服裝圖像單一屬性(如款式、顏色等)的識別進行了較為深入的研究，而服裝的特征要素復雜多樣，只研究款式與顏色無法完整描述服裝信息，應加強局部細節特征的識別，如服裝圖案的識別。圖案即圖形的設計方案，圖案的大小、分布位置、數量都是多變的，所以不僅需要對其進行識別，還需完成圖案的定位，這就要借助目標檢測技術。因此，文中從上衣的款式、顏色、圖案3個特征要素進行研究，構建基于深度學習的分類與目標檢測模型，進行服裝三要素的自動識別。

1 數據準備

1.1 數據采集

文中研究對象為青少年與青年常穿上衣的款式、顏色和圖案，所需圖片數據為互聯網上采集并制作的相應數據集。參考各大電商平臺對上衣款式的劃分，考慮服裝實用性，選取T恤、襯衫、連帽衛衣3種常見的上衣款式(見圖1)。圖1中，3種款式整體廓形相似，不同之處在于衣領與帽子，識別上屬于服裝的細粒度識別，具有較為顯著的類間相似性[16]。

圖1 3種上衣正面款式Fig.1 Front styles of three kinds of tops

選取6種顏色：無彩色系中的黑、白、灰與彩色系中的美術三原色紅、黃、藍。運用爬蟲程序以文本檢索的方式從百度、淘寶等網站獲取相應服裝款式與顏色的圖片，篩選并剔除無關圖片，最終得到服裝款式與顏色的樣本數據。每種服裝款式的每種顏色挑選400張圖片，組成7 200張圖片的數據集。

選取紋理類、文字類、動物類3大類圖案，每大類下設2小類，共6種，具體如圖2所示。

圖2 各種圖案類型示例Fig.2 Examples of various pattern types

紋理類圖案選取格子與波點，此類圖案有較強的規律性且遍布于整件服裝；文字類圖案選取中文與英文，此類圖案變化較大，字符、字體種類多；動物類圖案選取貓類與狗類，貓狗作為常見的動物頻繁出現在服裝圖案中，其表現形式分為卡通與真實兩類。上述圖案均為上衣款服裝的常見圖案，每大類圖案在分布位置、變化方式等方面都有自身的特點。每類圖案選取500張圖片作為樣本，組成共3 000張圖片的數據集。

1.2 數據處理與標注

服裝款式與顏色的圖像采集完畢后，需進行相應的裁剪處理，只保留上衣部分，以提高識別效果；穿著于身和有背景的上裝圖像會給予保留，目的是提高模型在多場景識別中的適應性。不同服裝的款式、顏色和圖案具有不同性質，處理不同性質的特征要素需采取不同的標注方式。服裝的款式與顏色是服裝的基底，屬于服裝的整體性特征，在識別這類特征時需要對圖像進行整體標注，即同種類別放入同一標簽文件。服裝圖案屬于服裝的細節特征，因此需使用Labelimg軟件進行標注，即將服裝圖像打上圖2中的6種標簽，標注獲得圖案的類別信息、位置信息以及大小信息。

2 識別模型構建

為了更準確地識別服裝三要素，根據其相應的特點，分別構建分類模型與目標檢測模型。使用卷積神經網絡(convolutional neural networks, CNN)中的VGGNet進行服裝款式與顏色的識別；使用目標檢測模型進行服裝圖案的識別。具體識別步驟如圖3所示。

圖3 識別步驟Fig.3 Identify steps

2.1 CNN模型構建

2.1.1VGGNet模型構建 VGGNet是經典的卷積神經網絡，一般由輸入層、隱藏層、輸出層組成，隱藏層包含卷積層、池化層和全連接層，其中VGG16由13個卷積層、5個池化層、3個全連接層組成[17]。圖4為 VGGNet識別服裝款式與顏色的流程。VGG16從結構上看是一個較深的網絡，使用VGG16對服裝圖像中的款式、顏色進行識別可提取出圖像的細節特征，具體流程如圖4(a)所示。文中研究的3種上衣款式的整體廓形比較簡單，重點需識別領部的變化與帽子的有無。早前已有學者運用較淺網絡對Fashion-MNIST數據集進行訓練與識別的研究[18]，因此運用深度學習方法實現服裝款式的識別并不困難。文中提出一種更輕量化的網絡——改進的VGGNet進行服裝款式與顏色的識別，用以均衡訓練時間，提高識別的準確率。

改進的VGGNet保留了VGG的整體框架，卷積核采用像素3×3的網格，與VGG16在卷積層的設置方面存在差異，具體流程如圖4(b)所示。

圖4 VGG16與改進的VGGNet識別服裝款式與顏色流程Fig.4 Clothing style and color identify process of VGG16 and improved VGGNet

2.1.2款式與顏色識別評價指標 參考深度學習相關評價指標[19]，結合款式與顏色的多標簽識別研究特點，引入3個評價指標：準確率、損失、訓練時間。準確率計算公式為

(1)

式中：TP為被正確劃分成正例的個數；TN為被正確劃分成負例的個數；N為測試樣本數。

多標簽分類有兩個特點：①類別標簽的數量是不確定的；②類別標簽之間可能存在相互依賴關系。由于文中使用多標簽分類，就需要選用Binary_Crossentropy損失函數。損失函數計算公式為

(2)

2.2 目標檢測模型構建

目標檢測算法可同時完成識別與定位工作。服裝領域的研究圍繞款式特征[14]展開，并逐步延伸到長度特征[20]、局部細節特征[15]。圖案屬于服裝的細節特征，需實現識別與定位。目前較為成熟的目標檢測技術有YOLO系列模型、Faster R-CNN模型和SSD模型。文中構建了這3種圖案檢測模型，并進行對比實驗，以找出一種在圖案識別定位上表現更佳的模型，用于獲取服裝圖案信息。

2.2.1構建YOLOv3模型 YOLOv3算法的特征提取網絡通常為Darknet-53，可對3種不同尺度的特征圖層進行檢測。特征獲取預測結果的過程分成兩部分：①構建FPN特征金字塔，進行加強特征提取；②利用Yolo Head對3個有效特征層進行預測。根據以上原理，構建基于YOLOv3的服裝圖案識別模型，其檢測大圖案的過程如圖5所示。圖5中，圖案識別的具體步驟為：①輸入帶圖案的服裝圖像到Darknet-53網絡中進行下采樣，最終獲得可以用來表示圖像的特征;②檢測大圖案時會將圖像劃分為像素13×13的網格，然后進行5次卷積操作;③5次卷積后有2條路徑，第1條是進行分類預測與回歸預測，最終獲得大圖案檢測結果；若圖片中還有別的圖案會再走第2條路徑，這條路徑會對5次卷積后的結果進行上采樣，之后與像素為26×26×512的特征圖結果堆疊(即構建特征金字塔)，并重復之前的5次卷積操作，以檢測中圖案與小圖案。

2.2.2構建Faster R-CNN模型 Faster R-CNN是一種two-stage算法，該模型預測過程分為2步：①粗略篩選；②精細調整。基于Faster R-CNN原理，構建服裝圖案識別模型，具體如圖6所示。圖6中，圖案識別的步驟為：①輸入1張帶圖案的服裝圖像到該模型中，先對原圖像進行處理，獲得服裝圖像的公用特征層，再利用RPN(region proposal network，區域建議網絡)獲得這些先驗框的調整參數，確定先驗框內是否包含服裝圖案的信息(該過程為建議框的獲取);②利用建議框對公共特征層進行截取，截取后的部分特征層會在ROI Pooling層調整到同樣大小，經過相應的分類與回歸就能得到服裝圖案的預測結果。

圖5 基于YOLOv3的服裝圖案識別流程Fig.5 Clothing pattern recognition process based on YOLOv3

圖6 基于Faster R-CNN的服裝圖案識別流程Fig.6 Clothing pattern recognition process based on Faster R-CNN

2.2.3構建SSD模型 利用CNN提取特征后，均勻地在圖片不同位置進行密集抽樣，抽樣時可以采用不同尺度和長寬比，且物體分類與預測框的回歸同時進行。一般情況下，SSD采用的主干網絡是VGG網絡，其使用的VGG網絡相比普通VGG網絡有一定修改：將VGG16的FC6和FC7層轉化為卷積層，去掉所有的Dropout層和FC8層，新增Conv6，Conv7，Conv8和Conv9。依據SSD算法過程，使用其特定的VGG網絡進行特征提取，構建服裝圖案的識別模型，具體如圖7所示。

2.2.4圖案識別定位評價指標 由于圖案的識別定位需運用相應的目標檢測算法，結合該算法常用的評價指標[9]與服裝圖案的特點，文中引入查準率、召回率、F1-Score、mAP作為評價指標。

查準率(precision)又稱精確率，其計算公式為

(3)

式中：TP為正確檢測到某種圖案的目標框個數；N為所有檢測到的某種圖案的目標框個數。

召回率(recall)又稱查全率，即預測正確的目標框和真實值框的比值，其計算公式為

(4)

式中：TP為正確檢測到某種圖案的目標框個數；FN為將此圖案檢測為其他圖案的個數。

F1-Score為定位查準率和召回率的調和平均值，計算公式為

(6)

AP為平均查準率(average precision)，AP值用precision-recall曲線(P-R曲線)下方面積表示,mAP則是對每個類別的AP值求平均。

圖7 基于SSD的服裝圖案識別流程Fig.7 Clothing pattern recognition process based on SSD

3 實驗部分

依照文中構建的網絡模型進行實驗，實驗環境為11th Gen Intel(R) Core(TM) i7-11800H@2.30 GHz，16位英特爾處理器，NVIDIA Ge Force GTX 3060 Laptop GPU。服裝款式與顏色識別使用CNN模型實驗，以Tensor Flow作為深度學習框架；服裝圖案識別使用目標檢測模型實驗，以Pytorch作為深度學習框架，分別進行單獨訓練。兩個實驗均以Python作為編程語言。

3.1 CNN模型實驗

實驗數據集包含3種上衣款式、6種顏色，共計7 200張服裝圖片。設置Epoch為75，初始學習率為0.001，batch size為32，輸入圖像尺寸為96×96×3。在實驗數據集中隨機選取80%的數據作為訓練集，剩余20%的數據作為測試集，用于模型的性能評估。在進行多次實驗之后發現，關閉Tensor Flow中的eager execution可以提高訓練效果，所以實驗都在關閉eager execution的狀態下進行。

3.2 目標檢測模型實驗

實驗數據集包含6種服裝圖案共3 000張圖片，每張圖片中有相應類別的一個或多個圖案，或不同類別的一個或多個圖案(此種標注方法可以實現多種圖案的同時識別)，即實際實驗圖案數量超過3 000個。實驗將3種模型進行對比，設置相同參數，實驗訓練過程分為凍結階段與解凍階段，凍結階段的Epoch設置為50，batch size設置為8，學習率為0.001；解凍階段的Epoch設置為100，batch size設置為4，學習率為0.000 1。在實驗數據集中將隨機選取90%的數據作為訓練集，剩余10%的數據作為測試集，用于模型的性能評估。

4 結果與討論

4.1 CNN模型結果

將改進的VGGNet與VGG16進行對比實驗，實驗結果見表1。

表1 服裝款式與顏色識別結果

由表1可以看出，改進的VGGNet在服裝款式與顏色的多標簽識別中表現出較優的性能，可以用較短的訓練與檢測時長在測試集上實現96.49%的總體準確率。數據集包含了多種場景，VGG16因在服裝及其他場景的細節特征上挖掘較深，其識別準確率下降了1.16%。

4.2 目標檢測模型結果

目標檢測模型實驗經過編程與訓練后，獲得服裝圖案識別結果，具體見表2。

表2 服裝圖案識別結果

對比3種模型的檢測結果，score threhold設置為0.5的情況下，YOLOv3在識別與定位圖案上表現出更優的性能，其mAP達到了86.63%。3大類圖案中，紋理類圖案檢測效果最好，格子與波點的mAP為96.14%；文字類圖案檢測效果較差，中文與英文的mAP為79.75%。紋理類圖案由于其自身規律性強、特征明顯且遍布服裝，成為最易檢測的圖案；而文字類圖案的變換較多，文字的組合方式和分布位置多變，字母字符種類繁多，在圖案設計時還會將文字的書寫樣式進行扭曲、隔斷，從而導致文字類圖案的檢測效果較差。所以提高文字類圖案檢測精度最重要的是數據集的覆蓋面要廣，即盡可能多地覆蓋文字類圖案的樣式。動物類圖案(如文中選用的貓狗類圖案)特征相對明顯，相應的檢測效果位于中位，mAP為83.69%。服裝圖案中存在兩種類型的動物圖案：真實動物與卡通繪畫動物，這就使得計算機在學習這類圖案特征時會表現出一定的困難，從而導致檢測效果不佳。動物類圖案與文字類圖案相比，變換方式不多，因此動物類圖案檢測效果比文字類好。

對比3種模型的查準率與召回率，發現YOLOv3的查準率最高，即檢測服裝圖案的效果最好；Faster R-CNN的召回率最高，即檢測出圖案的個數最多，6種圖案的平均召回率為89.84%。后續研究可根據所需檢測服裝圖案的側重點，選擇不同網絡模型。若兩者都需考慮時，可以參考F1-Score指標。

5 實例驗證與分析

為驗證模型對服裝款式、顏色和圖案的識別性能，選用實驗中識別效果最好的YOLOv3模型，從淘寶網某品牌中隨機選取6張上衣款服裝圖像進行識別，測試結果如圖8所示。

圖8中的數字表示識別為對應類別的概率，以圖8(a)成衣款式為例，顏色識別為黑色的概率為99.97%，款式識別為T恤的概率為99.56%，圖案識別為中文圖案的概率為98%。由圖8可以看出，模型對6款服裝三要素的識別都表現出較好的判別結果。款式與顏色的識別結果輸出在圖片左上方橘黃色框內，圖案的識別結果由不同顏色框出，從而實現了識別與定位。紋理類圖案直接框出整件服裝，文字和動物類圖案分別在各服裝內部定位成功。款式的識別結果在有無背景與是否穿著于身的變化中表現出一定偏差，如圖8(b)中穿著效果的款式識別率下降，但變化不大，概率維持在90%以上。有無背景與是否穿著于身對服裝顏色與圖案的識別結果基本沒有影響，具有較好的魯棒性。圖8(c)中的格子襯衫為紅黑相間，識別結果卻為紅色，是由于在數據標注時，對格子類顏色的標注以市場確定顏色為準，一般情況下，彩色系與無彩色系顏色都存在時，以彩色系為服裝顏色，如紅黑格子襯衫、紅白格子襯衫都可命名為紅色格子襯衫。

圖8 上衣款服裝三要素測試結果Fig.8 Testing results of the three elements of top clothing

6 結語

為了通過圖片自動獲取服裝流行信息，文中針對服裝三要素識別不夠全面、多特征識別效果較差的問題，提出一種利用深度學習識別服裝三要素的方法。文中選取青少年及青年上衣的3種款式、6種顏色和6種圖案，通過收集不同網絡平臺中的上衣圖片，按照同類文件標簽存放與目標框框選兩種標注方式，建立了包含10 200張服裝圖片的數據庫，并利用深度學習方法對服裝三要素中的款式、顏色、圖案進行訓練和識別。結果表明：與VGG16相比，改進的VGGNet在服裝款式與顏色的多標簽識別中表現出較優的性能，其用較短的訓練與檢測時長在測試集上實現了96.49%的準確率；在YOLOv3，Faster R-CNN和SSD 3種目標檢測算法中， YOLOv3表現出更優的服裝圖案檢測性能，score threhold設置為0.5時，檢測服裝圖案的mAP值為86.63%。3大類圖案中，紋理類圖案的檢測效果最好，其mAP為96.14%；動物類圖案mAP為83.69%；文字類圖案mAP為79.75%。

基于YOLOv3在服裝圖案檢測中的良好效果以及YOLO系列在視頻幀檢測的優勢，可將其應用在商場的視頻監控系統中，通過檢測進出商場顧客的服裝穿搭，獲取顧客的著裝信息并進行歸納，分析其服裝穿著偏好，商家可根據顧客偏好增減庫存、安排陳列，以提高店鋪銷量與顧客忠誠度。未來可以進一步改善當前識別結果，并在視頻幀獲取服裝信息方面展開研究，將方法擴展到其他服裝款式、顏色和圖案的識別工作中。