基于Vision Transformer與遷移學習的褲裝廓形識別與分類

Recognition and classification of trouser silhouettes based on Vision Transformer and migration learning

摘要：

針對褲裝廓形識別與分類模型的分類不準確問題，文章采用帶有自注意力機制的Vision Transformer模型實現褲裝廓形圖像的分類，對于圖片背景等無關信息對廓形識別的干擾，添加自注意力機制，增強有用特征通道。為防止因褲型樣本數據集較少產生過擬合問題，可通過遷移學習方法對闊腿褲、喇叭褲、緊身褲、哈倫褲4種褲裝廓形進行訓練和驗證，將改進的Vision Transformer模型與傳統CNN模型進行對比實驗，驗證模型效果。實驗結果表明：使用Vision Transformer模型在4種褲裝廓形分類上的分類準確率達到97.72%，與ResNet-50和MobileNetV2模型相比均有提升，可為服裝廓形的圖像分類識別提供有力支撐，在實際服裝領域中有較高的使用價值。

關鍵詞：

褲裝廓形;自注意力機制;Vision transformer;遷移學習;圖像分類;廓形識別

中圖分類號：

TS941.2

文獻標志碼：

A

文章編號： 1001-7003（2024）11-0077-07

DOI： 10.3969/j.issn.1001-7003.2024.11.009

收稿日期：

20240304;

修回日期：

20240920

基金項目：

江西省教育廳科學技術研究項目（GJJ2202819）

作者簡介：

應欣（1996），女，碩士研究生，研究方向為數字化服裝。通信作者：張寧，教授，zhangning@jift.edu.cn。

隨著互聯網和計算機技術的發展，網購成為新時代下虛擬平臺與實物交易的購物模式，其“一鍵式”購物在為消費者接受和應用的同時，消費者也對各大網購平臺的購物滿意度要求越來越高。為了提高用戶滿意度，各大購物網站比如淘寶、京東，目前采用人工輸入文本關鍵字或者搜圖等方式搜索商品鏈接，但是，當消費者需求的商品信息不明確時，這種方式很難短時間觸及消費者的真實需求。平臺想要快速找到滿足消費者需求服裝的前提是要根據用戶的喜好和風格對服裝進行分類，并為每件商品打上標簽。但是，對于龐大的服裝圖像數據，人工標注的分類方法費時費力，且容易受到人為主觀因素的影響。因此，亟須研究關于服裝可視化分類問題，來提高識別準確率。基于深度學習的算法可以從大規模的服裝圖像數據中提取出有用的特征［1］，進而進行分類，其準確性和速度遠遠高于傳統的人工標注和分類方法，從而縮短消費者檢索時間，縮小檢索范圍，為消費者提供更加精確的結果。

近年來，隨著深度學習技術的不斷發展，國內外諸多學者都將其應用到服裝圖像的分類問題上。在基于服裝整體分類方面，Liu等［2］提出了一個數據量大且標注完整的服裝數據集Deep Fashion，并在此基礎上提出了一種新的模型Fashion Net，該模型通過共同預測服裝屬性和標簽來學習服裝特征，Deep Fashion數據集后續被很多學者用來作為訓練服裝分類模型的數據集。包青平等［3］提出了基于度量學習（Metric Learning）的服裝圖像分類算法，減小同類服裝的特征差值，同時增大不同類服裝的特征差值，以達到對服裝圖像做精細分類的目的。Xia等［4］通過在分類層中引入SE（Squeeze-and-Excitation）塊，從預訓練模型中提取服裝圖像特征，從而提高遷移學習的性能，進而提高服裝的分類準確率。王雅靜等［5］提出基于BP神經網絡算法的女性服裝分類方法，但是沒有具體說明服裝的分類種類且對比性不足。在服裝具體部位等細節分類領域方面，李青等［6］設計一種基于Inception v3算法與遷移學習技術對女襯衫圖案進行分類的方法，該方法是對圖案的識別，并未考慮到服裝的廓形。庹武等［7］為了解決服裝圖像背景對分類所造成的干擾問題，提出了一種融合SE注意力機制和Inception v3主干網絡的分類模型SE-Inception v3，提高了服裝袖形的識別及分類效率。吳歡等［8］提出一種基于CaffeNet卷積神經網絡模型來提取女褲輪廓信息，但其數據集挑選的只是純白色背景并且平整擺放的女褲圖像，與現有電商平臺中模特穿著服裝的圖像不符。上述研究大多采用卷積神經網絡對服裝圖像分類，但卷積神經網絡在對圖像特征進行提取時更多的是去關注局部信息，這與消費者在判斷服裝廓形時需要考慮整體的觀念不符合。

本文將褲裝廓形作為研究對象，以深度學習技術為手段，以提高褲裝廓形識別和分類準確率為目標。為彌補卷積神經網絡關注局部信息，全局信息捕捉能力弱的不足問題，結合具有全局感受野的Transformer模型進行遷移學習。針對4種

典型的褲裝廓形數據集，采用優化的transformer模型對其進行訓練，選取對褲裝廓形訓練有益的模型權重分配，以提高褲裝類型識別率。

1" 樣本采集及圖像預處理

1.1" 數據采集

本實驗在數據集選擇上，結合日常生活中常見褲裝款式，

按照不同形態褲裝廓形，選取闊腿褲、哈倫褲、喇叭褲及緊身褲4類褲裝廓形為分類樣本。使用Python工具獲取來自淘寶、小紅書、拼多多及唯品會等各大電商平臺上的褲裝圖片，采集時要確保褲裝廓形未被其他物體遮擋，每種類型500張，共計2 000張。為驗證后續模型實驗效果，選取每種類型50張，共計200張作為測試集。樣本均為JPG格式，部分圖片數據集如圖1所示。

1.2" 數據增強

因為Transformer模型在訓練時需采用大量的數據集，為了提升模型魯棒性，避免數據集過小產生模型過擬合，本文采用數據增強來擴充數據集。

本文使用OpenCV庫對原始數據集圖片進行處理，通過調整圖片的明亮度、添加椒鹽噪聲和高斯噪聲、水平翻轉和隨機旋轉5°對數據集進行增強，每種褲裝廓形增加至3 500張圖片，總數據集為14 000張圖片，其中選取90%（11 200張）作為訓練集，20%（2 800張）作為驗證集，從中選取每種褲裝廓形350張，共1 400張作為測試集。圖片處理后的樣本實例如圖2所示。

1.3" 圖片調整處理

根據Vision Transformer模型輸入要求，將經過數據增強后14 000張圖片集中進行歸一化預處理，統一尺寸大小設置為224 mm×224 mm，通過增加padding的方式修改圖片，可以在保證圖像不變形的情況下較好地匹配模型的輸入，確保褲裝輪廓特征的有效提取。

2" 構建網絡模型

Transformer模型是一種基于自注意力機制的神經網絡模型，2017年Google團隊提出的全新Transformer［9］模型開啟了

其在自然語言處理領域的主導地位，2018年Radford等［10］基于Transformer推出GPT系列的第一代，為后續大語言模型奠定了基礎。Transformer模型區別于傳統CNN模型，在結構中沒有使用卷積結構而是完全基于自注意力機制，能夠高效地處理長序列數據。2018年，Parmar等［11］首次將Transformer應用于圖像生成。2020年，Dosovitskiy等［12］提出了首個獨立使用Transformer進行圖像分類的模型Vision Transformer（ViT），得到了比當時最先進的CNN網絡更優秀的結果。Vision Transformer中的Transformer模塊通常由一個多頭自注意力層和一個多層感知機塊組成，依靠其自注意力機制捕獲各塊間的遠程依賴關系，并且得益于形狀偏置，它們能夠專注于圖像的重要部分［13］。這顯示出Vision Transformer巨大的潛力，Vision Transformer模型在分割、目標檢測及圖像修復等任務中都有較好的應用。

2.1" 自注意力機制

自注意力機制（self-attention）可以讓模型聚焦于輸入數據之間的相關性，減少對無關信息的關注程度，相當于人類在觀察圖片時，注意力主要集中在自己感興趣的部分。注意力機制通過改變圖像某些區域的權重，使模型判斷該區域對預測結果更為重要，再通過反向傳播算法自動選出圖像中的重要信息［14］。本文通過自注意力機制把權重參數聚集到褲裝輪廓這一需要重點關注部分，減少背景等無關信息的影響，從而提高分類和識別準確率。自注意力計算過程由式（1）表示，主要分為4個部分完成。

Attention（Q，K，V）=softmaxQKTdkV（1）

1） 將輸入的圖片按照給定大小分成序列［x1，x2，…，xi］，

通過f（x）將輸入映射到［a1，a2，…，ai］，將［a1，a2，…，ai］通過三個變換矩陣Wq、Wk、Wv得到對應的qi、ki、vi。其中，q代表query，后續和每一個k進行匹配;k代表key，后續被每個q匹配;v代表從a中提取得到的信息，即自注意力。

2） 遍歷［q1，q2，…，qi］，將其與［k1，k2，…，ki］進行點乘，再除以dk，得到相似度權重。其中，d代表向量k的長度。

score（qi，ki）=QKTdk（2）

3） 對相似度權重進行softmax處理，softmax將各節點輸出之和映射到1，從而消除異常值所帶來的不良影響。其中，yi為第i個節點的輸出值，j為輸出節點的個數。

softmax（Oi）=eyi∑ji=1eyj（3）

4） 針對vi的相似度權重，進行加權得到自注意力。

2.2" Vision Transformer模型

Vision Transformer模型主要由3個模塊組成。第一個模塊是嵌入層，將輸入的圖片按照給定的大小分成塊，對其進行線性映射后將每個塊映射到一維向量中，并加上分類向量和位置編碼后作為編碼器的輸入。第二個模塊是編碼器層，此模塊的主要作用是用來提取特征信息，主要包括自注意力機制和多層感知機（MLP）兩部分，其中多層感知機（MLP）結構由全連接層、GELU激活函數和Droupout組成。輸入的圖片經過編碼器層后，會形成一系列特征信息，為了將該特征信息轉換為我們所需要的結果，采用由全連接層及tanh激活函數所組成的解碼器層作為第三個模塊，通過對特征進行非線性變換，從而提高模型的泛化能力。Vision Transformer基本結構如圖3所示。

2.3" 改進的Vision Transformer模型

本文改進的Vision Transformer模型與原始模型在整體上保持了一致，整體結構如圖4所示。原始模型中，輸入圖像

按照16×16的像素規格分成塊，再通過線性映射將每個塊映射到一維向量中。為更好地提取圖像特征，在模型中引入CNN結構，采用一個卷積核大小為16×16、步距為16、卷積核

個數與原始映射向量長度相同的卷積來實現。在編碼層，原始模型采用Dropout方法將部分神經元進行失活，經過預實驗表明，DropPath方法會取得更好的效果，因此在改進的Vision Tansformer模型編碼層采用DropPath方法。原始模型編碼層進行了12次的迭代，這對于ImageNet21K這種龐大且分類多的數據集而言是有效的，但本文僅對褲裝廓形進行識別，數據量較小，使用過多層數進行迭代不僅會增加模型的訓練時間而且會造成過擬合，因此改進的模型將編碼層迭代次數設置為6次。對于解碼層，原始模型采用全連接層+tanh激活函數+全連接層組成，本文基于遷移學習方法將其設置為一個全連接層。

2.4" 遷移學習

遷移學習是指將預先學到的知識應用于解決新的問題，其目的是從一個或多個源任務中抽取知識、經驗，然后再應用于其他任務［14］。在本文的褲裝廓形分類任務中，數據集通過增強后僅有14 000張，這與Vision Transformer模型原訓練數據集相比大大不足。為了保障少樣本下模型的準確率，通過遷移學習的方法可提高模型的穩定性和泛化能力。先利用大批量的數據集進行模擬訓練，提取圖片淺層信息，保存模型權重后再遷移到另一個目標任務。

本文首先將Vision Transformer模型在ImageNet21K上進行預訓練，獲取模型權重，將其應用于褲裝廓形分類任務中，如圖5所示。再在解碼層創建一個新的全連接層（FC）和softmax函數進行分類，對改進部分采用褲裝數據集進行重新訓練，從而實現模型的快速收斂。

3" 實驗結果與分析

3.1" 實驗設計

實驗環境配置參數：操作系統為Windows 10，運算平臺為CUDA12.2，GPU為NVIDIA GeForceRTX 2060 6GB，CPU為Intel（R） Core（TM） i7-9700處理器，Python版本為3.8，Pycharm2022開發工具，實驗采用Pytorch深度學習框架。在訓練中，實驗模型的超參數選用學習率為0.000 1，epoch為120，batch為16，模型優化器為Adam優化器，數據集的圖像尺寸為224 mm×224 mm。

3.2" 實驗結果分析

3.2.1" 數據集大小對比

表1為經過數據增強后的褲裝測試數據集和原褲裝測試數據集在基于遷移學習的Vision Transformer模型上訓練后的準確率和召回率。由表1可以看出，經過數據增強后，準確率與原來相比有了一定的提升，平均識別精度從93.99%提升到了95.48%，召回率從93.6%提升到98.01%。這是因為原始數據集圖像數量較少，復雜的圖像背景和不同的肢體姿勢會影響模型的判斷，通過數據增強后，增加數據集的大小，可以提升模型對多樣性圖片的學習判別能力。

為了進一步評估增強褲裝數據集對模型識別任務的影響，在經過對比實驗后，通過混淆矩陣來展示增強前和增強后的預測結果，如圖6所示。在圖6（a）的混淆矩陣中，緊身褲

廓形預測成功率達到100%;在圖6（b）的混淆矩陣中，緊身褲廓形預測成功率為97%。這是因為緊身褲貼合人體曲線，相比其他廓形而言受到背景的影響較小，在模型訓練中，少量數據集能更快辨別其圖像特征。對于其他褲裝廓形而言，數據集變大提高了模型的識別率。

3.2.2" 模型對比

本文采用ResNet50、MobileNetV2與Vision Transformer模型進行對比，從而進一步證明Vision Transformer模型在褲裝廓形分類上的準確性。在相同的數據集和實驗條件下，4種不同模型在驗證集上訓練的準確率如表2所示，可見MobileNetV2模型的分類準確率最低，其次是ResNet50模型，傳統的Vision Transformer模型的分類準確率為95.21%，而改進后的Vision Transformer模型分類準確率達到了97.72%。圖7為3種模型在驗證集上訓練時的準確率變化，可以看出MobileNetV2模型收斂速度較慢，迭代40次左右逐漸收斂，在3種模型中表現效果最差。ResNet50模型的初始識別準確率最高，在迭代20次左右時落后于改進的Vision Transformer模型，改進的Vision Transformer模型迭代20次后逐漸收斂，且此時模型的準確率高于其他兩種模型。由上述分析可知，改進后的Vision Transformer模型具有更高的識別準確率，魯棒性更強，能達到更快更好地對褲裝廓形進行分類。

4" 結" 論

本文基于自注意力機制，提出了一種改進的Vision Transformer模型，并采用遷移學習方法將其運用于褲裝廓形識別。為了避免模型過擬合，本文對收集的數據集進行了數據增強;為了提高改進Vision Transformer模型的預測準確率，本文在Vision Transformer模型的輸入層引入CNN結構，在編碼層將DropPath方法替代Dropout，在輸出層設置為一個全連接層。然后利用遷移學習在本研究增強后的數據集上訓練改進的Vision Transformer模型。實驗結果表明：通過數據增強方法可以有效提高模型泛化能力，數據增強前后測試集的平均識別率由93.99%提升到了95.48%;經過4種模型的對比，改進的Vision Transformer模型在驗證集上的識別準確率達到97.72%，比MobileNetV2模型高出10%，具有較好的褲裝廓形識別能力，在服裝款式、服裝廓形分類識別方面具有較高的應用價值。

《絲綢》官網下載

中國知網下載

參考文獻：

［1］CHOLLET F. Xception： Deep learning with depthwise separable convolutions［C］//Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu： IEEE， 2017： 1251-1258.

［2］LIU Z， LUO P， QIU S， et al. Deep fashion： Powering robust clothes recognition and retrieval with rich annotations［C］//Conference on Computer Vision and Pattern Recognition （CVPR）.

Honolulu： IEEE， 2016： 1096-1104.

［3］包青平， 孫志鋒. 基于度量學習的服裝圖像分類和檢索［J］. 計算機應用與軟件， 2017， 34（4）： 255-259.

BAO Q P， SUN Z F. Clothing image classification and retrieval based on metric learning［J］. Computer Applications and Software， 2017， 34（4）： 255-259.

［4］XIA T E， ZHANG J Y. Clothing classification using transfer learning with squeeze and excitation block［J］. Multimedia Tools and Applications， 2023， 82（5）： 2839-2856.

［5］王雅靜， 宋丹. 基于 BP 神經網絡的女性服裝款式分類技術研究［J］. 輕工科技， 2020， 36（4）： 107-109.

WANG Y J， SONG D. Research on women’s clothing style classification technology based on BP neural network［J］. Light Industry Science and Technology， 2020， 36（4）： 107-109.

［6］李青， 冀艷波， 郭濠奇， 等. 基于深度學習的女襯衫圖案樣式識別分類［J］. 現代紡織技術， 2022， 30（4）： 207-213.

LI Q， JI Y B， GUO H Q， et al. Pattern recognition and classification of women’s shirts based on deep learning［J］. Advanced Textile Technology， 2022， 30（4）： 207-213.

［7］庹武， 郭鑫， 張啟澤， 等. 基于SE-Inception v3與遷移學習的服裝袖型識別與分類［J］. 毛紡科技， 2022， 50（10）： 99-106.

TUO W， GUO X， ZHANG Q Z， et al. Clothing sleeve recognition and classification based on SE-Inception v3 and transfer learning［J］. Wool Textile Journal， 2022， 50（10）： 99-106.

［8］吳歡， 丁笑君， 李秦曼， 等. 采用卷積神經網絡CaffeNet模型的女褲廓形分類［J］. 紡織學報， 2019， 40（4）： 117-121.

WU H， DING X J， LI Q M， et al. Classification of women’s trousers silhouette using convolution neural network CaffeNet model［J］. Journal of Textile Research， 2019， 40（4）： 117-121.

［9］VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］//31st Annual Conference on Neural Information Processing Systems （NIPS）. California： La Jolla， 2017： 4-9.

［10］JIE Z， PEI K， XING P Q， et al. ChatGPT： Potential，prospects，and limitations［J］. Frontiers of Information Technology amp; Electronic Engineering， 2024， 25（1）： 6-11.

［11］PARMAR N， VASWANI A， USZKOREIT J， et al. Image transformer［C］//35th International Conference on Machine Learning （ICML）. Sweden： Stockholm， 2018： 4055-4064.

［12］DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： Transformers for image recognition at scale［C］//The Ninth International Conference on Learning Representations （ICLR）. Vienna： OpenReview， 2021： 1-21.

［13］TOUVRON H， CORD M， DOUZE M， et al. Training data-efficient image transformers amp; distillation through attention［C］//International Conference on Machine Learning （ICML）. California： San Diego， 2021： 7358-7367.

［14］CHEN J Y， ZHANG H W， HE X N， et al. Attentive collaborative filtering： Multimedia recommendation with item-and component level attention［C］//40th International ACM SIGIR Conference on Research and Development in Information Retrieval. Tokyo： SIGIR’17， 2017： 335-344.

Recognition and classification of trouser silhouettes based on Vision Transformer and migration learning

ZHANG Chi， WANG Xiangrong

YING Xina，b， ZHANG Ninga，b， SHEN Sia

（a.School of Fashion Design; b.Nanchang Key Laboratory of Digitization， Jiangxi Institute of Fashion Technology， Nanchang 330201， China）

Abstract：

To improve users’ satisfaction in purchasing clothes on e-commerce platforms， shopping websites currently use manual input text or search pictures to help consumers find clothes. However， it is quite difficult for consumers to find satisfactory clothing in a short time when the information of clothing is not detailed. To quickly find clothing that meets the needs of consumers， shopping websites shall classify clothes according to user’ preferences and styles， and label each item of clothes. However， for huge garment image data， manual annotation classification methods require a lot of time and labour and are susceptible to human subjective factors. Therefore， it is necessary to study the method of quick picture classification using computer networks. The algorithm based on deep learning can extract useful features from large-scale clothing image data， and then classify them with much higher accuracy and speed than traditional manual labeling and classification methods. This shortens consumers’ search time and narrows the search scope， thus providing consumers with more accurate results.

To address the problem of inaccurate classification of pant silhouette recognition and classification models， the Vision Transformer model with self-attention mechanism was adopted to realize the classification of pant silhouette images. Firstly， by adding self-attention mechanism and enhancing useful feature， the interference problem of image background and other irrelevant information on profile recognition was solved. Secondly， the transfer learning method was used to train and verify the profiles of four types of pants， including wide-leg pants， bell-bottom pants， tights and Harem pants. Finally， the improved Vision Transformer model was compared with the traditional CNN model to verify the model effect. In this paper， the CNN structure was introduced into the input layer of the Vision Transformer model， Dropout was replaced by DropPath method at the coding layer， and the output layer was set to a fully connected layer. Then， transfer learning was used to train the improved Vision Transformer model on the enhanced data set of this study. Experimental results show that the method of data enhancement can effectively improve model generalization ability. The average recognition rate of the test set is increased from 93.99% before data enhancement to 95.48% after data enhancement. After comparison of four models， the recognition accuracy rate of the improved Vision Transformer model in the validation set reaches 97.72%， being 10% higher than the MobileNetV2 model.

The model in this paper has a good ability to identify the silhouette of trousers， and has a high application value in the classification and recognition of clothing styles and silhouettes.

Key words：

pant silhouette; self-attention; Vision Transformer; transfer learning; image classification; contour recognition