采用卷積神經(jīng)網(wǎng)絡(luò) CaffeNet 模型的女褲廓形分類

吳 歡， 丁笑君,， 李秦曼， 杜 磊,， 鄒奉元,

(1. 浙江理工大學(xué) 服裝學(xué)院， 浙江 杭州 310018； 2. 浙江理工大學(xué) 浙江省服裝工程技術(shù)研究中心， 浙江 杭州 310018)

通過機(jī)器視覺實(shí)現(xiàn)服裝商品的自動分類，便于在線零售商對帶有標(biāo)簽或與服裝相關(guān)描述的圖像進(jìn)行自動標(biāo)注，并在社交網(wǎng)絡(luò)照片的設(shè)置中改進(jìn)信息檢索，有助于用戶跨越語義鴻溝檢索到心儀的商品，增強(qiáng)購物體驗。此外，服裝的可視化分類識別有利于設(shè)計師收集服裝元素及分析時尚流行趨勢。

國內(nèi)外學(xué)者集中于從圖案、顏色、風(fēng)格等方面對服裝分類進(jìn)行探索：Bossard等[1]建立了一種分類管道，使用顏色、圖案和外觀等視覺屬性對上身服裝進(jìn)行分類；Di等[2]提出一種細(xì)粒度的方法，基于服裝面料、領(lǐng)型、口袋等屬性識別服裝種類；Zhang等[3]提出一種算法可對真實(shí)世界的產(chǎn)品輪廓進(jìn)行分類，采用多模式特性和監(jiān)督學(xué)習(xí)的方法自動識別剪影屬性；An等[4]運(yùn)用小波傅里葉描述子描述服裝圖片的輪廓特征并降維，對比特征向量之間的相似度，結(jié)合極端學(xué)習(xí)機(jī)分類器對服裝設(shè)計平面圖進(jìn)行分類；李東等[5]提出通過預(yù)處理獲取服裝輪廓信息的算法，基于服裝輪廓提取傅里葉描述子特征向量，用來表示形狀總體特征，并訓(xùn)練多分類支持向量機(jī)實(shí)現(xiàn)分類；Yamaguchi等[6]在服裝檢索中采用超像素分割定位人體的著裝輪廓，通過歐式距離比較相似性，但無法處理復(fù)雜的特征，且分類效果較差。關(guān)于不同類別服裝的分類有很多，但能直觀反映服裝基本特征的廓形提取困難，廓形分類的準(zhǔn)確率有待進(jìn)一步提高。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)[7]能有效降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，自動抓取分類特征，通過權(quán)值共享減少計算量。CaffeNet[8]是CNN常見的一種模型，包含5個卷積特征提取步驟和3個全連接層進(jìn)行分類，能加深網(wǎng)絡(luò)結(jié)構(gòu)提取高維特征。本文主要研究同類別服裝廓形的分類，以女褲為例，通過微調(diào)后的CaffeNet模型自動提取女褲廓形特征，并通過Softmax回歸準(zhǔn)確地實(shí)現(xiàn)廓形分類。

1 實(shí)驗部分

1.1 實(shí)驗樣本

由于目前還沒有一個不同廓形女褲的樣本庫，根據(jù)女褲的外觀廓形差異及電子商務(wù)平臺商家對女褲版型的分類，本文選擇吊襠褲、闊腿褲、喇叭褲、小腳褲和直筒褲5種廓形女褲，這5種女褲廓形分別呈現(xiàn)菱形、梯形、X形、倒梯形和H形，創(chuàng)建了一個女褲樣本庫，收集每種廓形女褲各300張，共1 500張女褲圖片，樣本來源于知名的購物網(wǎng)站，如淘寶網(wǎng)、天貓、京東商城等。由于服裝的高度變形性，且隨著圖像顯示或者拍攝方式的不同，女褲有不同形狀，因此，選擇具有白色干凈背景并且平整擺放的女褲圖像。5種女褲的樣本如圖1所示。

圖1 5種女褲的樣本Fig.1 Samples of five women′s trousers. (a) Saggy pants; (b) Broad-legged pants; (c) Flared trousers; (d) Pencil pants; (e) Straight pants

1.2 卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種輸入到輸出的映射，用已知的卷積模板對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，就能轉(zhuǎn)換輸入到輸出間的關(guān)系[9]，具有很強(qiáng)的泛化能力，可識別位移、拉伸和扭曲不變形的二維或三維圖像。通常，具有卷積結(jié)構(gòu)的深度網(wǎng)絡(luò)模型至少有2個非線性可訓(xùn)練的卷積層，2個非線性的降采樣層和1個全連接層，共至少有5個隱含層，其中降采樣層即池化層，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Framework of convolutional neural network

輸入的女褲圖像經(jīng)卷積層和全連接層將多個特征映射轉(zhuǎn)化為1個特征向量，并以完全連接的方式輸出，最后連接分類器，可采用邏輯回歸、Softmax回歸或者支持向量機(jī)(SVM)等對輸入的圖像進(jìn)行分類，本文采用Softmax回歸方法。

傳統(tǒng)的CNN網(wǎng)絡(luò)結(jié)構(gòu)的卷積層和池化層數(shù)量較少，特征提取效果不明顯，分類效果尚不理想，而5種樣本女褲外部輪廓特征相似，加大了分類難度，廓形分類精度有待提高。本文基于CaffeNet模型，該模型包括5個卷積層、3個池化層和3個全連接層，網(wǎng)絡(luò)的隱含層參數(shù)如表1所示。

表1 網(wǎng)絡(luò)的隱含層參數(shù)Tab.1 Hidden-unit′s parameters of network

為提高女褲廓形分類識別率，通過修改網(wǎng)絡(luò)模型結(jié)構(gòu)和超參數(shù)文件來改進(jìn)CNN，將全連接層進(jìn)行降維處理，設(shè)置適宜的參數(shù)值來降低損失率，改進(jìn)后的全連接層6和全連接層7的輸出向量維數(shù)為512，全連接層8的輸出向量維數(shù)根據(jù)女褲廓形的總類別數(shù)設(shè)置為5；為防止模型過擬合，dropout參數(shù)值修改為0.5，隨機(jī)丟掉50%的隱含層節(jié)點(diǎn)，增強(qiáng)網(wǎng)絡(luò)的泛化能力；同時修改網(wǎng)絡(luò)的訓(xùn)練批次為80，測試批次為20，初始化學(xué)習(xí)率為0.1，網(wǎng)絡(luò)的最大迭代次數(shù)為3 000。

改進(jìn)的CNN利用反向傳播算法不斷逐層調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)中的權(quán)值參數(shù)，權(quán)值更新公式為：

Vt+1=μVt-αL(Wt)

Wt+1=Wt+Vt+1

同時采用梯度下降法最小化損失函數(shù)，損失函數(shù)是CNN中優(yōu)化的目標(biāo)函數(shù)，損失函數(shù)越小，模型的預(yù)測值越接近真實(shí)值，魯棒性越好，損失函數(shù)表示為

1.3 CNN 實(shí)驗

本文實(shí)驗采用Python軟件編程實(shí)現(xiàn)，基于臺式電腦的Win10系統(tǒng)(Intel(R) Core(TM) i7-8700CPU，3.20 GHz，16 GB)。

針對實(shí)驗樣本庫，隨機(jī)抽取每種女褲褲型80%的樣本數(shù)據(jù)集作為實(shí)驗的訓(xùn)練集，剩余的20%作為測試集。訓(xùn)練過程是從訓(xùn)練圖像集的某一類別中任意選取一個參加訓(xùn)練的圖像，輸入相互交替的卷積層和池化層，通過移動感受野對圖像不斷進(jìn)行卷積和最大池化，學(xué)習(xí)訓(xùn)練原始圖像的特征[10]。

輸入女褲圖像，從不同角度進(jìn)行前一層特征圖的卷積運(yùn)算，使其具有位移不變性，增強(qiáng)圖像的原始信號，降低噪聲。通常，卷積層的網(wǎng)絡(luò)結(jié)構(gòu)采用卷積的離散型將原始圖像像素變換為新像素，離散型的公式為

最大池化在池化層完成，池化層即特征映射層，是對輸入的特征映射進(jìn)行池化[11]操作，池化層表示為

經(jīng)過交替的卷積層的特征提取和池化層的池化作用，原始女褲圖像已經(jīng)獲得了高度抽象的特征，然后利用全連接層將特征集合輸出，計算該輸出與理想輸出的誤差，若輸出層無法得到期望的輸出值，則取期望與輸出誤差的平方和為目標(biāo)函數(shù)，轉(zhuǎn)入反向傳播，逐層計算出目標(biāo)函數(shù)對各神經(jīng)元權(quán)值的偏導(dǎo)數(shù)，不斷調(diào)整更新權(quán)值，當(dāng)測試集的誤差接近于零或者達(dá)到指定次數(shù)的迭代時模型訓(xùn)練結(jié)束，再將測試的圖像輸入訓(xùn)練得到的學(xué)習(xí)模型進(jìn)行測試，經(jīng)過隱含層，最后輸出分類結(jié)果。

1.4 對比實(shí)驗

為驗證微調(diào)后的卷積神經(jīng)網(wǎng)絡(luò)對女褲廓形分類的優(yōu)勢，本文采用傅里葉描述子(FD)結(jié)合SVM的方法進(jìn)行對比，該方法改善了服裝款式識別中效率低、適應(yīng)性差等問題，李東等[5]基于服裝輪廓運(yùn)用該方法識別8種不同類別的上下裝，達(dá)到了95%的款式識別率。

本文實(shí)驗采用MatLab R2016a軟件進(jìn)行編程。首先將原始圖像進(jìn)行預(yù)處理，獲取輪廓邊緣，將RGB圖像轉(zhuǎn)換為灰度圖像，然后利用最大類間方差法對灰度圖像進(jìn)行閾值化分割，轉(zhuǎn)化為二值化圖像，最后利用Canny算子對二值圖像進(jìn)行邊緣檢測，獲取圖像的外部輪廓，女褲圖像的預(yù)處理過程如圖3所示。

圖3 圖像預(yù)處理過程Fig.3 Pretreatment process of image. (a) Grey-scale image;(b) Binary image; (c) Skeleton image

傅里葉描述子是一種基于傅里葉理論提出的形狀特征描述方法，利用傅里葉描述子在外輪廓的基礎(chǔ)上進(jìn)行形狀特征提取，將輪廓圖像上各像素點(diǎn)的坐標(biāo)通過傅里葉變換轉(zhuǎn)換成傅里葉描述序列：

式中：xk與yk為輪廓像素點(diǎn)的橫坐標(biāo)和縱坐標(biāo)；K為輪廓曲線上像素點(diǎn)的總個數(shù)，k的取值為[0，K-1]；j為虛數(shù)單位；u的取值為[0，K-1]。

根據(jù)文獻(xiàn)[5]提出傅里葉描述子特征向量長度為20時識別準(zhǔn)確率最高，故本文選取前20個分量對女褲輪廓進(jìn)行重構(gòu)，順時針順次掃描輪廓的像素點(diǎn)。為得到具有旋轉(zhuǎn)、平移和縮放不變性的傅里葉描述子，對傅里葉描述序列進(jìn)行歸一化。采用 LibSVM工具箱[12]進(jìn)行多分類，隨機(jī)選取每種類別女褲 240張圖片作為訓(xùn)練樣本，不斷訓(xùn)練樣本的傅里葉描述子特征矩陣和類別標(biāo)簽，得到SVM分類模型；最后將測試集的傅里葉描述子的特征矩陣輸入已經(jīng)訓(xùn)練好的模型，將預(yù)測類別對比實(shí)際類別得出分類準(zhǔn)確率。

2 結(jié)果與分析

改進(jìn)的CNN共13層，對原始圖像進(jìn)行歸一化處理，輸入層使用227像素×227像素，分辨率為 72 ppi 的圖像作為網(wǎng)絡(luò)的輸入，通過卷積和池化操作提取特征，將結(jié)果納入全連接層把數(shù)據(jù)流分為5類。采用改進(jìn)后的 CNN對女褲廓形分類的準(zhǔn)確率如表2所示。可知每種類別女褲的分類準(zhǔn)確率都在95%以上。

表2 改進(jìn)的CNN 對廓形分類的準(zhǔn)確率Tab.2 Accuracy of silhouette classification by modified CNN

表3示出采用傅里葉描述子結(jié)合SVM的分類準(zhǔn)確率。可以看出，女褲的分類準(zhǔn)確率在85%～ 90%之間，準(zhǔn)確率不高可能因為樣本屬于同種類別服裝，款式差異相較于不同種類服裝較小，而上下裝外觀輪廓差別較明顯。對比表2、3可看出，改進(jìn)的CNN分類效果較理想，可能是因為傅里葉描述子太依賴于樣本圖像的輪廓信息，邊緣檢測的輪廓完整度和清晰度影響特征向量的提取。

表3 FD + SVM 對廓形分類的準(zhǔn)確率Tab.3 Accuracy of silhouette classification by FD and SVM

3 結(jié) 論

根據(jù)女褲廓形差異及電商平臺中商家對女褲版型的分類，構(gòu)建了1 500張包括菱形、梯形、X形、倒梯形和H形的5種女褲廓形樣本庫；提出一種基于卷積神經(jīng)網(wǎng)絡(luò)CaffeNet模型，通過相互交替的卷積和池化操作自動提取女褲廓形特征、實(shí)現(xiàn)服裝廓形分類的方法；利用反向傳播算法進(jìn)行權(quán)值參數(shù)調(diào)整，運(yùn)用梯度下降法并改進(jìn)全連接層參數(shù)最小化損失率，采用Softmax回歸方法對5種廓形女褲進(jìn)行分類，準(zhǔn)確率在95%以上，該方法可較好地判別差異微小的同類別女褲。