一種改進殘差網(wǎng)絡(luò)的服裝圖像識別模型

陸建波，謝小紅，李文韜

南寧師范大學 計算機與信息工程學院，南寧 530299

1 引言

隨著電子商務(wù)不斷發(fā)展，服裝商務(wù)新模式已經(jīng)成為人們生活不可缺少的一部分。如何更好地對服裝圖片識別、分類和獲取有價值的信息，是目前研究服裝的熱點。隨著服裝圖像數(shù)量的迅猛增長，服裝的風格越來越多元化，文字描述已經(jīng)無法完整地表達服裝信息，必須花費大規(guī)模的人力物力對圖像做精確的標注。但是，由于受到個人的主觀性影響，在對圖像進行標注時并不能很精準地給目標圖像打上標注，進而影響服裝的識別分類精度。

傳統(tǒng)的服裝分類方法主要是提取圖像的顏色、紋理、邊緣等特征，這些人工選取特征方法過程繁瑣且分類精度較低。由于服裝圖片存在細粒度分類[1]多，視覺變化大，如形變、光照、拍攝視角、背景影響等問題，使得服裝識別分類技術(shù)受到更大挑戰(zhàn)。

近年來，深度學習（Deep Learning，DL）[2]已經(jīng)成為當前機器學習領(lǐng)域中的重要發(fā)展方向。使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）[3]去解決圖像分類中的問題逐漸成為主流。越來越多的研究者將深度學習和服裝分類相結(jié)合。Liu 等人[4]收集一個數(shù)據(jù)量大且標注完整的服裝數(shù)據(jù)集DeepFashion，并構(gòu)建出一種新的卷積神經(jīng)網(wǎng)絡(luò)。高妍等人[5]利用區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)R-FCN與HyperNet 網(wǎng)絡(luò)結(jié)合，對形變服裝進行訓練。陳麗麗等人[6]設(shè)計了一種新的卷積神經(jīng)網(wǎng)絡(luò)，有效地完成服飾圖像的分類。Ge 等人[7]提出了一種基于掩碼R-CNN 的新型匹配R-CNN 框架以端到端的方式解決了服裝檢測、姿態(tài)估計、分割和檢索等問題。以上研究工作都使用深度卷積神經(jīng)網(wǎng)絡(luò)對服裝圖像進行識別分類。為達到識別圖像精度的提升，通常改進CNN的卷積層數(shù)量或結(jié)構(gòu)來完善模型的識別分類性能。但深度卷積神經(jīng)網(wǎng)絡(luò)還有問題尚存：（1）隨著深度學習網(wǎng)絡(luò)的加深，網(wǎng)絡(luò)的堆疊效果不好；（2）網(wǎng)絡(luò)越復雜，訓練時會出現(xiàn)梯度彌散或梯度爆炸等問題使得訓練具有挑戰(zhàn)性[8]。網(wǎng)絡(luò)層數(shù)淺的模型識別性能不理想，而殘差網(wǎng)絡(luò)引入了殘差塊，當模型的深度加深時，殘差塊的加入能很好地解決退化問題。

本文借鑒ResNet 能解決在訓練深層網(wǎng)絡(luò)時出現(xiàn)梯度彌散問題的優(yōu)點，提出了一種改進深度殘差網(wǎng)絡(luò)結(jié)構(gòu)來提高服裝圖像的識別分類的性能。

2 改進殘差網(wǎng)絡(luò)的服裝識別模型

目前大多數(shù)的研究者選擇AlexNet[9]和VGGNet[10]這兩種網(wǎng)絡(luò)對服裝圖像進行特征的選取，VGGNet 在AlexNet基礎(chǔ)上做了改進，網(wǎng)絡(luò)結(jié)構(gòu)簡潔。其中文獻[4]采用VGGNet用于服裝類別分類上，但是在面對多種服裝類別分類時，由于AlexNet 和VGGNet 網(wǎng)絡(luò)層數(shù)比較少，直接影響了網(wǎng)絡(luò)的學習特征能力。后來研究者們通過增加深度卷積神經(jīng)網(wǎng)絡(luò)層數(shù)和卷積層個數(shù)的方向?qū)W(wǎng)絡(luò)進行改進，比如GoogleNet[11]和ResNet[12]的出現(xiàn)，都證明了在圖像識別分類工作上層數(shù)越深的模型識別性能會更理想。

2.1 殘差神經(jīng)網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)在2015年的ImageNet大規(guī)模視覺識別多項比賽中以絕對的優(yōu)勢取得第一。深度殘差網(wǎng)絡(luò)是由殘差塊組成的。每個殘差塊可以表示為：

其中，F(xiàn)為殘差函數(shù)，f為ReLU函數(shù)，wi為權(quán)值矩陣，xi和yi為第i層的輸入和輸出。函數(shù)h為：

殘差函數(shù)F的定義為：

B(xi)是批處理規(guī)范化“，?”表示卷積和σ(x)=max(x,0 )。殘差學習的基本思想是梯度傳播路徑的分支。對于CNN，這一思想首先以并行路徑的形式引入到了inception 模型[13]中。殘差網(wǎng)絡(luò)與Highway Network 思想有一些相似之處，但對其進行改進，稱之為恒等映射，如通過殘差塊和shortcut 連接，減緩了在ResNet 中隨著層數(shù)的增加帶來的梯度消失問題。然而，Highway Network 中每條路徑的輸出是由訓練階段學習的門函數(shù)控制的。

與傳統(tǒng)CNN 中的卷積層一樣，ResNet 中的殘差單元不是堆疊在一起的，相反，從每個卷積層的輸入端到輸出端引入了shortcut連接。使用恒等映射作為shortcut連接降低了殘差網(wǎng)絡(luò)的復雜性，使得深度網(wǎng)絡(luò)更快地被訓練。殘差網(wǎng)絡(luò)可以被看作是許多路徑的集合，而不是一個非常深的架構(gòu)，但是，殘差網(wǎng)絡(luò)中的所有網(wǎng)絡(luò)路徑的長度都不相同，只有一條路徑穿過所有殘差單元。此外，所有這些信號路徑都不傳播梯度，這是殘差網(wǎng)絡(luò)更快優(yōu)化和訓練的原因。隨著網(wǎng)絡(luò)層數(shù)加深，準確率不下降。殘差塊的結(jié)構(gòu)如圖1所示。

2.2 改進的殘差網(wǎng)絡(luò)模型

深度卷積神經(jīng)網(wǎng)絡(luò)訓練時某一層的權(quán)重發(fā)生變化，該層的輸出特征圖也隨之變化，下一層網(wǎng)絡(luò)的權(quán)重需要重新學習，之后的每一層網(wǎng)絡(luò)權(quán)重都會受到影響。在ResNet 中加入激活函數(shù)可以提升構(gòu)建網(wǎng)絡(luò)模型的非線性能力。深度殘差網(wǎng)絡(luò)采用線性修正單元ReLU，f(x)=max(0 ,x)作為激活函數(shù)，ReLU 函數(shù)的梯度在x＞0 時一直為1使得梯度不衰減，緩解了梯度彌散的問題。假設(shè)不使用激活函數(shù)，網(wǎng)絡(luò)僅能通過線性映射構(gòu)建，即使有很多的卷積層網(wǎng)絡(luò)，整個網(wǎng)絡(luò)中的每一層都是等價的，卷積出來的特征圖也不會有太大的變化，因此網(wǎng)絡(luò)應(yīng)該使用激活函數(shù)。

隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，在訓練過程中會出現(xiàn)網(wǎng)絡(luò)的收斂速度急劇下降和梯度彌散等問題。而批量歸一化（Batch Normalization）[14]能有效解決此問題。具體的解決方法是對同一層的輸入信號進行歸一化，公式如下：

其中，每一個神經(jīng)元xk都會有一對這樣的參數(shù)γ、β。這樣其實當：時可以保持某一層原始的學習特征，并能重構(gòu)參數(shù)γ、β，恢復初始網(wǎng)絡(luò)學習的特征分布。BN層是一種規(guī)范化神經(jīng)網(wǎng)絡(luò)的激活方法，加入批量歸一化算法先對每一層的輸入信號做歸一化處理，穩(wěn)定其數(shù)據(jù)分布，在訓練時設(shè)置較大的學習率，使得網(wǎng)絡(luò)收斂速度和訓練速度變快。圖2為傳統(tǒng)殘差網(wǎng)絡(luò)中的“卷積層+BN層+ReLU層”排列順序。

圖2 傳統(tǒng)殘差塊的排列順序

傳統(tǒng)殘差塊的排列順序在深度卷積ResNet 中有缺陷，如恒等塊的輸入分別從兩個路徑傳輸?shù)缴顚泳W(wǎng)絡(luò)。右邊路徑表示特征圖先通過卷積層再到BN和ReLU[15]。輸入的特征圖沒有先做歸一化處理，所以BN層的存在并不能起到很大的作用。根據(jù)上述缺陷，本文采用一種新的非線性支路“BN 層+卷積層+ ReLU 層”恒等塊結(jié)構(gòu)的排列順序。如圖3所示，圖中的網(wǎng)絡(luò)結(jié)構(gòu)還是和傳統(tǒng)殘差塊網(wǎng)絡(luò)結(jié)構(gòu)（圖1）一樣，而ResNet中典型的殘差塊由三個卷積層組成。本文提出的新殘差塊的排列方法既保留了左邊路徑的恒等映射，也維持著右邊非線性網(wǎng)絡(luò)路徑的學習能力。

圖3 改進殘差塊的排列順序

2.3 引入SE注意力模塊

注意力機制[16（]Attention Mechanism）是對目標數(shù)據(jù)進行加權(quán)變化，它使用頂部信息來指導自下而上的前饋過程。人腦的注意力模型，是一種資源分配模型，在某個特定時刻，注意力總是集中在畫面中的某個焦點部分，而對其他部分視而不見。近年來，人們開始嘗試將注意力應(yīng)用到深層神經(jīng)網(wǎng)絡(luò)中。因此，引入注意力機制進一步提取判別性部位特征，在改進后的網(wǎng)絡(luò)中采用SE（Squeeze-and-Excitation）算法[17]，通過精確地建模卷積特征各個通道之間的作用關(guān)系來改善網(wǎng)絡(luò)模型的表達能力。讓網(wǎng)絡(luò)模型對特征進行校準的機制，使網(wǎng)絡(luò)從全局信息出發(fā)，選擇性地增強有價值的特征通道并且抑制無用的特征通道。

SE網(wǎng)絡(luò)模塊如圖4所示，為保證增加網(wǎng)絡(luò)后對有價值信息的敏感性，并使有價值的特征在之后的網(wǎng)絡(luò)層中得到有效利用，達到對通道之間的依賴關(guān)系進行精確建模，通過 Squeeze、Excitation 和 Reweight 來重新定義之前得到的特征：

（1）Squeeze（全局信息嵌入）。為了解決利用通道依賴性的問題，利用空間維度壓縮特征。用一個具有全局空間信息的變量代表每個二維的特征向量，且輸出的維度與輸入的通道數(shù)相匹配。公式表達如下所示：

（2）Excitation（自適應(yīng)重新校正）。為了利用壓縮操作中匯聚的信息，全面捕獲到通道的依懶性。必須滿足學習通道之間的非線性交互以及非互斥關(guān)系。

（3）Reweight，在Excitation 操作之后產(chǎn)生的權(quán)重與原始特征進行相乘。

圖4 SE模塊示意圖

在上述每個新殘差塊的所有“BN層+卷積層+ReLU層”結(jié)構(gòu)完成后引入SE算法，利用網(wǎng)絡(luò)實施動態(tài)的特征再次校準，從而提升網(wǎng)絡(luò)的性能，將軟注意力機制成功應(yīng)用于深度網(wǎng)絡(luò)的典型。將SE模塊嵌入到新殘差模塊中如圖5所示。

圖5 加入SE模塊的殘差塊

表1 是原始ResNet50 網(wǎng)絡(luò)的卷積層主要結(jié)構(gòu)及其參數(shù)數(shù)量改變后的主體結(jié)構(gòu)，有3個包含128個卷積核、4個包含256個卷積核、6個包含512個卷積核、3個包含1 024 個卷積核數(shù)量的殘差塊及兩層全連接層，模型輸出的維度為8和10。分別對應(yīng)兩個數(shù)據(jù)集的分類類別。

表1 兩種網(wǎng)絡(luò)卷積結(jié)構(gòu)對比

3 實驗及結(jié)果分析

3.1 實驗準備

本文使用香港中文大學多媒體實驗室提供的多類別大型服裝數(shù)據(jù)集DeepFashion[4]和FashionMNIST數(shù)據(jù)集來驗證本文網(wǎng)絡(luò)的性能。

本文實驗環(huán)境：Ubuntu 操作系統(tǒng)，Intel i7-7700 處理器，1 TB固態(tài)硬盤，32 GB內(nèi)存，NVIDIA GTX1080Ti GPU，采用TensorFlow 平臺進行訓練;實驗結(jié)果中的準確率曲線采用python中的matplotlib可視化得到。在實驗中，本文提出了一個新的網(wǎng)絡(luò)為F-ResNet，首先改進非線性支路中“BN 層+卷積層+ReLU”恒等塊結(jié)構(gòu)的排列順序（如圖3）代替?zhèn)鹘y(tǒng)網(wǎng)絡(luò)中的排列順序。其后引入注意力機制SE 模塊（如圖5）。最后調(diào)整網(wǎng)絡(luò)卷積結(jié)構(gòu)（如表1）。網(wǎng)絡(luò)主體由4 個殘差網(wǎng)絡(luò)層組成，每個殘差塊都進行歸一化處理。最后通過全局均值池化層、全連接層和線性分類器得到輸出結(jié)果。本文將F-ResNet 與目前經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)VGG16 和Inception_v3 作性能比較，模型選用交叉熵損失函數(shù)和Adam 算法作為優(yōu)化器進行優(yōu)化，學習率統(tǒng)一設(shè)置為0.000 1。在進行網(wǎng)絡(luò)訓練時只使用部分的優(yōu)化方法，因此網(wǎng)絡(luò)并不能達到最高的精度。

3.2 FashionMNIST

標準數(shù)據(jù)集FashionMNIST共有70 000張來自10種不同類別商品的正面圖片。其中共有60 000 張圖像作為訓練集，10 000張圖像作為測試集驗證。該數(shù)據(jù)集的圖片大小以及劃分和MNIST數(shù)據(jù)集一致。如圖6所示，本文提出的F-ResNet 在準確率和收斂速度上優(yōu)于ResNet的兩個改進網(wǎng)絡(luò)且泛化能力強。圖7所示，最終模型F-ResNet與傳統(tǒng)殘差網(wǎng)絡(luò)作對比，F(xiàn)-ResNet的準確率和收斂速度均優(yōu)于傳統(tǒng)殘差網(wǎng)絡(luò)。

圖6 最終模型F-ResNet和兩個改進模型精度比較

圖7 原始ResNet50和本文網(wǎng)絡(luò)模型精度比較

如表2所示，各個網(wǎng)絡(luò)模型經(jīng)過充分訓練后得到識別準確率和訓練耗時。使用CNN并未出現(xiàn)因?qū)訑?shù)增加而導致網(wǎng)絡(luò)發(fā)生訓練困難等問題，Inception_v3 層數(shù)比VGG16深，但是Inception_v3對圖像識別分類的準確率和時效性都高于VGG16，而本文改進深度殘差網(wǎng)絡(luò)的準確率比VGG16 提高1.5 個百分點。在只改進ResNet殘差塊的情況下，網(wǎng)絡(luò)的分類精度僅比傳統(tǒng)殘差網(wǎng)絡(luò)精度提高了0.3 個百分點。僅用深度殘差網(wǎng)絡(luò)與SE 模塊相結(jié)合，網(wǎng)絡(luò)精度提高了0.42個百分點。將以上兩個方法結(jié)合后，最終模型較傳統(tǒng)殘差網(wǎng)絡(luò)精度提高0.75個百分點。實驗結(jié)果表明本文提出的模型可以提高卷積神經(jīng)網(wǎng)絡(luò)的特征學習能力。

表2 模型在FashionMNIST數(shù)據(jù)集準確率對比

如表3所示，通過查找利用卷積神經(jīng)網(wǎng)絡(luò)解決服裝圖像分類問題的相關(guān)文獻。將文獻[6]的實驗結(jié)果與本文方法的實驗結(jié)果作對比，證明本文方法的可取性。

表3 FashionMNIST數(shù)據(jù)集上不同方法準確率對比

3.3 DeepFashion

為了進一步驗證本文提出的模型性能，也在Deep-Fashion 服裝數(shù)據(jù)集上進行實驗。DeepFashion 包含了28萬的圖片，這些圖像大部分來自購物網(wǎng)站，其余部分來源于博客、論壇和其他用戶的生成。其服裝圖片全部由人工標注，每張圖像都有1個類別標注，1 000個屬性標注，Bbox 邊框，這是迄今為止最大、最全面的服裝數(shù)據(jù)集。由于數(shù)據(jù)集過于龐大，本次實驗從中挑選8個服裝類型，分別是 Dress、Jeans、Tank、shots、Tee、Jecket、Hoodie、Coat。其中80%作為訓練集，20%作為驗證集，兩者沒有數(shù)據(jù)之間的交集，其中該訓練集用于模型訓練和學習以及參數(shù)的調(diào)整。在訓練中使用驗證集對模型進行測試，對模型進行優(yōu)化，對模型參數(shù)進行微調(diào)。

由于該實驗數(shù)據(jù)集圖像初始尺寸參差不齊，大小不一，根據(jù)整體數(shù)據(jù)集圖像的大小，統(tǒng)一將圖像的尺寸設(shè)置為 224×224。如圖8 所示，本文提出的F-ResNet 在準確率和收斂速度上優(yōu)于ResNet 的兩個改進網(wǎng)絡(luò)，其中僅改進殘差塊的網(wǎng)絡(luò)實驗結(jié)果波動比較大。如圖9為最終模型F-ResNet 與傳統(tǒng)殘差網(wǎng)絡(luò)精度的比較情況，可知F-ResNet 的準確率和收斂速度均優(yōu)于傳統(tǒng)殘差網(wǎng)絡(luò)。

圖8 最終模型F-ResNet和兩個改進模型精度比較

圖9 原始ResNet50和本文網(wǎng)絡(luò)模型精度比較

如表4所示，Inception_v3、傳統(tǒng)殘差網(wǎng)絡(luò)和F-ResNet對圖像識別分類的準確率都高于VGG16。本文改進的深度度殘差網(wǎng)絡(luò)與VGGNet相比，準確率提升了2.77個百分點，較Inception_v3 提升1.07 個百分點，比僅改進ResNet 殘差塊的模型精度提高了1.12 個百分點，比ResNet 與SE 模塊相結(jié)合的模型精度提高2.02 個百分點，較傳統(tǒng)殘差網(wǎng)絡(luò)精度提高2.21 個百分點。VGG16的參數(shù)多達1.38多億個，第一個全連接層有1億多個參數(shù)。由于網(wǎng)絡(luò)的所有全連接層的參數(shù)達到整個網(wǎng)絡(luò)的3/4，全連接層的參數(shù)過多會降低模型的訓練速度，另外還會導致模型的復雜度增加、過擬合現(xiàn)象嚴重等問題，最后網(wǎng)絡(luò)精度難以得到提升。Inception_v3 網(wǎng)絡(luò)約有2 200 多萬參數(shù)，層數(shù)多達47 層。本文提出的網(wǎng)絡(luò)FResNet 有50 層網(wǎng)絡(luò)，約有5 800 多萬個參數(shù)，通過加深網(wǎng)絡(luò)層數(shù)達到提高模型的特征學習能力的目的，使得網(wǎng)絡(luò)精度得到提升。

通過FashionMNIST 和DeepFashion 兩個數(shù)據(jù)集的實驗結(jié)果表明，當CNN在達到一定的深度之前，隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)的特征學習能力越強，收斂速度也越快。所以網(wǎng)絡(luò)層數(shù)多的殘差網(wǎng)絡(luò)和Inception_v3都比網(wǎng)絡(luò)層數(shù)少的VGG16精度高。但是，當CNN達到一定的深度之后，網(wǎng)絡(luò)的識別分類精度并不會隨著網(wǎng)絡(luò)層數(shù)的加深而提高，反而會出現(xiàn)梯度彌散的問題。而深度殘差網(wǎng)絡(luò)有解決在深層網(wǎng)絡(luò)訓練時出現(xiàn)梯度彌散問題的優(yōu)點。該實驗結(jié)果也說明了本文提出的F-ResNet 是可行的，且在服裝圖像識別分類上取得了很好的效果。

4 結(jié)論

針對卷積神經(jīng)網(wǎng)絡(luò)，本文對傳統(tǒng)殘差網(wǎng)絡(luò)進行改進，通過改進傳統(tǒng)殘差塊中的“BN+ReLU+卷積層”的排列順序、引入注意力機制和調(diào)整網(wǎng)絡(luò)卷積核結(jié)構(gòu)，來提升模型的識別分類效果。實驗結(jié)果表明，本文的網(wǎng)絡(luò)模型在服裝圖像的分類精度和收斂速度上比傳統(tǒng)深度殘差網(wǎng)絡(luò)好，證明了該方法的有效性。