基于深度殘差網絡的服裝圖像檢索

摘要：針對服裝圖像檢索這一問題，用深度殘差網絡ResNet101作為骨干模型，并使用DeepFashion數據集中的子數據集Category and Attribute Prediction Benchmark中的圖片作為研究對象。文中首先將服裝圖片進行處理后送入已經訓練好的網絡模型中得到服裝圖像特征，并建立服裝特征庫，然后將待檢索的服裝圖片送入模型中得到圖像特征，并與服裝特征庫中的特征進行相似度度量，最后按照相似度大小得到檢索結果。實驗結果表明，該方法可以得到比較完整的服裝特征，具有較高的檢索準確率。

關鍵詞：深度學習;圖像檢索;度量學習;殘差網絡;積神經網絡

中圖分類號：TP183 ? ? ?文獻標識碼：A

文章編號：1009-3044（2021）32-0087-02

Clothing Image Retrieval Based on Deep Residual Network

YAN Si-xue

（Hunan University of Technology， Zhuzhou 412007，China）

Abstract：In order to solve the problem of clothing image retrieval， the deep residual network Resnet101 is used as the backbone model， and the images in the Category and Attribute Prediction Benchmark， a sub-dataset of the DeepFashion dataset， are used as the research object. In this paper， first of all be incorporated into clothing pictures after processing has trained network model in the clothing image characteristics， and establish the clothing characteristic library， and then to retrieve the clothing pictures into the model of image characteristics， and with the clothing features in the library for a similarity measure， finally according to the size of similarity retrieval results are obtained. Experimental results show that this method can obtain more complete clothing features and has a high retrieval accuracy.

Key words： deep learning;image retrieval;metric learning;residual network;convolutional neural network

1引言

近年來，隨著互聯網的高速發展，電子商務進入了一個蓬勃發展的階段，并且網絡購物已經成為大多數人購買物品的第一選擇，而服裝作為電子商務的一個重要組成部分，產生了大量的服裝圖像，而想要在眾多服裝圖像中選中自己喜歡的服裝是一個十分棘手的難題。

為了解決這個難題，研究人員提出了兩種解決辦法：第一種解決辦法是基于文本的圖像檢索方法（TBTR），第二種是基于內容的圖像檢索方法（CBIR）。基于文本的圖像檢索方法一般是以關鍵詞或是以等級目錄的形式查詢圖像。它是在以文本注釋為基礎的圖像上進行圖像檢索。其主要過程是：首先，對圖像建立相應的關鍵詞或者是描述性的文字，其次，根據這些文字對圖像進行特征抽取，建立相應的圖像索引數據庫，最后按照數據庫管理，采用數據庫管理方法。基于內容的圖像檢索方法是根據圖像內容語義進行查找。其主要過程是先用軟件對圖像進行處理，得到圖像特征，然后將圖像特征進行處理，將其作為特征向量存入圖像特征庫中。在檢索的過程中，先是對一張給定的圖像進行處理，得到它的特征向量，然后將其與特征數據庫的向量進行相似度度量，根據度量結果輸出檢索圖像。

2相關工作

2.1服裝圖像檢索

研究者們針對服裝圖像檢索這一問題提出了很多解決方法。現在使用最多的是基于內容的服裝圖像檢索。使用基于內容的服裝圖像檢索主要解決兩個問題，一是對服裝圖像提取特征，二是對服裝圖像特征進行相似度度量。現在比較流行的方法是提取服裝圖像的傳統特征和使用深度學習來提取服裝圖像的深度特征。葛俊等[1]提出一種基于累加直方圖與Hu不變矩加權特征和局部二值模式（LBP）的檢索方法，董俊杰[2]使用方向梯度直方圖（HOG）實現了服裝圖像檢索系統，張騰等[3]使用顏色直方圖（HSV）進行服裝圖像檢索，肖行等[4]使用改進的LBP特征進行服裝圖像檢索，陳雙[5]對VGG-16模型引入哈希層后進行圖像檢索。包青平[6]等使用Tripletloss進行度量學習完成圖像檢索任務。何媛媛[7]等使用融合GoogleNet的多層特征并使用K-Means聚類算法進行圖像檢索。曾雄梅[8]通過融合感興趣區域特征和深層特征來進行圖像檢索。相似性度量的目的是減少同類樣本間的距離，增大不同類別之間的距離，目前主要是使用有監督學習方法，在卷積神經網絡中引入的有監督度量學習，主要形成了Siamese結構和Triplet結構。Siamese結構是由兩個共享權值的子神經網絡組成，將兩個輸入分別送入子神經網絡中得到輸出，最后得出兩個輸出之間的距離。Triplet結構由三個共享權值的子網絡組成，其中輸入樣本分別為參考樣本，正樣本和負樣本組成，同與參考樣本為類別的是正樣本，與參考樣本不同類別的為負樣本，將樣本分別送入子網絡中得到輸出特征，然后分別計算參考樣本和正樣本之間的距離，參考樣本和負樣本之間的距離。本文使用ResNet101網絡模型提取服裝特征，使用Triplet結構進行相似性度量。

2.2 深度殘差網絡

深度殘差網絡是由MSRA（微軟亞洲研究院）何凱明團隊提出的，并且在2015年的ImageNet上取得冠軍。該網絡的層數達到152層。深度殘差網絡使用恒等映射，解決了在增加神經網絡的深度時，會出現準確率先上升然后達到飽和，再持續增加深度則會導致準確率下降的問題。深度殘差網絡根據網絡深度的不同，分為18、34、50、101、152層的網絡如圖1所示。

在這五種不同層數的網絡模型中，本文使用ResNet101網絡作為骨干模型提取圖像特征。

3基于特征融合的服裝圖像檢索

3.1模型設計

為了克服梯度消失和梯度爆炸的問題，本文使用了深度殘差網絡模型作為主干網絡。在深度殘差網絡模型中，出于提高檢索準確率和減少檢索時間這兩個原因考慮，本文使用ResNet101網絡模型。本文使用的數據集是DeepFashion數據集中的子數據集Category and Attribute Prediction Benchmark，有著較多的訓練樣本，可以得到比較好的實驗結果。本文修改ResNet101的兩個全連接層，將倒數第二層修改為輸出維度500維，并將倒數第二個全連接層得到的服裝圖像特征建立起服裝特征數據庫，將最后一個全連接層的輸出維度修改為20維，因為本文選取了20個類別作為訓練樣本。

3.2方法概述

（1）首先對服裝圖像進行預處理。

（2）將進行預處理后的大小為3[×] 224[×] 224的服裝圖片輸入到ResNet101網絡模型中，然后經過網絡模型的處理，得到服裝特征。

（3）將所有的服裝圖片依次送入網絡模型中，將得到的服裝特征建立成服裝特征向量庫。

（4）將待檢索的圖片進行預處理后送入網絡模型中得到待檢索圖片的服裝特征。

（5）計算待檢索的服裝特征與服裝數據庫中的特征的距離，然后得出與待檢索圖片特征向量最近的N張圖片作為檢索結果，并且按照相似度大小排列，最相似的圖片排在檢索結果中的第一位，排在最后面的是N張圖片中最不相似的圖片。

4實驗和分析

4.1數據集

本文使用DeepFashion數據庫中的Category and Attribute Prediction Benchmark數據集，該數據集一共有289222張服裝圖片，均是JPG格式，其中有50個服裝類別，1000個服裝屬性，服裝類別分為上身服裝，下身服裝和全身服裝。本文抽取數據集中的20個服裝類別的圖片進行試驗。

4.2評價指標

我們使用平均精度均值（mean Average Precision，mAP）來衡量服裝圖像的檢索效果。在完成一次檢索結果后，相似圖片占檢索出來的圖片總數的比值即為檢索結果的準確率，而平均精度均值是多次檢索準確率的和除以檢索次數后得到的值。

準確率= [檢索結果中的相似服裝數目返回的檢索結果數目]×100%

MAP =[多次準確率的和檢索次數×]100%

從公式可以看出，平均精度均值可以有效考察檢索模型在檢索時的正確返回結果在所有返回結果中的占比情況。

4.3實驗結果與分析

根據實驗設計，本文對DeepFashion數據集中的子數據集Category and Attribute Prediction Benchmark進行了105次訓練后，其損失值和準確率趨于穩定。將訓練好的模型用于服裝圖像檢索，其檢索結果由圖2可知。

在圖像檢索中，本文分別返回前3、5、10張圖片來計算平均精度均值（mAP），實驗結果如表1所示。

5結論

本文使用ResNet101網絡模型作為主干網絡，使用Triplet進行相似性度量，并計算圖像之間的余旋距離，最后的檢索結果按照圖像之間的相似度進行排序。從表一可知，本實驗具有較高的平均精度均值，該模型較好地完成了服裝圖像檢索工作。在后續的工作中，可以使用Flask做一個網頁的服裝圖像檢索系統。

參考文獻：

[1] 葛俊，于威威.一種基于加權顏色形狀特征和LBP服裝圖像檢索方法[J].現代計算機（專業版），2018（19）：33-38.

[2] 董俊杰.基于HOG和SVM的服裝圖像檢索系統的設計與實現[D].廣州：中山大學，2014.

[3] 張騰，郭清宇.基于HSV顏色直方圖的服裝檢索[J].信息與電腦（理論版），2011（20）：28-29.

[4] 肖行.一種基于Gabor小波和LBP的服裝圖像檢索方法[J].企業技術開發，2014，33（33）：51-52.

[5] 陳雙.基于深度學習的服裝圖像分類與檢索研究[D].杭州：浙江理工大學，2019.

[6] 包青平，孫志鋒.基于度量學習的服裝圖像分類和檢索[J].計算機應用與軟件，2017，34（4）：255-259.

[7] 侯媛媛，何儒漢，劉軍平.融合顏色特征和深度特征服裝圖像檢索算法[J].計算機應用與軟件，2020，37（10）：194-199.

[8] 曾雄梅.基于感興趣區域和特征融合的服裝圖像檢索研究[D].武漢：華中科技大學，2019.

【通聯編輯：唐一東】

收稿日期：2021-07-25

基金項目：田園綜合體信息化運營技術集成與示范（2019YFD1101305）;湖南省自然科學基金（2018JJ2098）

作者簡介：晏思雪（1996—），女，四川簡陽人，電子與通信工程專業碩士，主要研究方向為計算機視覺。