基于深度學習的服裝圖像檢索方法①

陳 雙,何利力,鄭軍紅

(浙江理工大學 信息學院,杭州 310018)

隨著服裝電子商務的飛速發展,互聯網上服裝圖像數據量急劇增長,如何從海量的圖像庫中進行快速精準檢索成為了近幾年研究的熱點[1].

目前服裝圖像檢索的常規方法有兩類,一類是基于文字的圖像檢索(TBIR),通過對服裝圖像的文字描述進行語義式匹配;另一類是基于圖像內容的圖像檢索(CBIR),從圖像的顏色、紋理等方面進行特征提取,實現“以圖搜圖”[2].但這兩類方法都具有一定的局限性,文字描述所進行的人工語義標簽十分繁瑣,且具有主觀性;而內容特征不能全面地反映圖像豐富的視覺特征,機器從低級的可視化特征得到的相似性與人從高級的語義特征得到的相似性間存在著巨大的“語義鴻溝”[3],造成檢索的效果不佳.為此,在深度學習技術與圖像處理技術飛速發展的當下,借助深度學習強大的特征提取能力,直接對圖像進行處理,消除不同底層特征帶來的影響,進行服裝圖像檢索研究.

基于深度學習的方法在圖像分類、圖像檢索方面具有獨特的優越性.AlexNet模型[4]與 VGG 模型[5]成功地驗證了深度卷積神經網絡在學習圖像特征表示上的能力.而對于有著紋理、款式等特有視覺特征的服裝圖像的檢索,目前仍處于探索階段.如基于深度學習進行對服裝圖片的自動標注[6],以及著重于深度卷積神經網絡的層次多任務服裝分類等[7],它們主要借助于深度學習的圖像特征表達能力來進行研究.面對大規模服裝圖像,利用深度卷積神經網絡學習訓練樣本的近似哈希編碼得到哈希構造函數,采用CNN與哈希方法相結合的算法[8]能有效提高圖像檢索的速度.

本文主要進行3方面的研究.1)基于Fashion-MNIST數據集建立卷積神經網絡模型,進行服裝類別標簽分類.2)基于VGG-16預訓練模型,對服裝數據集進行特征提取,并映射成哈希編碼,建立服裝特征哈希索引庫,實現圖像的快速檢索.3)綜合以上兩個模型,以爬取的服裝圖像進行分類訓練,建立大規模服裝數據集,提出一種新的Fashin-16神經網絡模型,實現基于深度學習的先分類再類內檢索的服裝圖像檢索,并通過實驗分析與對比實驗的設計驗證其檢索效果.

1 研究方法

1.1 研究環境與預處理

實驗環境:基于 Keras深度學習框架,Tensorflow做為后端.

預訓練數據:采用Fashion-MNIST數據集進行預訓練.Fashion-MNIST 是德國研究機構 Zalando Research發布的一個服裝圖像數據集[9],含有60 000個訓練樣本和 10 000 個測試樣本,包括 10 個類別標簽:T 恤,褲子,套頭衫,裙子,外套,涼鞋,襯衫,運動鞋,包,踝靴.

實驗數據:使用爬蟲爬取服裝圖像與網上相關服裝數據集,獲取了總計 325 820張服裝圖像,關聯對應的服裝類別標簽,建立大規模服裝圖像數據集作為實驗樣本集,并將樣本集隨機分為三批,20萬個樣本作為訓練數據,進行模型的訓練,10萬個樣本進行模型的參數調優,剩下的樣本用來衡量最優模型的性能.

標簽選擇:為實現高效精準的分類,本文參考Fashin-MNIST數據集的類別標簽,采用單標簽的方法.考慮缺少多標簽之間的關聯,泛化能力不足[10],后期將對Fashion-16模型進行調整,實現多標簽的分類檢索.

預處理:對于輸入預訓練模型與進行檢索的圖像,為減少圖像冗余信息,去除背景、光照、多主體等因素的影響,需對實驗數據進行預訓練格式標準化,主要進行去均值與歸一化:去均值是指對圖像的每個數據點進行均值消除,移除圖像的平均亮度,消除數據的直流分量;歸一化是指令 x_train=x_train/255,使樣本值處于[0,1]之間,減少各維度數據取值范圍的差異帶來的干擾[11].

圖1 Fashion-MNIST 及抓取圖像部分數據集

1.2 基于卷積神經網絡的服裝類別標簽分類模型

服裝圖像中含有豐富的服裝特有屬性信息,如顏色、花紋、袖子的長短等.本文從服裝的類別進行研究,采用卷積神經網絡的非線性映射能力與自學習能力,根據服裝圖像與類別標簽,自動學習服裝類別標簽特征,以網絡的高層語義激活值表示服裝的類別標簽特征,實現服裝高效精準分類,構建基于卷積神經網絡的服裝類別標簽分類模型[12].建立卷積神經網絡結構如表1所示.

表1 服裝類別標簽分類模型結構

卷積層通過卷積核與輸入的相互作用進行特征提取,池化層弱化位置信息并過濾不重要的高頻信息,形成更抽象的特征,逐層提取并組合成完備的描述特征,保證圖像的局部關聯性與空間不變性[13].服裝類別標簽分類模型采用卷積層和池化層兩次交替,對Fashion-MNIST 28×28 的輸入圖像采用 3×3 的卷積核,f(x)=max(0,x)的ReLU激活函數,每兩次卷積后進行一次2×2 的 Max pooling 池化.

在全連接層展平像素前引入兩層Dropout層,以0.25與0.5的閾值隨機去除權重,這一過程雖然降低了訓練速度,但提高了網絡的泛化能力,防止過度擬合.

在最后一層輸出層中使用Softmax函數進行分類,采用Logistic回歸代價函數做為Softmax分類器的代價函數,給出樣本對每一類別的概率,獲得類別標簽[14].在表達中,令模型的參數為θ1,θ2,···,θk,采用歸一化使所有的概率和為1,對所有輸入的列向量,有:

通過模型訓練,對預訓練數據進行參數fine-tune,使模型效果達到預定的分類準確率,形成以4層卷積層初步提取服裝圖像特征,2層池化層提取其主要特征,2層全連接層進行特征匯總,Softmax分類層進行分類預測,最終返回一個包含10個類別的對應概率的一維矩陣,概率的最大值即該圖像的服裝類別,實現基于卷積神經網絡的服裝類別標簽分類模型.

1.3 基于VGG-16的圖像檢索模型

實驗中用到的VGG-16模型是深度卷積神經網絡VGGNet的一種,是由16層神經網絡構成的經典模型,采用由ImageNet預訓練的權重.采用小核堆疊的思想,反復堆疊3×3的小型卷積核和2×2的最大池化層,包含13個卷積層、3個全連接層,對224×224×3的輸入數據,以多層卷積與池化進行特征提取[15].其整體結構如圖2所示.

利用VGG-16的卷積層與池化層學習到的服裝圖像特征,對模型進行調整,在原模型中引入哈希層,采用局部敏感哈希算法思想,以隨機超平面的方法構造哈希函數[16],將高維的服裝圖像特征映射成二進制哈希碼,具有相同的二進制哈希碼的樣本保存在相同庫中,以此構建服裝數據集的特征哈希索引庫[17].

在檢索時,對輸入的圖像進行同樣的特征提取與映射,對比得到與輸入圖像相似性高的樣本所在的索引庫,將輸入圖像的二進制哈希碼傳入庫中與庫中的哈希碼逐一進行相似性度量[18],根據比較結果返回20個相似度最高的圖片及對應的相似度,實現服裝圖像的快速檢索.

1.4 Fashion-16服裝圖像檢索模型

結合基于卷積神經網絡的服裝類別標簽分類模型與基于VGG-16的圖像檢索模型,本文提出了一種新的模型:Fashion-16服裝圖像檢索模型.

整體采用先分類再類內檢索的思想.借助于上述兩個模型的特征提取能力與Softmax分類功能,對訓練樣本進行先分類再根據類別進行特征信息的保存,對于檢索圖像進行特征提取及局部敏感哈希進行近似最近鄰的查找,在相應類別的服裝圖像集中檢索到按相似度降序圖像[19].實現圖像的精準分類與快速檢索,以分類優化檢索.

首先采用VGG-16模型對爬取的服裝圖像樣本集進行特征提取,并映射成哈希編碼.然后對VGG-16模型的最后一個卷積層進行調整,添加能處理服裝類別標簽的網絡,即卷積神經網絡模型的Softmax分類層.根據分類信息將訓練模型信息存至HDF5文件,分別構造特征哈希索引庫.對測試樣本進行相似性度量,衡量模型的性能并進行調參.

對于一次完整的檢索過程,將待檢索圖像輸入網絡模型進行前向傳播,層層采樣獲得圖像特征,哈希編碼后根據服裝類別標簽卷積神經網絡模型Softmax分類器的結果傳入對應的索引庫進行近似最近鄰查找,返回按相似度排序的圖像結果,實現服裝圖像的精準分類和快速檢索[20].模型整體構造如圖3所示.

圖3 Fashion-16 模型整體架構

2 實驗分析與對比

2.1 結果分析

根據實驗設計,對實驗數據集進行20次迭代,總計用時7301 s,得到損失率(Loss)與準確率(Accurancy)如圖4所示.

圖4 20次迭代過程損失值與準確率變化情況

從圖中可以發現,前幾次準確率上升、損失值下降速度較快,后續趨于平緩,表明實驗在多次迭代后結果趨于穩定.

采用Flask進行Web實現,得到服裝圖像分類檢索頁面樣式如圖5所示.

圖5 服裝圖像分類檢索頁面樣式

2.1.1 分類精確度

考慮在圖像領域常用的評價指標,對于服裝圖像檢索的精確率,分類精確度直接影響檢索精確度,本文采用查準率對分類精確度進行度量,定義為檢索結果中正確圖像數目m與返回圖像數目k的比值,計算公式為:

對服裝圖像集2萬個隨機樣本進行測試,得到Softmax分類器的分類精確度為92.71%.實驗表明,檢索對服裝圖像的類別具有良好的針對性,能達到預期的檢索效果.

2.1.2 穩定性

設計實驗,對于數據集大小從預實驗的Fashin-MNIST數據集進行逐50 000數據量的增加,對于驗證數據實驗生成的檢索精確度如表2所示.

表2 數據量與檢索精確度

實驗表明,隨著數據集的擴大,檢索精確度同步得到了提升,而后續逐漸趨于穩定,保證了模型面向超大規模服裝圖像集具有一定的穩定性.

2.1.3 檢索速度

對于驗證數據,隨機取1000次檢索時間的平均值,得到平均檢索用時為3.2416 s,檢索具有較好的檢索速度,能應對日常的圖像檢索需求.

這主要是采用類內檢索縮小了檢索范圍,并協同哈希方法在檢索中計算速度和存儲空間的優越性,保證了模型優異的檢索速度.

2.2 實驗對比

2.2.1 SIFT特征提取與卷積神經網絡特征提取

特征提取方法選用基于內容的圖像檢索中比較著名的局部特征描述子SIFT特征,SIFT由于對旋轉、尺度交換以及一定的視角和光照變化等圖像變化具有不變性,可以獲得較好的特征效果[21].而在本模型中,使用預訓練模型VGG-16進行服裝圖像特征的提取,依靠多層卷積與池化,層層采樣,得到的不同層次的特征,同樣具有良好的特征表達能力.

對兩種特征提取方式得到的特征分別進行后續的分類與檢索,通過對驗證數據集20 000個樣本的實驗,得到各自檢索結果準確率如表3所示.

表3 檢索結果準確率

實驗結果表明,相比于SIFT特征,使用VGG-16模型所進行的對低層次特征學習、抽象、組合形成的高層特征具有更好的圖像特征表示能力.

2.2.2 直接檢索與類內檢索

先分類再進行類內檢索的方法限定了檢索的范圍,得到的檢索結果與目標的類別相同,避免了特征描述的偏差引起不同類別間的相似性過高,相比直接檢索具有更高的準確性.而對于檢索速度而言,對不分類直接進行檢索與分類后進行類內檢索這兩種情況下進行對比,隨機取各自1000次檢索時間的平均值,得到平均檢索用時如表4所示.

表4 平均檢索用時

實驗結果表明,分類后進行類內檢索相比直接檢索在檢索速度上有10.88%的提升,并且可預期的對于更大規模的圖像集,因檢索范圍的限定,檢索速度的差別將會更大.

3 結語

本文提出了一個新的深度學習模型Fashion-16服裝圖像檢索模型,借助于卷積神經網絡強大的圖像特征提取能力,采用先分類,再類內檢索的思想,在類內以局部敏感哈希算法進行近似最近鄰的查找.通過實驗,驗證了模型具有良好的分類精確度、穩定性與檢索速度.模型針對服裝領域類別屬性的修正優化,能夠達到較好的服裝檢索效果.