基于膨脹卷積殘差網絡的服裝圖像檢索

陳 佳 張 毅 彭 濤* 何儒漢

1(武漢紡織大學數學與計算機學院 湖北 武漢 430000) 2(湖北省服裝信息化工程技術研究中心 湖北 武漢 430000)

0 引 言

隨著互聯網技術的飛速發展,網上購衣已成一種趨勢。這種服裝電子商務推動了服裝圖像檢索技術的發展。圖像檢索主要分為基于文本的圖像檢索(Text-based Image Ret2rieval,TBIR)[1]和基于內容的圖像檢索(Content-based Image Retrieval,CBIR)[2]。服裝圖像檢索是圖像檢索的一個重要分支,已被廣泛地應用于電商領域。當前,大多數電商主要采用TBIR,但TBIR高度依賴文本標注,存在加注信息低效、文本描述主觀等缺點。

針對TBIR的缺點,CBIR方案得到廣泛的關注。CBIR的關鍵是圖像特征的描述和特征的索引機制。CBIR的索引方法主要依賴于提取服裝圖像的特征向量和計算該特征向量的空間距離。傳統的特征提取方法,如SIFT[3-4]等,雖然能提取服裝的紋理和顏色等淺層細節信息,但不能有效描述圖像深層語義信息,且不適合光照變換的背景。不同于傳統的描述符,深度學習不僅可以提取淺層特征,而且可以提取深層特征,例如圖像的語義信息。服裝是一種包含時尚、品位、個性的多屬性復合載體,服裝圖像既包括領型、褶皺、花邊、顏色等淺層信息,也包含類別、風格、樣式、款式等深層次信息。服裝也是典型的柔性物體,具有高度可變性,對光照、視角、尺度都很敏感。因此,基于深度學習的特征提取非常適合提取服裝特征。

受深度學習和度量學習的啟發,本文提出一種基于殘差網絡的服裝圖像特征提取模型和檢索算法。在服裝圖像數據集DeepFashion[5]上,該方法首先利用膨脹卷積[5]較大感受野的優勢以及殘差網絡提取深層語義特征的優勢,將膨脹卷積和殘差網絡相融合,有效提取服裝圖像特征;隨后,通過計算余弦距離和馬氏距離之和,提出一種混合距離度量算法(MD)來計算所提取的特征之間的距離。由于余弦距離能穩定地計算向量間的空間距離,同時馬氏距離的度量學習在不同類型樣本中擁有很強的泛化能力,因此,本文所提出的MD利用余弦距離和馬氏距離進行度量學習的互補優勢來穩定、高效地對特征向量進行距離計算從而進行服裝檢索。綜合來看,本文方法有效地利用了膨脹卷積強大的表現力、殘差網絡良好的特征提取能力、度量學習的距離學習能力,提高了服裝特征提取的效率和檢索的精度。

1 相關研究

1.1 服裝圖像的特征提取

在服裝檢索系統中,服裝的特征抽取是非常重要的一環,特征提取的準確度影響到服裝檢索的最終結果。在傳統的特征提取中,吳傳彬等[6]使用方向梯度的直方圖(HOG)提取了服裝圖像的邊緣特征,但該方法對服裝的形狀等其他淺層信息考慮不足。Weng等[7]在顏色特征中加入位置信息形成顏色矩。然后,通過級聯顏色矩得到級聯顏色矩特征,該算法改善了傳統顏色矩算法精度低的問題,但是運算效率低。李松等[8]通過判別條件提取局部二值的閾值,然后,計算差分幅值和領域的二值模式,從而得到圖像的紋理特征。雖然該方法提升了模型在椒鹽噪聲下的分類性能,但是其他背景下魯棒性還是有待提高。

在傳統的特征提取發展的同時,基于深度神經網絡(DNN)的特征提取方法也取得了豐碩的成果。而其中的卷積神經網絡(CNN)是一種高效的深度學習框架。在眾多的特征提取應用中,CNN都取得了很好的效果。Krizhersky等[9]的開創性工作之后,基于CNN的方法開始逐漸占據主導地位。王振等[10]利用可變卷積實現服裝特征提取,該方法的優勢在于精度高,但其泛化能力較差。王志偉等[11]通過YOLOv3模型提取服裝的全局、主體和部件的特征,然后,通過稠密網絡疊加這三種服裝特征,有效提高了特征提取準確度,但也大幅度地增加了時間消耗。Schuster等[12]利用膨脹卷積獲取較大的接收野,然后通過疊加卷積融合多層次的圖像特征,該方法有效地提升了特征提取的準確率,但在網絡深度上還有待提高。

針對以上的問題,本文提出基于膨脹卷積殘差網絡(Dilated Convolutional Residual Networks,DCRN)模型的服裝圖像特征提取方法,該網絡融合膨脹卷積較大感受野的優勢以及殘差網絡提取深層語義特征的優勢。實驗充分證明,DCRN模型提升了特征提取的準確度和魯棒性。

1.2 特征向量的距離計算

在服裝圖像檢索中,特征向量的距離計算同樣非常重要。陳倩等[13]利用顏色直方圖中的特征值表示向量的空間距離,該方法提升了圖像檢索的準確率,但復雜背景下圖像檢索的魯棒性較低。Huang等[14]使用融合服裝類型、顏色、外觀等特征的稀疏編碼框架的方法實現了服裝檢索。該方法提升了檢索的準確度,但耗時過長。吳傳彬等[6]采用距離相關系數的方法計算向量的空間距離,提高了服裝檢索的魯棒性和泛化能力,但對于復雜的服裝圖像檢索準確率不高。Zhou等[15]使用了一種基于顏色、紋理、形狀的混合模型來度量特征向量的空間距離。Chang等[16]提出了一種新的基于圖遍歷的圖像檢索方法,通過交替使用Exploit和Explore算法,更好地捕獲底層流形,并檢索視覺上不同的語義強相關圖像,然而該方法過于注重收斂的效率,探索可能就終止了,影響最終的檢索精度。Wang等[17]通過類中心表示全局信息,然后通過約束數據點與類中心之間的距離來生成有區別的二進制代碼同約束數據,最后,峰度損失(KT loss)使實值特征更接近二進制,該方法對于復雜背景圖像,難以產生好的效果。由于使用傳統距離度量方法,對于背景復雜的圖像,該方法泛化性能較差。在樣本的種類改變時,傳統的距離函數,需要重新訓練參數。馬氏距離的泛化能力較強,但計算效率低,即在計算過程中,由于協方差矩陣可能不存在,單純馬氏距離的度量學習存在一定的局限性。

針對以上問題,本文提出混合距離度量算法(MD)。余弦距離擅長穩定的距離計算,同時馬氏距離的度量學習在不同類型樣本中擁有很強的泛化能力。因此,本文所提出的MD能利用余弦距離和馬氏距離度量學習的互補優勢來穩定、高效地對特征向量進行排序。

2 方法設計

2.1 服裝圖像檢索框架

本文基于膨脹卷積模型和殘差網絡,提出一種新的服裝圖像檢索方法,如圖1所示。該方法通過并聯不同膨脹率的膨脹卷積。即利用低膨脹率卷積對細節提取的優勢和高膨脹率對語義理解的特點,多層次提取服裝圖像的特征從而進行服裝圖像的檢索。具體步驟如下:

Step1輸入一幅待檢索的服裝圖像,對其進行預處理,包括:圖像降噪、切割和增廣處理。

Step2通過Stem模塊提取服裝細節信息,例如服裝的紋理、顏色等底層信息。

Step3將這些細節信息通過膨脹卷積殘差網絡模塊(DCRN)得到相應的深層次語義特征,例如服裝部件的形狀和圖像中的相對位置。

Step4對上步所獲得的特征經過二值檢索向量模塊生成高維向量。

Step5采用PCA(Principal Components Analysis)將高維向量進行降維。通過混合距離度量算法(MD)計算特征向量的空間距離,然后進行相似性排序。在triple損失函數中,通過反向傳播學習MD中的度量矩陣。

圖1 服裝圖像檢索框架

2.2 Stem模塊

Stem模塊主要提取服裝的邊緣、轉角、顏色等信息。如圖2所示,將229×229的待檢索服裝圖像輸入Stem模塊,該模塊從第1層卷積Conv1到第7層池化MaxPool_2是多個小尺寸的卷積串聯,從而起到了中等感受野的效果,同時前7層池化層填充padding設置為“valid”,目的是為了逐步提取細節圖。第8層卷積組是并行提取多個感受野,其中第1水平層采用最大池化層MaxPool_3進行特征融合,從而更多地保留了服裝圖像的背景信息;第2、3、4水平層是分別提取尺寸為1、5、3的感受野的特征圖,其中第3水平層中,采用1×5的非對稱卷積Conv8和5×1的非對稱卷積Conv9,從而減小了參數個數和計算耗時。通過第8層這種同層堆疊concat,提高了對不同像素尺寸特征的識別率,例如服裝轉角、領口和袖口。

圖2 Stem模塊結構

2.3 膨脹卷積殘差網絡(DCRN)模塊

CNN能高效提取服裝圖像的淺層信息。然而,對于服裝的深層語義信息,CNN只能逐步增大卷積核尺寸提高感受野。該方法的弊端在于參數量急劇增加、訓練時間增長和過擬合問題。本文通過膨脹卷積尋找新的方法,增大感受野。

該膨脹卷積殘差網絡模塊,由4個串聯的膨脹卷積殘差網絡單層DCRN1、DCRN2、DCRN3、DCRN4構成,如圖3所示。本文在不同層級的膨脹卷積殘差網絡層引入跳線結構,該結構能夠讓反向傳播的信號到底層,從而優化了梯度消失問題,同時也增加了不同層級的特征圖的復用性。為了保證跳線的可行性,膨脹卷積殘差網絡單層都使用“padding=same”模式。在膨脹卷積殘差網絡層內,通過兩個1×1卷積的瓶頸結構從而提高計算效率、減少參數數目。

圖3 膨脹卷積殘差網絡(DCRN)模塊結構

本文提出的膨脹卷積殘差網絡拋棄了傳統殘差單元中的普通卷積模塊,使用膨脹卷積殘差網絡單層進行構建,如圖4所示。通過Bottleneck結構降低了輸入維度,簡化了計算。首先將上個模塊的輸出通過1×1的卷積,然后再通過4個并聯的膨脹卷積Conv1、Conv3、Conv5、Conv7。4層膨脹卷積組合的優點是,在計算量不變的前提下,獲得大尺寸的感受野且不易過擬合。為了保證卷積核的連續性,設計遵循了混合膨脹卷積框架的設計原則(Hybrid Dilated Convolution),膨脹率設計為r=1,2,3,4。由式(1)可知,通過運用膨脹卷積,大幅度地提高了感受野,從而提高了空間信息利用率。最后,對結果進行疊加concat,并經過1×1卷積Single-Conv8,該卷積是bottleneck結構一部分,通過1×1卷積,使得維度升高到與輸入維度相同。其結果和shortcut短接的特征圖相加進入下個模塊。

outputSize=dilationRate×(inputSize-1)+1

(1)

式中:outputSize為輸出卷積核尺寸;inputSize為輸入卷積核尺寸;dilationRate為膨脹率。

圖4 膨脹卷積殘差網絡(DCRN)單層結構

2.4 二值檢索向量模塊

該模塊最終輸出是服裝圖像的高維特征。模塊中,全局平均池化層(Global Average Pooling,GAP)[18]的優勢是更好地保留原始特征的空間信息,如圖5所示。由于提取全局特征,DCRN模塊對服裝的風格和款式更加敏感。

圖5 二值檢索向量模塊結構

2.5 相似度排序

本文開創性地提出混合距離度量算法(MD),使用MD方法實現特征向量的距離計算,然后使用LP范數查詢感知的局部敏感哈希算法(Query-aware locality-sensitive hashing scheme for LPnorm)[19]進行相似度排序。

距離函數是定義集合中的元素距離。經典的距離函數僅僅適合單一類型的樣本,而不適用混合類型樣本,即根據不同任務構造不同的距離函數。針對這種問題,本文提出混合距離度量算法(MD),公式如下:

dist(x,y)=distC(x,y)+distM(x,y)

(2)

式中:distC為余弦距離公式;distM為馬氏距離公式。馬氏距離的度量矩陣M是監督學習要訓練的對象。

(3)

式中:x、y表示2個n維向量;M是度量矩陣,通過監督學習訓練度量矩陣M。

余弦距離是計算兩個向量之間夾角的余弦值,用余弦值度量二者之間的距離遠近,進而評價二者相似度,余弦距離公式如下:

(4)

式中:x、y表示2個n維向量。

本文模型首先對于訓練集的樣本信息建立優化函數,計算出能夠反映樣本空間特性的度量矩陣,然后利用算法進行訓練。馬氏距離考慮到了各種屬性的相關性和尺度的無關性,彌補了余弦距離泛化能力差的缺點。余弦距離也彌補馬氏距離計算過程中協方差矩陣可能無解的缺點。

2.6 損失函數

在反向傳播的訓練中,triple損失函數是:

(5)

3 實 驗

3.1 數據集與實驗設置

為了驗證本文方法的效果,本文選用了DeepFashion的跨域服裝檢索數據集。該數據集包含30萬組不同場景和姿態下的服裝圖像,涵蓋了21個常用服裝類別,例如衛衣、連體褲、連衣裙等。其中每幅圖片都附帶1個類別標簽、1 000個屬性標簽、boundingbox邊框和landmarks。

實驗環境設置:基于Ubuntu 16.04.6-LTS的64位操作系統,采用TensorFlow 2.0深度學習框架,CPU為3.70 GHz Intel(R) Core(TM) i7-8700k,GPU為NVIDIA GeForce GTX 1080Ti。

實驗參數設置:圖像特征提取模塊的參數設置如表1至表4所示,本文選擇ADAM作為優化器,以32個批量進行訓練,開始學習率為0.01,每105次迭代以0.7的冪次遞減。訓練106次迭代后,模型收斂。

表1 Stem模塊的結構參數設置

續表1

表2 DCRN模塊的結構參數設置

表3 DCRN單層的結構參數設置

表4 二值向量檢索模塊的結構參數設置

3.2 評價指標

為了評估本文模型的效果,本文采用標準如下。

3.2.1Top-k分類精度(precision)

結合待檢索服裝圖像q和一個相似性度量,本文為每個數據圖像分配一個等級。通過分類精度(precision)函數,評估前k個圖像的排名:

(6)

式中:R(i)是待檢索服裝圖像q與第i個最近鄰圖像之間的相關性。檢索結果R(i)∈{0,1}。在前k個最近鄰圖像的標簽中,只要有一個標簽與檢索圖像標簽相同,則R(i)=1。反之,則R(i)=0。本文實驗中,只考慮用類別標簽來度量相關性。

3.2.2查全率、查準率和準確率

在圖像檢索系統中,性能指標要考慮所檢索系統的數量和排序。我們使用查全率(recall)、查準率(precision)和準確率(accuracy),如下:

(7)

(8)

(9)

其中,式(7)到式(9)中對應參數如表5所示。

表5 混淆矩陣

在查準率(precision)的基礎上,平均查準率均值(Mean Average Precision,mAP)增加了對位置信息的評價。mAP公式如下:

(10)

3.3 總體實驗結果和方法對比

3.3.1實驗結果

在DeepFashion數據集中,本文的膨脹卷積殘差網絡(DCRN)的特征提取模塊+混合度量(MD)方法取得了良好的效果。圖6是DCRN+MD方法的Top-5檢索效果。可以看出,本文DCRN特征提取模塊不僅能提取服裝的細節信息,還能提取語義信息;MD模塊能有效地計算特征距離并排序。

圖6 本文DCRN+MD的Top-5檢索效果

3.3.2基于mAP指標的橫向比較

本文將該方法與WTBI、DARN、FashionNet和FushionCNN+Kmeans[20]檢索算法進行實驗對比。

這里用mAP指標驗證DCRN+MD模型的有效性。如表6所示,在重要的mAP評價指標上,本文DCRN+MD方法較其他方法有明顯優勢,較WTBI、DARN、FashionNet和FushionCNN+Kmeans方法分別提高了0.746、0.607、0.246、0.153。WTBI通過Alex網絡提取服裝的圖像特征,然后通過余弦距離進行相似性排序。DARN則是通過NIN網絡(Network in Network)提取服裝的圖像特征,然后使用triple方法進行相似性排序。FushionCNN+Kmeans通過提取服裝圖片的淺層細節信息和深層語義信息,然后將二者融合后作為特征表示,最后利用K-means對特征進行聚類檢索。由于DARN使用了NIN網絡做特征提取,DARN檢索結果的mAP高于WTBI的對應值。由于WTBI、DARN和FashionNet三者僅僅只注重紋理等細節特征,相比之下,FushionCNN+Kmeans和DCRN+MD方法額外地加入了對位置信息的描述,所以利用了位置信息的FushionCNN+Kmeans和DCRN+MD的mAP值遠遠高于WTBI和DARN方法的對應值。這證明WTBI、DARN和FashionNet只能提取局部和具體的服裝圖像特征,不能有效提取總體和抽象的特征,例如袖長屬性。而加入位置信息的特征向量具有更好的區分度和良好的表達能力。

表6 Top-10幅圖片mAP的比較

3.3.3基于top-k準確率指標的橫向比較

top-10、top-20準確率是工程上廣泛應用和重要的評價指標。如表7所示,在top-10、top-20準確率評價指標上,DCRN+MD方法較其他方法有明顯優勢。DCRN+MD方法的top-20準確率比第二名高出0.088,top-10準確率比第二名領先0.067。實驗結果表明,在服裝檢索中,本文方法優于其他方法。

表7 不同方法的準確率比較

圖7中,折線圖展示了不同方法下的檢索準確率。該實驗充分說明:在不同k值下,DCRN+MD方法均保持優勢。

圖7 不同檢索算法top-k準確率的對比

3.3.4檢索效率指標的橫向比較

為了驗證本文算法在時間復雜度上的優越性,設計時間對比實驗。在DeepFashion數據集上,本文DCRN+MD方法較其他方法有明顯優勢,較WTBI、DARN、FashionNet、FushionCNN+Kmeans方法分別降低了12.682、3.433、1.094、24.678 s。

表8 不同方法的檢索效率比較

3.4 消融實驗

3.4.1特征提取模塊(DCRN)的消融實驗

為了驗證DCRN模塊的有效性,在使用相同的帶余弦值的混合距離度量算法MD模塊的前提下,本文比較5種主流的特征提取模塊。如圖8所示,DCRN+MD模塊的檢索結果最優,最優準確率為0.860;而ResNet50+MD模塊的檢索準確率為0.276。當k=20時候,DCRN+MD模塊組合具有最大的優勢,其準確率比第二名多出0.08。這證明傳統卷積構成的殘差網絡ResNet50和InceptionV3不能有效地提取服裝深層次的語義信息,而DCRN+MD模塊能夠有效提取服裝的語義特征。

圖8 特征提取模塊消融實驗的對比

為了進一步分析DCRN模塊語義提取的優勢,本文從袖長、領型、顏色、衣長的角度進行對比實驗。在眾多的對比實驗中,我們隨機地截取一段實驗的效果,如圖9所示。實驗表明:DCRN模塊對于袖長屬性的特征提取明顯優于其他方法。在圖9中,檢索服裝是一件Blouses Shirt款式長袖服裝。待檢索結果中,YOLOv3[21]和EfficientDet7[22]排第5位的白色中袖服裝,在本文方法排序中上升到第2位,而ResNet50和InceptionV3未能提取該語義特征。結果表明,DCRN網絡對于服裝的袖長屬性這一語義的特征提取性能明顯地優于其他方法。進一步分析,得知在DCRN單層部分中,并行多膨脹率的膨脹卷積對服裝語義特征有良好的提取效果。

圖9 特征提取模塊消融實驗的檢索效果

3.4.2混合距離度量模塊(MD)的消融實驗

為了驗證帶余弦值的混合距離度量MD模塊將馬氏距離和余弦距離結合的有效性。在使用相同的DCRN特征提取模塊前提下,實驗使用下列不同的相似度排序的模塊,設計如下實驗。

從圖10中可以看出基于MD方法將馬氏距離與余弦距離融合的策略取得了不錯的效果,用MD方法提高檢索效果的設想,從top-10準確率(accuracy)這個評價指標看來,基于馬氏距離的度量學習方法擁有較好檢索效果,而加入余弦距離的方法后,進一步增加了排序的準確率。另外,新方法MD優化了特征距離,增大了類間的距離,減小了類內距離,一定程度上減小了語義漂移,增強了模型的穩定性。

圖10 混合距離度量模塊top-k準確率的對比

4 結 語

本文提出基于膨脹卷積殘差網絡(DCRN)的服裝檢索方法,通過融合膨脹卷積和殘差網絡提取特征,并采用混合距離度量算法(MD)對圖像進行檢索。實驗充分證明本文方法對于服裝語義方面提取和排序精確度優于現有其他方法。后續優化中,可以加入Web頁面讓系統能在線廣泛地應用。