基于多特征的服裝圖像檢索

摘 要:基于內容的圖像檢索一直是一個受關注的研究熱點，這里利用圖像的顏色和形狀特征，將基于內容的圖像檢索應用于電子購物領域。提出先利用不變距與傅里葉描述子相結合的方法對圖像形狀特征進行檢索，再利用改進的顏色直方圖進行二次檢索的檢索方法。在檢索前引入圖像背景消除法消除圖像中背景信息的影響。最后通過實驗驗證了基于顏色和形狀特征的服裝圖像檢索效果以及利用圖像背景去除對檢索效果的影響。

關鍵詞:圖像檢索;不變距;背景去除;顏色直方圖

中圖分類號:TP3914文獻標識碼:A

文章編號:1004-373X(2010)06-171-05

Clothing Image Retrieval Based on Multi-features

HOU A′lin，ZHAO Liuqing，TAO Min，SHEN Yang

(College of Computer Science and Engineering，Changchun University of Technology，Changchun，130012，China)

Abstract:Content-based multimedia information retrieval is an interesting but difficult area of research.Current approaches include the use of color，texture，and shape information.In order to meet the requirements of users，a content-based image retrieval algorithm for electronic commerce has been investigated combining color features with shape features.The algorithm of image retrieval using both the invariant moment and the Fourier descriptor is proposed to retrieve the shape features of image.The secondary retrieval has been done in succession by use of modified color histogram.To avoid the influence of background，a method of image background elimination is given prior to the image retrieval using multi-features.The experimental results demonstrate that the algorithm of image retrieval on the basis of both color and shape features is effective and the image background elimination technology has better effect on image retrieval.

Keywords:image retrieval;invariant moment;background elimination;color histogram

0 引 言

隨著Internet的普及、網上信用的提高和物流的發展，網上購物成為越來越多消費者青睞的購物方式。在這個領域，消費者需要通過產品樣圖來選擇商品，因此大量的圖像檢索需求就產生了。傳統的圖像檢索是基于文本的，用戶通過輸入一個或幾個關鍵詞來描述其需求，但這種檢索方式無法滿足用戶的需求，所以，提出了基于內容的圖像檢索技術。基于內容的圖像檢索利用圖像本身表征用戶的查詢請求，并利用圖像的底層特征向量來計算各圖像之間的相似性。

本文通過對在線購物領域的服裝圖像進行分析以及對基于內容的圖像檢索技術研究后，得出下面兩個結論:

(1) 商家會為每個服裝商品拍一張單獨的圖像，而大家感興趣也只是服裝這個區域。針對這個特點，本文提出基于邊緣檢測的圖像背景去除技術，用于減少背景對所提取圖像特征的干擾;

(2) 商家在為商品拍攝照片時，可能會對衣服進行傾斜擺放以達到更好的視覺效果，因此要求檢索算法要具有旋轉不變性。針對這個要求，本文提出結合不變矩、傅里葉描述子和改進的顏色直方圖的圖像檢索算法。

這里首先利用不變矩和傅里葉描述子做基于形狀特征檢索，然后用分割算法做圖像背景去除，再利用改進的顏色直方圖做基于顏色特征的二次檢索。實驗部分實現了綜合多特征的服裝圖像檢索系統，分析了背景去除技術的效率以及對檢索效果的影響和基于綜合特征的檢索效果。

1 基于形狀特征的檢索

基于形狀特征的檢索關鍵在于尋找能夠與大小、方向及扭曲伸縮無關的方法[1]。用不變矩表征圖像形狀時具有旋轉、平移、縮放等空間幾何不變性[2]，傅里葉描述子具有很好的形狀識別能力，而且對幾何變換具有不變性[3]，因此本文使用不變矩和傅里葉描述子結合檢索，再使用適當的相似性距離定義，計算出兩幅圖像的相似性距離，當距離足夠小時，就認為兩幅圖像是相似的。

1.1 不變矩

二值圖像I(i，j)的u，v階統計矩定義為:

m(u，v)=∑ni=1∑nj=1I(i，j)iujv

=m(1，0)/m(0，0)，=m(0，1)/m(0，0)(1)

式中:(，)稱為區域形心位置。

圖像I(i，j)的u，v階中心距定義如下:

μu，v=∑ni=1∑nj=1I(i，j)(i-)u(j-)v(2)

中心矩μu，v具有平移不變性，但依然對旋轉敏感。組合二階和三階中心矩，可得如下7個對平移和旋轉不變的矩特征[4]。

M1=μ2，0+μ0，2

M2=(μ2，0+μ0，2)2+4μ21，1

M3=(μ3，0+3μ1，2)2+(3μ2，1-μ0，3)2

M4=(μ3，0-μ1，2)2+(μ2，1+μ0，3)2

M5=(μ3，0-3μ1，2)(μ3，0+μ1，2) 3(μ2，1+μ3，0)2〗+(3μ2，1-μ0，3)(μ2，1+μ0，3)#8226;

M6=(μ2，0-μ0，2)+

4μ1，1(μ3，0+μ1，2)(μ2，1+μ0，3)#8226;

M7=(3μ1，2-μ3，0)(μ3，0+μ1，2)3(μ2，1+μ3，0)2〗-(μ0，3-3μ1，2)(μ2，1+μ0，3)#8226;

(3)

將不變矩M1~M7合并，就形成了圖像的不變矩特征向量S=(M1M2M3M4M5M6M7)。

1.2 傅里葉描述子

對于邊界而言，最重要的是組成邊界的點的位置信息。將邊界看作直角坐標系下的點集構成的曲線y=f(x)，式中x是橫坐標，y是縱坐標。如果對y=f(x)直接進行傅里葉變換，則變換結果將與x，y的確切數值有關，不能滿足平移、旋轉等不變性要求。所以利用曲線本身的固有參數構造曲線，再做傅里葉變換[5]。選擇以曲線的弧長為參數，構造曲線的參數方程[x(l)，y(l)]=z(l)，其中l是曲線的弧長，0≤l≤L，L是曲線全長。

設曲線的初始點為l=0，θ(l)是曲線上弧長為l的點的切線方向，定義φ(l)=θ(l)-θ(0)但φ(l)不是一個周期函數。令t=2πl/L，則t∈。定義φ*(t)=φ[tl/(2π)+t]，t∈，則φ*(t)是上的周期函數。此時對r具有平移、旋轉、尺度不變性。

進行傅里葉變換:

φ*(t)=a0+∑+∞k=1(akcos kt+bksin kt)(4)

式中:

a0=12π∫2π0φ*(t)dt，an=12π∫2π0φ*(t)cos ntdt(5)

bn=12π∫2π0φ*(t)sin ntdt， n=1，2，…

定義lk=∑ki=1δl，得:

a0=12π∫2π0φ*(t)dt=1Lφ(λ)dλ+π

=-π-1L∑mk=1lk(φk-φk-1)

an=2L∫2π0cos(2πλn/L)dλ

=-1nπ∑mk=1(φk-φk-1)sin(2πnlk/L)

bn=1nπ∑mk=1(φk-φk-1)cos(2πlk/L)(6)

式中:n=1，2，…，則區域邊界r可用序列{a0，a1，b1，a2，b2，…}進行描述。

1.3 相似性度量

形狀的相似度采用歐式距離進行計算，首先將形狀特征向量歸一化，設圖像I1和圖像I2的特征向量分別為f1和f2，那么圖像I1和圖像I2相似度計算公式:S=1-norm[d(f1，f2)]。其中:d(f1，f2)是兩幅圖像形狀向量之間的歐式距離;norm(d(f1，f2))為d(f1，f2)歸一化的結果。圖像總的相似度為:S=αS1+(1-α)S2，式中α的初始值取0.5，也就是兩種表征有相同的重要性。

2 基于顏色特征的檢索

2.1 背景去除

背景去除是一類特殊的數字圖像分割方法，也就是從無關的背景中提取出感興趣的目標。去除背景可大大減少原始圖像中的冗余數據，在擁有巨大數據量的圖像檢索系統中，去掉冗余數據也是一種非常重要的操作，否則后期的圖像處理不但將是一項工作量非常大的任務，而且容易造成錯誤的結果[6]。

算法流程如下:

(1) 圖像增強的主要目的是:提高圖像成分的清晰度，使圖像變得更有利于計算機的處理，方便邊界的生成。

(2) 邊緣是圖像中所要提取的目標和背景的分界線，只有提取出了邊緣才能將背景和目標區分開。圖像中的邊緣通常是灰度值不連續的結果，可以利用求導數的方法進行檢測。本文中用Canny算子對圖像進行卷積運算得到邊緣。該算子的優點在于，使用兩種不同的閾值分別檢測強邊緣和弱邊緣，并且僅當弱邊緣和強邊緣相連時，才將弱邊緣包含在輸出圖像中。上述流程得到的結果還包含了大量背景圖像中灰度變化引起的邊緣，需要將其清除。

(3) 清除的方法是:對原始圖像進行歸一化處理，采用閾值分割和形態學運算可生成一個略大于目標圖像且邊緣并不準確的模板，將模板和步驟(2)中得到的邊緣圖像進行與運算，則模板內的邊緣保留，模板外的邊緣被清除。此時得到了包含目標邊緣以及鄰近該邊緣的干擾邊緣的圖像，并且目標邊緣存在斷點。

(4) 清除長度較短的邊緣(干擾邊緣)，并生成特征矩陣，再用基于特征的與運算提取出“更干凈”的目標邊緣圖像。

(5) 對邊緣圖像進行分析，在目標邊緣端點間填充一些邊緣點，將得到的邊緣點連接成線。

(6) 再對目標邊緣進行填充，生成邊緣模板。

(7) 對模板外的點集進行識別，清除雜點，得到邊緣準確的目標模板。

(8) 目標模板和原始圖像進行與運算得到背景去除的結果圖像。

2.2 顏色特征的提取

顏色特征在圖像檢索中占有重要位置，基于顏色直方圖的檢索方法一般是:首先要選擇某個合適的顏色空間，然后需要先進行顏色量化，以得到顏色直方圖，再通過對顏色直方圖的匹配來進行檢索。顏色空間通常采用RGB三色表示，但如果直接對RGB模型中的R，G，B分量進行處理，很可能會引起三個量不同程度的變化。由RGB模型描述的處理圖像中就會出現色差問題，顏色上可能也會有很大程度的失真。因此人們在此基礎上提出了HSI模型，它的出現使得在保持色彩無失真的情況下實現彩色圖像處理成為可能[7]。本文對HSI模型根據色彩的不同范圍和主觀顏色感知進行72維量化，即:按照人的視覺分辨能力，把色調H空間分成6份，飽和度S量化成四份，亮度I空間分成三份。

H=0，H∈，S=0，S∈

I=0，I∈(7)

量化完成后，就將HSV顏色空間分成LH×LS×LI個顏色區間，其中，LH，LS和LI分別為H，S和I的量化級數，也就是分成了72個顏色區間。把量化后的3個顏色分量合成一維特征矢量G=H×LH+S×LS+I×LI，即G=6H+4S+3I。這樣，H，S和I三個分量在一維矢量上分布開來，G的取值范圍為G∈，計算G獲得一維直方圖。

2.3 相似性度量

通常，在圖像檢索中都是通過在合適的距離測度空間中計算兩幅圖像之間的距離，并試圖通過所得到的距離來模擬人的視覺系統的感知相似度。一般情況下，距離越小表示越相似。這里分別計算圖像的顏色相似度和形狀相似度，然后通過加權計算出圖像總的相似度。

采用Bhattacharya[8]方法計算兩個顏色直方圖p={p(c)}c=1，…，b和q={q(c)}c=1，…，b之間相似度，公式定義為S=∑bc=1p(c)q(c)，當兩個完全一樣的直方圖進行計算時，相似度趨近為1。

3 實驗及結果分析

為了檢驗該檢索方法的可行性和有效性，在Windows XP，Visual C++ 6.0環境下，本文構建了一個基于多特征的服裝圖像檢索系統并進行了測試。實驗用到的圖像數據庫共有515張圖像，其中短袖上衣258件，長袖上衣150件，褲子64件，裙子43件，均來自于淘寶與當當等購物網站。實驗中用查準率和查全率對結果進行評價，計算方法如下:

查準率=檢索出的相關圖像檢索出的所有圖像=AA+B

查全率=檢索出的相關圖像所有的相關圖像=AA+C

式中:A表示返回結果中相關圖像數目;B為返回結果中與查詢圖像不相關的圖像數目;C為沒有返回的相關圖像。

3.1 背景去除效果測試

通過基于顏色和形狀特征的檢索對比圖像背景去除技術對檢索結果的影響，實驗中用圖像庫中515張圖像作為查詢對象，得到結果如圖1所示。

圖1 背景去除對檢索結果的影響

從圖1可以看出返回不同數量結果時系統的查準率，結果表明，隨著返回結果數目的增加，系統的查準率將會降低。并且通過對比背景去除前后的檢索結果發現，背景去除后的查準率比未進行背景去除的查準率高，并且隨返回圖像數目的增多，檢索結果明顯好于未去除背景的檢索結果。所以說，背景去除技術能夠有效提高檢索的準確性。

圖2顯示的是應用和未應用背景去除進行服裝圖像檢索的檢索時間比較，從圖中可以看出，隨著返回結果數目的增加，檢索時間也會增加。通過對應用和未應用背景去除的檢索時間比較，應用背景去除可以明顯加快檢索速度，并且隨返回圖像數目的增加，其速度優勢更為明顯。因此，采用圖像背景去除技術可以明顯提高檢索速度。

圖2 背景去除對檢索時間的影響

3.2 旋轉不變性效果測試

在服裝圖像庫中任取10幅，分別做12種旋轉變換(旋轉系數i×36°，i=1，2，…，9;還有90°，270°和鏡像變換)。實驗測試分兩步進行:第一步，對120幅僅包含旋轉變換的服裝圖像進行檢索實驗;第二步，把旋轉后的圖像放入服裝圖像庫進行檢索實驗[9]。

由表1可以看出，當返回圖像數目比較少時，查全率下降。這是很顯然的，因為當返回圖像數目減少時，檢索出的相關圖像的數目也會減少，所以查全率也會下降。第一步結果顯示當返回圖像數目達到20幅時，系統的查全率可以達到100%;第二步結果顯示當返回圖像數目達到30幅時，系統的查全率可以達到100%。實驗表明，本文算法具有很好的旋轉不變性。

表1 圖像旋轉檢索結果

返回圖像相似圖像未檢索圖像查全率

第一步1512192.1%

20130100%

30130100%

第二步2012192.1%

30130100%

40130100%

圖3為把旋轉后的圖像放入服裝圖像庫進行檢索的實驗結果，檢索結果顯示的均是查詢圖片經過旋轉變換后的圖片。從表1和圖3可以看出，在具有一定圖片旋轉的情況下，仍得出較好的圖像檢索結果，本文算法對于圖像的旋轉具有不變性，且比較符合人的視覺感受。

3.3 實驗結果綜合分析

從表2可以看出基于顏色、形狀特征和本文多特征結合的圖像檢索平均查準率的對比，由于圖像庫中服裝的種類和顏色種類很多，可以看出用單一的圖像特征難以達到好的檢索效果，而本文的方法，從查準率的對比來看，明顯好于單一特征的檢索結果。

圖3 把旋轉后的圖像放入服裝

圖像庫進行檢索的實驗結果

表2 檢索結果對比

查準率 /%

顏色(背景去除)50

形狀45

本文方法85

圖4為使用紫色長袖襯衫查詢圖像在本文檢索方式下進行檢索的結果。前面的三個返回結果因為是紫色的長袖襯衫，與查詢圖像非常相似，所以排在最前面，另外，排在第4~8位的圖像為紫色長袖體恤，于查詢圖像比較相似。本文方法先檢索形狀特征，因此，后面的檢索結果為顏色相近的長袖衣服。

圖4 本文方法檢索結果1

圖5為使用紅色短袖查詢圖像在本文檢索方式下進行檢索的結果。檢索結果除第一和第二個顏色相同外，其余返回的結果均為接近紅色的短袖。

從圖4和圖5中可以看出，大多數圖像的總體形狀、顏色和查詢圖像都很相似，相似性大的圖像一般都排在比較靠前的位置，結果表明該檢索算法得到的結果比較符合人的視覺感受。

圖5 本文方法檢索結果2

4 結 語

本文提出了基于背景去除的多特征圖像檢索技術，并將其應用于在線電子購物領域進行實現。實驗證明，采用圖像背景去除技術可以明顯提高檢索速度和準確性，而形狀、顏色等多種特征相結合能夠有效提升圖像檢索的效能。該檢索方法綜合利用多種圖像特征信息，對解決相關領域的實際問題具有一定的實用價值。進一步工作是考慮繼續結合圖像的紋理特征進行檢索，并將實驗領域擴大到其他商品圖像。

參考文獻

[1]趙晨，任郁苗.基于形狀的圖像檢索技術研究[J].現代電子技術，2008，31(13):159-162.

[2]Jain A K，Vailaya A.Shape-based Retrieval:A Case Study with Trademark Image Database[J].Pattern Recognition，1998，31:1 369-1 390.

[3]Kauppien H，Sepane T.An Experiment Comparison of Autoregressive and Fourier-based Descriptors in 2D Shape Classification[J].IEEE Trans.on PAMI，1995(2):201-207.

[4]姚玉榮，章毓晉.利用小波和矩進行基于形狀的圖像檢索[J].中國圖像圖形學報，2000，5(3):206-210.

[5]劉玉.基于形狀特征的圖像檢索算法研究[D].西安:西安工業大學，2007.

[6]Jauchem J R，Seaman R L，Lehnert H M，et al.Ultra-wideband Electromagnetic Pulses:Lack of Effects on Heart Rate and Blood Pressure During Two-minute Exposures of Rats[J].Electromagnetics，1998，19(5):330-333.

[7]徐錄平.數字圖像處理學習指導[M].北京:科學出版社，2009.

[8]Comaneci D，Ramesh V，Meer P.Kernel-based Object Tracking [J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2003，25(5):564-577.

[9]侯阿臨，張志芳，周鵬，等.基于聯合不變矩形狀特征的商標圖像檢索[J].長春工業大學學報:自然科學版，2008，29(5):511-515.