基于邊緣和顏色特征的織物印花花型檢索

向 忠， 何 旋， 錢 淼， 胡旭東

(浙江理工大學 機械與自動控制學院， 浙江 杭州 310018)

隨著數碼印花等新技術的不斷發展與應用，印花圖案形式日益豐富，顏色更加多樣，與之配套的花型樣品庫也隨之不斷擴充，傳統采用人工從樣品庫檢索花型的方式由于效率低下而難以滿足現代企業對花型檢索快速、便捷的要求。近年來圖像檢索技術的發展與成熟，使得圖像檢索技術應用于織物花型檢索成為一種新的研究趨勢[1-3]。

根據人的視覺感知，花型圖案的相似首先應該是形狀相似，只有在形狀相似的基礎上，顏色等特征的相似才更具有意義。而同一花型形狀又由外部輪廓和內部結構構成，部分印花花型雖然外形相似或相同，但內部結構卻有明顯差異，這種同形異構的花型在印花中十分普遍。傳統的基于形狀的圖像檢索算法只能檢索出外形相似的花型，而不能有效區分花型內部結構的差別，這制約了其在織物花型檢索領域的應用[4]；此外，顏色是織物花型的另一重要特性，同型不同色現象在織物印花領域同樣較為普遍，僅靠邊緣輪廓特征并不能準確區分出形狀相同但顏色不同的花型，因此在織物花型檢索中，顏色特征同樣具有其重要性。眾所周知，織物印花一般在具有底色的織物上進行，大量底色充斥于花型周圍，對花型顏色特征提取造成較大干擾，使得現有的很多基于顏色的圖像檢索算法并不完全適用于織物花型檢索[5-6]。

花型圖像中不同顏色交接而成的邊緣特征既包含了花型的外部輪廓信息，又包含了花型內部結構信息，對花型邊緣特征進行對比分析，可準確區分具有不同形狀的花型。大量研究者采用邊緣檢索法來實現圖像檢索，但是現有的檢索算法基本都將所獲取的全部邊緣信息進行平等對待，不能準確地區分包含外部輪廓信息的外邊緣和包含內部結構信息的內邊緣的差異[7]。為更好地檢索出那些內部結構具有明顯差異但是外形相同或相似的花型，必須對內外邊緣賦予不同的權重，以進行區別對待；此外，花型的彩色邊緣還包含了豐富的顏色信息，它既可準確描述由邊緣所封閉的內部連通域的顏色特征，又可將底色對花型顏色的干擾降到最低，因此，可以利用邊緣顏色特征來提高同型不同色織物花型檢索結果的準確性[8]。

針對織物花型的上述特點，本文提出了一種綜合了邊緣位置、邊緣方向及邊緣顏色信息的織物花型檢索算法。該算法在邊緣提取的基礎上，根據邊緣點與邊緣距離加權中心點之間的最大距離，將織物花型圖案劃分到若干個等距的環形區域內，提取邊緣距離直方圖，用于描述邊緣空間位置特征；繼而通過對邊緣進行直線擬合提取出邊緣方向直方圖，用于描述邊緣空間方向特征；并通過對織物花型彩色邊緣進行顏色量化，提取彩色邊緣顏色直方圖，用于描述花型顏色特征；最后，綜合上述3種特征信息來實現織物花型檢索。

1 圖像預處理

1.1 中值濾波

織物由經紗和緯紗交錯而成，在圖片中的同色區域，紗線之間的間隙往往偏暗，而紗線本身則會比較亮，這樣就會在圖片上形成亮暗交錯的紋理。此外，由于紗線的柱狀結構，在印花過程中，紗線的間隙部分往往會產生少量的白點，這些因素造成織物圖片中存在大量脈沖噪聲和椒鹽噪聲?？椢飯D像中的噪聲會對后續圖像特征的提取造成很大干擾，降低算法精度，因此必須對噪聲進行濾波處理。

中值濾波是一種非線性濾波器，它利用像素點鄰域中間值代替該像素點，可有效濾除織物圖像中的椒鹽噪聲和脈沖噪聲，并能避免因線性濾波所造成的圖像模糊問題，同時保留圖像邊緣特征，是圖像濾波中應用較為廣泛的一種濾波算法，相關計算公式如下：

A(i，j)=med(a0,a1，…，ak)

(1)

式中：A(i,j)表示圖像中第i行第j列的像素值；ak表示像素A(i,j)的鄰域采樣像素值；k表示鄰域采樣像素值總數，本文下述實驗過程中采用5像素×5像素的鄰域采樣模板，k=25。

圖1示出織物圖像預處理及邊緣特征提取效果圖。對圖1(a)中織物原圖進行局部放大可看出，織物原圖中具有較多的椒鹽噪聲，且紋理特征十分突出；采用中值濾波方法對原始圖像處理后，原始圖像中的紋理和椒鹽噪聲經濾波后基本消除，且對圖像邊緣清晰度影響較低，不影響下述邊緣提取處理。

圖1 織物圖像預處理及邊緣特征提取效果圖Fig.1 Fabric image pre-processing and edge detection. (a) Original image; (b) Fabric image edge detection result

1.2 邊緣提取

邊緣特征是判斷花型的一個重要特征，常用的邊緣提取方法主要有Kirsch、Sobel、Canny算子等。由于經過中值濾波后的織物花型圖像中仍有殘余噪聲，本文研究采用能夠在噪聲抑制與邊緣檢測之間取得良好平衡的Canny算子提取邊緣?？椢锘ㄐ瓦吘壧崛⌒Ч鐖D1(b)所示。

2 圖像特征提取

為區分外形相同內部結構不同和同型不同色的織物花型圖案，本文提取邊緣距離直方圖與邊緣方向直方圖作為描述邊緣空間位置及方向的特征，而提取彩色邊緣顏色直方圖描述圖像顏色的特征。

2.1 邊緣距離直方圖

2.1.1邊緣距離直方圖的構造

圖像檢索算法必須具有旋轉不變性和縮放不變性。為滿足上述要求，本文在求解織物花型邊緣圖像邊緣坐標加權中心的基礎上，計算獲取邊緣坐標與加權中心之間的最遠距離，然后對該距離進行等分，并以加權中心為圓心，以等分后的長度倍值為半徑畫圓，實現對邊緣圖像的分割。最后計算各等分圓面內所包含的邊緣點個數來構成邊緣距離直方圖，實現對花型邊緣所處空間位置的定量描述。

花型邊緣圖像中各邊緣坐標點的加權中心P(xc,yc)所在坐標點可由下式計算獲得：

(2)

式中：xc、yc分別代表加權中心點的橫、縱坐標值；xi、yi分別代表邊緣圖像中第i個邊緣點的橫、縱坐標值；N代表邊緣圖像中坐標點的總個數。

邊緣點距離邊緣加權中心的最遠距離Dmax可用下式進行計算：

(3)

據此，可以P(xc,yc)為中心，以Dmax為半徑作圓，此圓為完全包絡織物邊緣圖像所有邊緣點的最小圓；為分析邊緣內部結構構成，將此圓面區域等距劃分為l個環形區域，并按下式計算求解邊緣距離直方圖各構成分量：

em=nm/N, 0≤m≤l-1

(4)

式中：m為環形區域編號，m越小越靠近環形中心;nm表示第m個環形區域中邊緣點的個數；em代表第m個環形區域內邊緣點數量占邊緣點總數的比例，為歸一化后的邊緣距離直方圖構成元素。

2.1.2邊緣距離直方圖相似性度量

為實現花型檢索，還需對比分析被檢索花型與花型庫內各圖片的邊緣距離直方圖之間的相似性。若I 代表被檢索圖片，Q代表花型庫中的圖片，可用下式對2幅圖像的相似度進行計算：

(5)

式中：LE表示圖像I與Q之間邊緣距離直方圖的相似度。分析式(5)可知，LE越小，則相似度越高；為凸顯不同等分圓面m內邊緣點在相似度計量時的重要性，采用相似度權值wm對各環面的相似度進行加權；一般而言，花型外部邊緣的相似更符合感官相似的要求，因此本文在進行相似性度量時，給外部邊緣賦予了比內部邊緣更大的權重。

2.2 邊緣方向直方圖

2.2.1邊緣方向直方圖的構造

由圖像邊緣的連續性特征可知，在以某邊緣點為中心的3像素×3像素鄰域內至少存在3個連續邊緣點，連接該鄰域內相距最遠的2個連續邊緣點中心，定義所得直線作為此鄰域中心點的擬合直線，圖2為3像素×3像素鄰域內的8種典型擬合直線圖(f1-f8)。舍棄不連續邊緣點，并以該法遍歷邊緣圖像內所有連續的邊緣點，通過對所得擬合直線進行如下操作：1)各擬合直線采用首尾相接方式進行連接；2)當多條擬合直線共線時，保留重合部分而剪除懸空端；3)當多條擬合直線相交時，剪除懸空端。據此則可得圖3(a)所示邊緣局部擬合效果圖中的實線部分，圖中虛線部分為根據上述步驟剪除的部分。由圖2和圖3(a)可知，該擬合方法可有效描述邊緣點的空間走向。

圖2 3像素×3像素鄰域內8種典型直線擬合效果圖Fig.2 Eight typical fitting examples in 3 pixel×3 pixel neighborhood

考慮到隨圖像旋轉，各擬合直線也均隨之旋轉，使得擬合直線的方向發生變化，為滿足旋轉不變性要求，首先連接邊緣加權中心點P(xc,yc)和各3像素×3像素鄰域中心點得到斜率為k1的直線T1，記該鄰域的擬合直線為T2，斜率為k2，2條直線空間關系如圖3(b)所示，可用公式計算獲取T1、T22條直線夾角中的小角θ：

θ=|arctan((k2-k1)/(1+k1k2))|

(6)

θ=0,1,…,90

由式(6)可知，θ可對該邊緣點的方向特征進行描述，故采用下式可獲得邊緣方向直方圖每列的值：

db=Sb/N

(7)

式中：Sb為邊緣方向角θ=b的邊緣點的個數；db為邊緣方向角θ=b的邊緣點占邊緣點總數的比例。

圖3 邊緣像素點直線擬合效果及其方向描述角Fig.3 Line fitting effect diagram based on edge pixels and the definition of direction angle. (a) Partial edge fitting result;(b) Definition of edge direction angle

2.2.2邊緣方向直方圖相似性度量

類似，可采用下式對2幅圖像的邊緣方向直方圖相似度進行計算：

(8)

式中，LD表示圖像I與Q邊緣方向直方圖的相似度，且LD越小，邊緣方向的相似度越高。

2.3 彩色邊緣顏色直方圖

顏色直方圖是圖像檢索中最常用的顏色特征描述方法，傳統的基于全局顏色的顏色直方圖并不適用于描述具有大量底色的織物花型檢索[9]。為此，本文首先利用經Canny算子提取的邊緣坐標與原圖的對應關系，得到織物花型圖像的彩色邊緣，然后計算獲取由織物花型邊緣顏色組成的顏色直方圖作為特征實現織物花型的顏色檢索，以此降低底色對織物花型顏色特征的影響。

2.3.1顏色空間的量化及顏色特征提取

電子圖像一般采用RGB顏色模型進行描述，該模型與人眼所感知顏色存有較大差別，并不完全適用于織物花型檢索。而HSV顏色空間由色調(H)、飽和度(S)、亮度(V)3個分量組成，更符合人眼的視覺感知，因此，本文在提取顏色特征前，首先將圖片從RGB顏色空間轉換到HSV顏色空間。由于HSV顏色空間為連續空間，為確保計算效率，本文對H、S、V分量分別進行非均勻量化[10]，即將色調H量化為紅、橙、黃、綠、青、藍、紫7個級別，將飽和度S和亮度V分別量化為3個級別。對H、S、V進行量化的公式分別如下式所示：

(9)

(10)

(11)

此外，由于圖像檢索資源消耗較高，為提高檢索效率，還需將高維度檢索降階為低維度檢索，式(12)為將三維顏色分量轉化為一維顏色特征向量K的計算表達式：

K=HQSQV+SQV+V

(12)

式中：QS和QV分別是S和V的量化級數。本文取QS=3，QV=3，因此式(12)可改寫為

K=9H+3S+V

(13)

這樣顏色空間就從三維空間量化到了一維空間。由式(9)、(11)可知，K的取值范圍為0～62，也即經量化后的顏色空間由此63種顏色特征值構成。據此可對花型的彩色邊緣進行顏色量化，獲取邊緣顏色直方圖的特征向量[C]={C0,C1,…，C62}。

2.3.2彩色邊緣顏色直方圖相似性度量

對于彩色邊緣顏色直方圖的相似性度量依然采用式(5)所示歐式距離表達法，計算公式如下：

(14)

式中：LC表示圖像I與Q彩色邊緣顏色直方圖的相似度，且LC越小，顏色相似度越高。

3 圖像相似性度量

3.1 特征相似度歸一化

在邊緣特征和顏色特征提取基礎上，已獲取圖像邊緣距離直方圖相似度LE、邊緣方向直方圖相似度LD和彩色邊緣顏色直方圖的相似度LC，為兼顧邊緣特征和顏色特征，并在檢索結果中予以體現，同時確保檢索結果的唯一性，還需對LE、LD和LC進行綜合，以期獲取圖像相似度與LE、LD和LC的數學表達式。由于LE、LD和LC分別表征3種不同特征的相似度，三者的取值范圍存有較大差異，如果直接對三者進行數學綜合，將無法在檢索結果中體現較小特征值的影響度。為減小3種相似度數值上的差異，本文對LE、LD和LC分別進行歸一化。

1)計算花型圖像庫中所有M幅圖像的LE、LD和LC，得到3種相似度的集合：[L1]={LE1,LE2，…,LEM}，[L2]={LD1，LD2，…,LDM}， [L3]={LC1，LC2，…,LC M}。

2)分別計算集合[L1]、[L2]和[L3]內的最大值LEmax、LDmax、LCmax和最小值LEmin、LDmin、LCmin。

3)對3個集合中的每個元素進行歸一化：

(15)

(16)

(17)

式中p為圖像索引。通過以上歸一化步驟，將[L1]、[L2]和[L3]中各元素值均量化到區間[0,1]之間，以消除因特征不同而造成的數值上的差異。

3.2 相似度結合

特征相似度歸一化后，本文采用式(18)所示的相似度計算公式表征圖庫中第p幅圖與被檢索圖像直接的相似度：

L=β1L1p+β2L2p+β3L3p

(18)

式中：L表示圖像的相似度，L越小表示相似度越高，2張圖像越相似；β1、β2、β3分別為邊緣距離直方圖、邊緣方向直方圖相似度和彩色邊緣顏色直方圖相似度的權值，且β1+β2+β3=1。一般，在圖像檢索中，邊緣特征的相似比顏色特征的相似具有更高的優先級別，因此在計算圖像的相似度的過程中可將邊緣特征賦予比顏色特征更高的權值。由經驗值確定在本文實驗中β1=0.6，β2=0.2，β3=0.2[2,11]。

4 討論與分析

本節首先對所提取的邊緣距離直方圖、邊緣方向直方圖和彩色邊緣顏色直方圖特征進行算法分析，然后通過實驗驗證本文檢索算法的準確性。

4.1 算法分析

圖4為不同的織物圖案及其邊緣距離直方圖。其中：圖4(a)、(b)為2種不同的織物印花花型原圖，二者外形相同但內部結構略有差別；圖4(c)為圖4(a)旋轉一定角度后的結果，圖4(d)為圖4(a)的比例縮放結果；取l=10，圖4(e)～(h)分別為圖4(a)～(d)的邊緣距離直方圖。

圖4 不同圖像及其邊緣距離直方圖Fig.4 Different images and respective edge distance histograms. (a) Pattern of a; (b) Pattern of b; (c) Rotation of a; (d) Zoom of a; (e) Edge distance histosram of (a); (f) Edge distance histogram of (b); (g) Edye distan histogram of (c); (h) Edge distance histogram of (d)

對比分析圖4(e)和圖4(f)可知，2幅邊緣距離直方圖具有明顯的差別，因此本文所提出的等分圓面法所獲取的邊緣距離直方圖可準確地區分外形相同但內部結構不同的花型；邊緣距離直方圖采用的環形區域劃分，圖像旋轉并不會改變邊緣點在環形區域中的分布，圖4(e)和圖4(g)并無明顯差異，可知邊緣距離直方圖具有旋轉不變性；對比圖4(e)與圖4(h)可知，邊緣距離直方圖并不會隨著圖像的縮放發生變化，因此具有旋轉不變性；此外，圖像的平移不會改變圖像邊緣中點與各邊緣點之間的距離，也不會改變環形區域劃分，因此邊緣距離直方圖還具有平移不變性。

此外，從幾何學角度來看，邊緣方向直方圖以邊緣中心點與邊緣點確定的直線和邊緣點在3像素×3像素鄰域內擬合直線之間小角確立，由于2條相交直線的夾角并不隨圖像的平移、旋轉、縮放而發生改變，故邊緣方向直方圖對圖片的平移、縮放、旋轉都具較好的魯棒性；而顏色直方圖本身并不包含空間信息，因此其對圖片的平移、旋轉、縮放同樣具有較好的魯棒性。

4.2 相似花型庫檢索實驗

為檢驗本文算法對同型不同色花型以及外形相同但內部結構不同的相似花型的檢索效果，本文首先進行相似花型庫檢索實驗。實驗所用相似花型庫容量包含5組共400張圖片，其中每組包含80張同型不同色和外形相似，內部結構略有差異的花型圖片及其經過平移、旋轉、縮放的圖片。每次檢索取相似度最高的前10張圖片作為結果顯示，按照相似度的高低，從左到右，從上到下排列。實驗結果如圖5所示。

圖5 相似花型庫檢索結果Fig.5 Retrieval results on datebase of similar pattern. (a) Image retrieval; (b) First ten images of retrieval results

圖5所示的實驗結果中，所有圖片均與待檢索圖片外形幾乎完全一致，且排在前6位的花型圖片與待檢索花型的內部結構、顏色等均保持有較高相似度，而與待檢索花型圖像內部結構略有差異的花型圖片則排在靠后位置。根據上述實驗結果可發現，本文所述算法可準確地從相似的花型中檢索出與目標圖片最為相近的花型，并對經平移、旋轉和縮放后的圖像檢索具有一定穩定性。此外，在外部形狀相同的情況下，本文算法可比較準確地把內部結構相同的圖片放在檢索結果靠前的位置；在邊緣特征相同的情況下，可將顏色接近的圖片放在比較靠前的位置。

4.3 混合花型庫檢索實驗

本文實驗所用的混合圖像庫包含50類共1 000張各種卡通、植物花卉、動物、格子等常見織物花型圖案，每類花型包含20張相似的花型圖像。從50類花型中每類挑選3張圖片作為一組進行混合花型庫檢索實驗，檢索結果的顯示與排列規律同上。圖6示出單次檢索結果。

圖6 混合花型庫檢索結果Fig.6 Retrieval results on datebase of mixed types pattern. (a) Image retrieval; (b) First ten images of retrieval results

為對圖像檢索的準確性進行量化描述，采用查準率(檢索出正確圖片與圖片總量的比值)計算公式對檢索結果準確性進行描述。定義檢索結果中與目標花型同屬一類的花型圖像為檢索正確的圖片，計算每組圖片查準率的平均值作為該組圖片的查準率，結果如圖7所示。本文算法的平均查準率在93.17%左右。

圖7 查準率Fig.7 Retrieval precision ratio

由圖6所示檢索結果和圖7所示的查準率可知，本文算法可較為準確地在含有各種類型花型圖案的混合圖像庫中檢索出與目標花型相同或者相似的花型圖片，但是通過大量實驗發現，當圖片壓縮倍數過大時，其邊緣距離直方圖與邊緣方向直方圖會發生比較明顯的變化，從而導致實驗結果中出現錯檢或漏檢圖片的現象，這也是造成圖7中部分組查準率較低的主要原因。

5 結束語

本文針對織物花型同型不同色以及外形相同內部結構不同的特點，提取邊緣距離直方圖，以邊緣方向直方圖作為邊緣特征，彩色邊緣顏色直方圖作為顏色特征，并綜合利用邊緣特征和顏色特征對織物花型進行檢索，最后通過實驗驗證了本文算法可準確地檢索出相同或者相似的花型。

由于織物花型的復雜性與多樣性，本文算法仍有需要改進、優化之處。首先邊緣距離直方和邊緣方向直方圖雖然能從2個角度描述花型的邊緣特征，并形成互補，但是仍不能全面地表達圖像邊緣點的空間位置信息，而且也沒有體現出邊緣點之間在距離和方向上的相關性。此外，本文采用的3種特征均是在邊緣提取的基礎上構造的，因此邊緣提取的質量對本文算法有較大影響，如何高質量的提取出織物的邊緣特征也是需要進一步研究的問題。

參考文獻：

[1] JING J, LI Q, LI P, et al. Patterned fabric image retrieval using color and space features[J]. Journal of Fiber Bioengineering and Informatics, 2015, (9): 603-614.

[2] JING J, LI Q, LI P, et al. A new method of printed fabric image retrieval based on color moments and gist feature description[J]. Textile Research Journal, 2016, 86(11): 1137-1150.

[3] 康鋒，胡潔，張華熊，等. 基于最大穩定極值區域的織物圖案檢索[J]. 紡織學報, 2015, 36(10): 156-160.

KANG Feng, HU Jie, ZHANG Huaxiong, et al. Fabric pattern retrieval based on maximum stable extremal regions[J]. Journal of Textile Research, 2015, 36(10): 156-160.

[4] ZHANG D, LU G. Shape-based image retrieval using generic Fourier descriptor[J]. Signal Processing: Image Communication, 2002, 17(10): 825-848.

[5] TALIB A, MAHMUDDIN M, HUSNI H, et al. A weighted dominant color descriptor for content-based image retrieval[J]. Journal of Visual Communication and Image Representation, 2013, 24(3): 345-360.

[6] LIU G H, YANG J Y. Content-based image retrieval using color difference histogram[J]. Pattern Recognition, 2013, 46(1): 188-198.

[7] 陳景偉, 王向陽, 于永健. 基于邊緣直方圖的彩色圖像檢索算法研究[J]. 小型微型計算機系統, 2010(5): 978-983.

CHEN Jingwei, WANG Xiangyang, YU Yongjian. Edge-based color image retrieval by using multiple histogram[J].Journal of Chinese Computer Systems, 2010 (5): 978-983.

[8] 楊紅穎, 吳俊峰, 于永健,等. 一種基于 HSV 空間的彩色邊緣圖像檢索方法[J]. 中國圖象圖形學報, 2008, 13(10): 2035-2038.

YANG Hongying, WU Jufeng, YU Yongjian, et al. Conten based image retrieval using color edge histogram in HSV color space[J].Journal of Image and Graphics,2008, 13(10): 2035-2038.

[9] HUANG J, KUMAR S R, MITRA M, et al. Image indexing using color correlograms[C]//Computer Vision and Pattern Recognition, 1997 Proceedings. [S.l.]: IEEE, 1997: 762-768.

[10] 張鑫, 溫顯斌, 孟慶霞. 基于顏色特征的圖像檢索方法研究[J]. 計算機科學, 2012, 39(11):243-246,260.

ZHANG Xin, WEN Xianbin, MENG Qingxia, Research of image retrieval method based on color feature[J].Computer science,2012, 39(11),243-246,260.

[11] ZHENG X, TANG B, GAO Z, et al. Study on image retrieval based on image texture and color statistical projection[J]. Neurocomputing, 2016, 215: 217-224.