基于最大穩定極值區域的織物圖案檢索

康 鋒， 胡 潔， 張華熊， 周 慧

(浙江理工大學 信息學院， 浙江 杭州 310018)

?

基于最大穩定極值區域的織物圖案檢索

康 鋒， 胡 潔， 張華熊， 周 慧

(浙江理工大學 信息學院， 浙江 杭州 310018)

針對織物掃描圖像的特點，提出了一種通過圖像最大穩定極值區域的加速穩健特征(SURF)檢索織物圖案的方法。首先用結構提取算法去除織物掃描圖像的紋理，保留圖案信息；其次通過最大穩定極值區域法檢測織物圖像，提取圖案各區域的SURF特征，建立織物圖像特征庫；再將織物檢索圖像與特征庫內的圖像進行相似性度量，得到相似圖案的織物圖像。實驗結果表明，提出的算法能夠較準確地檢索織物圖案。

織物圖案； 圖像檢索； 最大穩定極值區域； 結構提?。?加速穩健特征(SURF)算法； 特征匹配

隨著紡織品CAD的廣泛應用，新設計的織物圖案形式多樣，變化豐富。傳統的織物圖案檢索需要通過人工在樣品庫中進行分類和編號，不能對檢索需求進行精確描述，難以滿足不同檢索人員和客戶的檢索需求?？椢飯D案檢索可根據樣圖或實物掃描圖，快速地從樣品庫中找到已有的相同或相似圖案，克服傳統人工檢索的缺點，避免重復設計，從而提高新產品開發效率，提升紡織品設計能力。

圖案是紡織品設計中的一個重要元素，但是從織物掃描圖像中提取圖案較為困難。經掃描獲取的織物圖像中，紗線間隙顏色偏暗，會形成一定的紋理，不同的原料、織造方式、織物后整理也會產生不同的效果；由于布料放置不平整，使得織物圖像產生局部色差，甚至形成偽圖案；由于掃描圖像文件往往采用有失真的JPEG壓縮，使得圖案輪廓變得模糊。這些因素的存在為織物圖案檢索帶來了困難。

目前，圖像檢索主要有基于顏色[1]、紋理[2]、形狀[3]、角點[4]等特征的方法。顏色或紋理往往不能直接表征織物掃描圖像的圖案特征，因而基于顏色或紋理的圖像檢索方法不能直接檢索相似圖案；由于織物圖像中存在的紋理、局部色差以及采用失真壓縮的文件格式保存圖像，使得圖案輪廓不清晰，通過圖像分割提取的圖形往往不夠準確，難以提取圖案的有效特征，因此基于形狀的圖案檢索結果往往不夠準確；織物圖案中圖形很多是由平滑曲線構成，同時由于織物掃描圖像中存在的紋理、色差、模糊，在織物圖案中很難提取有效的角點和角點特征，而且織物中往往存在大量相同或相似的圖案，角點之間的空間關系很難描述，因此基于角點的圖像檢索方法很難準確檢索織物圖案。

針對織物掃描圖像的特點，本文首先通過結構提取(structure extraction)算法消除織物圖像紋理；其次通過最大穩定極值區域(maximally stable extremal region, MSER)算法檢測織物圖案區域，提取各區域加速穩健特征(SURF)，形成圖案區域特征；然后對檢索圖像的特征與織物圖像特征庫進行匹配，得到檢索圖像對圖像庫中的織物圖像的相似度；最后對相似度進行排序，選取最相似的圖案為檢索結果。

1 算法設計

1.1 算法流程

本文提出的算法可分為紋理去除處理、MSER檢測、特征提取、相似性度量、檢索結果輸出5個過程，流程如圖1所示。

圖1 織物圖案檢索流程Fig.1 Flow chart of fabric pattern retrieval

1)通過結構提取算法去除織物圖像的紋理，并對紋理去除后的圖像進行灰度化；2)通過MSER算法檢測織物圖案的MSER；3)提取各MSER的SURF特征，形成特征矢量，對圖像庫中的每個圖像進行上述處理，建立圖像特征庫；4)將檢索圖像的特征與織物圖像特征庫中每幅圖像特征進行匹配，并進行相似性度量，得到檢索圖像對圖像庫中每幅圖像的相似度得分；5)對相似度得分進行排序，選取相似度得分高的圖案作為檢索結果。

1.2 紋理去除處理

掃描獲取的織物圖像中，由于紗線間隙和不同的織造方式等會產生一定的紋理，這些紋理的存在使得織物呈現一定的風格，但是對織物圖案的提取帶來了困難；因此，要檢測織物圖案，首先應盡量消除紋理帶來的影響，保留圖案的結構信息。

Xu等[5]提出了一種基于相對總差(relative total variation)的結構提取算法，可有效去除織物圖像中一定尺度的紋理信息，保留圖像中的圖案結構。TV-L2模型[6]可表示源圖像與結構圖像之間的關系：

(1)

為更加有效地消除結構信息，文獻[5]對式(1)進行了改進，提出了新的模型：

(2)

式(2)的x方向相對總差可寫成

式(2)的y方向的總差與x方向的類似，可寫成

由此式(2)可寫為：

(3)

式中：vS和vI分別表示S、I的矢量；Cx和Cy分別是向前差分梯度算子的特普利茲矩陣。Ux、Uy、Wx、Wy為對角陣，對角線上的值分別為Ux[i，i]=uxi，Uy[i，i]=uyi，Wx[i，i]=wxi，Wy[i，i]=wyi，那么式(2)可通過式(4)迭代求解：

(4)

1.3 最大穩定極值區域檢測

MSER被認為是性能最好的仿射不變區域，在視角變化、尺度變化、旋轉變化、模糊變化、JPEG壓縮和亮度變化等情況下均具有較好的評價[7]。

MSER檢測的基本過程[8]如下：對于一幅灰度圖像，用0～255依次增加的256個閾值對圖像進行二值化處理，對于每個閾值得到的二值圖像，分析前后相鄰閾值圖像間的連通區域，在比較寬的灰度閾值范圍內保持形狀穩定的區域形成MSER+，該區域的內部像素點灰度值小于(或大于)邊界像素點灰度值；通過同樣的方式，用255～0依次減小的256個閾值對圖像進行處理，獲得MSER-；二者組合得到MSER。判定是否為極值區域的標準為：

(5)

式中，Q1,…,Qi-1,Qi,…是一系列嵌套的極值區域，Qi-1∈Qi，若式(5)在i處取得局部極小值，則對應的極值區域Qi稱為MSER。

1.4 特征提取

本文通過SURF算法提取織物圖像的每個MSER特征，形成各區域的特征矢量。

SURF[9]是一種穩定快速的特征提取算法，該算法在積分圖像的基礎上通過快速Hessian檢測子在不同尺度上來檢測局部極值點，通過計算Haar小波變換來確定每個特征點的主方向及特征點描述子。

積分圖像的定義如式(6)所示：

(6)

(7)

對式(7)兩端求導并令導數為零，可計算得到極值點：

(8)

用金字塔圖像建立尺度空間，通過Hessian矩陣來尋找極值點作為特征點，對以每一個特征點為圓心、半徑為6s(s為特征點所在的尺度)的鄰域中的點分別計算x、y方向上的邊長為4s的Haar小波變換，并對響應值賦予高斯權重系數(加權因子σ=2s)，得到一系列向量；然后將3/π范圍內的Haar小波響應累加形成新的矢量，遍歷整個區域，選擇最長向量的方向為特征點的主方向。

1.5 相似性度量

通過特征提取獲得的各MSER特征矢量，用歐氏距離d衡量區域的相似性，

式中：si表示檢索圖像第i個MSER；cj表示待匹配圖像第j個MSER；M表示特征矢量。

式中：Ncs表示檢索圖像中獲得匹配的不為同一中心的MSER數量；Nc表示檢索圖像中不為同一中心的MSER數量。

2 實驗與分析

本文選擇了20種較為典型的織物圖案進行了實驗，每種圖案共有6種不同織物，通過掃描獲取了120幅織物圖像，圖像分辨率為96 dpi，圖像格式為JPEG。對每種圖案的織物選擇5幅圖像，通過去紋理、MSER檢測、特征提取，建立了圖像特征庫；剩下的圖像為待檢索圖像。

2.1 紋理去除處理結果

讀取織物掃描圖像，進行去紋理處理(本文實驗中λ=0.01、σ=3、迭代次數為2)，并進行灰度化處理，將灰度范圍為1%～99%的像素點進行灰度拉伸，示例圖像如圖2所示。從圖2(a)中可看到，源圖像中存在紗線紋理，掃描過程由于布料放置不平整，使得織物圖像產生局部色差，織物圖像中的圖案輪廓較為模糊。從圖2(b)中可看到，織物圖像中的紋理已基本消除，整個圖像較為平滑，保留了圖案的信息，但是由于在掃描過程中，織物放置不平整，因而在去紋理后的圖像中存在偽圖案。從圖2(c)中可看到，灰度化后的圖像保留了比較顯著的圖案信息。

圖2 紋理去除處理Fig.2 Texture removing. (a) Original image; (b) Images after texture removed; (c) Gray image

2.2 最大穩定極值區域檢測和特征提取結果

對灰度化后的織物圖像進行MSER檢測，并提取各區域的矩特征，示例圖像如圖3所示。圖3(b)中不同的MSER用不同顏色表示，可看到，MSER覆蓋了織物圖像的圖案區域，但在非圖案區域也存在MSER。

圖3 MSER檢測Fig.3 MSER detection. (a) Original image; (b) MSER

2.3 相似性度量結果

首先對檢索圖像MSER各區域與特征庫中每一幅圖像的SURF特征進行特征匹配，然后計算檢索圖像對特征庫中的每個圖像的相似性得分。特征匹配的示例圖像如圖4所示。從圖中可看到，檢索圖像中的部分MSER與圖像庫中的匹配圖像中多個相似圖案的MSER得到了匹配，但是由于掃描圖像經過去紋理、灰度化后的圖案的灰度值并不相同，因此并不是相似圖案中的每個MSER都得到了匹配。

圖4 特征匹配Fig.4 Feature matching

2.4 檢索結果

對20幅檢索圖像進行圖案檢索，按照圖案相似度得分進行降序排列，并顯示檢索結果。如果檢索圖像與特征庫圖像的圖案相似，那么認為檢索成功。示例實驗結果如圖5所示。圖中最左邊的圖像為檢索圖像，示例實驗中的圖像由2幅不同圖案粘貼組成；右邊兩行的圖像為圖像庫中的圖像，按相似性得分的高低，從左到右、從上到下排列。從圖中可以看到，相似度得分高的前10幅圖像均含有檢索圖像中的圖案。

圖5 檢索結果Fig.5 Retrieval result. (a) Image retrieval; (b) Similarity score of top 10 high images

計算20次圖像檢索的平均檢索精度和平均檢索召回率[10]。檢索精度定義為返回的相似圖像數r與返回的圖像總數n的比率，即P=r/n；檢索回召率定義為返回的相似圖像數r與圖像庫中具有相似圖案的圖像總數m的比率，即R=r/m。由平均檢索精度、平均檢索召回率為坐標構成的精度與召回率(PVR)曲線如圖6所示。從圖中可看到，本文的圖案檢索方法可有效檢索相似圖案。

圖6 PVR曲線Fig.6 PVR curve

3 結 語

本文通過結構提取算法有效去除了織物圖像的紋理，保留了織物圖案信息；通過MSER算法提取了織物圖案MSER，并用SURF描述特征；對檢索圖像與圖像庫中的圖像進行匹配，根據檢索圖案MSER匹配數量計算相似性得分，得到檢索結果。實驗結果表明本文提出的圖案檢索方法較為準確。

MSER檢測算法對圖像的灰度變化較為敏感，不同織物圖像或同一織物圖像的不同位置的相似的圖案，在去紋理和灰度化處理后灰度值可能變化較大，因此在檢索圖像與含有相似圖案的圖像特征匹配中，不能保證檢索圖像中的所有MSER都能匹配成功；由于織物掃描圖像中往往存在大量偽圖案，因此檢索圖像中的MSER可能存在誤匹配；而且由于織物圖像中往往存在重復的圖案，檢索圖案的MSER難以進行空間關系約束。因此僅通過檢索圖案中匹配成功的MSER相對數量進行相似性度量并不精確，對大量的圖像進行檢索準確率不是很高。因此，在實際應用中，本文提出的圖案檢索方法可作為其他檢索方法的補充。

FZXB

[1] BUNTE K, BIEHL M, JONKMAN M F, et al. Learning effective color features for content based image retrieval in dermatology[J]. Pattern Recognition, 2011, 44(9): 1892-1902.

[2] KEKRE H B, THEPADE S D, SARODE T K, et al. Image retrieval using texture features extracted from GLCM, LBG and KPE[J]. International Journal of Computer Theory and Engineering, 2010, 2(5): 1793-8201.

[3] KEKRE H B, THEPADE S, MUKHERJEE P, et al. Image retrieval with shape features extracted using gradient operators and slope magnitude technique with BTC[J]. International Journal of Computer Applications, 2010, 6(8): 28-33.

[4] BELLAVIA F, TEGOLO D, VALENTI C. Keypoint descriptor matching with context-based orientation estimation[J]. Image and Vision Computing, 2014, 32(9): 559-567.

[5] XU L, YAN Q, XIA Y, et al. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics (TOG), 2012, 31(6): 139.

[6] AUJOL J F, GILBOA G, CHAN T, et al. Structure-texture image decomposition - modeling, algorithms, and parameter selection[J]. International Journal of Computer Vision, 2006, 67(1): 111-136.

[7] MIKOLAJCZYK K, TUYTELAARS T, SCHMID C, et al. A comparison of affine region detectors[J]. International Journal of Computer Vision, 2005, 65(1/2): 43-72.

[8] MATAS J, CHUM O, URBAN M, et al. Robust wide-baseline stereo from maximally stable extremal regions[J]. Image and Vision Computing, 2004, 22(10): 761-767.

[9] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[10] 方強. 基于內容的商品圖像檢索[D]. 南京：南京理工大學, 2013: 17-19. FANG Qiang. Content-based commodity image retrieval [D]. Nanjing: Nanjing University of Science and Technology, 2013: 17-19.

Fabric pattern retrieval based on maximum stable extremal regions

KANG Feng， HU Jie, ZHANG Huaxiong， ZHOU Hui

(SchoolofInformationandTechnology,ZhejiangSci-TechUniversity,Hangzhou,Zhejiang310018,China)

According to the characteristics of fabric scanning images, a fabric pattern retrieval method based on the SURF features of maximum stable extremal regions was proposed to retrieve fabric images . Firstly, structure extraction algorithm was used to remove the texture in the fabric scanning image, and preserve the fabric pattern information; secondly, maximum stable extremal region method was used to extract the SURF features of all extremal regions in the fabric patterns, and the feature database of fabric images was established; and finally, similarity measure between the fabric images to retrieve and the images in database was computed to obtain the fabric images with similar patterns. The experimental results showed that the proposed algorithm can retrieve fabric patterns accurately.

fabric pattern; image retrieval; maximum stable extremal region; structure extraction; SURF; feature matching

10.13475/j.fzxb.20140806105

2014-08-29

2015-03-11

浙江省高校重中之重學科開放基金項目(2013KF08，ZSTUMD2012B009)；浙江省信息服務業發展專項資金項目(2013085)；浙江理工大學科研啟動基金項目(1203816-Y)

康鋒(1976—)，男，講師，博士。主要研究方向為計算機圖像處理。胡潔，通信作者，E-mail: hujie.zju@163.com。

TN 919；TS 145.4

A