基于Zernike矩和拼貼誤差的布料圖案檢索算法

張 琴,曹一青

(莆田學院 機電與信息工程學院,福建 莆田 351100)

紡織品行業中,布料圖案的檢索和分類依靠人工經驗完成,效率較低、成本較高且準確率不高,無法滿足高效準確地檢索出特定布料圖案的需求,因此,本文擬實現一種檢索效果和效率兼具的布料花案圖像檢索算法。布料圖案的花紋相對繁雜,且圖案拍攝過程不當可能會引起圖像的角度隨意和非平面結構等問題,這些問題給圖像檢索帶來了一定的困難。單一圖像特征用于檢索無法準確地描述布料圖案的全部信息,導致檢索準確率不高。DING等[1]利用尺度不變特征變換(scale-invariant feature transform,SIFT)和高斯函數獲取了畬族服裝圖像中的特征,并依據獲得的特征對圖像進行了分類,該方法可有效識別不同類別的畬族服裝。WANG等[2]利用深度卷積神經網絡對跨域圖像進行分類顯示,該方法可獲得較好的跨域圖像檢索效果。JING等[3]提出了一種將顏色矩和Gist特征描述的布料圖案相融合的檢索方法,該算法的平均查準率為86.3%,平均查全率為53.3%。ZHANG等[4]提出了一種基于低層紋理特征的羊毛布料圖案檢索算法,平均檢索準確率在85%以上,平均檢索時間為1.4 s。IHSAN等[5]提出了一種基于完全神經網絡、超像素特征提取網絡結構(superpixels features extractor network,SP-FEN)和簡單線性迭代聚類算法(simple linear iterative clustering,SLIC)的時裝圖像的超像素特征,研究顯示該方法可對時裝圖像進行較好的像素分割和服裝解析,但獲取數據集的成本較高。CHEN等[6]針對跨域服裝圖像檢索提出了一種深度學習的檢索方法,準確率為78.1%。

由于Zernike矩具有旋轉、尺度和平移不變性,且能清晰地描述圖像輪廓細節的特征,目前被廣泛應用于布料圖案的特征提取[7]。但是,Zernike矩在應用中存在計算量大和階數越高對噪聲越敏感等問題[8-9];因此,在實際應用中往往應用Zernike低階矩來作為檢索特征。分形域的拼貼誤差是一種分形編碼參數,利用其解碼圖像可獲得高質量的壓縮圖像,且計算復雜度低[10]。為進一步提高布料圖案檢索的平均查全率、查準率和檢索效率,本文提出了一種將低階Zernike矩和分形域拼貼誤差相結合的布料圖案檢索算法(zernike moment and collage error,ZMCE),并通過實驗驗證了該算法的有效性。

1 算法設計

1.1 圖像f(x,y)的Zernike矩的計算

圖像f(x,y)的Zernike矩是一組極坐標下的單位圓內的正交多項式Vnm(x,y)[11],其可表示為

Vnm(x,y) =Vnm(ρ,θ) =Rnmejmθ

(1)

式(1)中,Rnm為實值多項式,其表達式為

(2)

n階m次Zernike矩的表達式[9]為

(3)

θ=arctan(y/x)(x>-1,y<1)

(4)

假設圖像旋轉α角度后,θ′=θ-α,則旋轉后的Zernike矩可表示為

(5)

(6)

布料圖案的Zernike矩的計算步驟為:

(1)對布料圖案中的目標區域與背景進行分割,然后利用零階幾何矩計算目標的面積,零階幾何矩的計算公式為

m00= ?f(x,y)dxdy

(7)

(2)根據式(6)計算數字圖像f(x,y)在單位圓內的Zernike矩。

(3)利用式|Znm|′=|Znm|/m00[11]對Zernike矩進行歸一化處理,并將模值|Znm|′作為布料圖案檢索的特征量。

(4)分別計算圖像的前8階低階矩,即|Z00|′,|Z20|′,|Z33|′,|Z42|′,|Z53|′,|Z64|′,|Z71|′,|Z80|′和9、10、11階高階矩|Z91|′,|Z10.0|′,|Z11.1|′。將高階和低階Zernike矩分別作為布料圖案檢索的特征量。

1.2 分形域拼貼誤差的計算

實驗圖像來源于某服裝設計企業的面料庫,共選取800張(尺寸大小為512×512)。將每副圖像按順時針旋轉30°后共計獲得1 600張實驗圖像。圖1為面料庫中部分布料圖案。

圖1 面料庫中的部分布料圖案Fig.1 Part of the fabric images

(8)

(9)

式中,U塊的灰度值均為1。由式(9)可知,此時雖然值域塊與定義域塊已經達到最佳匹配,但仍存在如下偏差。

(10)

于是根據式(10)中的E(R,D)可將拼貼誤差[15]定義為

(11)

由文獻[13]可知,當式(9)中的si和oi分別為

(12)

(13)

時,式(9)有最小值。

本文以圖1中的Plaid(a)和(b),Stripes(a)和(c),Patterned(a)、(b)、(c)和Plant(a)為例對拼貼誤差表征圖像紋理和邊緣信息的能力進行說明。首先,對圖像進行灰度化預處理;其次,將圖像分別分割成大小為4×4的Ri塊和8×8的Di塊;最后,利用式(9)—(13)計算出圖像的拼貼誤差,并將拼貼誤差由小到大分為Ⅰ、Ⅱ、Ⅲ3類。其中,Ⅰ類用白色表示,Ⅱ類用灰色表示,Ⅲ類用黑色表示。

圖2為布料圖案與拼貼誤差輸出圖像的對比圖。由圖2可知,拼貼誤差可消除圖像信息冗余和保留原圖像的紋理和邊緣信息,可應用于布料圖案的檢索。

注:(a)和(c)為灰度圖;(b)和(d)為拼貼誤差輸出圖像。

2 布料圖案的相似度匹配算法

Zernike矩和分形域拼貼誤差相結合的布料圖案檢索算法的實現流程如圖3所示。該算法采用歐式距離(Euclidean距離)對比兩幅布料圖像的相似度。歐式距離的計算公式為

(14)

圖3 本文算法(ZMCE)的示意框圖Fig.3 The schematic block diagram of the proposed algorithm (ZMCE)

設待檢索布料圖像為Q,圖像庫中某一布料圖像為R,則基于Zernike矩的相似度計算公式為

(15)

式中:Zi(Q)和Zi(R)分別表示兩幅圖像的Zernike矩;dZ(Q,R)為兩幅圖像Zernike矩的差異。基于分形域拼貼誤差的相似度計算公式為

(16)

式中:E(Q)和E(R)分別表示兩幅圖像的拼貼誤差;dE(Q,R)為兩幅圖像拼貼誤差的差異。由此可得兩幅圖像之間的總相似度距離的計算公式為

d=λ1dZ(Q,R)+λ2dE(Q,R)

(17)

式中:λ1(0<λ1<1)和λ2(0<λ2<1)為兩種特征量測度的權重,其值是經過多次不同實驗對象進行圖像檢索實驗結果得出的,且λ1+λ2=1。

本文利用查全率(R)、查準率(P)[16]和二者的加權調和平均(F值)[17]來獲取最佳特征量測度的權重。查全率、查準率和F值的計算公式為:

(18)

(19)

(20)

式中:r和N分別表示檢索出的相似和不相似圖像的個數;r+N表示檢索返回的圖像總數;M表示未被檢索出的相似圖像個數;r+M表示相似圖像的總數。

為了考察不同階Zernike矩檢索效果,本文分別采用前8階矩和9、10、11階高階矩作為布料圖案檢索的特征量,分別計算了低階和高階矩下的平均查全率和平均查準率和F值,結果見表1和圖4。均采用9組不同的λ1值和λ2值,實驗圖像為未旋轉前的800幅圖像。由表1可以看出,當前8階矩和拼貼誤差兩種特征量測度的權重λ1和λ2均為0.5時,其F值均最大,查全率和F值較高,且對噪聲不敏感。

表1 不同權重下平均查準率和平均查全率的加權調和平均Tab.1 Weighted harmonic average of average precision and average recall under different weights

圖4 不同權重值下的圖像檢索效果Fig.4 Image retrieval effect under different weights

再采用9、10和11階高階Zernike矩進行同樣實驗。結果表明,權重取λ1=0.5,λ2=0.5時,F值最大,如表2所示。

表2 高階Zernike矩下的實驗結果Tab.2 Experimental results under higher order Zernike moments

由表2可知,高階Zernike矩下的平均查準率為0.883,高于低階矩下的0.878,但查全率略低,加權調和平均為0.654 5,略低于低階矩下的0.659 4。因為低階矩能夠有效反映圖像的輪廓信息,高階矩則更多體現細節信息,分形域的拼貼誤差可表征圖像紋理,且高階矩對噪聲較敏感,因此,本文采用前8階低階矩作為圖像檢索特征。

3 實驗結果與分析

為驗證本文方法的有效性,將本文ZMCE算法與基本分形算法(basic fractal coding, BFC)[18]、單一拼貼誤差算法(single collage error algorithm, SCE)[19]、聯合正交化分形參數和改進Hu不變矩算法(orthogonalization fractal parameters and improved Hu moment invariant algorithm, OFH)[20]以及文獻[4]中基于主色調(dominant colors,DCs)和顏色矩(color moments,CMs)特征的算法作了對比分析。實驗采用MATLAB R2018a軟件,計算機配置為:Intel Core i5處理器,8 GB內存,64位Windows 10操作系統。實驗圖像為服裝設計企業面料庫中的800張布料圖案圖像和這些圖像旋轉后的800張圖像,共計1 600張,大小為512×512。

為了保證實驗對比數據的有效性,以上算法均在相同的圖像上進行,且均采用Euclidean距離作為相似度計算公式。實驗時,以布料圖案庫為檢索庫,并將每一張布料圖案依次作為各算法待檢索圖像(共計860張)。根據公式(18)—(20),計算出圖1中所列出的4類圖案的查準率和查全率,如圖5和圖6所示。

圖5 不同算法下8類圖案的平均查準率Fig.5 The average precision of 8 kinds of images under different algorithms

圖6 不同算法下8類圖案的平均查全率Fig.6 The average recall of 8 kinds of images under different algorithms

由圖5圖6分析可知,本文算法(ZMCE)的平均查準率(0.919)和查全率(0.603)顯著高于BFC算法、SCE算法和OFH算法。

為了進一步驗證本文算法的有效性,將本文算法與SCE、BFC、OFH算法和文獻[4]中的算法進行了檢索對比(實驗圖像為圖像庫中的1 600張布料圖像),結果如表3所示。由表3可知,本文算法的平均查準率和查全率比BFC算法、SCE算法、OFH算法和文獻[4]的算法分別高出0.379、0.352、0.08、0.014,0.202、0.184、0.122、0.091;檢索速度也顯著快于SCE算法、BFC算法和OFH算法(與文獻[4]算法速度幾乎相同)。

表3 不同算法對圖像的檢索效率Tab.3 The retrieval efficiency of different algorithms

本文算法優于其他4種算法的原因是:本文算法不僅采用了具有圖像旋轉不變性、尺度和平移不變性、低噪聲敏感度等優勢的Zernike矩,而且還采用了分形域的拼貼誤差作為檢索特征量;BFC算法僅采用了分形參數作為圖像檢索特征量,且定義域塊與值域塊的匹配過程較為復雜;OFH算法的檢索效果雖相對較好,但檢索特征量的Hu不變矩的魯棒性較弱;SCE算法僅采用了拼貼誤差作為檢索特征量;文獻[4]中的算法采用的是基于主色(DC)和色矩(CM)的檢索方法,該方法的魯棒性有待提高。

4 結論

本文針對布料圖案檢索過程中存在的準確率不高,效率低等問題,提出將Zernike矩和分形域拼貼誤差聯合用于布料圖案檢索。該算法中,適用于具有一定自相似性圖像的拼貼誤差,能夠表征圖像細節信息、計算復雜度低且壓縮比較高。與此同時,Zernike矩具有旋轉不變性、尺度和平移不變性、低噪聲敏感等特點。研究表明,本文提出的ZMCE算法對布料圖案檢索的綜合效率顯著優于SCE算、BFC算法、OFH算法和文獻[4]中的算法,因此,該算法可為紡織品企業的布料圖案檢索提供良好參考。在今后的研究中,我們將繼續探討如何更有效地提取布料圖案的特征量,以進一步提高本文方法的檢索效果。