織物紋樣特征提取與匹配方法比較

汪 會， 孫 潔， 丁笑君,2， 龍 穎， 鄒奉元,2,3

(1. 浙江理工大學 服裝學院， 浙江 杭州 310018； 2. 浙江理工大學 浙江省服裝工程技術研究中心， 浙江 杭州 310018； 3. 浙江省服裝個性化定制協同創新中心， 浙江 杭州 310018)

計算機圖像識別與匹配技術應用于服飾紋樣的分類、識別與快速調用[1-2]，為服飾紋樣的數字化設計提供了有效途徑。織物紋樣識別的關鍵是尋找合適、有效的特征用于識別[3]。國內外學者提出了多種用于圖像識別的特征描述方法:曹霞等[4]在進行蕾絲花邊層次匹配檢索時，應用快速魯棒性尺度不變特征(SURF)作為第3層次的匹配依據;路凱等[5]應用視覺詞袋模型進行羊絨羊毛纖維的鑒別時，將尺度不變特征變換(SIFT)關鍵點轉換為視覺單詞表示纖維特征;丁笑君等[6]用SIFT算法獲得畬族服裝樣圖關鍵點分布，得到不同類別畬族服裝的關鍵設計區域和排序；陳金廣等[7]討論了旋轉、尺度和噪聲變化下紋樣匹配方法發現，SIFT與SURF算法具有較好的適應性。

雖然，以SIFT與SURF為代表的局部描述子在織物圖像識別檢索中有較好的適用性，但在復雜圖像配準過程中，有效的局部特征點抓取數量存在不足，且準確匹配率不高，因而復雜織物圖像的特征提取與匹配問題仍存在挑戰[3]。與上述特征提取方法不同，基于二值特征的特征描述子具有匹配速度快，存儲要求內存低等特點，在復雜圖像特征提取與匹配問題中更具優勢。

本文將二進制魯棒不變可擴展關鍵點(BRISK)算法和隨機抽樣一致(RANSAC)算法引入織物紋樣特征提取與匹配問題中，討論尺度、旋轉、模糊、光照、褶皺5個變化因素下織物紋樣圖像特征提取與匹配方法。從特征點數量、準確匹配率及匹配時間3個方面，將BRISK與SIFT、SURF算法進行比較分析，為復雜織物紋樣的自動識別提供參考。

1 實驗與圖像預處理

1.1 圖像采集

江崖海水紋是具有代表性的中國傳統紋樣之一，多為對稱式獨立紋樣，紋樣構圖復雜，元素形態多樣[8]。本文通過數碼印花的方式獲取30 cm×20 cm 的滌綸厚緞江崖海水紋面料。為探討尺度、旋轉、模糊、光照、褶皺5個因素下紋樣匹配差異，實驗過程中排除了外界不確定光源對其他因素的干擾，選取DiGiEye數字測色儀和VIZOO X-Tex型三維面料掃描儀采集圖像。其中DiGiEye數字測色儀的相機型號為Nikon D90，兩側有D65光源，系統頂部為凹凸弧面漫反射光，可使面料均勻受光。同時，因DiGiEye漫反射均勻光照射時面料褶皺立體感不明顯，故選用VIZOO X-Tex型三維面料掃描儀獲取褶皺狀態下面料圖像。

江崖海水紋獲取流程如圖1所示，可得到基準及尺度、旋轉、模糊、光照、褶皺5種變化的圖像。每種圖像以1∶4的比例依次縮小，可獲得3種尺度變化圖像；以30°為間隔順時針旋轉，得到6種旋轉變化圖像；通過在D65光源上遮擋不同透光程度的材料，拍攝得到4種光照強度的圖像；通過調節相機焦距，獲得4種模糊處理的圖像；在面料下方放置不同高度形狀的支撐物得到4種褶皺效果圖像。

圖1 江崖海水紋獲取流程Fig.1 Process of obtaining jiangya sea water patterns

圖2示出3例江崖海水紋原圖。本文實驗選擇3例經典江崖海水紋進行上述的圖像變換，獲得 5個變化因素下人物紋樣圖像。

圖2 3例江崖海水紋原圖Fig.2 Original image of 3 kinds of jiangya sea water patterns

1.2 數據分析平臺

實驗平臺采用Visual Studio 2017搭建OpenCV 2.4.9 計算機視覺庫，電腦操作系統為Windows 10，CPU為Inter(R) HD Graphics 4600，顯存為2 GB。

1.3 圖像預處理

本文圖像處理部分以1#為例，在保留圖像有效信息的前提下，為提高圖像處理速度，將采集圖像的分辨率統一為300像素，并轉化為灰度圖像，如圖3 (a) 所示。此外，由于面料圖像在紗線間隙處顏色偏暗、柱狀紗線上顏色較亮易產生脈沖噪聲[9]，如圖3 (b)所示。采用中值濾波進行預處理。過程為

g(x,y)=med{f(x-k,y-l),(k,l∈W)}

(1)

式中：f(x,y)、g(x,y)分別為原始圖像和處理后圖像；(x,y)為像素坐標；W為窗口大小，實驗中采用3×3的窗口，經中值濾波后獲得的圖像見圖3 (c)。

圖3 圖像預處理Fig.3 Image preprocessing. (a) Grayscale processing; (b) Image noise; (c) Median filtering preprocessing

2 面料圖像的特征提取與匹配

本文針對服飾紋樣尺度、旋轉和褶皺等形變狀態下紋樣與原始紋樣的精確匹配問題展開討論，提出BRISK算法用于復雜紋樣的特征提取，并與常用在服飾紋樣特征提取中的SIFT、SURF算法對比，最后通過歐氏距離匹配和RANSAC算法剔除錯誤匹配對，討論3種算法對復雜織物圖像特征提取與匹配的有效性。

2.1 圖像特征提取

2.1.1 BRISK特征提取

BRISK算法提取特征過程中，首先采用 FSAT9-16 型角點檢測器在連續尺度空間里找到的穩點極值點作為江崖海水紋樣的特征點。采用自定義的鄰域采樣模式，將采樣點進行兩兩組合，獲得采樣點對Ω，采用歐氏距離定義短距采樣點對集S和長距采樣點對集P如下：

S={(pi,pj)∈Ω|‖pi-pj‖<δmax}?Ω

(2)

P={(pi,pj)∈Ω|‖pi-pj‖>δmin}?Ω

(3)

式中，δ為尺度。

令L為長距采樣點對集P的元素個數，g(pi,pj)為點對(pi,pj)的局部梯度集合，角點的特征方向定義為

(4)

2.1.2 SIFT特征提取

SIFT特征描述算子具有尺度縮放、亮度、仿射變換保持不變的特性[5-6]。首先以圖像建立高斯金字塔；然后利用高斯插分函數檢測局部極值點，經過非極大值抑制去除低對比度的點，初步確定興趣點；然后通過Hessian矩陣去除低對比度和不穩定的邊緣的響應點，增強匹配穩定性；根據篩選出每個關鍵點鄰域內的梯度方向，為其分配梯度方向和梯度模；最后組合成128維向量進行圖像特征表達。

2.1.3 SURF特征提取

SURF算法確定特征點的過程中，先采用Hessian矩陣確定候選點，運用非極大抑制法和插值運算尋找和定位關鍵點[4]，選取關鍵點的主方向是采用harr小波特征，以關鍵點為中心的鄰域內統計其鄰域像素。在關鍵點周圍取一個邊長為2s(s為所檢測特征點尺度)的正方形框，將該框分為16個子區域，每個子區域統計25 像素的水平方向和垂直方向的4個harr小波特征，最后在每個子區域中生成特征點的64維特征描述子進行圖像特征表達。

2.2 特征點匹配與篩選

本文在特征提取后，采用歐氏距離進行匹配計算。關鍵點對的特征描述符由2個n維向量a(xi1,xi2,…，xin)與b(xj1,xj2,…,xjn)表示，其歐氏距離的計算公式為

(5)

式中，n為特征點描述符的維數。然后計算最小歐氏距離d1和次小歐氏距離d2的比值k，當k小于比例閾值k0時，則認為匹配成立[10]。

初步匹配后，仍存在大量的錯誤匹配情況。尺度縮放時SIFT算法的錯誤匹配如圖4所示。圖中右側部分為進行尺度縮放比為1∶4的SIFT特征提取匹配時出現的錯誤匹配。描述子僅描述特征點局部信息，故在復雜且伴有重復紋理的紋樣匹配時，易出現匹配錯誤。

圖4 尺度縮放時SIFT算法的錯誤匹配Fig.4 SIFT algorithm false match in scale zooming

初步匹配后，采用RANSAC算法剔除錯誤匹配對[11]。RANSAC算法能魯棒地估計模型參數，常用于濾除圖像匹配中的錯誤匹配。該算法通過選取內點數量最多、誤差最小的變換矩陣參數作為匹配圖像之間的投影變換矩陣，從而剔除錯誤匹配對。

特征提取與匹配算法的匹配準確率越高，則算法魯棒性越強。準確匹配率計算公式為

(6)

式中：M2為經過歐氏距離匹配后的準確匹配數；M1為RANSAC過濾的準確匹配數。經RANSAC剔除錯誤配對后的特征匹配效果提升明顯，如圖5所示。

圖5 原圖與模糊圖像匹配效果Fig.5 Matching effect of original image and fuzzy image.(a) BRISK algorithm matching; (b) BRISK/RANSAC algorithms matching

3 結果與分析

3.1 閾值選取與分析

為獲取合理匹配閾值k0，綜合比較了不同閾值下的準確匹配數與準確匹配率。在匹配實驗中，以4種褶皺變化為例，當k0取0.1、0.2時，無法獲得匹配點；因此，k0依次取值為0.3、0.4、0.5、0.6、0.7、0.8、0.9。7個水平下褶皺變化的平均匹配數據如表1 所示。可見：BRISK算法提取特征點數多于SIFT、SURF算法；隨著閾值k0增大，3種算法所有匹配數和準確匹配數都呈上升趨勢；當k0≤0.5時，3種算法的準確匹配率均較高，但配對數及準確匹配數值較低，特別是BRISK算法中有大量特征點但沒有成功匹配，說明設定的比例閾值k0≤0.5時，有大量的匹配點對被排除在外，對特征圖像特征表達存在不足；當k0≥0.6時，準確匹配率隨k0的增大而減小，且隨著k0的增大，BRISK算法獲取的準確匹配數增加幅度明顯大于SIFT、SURF算法。綜合考慮3種算法的合理閾值選取，最終采用閾值k0為0.6進行匹配比較實驗。

表1 褶皺狀態下不同比例閾值的平均匹配結果對比Tab.1 Comparison of matching results of different ratio thresholds at drape state

3.2 匹配結果分析

表2對比了3種算法綜合3例江崖海水紋在閾值k0=0.6時的平均匹配效果。可知，BRISK算法對每一類變換的準確匹配率均最高，在旋轉變換匹配實驗中，3種算法的匹配率都達到80%以上，SIFT、SURF、BRISK算法的平均準確匹配率分別為82.60%、81.38%、87.10%。在光照強度變換時，BRISK算法對光變化不敏感，準確匹配率較高且穩定。在褶皺變換匹配實驗中，因特征點位置發生變化，匹配點對間的最小歐氏距離和次小歐氏距離的比值k變動較大，導致很多特征點對不符合篩選條件。故雖然BRISK算法匹配率最優，但3種算法的平均準確匹配率均未達到70%。

表2 3種算法準確匹配率比較Tab.2 Comparison of matching accuracy of three algorithms

表3示出5種變化下不同算法對江崖海水紋樣的平均匹配時間對比結果。可見，BRISK算法計算速度明顯優于SURF和SIFT，BRISK的平均匹配時間為0.551 s，SIFT和SURF算法的平均匹配時間分別為1.336、1.435 s。

表3 5種變化下不同算法的匹配時間比較Tab.3 Comparison of matching time of different algorithms under five kinds of changes s

3.3 多樣本匹配結果比較

為進一步驗證BRISK算法在織物紋樣特征提取與匹配問題中的適用性，本文選擇了2例織物紋樣為樣本進行比較分析，織物紋樣原圖如圖6所示。

圖6 織物紋樣Fig.6 Fabric patterns.(a)Pattern A;(b)Pattern B

采用相同的樣本采集方法獲取織物紋樣的基準、尺度、旋轉、模糊、光照、褶皺圖像共44幅，進行基準與變化織物紋樣的匹配實驗，取k0=0.6，每類別的平均準確匹配率實驗結果如表4所示。可見：BRISK算法的平均準確匹配率明顯優于SURF和SIFT算法；織物紋樣A和B在旋轉、模糊和光照變化狀態下，BRISK算法均高于80%，其中光照變化下平均準確區配率高于95%；在尺度、褶皺變化狀態下，BRISK算法相較于SURF和SIFT算法優勢明顯。在A和B這2例織物紋樣的5類變化匹配實驗中，BRISK算法的平均準確匹配率均可保持在70%以上，所有實驗的平均準確匹配率為86.3%。可見，BRISK算法在復雜織物紋樣的特征提取與匹配中具有較好的適用性。

表4 5種變化下織物紋樣A、B的平均準確匹配率Tab.4 Average correct matching rate of fabric patterns A and B under five variations %

4 結 論

針對復雜服飾紋樣的特征提取與匹配問題，本文提出了二進制魯棒不變可擴展關鍵點(BRISK)算法結合隨機抽樣一致(RANSAC)算法進行服飾紋樣特征提取與匹配，通過構建連續的尺度空間，利用FAST9-16型角點檢測器快速找到服飾紋樣的穩定極值點作為特征點，并依賴可配置的圓形采樣模式獲得匹配結果，最終得到二進制BRISK描述子并進行圖像特征表達。該方法有效解決了因織物圖像旋轉、模糊、光照、尺度、褶皺引起的匹配差異，且匹配速度更快，占用內存越小。通過實驗證明了該方法在圖像的準確匹配數及準確匹配率以及運算時間上均優于尺度不變特征變換(SIFT)、快速魯棒性尺度不變特征(SURF)算法。在后續研究中將進一步將該方法運用于復雜服飾圖案的識別與檢索中。