基于LBP-GLCM紋理特征提取的服裝圖像檢索

李玥靈，吳國平，耿秀秀，杜曉駿

（中國地質大學（武漢）機電學院，湖北 武漢 430074）

在服裝電子商務蓬勃發展的背景之下，傳統的基于文本的圖像檢索技術（Text-based Image Retrieval，TBIR）[1]已經不能滿足廣大消費者的需求。而基于內容的圖像檢索技術（Content-based Image Retrieval，CBIR）[2]是通過提取圖像的視覺特征（又稱底層特征、物理特征），如顏色、形狀、紋理、空間位置信息等，利用距離函數來度量圖像的相似性達到檢索圖像的目的，正好可以彌補TBIR在圖像檢索中的不足。

實現CBIR的關鍵技術之一是圖像特征提取。而在圖像的底層特征中，紋理特征由于提取難度較大，一直是研究領域中的熱點，各種方法也層出不窮，Tuceryan和Jain[3]將這些方法歸為四大類：結構分析法、統計分析法、模型化方法和頻域分析法。在統計分析法中灰度共生矩陣（Gray-Level Co-Occurrence Matrix，GLCM）因其原理簡單易于理解且能較精確地反映紋理信息而具有很旺盛的生命力。雖然使用GLCM提取服裝圖像的紋理，可以達到比較良好的效果，但由于其不具有旋轉不變性，而待檢索的服裝圖像很多是人工拍照上傳到數據庫，圖像在方向上有很大的隨意性，單純使用GLCM進行檢索會影響檢索的準確率。而局部二值模式（Local Bi?nary Pattern，LBP）算法中，恰好有一類旋轉不變的算法可以與之結合。因此，本文提出一種LBP-GLCM紋理特征提取方法，即將Uniform-旋轉不變LBP算法與GLCM相結合，使之具有抗旋轉性，并將其應用到服裝圖像檢索中，以期達到更高的檢索效率和準確率。

1 灰度共生矩陣（GLCM）

由于紋理是圖像中相鄰像素或者相鄰區域在灰度上表現出來的某種規律性，因此同處一種相對位置關系下灰度的某種邊緣條件概率可以用來表示圖像的紋理特征。1973年Haralick等[4]從概率角度研究了圖像紋理灰度級的空間依賴關系，依據圖像中各像素之間的相對位置關系構造了灰度共生矩陣。如圖1所示，兩像素間的橫向差Δx和縱向差Δy由像素間距離d和方向角θ兩個參數決定，Δx=dcosθ，Δy=dsinθ。

圖1 像素相對分布示意圖

設 f(x，y)表示一幅灰度圖像，S表示為具有某種特定空間和像素關系的像素對集合，灰度共生矩陣為

式中：x2=x1+Δx，y2=y1+Δy，card(S)表示集合S中的元素個數。在應用中常用式（2）對式（1）進行歸一化處理

在實際使用中，為了減少運算量，往往對圖像進行灰度級縮減處理，經常量化為8個灰度級別，同時為了減少θ的方向數，一般取0，π/4，π/2，3π/4這4個方向。

假設圖像被量化到了8個灰度級（1～8），取d=1，θ=0，則GLCM計算過程如圖2所示，左側表示原始圖像，右側表示灰度共生矩陣 m1，0。其中GLCM矩陣中（1，1）元素是“1”，表示該點像素值為“1”，同時相鄰的右邊像素值也為“1”的像素點個數是1個；同理可得，（1，2）元素是“2”，依此類推。

圖2 灰度共生矩陣統計過程

灰度共生矩陣是研究圖像局部紋理模式和排列規律的基礎，但是由于灰度共生矩陣依然維數過高，并且特征不夠明顯，因此為了更加有效地利用灰度共生矩陣所提供的灰度方向、變化幅度和間隔等圖像信息，Haralick等[4]定義了 14個灰度共生矩陣特征參數用于紋理分析。本文僅討論試驗中用來描述服裝圖像紋理特征的4個參數[5]，其他的不再贅述。

1）二階矩（angular second moment）

2）對比度（contrast）

式中：μi，μj分別表示水平方向和豎直方向的像素均值

σi，σj分別表示水平方向和豎直方向像素的標準差

相關性在一定程度上反映了整個圖像中像素與其周邊像素之間的灰度關系。當矩陣元素值均勻相等時，相關值就大；相反，如果矩陣像元值相差很大則相關值小。相關性特征范圍在-1～1之間，特別地，相關系數為1表示特定位置的像素之間具有相同的像素值。

4）均勻性（homogeneity）

由于這幾個分量的物理意義、量綱和取值范圍各不相同，因此在進行檢索時需要對其進行歸一化處理[6]，這樣有助于在進行相似性度量時使權重系數相近，減少了調整權重系數的過程。本文使用高斯歸一化法，它對于嚴重偏離均值的數據點有較好的處理效果。

高斯歸一化的過程如下，例如有一組數據x={x1，x2，…，xn}其均值 μ，方差為σ2。對x進行高斯歸一化，即每一個元素都減去均值，再除以方差，如式（11），得到歸一化數據y={y1，y2，…，yn}。

灰度共生矩陣能夠很好地描述圖像的紋理特征，但是由于灰度共生矩陣不具有旋轉不變性，所以從中提取的統計量也僅僅反映該方向上的特征，雖然可以計算幾個方向上的統計量然后做平均，但也無法很好地表達圖像紋理的特征。為了解決這一問題，本文在圖像計算灰度共生矩陣之前，先對圖像做LBP處理。

2 局部二值模式（LBP）

LBP是一種有效的紋理特征提取算法，由Ojala等[7]在1996年提出，主要用于解決多分辨率和旋轉情況下圖像的紋理分類問題。從某種意義上說，該方法將局部紋理信息與全局紋理信息同時融合到一起。

2.1 原始LBP算法

原始的LBP算法是作用在一個3×3的矩形像素區域中，以中心像素的灰度值為閾值，將周圍8個像素的灰度值依次與其進行比較，如果周圍像素的灰度值大于中心像素，則該位置賦值為“1”，否則賦值為“0”，把閾值化后的值順次記錄下來，得到一串二進制數字，轉換為十進制就得到該中心位置的LBP值，其范圍為[0，255]。計算公式如下，其計算過程如圖3所示。

圖3 原始LBP算法示意圖

2.2 多尺度LBP算法

為滿足不同尺度的紋理提取，Ojala T等[8]對原始的LBP算法進行了改造，提出了多尺度LBP算法。使用圓形鄰域(P，R)（P表示圓形鄰域中所取的像素個數，R表示鄰域半徑）以及插值法，該算子可擴展到任意半徑和任意鄰域像素個數，其他尺度的紋理結構如圖4所示。

圖4 幾種不同P，R值對應的圓形鄰域示意圖

對于這種圓形鄰域的LBP算法，其計算方法與原始方法相似，記作LBPP，R。計算公式如下

此算法生成的模式有256種，計算量太大，極大地影響了檢索效率，不適用于服裝圖像檢索。

2.3 旋轉不變LBP算法

多尺度的LBP算法所得到的LBP值與二進制序列的起始位置和選取方向密切相關。如果圖像發生旋轉，對應的二進制序列就會發生變化，最終的LBP值也將不同。因此，為了得到不變的編碼模式，Ojala等[8]又提出了旋轉不變LBP算法，即不斷旋轉圓形鄰域得到一系列初始定義的LBP值，取其最小值作為該鄰域的LBP值，用公式表示如下

式中：ROR(x，i)表示對二進制序列x循環移動i位且i＜p。對于P=8，將有36種唯一的旋轉不變二值模式。但是此時的編碼模式仍然較多，應用到服裝紋理特征提取時，計算量較大，影響檢索速度。

2.4 Uniform模式

如圖3所示，在記錄閾值化后的二進制序列時，如果選取的起始點和方向不同，二進制序列將有2P種，對應的LBPP，R會產生2P種模式。但是在實際研究中發現，各種模式所出現的頻率是不同的，統計結果表明，少數的模式出現的數量占所有模式的90%以上，Ojala等[8]將這些出現頻率特別高的模式定義為Uniform模式。將二進制序列看作一個圓環，如果“0→1”和“1→0”的變化不超過2次，則該序列稱為Uniform模式。例如，“00000000”（0次轉變）、“00011100”（2次轉變）是Uniform模式，而“10010011”（4次轉變）不是Uni?form模式。在使用LBP算法對圖像進行紋理分析時，通常只關心Uniform模式，而將其他模式歸為同一類稱為混合模式。判斷某種序列是否為Uniform模式的方法如下

這樣改進后，模式的種類大大減少，特別是對于P=8的情況，模式數量由原來的256種變為58種。

2.5 Uniform-旋轉不變LBP算法

經過抗旋轉的編碼方式獲得了若干LBP模式，但是通過前面Uniform模式的論述可知，其中某些模式在所有的模式中并不是占有大量的比重，故又有人提出Uniform-旋轉不變LBP算法，使模式種類減少到P+1種，表示如下

uniform-旋轉不變LBP算法，既保證了旋轉不變性，又使模式數量大大減少，應用到服裝圖像檢索可提高檢索效率和準確率。

3 實驗和分析

本文以移動拍照設備采集的服裝圖像為實驗對象，運用提出的紋理特征提取方法進行實驗和分析。

3.1 實驗系統設計

實驗系統首先要濾除服裝圖像的復雜背景，將彩色圖像轉換為灰度圖像；接著利用圖像分割技術分割出服裝區域并找到其中最大矩形部分；然后將圖像通過Uniform-旋轉不變LBP算子處理，并獲取其灰度共生矩陣；再采用能量、對比度、相關性和均勻性描述圖像的紋理特征，最后通過特征匹配進行檢索。整個實驗系統的工作流程如圖5所示。

圖5 LBP-GLCM算法實驗系統流程圖

3.2LBP-GLCM紋理特征提取方法抗旋轉性實驗

選取圖6b和圖6d兩幅圖像做抗旋轉實驗。首先將兩幅圖像進行45°、90°、135°和180°旋轉，然后按照圖5所示的實驗系統流程圖提取各旋轉后的紋理特征（省略特征匹配檢索環節），得到如表1和表2所示的紋理特征表。

圖6 服裝紋理待檢索圖像

表1 不同旋轉角度下圖6b的紋理特征

表2 不同旋轉角度下圖6d的紋理特征

通過表1和表2可以看出，服裝圖像在不同程度的旋轉情況下紋理特征變化很小，因此本文提出的紋理特征提取方法具有較好的抗旋轉能力。

3.3LBP-GLCM紋理特征提取方法檢索效果實驗

以如圖6中4幅服裝圖像為例，按照流程圖5進行特征提取和匹配檢索可得到如表3所示的服裝紋理特征，以及如圖7所示的檢索結果。

表3 圖6待檢索圖像的紋理特征

圖7 紋理特征檢索結果

由表3所示的服裝紋理特征可知，圖6b和圖6d有較多的黑白元素，故對比度大；在圖6a和圖6c中有大量的條紋元素，故相關度為正值（即相鄰像素間像素差別不大）；由于圖6b和圖6d中，花紋樣式復雜多變，故其擁有更大的能量；圖6a和圖6b相對于圖6c和圖6d具有更均勻的紋理。

系統采用歐氏距離作為相似性的度量，對于圖6a，找出2幅與之具有相似條紋紋理特征的服裝圖像；圖6b，找出6幅與之具有相似斑點紋理的服裝圖像；圖6c，找出3幅與之相近的具有方格圖案的服裝圖像；圖6d，找出5幅與之相近的具有碎花紋理的服裝圖像。

在本實驗中，T恤樣本：條紋類圖像30張，斑點類圖像20張，純色圖像40張，花型圖像10張；大衣樣本：純色圖像50張，條紋類圖像35張，褶皺類圖像15張，分別利用GLCM和LBP-GLCM提取服裝圖像的紋理特征，采用歐氏距離作為相似性的度量，檢索效果對比如表4所示。

表4 不同紋理特征提取方法的檢索效果對比

通過上述實驗可知，本文的LBP-GLCM紋理特征提取方法在一定的匹配策略下，應用在服裝圖像檢索中可以獲得更高的準確性。

4 結論

本文提出的LBP-GLCM紋理特征提取方法，既克服了灰度共生矩陣的不抗旋轉性，又在一定程度上降低了計算的復雜性。在服裝圖像發生旋轉時，相較于單純的GLCM紋理特征提取方法，檢索的準確性更高。

因此，本方法可以很好地應用在服裝電子商務領域中，不僅能幫助消費者快速地檢索服裝，辨別服裝材質，提高購物效率，而且可以幫助銷售商進行客觀而快捷地服裝分類，減少人工標注關鍵字分類帶來的主觀影響，同時也提高了分類效率。另外，LBP-GLCM紋理特征提取方法也可應用在工業領域，比如在服裝生產加工過程中，以完好的服裝面料為檢索標準，可以對加工后的服裝進行面料的瑕疵檢測等。

[1] 王瑩，羅坤，姜磊，等.基于內容的圖像檢索技術的專利技術綜述[J].電視技術，2013，37（S2）：62-63.

[2] ASLANDOGAN Y A，YU C T.Techniques and systems for image and video retrieval[J].IEEE Trans.Knowledge and Data Engineer?ing，1999，11（1）：56-63.

[3] TUCERYAN M，JAIN A K.Handbook pattern recognition and computer vision[M].Singapore：World Scientific，1993.

[4] HARALICK R M，SHANMUGAM K.Texture features for image classification[J].IEEE Trans.Sys.，Man，and Cyb.，1973，SMC-3（6）：610-621.

[5] 楊帆.數字圖像處理與分析[M].北京：航空航天大學出版社，2007.

[6] RALLABANDI V R，RALLABANDI V P S.Rotation-invariant texture retrieval using wavelet-based hidden Markov trees[J].Sig?nal Processing，2008，88（10）：2593-2598.

[7] OJALA T，PIETIKAINEN M，HARWOOD D.A comparative study of texture measures with classification based on feature dis?tributions[J].Pattern Recognition，1996，29（1）：51-59.

[8]OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution grayscale and rotation invariant texture classification with local bina?ry patterns[J].IEEE Trans.PAMI，2002，24（7）：971-987.