基于自適應局部二值模式的紋理特征提取方法

李 松 蔡 航 于 蒙

(武漢理工大學物流工程學院 湖北 武漢 430000)

0 引 言

圖像紋理是指圖像中灰度與顏色的變化，是一種重要的視覺底層特征，描述了區域的稀疏和規則等一些特性；它需要在包含多個像素點的區域中進行統計計算，是一種統計特征。由于自然界中紋理結構具有隨機性與復雜多樣性，目前不存在一種被國際學者公認的、能完美而正確地詮釋紋理的方法。

早期常用來提取圖像紋理結構特征的方法主要有馬爾科夫隨機場[1]、灰度共生矩陣[2]、小波變換[3]和分形理論[4]等。這些方法能很好地用于簡單的紋理分類，但是不能解決多變的光照和觀測條件下自然材料的表征與識別的問題。因此近些年提出了許多基于提取局部原語或基元并通過直方圖測量其分布的方法，LBP就是這類方法中表現最好的[5]。它最大的優點是原理簡單，計算復雜度低，效率高，并兼具旋轉不變性以及對單調變化的光照的魯棒性，目前已經在模式識別領域得到了廣泛應用。它由T.Ojala和D.Harwood[6]提出，并引起各國學者的關注，提出了很多相應的改進算法，如：Guo等[7]提出完整局部二值模式(Complete Local Binary Patterns,CLBP)算法，通過提取像素灰度符號、幅值以及鄰域中心像素灰度特征間的相關性信息，增強了算法對于紋理信息的描述能力。Liu等[8]提取擴展局部二值模式(Enhance Local Binary Patterns,ELBP)算法通過提取單個像素點的局部鄰域灰度特征和徑向的灰度差分特征間的共生信息，提高了算法對于光照和旋轉的魯棒性。黃辰等[9]提出高斯局部二值模式，在多尺度下提取具有主方向的二值模式，提高了算法的可區分性和有效性。樊養余等[10]提出用求取最大差分幅值的方法獲得鄰域主導方向的完備局部二值模式在不同尺度上提取二值模式，提高了算法的光照和旋轉不變性，但是沒有考慮最大差分幅值相同的情況。

LBP方法僅僅比較鄰域像素和中心像素的值，不能很好反映圖像的灰度變化，因此較容易收到噪聲影響。如果噪聲過大，其對紋理的表述能力會急劇下降。而目前，許多的LBP改進方法都沒有考慮到噪聲對于紋理特征描述子的影響，因此為了提高LBP算法對于噪聲的魯棒性，本文在完整局部二值模式的基礎上提出了自適應閾值的CLBP方法，同時為了兼顧算法的旋轉不變性，采取了在LBP編碼前選取主方向的方法。最后，在通過紋理圖像的識別實驗驗證了算法的有效性。

1 完整局部二值模式

1.1 局部二值模式

LBP是一種用來描述圖像局部紋理特征的算法，具有旋轉不變性和灰度不變性等顯著優點。原始的LBP是在3×3的窗口中，以中心像素點的像素值為閾值，將鄰域8個像素點的值和閾值進行比較，若鄰域點的像素值大于中心像素點，則記為1，否則記為0，然后按照規定的編碼方向，給不同的鄰域點賦予不同的權重，將二進制序列轉換一個無符號十進制數，并用該值作為像素點的LBP特征值，其過程如圖1所示。Ojala最初提出的LBP算子存在無法提取大尺寸結構紋理的缺點，為了解決這一問題，Ojala做出改進，將3×3鄰域擴展到任意鄰域，并用圓形鄰域代替正方形鄰域，改進后的LBP算子允許在半徑為R的圓形鄰域內有任意多個像素點。綜上，對于一幅圖像S上的任意像素點S(i,j)，將以S(i,j)為中心，半徑為R的內含有P個采樣點的區域稱為其局部鄰域(P,R)，則像素點S(i,j)的LBP值可以定義為：

(1)

式中:gc代表中心像素S(i,j)的灰度值，gp代表采樣點灰度值。這種方法獲取的LBP值具有線性灰度不變性，但是在圖像發生旋轉時，相應的LBP值也會發生改變。為了解決旋轉不變性的問題，Ojala等[11]提出了基于旋轉不變性的LBP算法。對同一個中心點，以不同的鄰域像素點作為起點進行二進制編碼，從而得到一系列的二進制編碼，選取其中最小的值作為該鄰域的LBP值。

圖1 局部二值模式提取過程

1.2 完整局部二值模式

完整局部二值模式提出了三種紋理描述子，分別是灰度值差值符號描述子CLBP_S和灰度值差值幅值描述子CLBP_M和全局灰度特征描述子CLBP_C。其計算方式如下：

(2)

式中：mp表示采樣點p的像素值與中心像素S(i,j)像素值的差分的幅值，m是mp的均值，cI表示全圖灰度均值。三個算子中，CLBP_S和CLBP_M描述的是局部特征，分別表示了鄰域像素與中心像素的灰度差異信息的符號與幅值，CLBP_C描述的是中心像素點與全圖灰度均值的差異，屬于一種全局特征。分別計算三個算子的特征向量然后聯合得到的就是CLBP特征描述符。此方法能很好地利用圖像中的局部特征同時也兼顧了全局特征，能很好地提高LBP算子的判別性能，但是沒有解決算法對噪聲和不均勻光照敏感的問題，同時也忽視了算法的旋轉不變性。基于此，本文提出了一種帶方向的自適應閾值完整局部二值模式(adaptation threshold complete local binary pattern with direction，DAT-CLBP)。

2 帶方向的自適應閾值完整局部二值模式

2.1 中值局部二值模式

LBP編碼時，取鄰域灰度均值作為閾值，但單個像素點容易受到光照和噪聲的影響而發生變化，采用均值作為閾值，僅能抵抗像素值得單調變化，對于類似于椒鹽噪聲這種非線性像素變化沒有魯棒性。要解決這一問題，可以用局部鄰域像素灰度值的中值替代中心像素點作為二值化閾值，這種方法被稱為中值局部二值模式(Medium Binary Pattern)[12]，它的定義是：

(3)

式中:m是局部鄰域(P,R)灰度中值。

2.2 自適應閾值計算

數字圖像的噪聲主要來源于圖像獲取的數字化過程，如高斯噪聲、瑞利噪聲、伽馬以及脈沖噪聲等，其中，脈沖噪聲是最常見的一種噪聲，因此本文主要考慮脈沖噪聲的影響[13]。在眾多的濾波方法中，常用于脈沖噪聲處理的就是中值濾波。在中值濾波中，去除噪聲和保護圖像細節是矛盾的：濾波窗口較小，則能很好地保護圖像中的某些細節，但對噪聲的過濾效果就不是很好；反之，窗口尺寸較大有較好的噪聲過濾效果，但是會對圖像造成一定的模糊。因此，出現了一種自適應中值濾波，它會根據設定的條件動態地改變濾波窗口的大小，同時會根據特定條件判斷窗口內獲取的中值是否是噪聲，如果不是則用中值替換當前像素；不是，則不作改變。同理，在MBP中，采用一個小區域獲取閾值可能會丟失重要的信息，而一個大的區域獲取閾值則可能會由于涉及大量的像素而產生有偏的中值。而且一幅圖像中由于上下文的變化，不同的位置其合適的區域大小是不同的，恒定大小的分析窗口無法處理圖像中的所有變化，自適應窗口能提供一個很好的選擇。而局部二值模式選取鄰域計算局部特征的思想類似于均值濾波和中值濾波，因此可以將自適應的思想應用到LBP中，根據每個中心像素位置上的某些判斷條件而改變其分析區域。采用自適應方式，考慮中心像素周圍較大的分析窗口來計算局部中值，從而更靈活地選擇閾值使灰度圖像轉換為二值模式。具體可以分為兩步。第一步是判斷在某個鄰域內獲得的局部中值是否為噪聲，在這種情況下，窗口大小會逐步增加，直到達到最大窗口大小為止，或者直到中值不是噪聲為止。第二步是判斷中心像素是否是一種噪聲信號，如果局部中值和中心像素都不是噪聲，那么保持中心像素不變。但是，這一方法在用于檢測無噪聲數據中的局部二值時并不適用，因為在這些數據中，極值并不顯著，因為此時極值并不顯著，為了解決這個問題，引入了某個值作為極值的補正。假設F(i,j)是像素點(i,j)的局部鄰域，點(i,j)的像素值是gc，設定一個自適應參數μ，它是局部鄰域像素點和中心像素點灰度值的差分幅值均值：

(4)

則閾值判斷條件可以記為：

Zmin+μ

(5)

式中：Zmin是局部鄰域F(i,j)中的最小像素值，Zmax是局部鄰域F(i,j)的最大像素值，Zmed是局部鄰域F(i,j)的像素中值。綜合式(2)和式(3)得出對于任意一幅圖像S，具體的自適應閾值τ的選取過程如圖2所示。

圖2 自適應閾值選取流程

值得注意的是在選取自適應閾值的過程中，雖然采用的是方框鄰域，但是在計算局部二值模式的時候是可以采用圓形鄰域的。為了驗證選取自適應閾值的必要性，分別在CuRet和Outex_TC10數據庫上進行驗證。在CuRet數據庫的61種紋理中，每種隨機選取10幅圖片，在Outex_TC10數據庫的24種紋理中，每種隨機選取20幅圖片，分別按上文給出的流程計算自適應中值和中心像素值作為閾值的比例，結果如圖3所示。在CuRet數據庫的樣本上，自適應中值作為閾值的比例是33.63%，中心像素值作為閾值的比例是66.37%；在Outex_TC10數據庫的樣本數，自適應中值作為閾值的比例是27.12%，中心像素值作為閾值的比例是72.88%。從上述結果可以看出，自適應中值作為閾值的比例并不低，說明了采用自適應閾值方法的必要性。

圖3 自適應閾值的比例

2.3 DAT-CLBP算法

DAT-CLBP是為了解決完整局部二值模式對噪聲魯棒性差和不具有旋轉不變性的問題而提出的改進方法。針對噪聲，采用了自適應閾值，而為了解決算法的旋轉不變性的問題，雖然Ojala已經提出的旋轉不變LBP，但是這種方法計算量大，相對于描述子更多，維度更高的CLBP算法而言，會增加計算的復雜度，因此采用了一種更簡單解決旋轉不變性的方法，那就是選取主導方向。具體如下：分別計算各個采樣點和中心像素點S(i,j)的差分幅值，從差分幅值最小的像素點按差分幅值從小到大增加各像素點的LBP加權值。綜上DAT-CLBP的具體方案是：對于圖像S上的任意帶計算像素點S(i,j)，首先根據2.2節提出的自適應方法計算。

二值化閾值τ(i,j)，然后計算局部鄰域(P,R)的主導方向，根據主導方向來計算像素點S(i,j)的完整局部二值模式，計算方法如下：

(6)

式中：mp=|gp-τ(i,j)|，m是mp的均值。圖4是在Outex_TC10數據庫上的紋理圖像的原圖、LBP提取的特征圖和DAT-CLBP提取的特征圖。

(d) DAT-CLBP_M紋理特征圖圖4 常用紋理庫上的紋理圖及提取的紋理特征圖

3 實驗與分析

3.1 Outex和CuRet數據庫上的對比實驗

為了驗證本文提出的特征提取方法的有效性，在常用數據庫Outex_TC10、Outex_TC12和CuRet數據庫上用DAT-CLBP方法進行紋理分類測試，驗證采用的是P=2，R=8圓形局部鄰域和SVM分類器，同時最大窗口尺寸設置為9×9。

Outex_TC10包含有24種紋理圖像，每種紋理有0、5、10、15、30、45、60、75、90等9個旋轉角，每種角度20幅，拍攝條件為Inca光源。選取每類紋理的前20幅圖片作為訓練樣本，剩下的樣本作為測試樣本。Outex_TC12同樣有24種紋理圖像，但是在3種光照條件下拍攝。選取Outex_TC12上拍攝光源為Inca，角度為0的圖像作為訓練樣本，剩下兩種光源下所有角度的圖像為測試樣本。CuRet數據庫包含有61種紋理，每類紋理包含205個樣本；樣本是在不同的光照、角度下采集自現實事物的表面，包含了復雜的光照、旋轉和尺度變化，將其中92幅拍攝幅度小于60度的圖像[14]，隨機選取其中的46幅圖像作為訓練樣本，另外46幅圖像作為測試樣本。分類結果如表1所示，其他方法的結果來自文獻[15]，其鄰域尺寸設置和分類器種類與本文相同。

表1 不同LBP方法的結果比較 %

從表1中可以看出，在三種紋理庫上CLBP算法和DAT-CLBP算法的識別效果遠好于LBP和MBP，這是因為后兩者沒有考慮到圖像的全局特征，而前兩者算法不僅考慮了局部紋理的互補信息，還添加全局特征作為補充，因此能更全面地描述圖像的紋理特征，所以識別率會提高。DAT-CLBP相比于CLBP，在三種紋理庫上，識別效果都有了一定的提高，原因是采用了自適應閾值而不是單純的中心像素值，這在2.2中已經通過實驗證明是有必要的；同時在三種紋理庫上，DAT-CLBP相比CLBP在Outex_TC12上提升是最大的，這是因為Outex_TC12中的圖像同時包含了旋轉和光照的變化，相比DAT-CLBP，CLBP沒有考慮到旋轉和光照不變性；而在CuRet紋理庫上，兩者的表現并無很大差別，根據推測，這是因為CuRet上的樣本還具有尺度變化，而兩種算法都沒有將尺度變化考慮在內。綜合來說，從表1可以看出，DAT-CLBP算法相對于其他三種算法有了一定的提升，且具有一定的光照和旋轉不變性。

如上文所說，椒鹽噪聲是數字圖像中出現最頻繁的噪聲，因此為了驗證算法對于噪聲的魯棒性，給Outex_TC10的測試樣本添加不同程度椒鹽噪聲，訓練樣本不添加噪聲，用DAT-CLBP方法進行紋理特征提取，并用支持向量機進行分類實驗，將結果與其他的方法的測試結果進行對比[14-15]。表2中ρ表示添加的椒鹽噪聲的分布密度。圖5為Outex_TC10上添加分布密度為0.3的椒鹽噪聲后的紋理圖像以及紋理特征圖。

表2 Outex_TC10上添加不同程度椒鹽噪聲后算法結果 %

(a) 加噪的圖像 (b) LBP紋理 (c) DAT-CLBPS(d) DAT_CLBPM圖5 添加椒鹽噪聲后的紋理圖和紋理特征

從表2的結果可以看出在添加椒鹽噪聲后，LBP算法和CLBP算法的識別率隨著椒鹽噪聲分布密度的增大而大幅度下降，到ρ=0.4時，LBP方法下降了68.93%，CLBP下降了37.59%，說明了它們很難處理椒鹽噪聲。MBP算法相比于LBP和CLBP算法，其下降幅度相對小得多，到ρ=0.4時，只下降了22.55%，說明中值作為編碼閾值確實能對椒鹽噪聲有一定的魯棒性。但是其識別率遠低于本文的方法，這是由于中值會損失圖像的原始信息，所以識別率并不高。而本文的算法由于采取自適應閾值，既能相對完整地保存圖像信息，又能加強對于椒鹽噪聲的魯棒性。抗噪的CELBPNT算法在椒鹽噪聲較小時，識別率下降較小，但是在ρ=0.3以后，識別率顯著下降，這是由于此方法主要是通過均值降采樣來增加其對噪聲的處理能力，對于椒鹽噪聲的處理能力相對較差。而DAT-CLBP算法到ρ=0.4時，識別率只下降了1.15%，說明其對于椒鹽噪聲有著較強的魯棒性。

3.2 多尺度DAT-CLBP驗證試驗

3.1節的實驗中，DAT-CLBP算法在CuRet紋理庫上的識別效果相對于CLBP算法并沒有太大進步，可能的原因是由于CuRet中紋理圖像的尺度變化干擾了結果。其原因是隨著圖像尺度的變換，同一物體的成像內容也有所變化，尺度較大時，圖像突出的是物體的輪廓，而尺度較小時，圖像對于物體細節的描述能力增強[16]。某些特征在一種尺度下無法被檢測到，但是在另一種尺度下則能被檢測到。為了驗證這個猜想，設計了一個實驗：以CuRet紋理庫為實驗對象，采取P=2，R=8圓形局部鄰域和SVM分類器進行實驗。實驗前，采用的特征提取方式是首先借鑒高斯金字塔[17]的思想，通過高斯卷積獲得同一幅圖像的一系列尺度變換，然后分別計算多個尺度下該圖像的DAM-CLBP值，然后聯合成一個特征向量。本實驗分別建立了2層、3層和4層的尺度圖像并進行實驗，結果如表3所示。

表3 CuRet上在不同尺度下算法的實驗結果 %

從結果可以看出，在采用了多尺度特征后，算法的識別結果確實有了一定的上升，說明之前的問題確實應該是尺度變換造成的。但是當尺度層數超過3以后，識別結果又出現了下降，這應該是由于多次高斯卷積后圖像過于模糊，反而影響了后續的識別效果。

4 結 語

本文在完整局部二值模式的基礎上，提出一種帶方向的自適應閾值完整局部二值模式。該方法首先通過一定的判別條件，在鄰域像素中值和中心像素值中選取一種作為LBP編碼時的閾值，然后計算鄰域像素和閾值的差分的幅值，并以幅值最小點為起點，從小到大進行編碼，計算其完整局部二值模式。實驗結果表明，在二值編碼時有必要采取自適應閾值，采取自適應閾值進行編碼后，本文算法能提升紋理圖像分類的性能，并且對于椒鹽噪聲有很好的魯棒性。針對在CuRet紋理庫上出現的識別結果相對較差的問題，進行了多尺度下的驗證實驗，證實了算法在尺度變換上有待改進。