融合LBP紋理和局部灰度特征的材料圖像分割

趙 曌，丁廣太,2，樊明磊，張惠然,2，王 路，陳 琳

(1.上海大學 計算機工程與科學學院，上海 200444;2.上海材料基因組工程研究院，上海 200444;3.上海金融學院 信息管理中心，上海 201209)

融合LBP紋理和局部灰度特征的材料圖像分割

趙 曌1，丁廣太1,2，樊明磊1，張惠然1,2，王 路1，陳 琳3

(1.上海大學 計算機工程與科學學院，上海 200444;2.上海材料基因組工程研究院，上海 200444;3.上海金融學院 信息管理中心，上海 201209)

為了提高材料圖像的分割精度，提出了融合局部灰度特征和LBP紋理的譜聚類分割算法。針對LBP算子無法區分鄰域灰度差值幅度，提出幾種改進的T-LBP算子，以表示圖像紋理變化程度。構造鄰域向量差用以描述局部特征；利用灰度直方圖選取樣本點；融合T-LBP特征與像素灰度特征及局部特征構造相似性矩陣；利用譜聚類算法進行圖像分割；采用線檢測方法抑制具有方向性的紋理噪聲。對陶瓷材料圖像和合成圖像的實驗結果表明，算法分割精度高、抗噪性強，具有較高的正確分類率。提出的融合LBP特征和灰度特征的譜聚類分割算法彌補了現有材料圖像分割算法的不足，提高了材料圖像的分割精度，適用于區域繁多、紋理復雜的材料圖像；與其他算法實驗結果的對比驗證了該算法的有效性。

圖像分割；T-LBP；譜聚類算法；灰度特征；線檢測

1 概 述

在陶瓷材料研究領域，基于背散射電子圖像(BackscatteredElectronImaging，BSE)分析法，研究者可以有效地對復相陶瓷試樣進行物相定量分析，區分組成元素所在區域，進而得到表征各物相的區域面積，推得各物相在試樣中的體積含量[1]。其原理是，樣品表面經過拋光處理后，背散射電子成像襯度僅與樣品表面原子序數有關；平均原子序數較大的區域顯示的襯度較亮，反之則較暗[2]。區分BSE圖像中的不同物相屬于圖像分割范疇。

在材料圖像中,研究者感興趣的區域是具有不同灰度值的晶粒形狀和面積。傳統的材料電鏡圖像中晶粒的形狀和大小都是由研究者手工標出,工作效率低。

目前，材料圖像分割方法的研究多基于形態學、馬爾可夫模型和分水嶺算法等。例如，康睿等[3]提出的基于距離變換和形態學重構的方法分割粘連的砂土顆粒，使砂土顆粒可以較好地分割開來。丁賢云等[4]提出了基于二維灰度直方圖的人工魚群分割算法，算法收斂速度快，對纖維材料圖像分割結果穩定。YuZhu等[5]提出了基于馬爾可夫模型的材料圖像分割算法，對于纖維材料能夠很好地分割出孔狀結構和背景。PritimoySanyal等[6]運用分水嶺算法分割不同品種番茄的SEM圖像，將單個氣孔和鄰近氣孔區分開來，能分割出清晰的邊界線。M.BenHaha等[7-8]提出的閾值分割算法，對粉煤灰BSE圖像進行像素級閾值分割，根據不同物相的像素值所處區間進行閾值分割，將不同閾值下的物相提取出來作為單獨的二值圖像，再對圖像做形態學處理。該方法的缺點是，在像素差值小、紋理特征復雜的情況下，會造成較大的分割誤差。R.Yang等[9]提出對粗集料圖像的融合梯度特征的二值分割方法，在梯度圖像的基礎上進行二值化處理，再進行形態學重建操作，成功地將巖石顆粒與背景區分開；該方法的缺點是，分割不夠精細，導致將不同灰度級的物相分割成了同一種物質。

總的來說，上述方法的共同不足是：分割精度不高，并且只能分割出單一物相，分割誤差較大。

在材料研究者研磨試樣的過程中，手工研磨會導致試樣存在人為劃痕，因此BSE圖像會存在不規則紋理。同時，不同物相之間像素值差異小，形狀不規則，采用常規的Canny算子等方法無法分割出較好的效果。尤其是晶粒上的不規則紋理，在傳統的分割方法中，會因為其像素值和鄰域內像素屬性差異大而產生較大誤差。由于LBP算子具有較強的紋理判別能力以及計算簡便等特點，針對晶粒上的手工研磨增加的不規則紋理問題，采用LBP特征進行分割會減小紋理導致的分割誤差。

近年來，譜聚類(SpectralClustering,SC)方法在圖像分割中的應用越來越廣泛，譜聚類只需對數據之間的相似度矩陣進行處理即可，而其他聚類算法多針對數據進行操作。譜聚類算法的計算復雜度小、健壯性強等特點使之成為一種優于K-means等聚類算法的聚類模型。譜聚類是一種基于圖論的聚類方法，將帶權無向圖劃分為兩個或兩個以上的最優子圖。使子圖內部盡量相似，而子圖間距離較遠。這樣，譜聚類能夠識別任意形狀的樣本空間且收斂于全局最優解。其基本思想是利用樣本數據的相似矩陣(拉普拉斯矩陣)進行特征分解后得到的特征向量進行聚類。

文中提出融合灰度特征和紋理特征的譜聚類材料圖像分割算法，并采用線檢測方法消除具有方向性的劃痕紋理。首先根據閾值標準改進LBP算子及包含鄰域向量差的特征矢量；再利用灰度統計直方圖及距離密度法選取樣本點；接著融合T-LBP特征與像素灰度特征構造相似性矩陣；最后計算拉普拉斯矩陣的前K個特征值及其對應的特征向量，將特征向量組合成新的矩陣，利用K-means方法將特征向量分成多個類，并利用線檢測方法抑制具有方向性的紋理噪聲。

2 LBP模型

2.1 局部二值模式

LBP(Local Binary Pattern，局部二值模式)是一種用來描述圖像紋理的算子。近年來，LBP算子已經廣泛應用于紋理識別等領域。它最先由T. Ojala等[10-12]在1994年提出，是一種簡單高效的圖像紋理表示方法。其基本原理是，在中心像素鄰域內，以中心像素值為閾值，比較鄰域像素和中心像素的像素值差值，轉化為由0和1表示的二進制字符串，以此來表示中心像素的紋理特征。

2.2 LBP特征的描述

記以像素gc為中心的p個像素的集合為Np(gc)，定義T0={gc;g0,…,gp-1}。以中心像素灰度值為閾值對Np(gc)內其他像素進行二值化處理。令

T=(s(g0-gc),s(g1-gc),…,s(gp-1-gc))

其中，gc表示中心像素的灰度值；gp∈T0表示半徑為R的圓上p個點的像素值。

函數s(x)為：

可得長度為p的二進制字符串。按照從左上角順時針旋轉依次給位置為p的像素賦2p權值，將二進制字符串轉化為十進制，則該值為中心像素的LBP值。定義LBP特征如下：

隨著p的增加，LBP種類也隨著急劇增加。在選擇LBP鄰域時，為了方便計算通常選擇3×3鄰域8個采樣點。

3 圖像分割中的譜聚類算法

圖像分割中譜聚類算法的基本思想是[13]：將圖像中的每一個像素點的空間位置、灰度值等特征作為圖中的一個頂點V，根據相似性度量函數計算頂點間的相似性大小作為邊E上的權值W，這樣構造了一個帶權無向圖G=(V,E)，將圖像分割問題轉化為G上最優子圖分割問題。具體流程如下：

(1)根據相似性函數構造相似性矩陣。

(2)根據劃分準則計算拉普拉斯矩陣的前K個特征值及其對應的特征向量，將特征向量組合成新的矩陣。

(3)利用K-means方法將特征向量分成多個類。

其中，劃分準則包括有規范割集準則(Normalized-cut)、比例割集準則(Ratio-cut)、最小最大割集準則(Min-Max-cut)等。其中應用最多的是規范割集準則。規范割集準則是由Shi等[14]于2000年提出。規范割集準則的優點是不僅能夠衡量位于同一簇樣本之間的相似程度，而且還能反映出不在同一簇樣本之間的差異程度[15]。

4 圖像分割

4.1 改進的T_LBP特征算子

傳統的材料BSE圖像分割方法大多基于圖像的灰度值信息，采用像素閾值法、梯度二值化等方法。當灰度值比較接近或具有明顯噪聲時，僅僅使用了圖像灰度信息而沒有利用圖像紋理特征，會導致算法對噪聲敏感，分割效果不佳。

一般認為，將紋理特征作為輔助信息，對圖像分割能起到促進作用。利用LBP值能很好地描述圖像的紋理特征，但是無法有效地表示鄰域像素與中心像素差值的差異情況。在圖像分割中，當鄰域像素與中心像素差值接近時，會被分割為同一區域，像素值差值較大則會被分割為不同區域。因而，采用LBP特征表示差值幅度差異性有局限性。

針對以上問題，文中按問題層次提出如下幾種基于閾值的T_LBP算法(T表示閾值)。

(1)簡單T_LBP算子。

在p個像素，半徑為r的鄰域內，當中心點鄰域像素的灰度值與中心點像素值之差在某個閾值內，用0表示；超出閾值，則用1表示。具體為：

(1)

其他。

某鄰域內的T_LBP生成過程如圖1所示，其中T

圖1 T_LBP生成過程

取10。二進制字符串為11011110，轉換為十進制數222。

(2)局部灰度特征T-LBP算子。

材料圖像的主要特征是：各種晶粒隨機排列，無主體和背景之分，且晶粒呈塊狀分布，每塊晶粒內部局部特征相似，因此局部特征對晶粒分割起到了至關重要的作用。針對上述改進的T_LBP算子，可利用如下局部特征數據做進一步改進：取像素點鄰域內的四個點，求出四個鄰域點的T_LBP特征向量v1、v2、v3、v4，構造向量差Δv表示局部特征。

(2)

其中，鄰域點如圖2所示。

圖2 鄰域點

令

其他

(3)

通過式(3)構造局部灰度特征T2_LBP算子。

(3)組合特征算子。

以f(x,y)表示像素灰度值，與上述簡單T1_LBP算子和局部灰度特征T2_LBP算子相結合，共同組成局部紋理，構成紋理矢量：

BSE(x,y)=(f(x,y),V(x,y),ΔV(x,y))

令

BSE(x,y)=(α1f(x,y),α2V(x,y),α3ΔV(x,y))

(4)

其中，α1、α2、α3分別表示灰度特征、簡單T1_LBP算子及局部灰度特征T2_LBP算子所占權重,并且α1+α2+α3=1。

4.2 利用灰度統計直方圖及T3_LBP算子選取樣本點

陶瓷材料BSE圖像分辨率大都在1 024×768左右，構造的譜聚類相似性矩陣大小數量級高達238。在計算過程中會導致占用內存過大、內存溢出、耗時過長等問題。材料圖像中晶粒主要呈現黑色、灰色、白色塊狀，在每一個小塊內部，灰度值分布較為均勻，只存在部分噪聲。

文中提出一種選取樣本點的方法，即首先統計整個圖像的灰度直方圖，選出其中所占比重較大的灰度值，再選擇紋理變化較小的像素作為采樣點，使得選取樣本點數量在30以內，相似性矩陣大小控制在100×100左右。

令G={(x,y)|x=0,1,…,n;y=0,1,…,n}，H={h1,h2,…,h256}。其中，H表示灰度統計直方圖，hk表示灰度為k的像素個數，選擇居于前30的hk對應的灰度k，在每個灰度下選擇T2_LBPPR小的點作為采樣點。

4.3 融合T_LBP特征與灰度特征構造相似性矩陣

相似性矩陣的構造是譜聚類算法的關鍵所在，而高斯核函數是最常用的相似性測量方法，表達式如下：

其中，W表示圖像的相似性矩陣；f(xi,yi)和f(xj,yj)表示i,j處的灰度值；σ表示尺度參數。

該函數表明，當像素灰度值之間差值越小，該樣本點之間的相似性越大。因此，該式適宜作為像素灰度值的相似性度量函數。

將組合特征算子T3_LBPPR引入到相似性度量中，構造如下表達式：

其中，δ為尺度參數，可手動設置。

式(5)不包含像素的空間位置關系，則采用式(6)表示樣本點與其鄰域m(m一般取8)個樣本點之間的關系。

δi=

(6)

其中，yi表示采樣點的空間位置；ai表示不同鄰域點的權值。

由于鄰域點到采樣點的距離有遠近之分，距離近的點權值應比距離遠的點權值大，因此am表達式構造如下：

(7)

其中，dmj為樣本點之間的歐氏距離。

該式表明，在樣本點的鄰域內，距離越近的點有更大的權值，對尺度參數的貢獻越大。

4.4 融合T_LBP特征與灰度特征的譜聚類算法流程

(1)利用式(1)計算改進的T1_LBPPR算子，根據式(2)計算局部向量差Δv，根據式(3)計算T2_LBPPR，根據式(4)構成紋理矢量BSE(x,y)。

(2)計算圖像的灰度直方圖，再根據T2_LBPPR選出最佳采樣點。

(3)根據式(6)和式(7)計算出尺度參數δi與δj，使用式(5)對選取的采樣點構造相似性矩陣W。

(4)計算拉普拉斯矩陣的前K個特征值及其對應的特征向量。將特征向量組合成新的矩陣。

(5)利用K-means方法將特征向量分成多個類。

4.5 線檢測優化處理

在陶瓷材料的研磨過程中，會出現人為的手工劃痕。這些劃痕是研究人員的研磨習慣造成的。觀察圖像可以發現，在同一幅圖像中，劃痕方向基本一致，粗細基本一致。因此，可采用圖像分割中線檢測的方法[16]檢測特定方向上的線。線模板包括水平方向、45°方向、垂直方向、-45°方向等模板。利用線檢測對分割的圖像優化過程如下：

(1)根據上述算法聚類后的圖像判斷具有明顯劃痕的方向；

(2)選擇對應線檢測模板；

(3)根據線模板檢測出特定方向上的劃痕；

(4)確定劃痕在圖像中的位置；

(5)根據劃痕鄰域內像素的灰度值，將劃痕灰度值改變為鄰域內的灰度值。

5 實驗與結果分析

為了驗證文中方法的優越性，采用的實驗平臺為：Microsoft Visual Studio 2010,CPU:Phenom II X4 B97，RAM：3 GB，對材料BSE圖像進行實驗。分別采用閾值分割法、梯度圖二值化法以及基于規范割集準則譜聚類算法和文中算法進行對比。

文中進行了以下幾個實驗：

(1)閾值分割法；

(2)梯度二值化法；

(3)組合特征算子α1=1，α2=0,α3=0；

(4)組合特征算子α2=1，α1=0，α3=0；

(5)組合特征算子α3=1，α1=0，α2=0；

(6)組合特征算子α1=0.8，α2=0.1，α3=0.1。

為了對實驗結果進行定量分析，引入正確分類率(CCR)[17]作為各算法分割效果評估準則，其定義為：

由CCR的取值可知，CCR越高說明分割精度越準確[18]。

文中的材料圖像都來源于文獻[1]。圖3是Mag為3.84KX的陶瓷BSE圖像在各種分割算法下的比較結果。材料圖像的大小為1 024×768像素。

圖3 分割算法比較(1)

由圖3可看出，閾值法只能分割出較少的物相，梯度二值法只能分割出黑色區域，對其他區域無分割效果；而文中算法結合了LBP特征和灰度特征，很好地將不同區域分割出來，對原圖中無明顯分界線的區域也有很好的分割效果。

由表1可看出，梯度二值化由于只能分割出黑色區域，正確分類率最低；閾值分割法分割出的區域較多，正確率較梯度二值化法高；而文中方法分割出的區域最多，每個區域內像素灰度值差異性較小，正確率最高。相比運行時間而言，閾值分割耗時最長，梯度二值化耗時最短，文中方法運行時間較閾值分割方法更快一些。

表1 3種算法CCR及運行時間比較

Mag為2.15KX的陶瓷BSE圖像在各種分割算法下的比較見圖4。實驗中的圖像與前文陶瓷BSE圖像相比，有更明顯的方向性的劃痕。在此選用-45°線模板在文中算法基礎上做優化處理，與閾值法、梯度二值化法和非優化處理的文中融合算法作對比。

由圖4可看出，閾值法對噪聲敏感，尤其是圖像中接近-45°方向的劃痕線；梯度二值化法只能分割出圖像中的黑色區域；而文中算法未采用線模板優化處理的分割效果較閾值法區域之間的分割更明顯；經-45°線模板優化算法能很好地處理圖像中劃痕，將其與鄰域分割為同一區域。

圖4 分割算法比較(2)

由表2可看出，閾值分割法比梯度二值化法分割出的區域數量多，因而正確率高于梯度二值化法。文中方法經過優化處理以及未經優化處理得到的正確率幾乎一致，說明經線檢測優化后，圖像中-45°方向的劃痕線被分割為和鄰域同一區域，但是也會導致(d)中明顯分割開的兩個區域被融合為同一區域，且文中算法經優化處理和未經優化分割正確率遠大于閾值分割和梯度二值化法。

表2 4種算法CCR及運行時間比較

6 結束語

文中在灰度特征的基礎上提出了融合灰度特征和改進LBP特征的譜聚類圖像分割模型，用于解決陶瓷材料BSE圖像分割精度不高的問題。與已有的材料圖像分割算法相比，文中算法具有抗噪性強、分割精度高、分割后區域差異性大等特點。另外，經過線檢測優化處理后的圖像能消除方向性的劃痕線紋理，但是，線檢測優化處理又會將圖像中明顯分割開的區域融合在一起，且譜聚類算法的樣本點選取數量過少。對這兩方面的改進研究是下一步的工作重點。

[1] 胡冬力，刑娟娟，鄭 強,等.HfB2-SiC-HfC陶瓷相組成與相成分定量分析的對比研究[J].無機材料學報，2014，29(10)：1105-1109.

[2] 張倩倩，魏 亞.基于背散射電子圖像的礦渣-水泥復合體系反應程度的定量分析[J].硅酸鹽學報,2015，43(5):563-569.

[3] 康 睿，郭中華，李學豐，等.砂土顆粒SEM圖像分析方法的研究[J].科技視界,2015(12)：16-18.

[4] 丁賢云，朱 煜.基于二維熵的人工魚群材料圖像分割方法[J].激光與紅外,2010,40(2):210-214.

[5]YuZ，TianZ，YuZW.SEMmicroscopeimagesegmentationbasedonMarkovfieldmodels[C]//Procoffifthinternationalconferenceonimageandgraphics.[s.l.]:[s.n.],2009:177-181.

[6]PritimoyS，UjjwalB，SamirKB.AnalysisofSEMimagesofstomataofdifferenttomatocultivarsbasedonmorphologicalfeatures[C]//ProcofSecondAsiainternationalconferenceonmodelling&simulation.[s.l.]:[s.n.],2008:890-894.

[7]BenH，DeW，LothenbachB.Quantificationofthedegreeofreactionofflyash[J].CementandConcreteResearch,2010，40:1620-1629.

[8]BenH，GallucciE，GuidoumA，etal.RelationofexpansionduetoalkalisilicareactiontothedegreeofreactionmeasuredbySEMimageanalysis[J].CementandConcreteResearch,2007，37：1206-1214.

[9]YangR，BuenfeldNR.BinarysegmentationofaggregateinSEMimageanalysisofconcrete[J].CementandConcreteResearch,2001，31：437-441.

[10]TimoO，MattiP，TopiM.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwithlocalbinarypatterns[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2002，24(7)：971-987.

[11]TimoO，MattiP，TopiM.Textureclassificationbymulti-predicatelocalbinarypatternoperators[C]//Procof15thinternationalconferenceonpatternrecognition.[s.l.]:[s.n.],2000:951-954.

[12]MaenpaaT，OjalaT，PietikainenM，etal.Robusttextureclassificationbysubsetsoflocalbinarypatterns[C]//Procofinternationalconferenceonpatternrecognition.[s.l.]:[s.n.],2000:947-950.

[13] 尹 芳，陳德運，吳 銳.改進的譜聚類圖像分割方法[J].計算機工程與應用,2011,47(21):185-187.

[14]ShiJ,MalikJ.Normalizedcutsandimagesegmentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(8):888-905.

[15] 李澤明.基于路徑相似度測量的譜聚類算法研究[D].重慶：重慶大學，2015.

[16] 阮秋琦，阮宇智.數字圖像處理[M].第2版.北京：電子工業出版社，2010：462-463.

[17]DiplarosA，VlassisN，GeversT.AspatiallyconstrainedgenerativemodelandanEMalgorithmforimagesegmentation[J].IEEETransactionsonNeuralNetworks，2007,18(3):798-808.

[18] 劉金堯,紀則軒.魯棒空間約束的模糊聚類圖像分割[J].中國圖象圖形學報,2014，19(10)：1438-1448.

Material Image Segmentation Combined LBP Texture and Local Gray Level Feature

ZHAO Zhao1,DING Guang-tai1,2,FAN Ming-lei1,ZHANG Hui-ran1,2,WANG Lu1,CHEN Lin3

(1.School of Computer Engineering and Science,Shanghai University,Shanghai 200444,China;2.Shanghai Institute of Materials Genome,Shanghai 200444,China;3.Information Management Center,Shanghai Finance University,Shanghai 201209,China)

To improve precision of material image segmentation,based on spectral clustering method,a set of new algorithms combined local gray level features with Local Binary Patterns (LBP) are proposed.Considering that the LBP operator cannot efficiently distinguish the difference of gray magnitude of pixels in the neighborhoods,several threshold-LBP (T-LBP)operatorsareproposedtoshowthechangeofimagepixels.Thedifferenceofneighborhoodvectorisconstructedtodescribethelocalfeatures,selectingsamplepointsbygraylevelhistogram,establishingthesimilaritymatrixbycombinationofT-LBPfeatures,grayfeaturesofpixelandlocalfeatures,conductingtheimagesegmentationbyspectralclusteringalgorithm,andconstrainingthetexturenoisewithdirectionbylinerdetection.Theexperimentforceramicmaterialimageandsyntheticimageshowsthatthealgorithmhashighsegmentationprecision,strongnoiseresistance,andwellcorrectclassificationrate.Theproposedalgorithmbreaksthroughthedrawbacksandimprovestheaccuracyofmaterialimagesegmentation,whichisappropriateforvariousareasandcomplextextureofmaterialimages.Thecomparisonamongtheproposedalgorithmandotheralgorithmdemonstratestheeffectivenessoftheformer.

image segmentation;T-LBP;spectralclusteringalgorithm;graylevel;linedetection

2016-01-04

2016-05-11

時間：2016-09-19

上海市政府科研計劃項目(14DZ2261200)

趙 曌(1991-)，女，碩士研究生，研究方向為數字圖像處理;丁廣太，副教授，研究方向為數字圖像處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160919.0841.034.html

TP

A

1673-629X(2016)10-0011-06

10.3969/j.issn.1673-629X.2016.10.003