基于T-GLCM和Tamura融合特征的紋理材質分類

0 引言

紋理特征提取是圖像處理、圖像分析、計算機視覺等諸多領域的基礎研究之一．紋理特征的類內差異性及類間相似性決定了僅依靠單一的提取算法無法準確真實地表現圖像的紋理特征,因此,通過多種紋理特征提取算法的融合來提高提取的效率和準確率是當前研究的熱點．隨著研究的不斷深入,圖像紋理的分類在諸多領域都得到了很重要的應用,例如在虛擬現實觸覺再現領域,通過再現設備可以識別不同的材質,得到更加真實的觸覺體驗,增加使用者的沉浸感和真實感．

國內外研究者就圖像紋理特征提取與分類進行了大量的理論研究與實驗．Marsico等[1]在傳統LBP(Local Binary Pattern)算法基礎上進行了改進,選擇LBP碼作為基于內容的LBP碼選擇策略,減少了特征向量的長度,特征提取效率有所提高,但魯棒性并不好;El Khadiri 等[2]基于LBP 算法提出了一種局部二值梯度等值(LBGC) 算法進行紋理分類,雖然精度很高,但需要的特征維度比較高,不滿足實時性要求;陳洋等[3]通過結合Gabor濾波器和ICA技術進行紋理的分類,缺點是容易丟失數據;梅軍等[4]基于 Tamura 紋理特征對紋理圖像進行分類,在方向性和形態學運算中都有很好的效果;Karmakar等[5]對Tamura紋理提取算法進行改進,用核描述符代替直方圖,對特征的旋轉不變性進行了加強,不過Tamura算法提取的是全局特征信息,利用單一的Tamura算法提取特征會導致圖像局部細節信息的丟失;Haralick等[6]提出了灰度共生矩陣(Gray-Level Co-occurrence Matrix,GLCM)方法,該方法對規則的紋理圖像具有較好的識別效果;Fahrurozi 等[7]使用GLCM結合邊緣檢測算法來提取紋理的特征,發現GLCM紋理特征參數中只有4組值是線性無關,可以進行級聯分類．因GLCM在紋理分析中的優異表現,其在紋理特征提取方面得到了較為廣泛的使用．但GLCM在不同的方向上存在著不同的矩陣,因此后續的研究人員提出了不同的計算方法來解決此問題．

本文提出一種基于改進的灰度共生矩陣(T-Gray-Level Co-occurrence Matrix,T-GLCM)和Tamura融合的紋理特征提取算法,不僅解決了單一的紋理提取算法不能準確地描述圖像紋理的問題,而且改進的T-GLCM算子還提升了傳統灰度共生矩陣的旋轉不變性,并減少了冗余信息．利用 Tamura紋理特征對圖像進行量化,然后將各特征區域量化后級聯成一組特征向量,融合T-GLCM的紋理特征,最后將融合的特征矩陣輸入支持向量機(SVM)[8],通過SVM對紋理材質進行分類．選擇Brodatz紋理庫中的圖像,通過實驗驗證,結果表明本文提出的方法在提高紋理特征提取效率的同時保證了較強的魯棒性,提取的精度較傳統算法更高．

1 原理與方法

本文提出的算法流程如圖1所示．首先,對輸入的圖像進行gamma校正,再將校正后的圖像進行自適應對比度增強算法(ACE)處理,以此提高圖像對比度．然后使用基于T-GLCM和Tamura融合的特征提取方法,對處理后的圖像進行紋理特征提取并生成特征矩陣．最后利用支持向量機(SVM)對不同材質的紋理信息進行分類識別,以此來獲取8種不同材質的紋理特征信息,本文選用的8種材質分別為:木板、鋁箔、大理石、棉布、餅干、樹葉、絲綢、砂紙．

1.1 gamma校正

gamma校正[9]又稱冪律變換,跟對數變換類似,是一種非線性補償函數．gamma校正是將部分灰度區域映射到更寬或更窄的區域以達到增強圖像的效果,目的是校正圖像的亮度偏差,從而減少因圖像亮度偏差對紋理提取精度的影響,其方法是對輸入圖像的灰度值進行指數變換．gamma校正的表達式為

(1)

其中,A為常數,Vin為原圖像中像素點的像素值,Vout為校正后圖像的像素值,γ為校正值．γ值的不同將直接影響對圖像亮度質量的改善效果．γ小于1時,圖像的灰度值增加,亮度提高對比度增強;γ大于1時,圖像的灰度值減小,亮度下降,但對比度在一定程度上也會達到增強的效果．

1.2 自適應對比度增強(ACE)

自適應對比度增強[10]采用反銳化掩膜技術,主要是把圖像分為低頻的反銳化掩膜以及高頻部分,用原圖減去反銳化掩膜獲取高頻部分,最后將高頻部分加入反銳化掩膜并加上增益系數G(i,j),得到增強的圖像．

設x(i,j)是原像素,通過自適應對比度增強后的像素值為

f(i,j)=mx(i,j)+G(i,j)[x(i,j)-mx(i,j)]．

(2)

獲取圖像的反銳化掩膜即低頻部分可以通過圖像中心各像素點為中心的局部區域的像素平均值求得,中心像素點的低頻部分的像素值可以通過下式計算得到:

(3)

其中,(i,j)、(k,l)分別為像素點和像素點周圍鄰域的坐標．

局部增益G(i,j)的值是恒大于1的,所以[x(i,j)-mx(i,j)]就會變大,局部增益的計算公式如下:

(4)

(5)

其中,σx(i,j)為局部均方差,D為一個常數,它的值可以選擇全局平均值或者是全局均方差,本文的D取值為圖像的全局均方差．

1.3 特征提取

為了提高紋理特征分類的精準度,對經過gamma校正和自適應對比度增強的圖像使用基于T-GLCM和Tamura融合的特征提取方法對圖像紋理特征進行提取并生成特征矩陣．

1.3.1 基于GLCM特征提取

灰度共生矩陣(GLCM)[11]在統計圖像分析中得到了廣泛的應用,GLCM常用的紋理特征統計量有14個,經常采用的有以下4種特征統計量:

1)能量(ASM)是GLCM元素值的總和,反映圖像紋理的粗細程度以及灰度分布的均勻程度,其量值記為A;

2)熵(ENT)表示圖像紋理的不均勻性和復雜程度,其量值記為E;

3)對比度(CON)反映圖像紋理溝紋的深淺程度,溝紋越深,對比度就越明顯,其量值記為C;

4)逆差分矩(IDM)反映圖像紋理的同質性,度量圖像紋理的局部變化量,其量值記為I．

1.3.2 改進的灰度共生矩陣(T-GLCM)

直接采用傳統的灰度共生矩陣(GLCM)存在一個問題,其特征值隨旋轉角度的改變而變化且存在大量冗余信息．為了解決傳統GLCM存在的不足,提高特征提取的精度,本文提出了一種改進的灰度共生矩陣(T-GLCM)．改進的灰度共生矩陣的具體方法如下:首先對傳統的灰度共生矩陣(GLCM)進行轉置操作后與GLCM取平均值得到G1;然后對G1從0°、45°、90°、135°四個方向上得到的各個矩陣進行相加取平均值得到最終的共生矩陣T-GLCM．

(6)

其中,G表示傳統灰度共生矩陣,GT表示G的轉置矩陣．式中得到的G1具有旋轉不變性．

4個特征統計量可分別表示為

(7)

(8)

(9)

(10)

1.3.3 基于Tamura紋理特征提取

Tamura等[12]在深入研究圖像紋理后,根據心理學觀點,提出6個紋理特征成分,即對比度、方向度、粗糙度、線粒度、規則度和粗略度．本文應用對比度、方向度和粗糙度3個特征對圖像紋理進行分析．

1)對比度:圖像中最亮與最暗兩部分的灰度之差就是對比度．對比度越大,圖像更清晰,反之,對比度越小,效果越模糊．對比度的計算方法如下:

① 像素(x,y)的3×3鄰域像素的平均值為

(11)

其中,f(i,j)為像素點,(i,j)為灰度值．

② 標準差為

(12)

③ 四階矩為

(13)

④ 對比度為

(14)

2)方向度:圖像中的紋理沿著某個方向呈現出某種形態,具有一定的方向性,它可以通過計算梯度向量來計算出方向度．計算步驟如下:

① 像素點(x,y)的梯度向量的模以及方向如下:

|ΔG(x,y)|=(|ΔH|+|ΔV|)/2,

(15)

(16)

其中,ΔH和ΔV分別表示對圖像進行如式(17)卷積計算后在水平與垂直方向上的結果．

(17)

② 根據趙海英等[13]方法設定閾值t=12,像素點(x,y)的方向角d(x,y)計算公式如下:

(18)

③ 像素點(x,y)的3×3鄰域所有像素的方向角均值:

(19)

④ 像素點(x,y)的方向角為

d′(x,y)=|d(x,y)-μ(x,y)|．

(20)

3)粗糙度:比對分析多種圖像粗糙度的計算方法后表明,Tamura在表達圖像粗糙度方面是最準確的．用線性量化代替指數量化又可以降低算法的復雜度．其計算步驟如下:

① 以像素(i,j)為中心,水平方向平均灰度方差為

En,u(i,j)=|An(i-n,j)-An(i+n,j)|．

(21)

② 垂直方向平均灰度方差為

En,v(i,j)=|An(i,j-n)-An(i,j+n)|,

(22)

其中,A(i,j)為平均灰度值,n為1,2,3,4,5．

③ 不分方向得到最大值:

Sbest(i,j)=max{En,m(i,j)|n∈[1,5],m=u,v}．

(23)

④ 以像素(i,j)為中心的3×3鄰域平均粗糙度為

(24)

⑤ 像素粗糙度與平均粗糙度差的絕對值就是該像素的粗糙度度量．

1.3.4 紋理特征提取方法

本文提出的特征提取具體流程如下:

1)選取gamma校正對圖像的亮度偏差進行校正,從而減少因圖像亮度偏差對紋理提取精度的影響．

2)選取自適應對比度增強算法(ACE)對紋理圖像進行預處理,提高原圖像的對比度,得到對比度增強的紋理圖像．

3)根據改進的灰度共生矩陣(T-GLCM)的4個統計量:特征能量(ASM)、熵(ENT)、對比度(CON)和逆差分矩(IDM)得到圖像的特征信息．

4)使用Tamura算法通過對比度、方向度和粗糙度3個特征對圖像紋理進行分析,并融合改進的灰度共生矩陣(T-GLCM)對圖像紋理特征進行提取并生成特征矩陣．

1.4 SVM分類器

本文選擇的支持向量(SVM)[14]是一種在分類和回歸的情況下進行預測的技術,在模式識別、分類和非線性回歸方面得到了廣泛的應用．支持向量機是一種與學習算法相關的監督模型,對于給定的一組訓練集,每個不同的示例被標記為兩個類別中的一個,SVM將新的示例分配給其中一個類別,使得其成為非概率二進制線性分類器．依賴于被稱為結構風險最小化(SRM)的機制,利用支持向量機將輸入向量映射到高維空間,計算兩組樣本之間的最佳分離超平面．SVM需要一組參數,包括支持向量機的類型、核函數的類型、罰因子和訓練停止的標準．其中,SVM的核心是核函數．核函數的類型有很多,經過不斷的研究表明,高斯徑向基函數在紋理圖像分類方面取得了較高的分類精度,并且高斯徑向基函數計算復雜度低[15]．其公式如下:

(25)

其中,x′是內核函數中心,σ是函數的寬度參數,控制函數的徑向范圍．

本文選擇帶高斯徑向基函數的支持向量機對不同材質的紋理圖像進行分類,而且系統采用網格搜索方法獲得最優參數,以此提升訓練精度,采用交叉驗證方法來提高預測精度．

2 實驗結果與分析

2.1 分類精度與實時性對比實驗

為了驗證本文提出的算法能有效提高紋理特征提取的精度,選擇Brodatz紋理庫中的木板、鋁箔、大理石、棉布、餅干、樹葉、絲綢、砂紙8類紋理圖像樣本進行分類精度實驗．圖2為選擇的8類紋理圖像．

圖2 選擇的8類紋理圖片Fig.2 Selected 8 types of texture images

選取的8類紋理圖像大小均為640×640像素．共有訓練樣本560個,測試樣本240個,其中每個種類的訓練樣本為70個,每個種類的測試樣本為30個．采用K-means聚類算法[16],對三類數據集進行劃分,提升運算的效率．

分別測試了T-GLCM、Tamura以及T-GLCM和Tamura融合特征的分類精度．對于 T-GLCM 算法,選擇d=1,灰度等級為16,依據4個角度上的對比度、相關性、能量和逆差矩,得到16個參數的特征矩陣．對于Tamura算法,對圖像進行量化,然后將各特征區域量化后級聯成一組特征向量,融合T-GLCM的紋理特征提取粗糙度、對比度、方向度來描述圖像．

方法1為通過Tamura算法得到的3個特征參數作為SVM的輸入進行分類;方法2為通過改進的灰度共生矩陣(T-GLCM)得到的16個特征參數級聯起來的矩陣作為紋理特征通過SVM分類;方法3是基于T-GLCM和Tamura融合特征的紋理材質分類方法．

1)實驗1.為了驗證本文算法的正確性,進行了對比實驗,結果如圖3所示．從圖3可以看出,T-GLCM算法的整個樣本的正確性高于Tamura,并且每種樣本的準確率也高于 Tamura,兩種算法相結合的正確性明顯優于單一算法,且準確率可以達到97.1%．

圖3 3種方法的準確率Fig.3 Classification accuracy comparison between three methods

2)實驗2.為了驗證本文改進的灰度共生矩陣(T-GLCM)與傳統灰度共生矩陣(GLCM)在性能上是否有提升,將傳兩種算法的分類精度進行對比,分類的結果如圖4所示,明顯看出,本文提出的T-GLCM具有比傳統灰度共生矩陣(GLCM)更高的分類精度．

圖4 傳統GLCM與T-GLCM準確率Fig.4 Classification accuracy comparison between traditional GLCM and T-GLCM

3)實驗3.為了驗證算法的魯棒性,對測試集進行錯誤匹配實驗,選取了3組,每組30張Brodatz紋理庫中不同于樣本的圖像作為測試樣本,測試錯誤圖像是否會被劃分到樣本集中．3種方法均有一定程度的錯誤分類,主要是因為錯誤樣本的紋理特征較為平滑,與樣本棉布和砂紙容易混淆．據實驗結果來看,Tamura的錯誤分類率最高,T-GLCM次之,本文方法的錯誤分類率最低．總體來說,本文提出的分類方法是準確可行的．

為了滿足實際工程應用的需要,圖像紋理特征提取分類算法的實時性是一個重要的指標．為了評估本文算法的實時性,將一個圖像紋理特征提取分類的平均時耗作為衡量實時性的指標,并與其他一些算法進行比較,最終的結果如表1所示.

表1 本文提出的算法與其他算法的時間消耗對比

從表1可以看出,本文提出的算法與其他算法相比,在保證較高分類精度的情況下仍然具有較好的實時性．但與文獻[19]相比識別速度上仍然有明顯的不足,主要原因在于其僅僅利用位運算和很少的加法乘法就可以完成分類．總的來說,本文提出的算法仍是是一種高效的紋理特征提取分類算法．

2.2 力觸覺感知實驗

為了進一步驗證本文提出的圖像紋理特征提取算法對于提高虛擬現實力觸覺再現的真實性,現對基于原有的GLCM算法、Tamura算法和改進后的T-GLCM與Tamura融合算法的粗糙度特征分別進行力觸覺渲染,即將提取出的紋理特征與反饋力建立映射關系,最后通過Geomagic Touch手控器感知圖像的粗糙度．

本部分實驗仍然選用圖2中的8類紋理圖像,實驗過程如圖6所示,受試者手持Geomagic Touch力反饋設備的操作桿在搭建的虛擬環境中與實驗圖像進行交互感知,通過力反饋設備反饋的力來感知圖像紋理粗糙度．實驗中每幅實驗圖像均已編號且隨機出現,實驗過程中對圖像進行遮擋處理,圖像本身不可見,當被試者感知完一幅圖像后,需要從8幅真實的實驗紋理圖像中選出與自己感知相似度最大的一副圖像,直至8幅實驗紋理圖像全部感知完畢,最終統計感知正確率．

圖6 實驗過程Fig.6 Screenshot of force haptic perception experiment

實驗對象為20個在校學生(10個男生,10個女生),年齡均在21～26歲,且慣用手均為右手,沒有使用過相關力反饋設備感知紋理圖像的經驗．最終的實驗結果如圖7所示,可以得出依據本文提出的紋理特征提取算法建立的力觸覺渲染模型優于傳統算法,提高了感知的真實性．

圖7 3種算法的力觸覺感知準確率Fig.7 Force haptic perception accuracy of three algorithms

3 結束語

本文主要研究了紋理特征的提取與分類,針對當前紋理特征提取方法中的計算效率低、魯棒性差、提取精度低等問題,提出基于T-GLCM和Tamura融合特征的紋理材質分類方法．選擇Brodatz紋理庫中的圖片,通過gamma校正與自適應對比度增強(ACE)處理再建立樣本集與測試集,使用支持向量機(SVM)進行分類．由實驗結果可以得出,融合的特征提取方法較單一的紋理提取方法更加高效、分類精度更高且魯棒性也更好,而且可以對錯誤的圖像進行有效的區分,實時性也滿足實際工程應用的需要．

接下來將繼續對T-GLCM算法進行研究,進一步優化算法,研究梯度方向的灰度共生矩陣,以此提高精準度．