基于四元數Gabor濾波的彩色紋理特征提取*

孟 勃，王曉霖，李東威

(1.東北電力大學信息工程學院，吉林 吉林 132012;2.中國石油天然氣股份有限公司吉林石化公司鐵路運輸部車輛車間，吉林 吉林 132012)

1 引言

圖像紋理特征是圖像處理研究的熱點之一，是人臉識別、圖像分類、圖像分割和圖像增強等熱點問題的基礎。提取的紋理特征質量直接影響到分割效果和分類結果。紋理特征是圖像處理重要而又難以描述的特征，時至今日，圖像紋理特征仍然沒有一個公認的、嚴格的定義。

現有的紋理特征提取方法主要包括統計方法、模型方法、信號處理方法和結構方法[1]，其中信號處理方法中的Gabor濾波器可以提取多尺度多方向的紋理特征。成熟的紋理特征提取方法僅僅停留在對灰度圖像的紋理特征提取。

早期的圖像紋理特征的研究者Hawkins[2]提出難以定義“紋理的確切概念”。Tamura等人[3]根據人類視覺對紋理特征的感知提出了粗糙度(Coarseness)、對比度(Contrast)、方向度(Directionality)、直線度(Linearity)、規則度(Regularity)和粗細度(Roughness)六個紋理特征。其中，粗糙度、對比度和方向度是圖像分類和圖像分割中重要的紋理特征。根據其中一種特征或三個特征的結合用于圖像分割和圖像分類。Shi等人[4]提出了一種采用四元數分割圖像的算法。為了操作大量的訓練集，將四元數主成分分析(Quaternion Principal Component Analysis)擴展為增量四元數主成分分析(Incremental Quaternion Principal Component Analysis)，更加有利于提取紋理特征。最終通過歐氏距離和區域相似性合并達到紋理分割的目的。該方法在利用增量四元數主成分分析算法時不可避免地會丟失圖像的一些紋理信息，并且對于訓練集的要求較高。

Mehta等人[5]提出了主導旋轉二值模式DRLBP(Dominant Rotated Local Binary Patterns)，在保留全局信息的同時，又增加了旋轉不變性元素，實現對紋理圖像的分類。Li等人[6]使用Gabor濾波對圖像進行了分解，利用高斯連接模型連接尺度、方向和彩色通道之間的相關性，將K-L距離KLD(Kullback-Leibler Distances)作為兩個連接模型的相似度量，最終達到計算復雜度低、檢索率高的效果。

Yoo等人[7]將圖像分為結構和紋理兩個區域。利用結構提取算法提取出圖像中的結構區域。用原圖像減去結構區域，得到圖像的紋理區域。利用提出的紋理合成方法和雙三次插值算法對紋理層進行處理，最終得到高分辨率紋理層的高頻部分，將得到的結果和Single-image super-resolution方法相結合得到最終的紋理增強圖像。

彩色圖像三個通道之間存在緊密的光譜聯系，所以在研究彩色圖像處理技術時應當考慮各顏色通道數據之間的內在聯系[8]。四元數可用于表征彩色圖像通道間的結構信息，四元數的三個虛部分別表示彩色圖像的三基色分量。Guo等人[9]提出四元數傅里葉-梅林矩并構建了彩色圖像的相似不變量，利用四元數傅里葉-梅林矩識別仿射變換后的圖像。馬瑜等人[10]提出采用簡約雙四元數的彩色紋理分割算法，但是并沒有提取出具彩色紋理的特征圖像。

本文結合四元數整體表示彩色圖像和Gabor濾波多尺度多方向的特點，提出四元數Gabor濾波及四元數Gabor濾波卷積算法提取圖像多尺度、多方向的彩色紋理特征。

本文的創新點在于可以提取多尺度、多方向和多通道的紋理特征，不同于一般處理灰色圖像的方法，四元數Gabor濾波卷積算法根據四元數乘法原理整體處理彩色圖像，所提取的特征圖像和傳統Gabor方法和LBP方法相比具有更高的相似度。

2 相關研究

2.1 四元數理論

四元數由Hamilton在1843年提出，是由一個實部和三個虛部四部分組成的超復數[11]。表示為：

q=qr+qi·i+qj·j+qk·k

(1)

有如下運算法則：

i2+j2+k2=-1,i·j=k,j·k=i,j·i=-k,k·j=-i,i·k=-j。

若四元數的實部為0，則稱該四元數為純四元數。四元數的共軛為：

(2)

四元數的范數為:

(3)

如果純四元數q的范數為1，則稱q為單位純四元數。設單位純四元數為μ，則四元數歐拉公式可以表示為：

eμ θ=cosθ+μsinθ

(4)

四元數q=s+xi+yj+zk可以表示為q=[s,v],其中v=xi+yj+zk，則兩個四元數相乘可以表示為：qaqb=[sa,va][sb,vb]。

令qc=[sc,vc]=qaqb，則qc=[sasb-va·vb,savb+sbva+va×vb]，四元數乘法不滿足乘法交換律。

彩色圖像的四元數表示普遍采用Pei等人[12]提出的方法：四元數的實部為0，用三個虛部分別代表彩色圖像中的紅、綠、藍分量，這時將一幅彩色圖像表示為：

f(x,y)=fR(x,y)·i+

fG(x,y)·j+fB(x,y)·k

(5)

其中,fR(x,y)表示圖像的R通道，fG(x,y)表示圖像的G通道，fB(x,y)表示圖像的B通道。

四元數表示彩色圖像的優勢在于其可以整體表示彩色圖像。相對于將圖像轉化為灰度圖或者分通道表示，利用四元數表示的彩色圖像具有豐富的顏色信息和通道間信息，并具有仿射不變性等特性。

2.2 Gabor濾波器

Gabor濾波器是一種線性濾波器，其基函數具有與人類視覺基元類似的性質。2-D Gabor濾波器是Gabor函數通過尺度伸縮和旋轉生成的一組可以調節通道方向、帶通頻率和通道中心頻率的一組復函數系。其基本波形類似于哺乳動物視覺系統的感受面波形，可以很好地模擬人類視覺皮層細胞。圖1中顯示空白Gabor濾波在5個尺度和8個方向上的濾波器模型。一種常用的Gabor濾波器如式(6)所示[13]：

(6)

Figure 1 2-D Gabor filter with five scales in eight directions圖1 5個尺度8個方向的二維Gabor濾波

3 四元數Gabor濾波

Gabor濾波器在圖像紋理特征提取中的優勢在于多尺度和多方向。多尺度、多方向的Gabor濾波器構成一個Gabor濾波器組，每個Gabor濾波器只允許圖像中與其頻率相對應的紋理順利通過。本文提出的四元數Gabor濾波器綜合了四元數整體處理彩色圖像的特點和Gabor濾波器可提取多尺度、多方向紋理特征的優勢，表達式如下：

(7)

(8)

進而：

(9)

展開可得：

(10)

3.1 四元數Gabor濾波卷積算法

使用四元數Gabor濾波卷積一張彩色圖像時，根據四元數乘法，本文提出的卷積算法示意圖如圖2所示。

Figure 2 Quaternion Gabor convolution 圖2 四元數Gabor卷積圖解

兩個四元數相乘，qc=qaqb=[sa,va][sb,vb],設qb為待處理圖像(四元數乘法不滿足交換律，本文以四元數乘法的一種順序說明該卷積算法)。

qc=[sasb-va·vb,sava+sbva+va×vb]，由于四元數域用純四元數表示彩色圖像，其實部為0，所以，qb=[0,vb],qc=[-va·vb,savb+va×vb]。

四元數Gabor濾波的卷積算法步驟如下所示：

(1)設Gi為四元數Gabor虛部生成的大小為35*35(設v=1)的算子[15]，Ii(M*N)為四元數彩色圖像三基色分量構成的M*N*3維的矩陣。

C=Gi?Ii

(11)

(2)設Gr為四元數Gabor實部生成的大小為35*35的算子，在三個通道分別對圖像進行卷積操作，即:

C1=Gr?Ii

(12)

(3)根據公式qc=[-va·vb,savb+va×vb]，在一副圖像上，對于每個像素進行以下運算:

C2=gi×pi

(13)

其中，“×”表示兩個向量坐標叉乘，gi表示Gi中的最大值，pi是由一個像素點的三基色分量構成的三維向量，則C2為：

(4)最終得到的彩色紋理特征圖像為F=C*(C1+C2)。

3.2 特征提取方法

本文提出的彩色圖像特征提取方法如圖3所示，具體步驟為:

步驟1輸入一張圖像，利用四元數Gabor濾波及四元數Gabor卷積算法得到5個尺度和8個方向的特征圖像。

步驟2對所有的特征圖像和原圖像求出Tamura紋理特征并使用歐氏距離進行相似度測量得到和原圖像Tamura最接近的3張特征圖像。

步驟3驗證步驟2中得到的3張特征圖像尺度和方向均不相同，滿足則執行步驟4，否則轉步驟2。

步驟4得到相似度最高的3張特征圖像，每一張圖像提取出各通道的Tamura特征，得到一個12維的特征向量。

Figure 3 Image feature extraction圖3 提取圖像特征

4 Tamura紋理特征

Tamura紋理特征廣泛應用于圖像檢索和圖像分類，其中使用最多的是粗糙度、對比度和方向度三個特征。

四元數Gabor提取多尺度多方向的彩色紋理特征圖像，利用不同尺度、不同方向的特征圖像，提取出每幅特征圖像的Tamura特征用于圖像分類和圖像分割。

4.1 粗糙度計算

粗糙度是紋理特征的基本特征之一，是紋理分類的重要依據。用數學方法對粗糙度進行準確的描述及分析極為重要。

粗糙度的計算步驟如下：

(1)計算圖像中每個像素點以2k為鄰域的窗口內的平均灰度值，即：

(14)

其中,k=1,2,3,4,5,…，g(x,y)是圖像在(x,y)的灰度值。

(2)計算每個像素點在水平和垂直方向上不重疊窗口間的平均灰度值差，即：

Ek,h(x,y)=|Ak(x+2k-1,y)-Ak(x-2k-1,y)|

(15)

Ek,v(x,y)=|Ak(x,y+2k-1)-Ak(x,y-2k-1)|

(16)

(3)對于每一個像素點，計算水平方向和豎直方向Ek的最大值，作為該點的取值，記為Sbest(x,y)。

(4)計算整張圖像Sbest(x,y)的均值，即為整張圖像的粗糙度，即：

(17)

其中,m和n分別為圖像水平方向像素總數和豎直方向像素總數。

4.2 對比度計算

對比度反映圖像灰度級差異的大小，像素之間的灰度級差異越大，對比度越強；像素之間的灰度級差異越小，對比度越弱。在數字圖像處理中，通過改變圖像的灰度范圍來改變圖像的對比度。在Tamura紋理特征中，計算對比度的表達式為：

(18)

其中，σ是圖像的標準差，α4=μ4/σ4,μ4是圖像的四階矩，n可取8,4,2,1,1/2,1/4或1/8，一般選擇1/4。

4.3 方向度計算

方向度是圖像的一種全局屬性，包括元素的形狀和分布規則。計算方向度的核心是建立方向角局部邊緣概率直方圖。計算方向度的步驟如下：

(1)計算圖像每個像素的梯度向量，其模和方向有如下定義：

|ΔG|=(|ΔH|+|ΔV|)

(19)

θ=tan-1(ΔV/ΔH)+π/2

(20)

其中，ΔH,ΔV可以通過水平和豎直方向的Prewitt算子計算得到。

通過計算梯度統計直方圖的峰值來計算方向度。如果存在多峰值的情況，常用的方法就是對波谷與波谷之間的峰值做二階矩求和。圖像的方向度可以通過以下公式求得：

(21)

5 實驗結果及分析

實驗分為兩部分，第一部分是針對5種不同類型的紋理進行特征提取，并分析四元數Gabor提取紋理特征時的特點；第二部分是利用提出的算法在Outex-10數據庫上進行特征提取實驗，實驗表明所提取的特征分布和特征圖像之間存在一定的關聯性。

實驗對5種不同種類的紋理基元進行特征提取，分別計算原圖像、傳統Gabor紋理特征圖像、LBP紋理特征圖像和四元數Gabor特征圖像的Tamura紋理特征，并提取出彩色紋理特征圖像的多通道紋理特征。實驗所用四元數Gabor算法中，σ=2π,μ和v需根據具體圖像而定。根據歐氏距離，選出特征圖像特征向量與原圖像特征向量相似度最高的特征圖像，確定μ和v。

5.1 不同種類紋理特征提取

實驗1垂直紋理特征提取。

圖4a為原始圖像，圖4b為四元數Gabor提取的紋理特征圖像，圖4c為LBP方法提取的多通道紋理特征圖像，圖4d為傳統Gabor虛部提取的紋理特征圖像，圖4e為傳統Gabor實部提取的紋理特征圖像，其中四元數Gabor和傳統Gabor濾波中取μ=0,v=0。

表1給出了各方法特征圖像的Tamura特征與原圖像Tamura特征的對比情況，可以看出，本文提出的四元數Gabor方法在垂直分布的紋理上最大程度保留了原圖像的Tamura紋理特征。表2為四元數Gabor彩色紋理特征圖的三通道Tamura特征，可以看出，在紅色通道、綠色通道和藍色通道上，Tamura紋理特征表現出一定的差異，實驗中選擇一種方向的特征圖像進行特征計算，由于本實驗中紋理方向單一，所以這種差異在垂直紋理基元上表現并不明顯。

Figure 4 Images of vertical texture features圖4 垂直紋理特征圖

圖像粗糙度對比度方向度原圖55.704 733.295 30.956 9LBP特征圖43.086 0111.420 20.600 7Gabor特征圖(實部)56.056 821.720 10.193 2Gabor特征圖(虛部)43.077 2124.340 60.718 6四元數Gabor特征圖55.720 833.660 70.899 9

Table 2 Multi-channel Tamura texture of vertical texture features by quaternion Gabor表2 垂直紋理特征圖像四元數Gabor多通道Tamura紋理特征

實驗2圓形紋理特征提取。

圖5給出了各方法提取的圓形紋理基元的特征圖。表3表示原圖和各特征圖像的Tamura紋理特征對比，文中選取的尺度因子和方向μ=0,v=0，但是其在Tamura特征表現上較差，在選取μ=1,v=0時，得到的Tamura表現為：粗糙度：52.543 8,對比度：27.987 2,方向度：0.025 2,與表3中傳統Gabor和LBP方法相比，相似度最高。從表4可以看出，在用一種方向的特征圖像提取圓形紋理的多通道特征時，該特征圖像的藍色通道的方向度和紅色通道、綠色通道的方向度差異較大。

Figure 5 Images of roundness texture features圖5 圓形紋理特征圖

圖像粗糙度對比度方向度原圖52.185 023.196 70.030 2LBP特征圖42.794 1105.248 10.421 5Gabor特征圖(實部)52.558 26.273 00Gabor特征圖(虛部)41.675 094.398 00.800 4四元數Gabor特征圖45.647 524.284 10.049 8

Table 4 Multi-channel Tamura of roundness texture features by quaternion Gabor表4 圓形紋理特征圖像四元數Gabor多通道Tamura紋理特征

實驗3水平紋理特征提取。

圖6表示各方法提取的水平紋理特征圖，其中四元數Gabor和傳統Gabor濾波中取μ=5,v=1。表5表示不同特征圖的Tamura特征對比，在粗糙度表現上，傳統Gabor特征圖(實部)與原圖像更加接近，但是綜合粗糙度、對比度和方向度三個特征，本文方法提取出的紋理特征圖像與原圖的紋理特征相似度更高。表6為四元數Gabor紋理特征圖像三個通道的Tamura紋理特征，和實驗1中紋理分布相似，本實驗中紋理分布為水平方向，可以看出三通道的Tamura特征雖然有差異，但差異并不明顯。

Figure 6 Images of horizontal texture features圖6 水平紋理特征圖

圖像粗糙度對比度方向度原圖55.929 015.111 11.293 8LBP特征圖41.496 9103.959 00.410 2Gabor特征圖(實部)55.524 51.069 20Gabor特征圖(虛部)41.989 6113.321 61.551 3四元數Gabor特征圖55.510 910.721 50.905 1

Table 6 Multi-channel Tamura of horizontal texture feature by quaternion Gabor表6 水平紋理特征圖像四元數Gabor多通道Tamura紋理特征

實驗4樹葉紋理特征提取。

圖7表示各方法提取的樹葉紋理特征圖，其中四元數Gabor和傳統Gabor濾波中取μ=0,v=1，通過比較圖7b和圖7d以及表7中的對比度特征發現，該實驗中圖像的像素點之間的顏色差異小，在實驗中僅提取了一張特征圖像的Tamura紋理特征，提取單一方向的紋理特征，但原圖中紋理方向并不單一，所以四元數Gabor提取的樹葉紋理特征圖像對比度較低，通過圖像很難發現提取的紋理特征。

表8表示四元數Gabor特征圖三個通道的Tamura特征。在該特征圖中紅色通道和綠色通道的方向度均為0，只有藍色通道的方向度與原圖像相似。

Figure 7 Images of leaf texture feature圖7 樹葉紋理特征圖比較

圖像粗糙度對比度方向度原圖56.900 415.395 70.143 0LBP特征圖42.814 9101.294 40.332 3Gabor特征圖(實部)51.904 11.174 80Gabor特征圖(虛部)41.989 6113.321 61.551 3四元數Gabor特征圖52.880 712.209 20.162 8

實驗5花朵紋理特征提取。

圖8給出了各方法提取的花朵紋理特征圖的比較，四元數Gabor和傳統Gabor濾波中μ=0,v=1，該實驗中利用本文方法提取的紋理特征圖8b與實驗4中紋理特征圖同樣存在對比度低的問題。

Table 8 Multi-channel Tamura of leaf texture features by quaternion Gabor表8 樹葉紋理特征圖像四元數Gabor多通道Tamura紋理特征

表9給出了各紋理特征圖像的Tamura特征對比。表10給出了四元數Gabor紋理特征圖三個通道的Tamura紋理特征。其中，紅色通道的方向度與綠色通道、藍色通道的方向度差異較大。

Figure 8 Images of flower texture features圖8 花朵紋理特征圖

圖像粗糙度對比度方向度原圖54.972 032.247 30.160 2LBP特征圖44.157 6109.730 80.483 7Gabor特征圖(實部)52.815 066.462 90.422 3Gabor特征圖(虛部)43.430 0112.727 70.422 0四元數Gabor特征圖54.503 432.867 40.238 4

Table 10 Multi-channel Tamura of flower texture features by quaternion Gabor表10 花朵紋理特征圖像四元數Gabor 多通道Tamura紋理特征

通過比較實驗1、實驗3和實驗2、實驗4、實驗5可以看出，四元數Gabor在處理具有多方向紋理特征的圖像時，得到的特征圖像對比度較差。由表2、表4和表6、表8、表10可以看出，多方向紋理特征，如圓形紋理、樹葉紋理和花朵紋理的四元數Gabor不同通道紋理特征的方向度差異較大；單一紋理特征，如垂直紋理和水平紋理，各通道中方向度的差異較小，彩色通道間Tamura紋理特征相似度低，圖像紋理分布為多方向，彩色通道間Tamura紋理特征相似度高，圖像紋理分布為一種方向，這種特點可用于區分圖像紋理，有利于圖像分類。

相比于LBP方法和傳統Gabor方法提取特征圖像，四元數Gabor濾波在使用四元數整體表示彩色圖像的基礎上，結合四元數Gabor卷積算法，對彩色圖像進行處理，得到的彩色紋理圖像比灰度特征圖像的相似度更高。從上述實驗可以看出，使用Gabor虛部提取的紋理特征圖像，提取的主要紋理特征容易受到其他特征的影響，導致紋理特征并不明顯，如圖5d和圖8d所示，圓形紋理特征表現模糊；使用Gabor實部得到的紋理特征有所缺失，如圖5e和圖8e所示。四元數Gabor濾波結合實部和虛部同時處理圖像，使用Gabor實部去卷積原圖，得到缺失的濾波紋理特征圖像，Gabor實部和圖像做“×”，得到三維的圖像向量，兩部分相加得到完整的紋理特征圖像；將得到的完整特征圖像和Gabor實部圖像進行算數相乘，得到局部紋理特征圖像，特征圖像的紋理特征明顯且完整。

5.2 Outex-10數據庫特征提取

Outex-10數據庫由24類紋理圖像的4 320張圖像組成，數據庫特征提取流程如圖9所示。每一類圖像亮度相同，有9個旋轉角度(0°,5°,10°,15°,30°,45°,60°,75°,90°)，其中每一角度有20張圖像。圖9中某一張原圖像的特征圖像的Tamura直方圖分布如圖10所示。原圖像的粗糙度、對比度和方向度分別為31.521 6、4.254 02、0.131 588。根據歐氏距離測量特征圖像和原圖像的相似度，找出3張和原圖像最相似的特征圖像。圖10中，四元數Gabor所提取的特征圖在粗糙度這一表征上較為穩定。由于受到濾波尺度和方向的影響，紋理特征在特征圖中較為明顯，所以對比度在不同特征圖之間會有所波動；由于四元數Gabor濾波本身具有方向性，在對原圖像處理的過程中，和原圖像的紋理尺度和方向相近的濾波，在方向度的表現上會更加接近于原圖像，如圖9中第1行第1列的圖像對應圖10c中x=1時的方向度，圖9中第4行第1列，第4行第2列，第4行第3列，第5行第1列，第5行第2列，第5行第3列分別對應圖10c中的x=25,26,27,33,34,35時的方向度。可以看出，在客觀表現上方向度與原圖接近的特征圖像，其特征圖的紋理特征較其他特征圖更加明顯。

Figure 9 Feature extraction of Outex-10 database圖9 Outex-10數據庫特征提取

圖9中使用四元數Gabor處理的Outex-10數據庫中一張圖像，得到的特征圖像，在尺度系數v=3和v=4時紋理圖像在各方向上較為清晰。在v=0時，由于濾波尺度因子過小，只有方向因子μ=0和μ=4時，可以提取到較為清晰的特征。隨著尺度因子的增大，得到的頻率范圍也會變寬，得到的紋理特征圖像也會更清晰，由于方向因子的選擇性，會使得特征圖像變得模糊，如圖9中第5行第5列的圖像。根據上述對方向度的分析，選擇與原圖像相似度最高的3張圖像，用以保證紋理特征的質量。

通過圖10中粗糙度、對比度和方向度的分布可以看出，在四元數Gabor提取出的特征圖像中，由于尺度和方向影響(紋理方向和濾波方向相差較大)，導致有些圖像和原圖像的特征差距較大，考慮到計算復雜度，本文選取和原圖像最相似的3張特征圖像，依次提取其各顏色通道的紋理特征，每一張圖像由一個12維向量表示。

Figure 10 Tamura feature distribution histogram圖10 Tamura特征分布直方圖

四元數Gabor濾波卷積圖像的過程中需要對每一個像素點進行運算，算法的運行時間和圖像尺寸的大小有關系，具體表現如表11所示，實驗在Matlab R2015a Intel(R) Core(TM) i5-6300HQ CPU @ 2.30 GHz 8 GB內存平臺上運行。隨著圖像尺寸的增大，算法的執行時間會迅速增長，在實際應用中使用圖像處理方法減小圖像尺寸進而減少算法執行時間。

Table 11 Execution time of quaternion Gabor for images of different scales表11 圖像尺寸和算法執行時間

6 結束語

本文提出四元數Gabor濾波和四元數Gabor濾波的卷積算法，提取出圖像的多尺度、多方向、多通道的紋理特征，得到圖像更多的紋理信息。在之后的研究中，本算法將運用于彩色圖像分類和彩色圖像分割中。

與傳統Gabor濾波相比，本文提出的算法可以提取出多通道的Tamura紋理特征，與LBP方法相比，本文提出的算法可以提取出多尺度和多方向的Tamura紋理特征。通過實驗可以看出，本文提出的算法與傳統Gabor濾波器和LBP相比，可以最大程度保留原圖像的Tamura紋理特征，提取的特征圖像質量高于LBP特征的。由于算法和四元數相結合，該算法時間復雜度較高，在提取多方向的紋理特征時，特征圖像對比度較低，紋理特征不明顯，魯棒性差。