基于圖像表面形狀指數(shù)的圖像紋理特征提取

申 柯，陳 熙，張云飛

（貴州師范大學(xué)大數(shù)據(jù)與計算機科學(xué)學(xué)院，貴陽 550025）

0 引言

在計算機視覺中，我們一般通過分析圖像紋理來獲取相關(guān)的信息。像人的皮膚表面、材料表面、各種織物等都有其獨特的紋理特征［1］。這些紋理特征已被廣泛應(yīng)用于生物特征識別［2］、醫(yī)學(xué)圖像分析［3］、遙感和視覺檢測［4］等。紋理研究工作已經(jīng)持續(xù)了幾十年，但它對于我們來說仍然是一個難題，許多研究者通過不斷的實驗尋找更有效的紋理特征描述方法。

LBP［5］最初被提出用于紋理分析，它在計算復(fù)雜度和識別率方面表現(xiàn)出獨特的優(yōu)勢。后來，在Ojala 等［5］的工作基礎(chǔ)上，大量LBP 的變體被提出。Tan 等［6］基于LBP 提出了局部三值模式（local ternary pattern，LTP）用于人臉識別，該算法引入一個閾值函數(shù)，將原始LBP 擴展成三值編碼。Hadizadeh［7］引入了Gabor濾波器，開發(fā)出了局部Gabor小波二元模式，實驗驗證它可以同時抵抗噪聲和旋轉(zhuǎn)的影響。近年來，隨著深度學(xué)習(xí)的發(fā)展，人們提出了基于CNN 的紋理識別方法，但是需要大型的數(shù)據(jù)庫才能夠凸顯其優(yōu)勢［8］。

上面提及的LBP 算法以及其改進算法在紋理識別方面取得了巨大的成功，但是仍然存在一些未解決的問題：①應(yīng)對噪聲影響，識別率過低的問題；②其旋轉(zhuǎn)不變模式是離散的，不是連續(xù)的；③在準(zhǔn)確性和效率之間進行權(quán)衡仍然是一個棘手的問題。因此，本文對這幾個尚未解決的問題提出了相應(yīng)的方案。

本文提出了一種新的混合特征的提取方案來改善這些缺陷，該方案通過引入添加了形狀指數(shù)的LBP 描述符對局部凹凸模式方法進行補充。基于形狀指數(shù)的LBP 描述符是一種高效的連續(xù)旋轉(zhuǎn)不變描述符，形狀指數(shù)由圖像表面主曲率構(gòu)造，它可以提取得到圖像表面宏觀和微觀結(jié)構(gòu)紋理信息，既保留了原始LBP 簡單有效的特點，又引入了連續(xù)旋轉(zhuǎn)不變性和高分辨率特性。所以，我們提出了一種更加魯棒的SILCCP 的混合特征提取模式，通過融合圖像表面紋理的結(jié)構(gòu)信息和凹凸性兩方面的特征對紋理進行分析，改善傳統(tǒng)的特征提取方法。通過必要的理論分析以及大量的紋理識別實驗研究，證明了我們提出的方法擁有良好的性能。

1 相關(guān)工作

1.1 LBP算法描述

LBP 是一種用來提取局部紋理特征的紋理描述符。原始的LBP 是一個強大的紋理描述符，它通過用中心值對每個像素的3×3 鄰域進行閾值化來編碼每個像素。對于一個3 × 3 局部區(qū)域，核函數(shù)的定義LBP算子如式（1）所示:

其中P為所涉及的鄰域像素個數(shù)，R為中心像素gc周圍的鄰域半徑，gP為其鄰域像素的灰度值，S(x)為閾值函數(shù)，對S(x)的結(jié)果進行加權(quán)，得到一串二進制數(shù)。

隨著采樣點數(shù)量的增加，二值模式的數(shù)量將急劇增加，導(dǎo)致數(shù)據(jù)太多，直方圖太稀疏，無法很好地反映圖像特征。為了提高統(tǒng)計性能，提出了一種統(tǒng)一模式來降低LBP 算子模式類型的維數(shù)。表示為，如式（3）所示:

其中，U(LBPP,R)用于計算LBPP,R中“0/1”或“1/0”的轉(zhuǎn)換。上標(biāo)riu2 反映了使用不大于2 的U(LBPP,R)個值的旋轉(zhuǎn)不變量的統(tǒng)一模式，所有其他情況都?xì)w因于P+1 個統(tǒng)一的二進制模式。均勻LBP 通過將2^P指數(shù)模式轉(zhuǎn)換為P（P-1）+2個模式來減少內(nèi)存占用，通過降低特征維數(shù)來減少高頻噪聲的影響。

1.2 LCCP算法描述

LCCP 及其擴展是一種性能優(yōu)良的灰度和旋轉(zhuǎn)不變的局部紋理描述子。Chen 等［9］提出了LCCP 以及LCCP 的相關(guān)擴展，并且實驗證明了LCCP 以及其擴展在紋理識別上的獨特優(yōu)勢，尤其是對光照的魯棒性更強。圖1 顯示的是通過雙線性插值的方式構(gòu)造出新的采樣點，得到了8個方向的凹凸信息構(gòu)造8位LCCP模式。

圖1 插值后的LCCP信息

在圖1 中，中心像素點X0的8 位LCCP 模式以式（5）表示：

1.3 主曲率

在微分幾何中，主曲率作為分析局部紋理強度的基本屬性，在描述目標(biāo)圖像的空間紋理結(jié)構(gòu)時具有諸多優(yōu)點。對于三維空間中可微曲面上任意一點P0點處的法向量是唯一的。在60點處有無窮多個包含法向量n的法平面。此外，有一對法平面可以使它們與曲面的交點在所有曲率中達到最大值或最小值。最小曲率表示P0點處彎曲程度最小的曲線，其曲率用λ1表示。垂直于最小曲率平面的曲率為最大曲率，用λ2表示，這兩個曲率統(tǒng)稱為主曲率。因此，主曲率能夠準(zhǔn)確地反映紋理圖像的宏觀和微觀結(jié)構(gòu)信息，而且無論圖像以任何方向旋轉(zhuǎn)任意角度，主曲率都能保持恒定，非常適合作為紋理分類的補充信息。圖2為主曲率在局部圖像表面的示意圖。

圖2 圖像表面主曲率表示

2 相關(guān)方法

2.1 形狀指數(shù)的構(gòu)造方法

在微分幾何中，主曲率可以由二階微分運算得到，所以，我們通過計算Hessian 矩陣的特征值來求取圖像的主曲率，從而構(gòu)建形狀指數(shù)。給定一個灰度圖像I(x,y)，構(gòu)建形狀指數(shù)的過程如下所示：

步驟一：計算圖像I(x,y)的二階高斯導(dǎo)數(shù)Gxx，Gxy，Gyx，Gyy。

其中，

計算標(biāo)準(zhǔn)差σ的高斯算子如式（6）所示：

步驟二：構(gòu)建標(biāo)準(zhǔn)差為σ的Hessian矩陣

其中，*為卷積操作。

步驟三：根據(jù)矩陣特征值的乘積等于這個矩陣的行列式(detH)，與矩陣特征值的和等于矩陣的跡(trH)列兩個等式可以解出兩個特征值λ1與λ2。

通過引入(λ-λ1)(λ-λ2)=0，可以簡化特征值的求解運算，可以得到：

將式（7）代入式（8）中，即可得到最大和最小的兩個特征值λmax和λmin。

步驟四：結(jié)合λmax和λmin構(gòu)建形狀指數(shù)，在二維圖像上進行檢測。得到形狀指數(shù)的定義式如式（10）所示：

2.2 相似性度量

在紋理分類階段，我們使用直方圖交叉距離對得到的測試樣本直方圖和訓(xùn)練樣本直方圖進行相似性度量，直方圖交叉距離可以快速地處理大量的數(shù)據(jù)，適用于灰度直方圖之間的距離匹配。假設(shè)訓(xùn)練集圖像I和測試集圖P兩幅圖像特征分別為，然后計算識別成功率。其中直方圖交叉距離公式如式（11）所示：

其中，Y表示融合子圖像數(shù)量，Z表示所生成融合特征向量的長度。

2.3 算法流程

圖3為本文的算法基本流程。首先對原始圖像進行了分塊處理。在后續(xù)實驗中，需要分別對分塊數(shù)為1 × 1、1 × 2、2 × 2、2 × 4、4 × 4的圖片提取其小塊的直方圖進行計算，最后連接所有分塊的直方圖信息進行匹配，得到最優(yōu)分塊的識別性能。使用形狀指數(shù)標(biāo)記圖像表面特征強度，對局部統(tǒng)一LBP的性能進行強化，使其獲得連續(xù)旋轉(zhuǎn)不變性。將強化的LBP 與噪聲魯棒的LCCP進行算法融合，提取圖像紋理特征信息。提取特征直方圖。將強化的LBP 特征直方圖與LCCP 特征直方圖進行融合，得到最終的特征向量。

圖3 算法流程圖

3 實驗結(jié)果與分析

在本小節(jié)中，我們對提出方法的性能進行多維度的分析，并與大量先進的紋理分類方法進行了全面的比較評估，驗證了所提出方法在紋理識別上的優(yōu)越性。為了驗證SI-LCCP 描述符的優(yōu)勢，在四個具有挑戰(zhàn)性的紋理數(shù)據(jù)庫：CUReT 紋理數(shù)據(jù)庫、ORL 人臉數(shù)據(jù)庫、Extend Yale B 人臉數(shù)據(jù)集以及香港理工大學(xué)Poly U 掌紋圖像數(shù)據(jù)集上進行了圖像分塊與分類實驗，與現(xiàn)階段最先進的算法進行比較，驗證了算法在應(yīng)對旋轉(zhuǎn)不變性方面具有獨特優(yōu)勢。為了驗證算法應(yīng)對噪聲的有效性，還對噪聲環(huán)境下的圖像進行實驗。

3.1 數(shù)據(jù)集及實驗設(shè)置

ORL 人臉數(shù)據(jù)集是由英國劍橋的Olivetti 研究實驗室創(chuàng)建的。包含400 張圖像，其中包括40 個人，每人10 張在不同的時間、不同的光照、不同的面部表情和面部細(xì)節(jié)環(huán)境下采集的，是人臉識別常用的數(shù)據(jù)集之一。圖4（a）是該數(shù)據(jù)集中截取的圖片樣本。圖4（b）截取的是Yale大學(xué)創(chuàng)建的Extend Yale B 人臉數(shù)據(jù)集，該數(shù)據(jù)集包括38個人，每人64張，共2432張在不同光照、不同表情和不同姿態(tài)下的人臉圖像，是一個非常有挑戰(zhàn)性的光照變化的數(shù)據(jù)集。圖4（c）是從香港理工大學(xué)Poly U 掌紋圖像數(shù)據(jù)集中截取的圖像，數(shù)據(jù)庫包含7752 幅BMP 圖像格式的灰度圖像，對應(yīng)386個人不同的掌紋。該數(shù)據(jù)集中所有原始掌紋圖像的分辨率為384 × 284 像素。我們選取其中100 個人，每人6 張掌紋圖像進行實驗驗證。

CUReT 紋理數(shù)據(jù)集是一個具有挑戰(zhàn)性的紋理識別數(shù)據(jù)集，它包含61 個類，每個類中包含205幅不同視角、尺度與光照下拍攝的圖片，有較大的類內(nèi)差異。我們隨機選擇其中48 幅圖像進行實驗，選取N張圖像作為訓(xùn)練數(shù)據(jù)，剩余作為測試數(shù)據(jù)。圖4（d）是數(shù)據(jù)集中選取的部分圖像樣本。

圖4 預(yù)處理樣本圖像

3.2 不同分塊下的實驗性能

圖像分塊對于實驗識別效果有著很大的關(guān)系，分塊過少可能會導(dǎo)致提取特征過少，而分塊過多可能導(dǎo)致噪聲的影響擴大。實驗中，我們在每個數(shù)據(jù)集中隨機選取樣本數(shù)的一半作為訓(xùn)練數(shù)據(jù)，剩余數(shù)據(jù)作為測試數(shù)據(jù)進行實驗驗證，為了保證隨機選取數(shù)據(jù)的有效性，我們每輪重復(fù)進行10 次實驗求取其平均值。從表1 的數(shù)據(jù)結(jié)果可以看出：ORL 數(shù)據(jù)集上在2 × 2 分塊時達到最佳的識別效果，分塊越多，其識別率會越低，在Extend Yale B 數(shù)據(jù)集上我們可以看出分塊越多，其提取的特征越細(xì)，識別效果越好。在Poly U 數(shù)據(jù)集上，在4 × 4 分塊的時候識別效果達到最佳。

表1 不同分塊下的平均識別率與標(biāo)準(zhǔn)偏差 單位：%

3.3 旋轉(zhuǎn)不變性驗證

CUReT 數(shù)據(jù)集包含了不同角度旋轉(zhuǎn)的圖像，存在顯著的視點、光照和旋轉(zhuǎn)的變化，并且具有較大的類內(nèi)差異，我們可以使用它來驗證融合形狀指數(shù)的算法在克服旋轉(zhuǎn)不變性等方面的獨特優(yōu)勢。為了得到更可靠的實驗結(jié)果，在CUReT 數(shù)據(jù)集上所有的實驗均進行了10 次并且最終結(jié)果以平均識別率為準(zhǔn)。同時證明本方法的有效性，在表2中與最新的研究成果以及非常經(jīng)典的方法進行了綜合比較。

表2 不同方法在CUReT數(shù)據(jù)集上的結(jié)果

通過與現(xiàn)階段先進方法的比較，本文算法在極具挑戰(zhàn)性的CUReT 數(shù)據(jù)集上取得了很好的效果，雖然數(shù)據(jù)集包含了許多旋轉(zhuǎn)、光照、視點等圖像，提出的方法都能有效面對。由此可見，本方法在一些變化比較小的數(shù)據(jù)集上也能提供穩(wěn)定的性能。

3.4 不同噪聲環(huán)境下的性能

為了評估本文算法在噪聲環(huán)境下的性能，我們給Extend Yale B 中的數(shù)據(jù)添加了不同種類的噪聲進行實驗驗證，并與經(jīng)典的同類型算法以及融合形狀指數(shù)之前的算法進行比較，并且將噪聲魯棒性很好的CS-LDP［19］加入到此次實驗。通過人為給圖像添加噪聲可以使得原本較高的識別率下降，因此，通過在添加噪聲環(huán)境下依舊能夠保持相對較高的識別率來說明該算法對噪聲具有魯棒性。

這一部分在Extend Yale B 數(shù)據(jù)集中進行實驗。實驗中在隨機選取的訓(xùn)練樣本上使用函數(shù)imnoise（Train_im，‘salt &pepper’，0.2）來添加椒鹽噪聲和使用imnoise（Train_im，‘poisson’）添加泊松噪聲。每類圖像隨機選取n個樣本作為訓(xùn)練集，剩余（64 -n）個樣本則作為測試數(shù)據(jù)（不進行添加噪聲）進行實驗。重復(fù)10 次實驗計算其平均識別率，實驗結(jié)果記錄在表3中。

表3 在Extend Yale B數(shù)據(jù)集中圖像加入噪聲情況下各算法的平均識別率 單位：%

4 結(jié)語

本文利用圖像表面形狀指數(shù)連續(xù)旋轉(zhuǎn)不變的特性，提出了一種有效的特征描述算子用于紋理分類。形狀指數(shù)基于主曲率構(gòu)造，主曲率能夠準(zhǔn)確地反映紋理圖像的宏觀和微觀結(jié)構(gòu)信息，無論圖像以任何方向旋轉(zhuǎn)任意角度，主曲率都能保持恒定。通過跟多種方法比較，結(jié)果證明了形狀指數(shù)的該特性有效改善了原來局部算法的旋轉(zhuǎn)不變性。并且將另一種局部凹凸模式LCCP 算法進行了融合，使得提取的紋理信息包含了圖像表面凹凸信息，在應(yīng)對噪聲方面獲得了更好的效果。我們分別添加兩種不同噪聲進行測試，本文算法對添加兩種噪聲的數(shù)據(jù)均獲得了更高的識別性能，證明了其應(yīng)對噪聲的魯棒性。在未來，希望能夠更深地挖掘圖像形狀指數(shù)的其他信息，希望其能夠?qū)y理識別與分類的研究提供新的思路。