分層紋理特征和梯度特征融合的圖像分類

分層紋理特征和梯度特征融合的圖像分類

李歡歡，萬源，童恒慶，吳克風

(武漢理工大學 理學院，湖北 武漢 430070)

摘要：為了提高分類檢索和識別的準確率，提出了分層紋理特征和梯度特征融合的方法，即分層中心對稱局部二值模式(CS-LBP)和梯度方向直方圖(HOG)的特征融合方法。首先，對原始圖像進行多次CS-LBP特征的提取，得到3層不同的特征圖像；然后對特征圖像進行大小相等、不重疊分塊，分別提取每塊CS-LBP特征和HOG特征，形成每一層的特征；再將特征圖像的特征進行融合。分別在標準圖像庫和人臉庫上進行仿真，研究結果表明：提出的分層融合方法的分類查準率和識別率比傳統方法分別提高了15%和10%。

關鍵詞：中心對稱局部二值模式;梯度方向直方圖;分層特征;特征提取

基金項目：國家自然科學基金重點項目(91324201);國家自然科學基金項目(81271513);武漢理工大學自主創新基金項目(2013-Ia-017)

作者簡介：李歡歡(1989-),女,河南鄭州人,碩士生;萬源(1976-),女,湖北武漢人,副教授,博士,碩士生導師,主要研究方向為機器學習及圖像處理等.

收稿日期：2014-04-09

文章編號：1672-6871(2015)01-0052-06

中圖分類號：TP391.4

文獻標志碼：A

0引言

特征提取方法是圖像分類檢索和識別的關鍵[1]。局部二值模式[2]( LBP)描述算子，是一種簡單且準確率較高的紋理特征提取算子，但存在維數過高且對紋理區域不具有魯棒性的弊端。梯度方向直方圖(HOG)特征是由文獻[3]提出的一種檢測方法，其通過圖像局部區域的梯度方向和梯度強度的分布情況來很好地表示局部形狀特征。文獻[4]提出了一種中心對稱局部二值模式(CS-LBP)算子，能很好地描述圖像的局部特征，其減小了計算復雜度且大大降低了特征表示的維數，但存在提取紋理信息不完整的缺點。針對這些不足，學者提出了很多改進的方法。文獻[5]提出了多級CS-LBP特征融合的方法，利用原始圖像的多級特征的融合來進行人臉的分類識別。文獻[6]提出了多尺度LBP特征，利用多尺度LBP特征提取人臉圖像紋理特征進行分類識別。文獻[7]提出了基于塊和圖像的HOG與LBP的融合方法，利用其與BoW模型結合進行圖像分類檢索識別。

文獻[5-6]并未充分考慮紋理和輪廓邊緣特征的結合，基于文獻[7]的方法，本文提出了一種特征融合方法，即基于分層CS-LBP的思想，同時提取分層HOG特征，將兩種特征進行融合，得到圖像最終的特征表示。CS-LBP特征主要提取圖像的紋理信息，HOG特征集中在邊緣形狀信息的提取上，兩者的分層融合在一定程度上起到了互補的作用，且在分層CS-LBP特征的基礎上充分考慮HOG特征能夠更準確地表示圖像。

1特征方法

1.1　LBP特征和CS-LBP特征

局部二值模式(LBP)特征最初是由文獻[8]提出的一種在灰度范圍內非常有效的紋理譜描述符，后被進一步拓展為任意鄰域大小的描述符。LBP的基本原理是對于以中心像素為中心的N鄰域像素，比較中心像素與其鄰域像素之間的灰度值大小，用布爾型函數來表示最終結果[9-10]。LBP算子的計算公式為:

(1)

式中：gi(i=1,…,N)表示以gc為中心的圓域中的N個像素點；R為圓域的半徑。

LBP特征只考慮了鄰域像素與中心像素的灰度關系，并不能完全有效地反映局部紋理特征，且維數較高(若鄰域為N，則維數為2N-1)[11]。文獻[4]提出了CS-LBP算子，維數為16維，通過與中心像素對稱的4對像素之間的灰度關系來描述局部紋理模式，即擴展的CS-LBP算子的計算公式為:

(2)

式中：閾值T是用于判定局部紋理區域的平坦性，文獻[4]建議閾值T取灰度范圍的1%;gi、gi+N/2是關于中心像素對稱的像素對。

1.2　HOG特征

HOG特征利用相互重疊的局部對比度歸一化技術，在一個大小統一、網格密集的細胞單元上進行計算，是描述邊緣和形狀信息最好的特征之一。HOG特征提取的具體過程[12]為：

(Ⅰ)為了消除光照的影響，對彩色圖像進行歸一化。

(Ⅱ)將樣本圖像分割為若干個塊，每塊由相鄰的4個單元組成，每個單元由8×8像素組成，塊與塊之間采用重疊兩個單元的方式進行滑動。然后，計算每個單元的直方圖特征，直方圖橫坐標表示像素點梯度的方向，由于CS-LBP的特征是16維的，因此，本文把梯度方向360°平均劃分為16個區間。統計所有像素點各個方向的16個區間的直方圖特征，從而得到每個單元的直方圖特征，進一步得到每塊的直方圖；再對每塊內的直方圖進行歸一化，以進一步消除光照和陰影的影響。

(Ⅲ)最后，得到每個單元的16維的特征向量，從而得到每塊(4個單元)的64維的特征向量，將整幅圖像所有塊的特征串聯得到圖像的整體HOG特征。

2特征融合方法

CS-LBP算子計算簡單、速度快且提取特征維數低，同時對圖像的灰度變化保持單調不變性，但是其單獨使用提取的特征不完整，且對于復雜圖像提取的準確率比較低[13]。HOG特征能很好地描述圖像的邊緣信息，從而表示圖像局部形狀變化；量化位置和方向在一定程度上對平移和旋轉起到了抑制作用，利用分塊分單元的處理方法能夠更好地表示圖像局部像素點之間的關系，其利用局部區域的梯度強度和方向直方圖來構造圖像特征。

2.1　分層CS-LBP特征和HOG特征

CS-LBP算子提取的特征依然是灰度值，因此，為了提取圖像更多更豐富的紋理特征，完整地得到原始圖像的灰度變化情況，利用CS-LBP算子進行多次特征提取，得到3幅不同的CS-LBP特征提取圖像。在特征提取圖像的基礎上，再次對特征圖像進行HOG特征的提取，即同時得到了分層HOG特征。一幅恐龍圖像的分層CS-LBP特征如圖1所示。

圖1　3層CS-LBP特征提取圖像

從圖1可以看出:圖1a為恐龍的原始圖像；圖1b能清晰地表示恐龍的輪廓和細節，具有很強的描述圖像的能力；雖然圖1c是第2層特征提取圖像，但是恐龍的形狀、頭部和尾巴的細節還是比較清楚，因此，第2層特征圖像依然有助于圖像特征的表示；圖1d雖然沒有圖1b清晰，且其表示能力弱于圖1a和圖1b，但是其依然能夠清晰地看到恐龍的形狀信息和紋理信息，即包含了對圖像分類有用的信息。為了考慮圖像完整的信息，本文利用分層的CS-LBP特征結合HOG特征，利用整體和局部結合的信息進行圖像分類檢索。

2.2　特征融合步驟

基本思想是對得到的特征圖像提取分層CS-LBP特征，基于分層CS-LBP特征提取分層HOG特征，然后將兩種特征進行串聯級聯，形成圖像的最終特征。算法具體步驟如下：

(Ⅰ)圖像預處理，利用雙線性插值將圖像庫圖像統一為64×64像素的灰度圖像。

(Ⅱ)對灰度圖像依次進行n次CS-LBP特征的提取，得到n幅特征提取圖像，即CS-LBP(n),n=1,2,3。

(Ⅲ)對CS-LBP(n),n=1,2,3特征提取圖像進行相同方式的分塊，劃分成大小相等、互不重疊的均勻子塊。

(Ⅳ)統計所有子塊圖像的CS-LBP直方圖特征，將所有子塊的直方圖特征順序級聯成每層CS-LBP(n),n=1,2,3特征提取圖像的特征向量，即得到分層CS-LBPi(i=1,2,3)特征。

(Ⅴ)提取每層CS-LBP(n),n=1,2,3的所有子塊圖像的HOG特征，并將所有子塊的HOG特征進行順序級聯，形成每幅特征提取圖像的第2個特征向量，即得到分層HOGi(i=1,2,3)特征。

(Ⅵ)將每層CS-LBP(n),n=1,2,3特征提取圖像對應的兩個特征向量進行串聯級聯，形成每幅圖像的融合特征表示，即分層CS-LBP特征與基于分層CS-LBP特征的分層HOG特征融合的特征

[CS-LBPiHOGi],i=1,2,3。

(Ⅶ)將3層特征提取圖像的所有特征進行順序級聯，得到圖像的完整特征，即

[CS-LBP1HOG1CS-LBP2HOG2CS-LBP3HOG3]。

(Ⅷ)分類檢索階段，利用k-近鄰分類器進行分類。

3仿真分析

為了驗證提出算法的有效性，在Corel標準圖像庫上進行分類檢索仿真，在ORL人臉庫上進行分類識別仿真，并且比較了5種特征提取方法的分類檢索準確率，即比較5種融合算子LBP+HOG、CS-LBP+HOG、CS-LBP1+HOG1、CS-LBP2+HOG2、CS-LBP3+HOG3的性能。實驗中將所有圖像利用雙線性插值統一為64×64像素。

3.1　圖像數據庫

本文在Intel i3 2.53 GHz CPU，2 GB內存，Win7操作系統，Matlab R2011b軟件下進行仿真。Corel標準圖像庫包含10個語義類共1 000幅自然圖像，每類100幅圖像，圖像大小為384×256像素或256×384像素；圖像類別依次為：人臉、天空、建筑、巴士、恐龍、大象、花朵、駿馬、雪山、食物。仿真中每類選取50幅圖像做訓練，其余50 幅圖像做測試，即訓練集和測試集都是500幅。

3.2　相似性度量

通常直方圖之間的相似性度量方法是利用χ2距離，χ2距離函數的公式為：

(3)

式中：s為圖像所分的子塊個數；m為子塊圖像直方圖的個數；H1為訓練樣本的一維直方圖特征向量；H2為測試樣本的一維直方圖特征向量。實際應用中由于直方圖特征的每一維的大小表示的是出現的次數，而某些出現的次數可能為零，這就導致了χ2距離函數的分母很可能為零，使得程序無法進行。為了解決這類問題，本文將分母設定為1，即假設平均兩個出現次數為零的每個出現1/2次，這個假設并不影響最終的結果，因為1/2對于次數的統計影響不大，因此距離就變成了式(3)后面的形式。從式(3)中可以看出設定后的距離類似于歐式距離，且是歐氏距離的平方，既可以將測試樣本和訓練樣本的距離更清晰地表示出來，也能避免程序出現問題。

3.3　特征融合算法比較

本文比較了5種特征融合方法，即：

(Ⅰ)LBP+HOG算子，即將原始圖像的LBP特征和HOG特征進行串聯級聯。

(Ⅱ)CS-LBP+HOG算子，即將原始圖像CS-LBP特征和HOG特征進行串聯級聯。

(Ⅲ)CS-LBP1+HOG1算子，即對圖像提取1次CS-LBP特征，得到特征[CS-LBP1HOG1]。

(Ⅳ)CS-LBP2+HOG2算子，即對圖像提取2次CS-LBP特征，得到融合特征[CS-LBP1HOG1CS-LBP2HOG2]。

(Ⅴ)CS-LBP3+HOG3算子，即對圖像提取3次CS-LBP特征，得到融合特征[CS-LBP1HOG1CS-LBP2HOG2CS-LBP3HOG3]。

3.4　性能評估及分析

仿真中使用查準率-查全率(RP)曲線進行檢測和識別的性能評價，對5種特征融合方法進行結果評價和分析。采用“查準率”和“查全率”作為評價標準，查準率表示檢索到的目標圖像數與被檢索的圖像數的比值，查全率表示檢索到的目標圖像數與數據庫中所有的圖像數的比值。不同算子的RP曲線如圖2所示。

圖2　不同特征融合方法的整體檢索性能

圖2比較了7種特征的整體分類檢索性能。由圖2可知：融合特征CS-LBP2+HOG2的分類檢索效果最好，由于提取了不同的兩層特征，提取圖像的所有的紋理特征和形狀特征，使得特征表達比較完整，對紋理特征具有更好的魯棒性，且不包含過多的冗余信息。CS-LBP3+HOG3的整體分類檢索性能也比較好，CS-LBP和HOG的性能最差，其余的特征性能處于中間。由此可以看出:分層特征的融合比不分層特征的融合提取特征效果更好，圖像表示更完整，且能表達更豐富的紋理和形狀信息。即本文提出的方法是有效的，對自然圖像的分類效果比較好，其比傳統的單獨特征提取方法[11,13]的效果好很多。

(4)

由表1可知：分層融合特征的平均查全率和平均查準率都比較好，分層CS-LBP2+HOG2的融合特征的平均查全率和平均查準率優于其他特征融合方法，且其建筑類的平均查準率比單獨的CS-LBP+HOG和LBP+HOG方法高15%?？铸垐D像背景簡單，因此，5種融合方法對恐龍類別的平均查全率和平均查準率都很高，接近1；而人臉、天空、建筑、巴士、食物的圖像背景有重復，且比較復雜，因此，5種融合方法的平均查全率和平均查準率比較低，即進一步驗證了提出的融合方法的有效性。

在Corel標準圖像庫的500幅測試圖像中，針對每幅圖像分別統計5種算子特征提取的響應時間，最后統計5種算子的時間值并計算500次的平均值作為每種算子的平均響應時間T，s。表2所示為本文5種算子分別對整個圖像庫的平均響應時間的比較。

從表2可以看出：在分層和不分層的特征融合方法中，平均響應時間都是隨著維數的上升而增加。整體看來雖然CS-LBP2+HOG2平均響應時間處于中間，但是算子的整體性能、平均查全率和平均查準率都取得了很好的效果。與文獻[11，13]比較，CS-LBP2+HOG2的效果更優，且時間復雜度較低。

通過分層和不分層的算子的比較，實驗結果說明了分層特征融合的方法優于不分層特征融合的方法，分層的特征融合方法比不分層的特征融合方法的整體性能要好，且CS-LBP2+HOG2算子在分層方法中更優。實驗進一步驗證了本文提出的分層融合方法的有效性。

表1　融合方法的平均查準率和平均查全率

表2　平均響應時間比較　　s

3.5　ORL人臉庫仿真結果

ORL人臉數據庫由40個人、每人10幅圖，共400幅圖像組成，圖像的分辨率為112×92(10 304)像素，灰度級為256，包括表情、微小姿態和20%以內的尺度變化。選擇每個人10幅圖像中的5幅作為訓練，其余5幅作為測試，則訓練集和測試集均為200個人臉圖像樣本。為了證實提出算法的可行性，在ORL人臉庫上進行仿真。仿真步驟如下：

(Ⅰ)對人臉圖像進行預處理，利用雙線性插值歸一化人臉圖像，統一為64×64像素。

(Ⅱ)利用提出的方法進行人臉特征提取，與單一的分層方法進行比較，設定分塊大小為8×8像素(分塊大小要適中，若太大則局部信息可能被忽略，若太小則會增加計算復雜度，易引入圖像噪聲，因此選取8×8像素)。

(Ⅲ)識別階段利用最近鄰分類器進行分類判別。

表3為算法在ORL人臉庫上的識別率(卡方距離)。由表3可知：分層CS-LBP特征與HOG特征的融合方法的識別率高于單獨分層和其他兩種融合方法的識別率。與其他方法相比，CS-LBP2+HOG2的維數適中，特征提取時間短，而識別率卻高達98%，進一步驗證了提出的分層融合方法的有效性。LBP+HOG的識別率也較高，但是其維數是CS-LBP2+HOG2的4倍，且提取特征耗時較多。與單一特征提取方法相比，CS-LBP2+HOG2的識別率比CS-LBP高6.5%，比HOG特征高10.0%，且特征提取時間只比CS-LBP算法多0.1 s,卻比HOG算法少0.3 s。人臉庫的仿真結果進一步驗證了提出方法的有效性和可行性。

4結論

CS-LBP特征能有效地提取圖像的紋理信息，HOG能提取圖像完整的邊緣和形狀信息。本文提出了一種特征融合方法和表示模型，融合紋理特征和梯度方向特征，即分層CS-LBP和HOG的特征融合方法。在Corel標準圖像庫和ORL人臉庫上進行實驗，驗證了提出的融合特征的有效性，其仿真結果優于不分層的特征融合方法，也優于單獨的特征提取方法。實驗結果證明了CS-LBP2與HOG2特征融合方法最優，表明每層CS-LBP特征和每層HOG特征之間有互補的作用，但是層數增多會帶來相對較多的冗余信息和“維數災難”，因此，3層的效果相對兩層較差。融合方法增強了圖像特征的表示能力，并且顯著提高了圖像分類識別性能。

參考文獻：

[1]鐘金榮,杜奇才,劉熒,等.特征提取和匹配的圖像傾斜校正[J].中國圖象圖形學報,2013,18(7):738-745.

[2]宋克臣,顏云輝,陳文輝,等.局部二值模式方法研究與展望[J].自動化學報,2013,39(6):731-744.

[3]Dalal N,Triggs B.Histograms of Oriented Gradients for Human Detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Diego,CA:IEEE Computer Society,2005:886-893.

[4]Heikkil? M,Pietikainen M,Schmid C.Description of Interest Regions with Local Binary Patterns[J].Pattern Recognition,2009,42(3):425-436.

[5]盧建云,何中市,余磊.基于多級CS-LBP特征融合的人臉識別方法[J].計算機工程與科學,2010,32(6):48-51.

[6]王瑋,黃非非,李見為,等.使用多尺度LBP特征描述與識別人臉[J].光學精密工程,2008,16(4):696-705.

[7]Yu J,Qin Z C,Wan T,et al.Feature Integration Analysis of Bag-of-Features Model for Image Retrieval[J].Neurocomputing,2013,120:355-364.

[8]Ojala T,Pietikanien M,Harwood D.A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J].Pattern Recognition,1996,29(1):51-59.

[9]高攀,郭理,汪傳建.特征集和分類器融合技術在表情識別中的應用[J].河南科技大學學報:自然科學版,2014,35(2):48-55.

[10]楊得國,楊勐,姜金娣,等.一種改進的局部區域特征醫學圖像分割方法[J].河南科技大學學報:自然科學版，2012,33(2):30-33.

[11]毋小省.改進的旋轉不變區域紋理譜描述符[J].光電子·激光,2011,22(5):783-787.

[12]陳銳,彭啟民.基于穩定區域梯度方向直方圖的行人檢測方法[J].計算機輔助設計與圖形學學報,2012,24(3):372-377.

[13]賈偉,王正勇,張杰,等.一種基于改進的CS-LBP算子紋理圖像自適應檢索方法[J].微電子學與計算機,2013,30(9):75-78.