局部二值模式及其擴展方法研究與展望

孫君頂　周業勇

(河南理工大學計算機科學與技術學院　河南 焦作 454000)

?

局部二值模式及其擴展方法研究與展望

孫君頂周業勇

(河南理工大學計算機科學與技術學院河南 焦作 454000)

摘要針對局部二值模式LBP(Local binary pattern)在圖像處理與模式識別方面表現出的實際應用價值，系統綜述當前LBP算子在不同應用領域的擴展方法。首先，簡要概述LBP算子的基本原理。其次，從鄰域拓撲結構角度、降低噪聲影響角度、編碼角度、降維角度與獲取旋轉不變性角度等五個方面對LBP算子近年來的相關擴展方法進行詳細梳理和歸納總結。最后，分析各類方法的相互關系與存在的問題，并指出未來LBP擴展的研究方向。

關鍵詞局部二值模式拓撲結構編碼旋轉不變性抗噪性

0引言

近年來，局部二值模式LBP引起了圖像處理和模式識別領域學者的廣泛關注。LBP算子最初由Ojala等[1]引入并應用于紋理特征描述，由于其原理相對簡單，計算復雜度低。同時融合了紋理的結構特征和統計特征，且不受光照變化等因素的影響。各種針對LBP算子的擴展方法層出不窮，并且其應用范圍也由紋理分析領域進一步擴展到人臉識別、目標跟蹤與檢測、醫學圖像分析等多個應用領域[2-4]。

為了便于挖掘LBP方法的性能及進一步對其進行擴展與改進，有必要對現有LBP相關方法進行歸納和總結。為此，從LBP算子相關擴展方法的特點，將它們劃歸為五種類型，并分別針對每類擴展方法進行梳理和總結。所劃分的五個類別分別為：(1) 從鄰域拓撲結構角度對LBP進行擴展；(2) 從降低噪聲影響角度對LBP進行擴展；(3) 從編碼方式角度對LBP進行擴展；(4) 從獲取旋轉不變性角度對LBP進行擴展；(5) 從降維角度對LBP進行擴展。

1基本LBP算子

LBP首先由Ojala等人[1]提出。針對圖像3×3的窗口，以窗口中心像素點的灰度值為閾值，將相鄰的8個像素的灰度值與其作比較。大于該閾值的像素點，該像素點位置被標記為1，否則標記為0。該3×3窗口內的8個像素點可以產生一個8位二進制碼，通過給不同位置賦予不同權重，可以將該8位二進制碼轉換為一個無符號的整數，該數即被定義為該窗口的LBP值。然后統計圖像中不同LBP值出現的概率作為圖像的特征描述，即LBP算子。圖1給出了8-鄰域LBP值的基本編碼過程。

圖1　LBP編碼過程示意圖

LBP值的定義如下式所示：

(1)

其中，pc表示鄰域中心像素點的灰度值，pi(i=0,1,…,P-1)表示鄰域像素點的灰度值。

2LBP算子擴展

本節從鄰域拓撲結構、降低噪聲影響、編碼方式、降維與獲取旋轉不變性五個角度對LBP的各類擴展方法進行了歸納和總結。

2.1從鄰域拓撲結構角度進行擴展

基本LBP算子采用的拓撲結構是如圖1所示的3×3鄰域。目前從鄰域拓撲結構角度對LBP進行擴展的方法主要分為采用固定拓撲結構與采用自適應拓撲結構兩種擴展方式。

對于采用固定拓撲結構的擴展方式，Ojala等[5]首先將基本LBP算子擴展至任意圓形鄰域(P,R)(P代表鄰域像素的個數，R代表鄰域半徑。圖2(a)給出了3種不同局部鄰域的拓撲結構)；Liao等[6]將LBP算子擴展到橢圓形鄰域，以滿足基于LBP算子描述人臉特征的特殊要求，同時將圓形鄰域作為橢圓形鄰域的一種特殊形式。圖2(b)給出了橢圓形鄰域的示例，其中A表示橢圓的長軸，B表示橢圓的短軸。當A與B相等時，橢圓鄰域就退化為圓形鄰域。由于人臉許多的重要組成部分(如眼睛、嘴巴)都是橢圓形的結構，因此對人臉圖像來說，橢圓鄰域具有更強的識別能力。結合人臉結構特點，Abdullah等[7]進一步提出了對稱局部圖結構SLGS(Symmetric Local Graph Structure)來描述人臉特征，其基本拓撲結構與計算示例如圖3所示。Nanni等[8]從不同角度研究了用圓、橢圓、拋物線、雙曲線、阿基米德螺線等不同的拓撲結構類型對LBP進行擴展的方法。為了能夠有效地在LBP算子中融入圖像邊緣信息，Murala等[9]提出了LMeP(Local Mesh Patterns)算子，圖4給出了LMeP算子所采用的3種基本拓撲結構。與文獻[5-8]拓撲結構不同的是，LMeP通過比較鄰域像素相互間的灰度值來進行編碼，沒有考慮鄰域中心像素的影響。

圖2　不同鄰域示例

圖3　SLGS計算示例

圖4　LMeP(8,1)3種基本拓撲結構

同基本LBP算子一致，文獻[5-9]仍是通過單個像素間的灰度值的比較來進行編碼。Liao等[10]提出了多尺度塊局部二值模式MB-LBP(Multi-scale Block LBP)，該算子采用分塊區域的像素灰度平均值代替基本LBP中的單個像素的灰度值，其基本原理如圖5所示。對于9×9的區域，首先計算每個次級區域(3×3區域)的灰度均值，然后以中心區域的灰度均值為閾值，按照基本LBP方法，得到MB-LBP編碼。MB-LBP算子不僅包含圖像的微觀結構，而且融入了圖像的宏觀結構，因此比LBP算子更具魯棒性，但如何設定MB-LBP中塊的大小還需要進一步研究。在文獻[5,10]的基礎上，Wang等[11]提出了LNIRP (Local Neighboring Intensity Relationship Pattern)算子，其采用的拓撲結構如圖6所示。該結構固定鄰域中采樣點的個數(P)，采樣點的灰度值采用以該點為中心的邊長為R的矩形鄰域內的像素的灰度均值代替。同理，在文獻[5,10]的基礎上，Wolf等[12]提出了TP-LBP(Three-Patch LBP)算子與FP-LBP(Four-Patch LBP)算子。TP-LBP算子是以三個分塊的值進行比較為基礎來編碼。對于圖像中的每個像素點，首先以該像素點為中心設定N×N的分塊，在半徑為r的圓上均勻分布P個分塊，然后以角度α為間距取一對分塊，再通過分別比較這對分塊與中心像素分塊的均值進行編碼。FP-LBP算子以內圓兩個對稱分塊與外圓兩個成α度分塊進行比較為基礎來編碼，其編碼思想類似TP-LBP算子。圖7和圖8分別給出了TP-LBP與FP-LBP算子的基本拓撲結構與計算示例。

圖6　文獻[11]采用的拓撲結構圖

圖7　P=8、N=3、α=2時TP-LBP計算示例

圖8　P=8、N=3、α=1時FP-LBP計算示例

除此之外，還存在其他一些類型的固定拓撲結構擴展方法。如：Dan 等[13]通過考慮了不同尺度空間LBP特征間的關系，提出了JLBP(Joint Local Binary Patterns)算子，采用不同尺度下LBP特征的聯合分布來提高LBP算子的性能；Zhao等[14]將傳統的LBP模式擴展到三維拓撲空間，將紋理的外觀特征和運動特征結合起來，用于表示動態紋理，并提出了兩種時空域上的描述子：VLBP (Volume Local Binary Patterns)和LBP-TOP (Local Binary Patterns on Three Orthogonal Planes)，并應用于人臉識別領域；Qian等[15]提出了PLBP(Pyramid Local Binary Pattern)算子，通過對圖像進行金字塔分解，構建多尺度空間，然后提取分解后的每一幅圖像的二值模式特征，圖9給出了金字塔示意圖結構。

圖9　金字塔示意圖

采用自適應拓撲結構的方法近年來得到了較多研究，與文獻[5-15]采用固定拓撲結構不同的是，該類方法可以通過學習方式選擇最優的拓撲結構。Maturana 等[16]通過啟發式的上山方法來選擇局部拓撲結構;Lei等[17]提出基于數據驅動的局部優化策略與判別學習策略來確定局部拓撲結構;Ren等[18]結合VLBP[14]的思想，進一步提出了局部拓撲結構優化的方法。

2.2從降低噪聲影響角度對LBP進行改進

基本LBP算子是以中心像素灰度值作為閾值和周圍像素灰度值進行比較，因此，像素灰度值小的變化就可能導致編碼結果完全不同。如圖10所示，中心像素的灰度值由55變為30，對應的LBP編碼由“00000000”變為了“00011101”，這直接導致基本LBP算子對圖像噪聲敏感。

圖10　噪聲對LBP算子影響

為了提高LBP算子的抗噪性，最簡單的一類方法是采用濾波進行消噪處理。Hafiane等[19]提出了MBP(Median Binary Pattern)算子，該算子采用鄰域像素與中心像素的灰度中值作為閾值，即采用中值濾波的消噪方法；文獻[20]采用局部鄰域內所有像素的灰度均值作為閾值進行定義;文獻[21]采用鄰域像素與中心像素灰度的加權平均作為閾值進行定義，上述兩種方法是典型的均值濾波方法。2.1節中提到的MB_LBP算子[10]、FP_LBP算子與TP_LBP算子[12]實際上也進行了均值濾波處理，同理也起到了消噪的效果。

雖然濾波方法有效降低了噪聲影響，但它們沒有考慮鄰域內像素間的灰度差異信息。為此，文獻[22-25]將局部二值模式擴展到了局部多值模式，目的是在LBP中融入像素間的灰度差異信息。典型的方法是Tan及Triggs[22]提出局部三值模式LTP(Local Ternary Pattern )算子，在LTP的定義中，式(1)中的函數s被定義為了如下形式：

(2)

其中，t為閾值。同時，為了降低特征維數，Tan等[22]進一步提出將三值模式分解為正LBP編碼和負LBP編碼兩個二值模式的形式，然后分別計算每一部分的LBP值，并綜合二者作為鄰域特征。圖11給出了針對8-鄰域的LTP編碼示例。對于LTP算子來說，閾值t往往采用固定的值，因此其選擇會對LTP算子的性能產生影響。為此，Liao[23]提出根據局部鄰域內像素灰度方差的變化來自適應設定閾值t，并取得了較好的效果。在LTP算子的基礎上，Ren等[24]進一步提出NRLBP(Noise-Resistant LBP)算子，在NRLBP中，式(2)被定義為如下形式：

(3)

圖11　LTP編碼示例

在該定義中，采用“1”和“0”表示兩種穩定狀態，x表示不確定狀態。在如何確定x的具體取值時，根據該位前后像素的編碼來確定。例如編碼“11x2100x10”，“x2”的前后的編碼都為“1”，因此其編碼為“1”的可能性大，編碼時就采用“1”代替；而對于“x1”來說，編碼為“0”則更合適。實驗表明，NRLBP除了可以有效消除噪聲影響外，同時還可有效保持局部鄰域的結構特征。圖12給出了8-鄰域LBP、LTP與NRLBP編碼的對比。

圖12　NRLBP編碼示例

同理在LTP的基礎上，Nanni等[25]進一步提出了EQP(Elongated Quinary Pattern)算子，將局部三值模式擴展到局部五值模式。其定義如下式所示：

(4)

其中，t1、t2是為閾值。為了降低特征維數，按照LTP類似的方法，Nanni等又將其分解為4個LBP編碼。

除了上述方法外，還存在多種降低噪聲影響的方法。如：Chen等[26]提出的RLBP(Robust Local Binary Pattern)算子，Ahonen 等[27]提出的SLBP(Soft Local Binary Pattern)算子，Keramidas等[28]提出的FBP(Fuzzy Binary Patterns)，Raja等[29]提出的OLTP(Optimized Local Ternary Patterns)算子，Liu等[30]提出的BRINT(Binary Rotation Invariant and Noise Tolerant)算子，Song等[31]提出的LCP算子(Local Contrast Patterns)等。Fathi 等[32]通過環形投票機制和標簽機制提高LBP算子的噪聲魯棒性，Kylberg等[33]對8種LBP方法的抗噪性能進行了對比和評價。

2.3從編碼方式角度進行擴展

對于LBP及其擴展算子來說，編碼的目的是按照預先設定的拓撲結構，將其轉化為二值形式，并盡可能包含多的局部特征。

CLBP_CP,R=s(pc-μ)

(5)

其中μ表示圖像全局灰度均值。CLBP_S、CLBP_M與CLBP_C合稱為CLBP算子。

圖13　CLBP_S及CLBP_M計算示例

目前在基于編碼方式角度進行對LBP進行擴展的方法中，具有相對系統性的一類方法是在二值模式編碼中融入圖像邊緣細節與邊緣方向信息。在LBP算子中融入邊緣信息的方法，如：Subrahmanyam等[35]提出的LMEBP(Local Maximum Edge Binary Patterns)算子，Sun等[36]提出的LEBP(Local Edge Binary Patterns)算子，Murala等[37]提出的LTrP(Local Tetra Patterns)算子，Jun 等[38]提出的LGP(Local Gradient Patterns)算子，Satpathy等[39]提出的DRLBP與DRLTP (Discriminative Robust Local Binary Pattern and Ternary Pattern) 算子等。在LBP算子中融入局部方向信息的方法，如：Jabid等提出的LDP(Local Directional Pattern)算子[40]，Trefny 等[41]提出的dLBP(Direction Coded Local Binary Pattern)算子，毋小省等[42]提出的idLBP(Improved Direction Coded Local Binary Pattern)算子，Murala等[43]提出的DLEP(Directional Local Extrema Patterns)算子等；在編碼中同時融入邊緣信息和方向信息的方法如文獻[44,45]。

除此之外，雖然目前從編碼角度對LBP進行擴展的方法較多，但它們具有相對的獨立性，相互間的必然聯系也不明顯。如：Zhao等[46]提出的LBC(Local Binary Count)算子及基于CLBP而提出的CLBC算子，Fan 等[47]提出的LVP(Local Vector Pattern)算子，Hussain等[48]提出的LQP(Local Quantized Patterns)算子，Yuan[49]提出的DLBPC (Derivative Local Binary Pattern based on Circular shift sub-uniform)與DLBPCS(Derivative Local Binary Pattern based on Circular shift sub-uniform and Scale space)算子，Zhang 等[50]提出的LEP(Local Energy Pattern)算子，Ahmed等[51]提出的CLBP (Compound Local Binary Pattern )算子，Zhang 等[52]提出的LDP(Local Derivative Patterns)算子，毋小省等[53]提出的CCLBP(Concave-Convex LBP)算子，Sapkota 等[54]提出的GRAB(Generalized Region Assigned to Binary)算子，Liu 等[55]提出的RD-LBP(Radial-difference LBP)與AD-LBP(Angular-difference LBP)算子，Hong等[56]提出的LBPD(LBP Difference)算子等。

2.4從降維角度對LBP進行改進

對于基本LBP算子來說，其維數達到28，對于選擇局部鄰域(P,R)來說，其維數達到2P。為了有效地對LBP及其擴展算子進行降維，目前的方法主要從編碼方式與特征選擇兩個方面入手，對LBP算子及擴展方法進行降維處理。

Heikkil?等[58]提出了中心對稱局部二值模式CS-LBP(Center-Symmetric LBP)，與基本LBP定義不同的是，該方法通過比較8-鄰域與中心像素相對稱的四對像素間的灰度關系來定義局部紋理模式。使用該方法，可有效地將基本LBP算子的維數降低到16維；同時，該方法還可通過設置全局閾值來判斷紋理區域的平坦性。其定義如下式所示：

(6)

由于CS-LBP編碼時沒有考慮鄰域中心像素的影響，為此毋小省等[59]提出了方向局部二值模式(Direction LBP)。將圖像局部鄰域像素間的灰度關系、局部方向信息與灰度差異的關系有效地融合在一起，有效提高了原CS-LBP的性能。 基于LBP與CS-LBP算子，Zhu等[60]提出了OC-LBP算子，其基本原理是首先通過將原局部鄰域劃分為多個4-正交鄰域，然后采用與LBP相同的方法計算每個4-正交鄰域的局部二值模式值，最后融合所有4-正交鄰域的二值模式值作為最終的描述。圖14給出了針對8-鄰域的OC-LBP計算示例。

圖14　針對8-鄰域OC-LBP計算示例

雖然LBP的模式種類較多，但是大多數模式并不能有效地表達局部結構信息，如果能夠從這些模式中 選擇影響較大的模式，將有效降低特征維數。基于該思想，基于特征選擇的降維方法得到了廣泛研究。目前在該領域的研究又分為兩個方向。

其一是直接基于編碼模式的本身進行處理。如：Liao等[61]提出的主要局部二值模式DLBP(Dominant LBP)，該方法在統計所有LBP模式的基礎上，篩選出較高頻率的模式，并把這些高頻率模式組成最終的特征向量，從而達到降維目的。在DLBP[61]的基礎上，Guo等[62]進一步提出了三層學習模型來獲得最佳二值模式子集。設Ji表示第i幅圖像的最佳模式子集，其定義為：

(7)

其中,fi,j表示模式類型j的出現次數，P表示初始模式類型總數，圖15給出了該學習模型的三層結構。

圖15　學習模型示意圖

其二是通過已有的成熟學習算法，來對所有的模式進行處理，判別每類模式的重要程度，然后選擇重要性程度高的模式組成最終特征。常用的方法如基于Adaboost的選擇方法[63, 64]，基于決策樹的選擇方法[65]，基于線性判別分析的選擇方法[66]等；在文獻[67]中，我們測試了文獻[62]的降維方法、基于Adaboost的降維方法以及基于差分進化算法[68]來進行特征選擇并用于紅外目標圖像分類，結果表明采用差分進化的特征選擇方法取得了最優效果。

2.5從獲取旋轉不變性角度對LBP進行改進

基本LBP算子不具備旋轉不變性，為了滿足旋轉不變性的需求，目前的擴展方法主要集中在兩個方面：(1) 在空域范圍內進行擴展;(2) 轉化到頻域范圍進行擴展。

在空域范圍內獲取旋轉不變性的擴展方法包含針對局部鄰域的編碼結果進行擴展與針對權值模板進行擴展兩種形式。在針對編碼結果進行擴展方面，Ojala等[5]首先引入了旋轉不變二值模式：

(8)

其中，ROR(LBPP,R,i)表示對LBPP,R對應的二進制位右循環移i位，同時把移位過程中最小LBP值作為旋轉不變LBP模式。在此基礎上，Ojala等[5]又給出了旋轉不變一致二值模式的定義：

(9)

其中，上標riu2表示旋轉不變一致二值模式，U表示在二值模式中由0到1或由1到0的轉換次數，其定義如下：

U(LBPP,R)= s(pP-1-pc)-s(p0-pc)+

(10)

為了融合局部空間結構信息和對比度信息，文獻[5]又提出了LBP/VAR算子，將局部鄰域灰度的方差信息融入到LBP算子中。由于VAR是一系列連續的值，具體應用中需要進行量化處理，但由于量化過程中需要在預先設置bin的數目，過少的bin數目不能提供足夠的識別信息，過多的bin數目可能導致直方圖不穩定、特征維數過高。為了解決該問題，Guo等[69]提出了LBPV(LBP Variance)算子。該算子將每個點的方差作為編碼值的權重，其定義如下：

(11)

其中：

其他針對編碼結果獲取旋轉不變性的方法，如：Qi等[71]提出的PRI-CoLBP(Pairwise Rotation Invariant Co-occurrence LBP)算子，Li等[72]提出的SRILBP(scale and rotation invariant LBP)算子，Nosaka等[73]提出的RIC-LBP(Rotation Invariant Co-occurrence among adjacent LBPs)算子等。

針對權值模板的擴展，Mehta等[74]提出了基于自適應權值的RLBP(Rotated LBP)方法。該方法把中心像素與鄰域像素間灰度值之差的最大值定義為主方向。當鄰域發生旋轉時，對應著主方向也旋轉同樣角度，把主方向索引對應的像素點設置為最小的權值，逆時針方向依次加大權值，如圖16所示。

圖16　RLBP算子編碼示例

在基于頻域的擴展方法中，常用的是通過Fourier與Gabor等變換，將局部鄰域轉換到頻域，然后提取旋轉不變特征。Ahonen等[75]提出了LBP-HF(LBP Histogram Fourier)算子，首先計算圖像的LBP直方圖，再計算局部uniform模式直方圖，從而構建LBP-HF特征；Maani等[76]提出了LFD (Local Frequency Descriptors)算子，該方法首先將局部鄰域通過傅里葉變換轉換到頻域，然后基于頻域內幅值構建LFD算子。但LFD算子僅僅考慮了頻域內的幅度信息，沒有考慮相位信息，為此Maani等[77]進一步提出了基于幅度特征和相位特征融合的方法。LBP與Gabor結合獲取旋轉不變性的方法，如LGBP(Local Gabor Binary Pattern Histogram Sequence)[78,79]、HGPP(Histogram of Gabor Phase Patterns)算子[80]、LGXP (Local Gabor XOR Patterns)算子[81]。LBP與Shearlet結合的方法，如LSEP(Local Shearlet-based Energy Pattern)算子[82]。除此之外，Li等[83]提出的RTRID (Rapid-transform based Rotation Invariant Descriptor )算子通過Rapid-transform變換來獲取旋轉不變特征。

3分析與展望

第2節從五個不同方面對LBP擴展方法進行了梳理和總結。在此基礎上，本節對上述五類方法進行進一步分析，目的是找出不同類別方法間的關聯，指出每類方法的優劣，并指出進一步研究方向。為了便于分析，按照第2節的分類方法，文中采用圖17對目前LBP的主要擴展方法進行了歸納與分類。

圖17　LBP擴展方法分類

基于圖17與前述內容，可以看出：

1) LBP算子自Ojala等[1]提出后，經過文獻[5]的擴展，逐步獲得了廣泛應用，并且在不同應用領域的各類擴展方法也被提了出來。文獻[5]在LBP算子與其他擴展方法間起到了承上啟下的關鍵作用。該文在對LBP算子的進行深入分析的基礎上，從拓撲結構角度、旋轉不變角度、降維角度與編碼角度等四個方面對LBP算子進行了相應擴展，這些擴展方法也成為了后來其它各類擴展方法的基礎。

2) 文中對LBP擴展方法的5種分類并非完全絕對的，各類之間也存在一定的交叉。這主要由于目前針對LBP算子進行擴展時，并非完全針對LBP算子所存在的某一問題，往往是針對多個問題進行綜合考慮，這也是今后針對LBP算子進一步擴展的研究方向。如：對于MB-LBP[10]、TP-LBP與FP-LBP算子[12]來說。雖然其主要目的是改變局部鄰域的拓撲結構，但它們還采用均值濾波進行定義，因此也起到了消噪的效果；對于LTP[22]與NRLBP[24]算子來說，其改進的目的是為了消除噪聲影響，但實際上它們也是基于編碼方法來實現消噪的目的；對于CS-LBP[58]與OC-LBP[60]來說，雖然其主要目的是為了降維，但它們也涉及到了拓撲結構的問題。

3) 對于從鄰域拓撲結構角度進行擴展來說，目前的研究集中在固定拓撲結構與自適應拓撲結構兩個方面。針對固定拓撲結構來說，目前的研究相對較多，針對該類擴展來說，在選擇何種拓撲結構時往往需要根據所處理對象(如人臉圖像)的特點來進行選擇，以達到最優的效果。并且，基于固定拓撲結構的缺點是一經選定，將不會改變，因此它們的適應性較差，該類方法的最典型代表是文獻[5]所提出的圓形鄰域(P,R)。對于自適應拓撲結構來說，目前的研究相對較少，但自適應拓撲結構會根據圖像自身的特點，通過學習，選擇最優的結構，從而更有利于描述圖像局部特征。鑒于此，研究自適應拓撲結構的擴展方法將逐步成為LBP算子在拓撲結構角度擴展的重要方向。

4) 對于從降低噪聲影響角度進行擴展來說，目前的研究主要集中在基于濾波的方法、多值模式方法與其他類型的方法。基于濾波的方法主要包括均值濾波與中值濾波兩種類型，這些屬于相對早期針對LBP算子常用的降噪方法；基于多值模式的方法目前主要有LTP[22]與EQP[25]算子以及對這兩種方法的相應擴展，除此之外，基于多值模式擴展方法的研究還較少。對于其它擴展方法來說，還很難統一歸類，因此文中將這些方法統稱為其它方法。從目前的研究現狀看，從減低噪聲影響角度對LBP進行擴展的方法較多是結合編碼機制進行消噪處理。

4結語

雖然局部二值模式最初提出是用來描述圖像紋理特征，但實踐證明，其在人臉識別、目標跟蹤與檢測、醫學圖像處理等領域同樣有效，因此在不同應用領域對LBP的各種擴展層出不窮。本文在簡要概述了LBP算子基本原理的基礎上，將近年來對LBP的相關擴展方法總結歸納為5個不同的研究方向，并在此基礎上對每類研究方向進行了詳細梳理。最后，在分析各類擴展方法內在聯系與存在問題的基礎上，指出了針對LBP擴展的未來研究方向。

參考文獻

[1] Ojala T,Pietikanten M,Hawood D.A comparative study of texture measure with classification based on featured distributions[J].Pattern Recognition,1996,29(1):51-59.

[3] 宋克臣,顏云輝,陳文輝,等.局部二值模式方法研究與展望[J].自動化學報,2013,39(6):730-744.

[4] Brahnam S,Jain L C,Lumini A,et al.Local binary patterns:new variants and applications[M].London Ltd,Springer Berlin Heidelberg,2014.

[5] Ojala T,Pietikinen M,MenpT.Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[6] Liao S,Chung A C S.Face recognition by using elongated local binary patterns with average maximum distance gradient magnitude[C]//Proceedings of Asian conference on Computer vision,2007:672-679.

[7] Abdullah M F A,Sayeed M S,Sonai Muthu K,et al.Face recognition with Symmetric Local Graph Structure (SLGS)[J].Expert Systems with Applications,2014,41(14):6131-6137.

[8] Nanni L,Lumini A,Brahnam S.Local binary patterns variants as texture descriptors for medical image analysis[J].Artificial intelligence in medicine,2010,49(2):117-125.

[9] Murala S,Wu Q M J.Local Mesh Patterns Versus Local Binary Patterns: Biomedical Image Indexing and Retrieval[J].IEEE Journal of Biomedical and Health Informatics,2014,18(3):929-938.

[10] Liao S,Zhu X,Lei Z,et al.Learning multi-scale block local binary patterns for face recognition[M].Advances in Biometrics,London Ltd,Springer Berlin Heidelberg,2007:828-837.

[11] Wang K,Bichot C E,Zhu C,et al.Pixel to patch sampling structure and local neighboring intensity relationship patterns for texture Classification[J].IEEE Signal Processing Letters,2013,20(9):853-856.

[12] Wolf L,Hassner T,Taigman Y.Descriptor based methods in the wild[C]//Faces in Real-Life Images Workshop in European Conference on Computer Vision,2008:1-14.

[13] Zhiping Dan,Yanfei Chen,Zhi Yang,et al.An improved local binary pattern for texture classification[J].Optik-International Journal for Light and Electron Optics,2014,125(20):6320-6324.

[14] Zhao G,Pietikainen M.Dynamic texture recognition using local binary patterns with an application to facial expressions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):915-928.

[15] Qian X,Hua X S,Chen P,et al.PLBP:An effective local binary patterns texture descriptor with pyramid representation[J].Pattern Recognition,2011,44(10):2502-2515.

[16] Maturana D,Mery D,Soto A.Learning discriminative local binary patterns for face recognition[C]//IEEE International Conference on Automatic Face & Gesture Recognition and Workshops,2011:470-475.

[17] Lei Z,Pietikainen M,Li S.Learning discriminant face descriptor[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2014,36(2):289-302.

[18] Ren J,Jiang X,Yuan J,et al.Optimizing LBP structure for visual recognition using binary quadratic programming[J].IEEE Signal Processing Letters,2014,21(11):1346-1350.

[19] Hafiane A,Seetharaman G,Zavidovique B.Median binary pattern for texture classification[C]//Proceedings of 4th the International Conference on Image Analysis and Recognition,2007:387-398.

[20] 木拉提·哈米提,劉偉,童勤業.紋理譜直方圖與潛在語義標引在圖像檢索中的應用[J].科技通報,2006,22(3):389-394.

[21] Zhao Y,Jia W,Hu R X,et al.Completed robust local binary pattern for texture classification[J].Neurocomputing,2013,106(6):68-76.

[22] Tan X,Triggs B.Enhanced Local Texture Feature Sets for Face Recognition under Difficult Lighting Conditions[J].IEEE Transactions on Image Processing,2010,19(6):1635-1650.

[23] Liao W H.Region description using extended local ternary patterns[C]//Proceedings of the IEEE 20th International Conference on Pattern Recognition,2010:1003-1006.

[24] Ren J,Jiang X,Yuan J.Noise-resistant local binary pattern with an embedded error-correction mechanism[J].IEEE Transaction on Image Processing,2013,22(10):4049-4060.

[25] Nanni L,Lumini A,Brahnam S.Local binary patterns variants as texture descriptors for medical image analysis[J].Artificial Intelligence in Medicine,2010,49(2):117-125.

[26] Chen J,Kellokumpu V,Zhao G,et al.Rlbp:Robust local binary pattern[C]//Proceedings of the British Machine Vision Conference,2013:1-10.

[27] Ahonen T,Pietikinen M.Soft histograms for local binary patterns[C]//Proceedings of the Finnish signal processing symposium,2007:1-4.

[28] Keramidas E,Iakovidis D,Maroulis D.Fuzzy binary patterns for uncertainty-aware texture representation[J].Electronic Letters on Computer Vision and Image Analysis,2011,10(1):63-78.

[29] Raja G M,Sadasivam V.Optimized local ternary patterns:a new texture model with set of optimal patterns for texture analysis[J].Journal of Computer Science,2013,9(1):1-14.

[30] Liu L,Long Y,Fieguth P W,et al.BRINT:binary rotation invariant and noise tolerant texture classification[J].IEEE Transaction on Image Processing,2014,23(7):71-84.

[31] Song T,Li H,Meng F,et al.Noise-Robust Texture Description Using Local Contrast Patterns via Global Measures[J].IEEE Signal Processing Letters,2014,21(1):93-96.

[32] Fathi A,NaghshNilchi A R.Noise tolerant local binary pattern operator for efficient texture analysis[J].Pattern Recognition Letters,2012,33(9):1093-1100.

[33] Kylberg G,Sintorn I M.Evaluation of noise robustness for local binary pattern descriptors in texture classification[J].EURASIP Journal on Image and Video Processing,2013,2013(1):1-20.

[34] Guo Z,Zhang L,Zhang D.A completed modeling of local binary pattern operator for texture classification[J].IEEE Transactions on Image Processing,2010,19(6):1657-1663.

[35] Subrahmanyam M,Maheshwari R P,Balasubramanian R.Local maximum edge binary patterns:A new descriptor for image retrieval and object tracking [J].Signal Processing,2012,92(6):1467-1479.

[36] Junding Sun,Guoliang Fan,Xiaosheng Wu.New local edge binary patterns for image retrieval, image processing[C]//Proceedings of the 20th IEEE International Conference on Image Processing,2013:4014-4018.

[37] Murala S,Maheshwari R P,Balasubramanian R.Local tetra patterns:a new feature descriptor for content-based image retrieval[J].IEEE Transactions on Image Processing,2012,21(5):2874-2886.

[38] Jun B,Kim D.Robust face detection using local gradient patterns and evidence accumulation[J].Pattern Recognition,2012,45(9):3304-3316.

[39] Satpathy A,Jiang X,Eng H.LBP-Based Edge-Texture Features for Object Recognition[J].IEEE Transactions on Image Processing,2014,23(5):1953-1964.

[40] Jabid T,Kabir M H,Chae O.Facial expression recognition using local directional pattern (LDP)[C]//Proceedings of the 17th IEEE International Conference on Image Processing,2010:1605-1608.

[41] Trefny J,Matas J.Extended set of local binary patterns for rapid object detection[C]//Computer Vision Winter Workshop,2010:1-7.

[42] 毋小省,孫君頂.基于改進方向紋理譜特征的圖像檢索[J].光電子激光,2012,23(4):812-818.

[43] Murala S,Maheshwari R P,Balasubramanian R.Directional local extrema patterns:a new descriptor for content based image retrieval[J].International Journal of Multimedia Information Retrieval,2012,1(3):191-203.

[44] Ramirez Rivera A,Castillo R,Chae O.Local directional number pattern for face analysis:Face and expression recognition[J].IEEE Transactions on Image Processing,2013,22(5):1740-1752.

[45] Rivera A R,Castillo J R,Chae O.Local Directional Texture Pattern Image Descriptor[J].Pattern Recognition Letters,2014,51(1):94-100.

[46] Zhao Y,Huang D S,Jia W.Completed local binary count for rotation invariant texture classification[J].IEEE Transactions on Image Processing,2012,21(10):4492-4497.

[47] Fan K,Hung T.A novel local pattern descriptor-local vector pattern in high-order derivative space for face recognition[J].IEEE Transactions on Image Processing,2014,23(7):2877-2891.

[48] Hussain S U,Napoléon T,Jurie F.Face recognition using local quantized patterns[C]//Proceedings of the British Machive Vision Conference,2012:1-11.

[49] Yuan F.Rotation and scale invariant local binary pattern based on high order directional derivatives for texture classification[J].Digital Signal Processing,2014,26(4):142-152.

[50] Jun Zhang,Jimin Liang,Heng Zhao.Local energy pattern for texture classification using self-adaptive quantization thresholds[J].IEEE Transactions on Image Processing,2013,22(1):31-42.

[51] Ahmed F,Hossain E,Bari H,et al.Compound local binary pattern (clbp) for rotation invariant texture classification[J].Internal Journal of Computer Application,2011,33(6):5-10.

[52] Zhang B,Gao Y,Zhao S,et al.Local derivative pattern versus local binary pattern: face recognition with high-order local pattern descriptor[J].IEEE Transactions on Image Processing,2010,19(2):533-544.

[53] 毋小省,朱世松,孫君頂,等.基于凹凸局部二值模式的紋理圖像分類[J].光電子·激光,2014,25(8):1627-1634.

[54] Sapkota A,Boult T E.GRAB:Generalized region assigned to binary[J].EURASIP Journal on Image and Video Processing,2013,2013(1):1-11.

[55] Liu L,Zhao L,Long Y,et al.Extended local binary patterns for texture classification[J].Image and Vision Computing,2012,30(2):86-99.

[56] Xiaopeng Hong,Guoying Zhao,Matti Pietikinen,et al.Combining LBP difference and feature correlation for texture description[J].IEEE Transactions on Image Processing,2014,23(6):2557-2568.

[57] Nanni L,Brahnam S,Lumini A.A simple method for improving local binary patterns by considering non-uniform patterns[J].Pattern Recognition,2012,45(10):3844-3852.

[59] 毋小省,孫君頂.基于局部方向紋理譜描述符的圖像檢索[J].計算機工程與應用,2012,48(35):190-193.

[60] Zhu C,Bichot C E,Chen L.Image region description using orthogonal combination of local binary patterns enhanced with color information[J].Pattern Recognition,2013,46(7):1949-1963.

[61] Liao S,Law M W K,Chung A C S.Dominant local binary patterns for texture classification[J].IEEE Transactions on Image Processing,2009,18(5):1107-1118.

[62] Guo Y,Zhao G,Pietikinen M.Discriminative features for texture description[J].Pattern Recognition,2012,45(10):3834-3843.

[63] Shan C,Gritti T.Learning discriminative LBP-histogram bins for facial expression recognition[C]//Proceedings of the British Machine Vision Conference,2008:1-10.

[64] Shan C.Learning local binary patterns for gender classification on real-world face images[J].Pattern Recognition Letters,2012,33(4):431-437.

[65] Maturana D,Soto A,Mery D.Face recognition with decision tree-based local binary patterns[C]//Proceeding of Asian Conference on Computer Vision,2010:618-629.

[66] Zhao D,Lin Z,Tang X.Contextual distance for data perception[C]//IEEE 11th International Conference on Computer Vision,2007:1-8.

[67] 毋小省,文運平,孫君頂,等.基于紋理與特征選擇的前視紅外目標識別 [J].光電子·激光,2014,25(10):1812-1817.

[68] Khushaba R N,AlAni A,AlJumaily A.Feature subset selection using differential evolution and a statistical repair mechanism[J].Expert Systems with Applications,2011,38(9):11515-11526.

[69] Guo Z,Zhang L,Zhang D.Rotation invariant texture classification using LBP variance (LBPV) with global matching[J].Pattern recognition,2010,43(3):706-719.

[70] 毋小省.改進的旋轉不變區域紋理譜描述符[J].光電子·激光,2011,22(5):783-787.

[71] Qi X,Xiao R,Guo J,et al.Pairwise rotation invariant co-occurrence local binary pattern[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(11):2199-2213.

[72] Li Z,Liu G,Yang Y,et al.Scale-and rotation-invariant local binary pattern using scale-adaptive texton and subuniform-based circular shift[J].IEEE Transactions on Image Processing,2012,21(4):2130-2140.

[73] Nosaka R,Suryanto C H,Fukui K.Rotation invariant co-occurrence among adjacent LBPs[C]//Proceeding of Asian Conference on Computer Vision Workshops,2013:15-25.

[74] Mehta R,Egiazarian K.Rotated local binary pattern (RLBP)-rotation invariant texture descriptor[C]//Proceedings of International Conference on Pattern Recognition Applications and Methods,2013:497-502.

[75] Ahonen T,Matas J,He C,et al.Rotation invariant image description with local binary pattern histogram fourier features[C]//16th Scandinavian Conference on Image Analysis,2009:61-70.

[76] Maani R,Kalra S,Yang Y H.Rotation invariant local frequency descriptors for texture classification[J].IEEE Transactions on Image Processing,2013,22(6):2409-2419.

[77] Maani Rouzbeh,Kalra S,Yang Y H.Noise robust rotation invariant features for texture classification[J].Pattern Recognition,2013,46(8):2103-2116.

[78] Zhang W,Shan S,Gao W,et al.Local Gabor binary pattern histogram sequence (LGBPHS):A novel non-statistical model for face representation and recognition[C]//10th IEEE International Conference on Computer Vision,2005:786-791.

[79] Zhang W,Shan S,Chen X,et al.Are Gabor phases really useless for face recognition?[J].Pattern Analysis & Applications,2009,12(3):301-307.

[80] Zhang B,Shan S,Chen X,et al.Histogram of Gabor phase patterns (HGPP):a novel object representation approach for face recognition[J].IEEE Transactions on Image Processing,2007,16(1):57-68.

[81] Xie S,Shan S,Chen X,et al.Fusing local patterns of gabor magnitude and phase for face recognition[J].IEEE Transactions on Image Processing,2010,19(5):1349-1361.

[82] He J,Ji H,Yang X.Rotation invariant texture descriptor using local shearlet-based energy histograms[J].IEEE Signal Processing Letters,2013,20(9):905-908.

[83] Li C,Li J,Gao D,et al.Rapid-transform based rotation invariant descriptor for texture classification under non-ideal conditions[J].Pattern Recognition,2014,47(1):313-325.

RESEARCH AND PROSPECT OF LOCAL BINARY PATTERNS AND ITS EXTENSION APPROACH

Sun JundingZhou Yeyong

(SchoolofComputerScienceandTechnology,HenanPolytechnicUniversity,Jiaozuo454000,Henan,China)

AbstractIn view of the practical value of local binary pattern (LBP) in image processing and computer vision, we systematically review in the paper current extension approaches of LBP operator in different application fields. First, we briefly sum up the rationale of LBP operator. Then, we sort in detail and summarise the correlated extension approaches of LBP operator in recent years from five aspects, including the neighbourhood topological structure, the noise effect reduction, the coding method, the dimension reduction, and obtaining the rotation invariance. Finally, we analyse the mutual relations among five aspects and their problems each, and point out the research direction of LBP extensions in the future.

KeywordsLocal binary patternTopological structureCoding methodRotation invariantNoise resistant

中圖分類號TP391.3

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.01.051

收稿日期：2014-10-16。河南省骨干教師資助計劃項目(2010GG JS-059)；河南省國際合作項目(134300510057)；河南省基礎與前沿基金項目(112300410281，132300410462)；河南理工大學創新型科研團隊項目(T2014-3)。孫君頂，教授，主研領域：圖像處理與模式識別。周業勇，碩士生。