局部方向三值模式紋理描述子

劉海軍

（1.南京大學 計算機軟件新技術國家重點實驗室，江蘇 南京210023；2.北京市輕紡機械機器視覺工程技術研究中心，北京100176；3.北京經緯紡機新技術有限公司，北京100176）

0 引 言

近年來，局部二值模式 （local binary pattern，LBP）紋理［1－3］表示方法以其計算復雜度低、分辨性好、同時具有旋轉不變和均勻光照不變等優點，被廣泛應用于紋理分類、人臉識別、行人和汽車目標檢測與跟蹤、生物和醫學圖像分析等領域［4］。許多研究者紛紛對LBP 算法進行改進，形成了龐大的LBP 類算法家族，如Hafiane等提出了中值二值模式［5］；Tan等提出了局部三值模式 （local ternary pat－tern，LTP）［6］；Liao等提出了顯著LBP算法 （dominant local binary pattern，DLBP）［7］；Guo等提出了完備局部二值模式 （completed local binary pattern，CLBP）［8］；Zhao 等提出CRLBP （completed robust local binary pattern）［9］和 局部完備計數模式［10］；Jabid等提出局部方向模式 （local directional pattern，LDP）［11］；Zhang 等 提 出 了 局 部 能 量模式［12］。

在LBP諸多變種方法中，LDP方法通過對局部方向邊緣響應編碼，解決了LBP對非均勻光照和隨機噪聲敏感的問題。然而LDP算子按邊緣響應的絕對值排序編碼，一方面，無法區分正的邊緣響應模式與負的邊緣響應模式，另一方面，由于在每個像素點都要對邊緣響應進行排序，導致LDP算法運算速度很慢。劉等采用閾值對圖像的邊緣響應進行 編 碼，設 計 了 快 速 的LDP 算 法 （fast local binary pattern，FLDP）［13］，大大提高了運算速度，然而絕對值較大的負邊緣響應在編碼時被舍棄，損失了大量的信息。為了解決這些問題，本文設計了局部方向三值模式 （local directional ternary patterns，LDTP）。

1 局部方向模式 （LDP）

局部方向模式（local directional pattern，LDP）［11］是Jabid等針對LBP對隨機噪聲敏感等問題提出的改進算子。Jabid對8個方向的Kirsch邊緣響應進行二進制編碼，構造描述子。其中Kirsch邊緣模板如下

構造LDP描述子主要步驟如下：

步驟1 計算邊緣響應：將原始圖像與Kirsch邊緣模板卷積，得到8個方向的邊緣響應Ri（i＝1，2，…，8）。

步驟2 構造原圖像的LDP 編碼圖像：對原始圖像中的每個像素點，對其8個方向的邊緣響應Ri（i＝1，2，…，8）進行排序，將絕對值排名前k 位的編碼為1，其余編碼為0，構成了8位的二進制編碼，稱為LDP碼。由LDP碼構成的圖像，稱為原始圖像的LDP編碼圖像。

步驟3 提取LDP特征：將LDP編碼圖像的直方圖作為原圖像的LDP特征。

2 局部方向三值模式 （LDTP）

2.1 LDP存在的幾個問題

由于梯度比灰度更穩定，LDP 通過對梯度編碼，得到了對隨機噪聲及非均勻光照更魯棒的特征。然而，LDP 編碼存在幾個問題：

（1）按梯度絕對值排序編碼，無法區分正、負梯度

構造LDP編碼時，將絕對值排于前k 位的邊緣響應編碼為1，其余編碼為0。也就是說，正的邊緣響應和負的邊緣響應被同樣對待，而實際中，正、負邊緣響應具有明顯的視覺差異。如圖1所示，其中圖1 （a）、（b）、（c）分別為3個像素點A、B 和C 對應的8個方向邊緣響應及其相應的LDP編碼，陰影的方格表示編碼的起始位置。當k＝3時，按順時針順序編碼，根據LDP編碼規則，則點A 和點B的LBP編碼均為01000011，而從圖1 中我們可以看出，這兩個模式有著明顯的差異，將這兩個模式歸為一類顯然會導致錯誤的分類。

圖1 LDP可能引起誤編碼模式

（2）編碼時圖像中的所有像素均采用同一k值

在構建LDP 編碼時，無論是圖像中細節比較多的區域，如圖像的邊緣、角點等，還是細節比較少的區域，如圖像中比較平滑的區域，LDP 編碼中均采用同樣的k 值。也就是說，在圖像中的任何點，LDP 均保留了同樣多的信息 （前k個邊緣）。以圖1中的A 點和C點為例，A 點8個方向梯度較大，顯然A 點處于圖像中灰度變化較大的區域，很可能是圖像的邊緣、角點等，C 點8 個方向的梯度均較小，顯然C點位于圖像中比較平滑的區域。LDP 編碼時采用同樣的k值，無法根據像素點自身的特點自適應的變化，致使在圖像中邊緣、角點等位置保留的信息不足，而在圖像平滑的位置，保留的信息有余。

（3）對邊緣響應排序

對邊緣影響排序，一方面比較耗時，另外一方面，由于只考慮不同方向邊緣響應間的相對關系，忽略了邊緣響應幅度大小。如圖1中A 點、B點和C 點，從其8個方向上的梯度可以看出這3個點差異很大，但根據LDP編碼規則，該三點被賦予同樣的編碼01000011。可以看出，簡單的對梯度絕對值排序編碼，將會把差異巨大的不同模式錯歸為同一類。

此外，對于圖像中比較平滑的區域，如圖1中的C 點，微小的干擾都會導致不同的LDP編碼，這也將對分類產生不良影響。

從上面分析可以看出，LDP存在的問題主要有兩方面：無法區分正、負邊緣；排序。這兩方面不但會導致LDP產生的模式可辨別性差，而且使得LDP運算速度較慢。針對這兩個問題，本文對LDP算子進行了改進。設計了局部方向三值模式。

2.2 局部方向三值模式 （LDTP）

為了在特征提取時能保留盡量多的邊緣信息，同時設計快速、分辨性好、對噪聲和光照魯棒的描述子，本文針對LDP的兩個問題分別對LDP算子做了改進。改進方案如下：

（1）正、負邊緣響應分別編碼

正的邊緣響應與負的邊緣響應具有明顯的視覺差異，為了盡量減少編碼時信息損失，本文中將正、負邊緣響應分別編碼，分別統計正邊緣模式直方圖和負邊緣模式直方圖，將二者連接起來，作為圖像的最終特征。

（2）采用閾值編碼

LDP將排序前k位的邊緣響應編碼為1，認為排名前k位的邊緣響應在噪聲的影響下不太可能會改變位置。本文分析了這種編碼的弊端，指出這種編碼方案一方面時間消耗較大，另一方面，平滑區域的隨機噪聲會導致得到不穩定的LDP編碼。本文認為，達到一定程度的邊緣才是重要的邊緣，因此采用閾值來對邊緣響應進行編碼。

本文稱改進的描述子為局部方向三值模式 （LDTP），構造LDTP描述子的步驟如下：

步驟1 計算Kirsch邊緣響應

同LDP描述子類似，構建LDTP第一步是計算圖像的Kirsch邊緣響應。具體上將原始圖像I 分別與8 個方向Kirsch邊緣模板做卷積，則每幅圖像會產生8個濾波響應，如式 （1）所示，其中＊表示卷積云算，Tk表示第k 方向上的Kirsch邊緣模板，Rk為圖像在Tk上的濾波器響應

步驟2 構建正、負邊緣響應編碼圖像

將正、負邊緣響應分別編碼，構建正的邊緣響應圖像和負的邊緣響應圖像。

（1）正邊緣響應圖像

對圖像在8個邊緣模板上響應進行二值編碼，當邊緣響應的值大于某一閾值tk（tk≥0，k＝1，2，3，…，8）值編碼為1，反之編碼為0。具體方法是對于圖像中的像素Iij，其對應的正局部描述子D＋ij計算如下

其中

（2）負邊緣響應圖像

當邊緣響應的值小于某一閾值－tk（tk≥0，k＝1，2，3，…，8）值編碼為1，反之編碼為0。具體上，對于圖像中的像素Iij，其對應的負局部描述子D－ij計算如下

其中，式 （3）和式 （5）中的tk是構建LDTP 的編碼時，圖像在第k個方向上邊緣響應的編碼閾值，該值決定了編碼時，多大的邊緣信息將被保留。顯然，tk與圖像信噪比、圖像的梯度分布等諸多因素有關，很難精確描述。本文中假設tk是邊緣圖像方差的線性函數，計算方法如下

其中，σk是Rk的方差。c是一經驗系數。

步驟3 構建圖像的LDTP特征

經過步驟2構建完編碼圖像后，由原始圖像I 可得2幅編碼圖像：正編碼圖像D＋和負編碼圖像D－。將D＋和D－的直方圖連接起來，作為原始圖像I的LDTP特征。

從LDTP特征的提取步驟中可以看出，LDTP 采用自適應閾值，將圖像正、負邊緣響應分別編碼。由于圖像的LDTP特征既包含正的邊緣響應 （D＋的直方圖），也包括負的邊緣響應 （D－的直方圖），盡量大的保留了圖像中的信息。另一方面，去掉耗時的對梯度排序環節，采用與圖像本身灰度分布相關的閾值tk構建編碼圖像，大幅度提高了算法的運算速度。本文中假設tk是圖像邊緣響應方差的線性函數，圖像的紋理結構不同，tk的值也不同，能根據圖像內容自適應調整編碼閾值，提取的LDTP 特征因此對光照條件具有一定的魯棒性。

3 實驗與討論

本文選擇Brodatz紋理數據集和CUReT 紋理數據集測試本文算法與LDP、FLDP、LBP及LTP的性能。

實驗時采用最近鄰分類器分類，χ2距離衡量特征之間的相似性。χ2距離計算方法如下

其中p，q是兩幅圖像的特征向量。

實驗硬件環境：處理器Intel Core（TM）i5－2410，主頻2.3GHZ，內存2G。

實驗軟件環境：Windows 7professional，matlab 7.13。

3.1 Brodatz紋理數據集

Brodatz數據集共包含111類自然紋理。其中既包括24類均勻紋理圖像和87類非均勻紋理圖像。圖2列出了Brodatz數據集中的24類均勻紋理圖像［15］。圖3給出了部分非均勻紋理圖像。

由于Brodatz數據集每類只有1幅圖像，實驗時需要將每類的1幅圖像進行不重疊分割，形成訓練集和測試集。均勻紋理圖像經過分割后，不同圖像子塊之間差異很小，而非均勻紋理圖像經過分割后，同類圖像子塊之間差異很大。為了排除由于圖像分割對分類結果的影響，本文將Brodatz數據集分為均勻紋理D1，非均勻紋理D2，混合紋理D3，分別進行實驗。數據集的分配方案詳細如下：

D1：Brodatz子集，包含24 類均勻紋理圖像，如圖2所示；

圖2 Brodatz數據集中的24類均勻紋理圖像 （D1）

圖3 Brodatz數據集中部分非均勻紋理圖像

D2：Brodatz子集，包含除D1之外的87類非均勻紋理圖像；

D3：111類Brodatz全集。

Brodatz紋理庫中圖像的原始尺寸為640×640。實驗時，每幅圖像不重疊分割為25 個子圖像，子圖像大小為128×128。每類隨機選擇15幅圖像做訓練，10幅圖像做測試。重復隨機實驗20次，統計平均分類準確率。

實驗時，LDP算法選擇了k＝3，4兩個參數。LBP 算法采用的是uniform 的LBP算法，選擇了兩組參數 （R＝1，P＝8）和 （R＝2，P＝16）；FLDP 算法中，編碼閾值取值9；本文的LDTP算法中，c的取值為0.15。

3.2 CUReT數據集

Brodatz數據集比較簡單，為了測試算法對非均勻光照、視角、隨機噪聲的魯棒性，本文選擇目前公認的比較有挑戰性的數據集CUReT （columbia－utrecht reflectance and texture database）將幾種算法進行對比實驗。

CUReT 數據集共包含61 類紋理圖像。這些圖像來自61種現實中常見的自然物體或者人造物體在205種不同的拍攝角度和光照條件下拍攝的圖像。由于拍攝角度和光照條件的不同，同類圖像之間具有較大的視角、光照、隨機噪聲等差異，是目前紋理分類公認的比較有挑戰性的數據庫［16］。圖4給出了CUReT 數據集中的部分圖像。其中圖4中第一排圖像是同一類圖像，第二排圖像分別屬于不同類別。從圖4可以看出，由于拍攝角度和光照條件的差異，同一類圖像之間具有較大的視覺差異，而第二排圖像盡管屬于不同的類別，視覺上卻很相似。這種類內差異大、類間差異小的現象，使得該數據集上的分類具有較高的難度。

圖4 CUReT 數據集中的部分圖像

本文采用文獻 ［16］的方法，每類圖像選擇92幅拍攝角度小于60°的圖像，裁剪成200×200。則共有61 類，5612幅圖像。實驗時，每類隨機選擇46幅圖像作為訓練樣本，其余46幅圖像作為測試樣本。實驗重復20 次，統計平均分類準確率。

3.3 實驗結果分析與討論

實驗結果見表1。

表1 幾種算法的分類準確率對比/%

從表1可看出，在D1數據集上，幾種算法的分類準確率都達到99%以上。由于該數據集中24類圖像紋理結構均勻，經過分割后，同類圖像的訓練樣本和測試樣本均來自于同一均勻母體，樣本類內差異很小。D1上的實驗結果表明，當樣本類內差異小時，表中的幾種算法都具有較好的分辨性，其中LBP算法運算更簡單，更快速，性能更好。

在87類Brodatz非均勻子集D2以及111類全集D3上，各種分類算法的分類準確率有所下降。分類準確率下降的原因在于在D2和D3中，存在非均勻圖像，其紋理結構不規則性分布，使得分割后的子圖像類內差異很大，這將給分類帶來很大困難。圖5 顯示了D43 的分割結果。從圖5中可以看出，D43經過分割后，其不同子圖像間差異很大，這無疑將影響分類效果。

圖5 D43分割后的25幅子圖像

D2、D3上的實驗結果表明，當樣本類內差異大時，幾種算法的分類性能均下降。本文算法優于LDP、FLDP。其中在D3上，本文算法比LDP提高了5.42%，比FLDP 算法提高了2.54%。可見，本文對局部方向模式進行三值編碼，減少了編碼時的信息損失，提高了分類準確性。本文算法略差于LBP，主要在于實驗中訓練圖像和測試圖像均由同一母體樣本圖像分割形成，樣本間拍攝光照條件完全相同，本文算法與LDP類算法針對非均勻光照條件和隨機噪聲所引入的模板運算在該數據集上體現不出優勢。

在CUReT 數據集上，同類圖像均獨立拍攝于不同的角度和不同的光照條件。此時，LBP的分類性能大幅度下降，最高僅為62.81%。主要原因在于LBP直接對灰度值編碼，對非均勻光照敏感，導致在該數據集上分類準確率較低。LDP、FLDP、LTP以及本文的LDTP算法在該數據集上的分類效果均較好。在該數據集上，與LDP算法相比，本文算法分類準確率提高了8.43%；與FLDP 算法相比，本文算法提高了7.41%；與LTP 算法相比，本文算法提高了3.95%。由此可見，經過改進后，本文的LDTP 算法比LDP算法具有更好的分辨性和抗噪性。

此外，本文算法改變了LDP編碼方式，采用與圖像質量本身相關的閾值構建編碼圖像，提取特征，由于避開了排序，本文算法的特征提取速度大幅度提高。表2顯示了LDTP算法與LDP算法在Brodatz全集和CUReT 數據集上單次分類所消耗的時間。從表2可以看出，本文算法運算速度比LDP快8倍以上。

表2 LDP與LDTP算法運行時間對比/s

4 結束語

本文分析了LDP特征提取存在的問題，指出LDP編碼時無法區分正邊緣響應和負邊緣響應及LDP的排序編碼方案可能影響LDP 的分辨性。本文設計了改進方案，將正、負邊緣響應分別按閾值進行編碼，聯合構成圖像特征。本文在Brodatz數據集和CUReT 數據集上將本文提出的改進算法LDTP與傳統的LDP、FLDP、LBP、LTP進行了對比實驗。實驗結果表明，在變化單一的Brodatz數據集上，本文算法略差于LBP算法，優于LDP、FLDP算法；在包含復雜光照、角度、隨機噪聲的數據集CUReT 上，本文算法優于LBP、LDP、FLDP、LTP 算法。顯示了本文LDTP 算法對非均勻光照、隨機噪聲具有較好的魯棒性，同時，改進的LDTP算法與LDP算法相比，運算速度也大幅度提高。

目前的LDTP 特征尚不具備尺度不變與旋轉不變性，將是下一步的研究方向。

［1］MA Li，FAN Yingle.Texture analysis of image ［M］.Beijing：Science Press，2009 （in Chinese）. ［馬莉，范影樂.紋理圖像分析 ［M］.北京：科學出版社，2009.］

［2］Guo Z，Zhang Z，Li X，et al.Texture classification by texton：Statistical versus binary ［J］.PLoS ONE，2014，9 （2）：e88073.doi：10.1371/journal.pone.0088073.

［3］LIU Li，KUANG Gangyao.Overview of image textural feature extraction methods［J］.Journal of Image and Graphics，2009，14 （4）：622－635 （in Chinese）.［劉麗，匡綱要.圖像紋理特征提取方法綜述 ［J］.中國圖象圖形學報，2009，14 （4）：622－635.］

［4］SONG Kechen，YAN Yunhui，CHEN Wenhui，et al.Research and Perspective on Local Binary Pattern ［J］.Acta Automatica Sinica，2013，39 （6）：730－744 （in Chinese）.［宋克臣，顏云輝，陳文輝，等.局部二值模式方法研究與展望［J］.自動化學報，2013，39 （6）：730－744.］

［5］Hafiane A，Seetharaman G，Zavidovique B.Median binary pattern for textures classification ［C］//Proceedings of the International Conference on Image Analysis and Recognition.Montreal，Canada：Springer，2007：387－398.

［6］Tan X Y，Trigge B.Enhanced local texture feature sets for face recognition under difficult lighting conditions［C］//Proceedings of the 3rd International Conference on Analysis and Modeling of Faces and Gestures.Brazil：Springer，2007：168－182.

［7］Liao S，Max W K Law，Albert C S Chung.Dominant local binary pattern for texture classification ［J］.IEEE Transaction on Image Processing，2009，18 （5）：1107－1118.

［8］Guo Z H，Zhang L，Zhang D.A completed modeling of local binary pattern operator for texture classification ［J］.IEEE Transactions on Image Processing，2010，19 （6）：1657－1663.

［9］Zhao Yang，Jia Wei，Hu Rongxiang，et al.Completed robust local binary pattern for texture classification ［J］.Neurocomputing，2013，106：68－76.

［10］Zhao Yang，Huang Deshuang，Jia Wei.Completed local binary count for rotation invariant texture classification ［J］.IEEE Transaction on Image Processing， 2012， 21：4492－4497.

［11］Jabid T，Kabir M H，Chae O.Local directional pattern（LDP）for face recognition ［C］//Proceedings of the IEEE International Conference on Consumer Electronics.Springer，2010.

［12］Zhang Jun，Liang Jimin.Local energy pattern for texture classification using self－adaptive quantization thresholds ［J］.IEEE Transaction on Image Processing，2013，22 （1）：31－42.

［13］LIU Haijun，CHANG Dongchao，ZHANG Lingyu.Improved local directional pattern texture descriptor［J］.Journal of Image and Graphics，2014，19 （5）：520－526（in Chinese）.［劉海軍，常東超，張凌宇.改進的局部方向模式紋理表示方法 ［J］.中國圖象圖形學報，2014，19 （4）：520－526.］

［14］ZHAO Yang.Local descriptor methods for texture classification and leaves recognition ［D］.Hefei：University of Science and Technology of China，2013 （in Chinese）. ［趙陽.基于局部描述子的紋理識別方法及其在葉片識別方面的應用［D］.合肥：中國科學技術大學，2013.］

［15］Liu L，Fieguth P W.Texture classification from random features ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （3）：574－586.

［16］Varma M，Zisserman A.A statistical approach to material classification using image patch exemplars ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31 （11）：2032－2047.