基于紋理特征匹配的快速目標分割方法

陳寧，楊永全

（西安工程大學計算機科學學院，陜西西安710048）

基于紋理特征匹配的快速目標分割方法

陳寧，楊永全

（西安工程大學計算機科學學院，陜西西安710048）

目標分割方法是工業自動化、在線產品檢驗、生產過程控制等領域的關鍵技術之一。基于特征匹配策略，研究了如何增強紋理特征的區分能力以及如何快速分割特定的目標。在紋理特征提取方面，首先通過形態學處理獲取圖像細節信息，然后對細節信息進行過濾進而得到魯棒的局部信息，最后融合局部二值模式用于增強特征的區分能力。在目標分割方面，基于紋理特征和變化分解窗口框架，根據目標窗口和待定目標窗口間的特征距離分等級的變化分解窗口的尺度，從而快速定位到目標。最后，在紋理數據集上驗證了方法的有效性。

紋理特征提取；局部二值模式；特征融合；目標分割

目標分割方法廣泛的應用于工業自動化、在線產品檢驗、生產過程控制等領域。紋理以其對物體表面的粗糙性、方向性和規則性等視覺特征明顯的反映，是基于特征匹配的目標分割方法中的重要特征之一。

局部二值模式[1]（local binary pattern，LBP）紋理特征提取方法，近年來一直是研究的熱點，在圖像分割[2-4]、人臉識別[5-8]、紋理分類[9-10]、圖像檢索[11-12]等領域得到廣泛應用。在過去的十幾年中各國研究學者提出了多種LBP改進方法。Guo[13]等人提出完整局部二值模式（Completed LBP，CLBP），在基本LBP算子的基礎上增加了局部梯度二值模式和局部灰度二值模式兩種算子，通過對3種算子進行聯合特征統計得到了較好的紋理分類效果。劉[14]等人對CLBP進一步發展，提出了灰度梯度差異描述算子，更加精細的描述了圖像局部紋理。S[15]等人提出一種尺度和方向自適應的LBP，提高了對紋理在尺度和方向變化場景下的分類準確率。不同于局部原始灰度值對比方法，L[16]等人采用局部灰度中值對比方法來計算二值模式，在基準測試[17]中取得了高水平的效果。盡管LBP本身對光照線性變化具有一定的魯棒性且目前也有眾多的改進方案，然而當光照非線性變化導致背景不均時，這些方法的分類能力往往會被降低。

基于紋理特征匹配的目標分割的經典方法將圖像分解成固定尺度像素的子窗口。通過提取每個子窗口的紋理特征，然后將每個子窗口和目標窗口的特征進行匹配，如果特征距離在設定的閾值范圍內則認為該子窗口是目標。該方法難于確定分解窗口的尺度，且易于出現目標漏檢及誤檢。變化分解窗口的方法的提出，很好的克服了經典方法中的窗口漏檢及誤檢的問題，然而分解窗口以固定尺度變化造成了算法時間效率低。

為此，本文在紋理特征提取方面通過形態學處理融合LBP算子來增強特征的區分能力。在目標分割方面采用分等級的變化分解窗口的尺度來提高時間效率。

1 紋理特征提取

基本LBP算子通過對比像素點與其領域像素點的灰度值的差異性來描述局部紋理

其中，g為像素灰度值，c為中心下標，p為鄰域下標，P表示鄰域像素點數目，R表示圓形鄰域的半徑。通過不斷旋轉鄰域二值序列并取最小值作為中心點的LBP響應，進而提取到具有旋轉不變的特征，表達式為

其中ROR（x）表示對x進行循環移位。為了獲取更具統計意義的特征直方圖，將二進制位串視為循環，如果其中從0到1或者從1到0的轉變不多于兩個，則稱該二值串為均勻模式。在特征直方圖統計過程中，只為均勻模式分配獨立的收集箱，而所有的非均勻模式都放入一個公用收集箱，使得LBP特征模式大大減少而不至于得到一個稀疏的統計直方圖。進一步的，結合旋轉不變和均勻模式有:

這樣不僅提取到具有旋轉不變性的特征而且同時減少了特征模式。

然而，當因光照非線性變化而導致圖像灰度梯度分布不均勻時，即相比于圖像的大部分區域，小部分區域變化幅度劇烈時，LBP及其變種就顯現出了它的局限性，容易丟失圖像局部細節信息。為了保留這些具有較強區分能力的細節信息，首先通過頂帽變換獲取圖像f的細節分量h。頂帽變換是形態學處理的重要應用之一，f的頂帽變換h定義為f與f的灰度開運算之差，表達式為

其中b為開運算模板。經過頂帽變換變換后得到的分量h便獲取到原圖像在特定形態下的細節信息。其次，通過局部二值化的方式對h進行過濾

其中S取值為圖像寬度的八分之一，t的取值為15。最后，對h2進行LBP特征提取（detailed LBP，DLBP）

并對圖像f進行LBP特征提取

二值化h的原因在于，LBP本身對不均勻背景具有一定的魯棒性，因此使用未二值化的h而得到的DLBP的特征統計直方圖與原圖像f的LBP的特征統計直方圖在標準化后會具有一定的相似度，進而導致出現特征冗余。通過（5）對h進行二值化，即對細節信息進一步過濾，會使得DLBP能夠提取到圖像更為魯棒的局部細節，并減少了DLBP與LBP之間的統計相似度以及避免了出現特征冗余，有利于對DLBP和LBP進行特征聯合統計（Union，U）

這樣，U在保持原圖像LBP特征信息的同時也融入了具有較強區分能力的圖像局部細節信息，進而能夠提高分類能力。更一般的，U可以推廣到LBP特征的其他變種，如 CLBP[11]、ICLBP[12]、MRELBP[14]等。

2 快速目標分割

分等級變化主窗口尺度的思想是:當距離小于設定閾值時具有最高等級；當距離大于設定閾值時，差異越大等級越低；等級越低，變化尺度d越大反之則越小；變化主窗口時優先選擇高等級下的像素尺度d對主窗口進行減小。快速目標分割方法描述如下:

1）確定主窗口（MW）。

2）用MW尺度生成盡可能多的窗口（window）。

3）For each window。

①用U（DLBP，LBP）計算窗口紋理特征直方圖；

②計算窗口特征直方圖和目標特征直方圖的距離量距離Dis；

③如果Dis小于設定的閾值λ，則保存該窗口的坐標和其特征直方圖到一個向量V中，MW變化等級最高；如果Dis大于等于設定的閾值λ，差異越大MW變化等級越低；MW變化等級越低，MW減小的尺度d越大。

5）優先考慮使用較高等級下的尺度d減小MW。

6）如果MW的大小小于設定的最小窗口大小μ，標記保存的那些窗口后退出程序。

7）否則跳轉到3）。

快速目標分割方法的框架圖如圖1所示，每一循環中主窗口的尺度減小d并且生成和新主窗口尺度相同的一些窗口。主窗口減小的尺度d是由當前循環層中所確定的MW變化等級決定。通過有效的利用當前子窗口與目標紋理之間的相似度信息分等級的變化分解窗口的尺度，進而能夠快速的定位到目標，提高算法的時間效率。

圖1 目標分割框架圖

3 實驗與分析

在Outex和CURet數據集上，對比了不同特征提取方法 LBP[1]、CLBP[13]、ICLBP[14]、MRELBP[15]以及本文方法U的分類準確率。Outex數據集由24類不同紋理圖像，采用9種不同的旋轉角度及3種不同光照拍攝得到。鑒于篇幅有限，在其中的TC11和TC12圖像集上進行了分類實驗。分類結果見表1，其中TC12下的“t”和“h”分別代表測試數據光照條件為“t184”和“horizon”。

CURet數據集中包含61種類別的自然紋理圖，每種類別含有在不同光照強度以及不同角度下拍攝得到的205幅圖像。實驗中，將每個類別中92幅拍攝角度小于60°的圖像轉換為灰度圖像，選取其中N幅圖像作為訓練樣本，剩余圖像作為測試樣本進行分類實驗，實驗重復200次后求取均值，分類結果見表2。

表1 Outex數據庫的分類準確率

表2 CURet數據庫的分類準確率

表1中LBP的平均分類準確率僅為72.29，而通過融合DLBP和LBP的U（DLBP，LBP）則取得了超過85.36的平均分類準確率，有了大幅度的提高。但U（DLBP，LBP）相比于CLBP、ICLBP及MRELBP方法，分類效果仍然遜色不少。然而融合DLBP的U（DLBP，CLBP）、U（DLBP，ICLBP）以 及 U（DLBP，REMLBP）卻又小幅度的提高了對應方法的平均分類準確率。在表2中，隨著訓練樣本N的增大，各特征提取算法的分類準確率均不斷提高。通過為不同方法融入DLBP，表2基本保持了表1中的規律，提高了各方法的分類能力。在兩大數據集上的比較實驗驗證了本文通過為特征統計中融入具有區分能力的圖像細節信息是的有效性。

為了評價分等級變化窗口算法的時間效率，本文從Outex數據庫24種中隨機選擇6種紋理，用其中的2到5種不同紋理合成測試圖像，如圖2（a）所示。測試時，首先選擇一種紋理作為目標，然后基于特征匹配策略從測試圖像中分割出該目標紋理，分割結果如圖5（b）所示。

圖2 測試圖像及分割結果示例

隨機選擇的6種紋理可以分別合成包含2到5種紋理的測試圖像30、120、360及720幅。分割準確率定義為分割區域與目標區域的交集面積和它們的并集面積之間的比值。由于篇幅有限，本文僅給出6次隨機選擇紋理下不同分割方法的分割結果，平均分割準確率及平均時間效率則是在重復試驗100次后求取均值，如表3所示。

表3 不同分割算法的準確率和時間效率

從表3中可以看出，盡管固定分解窗口方法時間效率很高，但是因存在漏檢及誤檢的情況而獲得了較低的分割準確率。變化分解窗口方法從不同尺度下對目標進行了定位，因此取得了比固定分解窗口方法更好的分割精度。然而，以固定尺度變化分解窗口的策略導致產生的子窗口數量巨大，算法時間效率低。本文通過繼承變化分解窗口方法的優點，進而獲得了較好的分割精度，僅略低于變化分解窗口方法。然而，本文方法通過有效利用當前子窗口與目標紋理之間的距離信息分等級的變化分解窗口的尺度，進而獲得了更好的時間效率。

4 結論

首先，本文針對LBP對非線性光照變化分類能力降低的問題，利用形態學處理獲取圖像細節信息，進一步通過對細節信息過濾得到魯棒的圖像局部信息進而用于提高特征分類能力。更一般的，該方法可以推廣到其他LBP變種。其次，基于紋理特征和變化分解窗口框架，本文利用目標紋理特征與待定紋理特征間的距離信息分等級的變化分解窗口有效的提高了目標分割的時間效率。最后，一系列實驗證實本文方法準確率高且速度快，具有一定的應用價值。

[1]Ojala T.Multi-resolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）:971-987.

[2]Choi I，KimA D.Variety of local structure patterns and their hybridization for accurate eye detection[J].Pattern Recognition，2017（61）:417-432.

[3]Petranek K，Janecka P，Vanek J.Using local binary patterns for object detection in images[J].Toxicology Letters，2015，5（1）:S320-S320.

[4]Jia X，Yang X，Cao K.Multi-scale local binary pattern with filters for spoof fingerprint detection[J].Information Sciences，2014，268（6）:91-102.

[5]Liu L，Fieguth P，Zhao G.Extended local binary patterns for face recognition[J].Information Sciences，2016，s358-359（C）:56-72.

[6]Li J，Sang N，Gao C.Face recognition with riesz binary pattern[J].Digital Signal Processing，2016（51）:196-201.

[7]Zhang Z，Zhang W，Liu J.Hierarchical facial landmark localization via cascaded random binary patterns[J].Pattern Recognition，2015，48（4）:1277-1288.

[8]RenS，Cao X，Wei Y.Face alignment at 3000 FPS via regressing localbinary features[J].IEEE Transactions on Image Processing，2014，25（3）:1685-1692.

[9]Hafiane A，Palaniappan K，Seetharaman G.Joint adaptive median binary patterns for texture classification[J].Pattern Recognition，2014，48（8）:2609-2620.

[10]Hegenbart S，Uhl A.A scale-and orientation-adaptive extension of local binary patterns for texture classification[J].Pattern Recognition，2015，25（8）:2633-2644.

[11]Dubey SR，Singh SK，Singh RK.Multichannel decoded local binary patterns for content based image retrieval[J].IEEE Transactions on Image Processing，2016，25（9）:4018-4032.

[12]Cao Z，Dong E.Distinctive local binary pattern for non- rigid registration of lung computed tomography images[J].Electronics Letters，2015，51（22）:1742-1744.

[13]Guo Z，Zhang L，Zhang D.A completed modeling oflocalbinary pattern operator for texture classification[J].IEEE Transactions on Image Processing，2010，6（19）:1657-1663.

[14]劉豪，楊永全，郭仙草，等.用于紋理特征提取的改進的LBP算法[J].計算機工程與應用，2014，50（6）:182-185.

[15]Hegenbart S，Uhl A.A scale-and orientationadaptive extension of local binary patterns for texture classification[J].Pattern Recognition，2015，25（8）:2633-2644.

[16]Liu L，Lao S，Fieguth PW.Median robust extended local binary pattern for texture classification[J].IEEE Transactions on Image Processing，2016，25（3）:1368-1381.

[17]Liu L，Fieguth P，Guo Y.Local binary features for texture classification:Taxonomy and experimental study[J].Pattern Recognition，2016（62）:135-160.

Fast object segmentation based on texture matching

CHEN Ning，YANG Yong-quan
（School of Computer Science，Xi’an Polytechnic University，Xi’an710048，China）

Target segmentation is widely applied to automated areas.Based on feature matching strategy，we focus on extraction of discriminative feature and fast segmentation of target.To extract more discriminative feature，we propose to fuse detailed information of image obtained from morphological processing with local binary pattern.To efficiently locate the target，we propose to change the size of decomposing widow in a rated way，according to feature distance between the target and the candidate window.Experiments demonstrate that our method achieves better performance.

texture extraction；local binary pattern；feature fusion；object segmentation

TP311

A

1674-6236（2017）23-0039-04

2016-11-11稿件編號：201611088

西安工程大學研究生創新基金（CX201622）

陳寧（1970—），男，河南滎陽人，博士，副教授。研究方向：智能信息處理、模式識別。