基于LBP和SVM的工件圖像特征識別研究

吳益紅,許　鋼,江娟娟,畢運鋒

(安徽工程大學　安徽檢測技術與節能裝置省級實驗室,安徽 蕪湖　241000)

?

引用格式：吳益紅,許鋼,江娟娟,等.基于LBP和SVM的工件圖像特征識別研究[J].重慶理工大學學報(自然科學版)，2016(1):77-84.

Citation format：WU Yi-hong, XU Gang, JIANG Juan-juan，et al.Research on Workpiece Image Feature Recognition Based on LBP and SVM[J].Journal of Chongqing University of Technology(Natural Science)，2016(1):77-84.

基于LBP和SVM的工件圖像特征識別研究

吳益紅,許鋼,江娟娟,畢運鋒

(安徽工程大學安徽檢測技術與節能裝置省級實驗室,安徽 蕪湖241000)

摘要：針對工業現場諸如粉塵、光照、遮擋、攝像機抖動等復雜環境下工件目標的識別問題，提出一種基于局部二值模式(local binary pattern， LBP)和支持向量機(support vector machine， SVM)的組合模型，對工件圖像進行特征提取與類別判定。運用基本LBP模式、LBP等價模式以及LBP旋轉不變模式，并結合多種去噪方法對工件圖片進行特征提取，得出LBP特征直方圖。根據這些特征直方圖，利用分類模型對工件進行分類識別。實驗結果表明：基于均值濾波去噪的LBP基本特征算子較好地滿足了工件圖像的特征提取要求，為后續的工件圖片分類提供了保障，使得圖片識別準確率達96%，識別效果較佳。

關鍵詞：工件圖像；局部二值模式；支持向量機；特征提?。还ぜ诸?/p>

在復雜環境中正確識別出目標物體，是工業機器人實現有效分揀、目標定位以及視覺跟蹤的前提和基礎，其識別結果的正確與否直接影響機器人裝配操作的準確性。然而，復雜環境下圖像易出現模糊、缺損、噪聲污染等降質問題，對工業機器人的識別結果產生嚴重影響?？焖贉蚀_地提取并識別出工件圖片對于機器人現場實時操作具有至關重要的意義。

LBP指局部二值模式，由芬蘭奧盧大學的T.ojala等[1]提出，可以對圖像局部紋理特征信息進行高效的度量和提取。因具有旋轉不變性和灰度不變性及理論簡單、效果良好等優點，LBP被廣泛應用于機器視覺、生物醫學、人臉識別等領域[2]。

文獻[3]提出一種多尺度LBP傅里葉直方圖與主動形狀模型相結合的方法并運用于人臉表情識別，結果表明：該方法在人機交互方面有一定的應用價值。文獻[4]提出一種基于多尺度LBP子模式特征的人臉描述與識別方法，對光照、人臉表情和位置的變化具有較高的魯棒性。文獻[5]將LBP用于X射線圖像的增強、邊緣提取和缺陷識別等應用中，針對X射線圖像的特點，從圖像的檢測效果和檢測時間2個方面提高了工業X射線圖像的檢測效率。

SVM是一種較好的基于混沌理論的非線性預測分類算法。與傳統人工神經網絡基于經驗風險不同的是，SVM基于結構風險最小化，能夠有效避免過擬合、泛化能力差等不足[6]。由于其通用性好、魯棒性強、計算簡單、效果良好，故被廣泛地應用于機器學習、模式識別、回歸預測等領域[7]。

文獻[8]采用區域直方圖作為圖像特征支持向量，利用SVM實現對圖像數據庫的檢索和分類。文獻[9]采用常用的灰度共生矩陣方法提取圖像紋理特征，作為圖像特征支持向量，采用一對一方法構建出多分類SVM分類器實現了Brodatz紋理庫中的圖像分類。

本文提出一種基于去噪的LBP基本算子和SVM的對工件圖像進行分類識別的算法，結合LBP在圖像特征提取上的優勢，在兼顧識別的實時性和正確率的基礎上，利用SVM分類器完成對降質圖像中各種類型不同形態工件的識別。本文對工業現場拍攝的圖片集進行實驗，通過比較不同的LBP算子，驗證去噪的LBP基本算子和SVM組合算法在工件圖片特征提取與識別分類中的高效性。圖1為本文采用的5類工件圖片(從左至右分別為1～5類，每類各列舉一例)。

圖1　5類工件圖片

1LBP提取圖像特征

1.1LBP算子

LBP算子是一種灰度尺度恒定的紋理算子，來自局部鄰域紋理的普通定義。其基本思想：以中心點像素的灰度值作為閾值，與它的鄰域比較，得到二進制碼來表述局部紋理特征。本文利用3種不同的LBP算子，分別為基本LBP算子、LBP等價模式算子和LBP旋轉不變算子，對工件圖像進行特征提取，找出最適合于工件圖像特征提取的LBP算子。

1.1.1LBP 基本算子

LBP基本算子即原始的LBP。原始的LBP在一個3×3矩陣窗口中定義，每個窗口值代表一個像素點的灰度值。如圖2所示，將中心點灰度值與外圍8個點灰度值進行比較，大于中間像素點的灰度值的數值置為1，否則為0。然后，按所處的位置不同，給8個處理后的值以不同權值，逐個相加得到的結果定義為該區域內的LBP值。

圖2　基本LBP算子

1.1.2LBP等價模式算子

LBP等價模式這樣定義：當LBP算子的循環二進制數從0到1或從1到0跳變最多有2次時，如00000000或者00110000，這些二進制模式都屬于等價模式類。可以按照如下公式計算二進制模式是否是等價模式：

(1)

式中若某種模式計算得到的U(GP)不大于2，則被看作等價模式。通過這樣的改進，模式類別由之前的2P種降低到P(P-1)+2種，有效減少了模式類別。

通過等價模式計算可以簡化模式種類，還可降低高頻噪聲干擾，并且不損失圖像信息，有效降低了特征數據的維數，提高了分類效率。

1.1.3LBP旋轉不變模式算子

基于LBP的灰度不變性和旋轉不變性，Maenpaa等[11]提出了旋轉不變的LBP算子。LBP旋轉模式通過不斷旋轉圖像的圓形領域，得到一系列的LBP值，選取其中的最小值作為最終的LBP值，用公式表示為

(2)

其中：LBPri表示LBP旋轉不變算子；ROR(x,i)為旋轉函數，可以將x循環右移i(i

圖3描述了LBP旋轉不變模式的計算過程。其中，最上面代表原始LBP值，通過循環旋轉，得到中間8個LBP值，取其中的最小值(即00001111)作為中間8種LBP模式的旋轉不變模式值。

圖3　LBP旋轉不變模式

旋轉不變模式在增強LBP算子魯棒性的同時，顯著減少了LBP模式的類別,有利于特征分類。

1.2LBP特征譜直方圖

工件圖像的特征譜只反映了工件圖片的局部特征，不適合直接采用LBP特征譜進行工件特征提取。為了獲得更加豐富、切合度更高的特征，一般的做法是將LBP特征譜轉變成LBP直方圖序列。

本文將該序列作為鑒別特征進行工件識別分類。提取LBP工件圖像直方圖序列的具體過程如圖4所示。

圖4　提取LBP工件圖像直方圖序列的具體過程

2SVM與libSVM工具箱

2.1SVM圖像分類原理

SVM由Vapnik于1995年提出[12]，其本質是在訓練數據中找出適合構造最優分類超平面的支持向量。對于圖像分類這種非線性分類問題，SVM的主要思路是通過非線性變換將輸入空間數據映射到高維特征向量空間,在該空間中構造出最優分類超平面,進行線性分類，再映射回原數據空間，實現原空間下的非線性分類。SVM通過引入核函數降低了高維空間下數據計算的復雜度，但是引入核函數會產生偏差，故通過引入參量松弛系數g和懲罰系數c，從而使得模型推廣能力提高，復雜性和經驗風險降低。

2.2libSVM工具箱

由臺灣大學林智仁(Lin Chih-Jen)教授等開發的SVM模式識別與回歸開源軟件包可以解決如圖像識別等諸多分類問題(C-SVR、-SVC等)，在國內外學術研究機構被廣泛使用[13-14]。libSVM的使用步驟：

1) 特征數據歸一化

由于作為圖像特征數據的輸入測試集和訓練集屬性的取值不屬于同一個數量級，輸入變量差異較大，因此在建立模型之前，需將數據進行歸一化預處理[15]。

對訓練集和測試集進行歸一化采用的歸一化映射如下：

(3)

式中：xi,yi∈Rn；xmin=min(x)；xmax=max(x)。歸一化使原始數據被映射到[0,1]范圍內，即yi[0,1],i=1,2,…,n, 這種歸一化方式稱為[0,1]區間歸一化。

在Matlab中，mapminmax函數可以實現上述的歸一化，mapminmax函數所采用的映射為

(4)

其中：xmax,xmin分別是原始數據x的最大值和最小值；ymin和ymax是映射的范圍參數，可調節。如果把ymin和ymax分別置為0和1，此時的映射函數即為上面的[0,1]歸一化，也可以設置為-1和1，此時的映射函數即為[-1,1]歸一化。

2) SVM參數選取

核函數的參數選取影響到分類的性能，在利用libSVM進行圖像分類前，首先需要對RBF核函數進行參數尋優，然后進行交叉檢驗。在所有參數中，最重要的是c和g。其中c是設置C-SVC、e-SVR和v-SVR的參數；g對核函數中的gamma函數進行設置。

libSVM利用K-CV交叉驗證方法確定最優化參數值，函數實現形式是SVMcgForClass，輸出得到的最優參數值bestmse、bestc、bestg分別表示最優均方誤差以及最優的c、g值。

3實驗部分

3.1模型建立

從原始工件圖片數據里選定訓練集和測試集，進行圖片數據預處理和特征提取，之后用SVM對訓練集的特征數據進行訓練，得到訓練模型，然后再用得到的模型來預測測試集的分類標簽，得出分類準確率。模型算法流程見圖5。

圖5　模型算法流程

其中，預處理包括圖片亮度增強、灰度化等；LBP特征提取包括對圖片進行去噪、提取LBP紋理特征以及獲得LBP直方圖；訓練SVM則包括數據歸一化、設置標簽以及參數選擇等。下面將對模型的每一步驟展開實驗設計。

3.2預處理與LBP特征提取

3.2.1選定測試集和訓練集

實驗在Matlab R2012a平臺上運行，計算機運行環境為Pentium G2030T，2.60 GHz處理器。本文建立了一個工件圖片的小樣本數據集，采用5類(每類16幅)共80幅，每幅像素大小為300×200的工件圖片集。使用交叉驗證法來選定最好的訓練集和測試集，采用的訓練集和測試集分別為每類圖片的前11幅和后5幅，即55幅作為訓練集，25幅作為測試集。

3.2.2圖片亮度增強與灰度化

由圖1可知：工件圖片的亮度普遍偏低。為了不影響特征提取的精確度，在對圖像進行特征提取前，需對各圖片進行亮度增強處理。本文采用的方法是調節圖片的對比度，由函數imadjust(x,stret、chlim(x),[0 1])實現。

通常，在對圖像進行處理前會將其轉換成灰度圖像，這樣在保留圖像的整體和局部信息的同時可以有效降低字節數，提高數據處理速度。本文利用加權平均法，將RGB三個分量分配不同的權值，實現圖像的灰度化處理。按照人眼對RGB 3個分量的敏感度不同，設定以下3個權值以得到較好的灰度圖像：

0.11B(i, j)A

(5)

其中：f(i,j)為轉換后的灰度圖像在(i,j)處的灰度值；R(i,j)、G(i,j)和B(i,j)分別為(i,j)處的紅色值、綠色值以及藍色值。

3.2.3LBP特征提取

雖然LBP 算子具有旋轉不變性和灰度不變性等顯著優點，但LBP的抗噪性較差，所以不能直接運用LBP對處理過的灰度圖像進行特征提取。本文采用多種去噪方式和LBP結合來提取圖像特征。如采用1.2節所述方法提取各訓練集和測試集圖片的LBP紋理圖像，并進一步得到特征譜直方圖，以此作為各工件的特征進行訓練和測試分類。

3.3libSVM對圖片的訓練和預測

3.3.1數據歸一化

libSVM在對圖片特征數據進行訓練和測試之前，需要對數據進行歸一化。本文根據2.2節所述歸一化方法，設定歸一化范圍為[0,1]。

3.3.2訓練和測試

1) 標簽標記

首先分別對訓練集和測試集進行標簽標記。具體做法如下：

① 載入數據,使用load workpiece.mat；

② 將第1～5類工件圖片的前11幅作為訓練集，剩下的5幅作為測試集：

train_workpiece=[wp1(1:11,:);wp2(1:11,:); …;wp5(1:11,:)];

test_workpiece=[wp1(12:16,:); wp2(12:16,:); …; wp5(12:16,:)];

③ 將相應的標簽提取出來：

train_workpiece_label=[wp1_label(1:11);…;wp5_label(1:11)];

test_workpiece_label=[wp1_label(11:16);…;wp5_label(11:16)];

2) 訓練與測試

libSVM工具箱提供了訓練函數和測試函數。

訓練函數：

model=SVMtrain(train_label,train_matrix,[‘libSVM_options’])

其中：model為訓練得到的分類模型；train_label為訓練集標簽；train_matrix為訓練集屬性，即訓練集圖片特征，一般以矩陣形式給出；libSVM_options為一些參數選擇，一般為懲罰參數c、核函數參數g。本文中c、g采用2.2節提到的交差驗證法得到。

測試函數：

[predicted_label,accuray]=

SVMpredict(test_label,test_matrix,[‘libSVM_options’])

其中：predicted_label為預測得到的測試集標簽；accuray為分類準確率；test_label為測試集標簽；test_matrix測試集屬性，即測試集圖片特征，一般以矩陣形式給出；libSVM_options是一些參數選擇函數。

4結果與分析

本文針對LBP的抗噪性差這一缺點，采用小波去噪以及常用的5種去噪方式，即圓形區域均值濾波、對比度增強濾波、高斯低通濾波、5×5中值濾波、3×3均值濾波對圖片進行去噪處理，并采用不同的LBP算子與SVM結合進行分類。經過試驗得到的部分結果如表1～3所示。

表1　基本LBP算子在不同去噪方法下的分類結果

等價模式在不同去噪方法下的分類結果

旋轉不變模式在不同去噪方法下的分類結果

由表1～3可知：表1的模式在分類準確率和耗時方面的總體效果最好，表2、3的模式則在這兩方面均顯示出較低的水平。這是因為等價模式雖能代表絕大多數圖像的有效信息，然而圖像紋理的多樣性使得每一類圖像都有其各自的特點和關鍵信息。這種固定的等價模式并不適用于任何種類的圖像。采用等價模式時常發現混合模式的數量很大，特別是在工件圖片這種受光照或局部變化較明顯的圖像中，這對于特征提取的準確性和穩定性都是不利的。旋轉不變性的LBP算子丟失了方向性，這在工件圖像這種方向性比較重要的圖片中也是非常不利的。

由于紋理圖像的興趣點通常散布在圖片的整個區域內，而工件圖像包含了較多背景像素點，因此在一定程度上來說，它并非嚴格意義上的紋理圖片。通過使用和對比幾種不同的LBP算子，結合不同的去噪模式，得出LBP基本算子最適合識別工件圖像。圖6是LBP基本算子的計算過程，其中：黑色點是去除噪聲的點；虛線指濾波器作用范圍。可以發現：采樣點在半徑為2的圓的實線上，這樣，LBP基本算子能獲得大范圍的特征信息，避免了頻譜混疊，控制了采樣點個數，有效減少了計算數量，適合本文工件圖片的特征提取。

圖6　本文的LBP

本文在圖像分類精度評價中，首先采用表1～3中的分類準確率進行評估。但是要獲得一個好的分類結果，除了需要較高的準確率外，還需知道其具體的實測情況。評估分類可信度的一個基本工具是混淆矩陣(confusion matrix)。本文列出分類準確率較高的基于3×3均值濾波、對比度增強濾波以及基于高斯低通濾波3種方法的混淆矩陣，分別對其分類可信度進行評估測試。表4～6是這3種方法的混淆矩陣(表中的1～5類分別表示圖1中的1～5類圖片)。

表4　基于均值濾波方法的混淆矩陣

表5　基于對比度增強濾波方法的混淆矩陣

表6　基于高斯低通濾波方法的混淆矩陣

混淆矩陣的每一列代表了實際測得信息，每一列中的數值等于實際測得的圖片在分類圖像中對應于相應類別的數量。例如，表4中第2列中的‘1’表示在實際測得的結果中有1個第4類圖像被測分為第1類圖像；混淆矩陣的每一行代表了工件圖像的分類信息，每一行中的數值等于分類器在實測圖片相應類別中的數量。

本文參與測試的工件圖片數為25幅，分為5類，每類5幅?；煜仃囍忻恳恍袌D片數之和為5，表示5個樣本。例如，表4中的第4行表示有4個樣本正確分類，有1個樣本被錯分成2類圖片。每一列數目之和表示此次分類中被分成某類的圖片總數。由表4～6可以看出：表4，即基于均值濾波去噪的LBP對圖像進行特征提取并與SVM結合進行圖片分類時，分類效果最好。

在混淆矩陣中，除了可以直觀地看到分類結果的好壞之外，還可根據各行各列的數據得到潛在的分類結果數據：TP(true positive，真正類，被模型預測為正的正樣本)，FN(false negative，假負類，被模型預測為負的正樣本)，FP(false positive，假正類，被模型預測為正的負樣本)，TN(true negative，真負類，被模型預測為負的負樣本)。根據這4個數據及其相關關系，繪制出受試者工作特征曲線(receiver operator characteristic curve，ROC),如圖7所示。

圖7　ROC曲線

ROC曲線可以通過描述真正類率TPR=TP/(TP+FN)和負正類率FPR=FP/(FP+FN)來實現。在ROC曲線中，分類模型越好就越靠近圖形的左上方，而一個隨機猜測模型則位于連接點(TPR=0，FPR=0)和(TPR=1，FPR=1)的主對角線上。

ROC曲線下方的面積(area under the ROC curve， AUC)提供了評價模型性能的另一種方法。如果模型是完美的，那么它的AUC=1；如果模型是簡單隨機猜測模型，那么它的AUC=0.5；如果一個模型優于另一個，則它的AUC相對較大。由此，從圖7中可以得到基于均值濾波的方法最靠近左上角，其AUC為0.999 3，明顯大于其他兩種方法(0.982 5，0.787 5)。這說明了基于均值濾波的LBP與SVM分類器結合的模型分類效果最好。

5結束語

本文將基于紋理特征的算法LBP運用于工件圖片的特征提取，在運用LBP各模式與多尺度結合提取特征的過程中，得出最好的實驗結果是和工件圖像特點契合度較高的基本LBP算子。由于LBP對噪聲十分敏感，故本文采用多種去噪方式與LBP算子結合來處理圖片，最后使用SVM模型對LBP提取的特征進行分類識別。實驗結果表明：基于均值濾波去噪的LBP算子與SVM結合結果準確率最高，同時也證明了LBP對非明顯紋理圖像的工件圖片進行處理的可行性。

由于主流物體分類與識別數據庫中沒有特定的工件圖片集，因此本文方法有一定的局限性。采集的樣本數目雖滿足一般的小樣本集要求，但仍然較少，這也會影響分類效果。擁有研究特定的樣本集、擴大樣本集數目是下一步要解決的問題。

參考文獻：

[1]OJALAT,PIETIKAINENM,HARWOODD.Acomparativestudyoftexturemeasureswithclassificationbasedonfeaturedistributions[J].PatternRecognition,1996,29(1):51-59.

[2]劉偉鋒,李樹娟,王延江.人臉表情的LBP特征分析[J].計算機工程與應用,2011,47(2):149-152.

[3]王麗,李瑞峰,王珂.多尺度局部二值模式傅里葉直方圖特征的表情識別[J].計算機應用,2014,34(7):2036-2039.

[4]黃非非.基于LBP的人臉識別研究[D].重慶：重慶大學，2009.

[5]畢碧.局部二值模式的改進及其在工業X射線圖像中的應用研究[D].重慶：重慶大學，2012.

[6]高錦.基于SVM的圖像分類[D].西安：西北大學,2010.

[7]王曉云.基于SVM的圖像分類算法優化實現[J].信息安全與通信保密,2013(2):59-62.

[8]王亮申.基于SVM的圖像分類[J].計算機應用與軟件,2005,22(5):98-99.

[9]章智儒.SVM在圖像分類中的應用[J].信息技術，2009,8(25):133-134.

[10]OJALAT,PIETIKAINENM,MAENPAAT.Multiresolutiongrayscaleandrotationinvarianttextureclassificationwithlocalbinarypatterns[J].IEEETrans.onPatternAnalysisandMachineIntelligence,2002,24(7):971-987.

[11]MAENPAAT,PIETIKAINENM.Textureanalysiswithlocalbinarypatterns.HandbookofPatternRecognitionandComputerVision[M].3rded.WorldScientific,Singapore,2001:711-736.

[12]CORTESC,VAPNIKV.SupportvectornetworksMachineLearning[J].MachineIntelligence,2002,24(7):971-987.

[13]LINCJ.APracticalGuidetoSupportVectorClassification[Z].Taiwan:NationalTaiwanUniversity,Initialversion:,2010.

[14]CHANGCC，LINCJ.LIBSVM:ALibraryforSupportVectorMachines[Z].Taiwan:NationalTaiwanUniversity,Initialversion:2001Lastupdated:March4,2013.

[15]史峰，王小川.MATLAB神經網絡30個案例分析[M].北京:北京航空航天大學出版社，2010：115-116.

(責任編輯楊黎麗)

Research on Workpiece Image Feature Recognition

Based on LBP and SVM

WU Yi-hong, XU Gang, JIANG Juan-juan，BI Yun-feng

(Anhui Key Laboratory of Detection Technology and Automation Devices,

Anhui Polytechnic University, Wuhu 241000, China)

Abstract:Aiming at the problem of workpiece identification in the complex environment of industry field such as dust, light, shelter, and camera shake, this paper proposed a combined model based on local binary pattern (LBP for short) and support vector machine(SVM for short) for feature extraction and recognition of the workpiece images. By using basic LBP pattern, LBP uniform pattern and LBP rotation invariant pattern and combining with various noise attenuation, we extracted and analyzed workpiece image features, and obtained LBP feature histogram, and then classified and recognized the workpiece image by utilizing classification models according to these characteristics. The experimental results indicate that the basic LBP pattern on Mean Filter is more suitable for the feature extraction and provides guarantees for classification of the workpiece images, and the image recognition effect is better and the recognition rate is up to 96%.

Key words:workpiece image; local binary pattern; support vector machine; feature extraction; workpiece classification

文章編號：1674-8425(2016)01-0077-08

中圖分類號：TP391.41

文獻標識碼：A

doi:10.3969/j.issn.1674-8425(z).2016.01.013

作者簡介：吳益紅(1989—)，女，安徽宿州人，碩士研究生，主要從事智能信息處理及應用、圖像處理等方面研究；許鋼(1972—)，男，安徽蕪湖人，副教授，碩士生導師，主要從事數字信號處理、機器人視覺研究。

基金項目：國家自然科學基金資助項目(61271377)；安徽省高等教育提升計劃省級自然科學研究一般項目(2014B02)

收稿日期：2015-10-10