高斯支持向量機在家具板材分類識別中的應用

何金彬，傅惠南，黃辰陽，潘奕創

（廣東工業大學 機電工程學院，廣州 510006）

隨著我國工業自動化水平的不斷提高，越來越多的生產線引入自動識別系統，家具板材的加工產線就是其中之一。不同類別的家具板材有著不同的圖像紋理信息。紋理識別算法的研究也多種多樣，如：文獻[1]的基于灰度共生矩的紋理識別分類方法，通過提取圖片紋理的灰度共生矩作為競爭神經網絡的輸入參數進行訓練，最后輸出分類結果；文獻[2]提出二維離散小波變換和支持向量機相結合的方法，利用圖像生成的小波以及局部能量作為表征圖像的紋理特征；文獻[3]的監督式多尺度的貝葉斯分類法，采用雙樹復小波變換獲得的多尺度副值表征圖像的紋理特征；文獻[4]針對新的紋理分類智能系統，提出采用遺傳算法、離散小波變換和神經網絡相結合的方法；文獻[5]的基于改進高斯馬爾可夫隨機場的紋理特征方法，對高維空間分辨率的圖像進行分類。

這些方法對單色圖像的紋理特征都有較好的識別效果，但對家具板材的分類仍存在問題：①紋理相同，顏色不同的板材會誤歸為一類；②紋理和顏色都一樣的同種板材因圖案差異而誤分為兩類或多類。對此，收集彩色圖片，將圖片從RGB顏色空間轉換到 HSV（hue，saturation，value）顏色空間后提取紋理特征參數，利用高斯混合模型的概率統計能力及支持向量機的分類判決能力進行識別。

1 家具板材分類原理

家具板材根據顏色、紋理、圖案不同進行分類，其中紋理信息是主要決定因素。針對同紋理不同顏色誤分為一種類別的情況，將彩色圖片從RGB（red，green，blue）顏色空間轉換到 HSV 顏色空間后提取板材紋理特征參數進行分類識別。對同顏色同紋理，圖案有差異但為同類板材的情況，文中運用一種基于集成高斯支持向量機的方法進行分類識別。

假設 X=｛x1，x2，…，xn｝為表征圖像特征的參數集，將其輸入到高斯混合模型中，得到輸出參數集X′=｛x1′，x2′，…，xn′｝，將參數集進行適當變換后輸入支持向量機模型，得到目標變量

Y=f（x1′，x2′，…，xn′）

式中：n為板材特征屬性的個數；Y為家具板材的類型集合?？梢缘玫絏→Y的映射關系。該映射過程就是整個分類方法的建模過程，即高斯支持向量機模型。該方法分類原理如圖1所示。

圖1 高斯支持向量機算法分類原理Fig.1 Gauss support vector machine algorithm classification principle

2 高斯支持向量機的算法原理

2.1 高斯模型

由概率統計理論及文獻[6]可知，有限個高斯函數的線性組合可以逼近任意的概率密度函數。同理有限個高斯函數也可以對家具板材的紋理特征進行比較精確的描述。假設M階高斯模型的概率密度函數為

M階高斯混合模型的概率分布密度函數為

式中：λ為高斯模型的參數集；m為隱狀態號，即高斯分量序號，M階高斯就有M個隱狀態；xi為D維的圖像特征矢量；ωm為m個分量的混合權值，其值對應為隱狀態m的先驗概率；μm為均值矢量；Σm為協方差矩陣；D為特征矢量的維數。

式中：xid， μmd分別為矢量 xi和 μm的第 d 個分量；M為模型的混合度。

由于高斯混合模型輸出的是一個M階D維的特征參數矩陣，而支持向量機的輸入參數只能是固定維數的特征向量[7]，故文中提出一維輸出高斯混合模型的方法。

D個樣本觀察數據在由M個單高斯模型組成的混合高斯模型處理后，輸出M階D維的概率矩陣XDM。 對 XDM進行 PCA[8]主成分分析得到 XD′M′，再將進行變換，將第2行數據排在第1行之后，第3行數據排在第2行之后，以此類推直至所有行數據重新排列完整，得到新數據：

X1（dm）′=（x11，…，x1m，x21，…，x2m，…xd1，…，xdm）

其推導過程如下：

其中

由EM算法得到高斯混合模型概率輸出矩陣為

將進行變換后

X1（dm）′＝（x11，…，x1m，x21，…，x2m，…xd1，…，xdm）將高斯混合模型的輸出參數X1（dm）′作為支持向量機的輸入訓練集進行分類識別。

2.2 支持向量機模型

支持向量機SVM（support vector machine）是在統計學的VC（Vapnik-Chervonenkis）維理論和結構風險最小化的基礎上，對訓練樣本求取最優分類平面而提出的[9]。對于線性可分的二分類問題，能找到一個使得兩類樣本點以最大分類間隙分開的平面，稱為最優分類平面。假設，有兩類待分類的樣本數據｛xi，yi｝，i=1，2，…，n，xi∈Rd，yi∈｛-1，+1｝。 若存在一個超平面H：ωx+b=0，可將兩類數據以最大分類間隔分類，即滿足方程：

式中：ω為權重向量；b為最優分類超平面的偏移量。

在實際應用中，并非所有數據樣本都線性可分。對于線性不可分的情況，通過引入核函數可將樣本數據從低維空間映射到高維空間，從而使數據線性可分。設核函數

K（xi，yi）＝φ（xi）φ（yi）

則可得最優分類超平面方程為

式中：C為懲罰參數[9]，其大小由用根據實際經驗設定。方程組（8）的解可由拉格朗勒乘數法求得

式中：xi為支持向量；為支持向量對應的拉格朗勒乘子；b*為常數[10]。

2.3 糾錯碼支持向量機

支持向量機是為解決二分類問題而提出的。文中采用二進制糾錯碼，將多類分類問題轉化為多個二分類問題[11]。對于k類分類問題，對每個類別進行一個長度為L的二進制編碼，能形成一個K行L列的碼本。對于其中第i列，將該位中編碼為“1”的所有類別歸為一類，其他編碼為“0”的類別作為另一類，因此每個編碼對應一個兩類分類問題，這樣k類分類問題就轉化為了L個兩類分類問題。

對于一個新樣本分類時，L個支持向量機分類器的分類結果（1或0）構成一個碼字s，再計算碼本內K個編碼與s的漢明距離，距離最小者所所屬的類別就是該測試樣本所代表的類別。

3 試驗結果和分析

3.1 樣本采集

為了驗證文中所述方法的有效性，在MatLab仿真軟件中對紋理分類效果進行評估。采集30種不同板材的紋理特征彩色圖片共1500張，每類各50張，每張圖片大小為640×480。為了進一步增加樣本圖片的數量，將每張圖片分割為320×240大小的子圖片4張。最終得到30種不同紋理特征的彩色圖片，每種200張，共6000張圖片。

對每張大小為320×240的彩色子圖片進行顏色空間轉換，得到HSV彩色紋理圖片。

3.2 特征參數集的選擇

選擇合適的特征參數，不僅能表征圖像的紋理信息，還能更好地區分不同的紋理類別。在此選取彩色圖像HSV顏色空間的如下信息作為特征參數：灰度共生矩、角二階矩、熵、相關性、對比度、能量、慣性矩、3×3窗口大小的灰度均值和標準偏差[12]。

文獻[13]指出，彩色RGB顏色空間的3個單色分量之間有較高的相關性，直接利用RGB分量難以得出理想效果。鑒于此，文中把彩色RGB與HSV顏色空間的樣本分類識別率進行比較。將RGB彩圖的R通道圖像的特征參數集記為Fr；G通道圖像的特征參數集記為Fg；B通道圖像的特征參數集記為Fb。

為進一步說明不同特征參數對紋理分類效果的影響，提取了R通道圖像的灰度共生矩、角二階矩、熵，G通道圖像的相關性、對比度、能量，B通道圖像的慣性矩、灰度均值、標準偏差，作為混合特征參數集，記為Fs。再選擇HSV顏色空間的特征參數集，記為 Fh。

分別提取出 Fr，Fg，Fb，Fs，Fh的特征參數集作為高斯混合模型的輸入參數集。經過高斯混合模型處理后，輸出的特征向量分別為

將得到的高斯混合模型輸出概率參數集，作為支持向量機的輸入參數集，進行分類。

3.3 不同參數選擇的影響

3.3.1 核函數的選擇

為驗證不同核函數對紋理分類的影響，選擇Fr作為特征參數集。在其他試驗條件相同的情況下，分別選擇高斯核函數、多項式核函數、Sigmoid核函數作為支持向量機的核函數，在不同的分類類別下觀察識別率的變化。不同核函數分類效果情況見表1。

表1 3種核函數的識別率對比Tab.1 Comparison of recognition rate between three kernel functions

分析表1數據可知，選用高斯核函數的效果，比多項式核函數、Sigmoid核函數的總體效果更好。

3.3.2 γ和L的選擇

考慮高斯核函數參數γ和擴展多分類中的編碼長度L對紋理識別率的影響。分別令γ=0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0， 對試驗數據進行測試。其試驗統計數據見表2。

分析表2數據可知，當分類類別K=25，編碼長度L=51，γ=0.9或1.0時紋理分類識別率較好。3.3.3 紋理特征參數的選擇

為了驗證紋理特征參數的選擇對紋理識別率的影響。試驗選用高斯核函數、L=51，K=25，懲罰參數C=1000， 在不同的γ值下， 分別選用Fr，Fg，Fb，Fh，Fs的特征參數集作為高斯支持向量機的輸入參數集，其紋理識別率的對比效果如圖2所示。

表2 不同L和γ的識別率對比Tab.2 Comparison of recognition rate of different L and γ

圖2 不同特征集的GMM-SVM識別效果Fig.2 GMM-SVM recognition effect of different feature sets

由圖可見，當混合特征參數集Fs為圖像的紋理特征時，其識別率是最高的。表明在家具板材的分類識別中，彩色HSV顏色空間的特征集能更好地表征圖像紋理特性。

3.4 紋理特征分析

針對同紋理不同顏色誤歸為一類的情況（如圖3所示），將RGB彩圖轉換到HSV顏色空間下進行處理。

圖3 同紋理不同顏色的不同板材Fig.3 Different plates with different colors in same texture

針對同種板材因圖案差異誤分為兩類或者多類的情況 （如圖4所示），將紋理圖像做傅里葉變換，再進行濾波。 圖 4（a），4（b）兩圖的紋理差異在于圖案，只需抑制圖4（a）中的文字圖案信息特征即可。圖4（c）是圖4（a）的傅里葉變換頻譜圖，用理想濾波器對圖4（c）進行低通濾波，得到圖 4（d），再對其進行傅里葉反變換。最后，將濾波處理后的圖像輸入到高斯支持向量機模型中，進行分類識別。

圖4 有圖案差異的同種板材及其傅里葉變換圖譜Fig.4 Same sheet with different patterns and its Fourier transform atlas

3.5 不同分類算法的識別率對比

為了驗證方法的有效性，選擇Fs作為表征圖像的特征參數集，分別用高斯混合模型算法、支持向量機分類器、高斯支持向量機算法、貝葉斯分類算法和人工神經網絡算法進行試驗。將板材樣本的訓練比例分別設為10%，20%，30%，觀察其識別率（如圖5所示）的變化。

圖5 不同方法識別效果的對比Fig.5 Comparison of different methods to identify the effect

由圖5可見，高斯支持向量機的分類算法相比高斯模型算法、支持向量機分類器、貝葉斯分類算法有更高的識別率；高斯支持向量機和人工神經網絡算法之多層感知器都有很高且相近的識別率。將板材樣本的輸入數量設為50～500，觀察在不同的樣本數量下高斯支持向量機算法和人工神經網絡算法的運行時間，如圖6所示。

圖6 GMM-SVM和MLP的效率對比Fig.6 Efficiency comparison of GMM-SVM and MLP

由圖可見，高斯支持向量機GMM-SVM的運行時間在72～122 ms，人工神經網絡之MLP的運行時間在87～129 ms。由此表明，在板材分類識別中，高斯支持向量機的方法具有更高效率。

4 結語

文中應用基于高斯混合模型和支持向量機結合的紋理識別方法，利用高斯混合模型統計出的特征概率矩陣作為支持向量機的輸入特征向量，既利用了高斯混合模型良好的統計能力，又利用了支持向量機良好的判別能力。尤其在本例的板材分類中，針對同紋理不同顏色的樣品有較好的識別率，也降低了同種樣品誤分類的概率。該方法比單一的高斯混合模型、支持向量機、貝葉斯的效果更好，具有較強的魯棒性和較好的推廣泛化能力。

[1] Bai X B，Wang K Q，Hui W．Research on the classification of wood texture based on Gray Level Co-occurrence Matrix[J]．Journal of Harbin Institute of Technology，2005，37（12）：1667-1670．

[2] Rajpoot K M，Rajpoot N M．Wavelets and support vector machines for texture classification[C]//International Multitopic Conference，2004，24（11）：328-333．

[3] Celik T，Tjahjadi T．Bayesian texture classification and retrieval based on multiscale feature vector[J]．Pattern Recognition Letters，2011，32（2）：159-167．

[4] Avci E，Sengur A，Hanbay D．An optimum feature extraction method for texture classification[J]．Expert Systems with Applications，2009，36（3）：6036-6043．

[5] Zhao Y，Zhao L，Li P，Huang B．Classification of high spatial resolution imagery using improved gaussian markov random-fieldbased texture Features[J]．IEEE Transactions on Geoscience and Remote Sensing，2007，45（5）：1458-1468．

[6] Ito K，Xiong K．Gaussian filters for nonlinear filtering problems[J]．Automatic Control IEEE Transactions on，2000，45（5）：910-927．

[7] 周興恩．基于GMM和SVM的音頻分類算法[D]．大連：大連理工大學，2008．

[8] 王松，夏紹瑋．一種魯棒主成分分析（PCA）算法[J]．系統工程理論與實踐，1998，18（1）：9-13．

[9] Kim K I，Jung K，Park S H，et al．Support vector machines for texture classification[J]．IEEE Transactions on Pattern Analysis＆ Machine Intelligence，2002，24（11）：1542-1550．

[10] 楊云，盧美靜．基于集成支持向量機的葡萄酒品質分類方法[J]．計算機工程與設計，2017，38（9）：2541-2545．

[11] Kindermann J，Leopold E，Paass G．Multi-class classification with error correcting codes[EB/OL]．http：//www．researchgate．net．

[12] 馮建輝，楊玉靜．基于灰度共生矩陣提取紋理特征圖像的研究[J]．北京測繪，2007，21（3）：19-22．

[13] 肖淑蘋，楊建雄，陳一棟．基于小波概率神經網絡的彩色紋理識別[J]．微電子學與計算機，2010，27（6）：28-31． ■