基于獨立成分分析和模糊支持向量機的車標識別新方法＊

孫娟紅，李文舉，馮 宇，韋麗華

(遼寧師范大學 計算機與信息技術學院，遼寧 大連 116081)

車輛識別技術是智能交通領域的重要研究課題，在橋梁路口自動收費、停車場無人管理、違章車輛自動記錄、盜搶車輛追查等領域都有廣泛的應用，具有重大的經(jīng)濟價值和現(xiàn)實意義。車標識別是車輛識別技術的重要組成部分，其核心技術是車標定位和車標識別，在準確地定位車標后，車標圖像識別就成為一個關鍵問題?，F(xiàn)有的車標識別方法有：基于模板匹配[1]、基于邊緣直方圖[2]、基于邊緣不變矩[3]、基于 SIFT特征[4]以及基于主成分分析和BP神經(jīng)網(wǎng)絡[5]等方法。但是，基于模板匹配的方法在圖像傾斜的情況下效果不太理想；基于邊緣直方圖的方法提取的車標邊緣方向直方圖特征有時并不十分明顯，容易造成識別誤差；基于邊緣不變矩的方法雖然對圖像的平移、縮放和旋轉等不敏感，但計算量大且易受噪聲影響，使車標識別率受到影響；基于SIFT特征的方法算法復雜，時間復雜度高；基于主成分分析和BP神經(jīng)網(wǎng)絡的方法對于模糊車標圖像識別率較低。因此，針對現(xiàn)有車標識別方法的不足，本文提出了一種新的車標識別方法。該方法的基本思想是，首先應用主成分分析 PCA(Principal Component Analysis)進行數(shù)據(jù)降維，然后應用獨立成分分析ICA(Independent Component Analysis)提取車標特征，最后應用模糊支持向量機FSVM(Fuzzy Support Vector Machine)設計分類器。實驗結果表明，本文提出的車標識別方法比其他車標識別方法有更好的識別效果。

1獨立成分分析及車標特征提取

1.1獨立成分分析

ICA是信號處理領域在20世紀90年代后期發(fā)展起來的一項新處理方法，最初是用于盲信號的分離，目前已廣泛應用于模式識別、數(shù)據(jù)壓縮、圖像分析等領域。ICA可以在不知道信號源和傳輸參數(shù)的情況下，根據(jù)輸入信號源的統(tǒng)計特征，僅觀測信號恢復或提取源信號。

對于一組盲源信號 S=(s1，s2，…，sM)T，有 N 路觀測信號 X=(x1，x2，…，xM)T，每一路都是一維行向量的形式。存在系數(shù)(混合)矩陣 A，使得獨立源信號 S與觀測信號 X可以用如下的線性關系來表示：

式中，A∈RN×M。

存在分離矩陣W∈RM×N，使其滿足下式：

式中：WA=I，I為單位矩陣；Y為統(tǒng)計獨立的未知源信號S的最佳估計?；镜腎CA模型如圖1所示。

圖1 基本ICA模型

在ICA中求解分離矩陣W是關鍵。目前已有很多求解分離矩陣的算法，考慮到快速性，本文采用了FastICA方法[6]。該方法是基于負熵的固定點算法，效率較高。

1.2基于ICA的車標特征提取

ICA是PCA從二階統(tǒng)計分析向高階統(tǒng)計分析的拓展，基于數(shù)據(jù)的高階統(tǒng)計信息提取數(shù)據(jù)的獨立特征，能夠更好地表示車標特征。但實際處理時在進行ICA之前，先要對原始數(shù)據(jù)進行預處理。預處理的內容主要包括去均值、向量歸一化以及PCA降維等。降維既可以去除噪聲，突出主要矛盾，又可以減少計算量[7]。

設訓練集共有M 幅原始圖像 pi(i=1，2，…，M)，每個pi是1×N行矢量(N>M)，則車標特征提取步驟如下：

(1)去均值及歸一化

再將各個 pi′歸一化為 xi后，構建 M×N原始數(shù)據(jù)矩陣：

(2)求協(xié)方差矩陣和PCA，取主值

協(xié)方差矩陣C=XXT，它是 M×M矩陣。

求 PCA：C=UΛUT。 其中，U=[u1u2…uM]。 各 ui是 M×1特征矢量，U是M×M特征矢量矩陣，Λ是特征值對角矩陣。

取前 d個主值(d＜M)，相應的特征矢量為：Ud=[u1u2…ud]，它是 M×d矩陣。

(3)求PCA后的輸出Z是X在Ud所構成子空間上的投影，Z=UdTX，為 d×N矩陣。

(4)對 Z求 ICA，先利用 FastICA方法求得分離矩陣W，并由下式求得輸出Y：

其中，Y是d×N矩陣，其每一行代表一個基本圖像。

(5)對任一樣本ps，按下式獲得其ICA特征向量：

其中，E=[e1，e2， …，ed]，e1，e2， …，ed稱為樣本 ps的投影系數(shù)。在得到訓練樣本的ICA特征后就可以進行分類器的設計、訓練和測試樣本的測試工作。

2基于FSVM的分類器設計

2.1模糊支持向量機

FSVM是一種改進的支持向量機SVM(Support VectorMachine)。FSVM有兩種表現(xiàn)形式：一種是由Takuga與 Shigeo提出的 FSVM[8-9]，一種是由 Lin Chunfu等人提出的FSVM[10]。

Lin Chunfu等人提出的FSVM算法的主要依據(jù)是：在機器學習的訓練過程中，每個訓練數(shù)據(jù)對支持向量機所起的作用是有差異的，邊緣數(shù)據(jù)是最容易錯分的并且成為支持向量的機會多一些，而中間的數(shù)據(jù)成為支持向量的可能性要小一些，甚至根本不可能成為支持向量。因此，根據(jù)訓練樣本在訓練過程中的不同作用，對所有數(shù)據(jù)(包括異常數(shù)據(jù))都會賦予一個隸屬度，加大對容易錯分樣本的懲罰。所以，F(xiàn)SVM較傳統(tǒng)的SVM有較高的識別率、較強的抗噪能力和較短的訓練時間。

對于最簡單的兩分類問題，首先，事先選擇一個適當?shù)碾`屬函數(shù)，對所有樣本進行模糊化，得到每一個樣本xi的隸屬度Γi，則訓練集合便成為模糊訓練集：

其中，xi∈Rm為 輸 入 模 式 ；yi∈{-1，+1} 為 輸 出 ；Γi(0≤Γi≤1)為樣本的隸屬度。

對于上述的訓練集，為了得到最優(yōu)分類超平面，需要解決以下優(yōu)化問題：

其中，C為常量；φ將xi從Rm映射到高維空間，將隸屬度Γi引入決策函數(shù)。求解式(9)、式(10)的優(yōu)化問題，可由以下Lagrange函數(shù)的鞍點給出：

其中，α=(α1，α2，…，αn)；β=(β1，β2，…，βn)為 Lagrange乘子，將式(11)分別對 ω、b、ξ求導并置為 0，則有：

將式(12)代入式(11)，則可將式(9)、式(10)轉換為：

通過對式(13)、式(14)解優(yōu)化問題，構造出最優(yōu)分類超平面，得到?jīng)Q策函數(shù)。

2.2基于FSVM的車標分類器設計

本文分類器設計的關鍵在于以下三點：

(1)從二分類到多分類的推廣策略

本文分類器的設計是基于Lin Chunfu等人提出的FSVM。對于SVM解決多分類問題，目前使用較多的方法有：一對多方法、一對一方法和DDAG方法。這些方法同樣也適用于FSVM多分類器。對于一個n分類問題，一對一的多分類器構造方法需要構造n(n-1)/2個FSVM，每類樣本要參與n-1個FSVM的訓練。而且FSVM數(shù)據(jù)的增加，也增加了測試的時間，讓分類器的性能有所損失；DDAG分類器雖然加快了測試速度，但其分類精度又依賴于DDAG上類別的順序，因此本文采用一對多方法構造車標分類器。

(2)核函數(shù)及其參數(shù)的選擇

本文采用RBF(Radial Basis Function)核函數(shù)(也稱為高斯函數(shù))：

其中，γ決定了該高斯函數(shù)圍繞中心點的寬度，其大小可以控制支持向量的個數(shù)，對于分類面的形成有直接的影響，但目前還沒有統(tǒng)一的方法來確定γ的大小，往往需要根據(jù)特征數(shù)據(jù)分析的結果來取經(jīng)驗值，在本文中，取 γ=0.004，系統(tǒng)參數(shù) C=100。

(3)模糊隸屬度的確定

如何確定樣本的隸屬度即正確估計樣本對分類的貢獻大小，是基于FSVM分類器設計的一個關鍵的問題。本文利用參考文獻[11]中所提到的方法來確定樣本的隸屬度。假設車標識別是一個k分類問題，則有如下的訓練樣本：

其中，xi∈Rm為輸入模式，yi∈{1，2，…，k}為輸出，Γi(0≤Γi≤1)為樣本的隸屬度。

在介紹模糊隸屬度Γi的計算方法之前，首先引入類中心的概念。

定義：對于 Rm上的一類點{x1，x2，…，xn}，記 xc為類中心點，r為半徑。則：

本文采用一對多組合思想進行分類識別，即訓練k個兩類分類器，且每次訓練過程都事先為每個樣本xi生成一個模糊隸屬度Γi。例如要將第q類和剩余樣本分開，由以上定義可得到第q類的中心點x+，類半徑記為r+；剩余樣本看作一類，其中心點記為 x-，類半徑記為r-。為了避免Γi=0，給定一個充分小的δ，則模糊隸屬度Γi可定義為：

接下來就可以進行模糊支持向量機的訓練過程，每次可得一個兩類分類器。當所有訓練結束時，得到k個兩類分類器。分類函數(shù)為：

3實驗結果與分析

3.1實驗對象

目前在車標識別領域還沒有標準的車標圖像庫，因此本文采用自建的車標庫進行實驗。由于天氣或拍攝角度等因素的影響，所獲得的車標并非全部都是理想車標圖像。如圖2所示，其中第1列為理想車標，第2列為光照不均車標，第3列為含有噪聲的車標，第4列是由于車標定位分割不準以致圖像邊緣含有大量非車標信息，第5列是傾斜車標。

圖2 部分車標圖片

自建的車標圖像庫共有大眾、本田在內的11種常見車標，每類有20幅圖像，存儲類型為BMP格式，每幅圖像的原始分辨率為39×32～101×109。為了方便數(shù)據(jù)處理，在預處理階段全部被歸一化為56×46，并全部進行灰度化處理。

3.2實驗及結果分析

本實驗在P4 CPU 2.66 GHz，512 MB內存，Matlab環(huán)境下進行。與參考文獻[1-4]的各車標識別方法相比較，參考文獻 [5]提出的基于主成分分析和BP神經(jīng)網(wǎng)絡的車標識別算法具有較高的識別率和較短的識別時間，因此，本文與基于主成分分析和BP神經(jīng)網(wǎng)絡的車標識別方法作對比實驗。實驗時，兩種方法均依次取每類車標的前3幅、前6幅、前10幅圖像作為訓練樣本，其余的車標圖像作為測試樣本。參考文獻[5]中的BP神經(jīng)網(wǎng)絡選擇S型函數(shù)(Sigmoid函數(shù))作為激活函數(shù)。實驗結果如表1所示。

由表1可見，本文提出的車標識別算法(即使訓練樣本只有33幅的小樣本情況下)，識別率也能達到90.9%。當訓練樣本增至110幅時，識別率可達到97.3%，高于參考文獻[5]方法的識別率。實驗中的識別時間均為平均的識別時間，與參考文獻[5]的識別方法相比，本文方法的識別速度更符合實時性的要求。其原因：在特征提取時，本文所用的ICA特征提取方法得到的基圖像不僅是不相關的，而且是統(tǒng)計獨立的，由此得到的圖像更能表示車標的局部信息，并能抑制光照等對識別的影響。而參考文獻[5]所用的PCA方法只是通過圖像的總體協(xié)方差矩陣得到更多的總體信息。在分類器方面，本文所使用的FSVM是在傳統(tǒng)SVM的基礎上，根據(jù)不同輸入樣本對分類的貢獻不同，賦以相應的隸屬度，從而能正確估計樣本對分類的貢獻大小，抗噪聲能力強，因此具有更高的識別率，其特征提取和分類器的設計更為合理、有效。而參考文獻[5]所采用的BP神經(jīng)網(wǎng)絡存在局部極小點、三層網(wǎng)絡隱節(jié)點數(shù)難確定等問題[12]，因此BP神經(jīng)網(wǎng)絡作為車標識別分類器時存在一定的局限性。

表1 實驗結果比較

本文提出的車標識別方法在特征提取方面應用ICA方法，充分而有效提取了車標特征；在分類器設計方面，基于FSVM的分類器保證了較高的識別率、較強的抗噪能力和更短的訓練時間。實驗結果表明，本文提出的車標識別方法具有更高的識別率和更快的運算速度，具有應用價值。

[1]李貴俊.運動車輛類型精確識別技術研究[D].成都：四川大學，2005.

[2]羅彬，游志勝，曹剛.基于邊緣直方圖的快速汽車標志識別方法[J].計算應用研究，2004(6)：150-157.

[3]王枚，王國宏，高小林，等.基于 PCA和邊緣不變矩的車標識別新方法[J].計算機工程與應用，2008，44(4)：224-229.

[4]高倩.車標識別方法研究[D].大連：大連海事大學，2008.

[5]寧瑩瑩，李文舉，王新年.基于主成分分析和BP神經(jīng)網(wǎng)絡的車標識別[J].遼寧師范大學學報，2010，33(2)：179-184.

[6] HY V A， OJA E.Independentcomponentanalysis：algorithm and application[J].Neural Networks， 2000，13(4-5)：411-430.

[7]楊福生，洪波.獨立分量分析的原理與應用[M].北京：清華大學出版社，2006.

[8]INOUET T，ABE S.Fuzzysupportvectormachinesfor patterclassification [C].Proceding ofInternationalJoint Conference on Neural Networks.Washington DC：[s.n.]，2001：1449-1455.

[9]TSUJINISHI D，ABE S.Fuzzy least squares support vector machines for multiclass problems[J].Neural Networks，2003，16(5-6)：758-792.

[10]Lin Chunfu，Wang Shengde.Fuzzy support vector machinew[J].IEEE Transactions on Neural Networks，2002，13(2)：464-471.

[11]劉太安，梁永全.一種新的模糊支持向量機多分類算法[J].計算機應用研究，2008，25(7)：2041-2046.

[12]鮑立威，何敏，沈平.關于 BP模型的缺陷的討論[J].模式識別與人工智能，1995，8(1)：1-4.