改進的矩特征和隨機森林算法車標分類

李芳菊，林 楠

(1.中原工學院信息商務學院 信息技術系，河南 鄭州 451191；2.鄭州大學 軟件應用技術學院，河南 鄭州 451191)

0 引 言

車標識別技術[1,2]主要包括兩個部分[3,4]，一是車標定位，二是車標分類。本文主要研究車標分類方法。車標分類是一種典型的圖像分類技術，主要包括特征提取和特征分類兩個環節。在特征提取方面，目前常用的有方向梯度直方圖(histogram of oriented gradient，HOG)特征[5]和局部二元模式(local binary pattern，LBP)特征[6]等，在特征分類方面，目前常用的有隨機森林[7]、支持向量機(support vector machine，SVM)[8]和深度學習[9]等。如文獻[8]采用一種改進的HOG特征描述車標圖像，并采用SVM進行特征分類，實現車標圖像的分類。文獻[9]采用卷積神經網絡(convolutional neural network，CNN)來進行車標識別，這樣可以避免車標的精確檢測和分割過程。文獻[10]提出一種基于局部Fisher鑒別分析的車標分類方法，依據車標圖像的水平和垂直局部梯度直方圖提取特征，采用無監督的主成分分析(principal component analysis，PCA)方法進行特征降維，最后采用有監督的局部Fisher鑒別分析進行車標分類。然后，由于車標圖像采集環境和角度差異大，目前車標圖像分類方法的分類性能還有待提高。

本文提出一種結合改進Gaussian-Hermite矩特征和隨機森林的車標圖像分類方法，在圖像Gaussian-Hermite矩[11]的基礎上提取了Gaussian-Hermite不變矩和鑒別矩兩類改進特征，并結合隨機森林分類器實現特征的學習和預測，降低車標圖像分類的錯分率和時間消耗。

1 本文方法

本文提出了一種結合改進Gaussian-Hermite矩特征和隨機森林的車標分類方法，主要創新在于改進Gaussian-Hermite矩特征的提取方法。為了便于著重闡述該部分內容，本文不再介紹車標定位相關內容，直接針對裁剪好的車標區域圖像研究不同車標的分類方法，實現流程如圖1所示。首先，對圖像進行光照校正，用于降低采集時光照差異引起的分類誤差；接著，計算車標圖像的Gaussian-Hermite矩；在此基礎上，提取改進的Gaussian-Hermite矩特征，這是本文的研究重點，所述的改進Gaussian-Hermite矩特征包括不變矩特征和鑒別矩特征兩部分；最后，采用隨機森林分類器對特征進行學習和預測，得到車標分類結果。詳細實現過程描述如下。

圖1 本文方法實現流程

1.1 光照校正

不同車標圖像在采集時受環境光照變化的影響較大。因此，需要對車標圖像進行光照校正，降低光照差異對車標分類的影響。考慮到同一類型車標所在的車輛顏色可能是不同的，因此本文僅針對車標的灰度圖像進行光照校正以及后續的特征提取與分類。具體地，考慮到車標區域圖像的內容比較簡單，本文采用簡單的直方圖均衡法進行光照校正，避免車標圖像過亮或者過暗，同時增強圖像的對比度。

1.2 Gaussian-Hermite矩計算

(1)Gaussian-Hermite多項式

Hermite多項式的一般形式為

(1)

其中，p∈1，x∈1。

給定一個權重函數

v(x)=exp(-x2)

(2)

式(1)所示的Hermite多項式滿足關于權重函數v(x)的正交歸一屬性，表示為

(3)

其中，δpq為克羅內克符號。

引入一個擴展因子s>0，則通用的Gaussian-Hermite多項式可以表示為

(4)

將Gaussian-Hermite多項式由一維推廣到二維，表示為

(5)

(2)Gaussian-Hermite矩

令I(x,y)表示一個連續的圖像矩陣，圖像的(p,q)階Gaussian-Hermite矩可以表示為

(6)

計算圖像的Gaussian-Hermite矩可以看作是將圖像映射到二維的Gaussian-Hermite基函數上。因此，這些矩刻畫了圖像的局部區域屬性。

采用圖像的Gaussian-Hermite矩可以重建原圖像，表示為

(7)

式(6)假設圖像是連續的，而實際上圖像是離散的,令G(i,j)表示一幅尺寸為U×V的離散圖像，0≤i≤U,0≤j≤V。為了從離散圖像矩陣中計算Gaussian-Hermite矩，需要進行歸一化處理。采用簡單的線性變換將圖像的橫縱坐標都歸一化到[-1,+1]之間，也即-1≤x≤1,-1≤y≤1。這樣，Gaussian-Hermite矩可以表示為

(8)

(9)

在本文中，Gaussian-Hermite多項式的最高階N可以表示為

(10)

其中，Int(·)表示取整運算。α表示一個壓縮因子，取值范圍為(0,1)。本文取α=0.25。

這樣，一幅圖像的Gaussian-Hermite矩可以表示為

M=[M00,…,M0N,M10,…,M1N,…,MN0,…,MNN]

(11)

1.3 改進的Gaussian-Hermite矩特征提取

基于圖像的Gaussian-Hermite矩，本文提出兩種矩特征提取方法，分別是Gaussian-Hermite不變矩特征和Gaussian-Hermite鑒別矩特征，然后將這兩類矩特征融合在一起，得到改進的Gaussian-Hermite矩特征。詳細介紹如下。

(1)Gaussian-Hermite不變矩特征

為了提高Gaussian-Hermite矩對噪聲和圖像形變的魯棒性，本文仿照Hu不變矩的構建思路，提取Gaussian-Hermite不變矩特征，定義為

ρ=[ρ1,ρ2,…,ρ7]

(12)

其中

ρ1=M02+M20

(13)

(14)

(15)

(16)

(17)

(18)

(19)

其中

(20)

(21)

由于階數越靠前的Gaussian-Hermite矩所表達的圖像信息越充分，因此，盡管本文提取的Gaussian-Hermite不變矩特征只用到前3階Gaussian-Hermite矩，但也可以很好地反映圖像類別的差異，同時對噪聲和圖像形變具有魯棒性。

(2)Gaussian-Hermite鑒別矩特征

為了區分不同類別的車標圖像，我們希望車標圖像的類內差異越小越好，類間差異越大越好?；谶@一思路，本文借鑒Fisher特征的提取思想，提取Gaussian-Hermite矩的鑒別矩特征，增強特征對不同類別車標圖像的區分能力。

假設圖像類別數為C，統計訓練數據集中每一類圖像的Gaussian-Hermite矩均值，表示為

(22)

(23)

統計訓練數據集中所有圖像的Gaussian-Hermite矩均值，表示為

(24)

(25)

其中，Nall表示訓練數據集中圖像總數。

于是，訓練集中各類圖像的類內散布矩陣的(p,q)階元素可以表示為

(26)

訓練集中各類圖像的類間散布矩陣的(p,q)階元素可以表示為

(27)

其中

(28)

對于車標圖像分類應用而言，特征的類內差異越小、類間差異越大，越有利于鑒別不同類別的車標圖像。因此，本文用類間散布與類內散布的比值作為Gaussian-Hermite矩的鑒別矩特征，表示為

ζ=

(29)

得到Gaussian-Hermite矩的不變矩特征和鑒別矩特征之后，本文將兩類特征融合在一起，得到改進的Gaussian-Hermite矩特征。在融合過程中，考慮到Gaussian-Hermite鑒別矩特征的維數偏大，數據運算效率低。而且，Gaus-sian-Hermite鑒別矩特征的維數遠遠大于不變矩特征的維數，這樣不變矩特征對圖像分類的貢獻將會降低，進而會影響特征分類方法的魯棒性。因此，本文采用主成分分析方法對Gaussian-Hermite鑒別矩特征進行降維。考慮到Gaussian-Hermite不變矩特征的維數為7，本文將Gaussian-Hermite鑒別矩特征的維數降維至21，也即其維數為不變矩特征維數的3倍，這樣Gaussian-Hermite不變矩特征對圖像分類的貢獻不會有明顯消弱，同時Gaussian-Hermite鑒別矩特征的主要信息得到保留，不會影響Gaussian-Hermite鑒別矩特征對圖像分類的貢獻。最后，本文將Gaussian-Hermite不變矩特征和鑒別矩特征串聯在一起，得到最終的28維圖像特征，表示為

F=[ρ1,ρ2,…,ρ7,ξ1,ξ2,…,ξ21]

(30)

其中，[ξ1,ξ2,…,ξ21]為降維后的Gaussian-Hermite鑒別矩特征。

1.4 隨機森林學習與預測

對于車標圖像提取到的改進Gaussian-Hermite矩特征，需要訓練一個分類器對其進行分類。目前常用的特征分類方法有支持向量機、神經網絡和隨機森林等，本文采用隨機森林分類器對改進Gaussian-Hermite矩特征進行學習與預測。隨機森林分類器實質上是一種集成分類器，其基本單元是決策樹。在特征分類時，各個決策樹對特征的預測值進行投票，進而得到最終的分類結果。由于各個決策樹相互獨立，都可以獨立進行學習和預測，因此隨機森林的學習和預測效率都非常高。同時，隨機森林分類器便于實現一對多分類，這對于多類車標的分類而言非常便捷。隨機森林的學習與預測實現過程詳見文獻[7]，本文不再贅述。

2 實驗與分析

本文提出了一種結合改進Gaussian-Hermite矩特征和隨機森林的車標分類方法，重點是提出一種改進Gaussian-Hermite矩特征，下面先從特征選擇方面進行車標分類實驗，定量評測本文特征提取方法和其它常用特征提取方法的性能指標。然后從車標分類方面進行對比實驗，定量評測不同分類方法的性能指標。通過對比分析綜合評價本文方法的性能。詳細描述如下。

2.1 實驗說明

(1)數據集

數據集是算法評測的依據。車標分類領域目前還未見有公開測試數據集。因此，本文使用自建的數據集進行算法評測。車標圖像數據集的構建方法是：先從互聯網等場合搜集包含不同車標的車輛圖像；然后人工裁剪車標區域的灰度圖像，共搜集30類車標，每一類車標包含車標圖像100幅。車標圖像的高度統一縮放到80，寬度依據實際寬高比例縮放。實驗時每一類車標選取前20幅圖像進行訓練，其余圖像用于測試。

(2)評價指標

本文選用兩個定量的性能評價指標，一是錯分率RCE，表示為

(31)

二是平均分類耗時TC，表示為

(32)

前者用于評價車標分類算法的可靠性，后者用于評價車標分類算法的運算效率。

需要說明的是，分類耗時的統計與計算機處理平臺和軟件環境相關。本文采用相同的計算機處理平臺和軟件環境進行對比測試，具體地，計算機處理平臺的參數為：CPU 3.6 GHz四核，RAM 8G DDR3；軟件環境參數為：操作系統Windows 7 64 bits，集成開發環境Visual Studio 2012。

2.2 特征選擇對比分析

本文所述車標分類方法的主要創新在于提出一種改進Gaussian-Hermite矩特征的提取方法，為了驗證改進Gaussian-Hermite矩特征對于車標圖像分類的有效性，本文采用上一節所述的光照校正和特征分類算法，對比不同特征提取方法的車標圖像分類性能。其中，選用LBP[6]、HOG[5]以及Gaussian-Hermite矩[11]3種常用的特征提取方法進行對比，錯分率指標對比結果如圖2所示，平均分類耗時指標對比結果見表1。

圖2 不同特征錯分率對比

由圖2可見，在其它條件完全相同的情況下，采用本文的改進Gaussian-Hermite矩特征得到的車標圖像錯分率明顯低于其它3種特征，這說明改進Gaussian-Hermite矩特征可以提高車標圖像分類的可靠性。由表1可見，改進Gaussian-Hermite矩特征對應的平均分類耗時指標也低于其它3種特征，盡管與經典的Gaussian-Hermite矩相比，本文的改進Gaussian-Hermite矩特征增加了Gaussian-Hermite不變矩和鑒別矩的提取步驟，也增加了PCA的降維步驟，但是改進Gaussian-Hermite矩特征的特征維數遠遠小于Gaussian-Hermite矩，因此平均分類耗時不僅沒有增加，反而略有降低。

表1 不同特征平均分類耗時對比

2.3 圖像分類對比分析

下面在相同訓練和測試數據集下進行不同方法的車標分類實驗，對比本文車標分類方法與目前常用的圖像分類方法的性能差異。圖3展示了不同方法的車標圖像錯分率對比結果。表2給出了不同方法的平均分類耗時對比結果。

圖3 不同方法錯分率對比

方法平均分類耗時/ms文獻[8]方法69文獻[9]方法131文獻[10]方法72本文方法34

由圖3可見，本文方法的車標圖像錯分率是最低的，且明顯低于文獻[8]和文獻[10]兩種方法。由表2可見，本文方法的平均分類耗時明顯低于其它3種方法，尤其是文獻[9]所述方法。因此，本文方法是一種可靠、高效的車標圖像分類方法。

3 結束語

本文提出了一種結合改進的Gaussian-Hermite矩特征和隨機森林分類器的車標圖像分類方法，核心是在圖像Gaussian-Hermite矩的基礎上，提取改進的Gaussian-Hermite矩特征，包含借鑒Hu不變矩思路構建的Gaussian-Hermite不變矩特征，以及借鑒Fisher特征提取思想構建的Gaussian-Hermite鑒別矩特征，將降維后的兩類特征進行融合得到改進的Gaussian-Hermite矩特征。本文采用隨機森林分類器對該特征進行學習和預測，在車標圖像分類實驗中得到了最低的錯分率指標，同時平均分類耗時最少，是一種可靠、高效的車標圖像分類方法。

參考文獻：

[2]YU Ye,NIE Zhenxing,JIN Qiang,et al.Vehicle logo recognition based on randomly sampled pixel-pair feature from foreground-background skeleton areas[J].China Journal of Image and Graphics,2016,21(10):1348-1356(in Chinese).[余燁,聶振興,金強,等.前背景骨架區域隨機點對策略驅動下的車標識別方法[J].中國圖象圖形學報,2016,21(10):1348-1356.]

[3]Pan C,Yan Z,Xu X,et al.Vehicle logo recognition based on deep learning architecture in video surveillance for intelligent traffic system[C]//International Conference on Smart and Sustainable City,2013:132-135.

[4]ZHANG Li,ZHANG Dongming,ZHENG Hong,et al.Vehicle logo recognition based on convolutional neural network combined with multiple layer feature[J].Journal of Computer Application,2016,36(2):444-448(in Chinese).[張力,張洞明,鄭宏,等.基于聯合層特征的卷積神經網絡在車標識別中的應用[J].計算機應用,2016,36(2):444-448.]

[5]LU Feng,LIU Yun,ZHANG Renhui.Research on detection and recognition method of improved HOG based vehicle logo[J].Optical Communication 2012,36(5):26-29(in Chinese).[魯豐,劉蕓,張仁輝.基于改進HOG特征值的車標檢測與識別方法[J].光通信研究,2012,36(5):26-29.]

[6]Song X L,Wang W T,Zhang W W.Vehicle detection and tracking based on the local binary pattern texture and improved camshift operator[J].Journal of Hunan University,2013,40(8):52-57.

[7]Mistry P,Neagu D,Trundle P R,et al.Using random forest and decision tree models for a new vehicle prediction approach in computational toxicology[J].Soft Computing,2016,20(8):2967-2979.

[8]Llorca D F,Arroyo R,Sotelo M A.Vehicle logo recognition in traffic images using HOG features and SVM[C]//IEEE Intelligent Transportation Systems Conference.IEEE,2013:2229-2234.

[9]Huang Y,Wu R,Sun Y,et al.Vehicle logo recognition system based on convolutional neural networks with a pretraining strategy[J].IEEE Transactions on Intelligent Transportation Systems,2015,16(4):1951-1960.

[10]Wang S,Pedagadi S,Orwell J,et al.Vehicle logo recognition using local fisher discriminant analysis[C]//International Confe-rence on Imaging for Crime Detection and Prevention,2013.

[11]Hosny K M.Fast computation of accurate Gaussian-Hermite moments for image processing applications[J].Digital Signal Processing,2012,22(3):476-485.