基于輪廓矩和Harris角點混合特征的車型識別系統

張　軍　孫文本　楊正瓴

(天津大學電氣與自動化工程學院　天津 300072)

?

基于輪廓矩和Harris角點混合特征的車型識別系統

張軍孫文本楊正瓴

(天津大學電氣與自動化工程學院天津 300072)

摘要針對某些簡易快速車輛識別系統只能得到有限的車輛輪廓信息，增加了車型識別的難度的情況，提出一種基于混合輪廓特征的車型識別的新方法。首先根據車型識別系統獲取盡可能精確的車輛輪廓，在經過簡單的預分類之后分別提取出車型輪廓的七個輪廓矩不變量和有最強表征作用的Harris角點特征；進而進行特征級融合，將這兩種特征融合構成混合特征；將融合后的新特征輸入到RBF神經網絡進行訓練識別。實驗結果表明在保證了較快識別速度的同時，有效地提高了識別率。

關鍵詞車型識別輪廓矩Harris角點特征融合RBF神經網絡

VEHICLE RECOGNITION SYSTEM BASED ON MIXING CHARACTERISTICS OF CONTOUR MOMENT AND HARRIS CORNER

Zhang JunSun WenbenYang Zhengling

(School of Electrical and Automation Engineering,Tianjin University,Tianjin 300072,China)

AbstractAiming at the situation that some simple and fast vehicle recognition systems can only get limited information of vehicles’ profiles and this increases the difficulty in vehicle recognition, we proposed a new mixed contour feature-based vehicles type recognition method. First, we obtained vehicles profiles as accurate as possible according to vehicle type recognition system. After simply pre-classifying them we extracted 7 contour moment invariants and the Harris corner features with strongest characterisation role from vehicles profiles. And then we conducted the feature-level fusion to fuse and compose these two features to the mixed feature. We inputted the new fused feature into RBF neural network for recognition training, experimental result showed that this method improved the recognition rate effectively while ensuring the rapid recognition speed.

KeywordsVehicle type identificationContour momentHarris cornersFeatures fusionRBF-neural network

0引言

智能交通系統[1](ITS)是將通信技術、傳感技術、控制技術等眾多先進技術集成運用于交通體系，而建立的一種實時、準確、高效的綜合交通管理系統。車輛識別作為智能交通系統的重要分支，近年來一直很受重視，同時也獲得了很大的發展，同時很多車型識別方法也取得了較好的識別效果。地磁感應線圈法[2]，紅外線探測法[3]，動態壓電檢測法[4]，視頻圖像檢測法[5]等，各有各的優點和適用環境，也各有各的不足之處。

現有車輛識別技術大多是采集車輛的外形信息，得到外圍輪廓，主要利用車輛的輪廓特征進行識別，由于車輛的多樣化及其姿態在圖像中的變化，車輛識別的準確性和實時性很難達到較高的應用要求。

不變矩理論一直是模式識別中的重要內容。常用的基于區域的矩不變理論最早由Hu提出[6]，其提出了由標準化中心距多項式組成的七個不變矩。不變矩由于具備平移、縮放以及旋轉不變性等重要特性，故而在模式識別領域獲得了不斷的發展與廣泛的應用。輪廓矩是基于不變矩理論精簡發展而來，更加適合輪廓特征的分析。雖然輪廓矩對目標輪廓描述準確, 充分，但是對其局部變化的分辨能力有限,對具有相近輪廓的車型區分能力差，而且由于其縮放不變性，會失去對車輛大小的分辨能力。

Harris角點[7]操作簡單，提取特征均勻，對灰度變化、噪聲不敏感，利用Harris角點識別車型的方法，可以減少計算量，使實時性得到保證，但只能識別少量幾種車型。

針對這種情況, 本文提出一種基于輪廓矩和Harris角點的混合特征構建方法，用于車型的識別。實驗證明，混合特征克服了輪廓矩和Harris角點單獨使用時一些的缺點,它在保證了識別速度的同時使得識別率也有所提升。

1基于輪廓矩和Harris角點的特征提取方法

1.1車型識別系統

目前國內外對車輛類型自動識別的方法有很多，很多識別系統都能得到車輛的輪廓圖像。例如視頻圖像，紅外檢測，激光檢測等，都能得到車輛的輪廓信息，雖然得到的輪廓信息的準確度和信息豐富程度不一樣，但是都能借此判斷出大致的車型。其中，車輛上空激光檢測只能得到車輛的側部輪廓信息，而且側視輪廓信息只包含頂部輪廓，信息豐富程度要少很多，因此依據其進行的車型判定難度便更高。本文便采用此車型識別系統進行分析。系統流程如圖1所示。

圖1　系統流程圖

圖2　采樣車輛的外部輪廓

采樣車輛取了外形比較普通的長城哈弗。圖2為采樣車輛的外部輪廓。在車輛中低速平穩行駛的時候，激光雷達工作會比較穩定，由激光所測得的時序點和雷達所測得的車速信息可以得到比較準確的頂部輪廓信息。如圖3(a)所示，為所測得的車輛頂部輪廓，從圖中可以看出車輛的輪廓信息得到的還是比較準確的，但是有很多檢測為零的誤點。這些誤點是由于激光發射出來的信號在一些情況下丟失了，激光接收器沒有接收到反射回來的信號。在這種情況下，我們將這些點設為零值，這些數據在應用之前要進行適當的處理。還有一些誤點與周圍信號偏差過大，是某些信號被反射走后，經過多次的反射后返回接收器。在本實驗中是通過差值的方式將誤點去除，補充到正常的信號中去。圖3(b)為處理后得到的圖像。

圖3　由激光和雷達測得的輪廓點及其處理后的頂部輪廓圖像

由圖3可知，完整的車輛側視輪廓比由單純的頂部高度序列所得的側視輪廓有著更加豐富的特征信息。只有上部輪廓相同，兩側輪廓有著些許差距。但是完整的車輛側視輪廓的底部輪廓有著車輛的輪距、地盤高度等等重要的判別特征。

1.2車型的預分類

由于不變矩的特性，通過輪廓線的不變矩基本不能區分大小車型；比如具有同樣方形輪廓的小客和大型客車，用不變矩反而不能區分。雖然Harris角點在一定程度上能夠補足這個缺陷，為盡可能地提高判別精度，本文采用預分類的方式提前排除此問題。預處理過程需同時兼顧簡易快速性和基本的車輛大小判別，文中只采用車輛長度信息將車型先限定在一定范圍內，如表1所示。

表1　各車型車長限定

1.3輪廓矩

不變矩理論對圖像有著極佳的分析效果，例如模型分類、模式識別等領域。矩不變量是基于區域的，導致其計算量大，運算時間長，對某些實時性要求較高的工程環境的應用有著局限性。為了使矩特征適應于輪廓特征分析，簡化計算過程，節省運算時間，提高實時性，將對區域的積分變換為對曲線的積分，得：

(1)

(2)

其中，零階矩陣m0,0是曲線C的弧長。(p+q)階中心距為：

(3)

一階矩表示輪廓的質心，二階矩又叫慣性矩，表示輪廓的大小和方向。一階矩與形狀有關，二階矩表示曲線圍繞直線平均值的擴展程度，三階矩則是對于平均值的對稱性的衡量。一階矩沒有太強的應用價值，由二階矩和三階矩總共可以導出七個輪廓不變矩μ1、μ2、μ3、μ4、μ5、μ6、μ7。這些矩不變量可以作為輪廓特征，用于目標的分析識別。

μ1=μ20+μ02

(4)

μ2=(μ20-μ02)2+4μ11

(5)

μ3=(μ30-3μ12)2+(3μ12-μ03)2

(6)

μ4=(μ30+μ12)2+(μ21+μ03)2

(7)

μ5=(μ30-3μ12)(μ30+μ12)×[(μ30+μ12)2-

3(μ21+μ03)]+(3μ21-μ03)×(μ21+

μ03)[3(μ30+μ12)2-(μ21+μ03))]

(8)

μ6=(μ20-μ02)[(μ30+μ12)2-(μ21+μ03)2]+

4μ11(μ30+μ12)(μ21+μ03)

(9)

μ7=(3μ21-μ03)(μ30+μ12)[(μ30+μ12)2-

(μ21+μ03)2]-(μ30-3μ12)(μ21+

μ03)[3(μ30+μ12)2-(μ21+μ03)2]

(10)

根據天津地區公路收費特點，預先定義的六種車型，其輪廓矩取樣示例如表2所示。由表中數據可以看出不同車型的矩值有著較大差距，矩值對車輛的外形有著明顯的表征作用。

表2　各車型取樣車輛的Hu矩示例

1.4Harris角點

物體的角點是其區別于其他物體的重要特征之一，不同車在角點數目和分布位置上都會有所不同。而同一的車型的車輛之間，角點特征在有所區別的同時又有著其相近之處,那通過角點檢測的方法來判別車型便成為一個可行的思路。

對于灰度圖像I(x,y)，如果給定一個小窗口高斯窗，如圖4所示，當窗口沿任意方向移動時,若灰度均值變化大于給定閾值,則將該點定義為角點。如果窗口在不同方向位移為x,y，灰度變化量用Ex,y表示,則:

Ex,y=∑[xIx+yIy+o(x2+y2)]2

≈(x,y)M(x,y)T

(11)

圖4　高斯窗應用圖示

Ex,y在某種意義上是一個橢圓函數，如圖5所示。矩陣M的兩個特征值決定橢圓的扁率和尺寸，矩陣M的特征向量決定橢圓的方向。其中，一階導數近似為：

Ix=I⊕(-1,0,1)

(12)

Iy=I⊕(-1,0,1)T

(13)

圖5　Ex,y的橢圓形式

M是該點的局部自適應矩陣，為：

(14)

其中，W為高斯平滑函數，可控制局部窗口大??；⊕表示模板的卷積。Harris和Stephens提出用矩陣的行列式Det(M)和跡Tr(M)來描述角點量R：

R=Det(M)-kTr2(M)

(15)

其中，k為系數,為了抑制直線，取0.04。當某點的R值大于給定閾值時，則將其視為角點。

本系統中，Harris角點檢測算法步驟如下：

1) 將消除誤點后的輪廓圖像作為輸入圖像，計算圖像的方向導數，分別保存為Ix以及Iy。

2) 計算每點的局部自相關矩陣M，做極大值抑制。

3)利用R=Det(M)-kTr2(M)判斷該點是否為角點。

具體取多少角點作為車型識別的標準，需要根據具體的車輛輪廓信息來確定。圖6分別取小客、大客、小貨、大貨、集裝箱、拖掛中最具有代表性車輛的R值較大的Harris角點的分布圖，其余角點相對較小，且彼此相差不大，沒有太強的表征意義。

圖6　質量因子最高的5個角點分布圖

為了更合理地選取角點特征，我們對每個車型都做了大量的抽樣分析。圖7分別取小客、大客、小貨、大貨、集裝箱、拖掛中最具有代表性車輛的Harris角點質量因子由大到小的分布。

圖7　各車型Harris角點分布示例

由圖7中的分布特點可以看出各個車型的有效Harris角點數其實就只有五個左右，貨車和拖掛的有效角點數目比較多，這是由于貨車載貨后外部輪廓比較復雜所致。選用的角點數與判別率的關系如圖8所示。因此，為了保證系統識別速度，我們只選取質量因子排序前7的Harris角點進行判別。

圖8　選用的Harris角點數與判別率的關系

1.5特征融合

根據圖像融合所處階段不同，一般在三個不同階次上進行，即像素級融合[8,9]、特征級融合[10]和決策級融合[11]。一般來說，特征級圖像融合對目標識別效果要優于像素級融合和決策級融合[12]。特征級融合不但可以提取更多的有效特征，在進行綜合分析處理后，還可獲得有更強表征特性的復合特征，降低訓練復雜性，同時提高算法的自適應能力。

常用的特征融合方法有模糊方法[13]、神經網絡[14]、聚類[15]等。特征級融合大體上可分為如下三類：一種是簡單的特征組合，即將特征向量通過串行、并行的方法構建新的特征向量，如串行融合算法和并行融合算法；第二種方法是特征選擇，通過最優計算或智能計算，從組合的特征向量中，對每一維數據都選出一個分類最優的數據，利用選出的數據構建新特征；第三種是通過特征變換。

本文采用了串行方式對兩組特征進行融合：設樣本空間為Ω，A、B是二組特征。取任一樣本ξ∈Ω，對應的兩個特征向量為α∈A和β∈B,融合后的特征為γ={α,β}。

RBF神經網絡的輸入端可構建如下：

(16)

(17)

(18)

采用徑向基函數神經網絡(RBF)神經網絡作為分類器, RBF神經網絡是一種性能極佳的前饋型神經網絡，RBF網絡可以任意精度逼近任意的非線性函數，且具有全局逼近能力，從根本上解決了BP神經網絡的局部最優問題，而且結構緊湊，收斂速度快，取得了良好的效果。

2車型識別系統及其結果分析

本實驗系統中,預先定義了小客、大客、小貨、大貨、集裝箱、掛車六類車型, 每種車型取600個樣本,其中300個作為訓練集合,300個作為測試集合。樣本中包含每個大類車型中的所有不同小類車輛。例如小客樣本包括小轎車、SUV等不同型號，不同廂數的車輛。實驗的結果如表3-表5所示。其中單獨使用Harris角點時的平均正確率為89.4%, 單獨采用輪廓矩時的識別正確率是89.3%,而混合特征的平均正確率94.25%?？梢钥闯? 采用混合特征大幅度的提高了識別正確率。在2.6 GHzCPU，2 GBRAM硬件環境下，處理320×240圖片需要的平均時間在26 ms左右，完全可以滿足實時性的要求。在2.3 GHzCPU，2 GBRAM硬件環境下進行測試，單獨采用Harris角點和輪廓矩處理一輛車的外部輪廓數據所用的時間分別為12 ms和18 ms，在采用Harris角點和輪廓矩的融合特征進行判別時也只需23 ms，時間復雜度只有略微的增長，完全可以滿足實時性的要求。圖9顯示了各方法的判別效果。

表3　單獨采用Harris角點識別率

表4　單獨采用輪廓矩檢測

表5　采用融合輪廓矩和Harris角點混合判別

圖9　輪廓矩和Harris角點以及其融合特征的判別效果比較

3結語

對于一些可以得到簡易輪廓圖像的車型識別系統，本文提出了一種基于融合輪廓矩和Harris混合特征的車型識別方法。由數據對比可以明確地看出，利用融合之后的特征進行判別，各個車型的識別率比單獨的特征判別有著明顯的提高。但是從表格中的數據可以看出此方法對于貨車的誤判率還是很高，還需要進一步的改進。

參考文獻

[1] Yong Q,Limin J,Yuan Z.Railway intelligent transportation system and its applications[J].Engineering Sciences,2011,9(1):53-59.

[2] 賈寧,馬壽峰,陳華.一種基于地磁感應的車型分類算法[J].計算機應用研究,2010,27(4):1270-1272.

[3] 羅瑞,張自紅.基于紅外對管及BP神經網絡的車型識別[J].制造業自動化,2013,35(2):89-91.

[4] 張健雄,張進,戴志超.基于壓力傳感器陣列的車型分類系統[J].公路交通科技,2006,23(7):125-129.

[5] 任建強.基于視頻序列的車型識別算法設計[J].計算機工程,2011,37(24):245-250.

[6] Xiang F,Yong H,Dandan S.An image retrieval method based on hu invariant moment and improved annular histogram[J].Elektronika ir Elektrotechnika,2013,19(10):114-118.

[7] Bellavia F,Tegolo D,Valenti C.Improving Harris corner selection strategy[J].IET Computer Vision,2011,5(2):87-96.

[8] Yang B,Li S.Pixel level image fusion[J].Information Fusion,2012,13(1):10-19.

[9] Varshney P K.Multi-sensor data fusion[J].Electronics and Communication Engineering Journal,1997,9(12):245-253.

[10] Benmokhtar R.Robust human action recognition scheme based on high-level feature fusion[J].Multimedia Tools and Applications,2014,69(2):253-275.

[11] Khazaee M,Ahmadi H,Omid M.Vibration condition monitoring of planetary gears based on decision level data fusion using Dempster-Shafer theory of evidence[J].Journal of Vibroenginteering,2012,14(2):838-851.

[12] Pohl C,Van J L.Review article multi-sensor image fusion in remote sensing:Concepts,methods and applications[J].International Journal of Remote Sensing,1998,19(5):823-854.

[13] Feng Z G,Wang Q.Research on health evaluation system of liquid-propellant rocket engine ground-testing bed based on fuzzy theory[J].Acta Astronautica,2007,26(10):840-853.

[14] Yu S W,Zhu K J,Diao F Q.A dynamic all parameters adaptive BP neural networks model and its application on oil reservoir prediction[J].Applied Mathematics and Computation,2008,195(1):66-75.

[15] Sanghamitra B,Sriparna S.GAPS:A clustering method using a new point symmetry-based distance measure[J].Pattern Recognition,2007,40(12):3430-3451.

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.02.034

收稿日期：2014-07-31。天津市科技支撐計劃重點項目(10ZCKF SF01100)；天津市科技型中小企業創新基金項目(13ZXCXGX40400)。張軍，副教授，主研領域：圖像處理，智能交通，模式識別應用。孫文本，碩士生。楊正瓴，副教授。