基于改進KSVD和極限學習機的車型識別方法研究

張利平　邵宗凱　吳建德

(1.昆明理工大學信息工程與自動化學院　昆明　650500)(2.云南省礦物管道輸送工程技術研究中心　昆明　650500)

基于改進KSVD和極限學習機的車型識別方法研究

張利平1,2邵宗凱1,2吳建德1,2

(1.昆明理工大學信息工程與自動化學院昆明650500)(2.云南省礦物管道輸送工程技術研究中心昆明650500)

摘要針對智能交通中車輛的分類識別問題,提出了一種基于改進KSVD和極限學習機的車型分類方法。該方法首先利用改進KSVD的方法訓練得到各類樣本的特征字典及其相應的稀疏系數,之后將提取到的具有旋轉不變性以及對噪聲不敏感性特點的特征字典和稀疏系數送入極限學習機中進行分類識別。改進KSVD在字典的初始化方法上進行了改進,先在類內訓練字典,然后將學習到的類內字典級聯起來作為新的初始化字典。實驗結果表明改進KSVD方法提高了字典的識別性能,該方法在較快識別速率的前提下,提高了車型識別的正確率。

關鍵詞改進KSVD; 特征字典; 稀疏系數; 極限學習機; 分類識別

Class NumberTP391

1引言

車型識別是智能交通領域的一個重要研究內容,能夠為交通信息的深層次分析提供依據。在高速公路通行車輛的信息記錄,停車場的安全管理以及肇事、嫌疑、被盜車輛的追蹤和定位等領域具有重要意義。車型識別是一個典型的目標識別問題,目標的特征的選擇和提取是整個識別過程的關鍵。因此,如何提取對車輛具有良好描述能力和分類性能的特征是完成車型正確識別的前提[1]。文獻[1～2]中對車輛的幾何特征進行提取,將車輛的頂長比、前后比、長寬比等作為車型識別的特征,當車型差別不大或遇到干擾時,這些方法便失去了作用。因此本文將稀疏表示的方法引入到車型識別中,提取車輛圖像的代數特征,即字典和稀疏系數作為車型識別的特征。

目前,稀疏表示已經成為計算機視覺領域的一個研究熱點,在圖像重構、圖像復原、圖像分類等領域得到成功應用。文獻[3]提出了一種基于SRC(Sparse Representation-based Classifier)的人臉識別方法,該方法通過提取樣本的冗余字典,并利用冗余字典對樣本的稀疏表示實現人臉的識別。雖然該方法能夠取得很好的識別效果,但需要選取大量的訓練樣本來實現字典的過完備性,字典的規模較大,不利于識別的實時性。文獻[4]提出了一種基于KSVD的人臉識別方法,利用KSVD的方法對不同類別的樣本進行字典訓練,得到具有較強表示能力的特征字典,加快了對象的識別速度。由于稀疏表示在人臉識別領域的應用表現出較好的穩健性,一些工作者開始將其應用到車輛識別領域。文獻[5]提出一種基于多信息字典學習及稀疏表示的SAR目標識別方法,該方法分別學習了目標圖像的幅域和頻域信息的字典,采用聯合動態稀疏模型求解出目標圖像的稀疏表示系數,取得了較好的識別效果。文獻[6]則提出一種基于核K-SVD和稀疏表示的車輛識別方法,該方法對遮擋情況下的車輛有較好的分類效果,能夠快速準確地實現車輛和非車輛對象的分類識別,但沒有對車輛進行進一步的識別。

文獻[7]利用Gabor變換和二維圖像主成分分析(2DPCA)相結合的方法提取貝類圖像的特征,并利用極限學習實現了對貝類圖像的種類識別。文獻[8]利用極限學習機對LBP提取的圖像局部紋理特征進行分類。文獻[7]和文獻[8]驗證了極限學習機學習能力強,泛化能力好的優點。本文提出一種基于改進KSVD和極限學習機的車型識別方法,由于KSVD在人臉識別中得到了成功運用,考慮到人臉樣本類型多且復雜多變的特點,將其運用到車型識別領域是可行的。文章首先利用改進的KSVD的方法對部分圖像進行訓練生成特征字典,特征字典是對各類車輛具有較強表征能力的特征集,然后求出分類圖像在特征字典基礎上的稀疏表示稀疏。最后將各個車型相對應的特征字典和稀疏系數組合起來,并運用極限學習機進行分類識別,取得了較理想的車型識別結果。

2基于改進KSVD的字典訓練

2.1稀疏表示理論

稀疏表示即用盡可能少的非零系數對信號的主要信息進行表示,進而使信號處理問題的求解過程變得簡單[9]。本文中將測試樣本進行稀疏表示,進而求得能夠揭示圖像信號本質特征的稀疏系數和特征字典。測試樣本的稀疏表示原理如下:假定測試圖像為f(x,y),利用稀疏編碼模型對其進行表示如下:

(1)

式中,φi為單位向量,其組成的矩陣D=[φ1,φ2,…,φM]稱為字典,α=[α1,α2,…,αi]為圖像在字典D下的分解系數。當分解系數只有很少個非零元素時,圖像f(x,y)即被字典D進行稀疏表示。

2.2改進的KSVD的字典訓練

字典訓練是從訓練樣本中學習一組“最優基”生成特征字典,并求解出各類測試樣本在特征字典下的稀疏系數。由于該方法是通過訓練得到最少的最優原子對測試樣本進行表示的,因此,訓練出來的原子具有較強的特征表示能力,且大大減少了計算量。令Y=[y1,…yN]∈Rn×N,表示測試圖像,則字典的學習模型可以表示為

(2)

本文利用KSVD的方法求解字典的學習模型,在字典的初始化階段,先在類內字典進行訓練,然后將其級聯起來作為新的初始化字典。字典的初始化方法如圖1所示。之后通過基于l1范數的OPM算法,求解在初始字典下的稀疏矩陣,并在一定稀疏度的情況下,使用SVD(奇異值分解)對圖像重構誤差進行調整,對字典和稀疏矩陣進行逐列更新,求解出更優的特征字典D和稀疏矩陣α。具體步驟如下:

Step1字典的初始化D;

Step2在稀疏為k的情況下,用OMP算法求解Y在D下的稀疏表示系數α;

Step4將D中的第i列和α的第i置零,求解出此時的誤差矩陣E′;

Step5用SVD的方法,調整di和αi,使其滿足min‖E′-diXi‖2;

Step6逐列更新字典,判斷誤差是否滿足要求,滿足則學習結束,否則返回Step1。

圖1　改進的字典初始化流程圖

3極限學習機算法

極限學習機(Extreme Learning Machine,ELM)是一種的前饋神經網絡,在分類領域中表現出優良性能。TamuraS等[10]指出與傳統的神經網絡相比,極限學習機在訓練過程中只需要隨機給定輸入層和隱含層之間的連接權值以及隱含層的偏差,利用幾乎任意的激活函數并根據一定的原則對隱含層的神經元個數進行設定,那么其輸入集合就幾乎可以任意程度的逼近任意連續函數,且整個過程無需對輸入權值和隱含層神經元閾值進行調整,僅需要訓練隱含層和輸出層之間的連接權值就可以獲得唯一的最優解。極限學習機的模型的拓撲結構如圖2所示。

圖2　極限學習機的網絡拓撲結構

對于任意的且互不相同的N個樣本(xi,ti),其中xi=[xi1,xi2,…,xin]T∈Rn,且ti=[ti1,ti2,…,tin]T∈Rm,假定前饋型神經網絡的隱含層有L節點,則其輸出可表示為

x∈Rn,αi∈Rn,βi∈Rm

(3)

其中,αi=[αi1,αi2,…,αin]T,是神經網絡輸入層到第i個隱含層節點的輸入權值,bi是第i個隱含層節點的偏執;βi=[βi1,βi2,…,βim]T是第i個隱含層節點的輸出權值;G(x)為隱含層激勵函數。

此時,單隱層前饋神經網絡以零誤差來逼近這N個樣本,即有式(4)成立。

(4)

因此,存在αi,bi,βi滿足:

?

i=1,2,…,L

(5)

式(5)可表示為

Hβ=T

(6)

其中:

H(α1,…,αL,b1,…bL,x1,…,xN)=

(7)

(8)

式中,H為隱含層的輸出矩陣,當αi和bi隨機設定以后,前饋神經網絡的訓練就等價于一個求解輸出權值的最小二乘范數解的問題。根據線性系統的最小二乘范數解的計算式對β進行求解,可得:

(9)

其中H為隱含層輸出矩陣H+的Moore-penrose廣義逆。

4基于改進KSVD和極限學習機的車型識別算法

本文提出的基于改進KSVD和極限學習機的車型識別算法,利用改進KSVD對測試圖像進行稀疏表示,進而將得到的特征字典和稀疏表示系數送入極限學習機中進行識別,具體步驟如下:

1) 建立測試樣本集和訓練樣本集;

2) 利用KSVD算法訓練樣本的類內字典,并將其進行級聯得到改進KSVD的初始化字典;

3) 利用改進KSVD算法分別對測試樣本和訓練樣本進行稀疏表示;

4) 確定ELM隱含層神經元的個數,選擇隱含層神經元的激活函數,對αi和bi隨機設定后,將訓練樣本各類車型的特征字典和稀疏表示系數作為極限學習機的輸入,對極限學習機進行訓練;

5) 對測試樣本進行分類識別。

5實驗結果與分析

5.1實驗數據及預處理

本文采用的實驗數據采集于云南省昆明市景明南路與聚賢街路口,實驗數據包含面包車、轎車、越野車、公交車以及卡車五種車型在不同的光照條件下的100張圖片組成,拍攝角度如圖3所示,圖4給出了部分訓練樣本。隨機選取每類15副圖片共75副構成訓練樣本,其余為測試樣本。提取每副R200×137圖像的隨機車型特征,即將每副圖像映射到一個大小為RN×(200·137)的標準正態分布隨機矩陣上,取三次隨機結果的平均值構成維數為RN的特征向量。將所有的特征向量級聯成維數為RN×25的樣本矩陣,同時根據樣本矩陣構建維數為R5×1的類別標簽矩陣。在字典的初始化階段,從每類樣本中隨機選取10副圖像構成類內初始化字典,并將學習到的類內字典進行級聯得到改進的初始化字典,之后對字典進行訓練,利用得到的各類車型更優的稀疏系數和字典進行ELM分類實驗。所有實驗均在Matlab R2010b上運行實驗,計算機的硬件配置為AMD雙核處理器,內存為2GB。

圖3　拍攝角度示意圖

圖4　部分訓練樣本

5.2實驗結果分析

在進行字典和稀疏系數提取階段,本文研究中將改進KSVD進行字典訓練時的迭代次數固定為20,字典尺寸從50開始依次增加10,來驗證字典尺寸對本算法分類性能的影響,同時在此基礎上比較了字典初始化方法改進前后本算法的識別率,如圖5所示。由圖5可明顯看出,改進的初始化字典方法的KSVD性能更優;當字典尺寸大于60時,本算法均對車型具有較高的識別率,且在字典尺寸為80、110、120時,本算法識別的正確率達到100%。鑒于對算法的實時性要求,字典尺寸設定為80。

圖5　字典尺寸對算法性能的影響

極限學習機的參數選擇相對簡單,只需對其隱含層節點進行設置。本文研究中選用sigmoid作為極限學習機隱含層節點的激活函數,之后從5個隱含層節點開始依次增加2個,來驗證隱含層節點個數對極限學習機分類性能的影響,如圖6所示。從圖中可以看出,當隱含層節點大于等于25時,分類效果達到最好,隱含層節點過多容易導致前饋網絡的“過學習”且會影響本算法的分類速度,故在實驗過程中選取理想的節點個數25。

圖6　隱含層節點個數對算法性能的影響

通過前兩組實驗分析可知,字典尺寸和隱含層節點個數分別取80和25時,本算法能夠達到最優的分類效果,為了驗證本文提出的算法的分類性能,進行了第三組實驗,實驗結果如圖7所示。圖中標簽號1～5分別表示越野車、轎車、公交車,面包車和卡車。由圖7可知,在基于改進KSVD和ELM的車型識別方法中,ELM的測試正確率達到100%。且能夠完全準確地對公交車和裝滿貨物的卡車進行識別,解決了在傳統的基于幾何尺寸的識別方法難以識別相似形狀的車型問題。在識別速率方面,本算法平均每幅圖像的識別速度為0.61s,具有較高的識別速率。

圖7　ELM的車型識別結果

6結語

提出了一種基于改進KSVD和ELM的車型識別方法,將各類車型對應的字典和稀疏系數作為識別特征,將訓練速度快泛化性能好的極限學習機作為車型識別的分類器。通過對上述實驗結果進行對比分析,可以得出以下有益結論:

1) 在人臉識別領域應用廣泛的基于KSVD的字典訓練方法,利用其進行車型識別的思路是可行的。

2) 改進的KSVD提高了算法的識別性能,克服了選擇部分樣本訓練初始化字典不能完全表示樣本的缺陷。

4) 改進的KSVD學習到的特征字典及其稀疏系數具有旋轉不變性及對噪聲不敏感性的特點,克服了因成像角度不同引起的識別率低的問題。

5) 該算法在低復雜度的情況下,較快地完成車型的分類識別工作,且實現了對幾何形狀相似的車型的識別。

參 考 文 獻

[1] 陳振學,劉成云,常發亮等.基于生物視覺顯著性的車輛車型識別[J].計算機科學,2010,37(2):207-208.CHEN Zhenxue, LIU Chengyun, CHANG Faliang, et al. Vehicle Model Recognition Based on Biological Visual Saliency[J]. Computer Science,2010,37(2):207-208.

[2] 聶小燕,祁媛媛,董昕,等.基于多特征融合的汽車車型模糊識別方法[J].微計算機應用,2011,32(11):47-52.

NIE Xiaoyan, QI Yuanyuan, DONG Xin, et al. Fuzzy Recognition Method for Vehicle Models Based on Multi-feature Fusion[J]. Micro Computer Application,2011,32(11):47-52.

[3] Wright J, Yang A, Ganesh A, et al. Robust face recognition via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[4] Aharon M, Elad M, Bruckstein A. K-SVD: An algorithm for designing over complete dictionaries for sparse representation[J]. {H}IEEE Transactions on Signal Processing,2006,(11):4311-4322.

[5] 齊會嬌,王英華,丁軍,等.基于多信息字典學習及稀疏表示的SAR目標識別[J].系統工程與電子技術,2015,37(6):1280-1287.

QI Huijiao, WANG Yinghua, DING Jun, et al. SAR Target Recognition Based on Multi Information Dictionary Learning and Sparse Representation[J]. System Engineering and Electronic Technology,2015,37(6):1280-1287.

[6] 孫銳,王晶晶.一種基于核K-SVD和稀疏表示的車輛識別方法[J].模式識別與人工智能,2014,(5):435-442.

SUN Yue, WANG Jingjing. A Vehicle Recognition Method Based on Kernel K-SVD and Sparse Representation[J]. Pattern Recognition and Artificial Intelligence,2014,(5):435-442.

[7] 楊靖堯,里紅杰,陶學恒.基于Gabor變換和極限學習機的貝類圖像種類識別[J].大連工業大學學報,2013,32(4):310-312.

YANG Jingyao, LI Hongjie, TAO Xueheng. Shellfish Image Identification Based on Gabor Transform and Extreme Learning Machine[J]. Journal of Dalian Industrial University,2013,32(4):310-312.

[8] 陳建原,何建農.基于在線連續學習機的圖像分類改進算法[J].福州大學學報,2015,43(2):176-180.

CHEN Jianyuan, HE Jiannong. An improved algorithm for image classification based on on-line continuous learning machine[J]. Journal of Fuzhou University,2015,43(2):176-180.

[9] OLSHAUSEN B A FIELDDJ. Emergency of simple-cell receptive field properties by learning a sparse code for natural images[J]. Nature,1996,381(6583):607-609.

[10] Tamura S, Tateishi M. Capabilities of a four-layered feed forward neural network: four layers versus three[J]. IEEE Transactions on Neural Networks,1997,8(2):251-255.

Vehicle Recognition Method Based on the Improved KSVD and Extreme Learning Machine

ZHANG Liping1,2SHAO Zongkai1,2WU Jiande1,2

(1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming650500)(2. Engineering Research Center for Mineral Pipeline Transportation of Yunnan Province, Kunming650500)

AbstractAiming at the problem of the vehicle classification and identification in intelligent transportation field, a vehicle classification method based on the improved KSVD and extreme learning machine is proposed in this paper. Firstly, the characteristics dictionary and the corresponding sparse coefficient which are rotationally invariant and is not sensitive to noise of all kinds of sample are gotten, then the characteristics dictionary and the corresponding sparse coefficient are taken into extreme learning machine for classification. The improved KSVD makes improvement on the initialization method of the dictionary, it has trained the dictionary within the class, then cascaded the trained dictionary as a new initialization dictionary. The experimental results show that the improved KSVD method has improved the recognition performance of the dictionary. Under the premise of the fast recognition rate, this method has improved the accuracy of vehicle recognition.

Key Wordsimproved KSVD, characteristics dictionary, sparse coefficient, extreme learning machine, vehicle classification and identification

收稿日期:2015年12月8日,修回日期:2016年1月26日

基金項目:國家自然科學基金項目(編號:51169007);云南省科技計劃項目(編號:2012CA022,2013DH034);云南省中青年學術和技術帶頭人后備人才培養計劃項目(編號:2011CI017)資助。

作者簡介:張利平,女,碩士研究生,研究方向:智能交通信息處理。邵宗凱,男,博士,副教授,研究方向:智能信息處理,電機智能控制等。吳建德,男,博士,教授,研究方向:工業控制、工業過程數據分析與建模等。

中圖分類號TP391

DOI:10.3969/j.issn.1672-9722.2016.06.023