基于多特征融合的交通標識實時分類與識別

揭偉 李為相 李為

摘 ?要： 針對交通標識分類識別過程中因樣本類別之間的不平衡常使分類器性能減弱且實時性較差的問題，提出一種基于多特征融合的交通標識實時分類識別方法。首先，選取具有較強魯棒性的HSV顏色空間對標識圖像進行閾值分割處理，分割出交通標識所在的感興趣區域;其次，提出一種HOG?MBLBP特征融合算法，通過支持向量機分類算法，實現交通標識的精確分類識別;最后，針對視頻圖像中交通標識識別實時性問題，采用自適應卡爾曼濾波算法進行交通標識的跟蹤識別。實驗結果表明該方法具有97.88%的分類準確率且具有較好的實時性。

關鍵詞： 交通標識; HSV顏色分割; 特征融合; 支持向量機; 卡爾曼濾波; 跟蹤識別

中圖分類號： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）11?0050?04

Abstract： In the classification and recognition process of traffic signs， the imbalance among the sample categories makes the classifier performance weak and real?time performance poor. Therefore， a traffic signs real?time classification and identification method based on multi?feature fusion is presented. The HSV color space with strong robustness is selected to segment the threshold of the sign image， and the region of interest of traffic signs is divided. A HOG?MBLBP feature fusion algorithm is proposed to realize the accurate classification and identification of traffic signs by combining it with support vector machine classification algorithm. The adaptive Kalman filtering algorithm is used to perform the traffic signs tracking and identification to solve the real?time performance problem of traffic signs in video image. The experimental results show that the method has the classification accuracy of 97.88%， and perfect real?time performance.

Keywords： traffic sign; HSV color segmentation; feature fusion; support vector machine; Kalman filtering; tracking recognition

0 ?引 ?言

交通標識的檢測與分類識別是無人駕駛系統和駕駛員輔助系統的重要組成部分。常用的交通標識檢測方法有基于形狀[1]和顏色[2?3]的檢測方法、基于形狀與顏色相結合的檢測方法[4]，以及基于特征和分類器的機器學習方法[5?7]。文獻[8]提出基于深度屬性學習的交通標識檢測方法，該方法通過引入交通標識的形狀、顏色、圖案內容三種視覺屬性，在卷積神經網絡中加入屬性學習約束，同時進行交通標識屬性學習和分類學習，提高了交通標識識別的準確率和召回率，但在分類時準確率仍不高。文獻[9]在分塊核函數的基礎上提出基于多個圖像特征進行組合決策的識別方法，該方法相比單特征識別具有更精確的識別率，但在視頻圖像中達不到實時識別。

針對以上不足，本文提出一種基于多特征融合的交通標識實時分類識別方法。利用穩定的HSV顏色空間分割出目標區域;然后利用局部紋理特征LBP和局部梯度特征HOG的各自優勢，提出HOG?MBLBP多特征融合算法;利用SVM多分類器在建立的交通標識樣本庫上進行精確分類識別;最后通過自適應卡爾曼濾波算法對交通標識進行跟蹤識別。實驗表明本文方法可以很好地滿足實時性、準確性等要求，具有較優的性能。

1 ?基于HSV顏色空間的交通標識分割

本文采用魯棒性較好的HSV顏色空間算法對交通標識牌進行分割，經HSV顏色空間分割得到的紅色標識和藍色標識區域如圖1所示。

圖1 ?HSV顏色空間分割交通標識

由圖1a）和圖1b）可見，HSV顏色空間分割能檢測出所有標識牌，但也會檢測出非標識牌，需要進一步剔除誤檢的非標識牌。

2 ?基于HOG?MBLBP和SVM的交通標識精確分類識別

對于上述誤檢區域，本文采用HOG與MBLBP相融合的算法，并通過SVM分類器進行精準的定位和識別，剔除誤檢的非標識牌。

2.1 ?特征提取及HOG?MBLBP融合算法

方向梯度直方圖（Histogram of Oriented Gradients，HOG）是一種圖像局部區域的梯度方向直方圖構成的計算和統計的描述子。本文所用交通標識物體劃分為6×6=36的無重疊block區域，得到HOG特征為36×4×9=1 296維。

HOG特征提取過程如圖2所示。

局部二值模式（Local Binary Pattern，LBP）是描述圖像局部紋理特征的算子。為了充分提取交通標識圖像的LBP特征，本文采用LBP的等價模式——多半徑塊（block）的LBP特征（Multi?radius Block LBP，MBLBP），其提取過程如圖3所示。

由于HOG特征在梯度方面很好地描述了交通標識，而MBLBP特征在紋理方面能很好地描述交通標識。因此，本文采用增廣特征向量進行HOG和MBLBP特征融合。設[A]與[B]是樣本空間[Ζ]上的兩個特征空間，對任意樣本[λ∈Z]，其對應兩個特征向量[u∈A]，[v∈B]。融合后的特征向量公式為：

HOG?MBLBP特征融合過程如圖4所示。

2.2 ?基于SVM的交通標識分類識別

支持向量機（SVM）在分類效果、學習能力方面都有較優的性能[10]。分類器精確分類識別結果如圖5所示，由圖5可見，對分割后的交通標識（序號為1，2，3）和誤檢的紅色轎車（序號為1）分別提取它們的HOG?MBLBP特征，送入訓練后的SVM分類器，檢測和輸出的結果能將誤檢的紅色轎車正確分類為第四類負樣本，從而進一步精確交通標識的識別與定位。

圖5 ?分類器精確分類識別結果

3 ?基于自適應Kalman濾波的交通標識跟蹤

由于交通標識進行處理需要一定的時間，若在視頻圖像上進行處理，實時性會不理想。故對交通標識進行追蹤時，加入自適應Kalman濾波器[11]。實驗結果表明預測精度和更新速度較傳統Kalman濾波都有顯著提高。

3.1 目標區域檢測

本文通過在傳統Kalman濾波先驗基礎上加入衰減因子[Dk]，其能減小前段視頻幀的信息干擾，以減小目標物體實時的變化對濾波精度的影響，確保預測區域的準確性。自適應Kalman算法描述為：

式中：[μk]為系統噪聲;[xk]，[yk]表示[k]時刻狀態預測區域中心狀態估計;[Mk]，[Nk]，[Hk]，[Γk]，[Bk]，[Ck]為高階常值矩陣。根據[k]時刻的測量[vk]可以得到[k]時刻的運動目標狀態（[xk]，[yk]）。

自適應Kalman算法能在搜索目標的同時，根據目標的實時參數變化對預測區域進行自適應調整更新。

3.2 ?區域大小預測

本文使用改進的卡爾曼濾波算法對交通標識的運動狀態進行估計，通過構造對應矩陣[TM]，假設[Ot-1i]表示[t-1]幀中第[i]個交通標識，[i=1，2，…，M]，[M]為跟蹤交通標識的個數。[Btj]表示[t]幀中第[j]個檢測候選標識物區域，[j=1，2，…，N]，[N]為當前幀檢測到的候選區域個數。候選區域[Btj]和目標[Ot-1i]質心間的距離定義為：

圖6 ?視頻追蹤結果

在跟蹤過程中，卡爾曼濾波器根據前一幀中檢測到的最終目標區域參數糾正[Ot-1i]目標區域中心的偏差，然后根據[Ot-1i]預測當前幀中交通標識所在區域中心，再對該區域進行檢測，不需要對整個圖像進行檢索。

4 ?實驗結果及分析

本文實驗對象是德國交通標識檢測基準庫（The German Traffic Sign Recognition Benchmark，GTSRB），其中包括12 630個測試樣本和39 209個訓練樣本[12]。從GTSRB中選取不同天氣、不同自然背景下的交通標識2 500幅，主要針對交通標識物中的紅色、藍色、黃色標識進行實驗分析。實驗所用PC配置為CPU Intel[?] CoreTM i7?4770 CPU 3.40 GHz，內存8 GB，64位操作系統，實驗平臺為Matlab R2012a。各分類交通標志的樣本組成如表1所示。

表1 ?交通標識樣本庫組成

表2為采用不同特征進行SVM分類識別的結果，表中顯示的時間為圖像顏色分割到目標分類識別的耗時。本文采用基于HOG?MBLBP融合特征的SVM分類準確率最高為97.88%，特征融合的維數要低于傳統HOG+LBP特征融合，更易于實現，用時更短。

表2 ?不同特征進行標識識別結果

最后通過獲取不同路況下的交通標識圖像進行識別，采用不同環境下的2 000幅219×222交通標識圖片作為分類器學習訓練的數據庫。表3為交通標識識別的耗時。

表3 ?交通標識識別耗時

由表3可知，在識別4個及以上交通標識所用的時間僅為125 ms，因此滿足實時性要求。

5 ?結 ?語

本文提出一種基于多特征融合的交通標識實時分類識別方法。通過對交通標識牌進行感興趣區域分割，再利用HOG?MBLBP多特征融合算法和SVM分類器移除誤檢區域，做到精確分類和識別;最后采用自適應Kalman濾波算法對視頻圖像中的交通標識進行跟蹤，實現交通標識的實時檢測與識別。實驗結果表明，本文方法在達到較高分類準確度的同時還滿足實時性要求。

注：本文通訊作者為李為相。

參考文獻

[1] HOFERLIN B， ZIMMERMANN K. Towards reliable traffic sign recognition [C]// Proceedings of 2009 IEEE Intelligent Vehicles Symposium. Xian： IEEE， 2009： 324?329.

[2] LI H， SUN F， LIU L， et al. A novel traffic sign detection method via color segmentation and robust shape matching [J]. Neurocomputing， 2015， 169： 77?88.

[3] 常發亮，黃翠，劉成云，等.基于高斯顏色模型和SVM的交通標志檢測[J].儀器儀表學報，2014，35（1）：43?49.

CHANG Faliang， HUANG Cui， LIU Chengyun， et al. Traffic sign detection based on Gaussian color model and SVM [J]. Chinese journal of scientific instrument， 2014， 35（1）： 43?49.

[4] CHEN T， LU S. Accurate and efficient traffic sign detection using discriminative Adaboost and support vector regression [J]. IEEE transactions on vehicular technology， 2015， 65（6）： 4006?4015.

[5] ZAKLOUTA F， STANCIULESCU B. Real?time traffic sign re?cognition in three stages [J]. Robotics and autonomous system， 2014， 62（1）： 16?24.

[6] LIU C， CHANG F， CHEN Z. Rapid multiclass traffic sign detection in high?resolution images [J]. IEEE transactions on intelligent transportation systems， 2014， 15（6）： 2394?2403.

[7] 駿揚，金立左，費樹岷，等.基于多尺度特征表示的城市道路檢測[J].電子與信息學報，2014，36（11）：2578?2585.

JUN Yang， JIN Lizuo， FEI Shumin， et al. Urban road detection based on multi?scale feature representation [J]. Journal of electronics and information technology， 2014， 36（11）： 2578?2585.

[8] 王方石，王堅，李兵，等.基于深度屬性學習的交通標志檢測[J].吉林大學學報，2017，41（1）：2?7.

WANG Fangshi， WANG Jian， LI Bing， et al. Deep attribute learning based traffic sign detection [J]. Journal of Jilin University， 2017， 41（1）： 2?7.

[9] 齊朗曄，張重陽，何成東.基于多特征組合的交通標識識別 ? ?[J].計算機工程與科學，2015，37（4）：776?782.

QI Langye， ZHANG Chongyang， HE Chengdong. Traffic sign recognition based on multi?feature combination [J]. Computer engineering and science， 2015， 37（4）： 776?782.

[10] 劉高輝，楊星.一種混合核函數的支持向量機[J].微型機與應用，2017，36（11）：20?22.

LIU Gaohui， YANG Xing. A kind of support vector machine based on hybrid kernel function [J]. Microcomputer and its applications， 2017， 36（11）： 20?22.

[11] 郭秋滟.基于改進LTD算法的視頻目標跟蹤[J].計算機工程與設計，2017，38（9）：2552?2553.

GUO Qiuyan. Video target tracking based on improved LTD algorithm [J]. Computer engineering and design， 2017， 38（9）： 2552?2553.

[12] 劉成云.行車環境下多特征融合的交通標識檢測與識別研究[D].濟南：山東大學，2016.

LIU Chengyun. Traffic signs detection and recognition research of multi?feature fusion in driving environment [D]. Jinan： Shandong University， 2016.