基于顯著性特征的交通信號燈檢測和識別?

許明文 張重陽

（南京理工大學計算機科學與工程學院南京210094）

基于顯著性特征的交通信號燈檢測和識別?

許明文 張重陽

（南京理工大學計算機科學與工程學院南京210094）

提出一種基于顯著性特征的交通信號燈檢測方法，并通過SVM分類器進行識別。首先，對低分辨率圖像生成顏色、亮度和邊緣特征圖并融合成顯著圖。其次，獲取交通信號燈候選區域，利用交通信號燈的幾何特征和顏色特征過濾噪點。然后，提取交通信號燈目標，得到只包含單個箭頭燈、圓燈和數字燈的區域。最后，提取檢測區域的HOG特征，通過SVM分類器進行識別。實驗結果表明，該算法檢測率和識別率均超過97%。

顯著圖；交通燈檢測；交通燈識別；交通數字燈；圖像檢測

Class NumberTP391

1 引言

交通信號燈檢測和識別系統是無人駕駛和輔助駕駛系統的重要組成部分，針對交通燈檢測和識別的研究受到了許多國內外研究者的關注。Masa?ko和Shinichiro提出RGB顏色分割后通過Hough變換檢測圓形的方法檢測圓形交通信號燈［1］，該方法僅僅適用于圓形信號燈，無法檢測箭頭型和數字型信號燈。Gong Jianwei等在HSV顏色空間下分割圖像［2］，并利用跟蹤算法對交通燈區域進行跟蹤，該方法在較為復雜環境中檢測和識別率不高。徐成等提出基于Lab色彩空間和模板匹配的方法［3］，由于其模板是人為生成的，匹配程度不高。谷明琴等提出先用顏色分割和形態濾波定位交通燈燈板［4］，然后將燈板區域在YCbCr顏色空間下分割，得出候選區域，再用二維Gabor小波變換和二維獨立分量分析提取特征，最后用最鄰近分類器分類。該方法中定位燈板區域時容易受到背景干擾，造成漏檢。S.Sathiya提出一種識別單個數字信號燈的方法［6］，通過計算二值化之后的目標區域中七個子區域是否為有效區域作為特征進行分類，該方法對于過爆和燈周圍存在光暈的情況下檢測識別效果不佳。Levinson J等提出基于先驗GPS地圖的檢測方法［7］，首先建立先驗GPS地圖，根據先驗地圖和當前GPS位置信息計算出交通燈出現在圖像中的位置，從而達到定位目的，但是該方法前期建立先驗地圖時需要投入的工作量太大。針對不同天氣、光照和復雜背景下漏檢率較高，以及交通信號燈檢測類型不全面等問題，本文提出了一種基于顯著性特征的交通信號燈檢測和識別方法，該方法首先生成低分辨率圖像的顯著圖，其次，分割出候選區域，利用交通信號燈HSV顏色特征和幾何特征過濾噪聲。然后，對同時包含兩個數字的信號燈區域進行分割，提取出只包含單個箭頭燈、圓燈和數字燈的目標區域。最后提取區域的HOG特征，利用SVM分類器進行分類。

2 基于顯著性特征的交通信號燈檢測

由于自然場景下，光照和背景大不相同，因此，交通信號燈檢測中的關鍵問題之一就是如何快速準確定位交通信號燈位置。顯著性檢測模擬了人類視覺可以迅速準確定位到少數重要的視覺對象上的特點［8］，所以可以通過生成顯著圖的方法快速定位到交通信號燈區域，再對感興趣區域進行后續處理。圖1是本文檢測交通燈的基本流程。

圖1算法流程

2.1 生成顏色、亮度、邊緣顯著圖

本文根據交通信號燈特點，生成顏色、亮度、邊緣特征圖。為了降低處理時間復雜度，將原圖利用雙線性插值法降到1/4尺度，在該尺度上生成相應特征圖。并融合得到顯著圖。

顏色特征圖（SC）：對圖像進行高斯平滑，根據交通燈顏色特點生成紅色和綠色特征圖，再融合成顏色特征圖。

亮度特征圖（SI）：取R、G、B分量最大值作為亮度值。

邊緣特征圖（SE）：Gabor濾波器是一個用于邊緣檢測的線性濾波器，對亮度特征圖進行0°，45°，90°，135°四個方向的Gabor濾波，生成邊緣特征圖SE。Gabor濾波復數表達為

其中

將SC，SI，SE歸一化后融合得到顯著圖S，并將S歸一化：

結果如圖2（b）所示。

2.2 獲取候選區域

對顯著圖使用固定閾值進行初步分割得到特征顯著區域。分割結果中大部分交通燈區域可以形成單連通區域（如圖3（b）中的數字0和6，以及圖3（e）中的數字1，其中如圖3（b）所示的兩個數字包含在一個單連通區域的情況需要通過后續處理將兩個數字分開），而少數信號燈區域分割后會出現斷開的情況從而無法形成單個連通域（如圖3（e）中的數字9），為了解決此問題，對初步分割后的二值圖進行形態學閉操作，重新獲取感興趣區域后，對顯著圖相應區域進行二次分割，形成新的二值圖。本文選取的二次分割閾值是T=M-n×SD，其中M為區域的均值，SD為標準差；n為多次試驗的經驗值，本文取0.5。二次分割結果如圖3（c）和圖3（f）所示，可以看出，二次分割后信號燈斷開無法形成單連通區域的問題得到很好解決。

圖3形態學處理和閾值分割

2.3 幾何特征和顏色特征過濾

由于新的二值圖分割出的候選區域中有許多噪點，需要根據交通信號燈的幾何特征和顏色特征對噪點進行過濾。記候選區域R1，其外接矩形寬（W）、高（H）、面積（A1）需要滿足條件：

經過幾何特征過濾后，滿足條件的區域映射到原尺度，將原圖區域轉換到HSV顏色空間［2］，統計該區域內符合紅燈，黃燈，綠燈區間的有效像素個數CR、CG、CY，分割閾值見表1。記原圖區域為R2。

表1 HSV顏色閾值

R2中有效像素個數C=CR+CG+CY，R2的面積記為A2，如果有效像素個數達到一定比例，即滿足條件C/A2＞T，則認為R2是交通燈區域。再根據CR、CG、CY所占像素比例判斷燈顏色。

2.4 提取交通信號燈目標

為了利于識別，需要提取單個信號燈目標，得到只包含單個箭頭燈、圓燈和數字燈的區域。而在陰雨天或者光照較弱時，交通燈發光區域周圍會在圖像中呈現出明顯的光暈現象，導致檢測過程中兩個數字常常被檢測為一個單連通區域，如圖3（a）～圖3（c），需要將這種情況的信號燈區域分割開，提取兩個只包含單個數字的區域。本文采用基于投影的方法進行分割。首先將原圖候選區域轉為灰度圖，然后根據OTSU（最大類間方差）［9］閾值將灰度圖二值化，如圖4（b），統計二值化之后區域的垂直方向投影值，如圖4（c），再根據投影結果提取只包含單個數字的區域。

圖4數字分割過程和投影結果

3 基于HOG和SVM的交通信號燈識別

3.1 HOG特征提取

梯度方向直方圖（Histogram of Oriented Gradi?ent，HOG）［10］通過計算圖像梯度方向信息的統計值作為特征值。將圖像分割成多個小的連接區域Cell，多個Cell組成一個塊Block，計算每一像素點的梯度方向，點（x，y）處的梯度幅值和梯度方向為

其中Gx(x，y)和Gy(x，y)表示點(x，y)處的水平方向梯度和垂直方向梯度。然后按梯度方向統計bin值，形成每個Cell特征向量。再將一個塊內的Cell特征向量串聯起來并歸一化組成Block的HOG描述符，將所有Block的HOG描述符組合在一起形成最終的特征向量。本文首先將檢測出的結果區域統一到32*32大小，Block大小設為8*8，Cell大小設為4*4，統計每個Cell內9個方向的梯度直方圖。

3.2 SVM分類器

SVM（支持向量機）分類器是有限訓練樣本下機器學習的常用方法，其輸出是一個最優分類面［10］。分類面表達式為

其中β0為偏置，β為權重向量。求最優化分類面即為求：

限制條件為

其中yi為表示樣本類別標記。

4 實驗結果與分析

本文使用搭載高分辨率工業相機的無人駕駛汽車采集圖像，分辨率為2448×2050。采集不同天氣不同時間段的視頻序列，選取其中2700幀共7719個交通信號燈和數字燈作為訓練集，2697幀共7626個交通信號燈和數字燈作為測試集。表2顯示和本文和文獻［13］的算法實驗結果比較，文獻［9］采用RGB顏色初步分割，利用交通燈及背板的顏色和幾何特征過濾噪聲，取水平和垂直方向投影值作為特征，然后利用最近鄰分類器進行分類的方法識別箭頭燈和圓燈，將其識別方法同時運用到數字型信號燈的識別以作為比較。

表2 實驗結果

本文運用顯著性特征，融合了交通信號燈和數字燈的顏色、亮度和邊緣特征，而非單一的顏色特征，在不同天氣和光照條件下取得了較好的檢測效果。由表2可以看出本文算法檢測和識別率均較高，總體檢測率達到97.2%，總體識別率達到98.4%。

5 結語

本文提出一種基于顯著性特征的檢測箭頭型、圓形和數字型交通信號燈的方法，并通過SVM分類器進行識別。融合低尺度圖像的顏色、亮度、邊緣特征圖得到顯著圖。分割得到特征顯著區域后，利用形態學處理和二次分割解決了部分信號燈無法形成單連通區域的問題。根據交通燈幾何特征和HSV空間顏色特征過濾噪聲，確定交通燈位置。采用基于投影的分割方法將部分場景下檢測過程中兩個數字燈相連的區域分開，提取出單個信號燈目標。相比于常用的顏色分割獲取感興趣區域的方法，通過顯著圖獲取感興趣區域在不同光照和背景下具有較好的穩定性。最后提取目標HOG特征并利用SVM分類器進行分類。實驗結果證明該方法的準確性和穩定性。

［1］Omachi M，Omachi S.Traffic light detection with color and edge information［C］//2009 2nd IEEE International Conference on Computer Science and Information Technol?ogy，Washington DC：IEEE，2009.284-287.

［2］徐成，譚乃強，劉彥.基于Lab色彩空間和模板匹配的實時交通信號燈識別算法［J］.計算機應用，2010，30（5）：1251-1254. XU Cheng，TAN Naiqiang，LIU Yan.Traffic lights recog?nition algorithm based on Lab color space and template match［J］.Journal of Computer Applications，2010，30（5）：1251-1254.

［3］GONG Jianwei，JIANG Yanhua，XIONG Guangming，et al. The recognition and tracking of traffic lights based on col?or segmentation and CAMSHIFT for intelligent vehicles［C］//IEEE Intelligent Vehicles Symposium，San Diego：IEEE，2010：431-435.

［4］谷明琴，蔡自興，黃振威.城市環境箭頭型交通信號燈的實時識別算法［J］.中南大學學報，2013，44（4）：1403-1408. GU Mingqin，CAI Zixing，HUANG Zhenwei，et al.Re?al-time arrow traffic light recognition in urban scenes［J］. Journal of Central South University（Science and Technolo?gy），2013，44（4）：1403-1408.

［5］S.Sathiya，M.Balasubramanian.Real Time Recognition of Traffic Light and Their SignalCount-Down Timings［C］// IEEE International Conference on Information Communi?cation&Embedded Systems，Chennai：IEEE，2014：1-6.

［6］Levinson J，Askeland J.Traffic light mapping，localiza?tion，and state detection for autonomous vehicles［C］//In?ternationalConferenceonRoboticsandAutomation（ICRA），Shanghai：IEEE，2011：5784-5791.

［7］YING Jie，CHEN Xiaomin，GAO Pengfei，et al.A new traf?fic light detection and recognition algorithm for electronic travel aid［C］//Proceedings of 2013 Fourth International Conference on Intelligent Control and Information Process?ing，Beijing，China：IEEE，2013：644-648.

［8］鮑蕾，陸建江，李陽，等.基于全局和局部信息融合的圖像顯著性檢測［J］.模式識別與人工智能，2015，28（3）：275-281. BAO Lei，LU Jianjiang，LI Yang，et al.Image Saliency De?tection Based on Global and Loacal Information Fusion［J］.Pattern Recognition and Artificial Intelligence，2015，28（3）：275-281.

［9］吳澤峰，張重陽.基于投影特征值的交通信號燈檢測與識別方法［J］.現代電子技術，2016，39（9）：160-163. WU Zefeng，ZHANG Chongyang.Traffic lights detection and recognition method based on projection eigenvalue［J］.Modern Electronics Technique，2016，39（9）：160-163.

［10］周宣汝，袁家政，劉宏哲，等.基于HOG特征的交通信號燈實時識別算法研究［J］.計算機科學，2014，41（7）：313-317. ZHOU Xuanru，YUAN Jiazheng，LIU Hongzhe，et al.Re?search on Algorithm for Real-time Recognition of Traffic Light Based on HOG Features［J］.Computer Science，2014，41（7）：313-317.

［11］Akhan Almagambetov.Mobile Standards-Based Traffic Light Detection in Assistive Devices for Individualswith Color-Vision Deficiency［J］.IEEE Transactions on Intel?ligent Transportation Systems，2015，16（3）：1305-1320.

［12］Andr'es E.G'omez；Francisco A.R.Alencar.Traffic Lights Detection and State Estimation Using Hidden Mar?kov.Models［C］//IEEE Intelligent Vehicles Symposium，Dearborn：IEEE，2014：750-75.

Traffic Light Detection and Recognition Based on Salience Map

XU MingwenZHANG Chongyang
（School of Computer Science Engineering，Nanjing University of Science and Technology，Nanjing210094）

An approach for detecting traffic lights is proposed based on salience feature，and recognized by SVM.Firstly，col?or，luminance and gabor edge feature map are generated in low resolution resolution of image，and merged into saliency map.Sec?ondly，traffic lights candidate region is obtained，and noise is filtered according to geometric and color features of traffic lights. Thirdly，the objects of traffic lights are obtained，the areas which include only one arrow，circle and digit lights are gotten.Lastly，HOG feature and recognizing are extracted by SVM.Experiment results indicate the detection rate and recognition rate of the pro?posed method are over 97%.

saliency map，traffic light detection，traffic light recognition，traffic digit light，image detection

TP391

10.3969/j.issn.1672-9722.2017.07.035

2017年1月8日，

2017年2月23日

2013-2016國家自然科學基金重大研究計劃集成項目（編號：91220301）：自主駕駛車輛關鍵技術與集成驗證平臺資助。

許明文，男，碩士研究生，研究方向：模式識別。張重陽，男，博士，副教授，研究方向：模式識別。