基于邊緣增強型MSER特征的道路標志檢測

王淑丹　徐向華

摘 要： 針對自然場景下道路標志檢測所面臨的一些問題，提出了一種基于邊緣增強型MSER特征的標志檢測方法。首先采用灰度世界法對圖像做光照平衡處理，并對處理后的圖像進行顏色增強，區分標志和環境背景；然后基于邊緣增強型MSER特征，提取標志候選區域；最后對這些候選區域使用基于霍夫變換的形狀分析方法進行篩選處理。通過在GTSDB數據集上的實驗驗證，該方法對光照條件、局部遮擋、旋轉尺度變化等情況均具有較好的魯棒性。

關鍵詞： 道路標志檢測； 邊緣增強型MSER； 霍夫變換； GTSDB

中圖分類號：TP393.0 文獻標志碼：A 文章編號：1006-8228（2016）06-04-04

Abstract： Aiming at the various problems which occur in the process of traffic sign detection in natural images， a novel traffic sign detection method based on edge-enhancement MSER （Maximally Stable Extremal Regions） feature is proposed. Firstly， the gray world balance method is used for the image preprocessing to reduce the effect of illumination change， and through color enhancement， the traffic signs are distinguished from the environment background. Then， the traffic sign ROI candidate regions are extracted with edge-enhancement MSER feature. Finally， these candidate regions are further filtered by using a shape analysis method based on Hough transform. The experiment results on GTSDB （German Traffic Sign Detection Benchmark） data sets show that the proposed method is robust to lighting condition， partial occlusion， and rotation scale change.

Key words： traffic sign detection； edge-enhancement MSER； Hough transform； GTSDB

0 引言

交通標志識別系統（Traffic Sign Recognition，TSR）主要是通過在道路場景中識別到的交通標志信息來提高交通安全，比如告知駕駛員限制車速，或者注意潛在的危險，例如道路結冰等。

TSR系統通常分為兩階段。①交通標志檢測：利用交通標志的色彩和形狀等先驗特征從圖像或視頻流中提取標志候選區域。②交通標志識別：采用機器學習，或鄰近搜索的方法對候選區域進行分類識別。其中，交通標志檢測階段是后續標志識別的基礎， 影響著整個系統的召回率和準確率。

現有論文的研究點多側重于識別方法和性能評估，很少有利用公開數據集進行檢測算法評估的研究。但值得一提的是，Stallkamp J等人[1]針對標志檢測階段缺少公開數據集的問題，在2013年IJCNN會議上提出了GTSDB數據庫（German Traffic Sign Detection Benchmark， GTSDB）。

本文提出了一種基于邊緣增強型MSER特征的交通標志檢測方法，其流程如圖1。在GTSDB數據集上進行了實驗驗證，實現表明該方法對光照條件、局部遮擋、旋轉尺度變化等情況均具有較好的魯棒性。

1 交通標志檢測方法

1.1 灰度世界法光平衡處理

在自然場景下，光照條件對拍攝的道路場景圖像（RGB格式）的清晰度、顏色等因素都會產生直接影響，因此我們采用灰度世界法對圖像進行光照平衡預處理，以減少光照條件造成的影響。

灰色世界法假設圖像中的反射面足夠豐富，以至于可以作為自然界景物的一個縮影。若這幅圖像是在經典光源下拍攝的，其通道均值就應該等于灰色值；若這幅圖是在非經典光源下拍攝的，那么其通道均值就會大于或者小于灰色值。而該均值相對于灰色值的偏離程度則反映了未知光源相對于已知光源的偏離性。此處，我們假設反射光譜是均衡的，即本文選取（129，129，129）作為灰色值。灰色世界法的計算過程如圖2所示。

1.2 圖像顏色增強

GTSDB數據庫中交通標志輪廓顏色多為紅色或藍色，因此RGB圖像中的紅色和藍色通道是交通標志的重要顏色特征。基于這一點，我們將Ruta等人[2]提出的顏色分割方法與形態學濾波相結合，進行圖像顏色增強處理。

首先，對圖像中的每個像素點x={xR，xG，xB}，我們使用公式⑴對圖像進行R通道和B通道的顏色增強；

其中，I為光照平衡處理后的圖像，IO，IC，ID，IE分別表示開運算，閉運算，膨脹和腐蝕運算操作，，分別表示頂帽和底帽變換。

1.3 邊緣增強型MSER特征檢測

由于GTSDB數據集中的交通標志無論是其外圍邊緣或是其內部區域都具有均勻的亮度或顏色信息，這使得MSER特征成為了很受歡迎的交通標志區域檢測子[3]。MSER（maximally stable extremal regions）[4]就是當圖像在不同層次上閾值化時，每次都分析其所產生的連通區域，能夠在多個層次閾值上都維持其形狀的那些連通區域。

然而，交通標志周圍往往存在很多顏色與其非常相似的背景干擾，這會導致MSER特征檢測時產生過大的候選區域，如圖3（a）中間圖片。而這些過大的候選區域可能會被誤認為背景噪聲（比如幾何條件約束）。

因此，本文使用精確定位但不一定連續的Log邊緣檢測來提高極值區域的邊緣響應。具體來講就是，首先基于Log邊緣構成的邊界，移除那些位于邊界之外的原屬于MSER區域的像素點；然后，使用基于灰度圖得到的梯度方向圖，對MSER區域沿梯度方向進行修剪，將交通標志和具有相似顏色的背景區域分割開來，效果如圖3（a）最右側圖片所示。

這種邊緣增強型MSER特征檢測方法，結合了Log邊緣和MSER區域檢測子的優點，相較于原MSER特征，不僅提高了算法對復雜道路場景的適應性，降低了方法系統的漏檢率，而且能大大減少環境背景的干擾，如圖3（b）。

雖然邊緣增強型MSER特征能更加精準地提取出候選區域，但卻可能會導致標志候選區域的輪廓發生缺陷，如圖3（b）的中左側的圓形交通標志。為了解決這個問題，我們提出了一種基于原MSER區域的外圍邊界的缺陷修補方法：首先將邊緣增強型的MSER特征檢測結果逐個區域地與原MSER區域的外圍邊界（單像素寬）進行邏輯或運算，得到封閉的圖像輪廓；然后使用孔洞填充的方法填充該封閉輪廓，逐個區域修補缺陷后效果如圖4所示。

經實驗論證，我們提出的這種基于MSER區域的外圍邊界的缺陷修補方法，在保持圖像中候選區域的大小及其基本形狀特征不變的基礎上，能快速且有效的解決輪廓缺陷的問題。

1.4 幾何條件約束

通過邊緣增強型MSER特征檢測，我們從顏色增強后的灰度圖像中獲得了一系列的連通區域，這些連通區域就是初步的標志候選區域。隨后，我們將選用一組簡單而靈活的幾何條件，對候選區域進行限制約束，篩除掉那些明顯非交通標志的候選區域。本文選取的各項幾何條件約束的閾值范圍如表1所示。

1.5 基于霍夫變換的形狀分析

交通標志都具有明確的外圍形狀，故我們采用霍夫變換方法對邊緣增強型MSER特征檢測的結果中的候選區域的輪廓信息進行更加具體的形狀分析。

為了實現圖像中的ROI區域的精確地定位，我們首先來提取邊緣增強型MSER特征檢測結果中的三角形區域。我們知道，任意的三角形的內切圓圓心是其三個內角的角平分線的交點，如圖5所示，a，b，c分別為線段 BC，AC和AB的長度。

假定OD與x軸間的夾角用θa表示，OG與x軸間的夾角用θb表示，OE與x軸間的夾角用θc表示（角度按逆時針旋轉計算）。根據三角形原理性知識，采用如下方法及步驟來檢測圖像中的三角形區域：

⑴ 對那些通過幾何條件約束的標志候選區域執行霍夫直線變換，并得到與候選區域相對應的霍夫變換矩陣；

⑵ 原點到候選區域中的每條線段的距離ρ，以及其所在直線與橫軸x的夾角都可以通過霍夫變換矩陣被計算出來；

⑶ 在該線段集合中，如果任有三條線段滿足下列條件，那么這三條線段就組成了一個三角形，其中，Ta，Tb為閾值，則該候選區域的外圍輪廓形狀就是三角形。

另外，也可以將霍夫直線檢測結果中的直線線段按照矩行定義進行擬合，從而判斷圖像中是否存在矩形圖形，以及其具體參數和位置。類似地，我們可以采用霍夫圓變換的方法來檢測邊緣增強型MSER特征檢測的結果中的圓形區域。

通過基于霍夫變換的輪廓形狀分析，我們快速且精準地定位出了邊緣增強型MSER特征檢測結果中與標志的形狀有關聯的候選區域。這種方法不僅使圖像中那些明顯非標志候選項的區域得到了有效地篩除，而且能為識別階段提供更加精確的候選區域。

2 實驗結果

為了驗證本文檢測方法的有效性，我們將本文所提出的交通標志檢測方法與Jack Greenhalgh等人[3]，MA Garcia-Garrido等人[5]的檢測算法在公開數據集GTSDB上進行了一系列的對比實驗。GTSDB數據集含有900張1360×800 pixels大小的圖像，其中包含了光照條件的劇烈變化，相似的背景顏色干擾，運動模糊和局部遮擋等不同狀況的道路場景圖片。

從表2中可以看出，我們提出的這種基于邊緣增強型MSER特征的道路標志檢測方法，相較于Jack Greenhalgh等人[3]的（基于MSER特征檢測標志區域）方法，在準確率和F-measure上分別提升了20%和16%左右；而相較于MA Garcia-Garrido等人[5]（基于邊緣圖像的霍夫變換來檢測標志區域）的方法，在準確率和F-measure上分別提升了5%和3%左右。顯然，我們所提出的這種基于邊緣增強型MSER特征的檢測算法的檢測性能要優于傳統的MSER特征檢測算法和基于霍夫變換的標志檢測算法。

3 結束語

本文針對自然場景下道路標志檢測所面臨的一些問題，提出了一種基于邊緣增強型MSER特征的交通標志檢測方法。該方法充分利用了交通標志的顏色特征和邊緣信息，結合了MSER特征和邊緣特征的優勢。在公開GTSDB數據集上的實驗測試表明，我們所提出的這種基于邊緣增強型MSER特征的交通標志檢測方法，在準確率和F-measure上都明顯優于傳統的MSER特征檢測算法[3]和基于霍夫變換的標志檢測算法[5]。但是，由于邊緣檢測的線段大都是不連續的，這可能會使得待檢測的ROI區域發生邊界丟失的現象，從而導致漏檢情況發生，這將會是我們以后研究工作中需要進一步解決的問題。

參考文獻（References）：

[1] Houben， S.， et al.， Detection of Traffic Signs in

Real-World Images： The German Traffic Sign Detection Benchmark[C]. Proceedings of International Joint Conference on Neural Networks （IJCNN），2013：1-8

[2] Ruta， A.， et al.， In-vehicle camera traffic sign detection and

recognition[J]. Machine Vision and Applications，2011.22（2）：359-375

[3] Greenhalgh J， Mirmehdi M. Real-Time Detection and

Recognition of Road Traffic Signs[J]. IEEE Transactions on Intelligent Transportation Systems，2012.13（4）：1498-1506

[4] Matas J， Chum O， Urban M， et al. Robust wide-baseline

stereo from maximally stable extremal regions[J]. Image and Vision Computing，2004.22（10）：761-767

[5] Garcia-Garrido MA， Ocana M， Llorca DF， et al. Robust

Traffic Signs Detection by means of Vision and V2I Communications[C]. Proceedings of 14th International IEEE Conference on Intelligent Transportation Systems （ITSC），2011：1003-1008