融合顏色分割與形狀特征的交通標(biāo)志檢測(cè)

張金朋，方千山

（華僑大學(xué)機(jī)電工程及自動(dòng)化學(xué)院，福建廈門361021）

融合顏色分割與形狀特征的交通標(biāo)志檢測(cè)

張金朋，方千山

（華僑大學(xué)機(jī)電工程及自動(dòng)化學(xué)院，福建廈門361021）

交通標(biāo)志的顏色特征和形狀特征是其最主要的兩個(gè)特征，為提高檢測(cè)的準(zhǔn)確性和魯棒性，提出顏色分割和形狀特征相結(jié)合的方法。利用交通標(biāo)志的顏色特征，采用基于HSV空間的顏色分割方法，獲得圖像中可能包含交通標(biāo)志的區(qū)域，并提取該區(qū)域。根據(jù)交通標(biāo)志的形狀特點(diǎn)，利用canny算子獲取提取區(qū)域的輪廓。然后，采用基于標(biāo)記的形狀檢測(cè)算法判定所分割區(qū)域的形狀，利用方向梯度直方圖特征結(jié)合支持向量機(jī)（SVM）方法完成交通標(biāo)志識(shí)別。經(jīng)實(shí)驗(yàn)測(cè)試，該方法對(duì)圖片視點(diǎn)變換、尺度變換以及亮度變換等情況具有很強(qiáng)的魯棒性。

交通標(biāo)志檢測(cè)；顏色分割；形狀檢測(cè)；HOG特征；SVM

0 引言

交通標(biāo)志檢測(cè)是智能交通系統(tǒng)的重要組成部分，對(duì)智能駕駛以及輔助駕駛都具有重要意義。經(jīng)過(guò)各國(guó)研究人員的長(zhǎng)期探索，交通標(biāo)志檢測(cè)和識(shí)別技術(shù)取得了很大進(jìn)展，但是仍存在許多問(wèn)題，主要包括：（1）交通標(biāo)志在自然條件下采集，易受光照、天氣及背景圖像等干擾；（2）交通標(biāo)志種類繁多，且易受污損、變形和遮擋。

針對(duì)交通標(biāo)志的特點(diǎn)和各種干擾因素，國(guó)內(nèi)外學(xué)者提出許多方法和理論，黃志勇等人提出顏色分割方法[1]；Garcia-Garrido提出基于形狀的檢測(cè)方法[2]；Khan J F提出圖像分割結(jié)合形狀特征匹配的方法[3]；King Hann Lim等人提出利用顏色直方圖特征結(jié)合形狀特征，利用RBF神經(jīng)網(wǎng)絡(luò)分類識(shí)別方法[4]。采用RGB空間的分割方法受光照影響較大，容易失真，為了抑制光照變化的影響，采用基于HSV空間的分割方法，H分量、S分量與V分量關(guān)聯(lián)性小，魯棒性強(qiáng)[5]。基于形狀特征的檢測(cè)方法易受外界干擾，當(dāng)出現(xiàn)交通標(biāo)志破損、變形或者被遮擋時(shí)，將會(huì)出現(xiàn)魯棒性差的問(wèn)題。交通標(biāo)志的識(shí)別方法，其基本思想是獲得目標(biāo)特征，通過(guò)識(shí)別算法進(jìn)行識(shí)別，目標(biāo)特征主要有：SIFT（尺度不變特征變換）、HOG（梯度方向直方圖）、SURF（角點(diǎn)檢測(cè)）、LBP（局域二值模式），識(shí)別算法主要有：神經(jīng)網(wǎng)絡(luò)算法、支持向量機(jī)算法、遺傳算法、模板匹配等。本文通過(guò)HSV顏色空間分割結(jié)合形狀特征檢測(cè)的方法提取出圖像中交通標(biāo)志，由于HOG特征是在圖像的局部方格單元上操作得到，能夠?qū)D像的幾何和光學(xué)的形變保持很好的不變性，因此利用目標(biāo)的HOG特征結(jié)合SVM分類器能夠?qū)崿F(xiàn)交通標(biāo)志檢測(cè)。實(shí)驗(yàn)結(jié)果表明該方法具有較好的魯棒性。

1 顏色分割

由于顏色是交通標(biāo)志的重要特征，所以通過(guò)顏色分割可以快速實(shí)現(xiàn)交通標(biāo)志的粗分割、定位包含交通標(biāo)志的區(qū)域，從而提高檢測(cè)效率。本文采用基于HSV空間的分割方法，將輸入圖像從RGB空間轉(zhuǎn)換到HSV空間。

根據(jù)三基色原理，設(shè)（r，g，b）分別是某一種顏色的紅、綠和藍(lán)坐標(biāo)值，且是區(qū)間[0，1]內(nèi)的實(shí)數(shù)，設(shè)max等于r，g和b中的最大值，min等于這些值中的最小值，RGB到HSV空間轉(zhuǎn)換公式[5]為：

（h，s，v）是（r，g，b）在HSV空間對(duì)應(yīng)的坐標(biāo)值，色相角h∈[0，360°），飽和度與亮度s，v∈[0，1]。

為滿足圖像分割實(shí)時(shí)性要求，本文采用閾值分割的方法[6]。首先將輸入的RGB圖像轉(zhuǎn)換為HSV圖像，提取圖像的H通道、S通道和V通道，對(duì)三個(gè)通道進(jìn)行閾值分割，分割后得到二值圖像。三通道閾值范圍經(jīng)實(shí)驗(yàn)測(cè)試如表1所示，實(shí)驗(yàn)結(jié)果表明該方法具有較好的分割效果，能夠分割出所需區(qū)域。

表1HSV空間顏色分割閾值

2 連通區(qū)域標(biāo)記

HSV閾值分割后的二值圖像中存在許多干擾噪聲，首先需要去除圖像中噪聲，采用3×3窗口進(jìn)行中值濾波以去除孤立噪聲點(diǎn)；然后，利用形態(tài)學(xué)開(kāi)運(yùn)算操作（腐蝕與膨脹）可以去除大量不相關(guān)區(qū)域并且不破壞感興趣區(qū)域；最后對(duì)二值圖像進(jìn)行填充并采用連通區(qū)域標(biāo)記的方法把不同物體分開(kāi)。

連通區(qū)域標(biāo)記是把圖像中連接在一起的像素附上相同標(biāo)記，未連接在一起的像素附上不同標(biāo)記的過(guò)程[7]。本文使用八連通區(qū)域標(biāo)記方法對(duì)二值圖像進(jìn)行標(biāo)記，并統(tǒng)計(jì)出各個(gè)標(biāo)記區(qū)域的面積、寬度和高度。設(shè)定區(qū)域面積閾值為1 000，同時(shí)設(shè)定區(qū)域?qū)捀弑乳撝捣秶谥g，若標(biāo)記區(qū)域像素面積大于1 000且寬高比在之間則認(rèn)為包含交通標(biāo)志區(qū)域。圖1是分割處理結(jié)果。

圖1分割處理結(jié)果

圖1 （a）是拍攝的原始圖像，（b）圖是顏色分割后圖像，（c）圖是中值濾波和腐蝕、膨脹處理后圖像，（d）圖是將（c）圖填充并用連通區(qū)域標(biāo)記算法提取出的感興趣區(qū)域圖像。可以看出，包含交通標(biāo)志的區(qū)域被分割出來(lái)，并且沒(méi)有破壞其形狀與面積，使用連通域標(biāo)記的方法可以獲得較好的效果。雖然經(jīng)過(guò)顏色特征分割得到包含交通標(biāo)志的區(qū)域，但是實(shí)際道路環(huán)境中存在許多干擾，例如廣告牌等，因此要通過(guò)形狀特征進(jìn)一步判斷所得區(qū)域是否為交通標(biāo)志區(qū)域。

3 形狀檢測(cè)

為判定上一步分割得到的交通標(biāo)志區(qū)域的形狀，本文利用多邊形的兩個(gè)不變特征進(jìn)行檢測(cè)：

（1）特定多邊形邊數(shù)不變；

（2）多邊形的圓形度。

交通標(biāo)志的形狀主要為圓形、矩形、三角形，表2、表3、表4中分別表示圓形、三角形、矩形的特征屬性。定義多邊形的圓形度，P表示周長(zhǎng)，A表示面積。

表2 圓形特征屬性

表3 三角形特征屬性

表4 矩形特征屬性

3.1 邊數(shù)計(jì)算

首先計(jì)算出多邊形中心點(diǎn)坐標(biāo)并轉(zhuǎn)化為極坐標(biāo)形式，用x′表示邊上各點(diǎn)到中心點(diǎn)的相對(duì)距離，x′的變化對(duì)應(yīng)極坐標(biāo)下角度θ與半徑ρ的變化。繪制θ-ρ曲線圖，由圖中峰值個(gè)數(shù)可判斷多邊形邊的個(gè)數(shù)，如表2～表4所示。

具體步驟為：

（1）通過(guò)連通區(qū)域標(biāo)記方法提取到感興趣的交通標(biāo)志區(qū)域，并分割出該區(qū)域；

（2）填充該區(qū)域，采用canny算子提取區(qū)域圖像的邊緣，讀取并存儲(chǔ)邊緣坐標(biāo)；

（3）計(jì)算出中心點(diǎn)坐標(biāo)，利用各邊緣點(diǎn)坐標(biāo)減去中心點(diǎn)坐標(biāo)得到相對(duì)坐標(biāo)值，轉(zhuǎn)化為極坐標(biāo)形式并歸一化到[0 1]之間；

（4）繪制θ-ρ曲線圖，統(tǒng)計(jì)波峰個(gè)數(shù)。

如圖2所示，第一行表示連通標(biāo)記算法分割出的可能交通標(biāo)志區(qū)域，第二行表示填充后由canny算子得到的輪廓邊緣，第三行表示圖形的θ-ρ關(guān)系，表征邊上各點(diǎn)到中心點(diǎn)的距離，第四行表示根據(jù)θ-ρ關(guān)系判斷的結(jié)果。由于實(shí)際道路上的干擾較多，獲得的輪廓通常不是一個(gè)標(biāo)準(zhǔn)的圓形，本文設(shè)定在θ-ρ曲線圖中ρ的最小值若大于0.88，即認(rèn)定形狀為圓形。

圖2 形狀檢測(cè)結(jié)果

3.2 圓形度檢測(cè)

為提高檢測(cè)的魯棒性，本文結(jié)合邊數(shù)值和周長(zhǎng)平方與面積比兩個(gè)不變性判據(jù)來(lái)判別圖形的形狀。

使用連通標(biāo)記算法將感興趣的交通標(biāo)志區(qū)域提取出來(lái)并填充后，在MATLAB中使用函數(shù)P=regionprops（L，′Perimeter′）與A=regionprops（L，′Area′）分別得到該區(qū)域的周長(zhǎng)與面積，計(jì)算出圓形度。為得到我國(guó)交通標(biāo)志形狀的圓形度，通過(guò)采集大量的交通標(biāo)志圖片以及標(biāo)準(zhǔn)的交通標(biāo)志庫(kù)圖片，計(jì)算圓形度。對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析后，設(shè)定常見(jiàn)交通標(biāo)志形狀的圓形度閾值區(qū)間，圓形閾值范圍為[12.30，12.8]，三角形閾值范圍為[17.5，18.8]，矩形閾值范圍為[14.80，16.00]。圓形標(biāo)志、矩形標(biāo)志、三角形標(biāo)志實(shí)驗(yàn)數(shù)據(jù)分別如表5、表6、表7所示。

圖2中圓形交通標(biāo)志圖像區(qū)域C=12.33，三角形圖像C=17.78，矩形圖像C=14.97，均在閾值范圍內(nèi)。

4 特征提取與識(shí)別

通過(guò)HSV顏色空間分割與形狀檢測(cè)，將滿足條件的交通標(biāo)志區(qū)域提取出來(lái)并標(biāo)準(zhǔn)化為86×86，提取該區(qū)域的方向梯度直方圖特征（Histogram ofOrientedGradient，HOG），輸入到支持向量機(jī)（Support VectorMachinc，SVM）分類器中，由SVM分類器判定該區(qū)域是否為交通標(biāo)志區(qū)域。當(dāng)SVM判定該區(qū)域?yàn)榻煌?biāo)志區(qū)域后，在原圖像中標(biāo)記出來(lái)，否則舍棄，進(jìn)入新一輪的識(shí)別過(guò)程。

表5 圓形標(biāo)志實(shí)驗(yàn)數(shù)據(jù)

表6 矩形標(biāo)志實(shí)驗(yàn)數(shù)據(jù)

表7 三角形標(biāo)志實(shí)驗(yàn)數(shù)據(jù)

HOG特征是一種類似于尺度不變特征變換（Scale Invariant Feature Transform，SIFT）的局域描述符，HOG特征結(jié)合SVM分類器廣泛應(yīng)用于圖像識(shí)別[8]。HOG通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征，可以準(zhǔn)確地表示圖像的形狀信息。圖3為提取到的交通標(biāo)志HOG特征。在街面拍攝大量上文中交通標(biāo)志圖像作為訓(xùn)練的正樣本，以類似交通標(biāo)志顏色和形狀的廣告標(biāo)牌作為負(fù)樣本，構(gòu)建SVM分類器。

圖3HOG特征

檢測(cè)流程：首先對(duì)輸入的圖像轉(zhuǎn)換為HSV圖像并進(jìn)行基于HSV空間的顏色分割，其次采用連通區(qū)域標(biāo)記方法選擇出可能的交通標(biāo)志區(qū)域，之后對(duì)其進(jìn)行形狀檢測(cè)，將滿足交通標(biāo)志顏色特征和形狀特征的區(qū)域提取出來(lái)，并提取該區(qū)域的HOG特征，最后將HOG特征作為SVM分類器的輸入量進(jìn)行識(shí)別和標(biāo)記。

本文方法對(duì)于光線良好的白天拍攝的圖像處理效果較好，而且對(duì)于樹(shù)蔭下的交通標(biāo)志也具有較好的處理效果。實(shí)驗(yàn)結(jié)果如圖4。

圖4 實(shí)驗(yàn)結(jié)果

5 結(jié)論

本文采用顏色分割與形狀檢測(cè)相結(jié)合的方法，實(shí)現(xiàn)交通標(biāo)志的分割，利用HOG特征結(jié)合SVM分類器進(jìn)行交通標(biāo)志的識(shí)別。首先在HSV顏色空間對(duì)圖像進(jìn)行顏色分割，用連通域標(biāo)記的方法標(biāo)記與選擇交通標(biāo)志區(qū)域，能夠快速定位，減少后續(xù)操作的計(jì)算量。對(duì)感興趣區(qū)域采用基于形狀特征的檢測(cè)方法，能夠提高檢測(cè)的準(zhǔn)確度。最后采用目標(biāo)的HOG特征結(jié)合SVM分類器的方法，完成交通標(biāo)志的識(shí)別。實(shí)驗(yàn)結(jié)果表明該算法具有較好的魯棒性，為以后的研究工作提供了良好的基礎(chǔ)。

[1]黃志勇，孫光民，李芳.基于RGB視覺(jué)模型的交通標(biāo)志分割[J].微電子學(xué)與計(jì)算機(jī)，2004，21（10）：147-148.

[2]GARCIA-GARRIDO M A，SOTELO M A，MARTINGOROSTIZAE.Fastroadsigndetectionusinghough transform for assisted driving of road vehicles[C].Proceedingsofthe10thInternationalConferenceonComputer Aided Systems Theory，2005：543-548.

[3]KHAN J F，BHUIYAN S M A，ADHAMI R R.Image segmentation and shape analysis for road-sign detection[J]. IEEETransactionsonIntelligentTransportationSystems，2011，12（1）：83-96.

[4]LIM K H，SENG K P，ANG L M.Intra color-shape classification for traffic sign recognition[C].Proceedings of 2010 International Conference of Computer Symposium，Tainan，2010，642–647.

[5]SHI M，WU H AND FLEYEH H.A robust model for traffic signs recognition based on Support Vector Machines[J].Image and Signal Processing，CISP，2008（8）：516-524.

[6]Chen Yixin，Xie Yi，Wang Yulin.Detection and recognition of traffic signs based on HSV vision model and shape features[J].Journal of Computers，2013，8（5）：1366-1370.

[7]張?jiān)普埽w海，宋純賀，等.一種新的連通區(qū)域標(biāo)記算法[J].計(jì)算機(jī)應(yīng)用研究，2010，27（11）：4336-4340.

[8]DALAL N，TRIGGS B.Histograms of oriented gradients for human detection[C].International Conference on Computer Vision and Pattern Recognition，2005：886-893.

Traffic sign detection of the fusion of color segmentation and shape feature

Zhang Jinpeng，F(xiàn)ang Qianshan
（College of Mechanical Engineering and Automation，Huaqiao University，Xiamen 361021，China）

Traffic sign has two main characteristics，color feature and shape feature.In this paper，a method combining color segmentation with shape detection is proposed to improve the accuracy and robustness of detection.According to the color feature of traffic sign，take the approach of the color segmentation based on HSV space to get the image of the region which may contain traffic sign and then exact the region.According to the shape feature of traffic sign，we use canny operator to get the outline of the extracted region.Then we use the algorithm based on the shape maker detection to discriminate the shape of the segmented region and the histogram of oriented gradient（HOG）method with support vector machine（SVM）to complete the traffic sign recognition.The experiment results show that the proposed method can achieve strong robustness to the picture changes of illumination，scale，view point and so on.

traffic sign detection；color segmentation；shape detection；HOG feature；SVM

TP391.4

A

1674-7720（2015）11-0083-03

2015-01-11）

張金朋(1988-)，男，碩士，主要研究方向：檢測(cè)技術(shù)與自動(dòng)化。E-mail：961122877@qq.com。

方千山（1962-)，男，博士，教授，高級(jí)工程師，主要研究方向：過(guò)程控制和人工智能技術(shù)。