全景影像中道路交通標志的自動識別

楊凱，劉如飛，崔立軍，王旻燁，柴永寧

(1.山東科技大學 測繪科學與工程學院，山東 青島 266590；2.淄博市博山區交通運輸局，山東 淄博 255200)

0 引言

近年來，隨著經濟的發展和城市化進程的加速，交通安全問題愈加嚴峻。因此，智慧交通和無人駕駛技術得到了有關部門和學者們的高度關注和重視。而交通標志自動識別作為智慧交通的重要組成部分，成為了研究的熱點。交通標志的自動識別主要包括路牌的檢測定位與路牌識別2個方面[1]。其中，路牌的檢測定位是識別的基礎，同時也是最重要的難點問題。目前檢測方法總體上有基于交通標志單一特征顏色特征[2]、幾何特征[3]、紋理特征[4]的檢測方式，以及基于多種特征相結合[5]的機器學習檢測方法[6-7]。基于色彩特征檢測的原理主要是在RGB、HSV和HIS等色彩空間上通過閾值分離出交通標志。采用RGB色彩空間運行速度快，但易受光線影響造成失真；HSV和HIS色彩空間能避免光照影響，HSV色彩空間的3個分量(色度、飽和度、亮度)相關性不高，對其中一個分量的改變不造成其他2個分量對人視覺的影響，可分別處理，但同時其空間非線性帶來了巨大的計算量。幾何形狀特征的分類主要是采用霍夫變換方法[8]，在形狀特征檢測方面具有一定穩定性，但其計算量偏大、局限性大。鑒于以上原因，不少學者采用了顏色特征與幾何特征相結合的方法來取長補短[9-10]，先利用顏色進行粗分類，再利用形狀特點對分類結果進行優化細分，但在復雜的自然背景和全景影像中魯棒性不強。Liu等[11]提出了一種基于級聯檢測器、SW-Gaussian模型和形狀上下文匹配方法的多視點路標檢測系統，通過SW-高斯模型進行強顏色提取，結合形狀上下文匹配方法進行匹配，具有較高的識別精度；陳亦欣等[12]采用HSV色彩空間結合仿射變換的幾何形狀矯正，減少了投影失真，有效提高了精度。目前大部分的路牌識別是基于圖像特征的機器學習，識別精度較高，具有較強的魯棒性，Kiran等[13]根據增強色調和飽和度乘積的顏色分割技術，結合支持向量機(support vector machine，SVM)分類，正確率達到96.27%；Soendoro等[14]基于顏色的CIElab色調和形狀弧結合，并使用線性cSVM對二值圖像檢測，識別正確率為97%；Liao等[15]使用支持向量機訓練分類，利用遺傳算法實現形狀分類自適應優化，具有識別速度快、自適應能力強等優點。但大部分研究是基于裁剪目標區域或者以實景相機拍攝得到的圖像作為測試樣本研究實驗，很少有人用全景影像作為測試樣本進行研究，對于廣泛應用的全景影像需要做深入的研究。針對上述情況，本文采用移動測量車采集到的全景影像作為研究對象，重點研究全景影像中道路交通標志牌的自動定位與識別。

本文提出了一種基于光譜特征與形狀特征定位交通標志牌，利用機器學習算法SVM分類器分析標志牌紋理特征，進而識別交通標志牌類型的方法。我國交通標志牌主要是藍色、黃色和紅色。首先通過交通標志牌自身的顏色特征粗提取全景影像中大部分感興趣區域，使用形態學分析進一步找出感興趣區域中符合交通標志牌形狀的候選區域，通過計算候選區域面積并設置閾值去除面積較小的噪點區域得出交通標志牌區域；然后結合方向梯度直方圖(histogram of oriented gradients，HOG)和局部二值模式(local binary pattern，LBP)特征優劣互補，進行HOG-LBP特征融合；最后以全景影像為測試樣本，結合SVM分類器對全景影像進行路牌的訓練、分類和預測。該方法流程如圖1所示。

圖1 算法流程圖

1 圖像預處理

1.1 HSV色彩過濾

我國的道路路牌種類主要有紅色和黑色的交通禁令標志、黃色和黑色的交通警告標志以及藍色白底的交通指示標志。根據特定顏色過濾全景影像，濾除大部分背景，方便感興趣區的快速提取。基于RGB的色彩空間對于全景影像使用方便且運行速度快，但易受光線影響。因此，本文選用更符合人類視覺生理屬性且3種分量相對獨立、抗光線干擾能力強的HSV色彩空間。

1.2 二值化及形態學運算

結合上述色彩分割后的全景影像，本文采用最大類間方差法(簡稱OTSU)對影像進行二值化[16]。針對二值化后的全景影像得到的路牌區域特征不明顯、存在一定的噪點等問題，通過數學形態學基礎運算對二值圖像進行開運算(結構元素設置為2像素×2像素的矩形)，對開運算后的二值圖像連續進行2次閉運算平滑濾波；對處理后二值圖像中的特征區域進行連通性分析，設置閾值，濾除面積較小的噪聲區域[17]。

1.3 交通標志的定位提取

通過圖像特征提取結合機器學習實現交通標志的自動識別，需要對每一個交通標志牌進行單獨提取，對提取出的特征圖像進行特征提取。路牌位置的提取方法如下：首先遍歷處理后的二值圖像，得出圖像中所有感興趣區域P1、P2、…，并計算出每一個區域的幾何中心點O1、O2、…；根據每一個中心點的坐標，上下遍歷獲取感興趣區的上邊界Xmax和下邊界Xmin，左右遍歷獲取感興趣區的左邊界Ymin和右邊界Ymax，根據最大外接矩形裁剪全景影像中對應區域，提取該交通標志牌[16]。

2 LBP-HOG特征融合在SVM中分類識別

2.1 LBP-HOG特征提取

HOG特征是通過計算和統計圖像局部區域的梯度方向直方圖來構成的。HOG特征提取是對圖像局部的操作，受幾何和光學的影響較小。LBP特征主要用于解決多分辨率和旋轉情況下圖像的紋理分類問題。

對同一圖像分別進行HOG以及LBP特征的提取(圖2)，得到其方向梯度直方圖和LBP特征直方圖。HOG是將圖像分成小的連通區域(細胞單元)；然后等間隔采集細胞單元中各像素點的方位值和方向導數值，生成梯度方向直方圖；最后把這些直方圖組合起來并歸一化構成特征描述子。LBP是將圖像任意像素為中心點，并以該點的像素值為閾值對八鄰域二值化處理，得出一個8位的二進制數；將二進制數轉為十進制作為該點的LBP值。

圖2 提取HOG和LBP特征示意圖

全景影像與普通圖像的主要差別在于全景影像的變形情況(圖3)，變形后的路牌在特征提取時會存在很大的差異性。對于全景圖中路牌處于變形的區域，識別難度大、精度低。為解決這一難題，本文采用多特征融合的方法提高特征維數，以提高識別精度。

圖3 原始路牌與變形后路牌

HOG特征是描述局部區域的變化形態，提取的形狀信息可以很好地描述邊緣特征。對圖像分塊分細胞單元的細化處理算法，能夠更好地描述局部像素之間的關系。HOG在復雜背景以及紋理提取方面優勢不明顯；LBP算子計算步驟簡單、識別精度高，但單獨應用于背景復雜的場景下圖像特征提取能力較弱且維數過高。結合二者的優勢，并針對全景影像變形區域的情況，本文采用對HOG特征和LBP特征進行融合的方法形成優勢互補，以提高識別精度。采用串行融合的方法對2種特征進行融合，得到最終的HOG-LBP融合特征，如式(1)所示。

Features=(FeaturesHOG，FeaturesLBP)

(1)

2.2 SVM的分類識別

SVM是對二元數據進行分類的分類器。處理多種類交通標志牌時，需要構造多類分類器。本文采用一對多法進行樣本訓練，通過SVM分類器對實驗數據進行訓練和測試。從實驗采集到的全景影像中的交通標志牌制作訓練樣本集，然后根據已經訓練好的樣本的數據對測試集數據進行分類識別的預測。進行圖像的分類預測需要調節相關參數，主要有核函數參數g和懲罰因子c。根據交叉驗證思想找出最優參數g為0.094 797，c為12.796 3，交叉驗證的準確度最高。

3 實驗結果與分析

本文采用搭載GNSS接收機、慣性導航系統、三維激光掃描儀和全景相機等先進傳感器的移動測量車對山東省青島市某道路進行全景影像采集。全景相機參數：單鏡頭分辨率為2 048像素×2 448像素，作業溫度在-20～50 ℃；6鏡頭拼接后分辨率為4 000像素×8 000像素，存儲溫度-30～60 ℃；幀率為15 FPS，視場角360°。共獲得全景影像1 877張，其中包含交通標志牌(主要有方向指示、監控區指示、禁止標志、警告標志等)總數為2 633個。根據采集到的交通標志牌，選定1 800個包含各種標志的數據集作為訓練樣本，其余833個作為測試樣本，再從影像中選出1 000張非交通標志牌區域作為負樣本。各類交通標志訓練樣本個數如表1所示，測試集直接使用全景影像作為測試樣本，以保證得到的結果更具一般性。采集到的全景影像如圖4所示。

表1 交通標志訓練樣本庫樣本組成 個

圖4 全景影像示例圖

從影像中裁剪出的訓練樣本的尺寸設置為256像素×169像素，采用SVM分類器進行機器學習，實驗使用的PC配置為處理器AMD A8-7100 Radeon R5，運行內存4 GB，主頻1.80 GHz，Windows7旗艦版64位操作系統。實驗分別采用HOG特征提取、LBP特征提取以及HOG-LBP融合特征提取制作訓練集。

本文分析了訓練樣本的數量對識別精度的影響(圖5)。圖5顯示，訓練樣本數在400個以下時，識別正確率比較低；訓練樣本數400個以上，識別正確率會隨樣本數增加而增大；樣本個數超過1 000時，精度變化趨于平緩。為保證識別率以及考慮訓練樣本花費的時間，本文選定1 000張負樣本和1 800張帶有交通標志牌的圖片作為訓練樣本集。

圖5 正確率與訓練樣本個數變化關系

圖6為實驗檢測識別結果圖。從圖6(a)、圖6(b)和圖6(c)可以看出，對于變形微小的方向指示牌、距離稍遠的人行橫道指示牌以及位置角度正常的減速慢行標志可以精確定位和識別。圖6(d)由于樹枝遮擋嚴重，紋理特征提取有誤，導致識別錯誤。圖6(e)、圖6(f)為同一種路牌。對于無變形的圖6(e)可以準確地識別；對于變形比較明顯的路牌如圖6(f)，采用HOG-LBP特征也有很好的識別效果。

圖6 HOG-LBP特征下全景影像識別結果

圖7、圖8為同一交通標志牌分別采用單特征和融合特征進行識別的2組實驗。可以看出，對于近距離有微小變形的路牌，3種算法均能正確地識別。而對于距離較遠變形較大的路牌，單一特征就難以識別。從圖8看出，該指示牌距離全景相機較遠且視角偏差大，導致特征不明顯，2種特征均錯誤地識別成負樣本，圖8(c)正確地識別為監控區。

圖7 實驗1的不同特征識別結果對比圖(近距離，小變形)

圖8 實驗2的不同特征識別結果對比圖(遠距離，大變形)

選取帶有交通標志牌的全景影像作為測試樣本，對影像中的路牌進行自動定位與識別。實驗對600張全景影像進行測試，其中包含833個交通標志，檢測結果所用時間和正確率如表2所示。表2顯示，本文方法識別時間略多于2種傳統方法，但是識別正確率明顯高于2種傳統方法。

表2 識別所用的時間和精度

4 結束語

本文以移動測量車采集的全景影像為研究對象，針對全景影像中的道路標志牌，提出了一種基于光譜特征與形狀特征定位交通標志牌，SVM分析紋理特征識別交通標志牌類別的方法。該方法根據交通標志牌顏色獨特性，快速定位路牌區域，再提取交通標志牌的HOG-LBP特征進行機器學習，通過SVM分類器識別全景影像中的交通標志牌。實驗結果表明，HOG-LBP特征融合方法有效提高了識別正確率，該算法的實現為全景影像中交通標志牌的自動識別提供了一種較好的解決辦法。但是，對于遮擋情況識別率不高的問題依然存在，下一步將繼續深入研究本文算法，并針對全景影像路牌自動識別做進一步研究。