BP神經網絡下的限速交通標志實時檢測識別

張興國，劉曉磊，李 靖，王環東

(1. 中國飛行試驗研究院，陜西 西安 710089；2. 武漢大學 遙感信息工程學院，湖北 武漢 430072)

道路交通標志用以禁止、警告、指示和限制道路使用者有秩序地使用道路，保障出行安全．若能自動識別道路交通標志，則將極大減少道路交通事故的發生．但是由于道路交通錯綜復雜，且智能識別技術尚未成熟，為了得到高效實用的道路標志識別系統，仍需進行大量的研究．限速交通標志的檢測識別作為道路交通標志識別系統的一個重要組成部分，對它的研究具有非常重要的意義[1-5]．

目前國內已有不少學者針對道路交通標志牌的智能識別進行了研究，文獻[6]針對復雜環境背景下交通標志牌難以定位識別的問題，提出一種基于交通標志牌特定顏色以及多尺度Retinex的圖像增強和仿射變換的道路交通標志牌定位算法以及基于支持向量機的標志牌識別算法，經試驗驗證，該檢測識別方法可將目標識別率達到90%以上，但是其基于個人計算機(Personal Computer，PC)實現的檢測算法，不適用于影像序列的交通標志牌檢測．文獻[7]提出一種Adaboost算法與支持向量機(Support Vector Machine，SVM) 算法融合用于自然場景下的交通標志識別的算法[7]．該算法首先通過Adaboost 篩選出最可能的候選子圖像集合， 接著利用SVM對候選集合進行最終識別，從而將識別正確率提升至96%以上．以上這些算法雖然在一定程度上取得了一定的識別效果，但是目前常用方法均存在誤識別率較高，檢測時間過長等缺陷．筆者提出算法的創新之處在于，橢圓檢測定位過程中采用幀間加速法、連續自適應均值漂移算法(Continuously adaptive mean-Shift，CamShift)和光流法縮短定位時間，再對定位結果進行反向傳播(Back Propagation，BP)神經網絡識別，從而提高檢測效率，能夠實現實時視頻處理[8]．

1 限速交通標志的檢測與識別

文中提出的算法主要包括兩部分: 限速交通標志的檢測與識別．首先利用交通標志牌的顏色以及形狀特征將交通標志牌從復雜環境背景下檢測出來；接著利用BP神經網絡對正負樣本進行訓練，形成訓練集，從而實現對檢測出的交通標志牌的識別；最后再通過幀間加速法、CamShift法和光流法比較智能檢測識別的耗時情況．

1.1 限速交通標志的檢測

交通標志的自動識別首先需要對標志牌進行準確定位．為了解決復雜環境背景下的限速標志牌定位問題，通過查閱《道路交通標志和標線》中對限速標志牌制作的規定[9]，按照規定限速標志牌外圍均呈紅色，利用這一特征首先對原始影像進行顏色分割，將紅色區域分割出來，排除一些不必要的噪聲，接著對影像進行濾波；然后進行邊緣提取，橢圓擬合；最終將圓形標志檢測出來．

1.1.1 顏色分割

數碼相機拍攝的彩色影像一般分為紅綠藍(Red Green Blue，RGB)3個通道，有時為了突出某些顏色的特征，需要將其轉換到色度-飽和度-純度色彩模型(Hue-Saturation-Value，HSV)空間，文中為了對比RGB和HSV空間中紅色信息的區別，分別在RGB和HSV空間進行顏色分割，其原理分別是:

(1) RGB空間顏色分割．對RGB影像逐像素進行判斷，若 |G-B|/R< 0.1，R≥ 160，G-B< 30，G< 120，B< 120這5個條件同時滿足，則將該區域賦為白色；否則，將其變為黑色．這樣白色區域即為感興趣區域，分割完畢．得到的顏色分割效果圖如圖1(c)所示．

(2) HSV空間顏色分割．首先將原始影像(圖1(a))從RGB轉到HSV空間，然后逐像素進行判斷，若V≥ 0.15且S≥ 0.1且H≤ 7或H≥ 170，則將該區域賦為白色；否則，將其變為黑色．這樣白色區域即為感興趣區域，分割完畢．得到的顏色分割效果如圖1(b)所示．

圖1 顏色分割實驗

通過對比實驗可見，基于RGB空間的顏色分割在影像光照條件不足的情況下難以將標志牌分割出來，而HSV空間對光線要求較低，可以較好地識別紅色區域，所以文中采用HSV空間的顏色分割優于其他文獻提出的RGB顏色分割效果．

1.1.2 影像平滑與邊緣提取

由于道路交通背景較為復雜，顏色分割之后仍有部分噪聲，為了過濾該噪聲，文中采用3次高斯平滑的方法除去噪聲，為下一步邊緣提取提供便利，實驗結果如圖2所示．由實驗結果可以看出，經過高斯濾波后，圖像既保持了基本輪廓，同時對噪聲也起到一定的抑制作用．

圖2 影像平滑與邊緣提取

邊緣是圖像灰度變化率最大的地方，一般含有十分重要的特征信息，常被用于物體檢測方面．圖像邊緣不但保留了原始圖像中非常重要的信息，而且極大降低了數據量，完全符合特征提取的要求，因此文中采用canny邊緣提取進行圖像邊緣提取．

1.1.3 橢圓擬合

橢圓擬合法即從一組樣本點尋找一最接近樣本點的橢圓，也就是說，將圖像中的一組數據以橢圓方程為模型進行擬合，使某一橢圓方程盡量滿足這些數據，最終確定最佳擬合橢圓．

最小二乘法作為數據擬合中的基本方法，最早被應用于橢圓擬合，其基本思路就是使方程整體誤差最小化，即根據給定數據集不斷假設橢圓方程，計算每個待定點到該橢圓的距離之和，最終求出距離之和最小的橢圓方程即為最佳擬合橢圓．

文中利用最小二乘法對橢圓進行擬合，由于道路背景較為復雜，初步擬合的橢圓含有較多干擾信息(如圖3(a)所示)，因此，對擬合出的橢圓扁率進行限制，若扁率e介于0.8～1.2之間，即 0.8≤e≤ 1.2 時，則認為是圓形交通標志牌區域；否則，為干擾信息．其最終檢測結果如圖3(b)所示．

圖3 橢圓擬合圖4 同心圓去除

1.1.4 同心圓去除

由于在提取邊緣操作之后會出現內外兩個紅色圓形標志圈，所以進行橢圓擬合后易出現同心圓現象，如圖4(a)所示．針對這一問題，文中采用一種排列組合距離比較法進行同心圓去除，即對所有檢測出的橢圓中心距離進行兩兩比較，若兩中心之間的歐式距離小于最小設置距離，那么只保留最大圓，去除最小圓; 反之，則認為這兩個圓非同心圓，全部進行保留．圖4(b)為去除同心圓之后的檢測結果．

1.2 基于BP神經網絡的限速標志識別

在上節中，從復雜環境背景下將道路交通標志牌檢測了出來，接下來需要對檢測出的交通標志牌進行自動識別，因此需要用到圖像識別技術．近年來，人工神經網絡因其強大的學習能力和并行計算能力，常被應用于圖像識別等領域．雖然該方法屬于機器學習范疇，無法完全跟人腦進行媲美，但其擁有自適應學習能力，能夠通過一系列指定的學習特征對樣本進行學習，即通過對人腦神經元進行抽象，形成某種簡單的模型，接著依照不同的連接方式形成不同的網絡，從而實現適應性處理信息的能力．目前人工神經網絡因其強大的模糊學習能力已被應用于醫療、交通、工業、運輸、航空和航天等各個領域．文中項目需要對交通標志進行實時檢測識別，因此，可通過BP神經網絡對標志牌進行識別．

1.2.1 BP神經網絡的算法描述

BP 神經網絡包括訓練過程和學習過程．

(1) 訓練過程．首先輸入層接收來自外界的信號，然后傳遞給中間層的各神經元;中間層通過改變不同的隱層結構將這些信息進行變換;最后信息被傳遞到輸出層，這就是一次學習的正向傳播處理過程．

當實際輸出與期望輸出存在差異時，將會進入誤差反向傳播過程．誤差反傳即通過隱含層反傳輸出誤差到輸入層，在反傳過程中將誤差分配到每一層，從而在各層獲得調整各單元權值的依據．通過正向反向傳播，直到達到訓練終止條件為止．

(2) 學習過程．人工神經網絡的學習過程首先需要對網絡進行初始化，即分配連接權，設定誤差函數，學習的最大次數等；接著輸入訓練樣本，計算各隱藏層的輸入和輸出，調整連接權值；最后計算全局誤差，判斷其是否滿足終止條件，從而完成學習過程[10]．

1.2.2 輸入向量的計算

輸入向量用來代表圖案的特征向量，不同的標志具有不同的特征向量，利用特征向量的差異來區分不同的標志圖案，從而達到識別分類的目的．

文中樣本圖像均統一至30×30像素，并設定63個輸入節點，以圖案的紅綠藍(RGB)3個通道灰度值為基礎進行特征向量的計算，充分利用圖像顏色信息，從而較大增加了識別率．

前3個節點的計算方法為: 計算紅綠藍3個通道的平均值，并將其歸一化到0～1范圍內，計算公式如下:

(1)

然后，計算30個垂直方向vi和水平方向hi上的投影值:

(2)

其中，Y為灰度矩陣，T為閾值．Yi,j和T的表達式為

(3)

這63個節點依序作為輸入向量的值，進行網絡訓練[11]．

1.2.3 期望輸出的確定

期望輸出用來判定網絡的訓練誤差和決定輸出值，該輸出可以是一個值或者一個向量，文中以6種不同限速標志為訓練樣本．由于期望輸出得到的值在0～1區間內，為了更好地區分不同類別限速標志，這里將期望輸出設定為一個六維向量．向量構造方法為: 第N個訓練樣本的期望輸出向量的第N維的值為1，其他維的值都為0．即6種訓練標志的期望輸出向量按行排列在一起會形成一個 6×6 的單位矩陣[12]．

1.2.4 實驗結果

基于BP神經網絡算法處理交通視頻流的結果如圖5所示．從圖5可以看到，對于用來展示的40、50和60的限速牌都得到了正確識別結果，其檢測識別率如表1所示．

圖5 神經網絡算法識別結果

交通標志類型總幀數準確檢測幀數準確識別幀數檢測率/%識別率/%40km/h49449349399.899.850km/h50246245292.090.060km/h69567364896.893.2

1.3 視頻加速

在實際的應用場景中，希望能夠實時對交通標志進行檢測和識別．這對算法處理的效率提出了很高的要求．目前大多交通標志牌的識別基于單張影像進行識別，對于檢測識別耗時問題并未予以過多考慮．為了模擬實際應用場景，文中對交通標志視頻的檢測和識別算法進行了研究．將視頻幀間關系、CamShift、光流法引入文中的交通標志檢測識別中，將目標跟蹤的方法與文中算法結合，使得能夠實現對視頻進行交通標志牌的檢測識別[13-15]．下面分別介紹文中提出的3種視頻檢測識別加速方法．

1.3.1 視頻幀間關系

在現實生活中，物體的運動是連續的．因此根據相對運動原理，拍攝的視頻中標志的運動也是連續的，也就是說每一幀中標志的位置與前一幀和后一幀的標志位置是緊密相關的．利用這個先驗知識，文中利用幀間關系對物體運動進行預測，進一步優化了視頻的限速標志檢測和識別效率．具體算法步驟如下:

(1) 進行目標全局檢測和識別，確定目標位置．

(2) 利用前一幀和當前幀檢測的目標位置和目標半徑，預測下一幀的目標位置和半徑．

(3) 在預測值位置的3倍預測半徑范圍內進行目標局部檢測，若檢測失敗，進行全局檢測．

(4) 進行目標識別．

(5) 重復步驟(2)～步驟(4)．

1.3.2 CamShift

CamShift算法是一種在一組數據的密度分布中尋找局部極值的穩定方法，可用來跟蹤物體．其基本思想是，首先給定搜索窗口，接著以物體特征分布為依據進行不斷搜索，逐幀計算峰值，從而實現逐幀追蹤目標．CamShift優勢之一是可以自動調整搜索窗口大小．其具體跟蹤步驟如下:

圖6 視頻加速算法檢測結果

(1) 進行目標檢測和識別，確定限速標志的位置．

(2) 計算限速標志所在區域圖像的直方圖反向投影，輸入CamShift函數．

(3) 利用CamShift檢測下一幀的標志位置并進行標志識別．

(4) 每隔一定幀數重新執行步驟(1)～步驟(3)．

由于CamShift主要利用的是標志的顏色特征，當場景變化較大時將出現檢測不準的情況．步驟(4)重新執行步驟(1)～步驟(3)是為了保證程序檢測的穩定性和準確性，圖6(a)為CamShift檢測的初步結果．

1.3.3 光 流 法

光流是指在視頻中目標特征點被連續跟蹤時運動被轉化成的速度矢量．Lucas-Kanade(LK)方法是用于求稠密光流的，最初于1981年提出．LK算法基于以下3個假設: 亮度不變、時間連續或者運動是小運動和空間一致．稀疏光流的目標跟蹤方法幾乎是實時的，效率很高，能夠應用到視頻標志檢測方面，將極大提高算法效率，具體實現如下:

(1) 進行目標檢測和識別，確定限速標志的位置．

(2) 對標志所在區域進行特征提取．

(3) 將特征點位置輸入，利用LK方法進行稀疏光流的目標跟蹤和標志識別．

(4) 如果現有的特征點數小于輸入特征點數的k倍，則重新執行步驟(1)～步驟(3)．一般來說，k可以設置為0.7．

圖6(b)所示為光流法檢測結果．

2 實驗結果分析

文中隨機選用15、40、60限速牌視頻進行試驗．3個視頻的幀寬為640像素，幀高為480像素，幀率為29幀每秒，平均每幀停留時間為 34.5 ms．實驗結果的優劣將從檢測識別效率和定位準確度兩個方面加以說明．

2.1 檢測識別效率

表2為常規方法、幀間關系加速、CamShift和光流法4種方法對視頻進行檢測處理每幀耗費的平均時間．

表2 4種方法的檢測識別效率ms

從表2的平均數據可以看到，常規方法處理數據的時間明顯比后3種方法要高出很多時間，因而文中的視頻加速是非常有意義的; 對比后3種方法，不僅CamShift和光流法的各自的平均處理時間比幀間關系加速的要少，對比每一個限速牌可看到，CamShift和光流法處理速度均優于幀間關系加速法．雖然只相差了 2～ 3 ms，但是當數據量巨大時，后兩種方法的這種加速將具有很大的優越性．

2.2 定位準確度

表3為常規方法、幀間關系加速、CamShift和光流法4種方法對同一視頻進行檢測處理定位精度對比表．

表3 4種方法的定位準確度

從表3的數據可以看出，光流法的定位精度最高，常規方法和幀間加速法的定位精度相對較高，CamShift定位精度最差．結合表1可以看出，光流法不僅耗時少，且定位精度較高；CamShift法雖然耗時較少，但是定位精度較差，實際應用價值較差．

3 結 束 語

文中第1步是道路交通標志的檢測，通過空間顏色分割將RGB空間轉化到HSV空間，克服了RGB空間對光線變化敏感的不足，增加了交通標志牌的定位能力；接著將近年來熱門的人工神經網絡應用于交通標志牌的識別，通過訓練樣本的自學習，實現了標志牌的自動識別; 最后將3種目標追蹤的算法——幀間關系加速、CamShift和光流法與交通標志牌的檢測識別結合在一起，完成了基于視頻流的復雜自然背景下的限速標志牌自動檢測識別．文中提出的限速交通標志牌檢測識別方法將多種算法結合不僅適用于單張影像的檢測識別，也適用于智能攝像頭等的實時檢測識別，對于智能交通預警系統具有重大研究意義．