基于雙通道動態像素聚合的交通標志識別算法

王 楊,王 傲,許佳煒,馬 唱,谷天祥

(1.安徽師范大學 計算機與信息學院,安徽 蕪湖 241000;2.蕪湖職業技術學院 國際教育管理學院,安徽 蕪湖 241000)

0 引 言

交通標志為用文字或符號引導、限制、警告或指示信息的道路設施,其可以反映道路環境以及行車環境等信息并且交通標志識別是自動駕駛領域中的關鍵技術之一[1],世界各國對此都十分重視。交通標志的自動識別有助于智能自動駕駛車輛的應用與推廣。如圖1所示,交通標志的主要形狀為圓形、方形、三角形等,主要顏色為紅色、藍色、黃色等。

圖1 中國交通標志的顏色及形狀示意圖

交通標志識別要求快速準確地識別出交通標志的種類,進而輔助自動駕駛車輛或機動車駕駛員及時作出反應。而當前主流的交通標志識別方法主要基于深度學習,但深度學習網絡參數多,運行速度極度依賴硬件條件,因此不能滿足實時識別交通標志的要求。針對上述問題,該文采用傳統機器學習的方法,提取交通標志的物理特征,然后送入分類器進行分類,由于目前的交通標志物理特征主要是顏色和形狀,且RGB圖像易受光照強度影響,所以基于顏色的識別法通常將RGB顏色空間模型轉換為其他的顏色空間模型,如HSV、HSI等。而基于形狀的識別方法主要采用模板匹配交通標志的輪廓形狀,但此方法易受光線、遮擋、破損等因素影響,致使識別精度不穩定。該文主要采用了一種基于雙通道動態像素聚合的交通標志識別算法。該算法將交通標志的形狀特征與顏色特征進行有效融合,并通過神經網絡進行學習訓練,從而實現交通標志識別手段的輕量化。

1 相關工作

已有的交通標志的自動識別方法主要有基于傳統機器學習和基于深度學習兩種。模板匹配方法是在一幅大圖像中搜尋一個與模板最佳匹配的小圖像,此方法可以在有限數量樣本下準確識別新的物體。馮春貴等人提出了改進模板匹配算法,將傳統的模板匹配算法結合邊緣模板匹配對限速標志進行識別,識別率由80.95%提升至95.24%[2]。但是模板匹配算法對被遮擋、損壞等圖像的識別仍然存在缺陷。基于機器學習的交通標志識別首先提取交通標志的物理特性顏色、形狀等特征,然后結合機器學習中的分類器,如支持向量機、極限學習機和感知機等完成具體的識別工作。如張興國等人選擇了對光線要求低、魯棒性強的HSV作為顏色特征提取器[3];Zhang等人將RGB顏色空間特征和HSV顏色空間特征相結合,將提取到的特征送入神經網絡訓練[4]。相比于顏色特征,形狀特征穩定性較強,不易受光線、天氣等因素影響。Vashisht等人使用方向梯度直方圖(Histogram of Oriented Gradient,HOG)提取交通標志形狀特征[5];谷明琴等人提出以圖形重心到邊界的距離作為角度的函數來描述交通標志的形狀特征,算法的實時性較強[6]。采用基于深度學習的交通標志識別算法盡管識別率高,但系統開銷較大[7]。此外Domen等人采用卷積神經網絡(CNN)和掩碼R-CNN自動端到端學習,有效地解決了交通標志檢測中的完整管道問題,并取得97%以上的準確率[8]。

該文主要采用了一種基于雙通道動態像素聚合的交通標志識別算法。算法融合了交通標志的形狀特征和顏色特征,并取得了較好的識別效果。

2 雙通道動態像素聚合法

所采用的雙通道動態像素聚合法統籌考慮交通標志的顏色特征和邊緣特征。基于HSV色彩空間模型提取交通標志的顏色特征,基于改進Canny邊緣檢測算法提取交通標志的邊緣特征,將提取到的兩類特征圖逐像素聚合得到最終的特征矩陣。圖2所示為雙通道動態像素聚合法系統框架。

圖2 系統框架

2.1 顏色特征提取

圖3為RGB(Red Green and Blue)空間顏色模型,RGB空間顏色模型將三原色(紅,綠,藍)按照不同比例疊加產生各種不同顏色,并且與硬件設施相對應,但R,G,B三種顏色分量的取值與所產生的顏色之間聯系并不直觀[9]。如圖4所示,相比于RGB色彩空間模型,HSV(Hue Saturation Value)色彩空間模型更能貼合人的視覺器官對色彩的感知、更直觀表達色彩的特征。色度(H)的范圍為0°～360°,0°為紅色、120°為綠色[10]。人的視覺感知器官所感受到顏色是由白色與某些特定的光譜色混合而成,飽和度(S)描述了色調(H)相對白色的偏移程度,也可稱之為顏色的深度;純度(V)直觀地體現出圖像的明亮程度,如H為0°、V值很大時,圖像整體比較亮;相反,當V值很小時,圖像整體比較暗。可以通過公式(1)～(3)將RGB空間模型轉換為HSV空間模型。

圖3 RGB顏色空間模型

圖4 HSV顏色空間模型

(1)

(2)

V=max(R,G,B)

(3)

式中,H、S、V為HSV色彩空間模型的三個分量,分別代表飽和度、色調、純度,R、G、B代表圖像三個通道。顏色特征提取模型工作流程如算法1所示。

算法1：顏色特征提取算法。

輸入：RGB圖像W×H

輸出：HSV顏色特征圖

1 RGB image to HSV image

4V=max(R,G,B)

5 Separation channel

6 FORiin range(W)

7 FORjin range(H)

8 IF img[i,j] in Red,Green and Blue threshold range

9 img_new.add(img[i,j])

10 ELSE

11 END IF

12 END FOR

13 END FOR

14 RETURN img_new

2.2 形狀特征提取

實際應用中的交通標志圖片存在很多的噪聲干擾,這種干擾很大程度上影響了交通標志識別算法的精確度。Canny邊緣檢測算法抗干擾性強,能夠檢測出弱邊緣。為了降低噪聲干擾、平滑圖像,Canny邊緣檢測算法利用高斯濾波卷積核與待處理圖像進行卷積運算。高斯濾波卷積核的構造方式如公式(4)和公式(5)所示。

(4)

P(x,y)=G(x,y)?f(x,y)

(5)

式中,?表示卷積運算,P(x,y)表示經過平滑處理的圖像,f(x,y)表示輸入圖像待處理區域,σf表示高斯濾波函數的標準差。

圖像在計算機中的存儲形式是矩陣,每個像素對應矩陣的一個元素,在空間中,每個點可以確定無限多個方向,而梯度反映的是目標函數在這個點變化率的數量級;因此梯度變化可以反映出圖像邊緣變化。通過高斯卷積操作可以得到圖像的梯度方向和梯度模,圖像在x軸和y軸的梯度方向如公式(6)和公式(7)所示。

(6)

(7)

式中,Px[i,j]表示圖像在x軸的梯度方向,Py[i,j]表示圖像在y軸的梯度方向;I(i,j)表示高斯濾波卷積核處理后的圖像區域。進而可以得到梯度方向M[i,j]和梯度模θ[i,j],如公式(8)、公式(9)所示。

(8)

(9)

Canny算法每次都會選取梯度變化最大的區域,在一個梯度方向會有若干梯度模,Canny邊緣檢測算法引入了非極大值抑制(Non-Maximum Suppression,NMS)方法,將當前像素點的梯度模與相鄰像素點的梯度模進行比較,保留梯度模最大的像素點為待確定邊緣像素點[11]。Canny邊緣點選取策略見表1。

表1 Canny邊緣檢測算法邊緣點選取策略

傳統的Canny邊緣檢測算法人工設置高低雙閾值TH和TL,若當前像素點的梯度模M[i,j]>TH,則將此像素點標記為邊緣像素點;若當前像素點的梯度模M[i,j]

(10)

算法2：形狀特征提取算法。

輸入：灰度圖像 imgW×H

輸出：高低雙閾值

1 Initial thresholdT

2 FORiin range(W)

3 FORjin range(H)

4 IFM[i,j]>T

5M[i,j] isC1category

6 ELSE

7M[i,j] isC2category

8 END IF

9 END FOR

10 END FOR

11 THEN calculate the variance betweenC1andC2

12 If variance is the lagest

13 Calculate high and low thresholds

14 ELSE

15 UpdateT

16 Return 2

17 RETURN THTL

2.3 交通標志分類器

該文采用BP(Back-Propagation)算法網絡作為交通標志分類器,BP算法是誤差反向傳播的前饋神經網絡(Feedforward Neural Network,FNN)。實驗采用的圖像統一為64×64像素,為了提高算法的運行效率,采用矩陣運算,因此輸入節點設置為4 097個,在同時滿足精度和速度的情況下,經實驗驗證,設置隱藏層節點65個,最終輸出節點為3個。因訓練數據集有21 131張圖片,所以輸入BP神經網絡的矩陣大小為21 131×4 097,BP神經網絡的輸出為3×21 131。

3 實驗設計及分析

3.1 實驗環境及參數設置

采用的實驗環境如下：windows 10中文版、英特corei7-8700k、python3.6、pycharm2021.3.3,內存為16G。BP神經網絡的迭代次數是影響準確率的一個重要參數。如圖5(a)所示,隨著迭代次數的增加,損失函數值顯著減小,但此時準確率卻沒有穩步上升,其中的一種可能是迭代次數過多導致算法過擬合。因此,調整函數迭代次數,最終找到的最佳迭代次數為560,如圖5(b)所示,此時識別準確率為95.34%,平均識別時間為1.32 ms。

(a)

3.2 數據集及預處理

該文使用基于CCTSDB(CSUST Chinese Traffic Sign Detection Benchmark)提取的21 131張圖片作為訓練集,558張圖片作為測試集。實驗理想的數據應當是待分類目標占據圖片大部分區域并且特征明顯、清晰。CCTSDB數據集中多數圖像交通標志所占區域很小,因此需要裁剪多余部分,裁剪效果如圖6(b)所示。為了使各項指標處于同一量級,該文采用雙立方插值法歸一化圖像大小,經過歸一化處理的圖像大小為64×64,如圖6(c)所示。

由于數據集中存在大量暗光條件下的圖像,為了保證算法的魯棒性,采用限制對比度自適應直方圖均衡法進行圖像增強。圖像增強效果如圖7所示。圖7(a)所示圖片像素主要分布在1～100之間,圖片整體偏暗;圖7(b)所示像素主要分布在0～200之間,為限制對比度自適應直方圖均衡法增強后的圖片。通過圖片預處理環節對數據集各方面歸一化處理,使得特征提取器有著良好的“視野”和“感受空間”。

(a)暗光環境圖像像素分布直方圖

輸入圖像的大小是影響準確率的另一大因素,因此,該文對比了32×32、48×48、64×64三種不同像素的圖像識別準確率,結果如表2所示。采用64×64像素大小的圖像作為輸入圖像的原因是從CCTSDB中裁剪出來的交通標志有相當一部分像素小于30×30或大于48×48像素,此時如果將圖像重新設置為更大或更小尺寸,會增加圖像的噪點和圖像失真導致識別精度下降。如表3所示,HSV顏色空間模型和Canny邊緣檢測的分類準確率小于該文采用的雙通道動態像素聚合法。

表2 不同分辨率圖像實驗結果對比

表3 消融實驗對比

3.3 評價指標

采取準確率與時間作為評價指標,其中準確率為模型在測試集上推理正確的概率,其結果如表3第三行所示,文中算法總體識別準確率為95.34%,其中每一類別的識別準確率如表4第二列和第三列所示。交通標志識別的應用場景為自動駕駛而車輛上的設備算力有限,交通標志識別任務需要滿足準確率高、耗時短的要求,因此,采用準確率與時間為評價指標。在模型訓練完成后執行測試任務,將測試集中的558張圖片輸入網絡,網絡使用訓練完成的權重推理圖像特征,最終輸出圖像屬于哪一類別交通標識,計算整個過程所耗費的平均時間。

表4 不同網絡實驗結果對比

3.4 結果分析

表4為所提方法與現存交通標志識別算法在精度與時間上的對比。如表4所示,Zhang J等[12]提出了使用改進YoloV2檢測識別交通標志,并且發布了數據集CCTSDB,文中所提算法在準確率以及時間表現均優于Zhang J等人提出的方法。Zhang D W等[13]使用MobileNetV2替換了YoloV3的特征提取網絡并且引入了特征融合機制減少模型參數最終總體準確率達到了96.20%,雖然Zhang D W等所提方法總體識別準確率優于文中算法,但在推理時間方面,文中算法明顯更短。Ding等人[14]提出了無錨點的交通標志檢測識別方法,并且在模型中引入了卷積注意力機制將前景與背景區分開來,減少復雜背景信息的干擾。Zhang等人[15]通過改進YoloV4特征金字塔架構,使特征層關注更多的語義信息,并且添加了注意力機制和自適應特征融合模塊,解決了圖像因縮放導致的不清晰問題,最終總體識別率達到92.68%。與文中算法相比,Zhang等人所提方法雖然在Waring類的準確率更高,但平均推理時間更久。表中第四列顯示文中所提算法平均每張圖片識別時間為1.32 ms,滿足實時運算要求,適合部署到移動設備當中。

4 結束語

采用的基于雙通道動態像素聚合的交通標志識別算法能夠有效地提高交通標志的分類準確率,縮短訓練時間和識別時間。算法在準確率方面仍有提升空間。當前主要實現了警告、禁止、指示三類交通標志的分類,尚未考慮三類交通標志細分類的識別,未來將會通過更加高效的方法對交通標志實現精準識別。