面向多尺度交通標志的快速識別算法?

姚兆驍 鄭堯成 陳 洋

（上海工程技術大學 上海 201620）

1 引言

交通標志本質是提供有用信息的視覺語言［1］。在智能交通系統（ITS）中，交通標志識別是先進駕駛員輔助系統（ADAS）的重要組成部分，它提供駕駛員警告和指導信息，它是無人駕駛車輛中最重要的領域之一，保持車輛的有序和安全。交通標志識別系統分為交通標志檢測和交通標志識別。檢測階段是定位興趣區域，分類階段是識別候選者或拒絕候選者。

檢測階段，傳統的檢測方法包括顏色分割、形狀匹配。這些方法簡單直接，但對光照、遮擋等因素較為敏感。相比較單一地使用交通標志較為淺層次的顏色或形狀特性，也有不少學者將兩種方法進行結合［2］。但這些傳統結合的檢測方法極其耗時且不變性差，同樣無法滿足本文研究對象檢測相關指標。

目前，最常用的方法是利用機器學習進行檢測。尤其，具有優秀的自適應學習能力卷積神經網絡在交通標志檢測領域大顯身手［3～4］，并解決了人工定義特征的缺陷［5］。2014年，Girshic等最早將R-CNN（regions with CNN）引入目標檢測領域算法，從而實現目標檢測的端對端訓練，提升了速度和精度。FPN算法［6］引入特征金字塔，為多尺度檢測帶來福音。YOLO系列算法［7～9］進一步簡化檢測問題。SSD算法［10］實時性表現優秀，但因其高分辨率特征有損，仍不能夠滿足交通標志多尺度檢測要求。

分類識別階段，傳統方法包括手工制作的功能和常規分類器。通常，設計合適的手工制作功能具有挑戰性且耗時。研究表明，CNN提取的特征更加穩健，這在德國交通標志識別基準（GTSRB）［11］上得以證明。Jin J［12］等以整體方式提出了一個三階段CNN模型。Cire?an D［13］等通過平均幾個深CNN模型的輸出來呈現MCDNN。Zeng Y［14～15］等使用CNN提取深層特征和ELM進行分類。Razavian A S［16］等使用CNN模型提取的特征，并通過線性SVM在許多數據集上實現了良好的性能。以上所有這些都表明CNN比傳統方法表現更好。

然而復雜自然環境中多尺度的檢測以及快速準確的識別依然是交通標識避不開的技術難題。因此，本文提出一種多尺度交通標志檢測和快速識別的改進方法。首先，提出了一種基于多通道融合的原圖預處理方式；然后，研究了一種注意力機制與多尺度特征相結合的交通標志檢測算法；最后，構建了一個多輔支卷積神經網絡，如圖1所示。

圖1 交通標志識別流程整體框架圖

2 多通道融合輸入

多通道融合是在傳統意義圖像通道上的一種衍生，進一步挖掘像素值信息與原始邊緣信息，從而大大減少了在復雜環境中錯檢現象。

1）第一個通道：YUV顏色空間變換后的128×64Y通道圖像。

2）第二通道：YUV空間的三個通道64×32圖像串聯，并且空白處填零（64×32的全0矩陣組成）獲得。

3）第三個通道：YUV三個通道經過Sobel邊緣檢測器計算水平和垂直邊緣的大小形成的邊緣圖為前三個block，前三個邊緣圖中最大值為第四個block，四個大小相等的block組成第三個通道。多通道融合，如圖2所示。

圖2 多通道融合

3 本文檢測算法的總體結構

為解決多尺度，尤其是小尺度交通標志的錯檢、漏檢問題，本文在Faster RCNN算法的基礎上提出一種改進算法。本論文引入特征金字塔（FPN）算法，使RPN獲得自己相應的多個尺度特征并生成目標候選區域，從而獲得目標的多尺度特征；同時為提升目標特征的判別能力，論文引入候選區域注意力模塊，通過分析注意力模塊中目標鄰域特征提取上下文信息，最后交給分類器進行交通標志的檢測的就不僅有多尺度特征，兼有上下文信息。其總體結構如圖3所示。

圖3 本文檢測算法的總體結構

3.1 多尺度提取

3.1.1 特征金字塔FPN（Feature Pyramid Network）

特征金字塔網絡分為自下而上路徑，前饋計算，逐層增加特征尺度并逐漸分配強語義，直到達特征金字塔的底部，該路徑特征映射目標定位能力強，但語義信息有限。論文中計算步長為2，卷積層5層，并提取得到各自特征圖，特征圖與輸入圖像的尺度比例分別為｛4，8，16，32，64｝。自上向下的路徑作用為提高分辨率、豐富語義信息，該路徑特征映射目標定位能力有限但其具有豐富的語義信息。橫向連接主要起橋梁連接作用，合并自下而上路徑與自上向下的路徑中空間尺度等同的特征映射，從而增強特征表現力。最終融合后的特征圖為｛P2，P3，P4，P5，P6｝，其空間分辨率對應之前的｛C2，C3，C4，C5，C6｝。

3.1.2 基于FPN的RPN網絡

常規的RPN由于落后的特征圖感受野，無法滿足實際環境中多尺度目標檢測。為此，論文提出一個基于FPN的RPN網絡。該網絡中，金字塔每層的特征圖上都分別增設一個RPN網絡，這樣RPN的輸入不單單只來自于conv4卷積層，每層的RPN輸入分別來自于對應卷積層處理得到特征圖。不同層的RPN將生成不同尺度的錨框，擴大感受野，覆蓋更多檢測目標。通過IOU（intersec?tion-over-Union）與設定的閾值Th比較，分出正負樣本。錨框由大到小進行排序后，非極大抑制運算篩選出一定數量的候選目標。

3.1.3 RoIAlign

常見的RoIPool算法操作會使特征圖與真實圖存在一定單位的像素差。對于大尺寸交通標志而言可能實際影響較小，但是對于一些小尺寸交通標志，其造成的影響是很大的。論文采用一種改進的候選RoI池化算法：RoIAlign，其主要思想就是取消了RoIPool中所采用的量化操作，從而避免RoIPool中量化帶來的損失誤差。

3.2 注意力模塊

針對交通標志檢測時，建筑、樹枝等復雜背景的遮擋，都會造成很大程度的錯檢、漏檢現象，論文引入了注意力模塊。注意力模塊本質上是引進一種空間位置軟注意力機制，該機制中的上下文信息可以用于判斷目標在圖像中是否出現，并且從復雜背景中區分出交通標志。目標和背景區域的卷積特征，經過RoIAlign池化操作后，獲得最終的融合上下文信息的多尺度特征。

4 多輔支卷積神經網絡

卷積神經網絡的全連接層后面通常接的是softmax分類器，softmax分類器是多類線性分類器。所以卷積神經網絡（CNN）可以將原始的圖像空間轉移到線性可分離空間。同時，我們發現有些交通標志利用CNN提取低層特征就可以被分離出去，而并不用遍歷整個卷積神經網絡一直到最后才被分離出來。圖4顯示了CNN模型中從不同層提取的特征的分布。我們很容易發現矩形角形和三角形標志在前一層被隔離，而速度限制標志在后一層被隔離。符合認知，很容易識別形狀（矩形，圓形和三角形），而識別限速標志較為困難。

根據這個發現，我們構建了一個多輔支卷積神經網絡，該網絡使部分交通標志在較淺層即被分離出來，在保持精度情況下，大大加快了交通標志的識別速度，如圖5所示。

圖4 CNN不同層特征提取分布圖

圖5 多輔支卷積神經網絡結構圖

4.1 訓練softmax分類器

在卷積神經網絡中通過端到端方式訓練soft?max分類器，在此不做過多贅述。

4.2 優化多輔支卷積神經網絡

實驗告訴我們提高識別速度并不是簡簡單單在卷積神經網絡的每一層添加輔支。比如，一個很難識別的樣本，需要到很深的層才能識別，如果每一層都添加輔支，那么這個樣本通過前面每一層的輔支將消耗大量時間，這違背我們構建這個快速識別網絡的本意。所以，這要求我們尋求最佳輔支組合策略：

Ci（i=0，1，2，…，n，n+1）表示第i層所添加的輔支。如果Ci=1，則意味著Li層添加輔支，如果Ci=0，則意味著Li層不添加輔支；ti（i=0，1，2，…，n，n+1）表示一個樣本通過Ci輔支平均消耗時間；Si（i=0，1，2，…，n，n+1）表示樣本集通過Ci輔支被分離出來所消耗時間；|S|表示樣本集S中元素的數量。

這是一個組合優化問題，我們很容易通過遺傳算法優化該問題。

5 訓練共享卷積神經網絡與數據集

5.1 共享卷積神經網絡策略

為簡化網絡，論文采用交替訓練方式，共享ResNet卷積特征提取網絡，分兩個階段迭代。

首先，直接選用預訓練模型參數來初始化兩個網絡中卷積層的參數，其次，訓練候選區域生成網絡時，共享卷積層參數由候選區域分類網絡中卷積層的參數來初始化，并微調不共享的卷積層以及其他層參數。訓練候選區域分類網絡時，固定共享卷積層參數，非共享卷積層的相應參數做微調，至網絡收斂時，網絡訓練結束。

5.2 損失函數設置

論文實現了交通標志檢測與識別的端到端訓練，所以總損失包含兩部分：檢測階段的損失Lp，識別階段的損失Lc。

第i個錨框預測為目標的概率值為pi，則為真值，預測邊界框的坐標用gi表示，則為坐標真值。計算Lreg時僅考慮正樣本的邊界框坐標。Lc為各輔支累計損失之和的最小值。最終網絡模型參數通過最小化損失函數來優化，并實現其效果。

5.3 數據集訓練

本文實驗的數據集來源于兩個公開數據集：德國交通標志檢測數據集（GTSDB）和德國交通標志識別數據集（GTSRB）。GTSDB數據集包含了900幅圖像，其中600幅用來訓練，300幅用來測試。數據集中不同種類的交通標志樣本數量不等，論文采用平移、旋轉以及灰度變換等數據增廣方法擴展數據集為3848張，3078張圖像建立訓練集，其余圖像建立測試集。從而減輕訓練模型的過擬合。GTSRB數據集總共包含51839張不同種類的交通標志圖片，它包括43類不同種類的交通標志，并且都是在自然采集條件下獲取的交通標志圖片，其26640張圖片用來訓練，其余圖像建立測試集。

6 實驗與分析

本文算法在深度學習框架Caffe下利用Python語言實現，操作系統為Linux Ubuntu 16.04，實驗硬件平臺為Intel Xeon E5-1630 v3@3.7GHz四核處理器，Nvidia GTX 1080Ti 11GB GPU顯卡，16GB內存。算法在兩個數據集上測試的平均速度為4f/s。

6.1 檢測階段的實驗結果與分析

檢測階段，主要任務是準確、高效提取目標候選域。目前，主流的提取目標候選區域的方法有Faster R-CNN，YOLOV2，YOLOV3，SSD，R-FCN等。上述主流方法對于大尺度目標有較好的檢測效果，然而對于小尺度目標的檢測效果并不理想。現實交通標志檢測過程中，因拍攝距離的遠近等因素導致尺度大小不一，所以交通標志在圖像中所占據的比例大小也不盡相同。因此，根據交通標志在圖像中所占據像素大小劃分為三個區間：小型交通標志（0<面積<48像素×48像素），中型交通標志（48像素×48像素<面積<128像素×128像素），大型交通標志（面積>128像素×128像素）。在三個區間尺度下，本文方法與四種主流算法做了三組實驗，圖6為實驗結果，圖7和圖8為不同場景下五種算法的檢測效果對比圖。

圖6 本文方法與四種主流算法對多尺度交通標志檢測的PR曲線

6.2 識別階段的實驗結果與分析

基于GTSRB數據集，我們選擇AdaBoost算法、ZFNet卷積神經網絡和VGG-16卷積神經網絡三種經典識別算法與本文算法進行實驗對比，從而驗證本文所提出的識別算法是否具有高效性。我們做了兩組實驗，分別測試了四種不同算法對于四類交通標志的分類效果和實時性，實驗結果如表1，表2所示。

圖7 五種算法在場景一的檢測效果對比圖

圖8 五種算法在場景二的檢測效果對比圖

表1 四種算法中四種交通標志的分類準確率

表2 四種算法中四種交通標志的識別時間（ms/幀）

表中實驗數據顯示，在準確率方面，四種算法中，本文算法是最高的。這是因為我們增加了多通道融合的預處理過程，同時也離不開檢查階段優秀的目標候選區域提取。

表中實驗數據表明，在從實時性來說，本文的算法相比其它三種算法也是最快的，可以達到平均90ms/幀。這是因為識別階段的多輔支網絡結構的快速識別性能以及共享卷積網絡使得整個網絡的參數大大減少。

7 結語

本文首先采用多通道融合預處理方法。同時，提出了一種注意力機制與多尺度特征相結合的交通標志檢測算法，該方法顯著提高了對多尺度，尤其小尺寸的交通標志檢測效果。最后，構建了一個多輔支卷積神經網絡，在保持精度情況下大大提升了識別速度。通過在GTSDB和GTSRB數據集上訓練測試，表明了本文算法對交通標志的尺度、形態變化以及復雜場景等影響因素具有良好的魯棒性，可以更好地滿足交通標識的實際需求。如何在提高多尺度交通標識召回率的情況下，進一步提高檢測準確性和識別速度將作為下一步的研究內容。