交通標志檢測識別與跟蹤技術研究

陳陽

（四川大學計算機學院，成都610065）

0 引言

近幾年，隨著科技的發展，無人車吸引了越來越多汽車制造商的目光。而高級輔助駕駛系統（Advanced Driver Assistant System，ADAS）[1]逐漸成為國內外學者的研究重點，其中交通標志檢測與識別系統（Traffic Sign Detection and Recognition，TSDR）是ADAS 的重要組成部分[2]。但由于交通標志種類繁多，各個國家的標志略有不同，加上道路環境復雜，以及自然因素的干擾，大多數的研究仍處于實驗階段，并沒有廣泛地運用。如何快速、準確地檢測和識別，并能持續地跟蹤交通標志是本文研究的重點。

1 理論基礎

縱觀交通標志的檢測識別和跟蹤算法的發展可以發現，其過程通常分為檢測、識別和跟蹤三個部分。

由于交通標志通常具有特定的顏色，因此有人提出基于顏色特征的交通標志檢測算法，如Akatsuka 等人[3]提出的基于RGB 顏色空間和匹配模板的檢測算法，Madani A 等人[4]提出的基于HSV 顏色空間的分割算法；由于顏色特征極易受到光照、褪色等因素影響，于是Onat E 等人[5]提出了一種基于邊緣的、雙邊的投票算法；近年來，由于深度學習的突破性發展，有人將深度學習用于交通標志的檢測，如Jia L 等人[6]就將Faster R-CNN 用于交通標志檢測。

交通標志識別其本質是個多分類問題，常用的方法有模板匹配算法、傳統機器學習算法和深度學習算法。模板匹配算法需要事先建立好包含各種類別的模板庫，然后在待分類標志上提取某種特征，將其與模板庫中的模板進行比較，計算出一個相似值，相似度最高的模板所屬類別即為該標志的類別，如Gao X W 等人[7]根據交通標志的顏色和形狀建立模板庫。傳統的基于機器學習的方法使用人工設計特征，然后用于訓練分類器，最后再使用分類器判定類別，如W Li 等人[8]提出先提取HOG 特征和LBP 特征，然后使用ELM 分類的算法。國內外也有很多研究人員提出了各種卷積神經網絡用于分類交通標志，如Mao X 等人[9]提出了一個兩級卷積神經網絡用于交通標志分類，狄嵐等人[10]將Squeeze-and-Excitation 與殘差網絡的思想相結合，提出了一個可能性聚類的網絡MRESE。

交通標志跟蹤算法以視頻或者一系列連續圖像作為輸入，目的是持續準確跟蹤其中出現的交通標志，并且能夠與檢測、識別等模塊相互配合，提高檢測和識別準確度。由于交通標志運動模型的特殊性，基于卡爾曼濾波器的跟蹤算法是最為普遍的[11]。而鑒于TLD（Tracking-Learning-Detection）在長期跟蹤中取得了不錯效果，Zheng Z 等人[12]提出了一個基于TLD 算法的跟蹤框架，用于跟蹤已經識別到的交通標志；Lee J H 等人[13]則提出了基于多尺度核函數的跟蹤方法。

2 本文算法

首先對原始對象進行處理，提取出基于RGB 和HSV 顏色空間的融合特征，包括RGB 顏色空間中全局的顏色、亮度信息以及局部像素點的顏色、亮度信息，HSV 顏色空間中單個像素點的色調、飽和度、明度以及對紅、藍、黃顏色的偏向信息，由這兩種顏色空間的顏色特征拼接組成融合信息，根據該特征篩選出包含交通標志和干擾背景的感興趣區域隊列。

其次利用利用多尺度兩階段神經網絡對感興趣區域進行檢測和識別，在第一階段中篩選出包含交通標志的區域，在第二階段中進行交通標志分類。為了提高對不同尺度的交通標志分類的準確性，采用三種不同尺度的同一圖像作為輸入，并且為了降低參數數量和提高效率，用深度可分離卷積代替普通卷積。

最后結合交通標志的運動規律，采用帶有目標中心點預測和尺度自適應的核相關濾波跟蹤算法進行交通標志跟蹤。

2.1 交通標志檢測和識別算法

為了從候選隊列中檢測和識別出交通標志，本文采用一種基于多尺度的兩階段的深度可分離卷積神經網絡。其中多尺度是為了提高對不同尺度的交通標志檢測和識別的準確性，從而將同一圖像的三種不同尺度作為輸入。兩階段是將對交通標志的檢測和識別分開，采用由粗到精的過程，第一階段進行粗分類得到檢測的結果；第二階段對第一階段的結果進行精確分類。深度分離卷積神經網絡相對于普通卷積神經網絡具有更少的參數數量，從而提高檢測和識別的效率。

（1）卷積神經網絡結構

本文卷積神經網絡結構總共包括三個不同尺度的輸入、兩個輸出和六個不同的子模塊組成，如圖1所示。

（2）子模塊結構設計

通過借鑒MobileNet V3 的結構設計，將深度可分離卷積、殘差結構和特征強化組成Bottleneck 結構，結構如圖2 所示。通過借鑒經典神經網絡模型，使用Bottleneck 建立六個子模塊的結構。

圖1 卷積神經網絡結構

在Bottleneck 結構中采用ReLU6 和h-swish 作為激活函數，ReLu6 和h-swish 的定義如公式（1）和公式（2）所示。

在大量的實驗基礎上，根據實驗結果選擇各個子模塊中Bottleneck 的激活函數，以及是否選擇shortcut和SE 模塊，最終得到各個子模塊的詳細結構如表1所示。

表1 Module1

圖2 Bottleneck結構

表2 Module2

表3 Module3

表4 Module4

表5 Module5

表6 Module6

表中，Operator 代表層的處理方式，Bneck 代表Bottleneck，Conv2d 表示普通的卷積操作，Conv2d-BN 表示加入批處理層（Batch Normalization，BN）的普通卷積操作，SE 表示該層是否使用Squeeze-and-Excitation。

2.2 交通標志跟蹤算法

在原始基于核相關濾波（Kernel Correlation Filter，KCF）的跟蹤算法上進行改進，采用中心點預測和尺度自適應的方式進行持續跟蹤。根據相機模型的成員原理，通過前兩幀中心點的位置預測下一幀的中心點位置，如圖3 所示。

圖3 相機成像原理

假設P1、P2、P3表示不同位置的同一物體，d1、d2、d3表示物體與攝像機的距離，P1'、P2'、P3' 表示該物體在不同位置時，在攝像機中成像平面上形成的圖像，f 表示攝像機的焦距。根據相似三角形原理，計算下一幀的終點為大致為位置為：

式中：P 表示物體長度。

由于幀間間隔時間極短，可認為車輛在相鄰兩幀之間的位移相等，即d2、d1和d3、d2之間的差相等。以此為據，在已知前兩幀中物體中心點位置之后，可以利用中點距離差值預測下一幀中物體中心點的大致位置。

根據類似的原理，將一維場景擴展至二維場景，提出適合車載視頻場景中交通標志跟蹤的尺度因子變化公式：

其中α 為初始化尺度因子，areai-1、areai-2分別為前兩幀中的目標框大小。

在跟蹤過程中，目標和背景都可能發生變化，所以需要對模型進行在線更新，根據響應圖峰值旁瓣比（Peak to Sidelobe Ratio，PSR）更新模型。

3 實驗

3.1 數據集

在數據集TT100K 和GTSDB 兩個公開數據集上進行檢測和識別性能評估。TT100K 數據集由Train 和Test 兩個部分組成，其中訓練集包含6107 張圖片，測試集包含3073 張圖片。由于TT100K 中各類樣本數量和交通比較標志出現的頻率不一樣，為了避免由于樣本數量的不均衡導致神經網絡訓練模型的準確率下降，從而剔除了部分數量過少的類別，最終保留了50種不同類型的常見交通標志。

在ApolloScape 數據集上進行跟蹤性能評估。本文主要運用ApolloScape 數據集中的Scene Parsing 部分。利用該部分制作了100 個長短不一的視頻序列用于實驗，其中包含了多種類別的圓形、矩形和三角形交通標志。

3.2 評價指標

使用準確率Precision、召回率Recall 以及調和均值F1 三種評價指標對檢測和識別性能評估實驗進行分析。其中Precision 表示被正確檢測出來的交通標志的數量占整體交通標志數量的百分比，它的值越高表明算法誤檢率越低；Recall 表示被正確檢測出來的交通標志的數量占被檢測為交通標志的數量的百分比，它的值越高表明算法的漏檢率越低；而調和均值F1 能夠同時兼顧準確率和召回率，更好地衡量一個模型的分類性能。調和均值F1 的計算方法如公式（5）所示。

在跟蹤實驗中，使用跟蹤精度（Precision）和跟蹤成功率（Success Rate）來評價跟蹤效果。跟蹤精度是在跟蹤過程中算法產生的中心距離誤差（Center Location Error，CLE）小于設定的閾值的視頻幀的數量與整個視頻序列的幀數量的比值。中心距離誤差的大小通過計算算法產生的估計目標中心點與人工標注的目標中心點的歐氏距離得到，其計算公式為：

式中：( xc,yc)表示跟蹤算法估計目標中點坐標；( xgt,ygt)表示人工標注目標中點坐標。

3.3 實驗和結果分析

實驗采用TensorFlow 作為深度學習框架，在一臺CPU 為Intel Core i7、GPU 為NVIDIA GTX1080、內存大小為64G 的計算機上運行。

（1）檢測性能對比實驗

本文選取了HOG、LBP、Haar-like 及其對應二分類器和由標準卷積實現的神經網絡進行對比實驗。測試數據集中包括7920 張圖片，對比實驗結果如表7所示。

表7 交通標志檢測對比實驗

從表7 的實驗結果來看，基于深度學習的算法性能高于傳統的機器學習算法，在傳統機器學習算法中使用HOG+LBP 特征融合和SVM 的算法取得效果最好，在深度學習算法中由標準卷積實現的神經網絡在三項指標上均取得了最高值，而本文的神經網絡模型在三項指標上僅次于標準卷積實現的神經網絡。

（2）識別性能對比實驗

為了驗證本文算法對交通標志分類的性能，選取了其他幾種卷積神經網絡模型進行對比，其中文獻[14]中提出的模型同樣為多尺度網絡模型。原始VGG16模型輸入圖像尺度為224×224，實驗中將其調整為64×64，并將最后一層分類的類別數量改為51，其余設置保持不變，得到最終的對比結果如表8 所示。

表8 交通標志識別對比實驗結果

從表8 可以看出，結構更復雜的神經網絡模型能取得更好的效果，僅由卷積、池化層堆積的單尺度網絡VGG16 分類性能靠后，文獻[14]中提出的多尺度特征網絡取得了較好的結果，而本文神經網絡模型的平均準確率為99.32%，平均召回率為99.18%，與文獻[14]相比都有了一定的提高。

（3）跟蹤性能對比實驗

利用ApolloScape 數據集中的視頻序列，分析KCF算法、DSST 算法、fDSST 算法、CSR-DCF 算法、staple 算法和本文算法的總體跟蹤精度和跟蹤成功率，實驗結果如圖4（a）、（b）所示。

圖4 中，Method1 為本文提出的改進KCF 目標跟蹤算法。從圖4（a）、（b）中可以看出，在所有對比算法中，本文算法在跟蹤精度和跟蹤成功率上均排名第一。DSST 算法、fDSST 算法、CSR-DCF 算法和Staple算法的跟蹤精度和跟蹤成功率相近，沒有尺度變換的KCF 算法則在兩個評價指標中都排名靠后。

4 結語

本文主要針對當前交通標志的檢測識別和跟蹤算進行研究，分析當前存在的問題，提出了一種用于交通標志檢測和識別的多尺度的兩階段卷積神經網絡，以及改進的KCF 目標跟蹤算法。

多尺度的兩階段卷積神經網絡體現了由粗到精的分類思想，而使用三種典型尺度作為輸入，能夠有效提高對不同尺度輸入的交通標志的分類準確性，利用深度可分離卷積、殘差結構和強化特征構成的Bottleneck來實現網絡，在保證精度的同時，降低了參數數量，提高了算法效率，最后結合改進的KCF 目標跟蹤算法，通過實驗驗證了其進行目標跟蹤的有效性。

圖4 各算法跟蹤精度和跟蹤成功率曲線