復雜環境下的交通標志檢測與識別方法綜述

陳 飛，劉云鵬，李思遠

浙江萬里學院，浙江 寧波315100

2020年新冠疫情全球蔓延，武漢多地醫院使用無人車進行應急物資配送，無人駕駛再次進入了公眾視線。交通標志的準確識別是無人駕駛安全行駛的首要前提，然而在檢測與識別過程中會遇到諸多影響，導致標識在檢測與識別時出現準確率不穩定且處理時間過長的問題，這對無人駕駛的普及是一個巨大的阻礙。因此，解決復雜環境下交通標志檢測與識別的魯棒性與實時性問題顯得急為迫切與重要。

交通標志檢測需要在現實場景中進行實時檢測，環境多變是其特點之一，進而檢測速度和精度往往會受到較大影響。在檢測過程中面臨的困難主要有：光照條件難以控制，不同天氣、季節和背景下的亮度均不同，曝光、反光以及昏暗情況差異較大；褪色、損壞以及部分遮擋等情況時有發生。一方面交通標志牌常年暴露在外，使得部分標志牌表面出現了褪色不清晰、損壞等現象。另一方面，霧和雪等惡劣天氣往往會遮擋標志牌信息，同時標志牌也容易被旁邊的樹木葉子所遮擋。車輛運動過程的抖動起伏，特別是路面出現坑洼不平等情況時，拍攝的圖像出現模糊偽影、重影。以上問題，在影響較小時，通過一定的預處理和對應點處理方法可以得到較好的結果，但在情況嚴重時則無法得到想要的結果。

本文主要研究惡劣天氣與復雜光線情況。在雨霧等惡劣天氣和強光、昏暗等復雜光線的環境下，室外采集的圖像普遍存在圖像模糊、光照不足等問題。在檢測時會出現漏檢和定位不準確的情況，無法滿足現實需求。因此需要預處理采集到的圖像，以滿足后期使用。在此環境下對拍攝到的圖像進行預處理異于其他場景：交通標志通常處于戶外且無任何遮擋物進行保護，常年受風雨的侵蝕，使得其顏色、形狀以及內容會受到一定的損傷。同時，在霧霾等天氣下，整個標志牌都會被遮擋。在不同光線下，標志牌會出現反光和過暗等情況。交通標志識別作為無人車的應用之一，在路面行駛時發揮著重要作用。交通標志識別需要達到的基本要求是在高速運動過程中滿足實時性識別和較高的準確度。交通標志檢測時，往往車與標志的距離較遠，進而拍攝到的圖像中標志的占比較小，更加易受復雜環境的影響。復雜環境下的交通標志檢測與識別技術將應用在未來的無人駕駛上，無人車上路的前提是安全第一。這一初衷是與其他圖像處理應用不同的。綜上所述，復雜環境下交通標志檢測與識別時所使用的圖像處理方法，在其處理時間、場景、難度以及清晰度等方面的要求更高，關系到未來的無人車上路安全的問題，不能出現任何狀況。

交通標志檢測與識別依賴于所拍攝的圖像。無論是傳統依靠顏色和形狀的檢測方法還是基于深度學習的方法，圖像的清晰度直接影響標志的檢測速度與準確率。如果前期圖像處理效果較差，使得圖像在后期識別時容易出現漏檢或錯檢，進而導致識別出錯。同時，從圖像處理到標志檢測再到標志識別整個過程對時效性有較高的要求，不單單是檢測、識別，更是在最短的時間內高準確率的檢測、識別。因此復雜環境下圖像處理對后期識別有較大的影響。對于目標檢測來說，好的數據集可以使實驗更加準確，更能應用到現實生活中，于是數據集的來源要求要更高。復雜環境下交通標志數據集通常通過三種途徑獲得：實地實況下進行拍攝；網絡爬蟲技術爬取相關數據；通過現有的數據集進行增霧、增雨等操作。

許多學者對交通標志的檢測與識別進行了歸類綜述。Wali[1]著重描述了在自動交通標志檢測與識別（Automatic Traffic Sign Detection and Recognition，ATSDR）領域面臨的挑戰以及未來發展趨勢，對其方法概述較少。Gudigar等[2]對ATSDR系統的三個主要步驟進行了的回顧，其著重點是圖像采集系統的不同實驗設置。Saadna等[3]、伍曉暉等[4]、董曉華等[5]以及Luo等[6]也只是僅僅綜述了交通標志檢測與識別的有效方法和技術難點。以上研究綜述均未考慮惡劣天氣和復雜光線時的處理方法與步驟，這正是本文的新穎之處。

1 交通標志檢測與識別方法

交通標志檢測是將車載相機中采集到的交通標志經過圖像預處理，初步定位標志所在位置，為識別提供目標區域。因此，交通標志的檢測結果直接影響到下一步交通標志識別。交通標志識別最關鍵的技術是對檢測到的交通標志進行判別，以便確定交通標志屬于哪一種具體的交通標志。以下總結了交通標志檢測與識別的方法。

1.1 交通標志檢測

交通標志有固定顏色（紅、藍、黃）和特定形狀（三角形、圓形、矩形、多邊形），這些特性使其與其他物體有所區分。因此，一些學者從顏色、形狀和混合特征三個角度進行了交通標志的檢測研究。

基于顏色特征的檢測方法因交通標志通常以鮮亮可見的顏色進行染色，很好地和周圍環境進行了區分。具體檢測方法是將拍攝的圖像劃分為若干相似顏色屬性的子集，然后通過處理顏色閾值進行分割，進而提取交通標志。其中基于色彩空間的方法有：基于紅、綠、藍（Red，Green，Blue，RGB）的顏色空間；基于色調、飽和度和值（Hue，Saturation，Value，HSV）的顏色空間；基于色相、飽和度和強度（Hue，Saturation，Intensity，HSI）的色彩空間和其他顏色空間。但是，基于顏色特征的檢測方法很容易受天氣和光照的影響。

基于交通標志形狀檢測的方法是先找到其輪廓，然后根據輪廓數量進行決策。最常見的形狀檢測方式是Zaklouta等[7]提出的在給定圖像中隔離特定形狀特征的霍夫變換方法（Hough）。其他基于形狀的檢測方式還有：相似性檢測，即計算分割區域與每個標準形狀的二值圖像樣本集間的相似因子進行檢測；距離變換匹配，是給每個非邊緣像素分配一個值來形成圖像的距離變換，取離最近邊緣像素距離最短的點；邊緣檢測特征和類Haar特征是兩種無色交通標志檢測方法，邊緣檢測是指在圖像中識別和定位尖銳不連續的過程，類Haar特征的檢測方法是基于Haar小波原理來進行識別。基于形狀的檢測方法存在一個最大的問題是當標志被部分遮擋后，該類方法就會失效。為了有效彌補上述兩種方法的不足，有學者對顏色和形狀兩種特征進行了融合。融合后，無論是先基于顏色特征還是先基于形狀特征，都體現出比單一特征較好的優勢。

隨著深度學習的發展，不少學者對基于卷積神經網絡的交通標志檢測與識別的方法展開了研究。深度學習模型無需人工設計就可以自動提取特征，避免了人工設計特征的局限性。卷積神經網絡具有代表性的層次特征，與上述傳統方法形成了鮮明對比。深度學習方法分為基于候選區域的兩階段法和基于回歸方式的單階段法。本節總結了常見的交通標志檢測方法，見表1。

表1 交通標志檢測方法與優缺點Table 1 Traffic sign detection method and its advantages and disadvantages

1.2 交通標志識別

在圖像中檢測出交通標志后，首先需對其提取標志特征，然后進行分類識別。主要識別方法有模板匹配法、基于機器學習法和基于深度學習法。模板匹配法是圖像處理中常用的匹配方法，也是最基本的模式識別方法，其原理是用定義好的模板在圖像像素點上進行搜索匹配。基于機器學習法主要采用“人工特征提取+機器學習方法”的方式進行識別。基于深度學習法越來越受歡迎，這是因為卷積神經網絡無需設計手工特征就可完成輸入圖像的特征提取與內容識別。各種識別方式及其優缺點見表2。

表2 交通標志識別方法及優缺點Table 2 Traffic sign recognition method and its advantages and disadvantages

2 復雜環境下交通標志檢測與識別

受復雜場景影響，交通標志檢測與識別較正常環境存在一些難點。因此，學術界對如何提高復雜環境下交通標志檢測與識別的精度與速度進行了諸多探究。本文對不同復雜情況下標志檢測與識別的方法展開論述，詳見表3至表5。

表3 霧霾環境下交通標志檢測與識別方法及效率Table 3 Methods and efficiency of traffic sign detection and recognition in haze environment

表5 復雜光線環境下交通標志檢測與識別方法及效率Table 5 Traffic sign detection and recognition methods and efficiency in complex light environment

表4 雨、雪環境下交通標志檢測與識別方法及效率Table 4 Traffic sign detection and recognition methods and efficiency in rain and snow environments

2.1 霧與霧霾環境下交通標志識別

張國山等[37]針對霧霾這一現象，提出了一種霧霾環境下交通標志檢測與識別的方法。該方法首先檢測圖像中是否有霧，如果有霧進行圖像去霧處理，如果沒有則跳過。圖像去霧采用的方法是雙邊濾波，過濾其圖像中的霧霾噪音。然后，通過使用經典的物理模型描述霧霾天對圖像造成的損失程度來恢復原圖，此模型包含衰減模型和環境光照模型兩部分。該方法的思想是從圖像中估計環境的光照和全局大氣光，來達到圖像去霧的目的。在交通標志檢測階段，使用傳統的混合特征進行檢測。先將其圖像的顏色空間改為HSV，然后進行Canny邊緣檢測和計算邊緣形狀角度來完成檢測；在識別階段，采用經典的模板匹配法進行標志識別。但是此方法計算量較大，耗時較長。

(2)系統熱容對加熱時間的影響可由時間常數τ反映，其影響因素主要為系統熱容Ct，系統熱容越小，時間常數越小，加熱時間越少，但不會影響熱水器最后的溫升；進氣流量與進水流量決定熱水器的最終溫升，且進水流量越小，進氣流量越大加熱時間越小；當最終溫升確定后，進水流量越大，時間常數越小，熱水器加熱時間越少。

薛玉利[38]提出一種基于暗原色原理的圖像去霧和具有色彩恢復的多尺度Retinex算法（Multi-Scale Retinex with Color Restoration，MSERS）的交通標志檢測方法。去霧方面是根據霧天圖像的光學模型進行反推，進而恢復原圖。得到恢復圖像后，使用無需選取最優閾值的MSERS檢測交通標志。該方法在薄霧、中霧時表現較好，但在濃霧時，圖像無法得到恢復，進而后續檢測工作無法進行。

盛廣峰[39]對基于暗通道先驗的圖像去霧方法深入了解后，發現其存在諸多不足，于是針對帶霧圖像的景深與非景深邊緣，提出多尺度窗口的自適應暗原色估計圖像去霧算法。同時，作者還針對特殊情況下圖像去霧后出現色彩失真的現象，提出了自適應透射率修復。首先，根據大氣散射模型，定義大氣耗散函數，同時獲得自適應暗原色估計圖估出大氣光值。其次，將其作為未濾波的圖像，含霧的灰色圖作為引導圖，進而通過引導濾波器得到暗原色圖像。最后，將計算結果帶入圖像去霧表達式中，得到清晰圖像。在交通標志識別階段，作者使用了兩種方式：一種是改進的VGG16模型，通過結合遷移學習并加入空間金字塔池化，使改進后的VGG16模型解決了固定大小圖像輸入的問題，提高了識別準確率。另一種方法是剔除了全連接層，改用全局平均池化層，同時引入增強特征提取的Inception卷積模塊、提高網絡收斂速度后的批量歸一化層和Leaky ReLu激活函數，組成了一個專門用于交通標志識別的TSD-CNN網絡，識別準確率得到顯著提高。

陳秀新等[40]提出先去霧后識別的方法，根據霧霾下圖像質量退化過程的先驗信息來進行圖像恢復，使用模型的優化方法和判別式學習法求解。為了使效果達到最優，將CNN網絡學習方式加入到基于半正定分割的模型中去。實驗表明，此方法表現較好。同時，在識別方面，為了彌補常用卷積神經網絡在進行下采樣時容易丟失關鍵信息的問題，作者在其提出的Multi-channel CNN模型的第四通道加入了A-U-Pool（AveragePool-UpSampling-Pool）模塊，進而提高了一定的識別度且泛化性增強。

2.2 雨、雪環境下交通標志識別

王文成等[41]提出一種雨、雪天氣中的道路交通標志識別方法。在圖像去雨方面，首先通過低通濾波處理方法將圖像中雨雪點和雨雪線兩種不同形式分解成粗糙和細節兩部分；之后，將細節部分通過稀疏編碼和字典學習算法分成紋理圖和雨痕圖；最后，根據雨痕形狀特征的先驗信息，通過雨痕長寬比對所述紋理圖和雨痕子圖進行二次判別，以便更精確地將紋理圖從細節圖中分解出來，從而得到清晰圖像。在交通標志檢測方面，根據交通標志特有的顏色、形狀、梯度以及位置建立了多層特征顯著性模型，并采用提升算法（Boosting）進行訓練。同時，采用級聯式卷積神經網絡對標志進行識別。該級聯式卷積神經網絡由兩部分組成：第一部分卷積神經網絡是對輸入的標志進行簡單的粗分類，且將結果傳送到第二部分；第二部分的卷積神經網絡進行細分類，進而達到準確識別的目的。但是此方法計算量較大，并不滿足實時性要求。

康馨勻[42]設計了一種基于圖像修復的雨天交通標志識別方法。該方法使用Hough變換檢測圖像上是否存在雨滴，存在雨滴時就將圖像分成結構圖和紋理圖兩部分，然后根據雨滴區域四周的信息對上述兩部分圖進行修復。修復圖像的原理是利用修復區域附近的信息來填充待修復區域。在檢測方面，提出了一種優化的自適應閾值分割算法進行標志檢測。首先，對圖像中的紅、藍、黃區域進行增強，以提高區域的對比度。然后，統計圖像的灰度概率分布，計算概率密度函數，得到圖像的自適應閾值。根據確定的自適應閾值對圖像進行分割，得到粗濾波圖像。最后，根據標志的形狀特征，對粗濾波后的圖像進行精確檢測。檢測到標志后，通過使用融合了形狀信息的方向梯度直方圖（Histogram of Oriented Gradients，HOG）和紋理信息的Gabor模型進行特征提取，進而使用基于單特征和多特征融合的SVM分類器對交通標志進行識別。同年，董天天等[43]使用一種小波分解再融合技術來達到圖像去雨雪的目的。作者將一幅圖像進行小波分解，將小波高頻系數中絕對值較大的賦予給亮度急劇變化的點。然后對融合后的同樣目標進行取舍，即融合前在圖像X中若比圖像Y中顯著，融合后圖像X中的目標就被保留，圖像Y中的目標就被忽略。最終圖像X、Y的小波變換系數在不同分辨率水平上表現不同，使得融合后的圖像中兩幅圖像的顯著部分均保留了下來。在檢測與識別方面采用了改進后的YOLOv3方法：特征金字塔增強檢測、Kmeans算法進行邊框聚類。最終該方法的平均正確率（Mean Average Precision，MAP）為0.912 3，超過了SSD和Fast R-CNN方法。

2.3 復雜光線環境下交通標志識別

Khan等[44]開發了具有照明預處理的智能交通標志識別系統，提出了暗區域敏感色調映射，將亮度范圍分為多個區域，并對其使用不同的色調映射功能。該方法較好地針對了暗區域的照明，且對明亮的標志圖片影響較小。同時使用YOLOv3優化版后的TS探測器檢測交通標志。TS探測器從訓練數據中預先計算錨箱的大小，并在第一個檢測階段使用五個錨箱，在其余兩個檢測階段使用兩個錨箱。還將圖像調整為更密集的網格，更加適合檢測標志占比較小的圖像。測試結果表明，該方法在KTSD（Korea Traffic Sign Detection）數據集和GTSDB數據集上平均精度分別為90.07%和100%，效果較佳。

趙坤等[47]提出使用圖像增強方法與YOLOv3模型相結合，來對弱光照條件下的交通標志進行檢測與識別。該文提出一種自適應圖像增強的方法解決復雜光線下拍攝的圖像樣本，然后對YOLOv3中的聚類算法和損失函數進行改進，使得訓練模型更加具有魯棒性。但是這種方法在圖像處理階段比較耗時。

上述方法均能解決各復雜環境下交通標志檢測與識別的任務，但檢測、識別的精度與實時性要求方面還有一定的改進空間，應在今后著重加強。

3 常見交通標志數據集

交通標志數據集在交通標志檢測與識別中占有重要地位，數據集優劣會影響整體識別結果的準確率。本文將概述國內外常用的交通標志數據集，見表6。

表6 交通標志檢測與識別數據集Table 6 Traffic sign detection and recognition data sets

德國交通標志檢測基準（GTSDB）是目前常用的數據集之一，它由900張圖像（600張用來訓練，300張用于測試）組成。這些圖像是在德國波鴻附近拍攝的，其交通標志的類別主要有禁止標志、危險標志和強制性標志。德國交通標志識別基準（German Traffic Sign Recognition Benchmark，GTSRB）是一個多類、單一圖像分類數據集，是一個大型的、逼真的數據庫，有50 000多個圖像和40個類。比利時交通標志檢測基準（Belgium Traffic Sign Detection Benchmark，BTSDB）和比利時交通標志分類基準（Belgium Traffic Sign Classification Benchmark，BTSCB）是比利時的大型交通標志數據集，用于檢測和識別。BTSDB有大約7 000個圖像（4 500個用來訓練，2 500個用于測試），BTSCB有10 000個圖像，其中包括13 444個標志，62個類別。

目前國內主要有三大交通標志數據集：TT-100K（Tsinghua-Tencent 100K Tutorial）是Zhu等人收集的騰訊街景圖片，它覆蓋了中國5個城市的市中心和郊區。該數據集還注釋了交通標志的邊界框、類和像素掩碼，但是在高分辨率的圖片中，這些標志的占比都較小。Yang等[51]在2016年提出了中國交通標志數據集（Chinese Traffic Sign Dataset，CTSD），拍攝的圖片來源于北京和廈門的公路、城市和農村道路。2017年，長沙科技大學的Zhang等[52]通過擴展CTSD數據集，加入了5 200幅中國高速公路圖像。他們通過添加噪聲、改變光照和縮放等方式來增強原始圖像，現有圖片量已超過15 000張。

以上數據集中均存在一種或幾種復雜環境下拍攝的圖像，其中占比各不相同。GTSDB數據集中的圖像在進行標志檢測與識別時面臨的環境挑戰有光照、遮擋、模糊、陰影、陰霾、下雨、陰天等；GTSRB中面臨的挑戰有光照、遮擋、變形、模糊；BTSDB中面臨的挑戰有光照、遮擋、陰暗；BTSCB中面臨的挑戰有光照、遮擋、變形；CTSD和CCTSDB（CSUST Chinese Traffic Sign Detection Benchmark）中面臨的挑戰有光照、遮擋、陰影、下雨、陰天、臟鏡頭、反射、霧霾、模糊；STS（Swedish Traffic Signs）中面臨的挑戰有光照、遮擋、陰影、模糊、多云、下雨；Stereopolis中面臨的挑戰有光照、遮擋、陰暗；TT-100K中面臨的挑戰有光照、遮擋、陰霾、陰影；LISA（Laboratory for Intelligent and Safe Automobiles）中面臨的挑戰有光照、遮擋、陰影、模糊、反射、鏡頭臟污、陰暗；DITS（Italian Traffic Sign Dataset）中面臨的挑戰有光照、霧霾、反射；CURE-TSD（Challenging Unreal and Real Environments for Traffic Sign Detection）中面臨的挑戰有雨、雪、陰影、霧霾、照明、脫色、模糊、噪聲、臟鏡頭、遮擋、陰天。以上數據集中，復雜環境下拍攝圖像占比最小的為RUG，48張圖片中光線昏暗的有10張，并且對檢測程度影響較小。占比最大的為超過50%的CURE-TSD，同時復雜情況較為明顯，對后期的檢測影響較大。其他數據集的占比在10%~30%不等。經學者研究表明，復雜環境下拍攝的圖像如果直接進行檢測會導致檢測時間過長，且錯誤率較高，無法應用到無人車上，因此在進行檢測前要對圖像進行預處理。復雜程度決定了預處理的時間和清晰度，同時也決定了預處理所使用的方法。

4 分析與展望

本文簡要闡述了交通標志檢測與識別技術，然后對近年來各類復雜環境下的交通標志檢測與識別文章進行了詳細綜述。隨著計算機硬件性能的提高，深度學習的優勢也逐漸顯現。基于深度學習方法的交通標志檢測與識別在其準確度和實時性上有了很大的提升，但其處于復雜環境時，仍然有較大的提升空間。本文對下一步待解決的問題與研究方向進行了總結：

基于深度學習方法處理圖像和標志檢測、識別都已成熟，但為了提高準確率，卷積神經網絡層數不斷增加，從而導致計算量增加，實時性不強。如何在保證準確率的前提下減少層數達到實時效果是值得思考的問題，這可成為今后的一個研究方向。

單一模型處理某種或一類復雜環境效果較好，但現實中往往出現多種復雜情況同時發生且時常伴有車輛顛簸的現象。此時，圖像含噪音且畫面模糊，處理難度較大且實時性要求無法滿足，如何處理此狀況需進一步地思考。