基于卷積神經網絡的交通標志ROI 提取與識別

張博

（華南理工大學機械與汽車工程學院，廣東廣州 510640）

交通標志識別是智能輔助駕駛的重要組成部分，對無人駕駛領域的發展有直接的推動作用。近年來，城鄉公路建設迅速，復雜自然場景對交通標志識別的穩定性提出了新的挑戰。目前對交通標志的識別方法主要有模板匹配、機器學習以及卷積神經網絡等[1]。從現有研究來看，基于卷積神經網絡的分類方法在預測準確率、泛化性以及實時性方面相比于其他方法更高，并在交通標志識別方面成功應用。Natarajan 等人[2]改進CNN的參數，利用加權組合的4 個并行CNN 網絡訓練模型，精度超過99.59%，但結構復雜；Shao[3]、Cao[4]等在傳統CNN的基礎上，利用Gabor 過濾器替代初始卷積核，并結合批量歸一化方法，提高了交通標志識別率，但識別速度有待提升。這些傳統方法受到的干擾因素多，雖然數據集龐大但在某些特定場合仍存在不足。為減少無關干擾因素，通過去除背景使得模型在復雜環境中聚焦于交通標志的感興趣區域是一種較好的處理思路。而全卷積網絡(Fully Convolution Network，FCN)的語義分割網絡[5]為背景的快速去除提供了很好的解決方法。Noh 等人[6]提出對稱語義分割模型DeconvNet，該模型在VGG16[7]的基礎上將SoftMax 層移除，相應地加入對稱的上池化和反卷積模塊，然而該模型由于參數量太大而計算效率不高。Ronneberger 等人[8]提出UNet 對稱語義分割模型，該模型在各種醫學圖像以及自然圖像綜合表現效果較好，因此有較廣泛的實際應用。

當前針對交通標志感興趣區域切割與識別的相關研究較少，文獻[9]提出了一種K-means 形狀匹配并使用對應形狀的切割模板獲取ROI的方法，該方法計算量太大并且不能有效解決不同位置和旋轉角度的問題。文中通過融合UNet 語義分割的優良性能與LeNet5 較好的分類能力提出一種對交通標志進行感興趣區域提取與分類的新方法，該方法在感興趣區域切割上相比傳統方法有兩處顯著改進，其一是使用了神經網絡方法獲取交通標志感興趣區域，通過其強大的表征能力將交通標志與背景快速而準確分離，從而為簡單CNN 網絡結構LeNet5的穩定分類奠定了條件；其二是傳統方法均作用于灰度圖像并由紋理特征實現ROI 切割，而該文則是作用于彩色圖像，同時考慮顏色與紋理特征對交通圖像進行ROI 切割，為語義分割網絡提供更多的特征，從而保證感興趣區域分割的準確性。

1 基于UNet-LeNet5的識別框架

傳統機器學習一般基于顏色、形狀、紋理等特征對交通標志進行識別研究，這些方法計算量大并且適應性差，無法滿足復雜自然場景下交通標志的識別需求。但直接對這些感興趣特征進行學習的思想對現在的研究仍有很強的借鑒意義，利用深度學習方法能夠充分挖掘復雜圖像數據的多重屬性[10]，通過將大量無關特征進行過濾，從而降低圖像中復雜信息對分類的干擾，提升交通標志識別算法的分類性能。為充分利用深度學習方法強大的特征提取能力，文中根據交通標志的顏色、形狀特征設計出一種對交通標志進行感興趣區域提取與分類一體的UNet-LeNet5 模型，總體結構包括圖像預處理、基于改進語義分割網絡UNet 感興趣區域獲?。ê喎QROI獲取）、分類識別3 個部分，其識別流程如圖1 所示。

圖1 交通標志識別流程

1.1 圖像預處理

對于自然場景的交通標志圖像，其光照條件以及霧氣等因素對圖像明暗和清晰度影響較大，而這個問題可以通過直方圖均衡化進行對比度調整得到有效解決。文獻[11]使用了3 種不同直方圖均衡化處理方式對交通標志的灰度圖像進行預處理，實驗對比分析得出，對比度有限直方圖均衡方法在交通標志預處理方面表現較好。而語義分割一般針對RGB 彩色圖像，使用對比度有限直方圖均衡進行圖像預處理時，通過將圖像的RGB 空間轉換為YUV 或LAB 空間進行對比度調整后，轉回RGB 空間時會出現色彩暗淡的現象。因此對于RGB 彩色圖像，在該方法基礎上還需要進一步調整對比度，具體操作是對圖像的R、G、B 3 個通道分別進行灰度拉伸及去霧氣處理，灰度拉伸公式見公式（1）。

在式（1）中，F(x,y)表示單個通道上的某像素點灰度拉伸處理后對應的亮度值，f(x,y)表示該點原來的亮度值，MAXf(x,y)和MINf(x,y)值由圖像的規模以及給定的暗色素和亮色素個數的最小比例確定。其中，單個通道灰度拉伸去霧氣的具體實現過程為：通過直方圖統計求出MAXf(x,y)和MINf(x,y)，并分別用MI和MA代替，當MI小于或等于MA時通過式（1）進行灰度拉伸。

從圖2 可以看出，通過對比度有限直方圖均衡化對原圖像進行粗調后，利用去霧氣算法進一步微調效果十分明顯，相比于直接使用直方圖均衡方法有更好的實際表現。

圖2 預處理效果對比

1.2 基于改進UNet感興趣區域提取

UNet 是一種基于編碼器與解碼器的對稱語義分割網絡結構，編碼器通過不同層次的下采樣操作從而學習到深層次的特征，解碼器則是不斷通過上采樣并與低層特征融合，從而恢復原圖大小，最后輸出對感興趣區域位置預測的二值mask 圖像。而UNet 主要針對尺寸較大的醫療圖像二分類語義分割問題，在幾何形狀差異較大的交通標志的語義分割上，其網絡預測精度難以保證。為將UNet 應用于尺寸較小、形狀復雜的交通標志圖像的語義分割并提高模型的預測精度，對其進行一些結構改進與參數調整十分必要。

1.2.1 網絡具體改進

改進方法是將最后一層1×1 卷積的輸出通道數由1 到多調整（文中為1 到3），從而實現多分類，將二分類向多分類擴展的本質即是對每一種形狀進行聚類，通過對不同幾何形狀交通標志進行分類處理有利于提高算法的穩定性。實驗過程中主要針對圓形、三角形標志，具體操作中將背景看作類別0，圓形標志看作類別1，三角形標志看作類別2。由于分類方法發生了改變，因此還需將原來的二分類交叉熵損失函數相應替換為多分類交叉熵損失函數，見公式（2）。

其中，N表示像素點的總個數，M表示類別的數量，yic表示指示變量，當實際類別與像素點i對應的類別相同時為1，不同時為0，pic表示像素點i屬于類別c的概率。改進UNet網絡結構如圖3 所示。

圖3 改進UNet網絡結構

圖3 中，不同方塊是進行相應操作后生成的特征圖。除最后的一個1×1 卷積外，中間的每層卷積均進行了批歸一化處理并使用了relu 激活函數。對于通過1×1 卷積生成的3 張二值圖像mask，序號0 對應背景的類別，其位置上mask的白色區域是對背景區域位置的預測結果；序號1 對應圓形標志的類別，其位置上mask的白色區域是對圓形區域位置的預測結果（由于圖3 輸入的示例圖像為三角形標志，因此序號1 上對圓形區域的預測為空，圖像顯示為黑色）；序號2 對應三角形標志的類別，其位置上mask的白色區域對應三角形區域的預測結果。

1.2.2 ROI提取與前處理

由上述對背景區域、圓形區域、三角形區域位置的預測過程，對于圓形標志與三角形標志圖像，通過改進UNet 語義分割網絡后與其感興趣區域位置對應的mask 應出現在序號1 或2。為確定目標mask的序號，利用了目標序號的mask 與序號0 對應的mask的互補性質，將最后SoftMax 輸出的特征圖上小于閾值的點的值設置為1，而將大于閾值的點的值設置為0，然后乘以255 輸出不同二值圖像mask。通過該取反操作，圖3 中序號0 對應的mask 就相當于與目標mask（在圖3 中即是序號2 對應的mask）進行了位置交換，所以每次只需要取序號0 對應的mask 與輸入圖像進行按位與操作即可獲取感興趣ROI，也就不需要像Mask-RCNN[12]通過形狀判定然后輸出對應的mask。為減少后續處理的計算量，進一步將交通標志ROI 圖像轉換為單通道灰度圖像，具體處理過程見公式（3）。

式（3）中，R、G、B分別代表某像素點3 個通道分別對應的像素值。由于語義分割實驗中針對的是64×64 輸入的交通圖像，因此ROI 提取與前處理后得到的是64×64 大小的交通標志ROI 灰度圖像，整個過程見圖4。

圖4 ROI提取與前處理

1.3 基于LeNet5分類(分類識別)

通過改進UNet 提取到交通標志的感興趣區域后，考慮到待識別ROI 圖像的特征易于提取，使用輕量級CNN 分類結構LeNet5 進行分類。

為降低圖像分辨率對分類結果的影響，直接將原尺寸的ROI 圖像送入分類網絡，因此輸入層參數設置為64×64。而對于輸出層，由于后續只對15 個不同交通標志進行分類，因此最后SoftMax的輸出類別值為15，具體網絡參數配置見表1。

表1 具體參數設置

2 改進UNet-LeNet5實驗過程

該實驗基于深度學習框架pytorch 實現，計算機配置如下：操作系統為Win10；顯卡為NVIDIA GeForce GTX 1050 Ti，4G 顯存；系統內存為8 GB。改進語義分割網絡UNet和LeNet5 分類識別網絡訓練借鑒了CCTSDB 數據集[13]，該數據集對三大主要交通標志進行了標注，原文件記錄了每幅自然場景圖像的交通標志真實位置，對每個位置的交通標志進行剪裁并保存，統一圖片尺寸為64×64 對數據集進行整理。實驗過程中分別在警告標志、指示標志、禁令標志中各取5 種子類的交通標志，具體類別如圖5所示。

圖5 CCTSDB數據集

2.1 改進UNet的實驗過程與改進前后對比

2.1.1 數據集選取與標簽制作方法

由于語義分割是具體到對圖像像素的分類方式，因此對標簽的制作精度要求比較高，而傳統圖像標注工具LabelImg 對于尺寸較小的交通圖像標注速度緩慢且難以保證精度要求。在制作的過程中，通過grabcut[14]算法手動拾取分離前景與背景初步獲取感興趣區域位置對應的mask 圖像，在此基礎上進行相應的直線擬合以及橢圓擬合操作以保證更好的幾何形狀精度。由于使用grabcut 算法的過程中每次手動拾取前景與背景的操作精度上略有差異，因此對單張圖片重復制作的標簽是不同的。

選取三角形和圓形兩種交通標志構建數據集，制作樣本總量為1 000。將對應形狀的交通標志圖像進行對比度有限直方圖均衡和去霧氣預處理后，將其作為訓練圖像，最后分別對每個圖像繪制mask，并且在mask的基礎上制作標簽，其處理方式如圖6所示。其中，圓形交通標志對應類別1，并將其感興趣ROI 區域像素用1 進行填充；三角形標志對應類別2，將其感興趣ROI 區域像素用2 進行填充；背景區域對應類別0，將背景區域使用像素0 進行填充。因此，最后數據集中用到的單通道標簽圖像整體看起來是黑色的而沒有展示。

圖6 改進UNet標簽制作

2.1.2 網絡訓練過程與評估

設置學習率為0.000 1，batch-size 為1，沖量為0.9 以及權值衰減10-8進行訓練，訓練優化器選擇RMSprop 進行訓練，訓練過程的損失曲線如圖7所示。

圖7 損失曲線

由圖7 可以看出，改進UNet的損失曲線最后穩定收斂。為更加直觀地反映出其語義分割效果，將測試集通過語義分割網絡生成的mask 與實際mask計算Dice相關系數進行比較，計算過程見公式（4）：

其中，gi代表像素點i的真實值，pi代表該點的預測值。相似系數取值在0 到1 之間，越接近1 表明兩者越相似，表2 是改進前后UNet 在測試集上計算的平均Dice系數值。

表2 改進前后Dice系數

從表2 中可以看出，通過對UNet 原結構進行改進后,在耗時差異不大的前提下模型整體預測性能提升了7%左右，能夠滿足實際應用中的語義分割要求。交通標志的語義分割精度較高，一方面是因為交通標志有比較穩定的幾何形狀，另一方面則是因為交通標志識別數據集的前景與背景的占比相對于其他自然場景語義分割數據集分布更為均勻并且單幅圖像中標志之間不發生重疊。將改進前后的UNet實際效果進行對比，如圖8 所示。在圖8 對交通標志ROI的預測結果中，對于改進前UNet 對感興趣區域預測的mask，其幾何形狀精度無法得到保證，而改進后的UNet則有更好的表現，再次驗證表2的結論。

圖8 實際效果對比

2.2 LeNet5訓練與整體實驗方案驗證

2.2.1 LeNet5分類數據集選取與預處理

圖5 數據集所示的交通標志每個類別制作樣本為200，對3 000 張交通標志感興趣區域的灰度圖像進行訓練，為防止數據集的分布差異較大，需對數據集進行標準化處理，采用Z-score 方法進行處理，其計算過程見公式（5）。

其中，μ為數據集所有樣本的均值，對于轉化為單通道灰度圖像的數據集，其實就是指所有樣本的像素平均值，σ則為數據集樣本的標準差，X和X′分別代表處理前后的數據。最后，由于交通的標志位置以及旋轉角度不同，在訓練的過程中使用隨機剪裁和隨機旋轉操作。

2.2.2 分類網絡訓練與整體實驗方案測試

設置初始學習率為0.01，batch-size 為10，沖量為0.9 以及權值衰減0.005，訓練優化器為SGD。輸出的準確率曲線如圖9所示，分類識別網絡LeNet5識別數據集的準確率達到了99%以上，因此當語義分割網絡準確預測交通標志的感興趣區域時，使用該分類網絡能夠保證交通標志分類的準確率。

圖9 訓練過程的分類準確率曲線

2.2.3 整體實驗測試與對比

完成上述訓練過程后，將語義分割模塊與分類識別模塊級聯構建整體識別方案，對UNet-LeNet5模型進行測試。測試過程中選擇警告標志、指示標志以及禁令標志各一種分別在弱光、強光、霧氣的復雜自然場景下進行評測，如圖10 所示。其中，第一列圖像是輸入圖像，第二列圖像是對交通標志ROI提取的效果展示（用不同顏色的包絡線表示），并最后顯示對該交通標志預測的類別。

圖10 不同環境識別結果

從圖10 可以看出，基于UNet-LeNet5的交通標志的識別方法針對不同光照與霧氣的復雜自然條件有較好的識別效果，該模型在應對這些惡劣條件時表現出良好的抗干擾性能。為方便與其他方法進行比較并驗證分類方法選擇LeNet5的合理性，除與HOG-SVM[15]和ResNet50[16]分類方法對比之外，還將改進UNet和這兩種方法分別級聯進行驗證，如表3所示。從表3 中可以得出，通過感興趣區域的精確分割，HOG+SVM和ResNet50的識別方法在原基礎上分別提升了11%和5%，表明通過對復雜背景干擾去除使識別率有較明顯的提升。在分類方法的選擇上，選擇LeNet5 相對于HOG+SVM 在識別時間與精度上更有優勢，對比ResNet50 雖精度有所不足但在時間上能夠得到保證。綜合上述討論，所提出的方法綜合識別率與時間上優勢比較明顯，可以較好地進行交通標志分類。

表3 實驗結果對比

3 結論

利用深度學習方法將交通標志感興趣區域提取與分類識別分成兩個階段，實現了對交通標志由圖像邊緣淺層次的特征到具體紋理深層次特征的特征學習方式，從而在不使用較深的網絡下也能獲得較好的識別率。

在預處理過程中通過對比度有限直方圖均衡與去霧氣算法處理改善圖像質量，這一方面有利于應對光照、霧氣對識別率產生的影響，另一方面有利于grabcut 算法人工實現前景與背景分離,不僅為改進UNet 高精度的數據集標注工作降低了難度，也為其高精度的預測性能作了良好的保證。

對UNet 最后1×1 卷積輸出進行多通道分類擴展，這不僅對不同形狀的交通標志起到了聚類作用，也是該語義分割網絡在改進后具有優異預測性能的根本原因，該方式最大程度地減少了無關特征，使得LeNet5在復雜的自然條件下也能擁有較高的識別率。