基于改進(jìn)空間金字塔池化卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別

鄧天民，方 芳，周臻浩

（重慶交通大學(xué)交通運輸學(xué)院，重慶 400074）

（*通信作者電子郵箱1336261072@qq.com）

0 引言

隨著計算機(jī)、人工智能、深度神經(jīng)網(wǎng)絡(luò)等技術(shù)迅猛發(fā)展，自動駕駛已成為當(dāng)今世界最熱門的研究領(lǐng)域之一，而交通環(huán)境感知是自動駕駛技術(shù)的重要組成部分。交通標(biāo)志的有效識別對交通環(huán)境的理解至關(guān)重要［1］，對自動駕駛的路徑規(guī)劃、輔助定位與導(dǎo)航等環(huán)節(jié)起著決定性作用，同時為駕駛員和智能汽車提供超速預(yù)警、安全預(yù)警等自動輔助駕駛功能。

交通標(biāo)志識別是針對檢測的交通標(biāo)志進(jìn)行分類。在自然環(huán)境條件下的交通標(biāo)志標(biāo)牌，存在天氣環(huán)境、光照條件、背景、遮擋、形變、視角等客觀因素的干擾，嚴(yán)重影響交通標(biāo)志識別的準(zhǔn)確性。目前主流的交通標(biāo)志識別算法識別率較高，但泛化性較差，難以滿足實用性的要求［2］。因此，交通標(biāo)志識別的泛化性、實時性等方面研究仍具有一定挑戰(zhàn)性。

傳統(tǒng)的交通標(biāo)志識別方法通過提取或設(shè)計合適的特征，然后利用強(qiáng)判別力的分類器判別交通標(biāo)志類型。對于特征提取，主要基于交通標(biāo)志的顏色、形狀、紋理等信息，分類器包括支持向量機(jī)（Support Vector Machine，SVM）、最近鄰分類器、極限學(xué)習(xí)機(jī)等。Huang 等［3］和Gudigar［4］等提取交通標(biāo)志的GiST（Generalized Search Tree）特征描述符，并分析了極限學(xué)習(xí)機(jī)和最近鄰分類器的分類性能，極限學(xué)習(xí)機(jī)準(zhǔn)確率超過99%，但耗時接近2 ms，實時性較差。單一方法提取的特征有限，可以采用多特征融合方法進(jìn)行交通標(biāo)志特征的提取。如趙宏偉等［5］將顏色空間HSV（Hue，Saturation，Value）特征和形狀描述ART（Angular Redial Transform）特征融合，提出了交通標(biāo)志圖像檢索方法；梁敏健等［6］提出了基于方向梯度直方圖（Histogram of Oriented Gridient，HOG）和Gabor 的融合特征與Softmax 的識別算法；劉亞辰等［7］提出了基于融合式空間塔式算子和直方圖交叉核支持向量機(jī)分類算法；韓習(xí)習(xí)等［8］、王斌等［9］將顏色特征、方向梯度直方圖和局部二值特征等融合，利用SVM進(jìn)行交通標(biāo)志分類，提高了識別率。

傳統(tǒng)的交通標(biāo)志識別方法提取的是低級特征，所以識別模型精度較低，泛化性和實時性差。通過深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)更高維、抽象的特征，結(jié)合不同的低級特征，通過Sotfmax 等分類器進(jìn)行分類，識別性能顯著提高。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)極其重要的分支，相較于傳統(tǒng)機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)的顯著特征是擁有深層結(jié)構(gòu)模型，即網(wǎng)絡(luò)層數(shù)超過三層的神經(jīng)網(wǎng)絡(luò)，實質(zhì)為將特征表示和學(xué)習(xí)合二為一。深度學(xué)習(xí)過程主要分為訓(xùn)練階段和預(yù)測階段，訓(xùn)練階段利用大量樣本數(shù)據(jù)對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，調(diào)節(jié)模型參數(shù)使得目標(biāo)函數(shù)最小化；預(yù)測階段利用訓(xùn)練完成后的模型對數(shù)據(jù)進(jìn)行預(yù)測。圖像屬于空間性分布數(shù)據(jù)，故主要利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）對圖像的空間性分布進(jìn)行分析。

Jin 等［10］采用了結(jié)合hinge loss 的CNN 進(jìn)行分類，在德國交通標(biāo)志識別數(shù)據(jù)集（German Traffic Sign Recognition Benchmark，GTSRB）上取得了比人類分類更好的準(zhǔn)確率。Natarajan 等［11］改進(jìn)CNN 的參數(shù)，利用加權(quán)多任務(wù)CNN 訓(xùn)練模型，精度超過99.6%，但結(jié)構(gòu)復(fù)雜，實時性較差。Shao 等［12］和Cao等［13］在傳統(tǒng)CNN的基礎(chǔ)上，利用Gabor過濾器替代初始卷積核，并結(jié)合批量歸一化（Batch Normalization，BN）方法，交通標(biāo)志識別率較高，但識別速度有待提升。孫偉等［14］提出了多尺度卷積神經(jīng)網(wǎng)絡(luò)，引入不同池化層針對不同特征提取層提取特征以獲取多尺度融合特征，提高了模型的識別精度和泛化性。

本文提出一種基于改進(jìn)空間金字塔池化卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別算法。首先進(jìn)行圖像預(yù)處理改善圖像質(zhì)量，利用圖像去霧算法增強(qiáng)圖像對比度；然后設(shè)計改進(jìn)空間金字塔池化卷積神經(jīng)網(wǎng)絡(luò)（CNN with Spatial Pyramid Pooling and batch Normalization，SPPN-CNN）特征提取網(wǎng)絡(luò)，提取融合特征作為交通標(biāo)志圖像特征；最后，利用Softmax 分類器實現(xiàn)對交通標(biāo)志的識別。為了提高模型的泛化性，基于仿射變換預(yù)處理后的擴(kuò)展GTSRB 數(shù)據(jù)集，并開展算法性能比選實驗，確定了最佳的交通標(biāo)志識別模型參數(shù)和結(jié)構(gòu)。

1 基于改進(jìn)SPPN-CNN的交通標(biāo)志識別模型

交通標(biāo)志識別系統(tǒng)由圖像預(yù)處理、CNN特征提取、空間金字塔池化特征融合和分類器四部分組成，系統(tǒng)框架如圖1 所示。首先，通過圖像預(yù)處理方法提高交通標(biāo)志圖像質(zhì)量，并增強(qiáng)數(shù)據(jù)集；然后，通過CNN 提取交通標(biāo)志圖像低級顏色、紋理、形狀特征及高級語義特征，基于改進(jìn)的空間金字塔池化網(wǎng)絡(luò)進(jìn)行特征融合；最后，將融合特征輸入分類器中實現(xiàn)交通標(biāo)志識別。

圖1 交通標(biāo)志識別系統(tǒng)整體框架Fig.1 Overall framework of traffic sign recognition system

1.1 交通標(biāo)志圖像處理

1.1.1 圖像預(yù)處理

自然場景復(fù)雜多變，拍攝的實景交通標(biāo)志圖像存在樹木與車輛遮擋、磨損等情況，同時天氣（陰天、霧天、夜晚）、光照（光照強(qiáng)、光照弱）等影響圖像采集質(zhì)量，造成圖像模糊、顏色失真等問題。通過圖像處理方法可以改善交通標(biāo)志圖像質(zhì)量，有利于交通標(biāo)志圖像的有效識別，預(yù)處理結(jié)果如圖2所示。

1）圖像歸一化。

不同圖像數(shù)據(jù)分布不同，利用圖像歸一化方法將消除圖像數(shù)據(jù)間數(shù)量級差異，提高訓(xùn)練迭代速度，提高模型精度和泛化性。

圖2 交通標(biāo)志預(yù)處理示意圖Fig.2 Preprocessing of traffic signs

2）圖像灰度化。

圖像灰度化將交通標(biāo)志原始圖像的RGB（Red，Green，Blue）三通道轉(zhuǎn)換為單通道，有效減少了計算量，同時減弱光照的干擾。本文利用加權(quán)平均法將RGB 三通道IR、IG、IB以不同的權(quán)重轉(zhuǎn)換為單通道灰度圖像Igray，轉(zhuǎn)化公式為：

1.1.2 圖像去霧增強(qiáng)

由于光照、天氣的影響，交通標(biāo)志圖像容易存在低對比度（模糊、黑暗）的情況。直方圖均衡化可以有效增強(qiáng)圖像的對比度。使用直方均衡化增強(qiáng)圖像對比度，達(dá)到交通標(biāo)志圖像去霧效果，有效改善圖像質(zhì)量。直方均衡化主要包括三種方法：

1）全局直方圖均衡化（Histogram Equalization，HE）。它對交通標(biāo)志整幅圖像的像素使用相同的直方圖變換，對于像素值分布均衡的圖像來說，圖像增強(qiáng)效果較好。但是交通標(biāo)志圖像由于陰影、光線等因素導(dǎo)致圖像中存在明顯比圖像其他區(qū)域暗或者亮的部分，全局直方圖均衡化無法增強(qiáng)該區(qū)域的對比度。

2）自適應(yīng)直方圖均衡化（Adaptive Histogram Equalization，AHE）。它將圖像劃分為不重疊的區(qū)域塊，對每個塊分別進(jìn)行直方圖均衡化；但存在噪聲時，每一個分割的區(qū)域塊執(zhí)行直方圖均衡化后，噪聲會被放大。

3）限制對比度自適應(yīng)直方圖均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）。它通過限制局部直方圖的高度減小局部對比度的增強(qiáng)幅度，從而限制噪聲的放大及局部對比度的過度增強(qiáng)。

由圖3 的圖像去霧方法對比可知：原圖中較亮區(qū)域，經(jīng)過HE 處理后圖像失真，并且?guī)в忻黠@的噪聲；AHE 處理后失真情況有所改善，但是噪聲明顯增多；而CLAHE 能夠避免上述情況，因此采用CLAHE方法對交通標(biāo)志圖像進(jìn)行去霧處理。

圖3 圖像去霧方法效果對比Fig.3 Effect comparison of image dehazing methods

1.1.3 圖像仿射變換

訓(xùn)練集中各個種類圖像的數(shù)量通常不平衡，可能導(dǎo)致訓(xùn)練后的模型偏向于代表性過高的種類。通過數(shù)據(jù)增強(qiáng)改善數(shù)據(jù)極度不平衡的情況，增強(qiáng)模型的識別精度及泛化性。

圖像仿射變換包括平移、縮放、旋轉(zhuǎn)等操作。假設(shè)圖像原始坐標(biāo)為(x，y)，仿射變換后的新坐標(biāo)為(x′，y′)。故任意點旋轉(zhuǎn)變換將相當(dāng)于兩次平移與一次原點旋轉(zhuǎn)變換的復(fù)合，即先將軸心(x0，y0)移到原點，然后將目標(biāo)圖像以軸心順時針旋轉(zhuǎn)θ，最后將圖片左上角置為圖像的原點，即變換關(guān)系為：

其中，平移變換、縮放變換和以及原點旋轉(zhuǎn)變換均為任意點旋轉(zhuǎn)變換的特殊情況。

1.2 改進(jìn)的空間金字塔池化卷積神經(jīng)網(wǎng)絡(luò)模型

傳統(tǒng)的特征提取基于顏色、形狀和紋理等低級特征，通過CNN 可以實現(xiàn)高級特征的提取，提高交通標(biāo)志的識別精度。CNN 在目標(biāo)分類中被廣泛應(yīng)用并取得了優(yōu)異的識別精度。CNN 利用局部感受野和權(quán)值共享大幅度減少了網(wǎng)絡(luò)參數(shù)量，能在保證模型性能的情況下極大降低計算量。

SPPN-CNN 模型（見圖4）在CNN 的第一、第二、第三卷積層后加入歸一化層，對池化后的特征進(jìn)行圖像歸一化處理，增強(qiáng)模型的泛化性。然后在三個池化層后分別加入空間金字塔池化層，空間金字塔的多尺度分塊使分塊呈現(xiàn)一種層次金字塔的結(jié)構(gòu)，且局部空間塊在聚合時的空間位置信息仍得到保留，從而使圖像特征具有多尺度性，這些多尺度特征恰好能適應(yīng)交通標(biāo)志的尺度變化，實現(xiàn)多尺度的特征提取。改進(jìn)SPPN-CNN參數(shù)如表1所示。

表1 改進(jìn)SPPN-CNN參數(shù)Tab.1 Parameters of improved SPPN-CNN

1.2.1 改進(jìn)的CNN結(jié)構(gòu)

1）輸入層。

圖4 改進(jìn)空間金字塔池化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of improved convolutional neural network with spatial pyramid pooling and batch normalization

2）卷積層。

卷積層采用權(quán)值共享和局部感受野的策略，通過一定大小的卷積核，以合適步長從左往右，自上而下地遍歷圖像得到卷積特征圖，用于表示圖像的局部特征信息。卷積核實質(zhì)上是權(quán)重值矩陣，通過網(wǎng)絡(luò)訓(xùn)練得到最優(yōu)值。不同尺寸、不同參數(shù)的卷積核提取圖像的不同特征圖，底層卷積層一般提取顏色、形狀、紋理等低級特征，通過多層卷積層的特征提取，可以得到更高層次的語義特征。本文利用三層卷積層構(gòu)建CNN，相較于典型CNN 模型GoogLeNet、VGG（Visual Geometry Group）提出的VGGNet 等網(wǎng)絡(luò)層數(shù)和參數(shù)量較少，故計算量小，耗時少，模型較為輕量。

設(shè)卷積層l的卷積核為，則特征圖尺寸為：

其中：l表示第幾層卷積層，l≥1，l∈N+；Hl、Wl分別表示第l層卷積層提取特征圖的高度、寬度；Kl×Kl表示卷積核的大小；sl為卷積步長；Dl為卷積核數(shù)量。卷積層的特征提取計算公式為：

非線性激活函數(shù)用于映射卷積核提取的特征圖，通常與卷積層結(jié)合用于增加網(wǎng)絡(luò)的非線性表達(dá)能力。通常采用廣泛用于深度學(xué)習(xí)的線性整流（Rectified Linear Unit，ReLU）函數(shù)，函數(shù)表示如下：

3）池化層。

在卷積層后得到維度較大特征，將特征切成幾個區(qū)域，取其最大值或平均值，得到新的、維度較小特征。本文使用尺寸為2×2 且步長為2×2 的重疊最大值池化方法，避免平均池化的模糊化效果，并增加數(shù)據(jù)的豐富性。

4）批量歸一化層。

批量歸一化（BN）表示對批量圖像進(jìn)行歸一化處理，在CNN 的卷積層后加入BN 層對卷積層后形成的特征圖進(jìn)行歸一化處理，求取所有樣本所對應(yīng)的一個特征圖的所有神經(jīng)元的平均值、方差，然后對特征圖神經(jīng)元做歸一化處理。BN 層解決在訓(xùn)練過程中，中間層數(shù)據(jù)分布發(fā)生改變的問題，防止梯度消失或爆炸、加快收斂，提高精度。

5）改進(jìn)多尺度空間金字塔池化層。

圖像空間金字塔是圖像的多尺度處理，利用多分辨率分解并表征圖像的強(qiáng)有力簡單結(jié)構(gòu)［15］。圖5 表示空間金字塔池化結(jié)構(gòu)及其改進(jìn)，傳統(tǒng)空間金字塔池化層提取同一張圖像的不同尺度特征，而交通標(biāo)志圖像原始尺寸較小，經(jīng)過多層卷積、池化等操作后生成的特征圖很小，直接對其進(jìn)行空間金字塔池化操作，難以獲取更多的特征信息。

圖5 改進(jìn)多尺度空間金字塔池化結(jié)構(gòu)Fig.5 Improved multi-scale spatial pyramid pooling structure

改進(jìn)多尺度空間金字塔池化在傳統(tǒng)空間金字塔池化基礎(chǔ)上，結(jié)合CNN 特征圖尺寸大小，利用多尺度金字塔策略采用3×3、2×2、2×2不同分辨率分別提取池化層1、池化層2、池化層3 的特征圖。結(jié)合三層池化層特征圖層數(shù)，生成的對應(yīng)特征向量維度分別為9×32、4×64和4×128，將三個特征向量線性級聯(lián)，可以得到1 056維度的融合空間金字塔池化特征向量。該融合特征包含了不同尺度、不同層級的特征信息，提取了低級形狀、紋理等特征和高級語義特征，保留了不同特征細(xì)節(jié)，提高了模型的精度及魯棒性。

6）全連接層。

把所有局部特征結(jié)合變成全局特征，用來計算最后每一類的得分。一般在全連接層使用分類器進(jìn)行分類，包括SVM、Sigmod、Softmax 等。而Softmax 主要用于多分類目標(biāo)識別，將全連接層的多個神經(jīng)元的輸出映射至(0，1)區(qū)間內(nèi)，通過概率數(shù)值實現(xiàn)多分類。

1.2.2 訓(xùn)練優(yōu)化器

1）Adam優(yōu)化器。

Adam 優(yōu)化器是結(jié)合AdaGrad 和RMSProp（Root Mean Square Prop）兩種優(yōu)化算法的優(yōu)點所提出的一種利用梯度的一階和二階矩計算每個參數(shù)的自適應(yīng)學(xué)習(xí)率方法。

首先，計算時間步的梯度：

梯度φt及梯度平方vt的指數(shù)衰減平均數(shù)為：

其中：δ1、δ2分別為0.9、0.999。

由于φ0/v0初始化為0，會導(dǎo)致φ0/v0偏向于0，故對梯度均值φ0/v0進(jìn)行偏差糾正：

其中：默認(rèn)學(xué)習(xí)率為η=0.001，為了避免除數(shù)為零，一般設(shè)置τ=10-8。因此，通過Adam 優(yōu)化器能夠從梯度均值及梯度平方兩個角度對步長進(jìn)行自適應(yīng)調(diào)節(jié)更新。

2）小批量隨機(jī)梯度下降算法。

訓(xùn)練過程中的權(quán)值更新一般包含標(biāo)準(zhǔn)梯度下降法、隨機(jī)梯度下降法和小批量梯度下降法。小批次隨機(jī)梯度下降法每次取總訓(xùn)練集的一個小批次進(jìn)行訓(xùn)練，根據(jù)批次數(shù)據(jù)的誤差更新權(quán)值。相較于隨機(jī)梯度下降法，損失的下降更加穩(wěn)定，同時由于是小批量的計算，相較于標(biāo)準(zhǔn)梯度下降法可以減少計算資源的占用。

小批量隨機(jī)梯度下降法，k表示每一個批次的總樣本數(shù)：

要優(yōu)化的參數(shù)為a，b，分別對其進(jìn)行微分，即偏微分，再求和的均值：

1.2.3 代價函數(shù)

目標(biāo)函數(shù)用于衡量預(yù)測值與真實值的誤差，主要有二次代價函數(shù)、交叉熵代價函數(shù)和對數(shù)似然損失函數(shù)。二次代價函數(shù)對于S 型激活函數(shù)的收斂具有局限性，而對數(shù)似然代價函數(shù)均能夠快速準(zhǔn)確地進(jìn)行收斂，公式如下：

其中：J表示代價函數(shù)，表示批量樣本數(shù)量；和P(i)分別表示第i個神經(jīng)元的實際值和輸出值。

2 實驗與結(jié)果分析

本實驗是在Windows 10 中基于Tensorflow 深度學(xué)習(xí)框架下完成的，硬件配置如下：處理器為Intel Core i5-8250U，內(nèi)存為8 GB，GPU為NVIDIA GeForce MX150。

2.1 實驗數(shù)據(jù)集

2.1.1 GTSRB

GTSRB 是一個用于交通標(biāo)志識別的多類別大型數(shù)據(jù)集，所有的交通標(biāo)志都是在實境下拍攝，包含不同光照、遮擋、扭曲、歪斜等不利于識別的交通標(biāo)志圖像。

GTSRB 數(shù)據(jù)集共有43 類交通標(biāo)志（如圖6 所示），包含51 839 張交通標(biāo)志圖片，其中訓(xùn)練集39 209 張，測試集12 630張。為了有效驗證訓(xùn)練過程中模型效果，將總訓(xùn)練集分為訓(xùn)練集和驗證集兩部分，訓(xùn)練集34 799 張，驗證集4 410 張。數(shù)據(jù)集包含的圖片大小不等，在15× 15～250 × 250像素之間。

圖6 GTSRB的43類交通標(biāo)志示意圖Fig.6 Schematic diagram of 43 traffic sign classes in GTSRB

2.1.2 數(shù)據(jù)擴(kuò)充

交通標(biāo)志訓(xùn)練集中各個種類圖像的數(shù)量明顯不平衡，從圖7 所示的GTSRB 訓(xùn)練集的43 類交通標(biāo)志數(shù)量分布可知，不同交通類別交通標(biāo)志數(shù)量差異較大，最少為180 張，最多為2 010 張，這可能導(dǎo)致訓(xùn)練后的模型偏向于代表性過高的種類，部分類型交通標(biāo)志識別精度較低，模型泛化性較差。

圖7 GTSRB訓(xùn)練集不同交通標(biāo)志種類數(shù)量分布Fig.7 Number distribution map of different traffic sign classes in GTSRB training set

為了提高交通標(biāo)志識別模型的精度以及泛化性，通過仿射變換方法擴(kuò)展數(shù)據(jù)集。使用各種類型的轉(zhuǎn)換矩陣對訓(xùn)練圖像進(jìn)行平移、縮放、旋轉(zhuǎn)、剪切等操作，增加訓(xùn)練樣本的數(shù)量以及多樣性，能提高模型的通用性；同時，提高測試和驗證的準(zhǔn)確性，特別是對失真的圖像。部分樣本仿射變換如圖8所示。

圖8 GTSRB中部分樣本仿射變換示意圖Fig.8 Affine transformation diagrams of some samples in GTSRB

2.2 實驗過程與結(jié)果

針對圖像處理、模型參數(shù)和模型結(jié)構(gòu)三方面進(jìn)行實驗。圖像處理包括圖像預(yù)處理、圖像增強(qiáng)和數(shù)據(jù)擴(kuò)展；模型參數(shù)主要為卷積核尺寸、批尺寸、Dropout 參數(shù)。模型結(jié)構(gòu)主要探討模型不同改進(jìn)方案的性能。

交通標(biāo)志識別模型的初始設(shè)定包括：采用高斯正態(tài)分布初始化權(quán)重，使用ReLU 作為激活函數(shù)，優(yōu)化器為Adam 小批次隨機(jī)梯度下降算法，初始學(xué)習(xí)率為0.001，卷積層和全連接層的Dropout 初始參數(shù)值分別為1.0 和1.0，初始訓(xùn)練批次大小為512，使用SoftMax分類器進(jìn)行分類，損失函數(shù)為對數(shù)似然代價函數(shù)。

將輸入圖片的尺寸歸一化為[32，32，*]，“*”代表不同深度，對于RGB 圖像為3，對于灰度化圖像為1。卷積層為3 層，三層卷積核數(shù)量分別為32、64和128，卷積核步長為1；池化層均采用最大池化方法，池化核尺寸為2×2，步長為2；全連接層為2層，神經(jīng)元數(shù)量分別為120和84；訓(xùn)練次數(shù)設(shè)置為100。

2.2.1 圖像處理實驗

通過仿射變換擴(kuò)展數(shù)據(jù)集，并在不同的照明條件和方向上提供其他圖片；提高測試和驗證的準(zhǔn)確性，特別是對失真的圖像。

通過各種仿射變換將GTSRB 中的每一類交通標(biāo)志數(shù)量增加5%、10%、15%的圖像，測試效果如表2所示。

表2 不同數(shù)據(jù)量的性能對比分析Tab.2 Performance comparison and analysis of different data sizes

由表2 可知，GTSRB 數(shù)據(jù)集增強(qiáng)5%～15%范圍內(nèi)，隨著數(shù)據(jù)量及數(shù)據(jù)形式的增多，準(zhǔn)確率提高，即擴(kuò)展后的訓(xùn)練樣本種類數(shù)量分布更加合理，有利于減小不同種類交通標(biāo)志之間的差異，增強(qiáng)泛化性。考慮訓(xùn)練耗時，選擇數(shù)據(jù)增強(qiáng)10%作為訓(xùn)練數(shù)據(jù)量。

圖像處理直接決定識別模型的輸入圖像特性，采用不同的圖像處理方法獲取包含不同特征的圖像，通過模型訓(xùn)練將得到不同的模型，識別效果也有所不同。因此對比原始RGB圖、灰度圖、去霧圖像及其歸一化后的識別效果。

根據(jù)表3 可知，灰度圖像對于精度的提高和計算量的減少有一定作用。而經(jīng)過圖像去霧處理后，精度有顯著提高。同時，圖像經(jīng)歸一化后，精度均有所提升，耗時有效縮短。

表3 不同圖像處理方法的性能對比分析Tab.3 Performance comparison and analysis of different image processing methods

根據(jù)圖像處理結(jié)果可知，將GTSRB 訓(xùn)練數(shù)據(jù)集擴(kuò)展10%，然后對數(shù)據(jù)集所有圖像灰度化后進(jìn)行去霧處理，最后歸一化圖像作為模型的輸入圖像。

2.2.2 網(wǎng)絡(luò)參數(shù)比選

神經(jīng)網(wǎng)絡(luò)模型性能受到卷積核尺寸、訓(xùn)練批次大小、隨機(jī)梯度下降值等參數(shù)的影響。針對模型重要參數(shù)或方法進(jìn)行比選以改進(jìn)模型結(jié)構(gòu)，選取性能更佳的交通標(biāo)志識別模型。

1）卷積核尺寸。

卷積神經(jīng)網(wǎng)絡(luò)的卷積核通常設(shè)置為3×3、5×5 或7×7三種尺寸。不同卷積核尺寸提取不同的特征圖，故對比不同尺寸的特征提取效果。

由表4 可知：對于測試耗時，3×3 卷積核耗時較少，7×7卷積核次之，5×5 耗時較多；對于損失，7×7 損失較大，5×5較小，3×3中等；對于精度，3×3和7×7略優(yōu)于5×5。

表4 不同卷積核尺寸性能對比分析Tab.4 Performance comparison and analysis of different convolution kernel sizes

綜合考慮耗時、損失和精度指標(biāo)，采用3× 3卷積核，它可以提取圖像更本質(zhì)的特征，同時耗時較少，損失最小，精度最高，整體性能最優(yōu)。

2）批量大小。

小批量隨機(jī)梯度下降法中的批量尺寸會直接影響訓(xùn)練效果。批量尺寸表示一次迭代的樣本數(shù)目，它的大小影響內(nèi)存效率和內(nèi)存容量的平衡，不同的配置及數(shù)據(jù)量擁有不同的最佳平衡。

在訓(xùn)練集中選擇一組樣本用來更新權(quán)值。批量尺寸的正確選取有利于內(nèi)存效率和內(nèi)存容量的平衡，故針對批量尺寸取值進(jìn)行比選實驗。批量尺寸通常為2n，常用的包括64、128、256 和512。如果數(shù)據(jù)集數(shù)量很小，可以采用全數(shù)據(jù)集，全數(shù)據(jù)集確定的方向能夠更好地代表樣本總體，網(wǎng)絡(luò)較小時選用512，較大時選用64。

由表5 可知：隨著批量大小的增加，測試精度降低，耗時減少；但相較于批量大小為128 時，批量大小為64 時精度更低，說明批量過小，在相同訓(xùn)練周期內(nèi)模型訓(xùn)練效果欠佳。故綜合考慮選取批量大小為128作為模型的批量大小。

表5 不同批量大小性能對比分析Tab.5 Performance comparison and analysis of different batch sizes

3）Dropout參數(shù)。

在深度學(xué)習(xí)模型中，如果模型參數(shù)過多，而訓(xùn)練樣本又太少，訓(xùn)練出來的模型很容易產(chǎn)生過擬合的現(xiàn)象。因此，利用Dropout方法抑制過擬合的產(chǎn)生。

Dropout 表示在訓(xùn)練過程中以一定概率隨機(jī)停止某些神經(jīng)元的工作，讓參數(shù)只經(jīng)過部分神經(jīng)元進(jìn)行計算。使用Dropout 可以減少參數(shù)數(shù)量，有效防止過擬合現(xiàn)象的出現(xiàn)；同時能夠減少對局部特征的依賴，增強(qiáng)模型的泛化性。

針對卷積層和全連接層進(jìn)行Dropout，分別設(shè)置不同的Dropout 值，探究最佳方案。由于在卷積層之后進(jìn)行了最大池化操作，為了預(yù)防流失過多的流失有價值的信息，卷積層的Dropout應(yīng)盡量不低于0.5。

由表6 可知，當(dāng)卷積層和全連接層的Dropout 值分別為0.7和0.5時整體效果最佳。

表6 不同Dropout參數(shù)性能對比分析Tab.6 Performance comparison and analysis of different Dropout parameters

2.2.3 模型結(jié)構(gòu)改進(jìn)實驗

在傳統(tǒng)CNN 的基礎(chǔ)進(jìn)行模型改進(jìn)，對比三種改進(jìn)策略：一是在訓(xùn)練過程中加入歸一化層，包括LRN（Local Response Normalization）和BN；二是在第三層池化層后加入空間金字塔池化（Spatial Pyramid Pooling，SPP）網(wǎng)絡(luò)，利用1× 1，2 × 2，3×3 三種池化層提取特征；三是在CNN 中引入改進(jìn)的SPP 網(wǎng)絡(luò)結(jié)構(gòu)。

由表7可知，改進(jìn)SPPN-CNN交通標(biāo)志識別模型耗時略高于原始CNN 模型、SPP-CNN 模型和改進(jìn)的SPP-CNN 模型，但其測試損失最低，并且測試準(zhǔn)確率提高了超過0.5 個百分點，因此改進(jìn)的SPPN-CNN模型性能最佳。

表7 不同CNN模型性能對比分析Tab.7 Performance comparison and analysis of different CNN models

2.3 實驗分析

2.3.1 模型測試分析

通過上述實驗驗證可知，通過仿射變換將GTSRB 數(shù)據(jù)集擴(kuò)充10%，并灰度化、CLAHE、歸一化處理后，將交通標(biāo)志圖像輸入改進(jìn)的SPPN-CNN 模型結(jié)構(gòu)進(jìn)行識別。其中卷積核尺寸為3×3，全連接層為1 層，神經(jīng)元數(shù)量為120。批量大小為128，卷積層和全連接層的Dropout 分別為0.7 和0.5；其余保存初始設(shè)定不變。

根據(jù)改進(jìn)SPPN-CNN模型訓(xùn)練過程曲線圖9可知，訓(xùn)練與驗證數(shù)據(jù)的精度的損失曲線擬合度較好，表明模型不存在欠擬合或過擬合的情況；同時模型訓(xùn)練和測試精度高、損失小，表明模型魯棒性較強(qiáng)。

由改進(jìn)SPPN-CNN 模型測試圖10 可知，在測試的所有批次中，測試精度較高，最低準(zhǔn)確率高于94%，同時誤差較小，最高誤差不高于0.3，表明模型具有較強(qiáng)的泛化能力。

2.3.2 模型對比分析

對比HOG-Gabor 和MFC-ELM（Multi-layer Feature CNN and Extreme Learning Machine）算法可知，改進(jìn)SPPN-CNN 模型相較于HOG-Gabor方法，識別準(zhǔn)確率更高，耗時稍多。相較于MFC-ELM 模型，準(zhǔn)確率稍低，但耗時大幅縮短。綜合考慮識別準(zhǔn)確率和耗時，改進(jìn)SPPN-CNN 具有更均衡優(yōu)良的識別性能。

2.3.3 模型識別效果

選擇曝光、霧天和陰暗環(huán)境下交通標(biāo)志圖像，利用原始模型和改進(jìn)SPPN-CNN 模型預(yù)測，分類效果如圖11 所示。在曝光情況下，原始模型分類錯誤，但改進(jìn)SPPN-CNN 模型分類正確，且正確率高。對比霧天和陰暗環(huán)境下預(yù)測精度可知，在惡劣天氣情況下，利用改進(jìn)SPPN-CNN 模型能夠?qū)崿F(xiàn)交通標(biāo)志的準(zhǔn)確分類，并且分類效果遠(yuǎn)高于原始模型。

圖9 改進(jìn)SPPN-CNN模型訓(xùn)練過程曲線Fig.9 Training process curves of improved SPPN-CNN model

圖10 改進(jìn)SPPN-CNN模型測試曲線Fig.10 Test curves of improved SPPN-CNN model

圖11 原始模型和改進(jìn)SPPN-CNN模型對不同交通標(biāo)志圖像的預(yù)測精度對比Fig.11 Prediction accuracy comparison of original model and improved SPPN-CNN model on different traffic sign images

表8 不同交通標(biāo)志識別模型性能對比Tab.8 Performance comparison of different traffic sign recognition models

3 結(jié)語

本文提出了一種高精度輕量級交通標(biāo)志識別模型，利用圖像歸一化、灰度化和限制對比度直方均衡化等圖像預(yù)處理方法消除光照、霧霾等環(huán)境因素的影響，提高模型分類精度和泛化性。在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，通過空間金字塔結(jié)構(gòu)實現(xiàn)圖像多尺度特征的提取，并利用批量歸一化方法增強(qiáng)模型的圖像表征能力，構(gòu)建實時高精度的改進(jìn)SPPN-CNN 交通標(biāo)志識別模型。

利用仿射變換擴(kuò)充GTSRB 訓(xùn)練數(shù)據(jù)集，并基于卷積核尺寸、訓(xùn)練批量大小和Dropout等網(wǎng)絡(luò)參數(shù)比選實驗對模型進(jìn)行調(diào)參，同時對比分析不同改進(jìn)模型的訓(xùn)練效果并驗證模型性能。通過Python 編程算法實現(xiàn)實驗結(jié)果表明，本文模型在網(wǎng)絡(luò)量級小的情況下，達(dá)到了98.04%的分類精度和低配GPU下3 000 frame/s 的識別速率。改進(jìn)SPPN-CNN 交通標(biāo)志識別模型準(zhǔn)確率高、泛化性和實時性強(qiáng)，滿足自然環(huán)境下交通標(biāo)志實時識別的實際應(yīng)用需求。