一種結合ResNet和遷移學習的交通標志識別方法

徐慧智,閆卓遠,常夢瑩

(東北林業大學 交通學院, 哈爾濱 150040)

交通標志識別是自動駕駛技術和智能駕駛系統的關鍵組成部分,對于智能交通系統的發展具有重要作用。快速準確地識別交通標志可以為駕駛員或車輛自動控制系統提供行車指示信息,有助于行車安全,同時提高道路通行效率[1]。在現實中,往往需要在多變的自然場景下識別交通標志,雨雪天氣、障礙物遮擋、交通標志傾斜等情況都會影響識別效果[2],因此實時高效的交通標志識別方法是目前的研究熱點[3]。

交通標志識別常用的方法有基于模板匹配的方法、基于機器學習的方法、基于深度學習的方法[4]。由于每類交通標志都有獨特的顏色、形狀和字符等特征,馮春貴等[5]提出了一種模塊匹配方法對限速標志進行識別,通過抽取限速標志字符的特征,利用邊緣模板匹配限速標志,識別率提高到95%以上。谷明琴等[6]通過變換RGB顏色空間分割交通標志圖像,利用模塊匹配分類,整體識別率超過91%。簡單的基于交通標志特征的算法局限于標志的磨損、遮擋等情況,很難對交通標志準確識別,為此,Ahmed等[7]采用自適應閾值分割算法提取標志的邊界和顏色,利用模塊匹配方法和SVM檢測識別交通標志,識別率達到98.23%。隨著卷積神經網絡(CNN)的發展,LeNet-5[8]、AlexNet[9]、VGG[10]、ResNet[11]等經典的CNN模型被相繼提出,并且在圖像識別領域得到了廣泛應用。汪貴平等[12]將inception卷積模塊組引入傳統LeNet-5 CNN,同時增加網絡深度,改進的LeNet-5網絡交通標志識別的準確率達到98.51%。張佳達等[13]利用ResNet,堆疊不同尺寸的殘差模塊,構建了具有100層卷積層的網絡模型,該模型在比利時交通標志數據集(BTSC)上的精度高達99.34%。趙樹恩等[14]通過設定相關閾值,在HSV空間分離出交通標志的顏色來定位交通標志,然后使用改進的VGG模型識別交通標志,該方法的識別準確率達到94.12%。Li等[15]結合faster R-CNN和MobileNet網絡檢測交通標志,再使用非對稱卷積的高效CNN分類,該方法的識別精度高達99.66%。

基于模塊匹配和機器學習的交通標志識別方法需要對圖像進行預處理,然后人工提取圖像特征,工作量較大,該類方法容易受到識別環境的影響,且識別準確率不高。使用CNN可以在一定程度上減少前期工作,提高識別率,但是訓練模型耗時長,硬件設施要求高,且需要大量的數據樣本,制作數據集工作量較大。針對以上問題,采用遷移學習的方法,基于預訓練網絡模型權重建立交通標志識別模型,將已經在ImageNet圖像數據集上訓練好的ResNet模型權重遷移到交通標志識別模型上,再使用交通標志樣本數據訓練模型。

1 試驗數據

1.1 交通標志數據集

以3類典型交通標志:指示標志(mandatory)、警告標志(warning)和禁令標志(prohibition)作為研究對象。試驗所需要的交通標志樣本數據部分人工拍攝于哈爾濱市香坊區和興路路段,部分來源于中國交通標志檢測數據集(CCTSDB),所有圖像樣本數據均拍攝于道路實景且由人工分類標注。

本次試驗的交通標志數據集由7 200張圖像組成,每類圖像均有2 400張。以7∶3的比例將交通標志數據集分為訓練集和測試集2部分,訓練集數量為5 040張,測試集數量為2 160張。數據集的樣本數量分布如表1所示,部分交通標志圖像如圖1所示。

表1 交通標志圖像樣本數量分布

圖1 部分交通標志圖像

1.2 數據預處理

訓練模型需要大量的數據樣本,在訓練樣本不足的情況下,數據擴充能夠增加樣本的數量和多樣性,避免模型訓練時產生過擬合的現象,在一定程度上提升模型的性能。因此利用PIL和skimage圖像處理庫對采集到的交通標志進行隨機旋轉、平移、添加噪聲、對比度增減等操作實現數據擴充。其中1張圖像的數據擴充效果如圖2所示。

在使用不同的CNN模型進行遷移學習時,需要根據模型結構調整輸入圖像的尺寸大小,而對數據進行歸一化處理(均值變為0,標準差變為1)能夠降低模型過擬合,加快模型的收斂速度。因此在使用ResNet模型訓練時,利用transforms將輸入圖像尺寸調整為224 pixel×224 pixel,之后使用normalize函數對數據進行批量歸一化處理。

圖2 數據擴充效果圖像

2 試驗方法

2.1 遷移學習

遷移學習是深度學習中的一種方法,其思想是在新模型中引入經大型數據集充分訓練的模型權重,將某個領域上學習到的知識遷移到目標領域的任務中[16]。考慮到大部分任務都具有一定的相關性,通過遷移學習能夠提高模型的訓練效率并減少網絡對數據集樣本量的需求。遷移學習的2種常用方法為:① 固定特征提取器:利用經過充分訓練的CNN模型,移除網絡最后一個全連接層,凍結網絡的其他部分,并將其視為新數據集的特征提取器,再基于新的數據集訓練一個分類器。② 微調卷積網絡:不僅在新數據集上替換和重新訓練分類器,還通過反向傳播微調網絡參數,通常是凍結靠近輸入的卷積層,微調靠近輸出的卷積層。

AlexNet、VGG、ResNet等經典的CNN模型在圖像識別分類領域中得到了廣泛應用,且均在 ImageNet、CIFAR-10等大型圖像數據集上進行充分訓練,測試效果良好。基于遷移學習方法在小樣本數據集上的優勢,以在大型圖像數據集上訓練好的ResNet預訓練網絡模型權重為基礎,基于第一種固定特征提取器的方法,構建交通標志識別模型,之后通過訓練比選得出精度最高的模型權重,并在測試集上測試,最后輸出分類結果,實現對交通標志的準確識別。

2.2 ResNet網絡結構

網絡層數加深會引起梯度消失或梯度爆炸,導致網絡模型的學習效率降低。2016年He等[11]提出了ResNet網絡模型,引入殘差結構。通過shortcut連接2個權重層的輸入和輸出,傳遞自身映射,使得淺層網絡直接向深層網絡傳遞特征,解決了深層網絡退化的問題,實現在神經網絡不斷加深的同時提升學習效率。ResNet殘差結構如圖3所示,輸入x經過第一個權重層和激活層得到F(x),經過第二個權重層時將F(x)與x相加得到輸出H(x):

H(x)=F(x)+x

(1)

當殘差F(x)=0時,

H(x)=x

(2)

即輸入x等于輸出x,此時網絡構成恒等映射,保證了網絡性能不會隨網絡層數加深而下降。

圖3 ResNet殘差結構

ResNet有層數不同的網絡結構,常用的有ResNet18、ResNet34和ResNet50,均由5個卷積塊和1個全連接層組成,其中卷積塊由不同數量的殘差結構堆疊組成。不同層數的ResNet的區別在于各個卷積塊的卷積層數和通道數不同。ResNet34網絡結構如圖4所示,輸入大小為224×224,通道數為3的圖像,經過5個卷積塊提取圖像特征,輸出大小為7×7,通道數為512的特征圖,之后輸入平均池化層取平均值,最后輸入全連接層,由softmax函數將圖像分為1 000類。

圖4 ResNet34網絡結構框圖

2.3 模型結構及優化

2.3.1模型結構

基于ResNet模型進行遷移學習,首先凍結模型的卷積層,停止網絡模型權重和偏置值的更新,將卷積層視為新模型的特征提取器。由于該模型已在具有1 000個圖像類別的ImageNet數據集上進行預訓練,而采集3類交通標志作為樣本數據,故去除模型原本的全連接層,為模型設計輸出維度為3的新全連接層,最后使用樣本數據訓練模型。基于ResNet34的交通標志識別模型結構如圖5所示,輸入經過標準化處理的交通標志圖像,通過1個卷積層和4個由殘差結構堆疊組成的卷積塊提取圖像特征,再由平均池化層計算圖像區域的平均值,之后利用flatten將多維輸入展平降維,最后由全連接層對交通標志圖像分類。

2.3.2模型優化

優化器沿梯度下降方向調整模型參數,使其逼近或達到最優值,并使損失值不斷降低,實現對模型的優化。本文模型的優化器采用帶動量的隨機梯度下降法(stochastic gradient descent with momentum,SGDM),與SGD相比,加入一階動量,使參數更新能夠保持前一時刻的趨勢,解決了使用SGD容易卡在梯度較小點的問題,加快了模型的收斂速度,SGDM的參數更新如下:

mt=βmt-1+(1-β)gt

(3)

(4)

wt+1=wt-lr×(βmt-1+(1-β)gt)

(5)

式中:mt為t時刻的一階動量;β為動量參數,一般取0.9;gt為t時刻的梯度;wt為t時刻的參數;lr為學習率;vt為二階動量,取1。

圖5 基于ResNet34的交通標志識別模型

在梯度下降算法中需要設置學習率來控制參數更新的步幅大小,學習率不是固定值,一般在訓練初期設置較大的學習率加速網絡收斂,在訓練后期設置較小的學習率使網絡更好地趨向最優解。采用固定步長衰減法更新學習率,即每隔固定的訓練輪次對學習率進行衰減,避免了訓練后期因學習率較大導致參數在最小值附近波動的問題。

損失函數用來衡量模型訓練效果的好壞,損失函數越小,說明訓練的效果越好。本文模型選擇交叉熵損失函數計算分類損失,交叉熵損失函數在分類問題中得到了廣泛的應用,在多分類問題中,其表達式為:

(6)

式中:Loss為損失函數;N為樣本數量;K為分類標簽數量;yi,k為第i個樣本的真實標簽為k;pi,k為第i個樣本預測為第k個標簽的概率。

2.4 試驗流程

使用采集的3類交通標志樣本作為數據集,劃分為訓練集和測試集2部分,并對數據進行預處理。將已經在ImageNet圖像數據集上訓練好的ResNet模型權重遷移到新的網絡模型,并凍結卷積層,將其作為新模型的特征提取器,之后為新模型重新設計全連接層,構建交通標志識別模型,最后用訓練集訓練模型并用測試集檢驗模型的識別精度。試驗流程如圖6所示。

圖6 試驗流程框圖

3 結果與分析

3.1 試驗環境及參數設定

本次試驗的硬件環境為AMD Ryzen 7 5800H with Radeon Graphics @3.20 GHz CPU,16 GB內存;NVIDIA GeForce RTX 3060 Laptop GPU,6 GB顯存。軟件環境為Windows 10 64bit操作系統;Python 3.8語言;Pytorch 1.10.0深度學習框架。模型的訓練和測試均使用GPU加速,綜合硬件條件和模型訓練效果,batch size設置為32(即每個批次取32個樣本訓練),迭代次數設置為100輪次,初始學習率設置為0.01。

3.2 評價指標

通過準確率(accuracy)、查準率(precision,P)、查全率(recall,R)、F1分數(F1-score)和訓練耗時等指標評估模型的性能。準確率是模型正確分類的樣本數與總樣本數之比,查準率、查全率和F1分數的計算見下式:

(7)

(8)

(9)

式中:TP和FP分別表示識別正確和錯誤的交通標志樣本數,FN表示未被識別到的交通標志樣本數。

3.3 訓練結果及性能分析

3.3.1數據擴充對模型性能的影響

為驗證數據擴充對本文模型性能的影響,在保證模型優化方式和試驗參數相同的條件下,使用本文模型分別對數據擴充前的數據集和經過旋轉、平移、添加噪聲等數據增強方法擴充的數據集進行訓練,并記錄測試集準確率的最大值和訓練耗時。訓練結果如表2所示,由表可知,數據擴充策略對模型的訓練結果有影響,使用經數據擴充后的數據集進行遷移學習,準確率比數據擴充前提高了2.39%。由于數據擴充策略增加了訓練樣本的數量,訓練耗時也會相應增多。

表2 數據擴充前后訓練結果

圖7為數據集擴充前后的準確率曲線,可以看出,采用數據擴充前的數據集對模型進行訓練,準確率曲線波動幅度較大;采用經數據擴充后的數據集對模型進行訓練,準確率曲線較為平穩。說明數據擴充策略能夠提高小樣本數據集進行遷移學習的模型精度和穩定性。

圖7 數據擴充前后的準確率曲線

3.3.2數據集大小對模型性能的影響

數據集大小在一定程度上影響模型的性能,為研究其對交通標志識別效果的影響,在原數據集中隨機選取6 000、4 800、3 600張樣本圖像組成新數據集,使用原數據集和3種不同大小的數據集訓練模型,記錄測試集準確率的最大值和訓練耗時如表3所示。由表可知,模型的準確率隨著數據集的增大而提高,數據集大小減半的情況下,模型仍有97.03%的準確率,說明使用遷移學習方法訓練的本文模型,對于小樣本數據集具有良好的識別效果,而增加數據集樣本量進行遷移學習能夠使模型充分學習交通標志的特征,達到更高的精度。

表3 不同大小數據集的訓練結果

3.3.3學習率對模型性能的影響

為驗證學習率設置大小和學習率衰減策略對本文模型性能的影響,在其他試驗參數相同的情況下,設置0.05、0.01、0.001共3組初始學習率,采用學習率固定和學習率衰減2種訓練策略訓練本文模型,并記錄測試集準確率的最大值。訓練結果如表4所示,由表可知,初始學習率設置為0.01,且采用學習率衰減策略時模型的準確率最高,達到97.60%。初始學習率設置相同的情況下,學習率衰減的模型準確率略高于學習率固定的模型。不同學習率設置的準確率曲線如圖8所示。

表4 不同學習率設置的訓練結果

圖8 不同學習率設置的準確率曲線

圖8(a)為初始學習率設置為0.01時2種訓練策略的準確率曲線,由圖8(a)可知,采用固定學習率訓練,模型難以收斂,且準確率較低。圖8(b)為3組初始學習率采用學習率衰減策略訓練模型的準確率,可以看出初始學習率設置為0.05時,模型收斂最快,但學習率較大會跳過最優解;初始學習率設置為0.001時,模型收斂緩慢,且達不到最優解。說明將初始學習率設置為0.01,且使用衰減的學習率更適合本文模型進行遷移學習。

3.3.4不同模型的訓練結果

為驗證所提出的模型在交通標志識別問題上的有效性,選取AlexNet、VGG16和ResNet18這3種CNN模型與本文模型進行對比試驗,在相同的試驗參數設置條件下采用遷移學習的方法對模型進行訓練與測試,均迭代100輪次后,以測試集準確率的最大值為評價指標對模型的性能進行評估。4種模型的訓練結果如表5所示。

表5 4種模型訓練結果對比

由表5可知,4種模型經過100輪次訓練均達到90%以上的準確率,且訓練耗時均控制在50 min以內,說明利用遷移學習方法可以在短時間內訓練出精度較高的交通標志識別模型。相較于AlexNet、VGG16這2種網絡模型,ResNet網絡結構中引入了殘差結構塊,在增加網絡層數、降低模型參數的同時提高了模型的精度,因此訓練結果表明了遷移學習方法的優越性和殘差結構的有效性。4種模型的準確率和損失值如圖9所示。

準確率曲線表示隨著迭代訓練次數的增加,模型預測數據集樣本精度的變化情況。由圖9(a)可知,本文模型與AlexNet、VGG16和ResNet18相比收斂速度更快,且預測精度更高,最終模型的準確率達到97.60%。損失曲線表示隨著迭代次數的增加,模型的預測值和真實值之間差距的變化情況。由圖9(b)可知,本文模型的損失值率先收斂,且損失值最小。

相較于AlexNet,VGG減小卷積核大小,增加網絡深度,而ResNet是在VGG的網絡基礎上增加網絡深度,引入shortcut連接機制來提升網絡性能,因此與其他經典的CNN模型相比,基于ResNet34的遷移學習模型對交通標志的識別率最高,更適用于識別交通標志。

圖9 4種模型測試的準確率曲線與損失值曲線

3.4 測試結果分析

3.4.1分類結果

數據集包括指示、警告、禁令3類交通標志,各類交通標志包含不同的顏色、形狀等要素。從顏色上看,紅色用于禁令標志;黃色用于警告標志的底色;藍色用于指示標志的底色。從形狀上看,三角形用于警告標志;方形用于部分指示標志;圓形用于禁令和指示標志。

使用訓練好的交通標志識別模型對測試集樣本進行識別分類,模型識別各類交通標志的查準率、查全率、F1分數如表6所示,以F1分數為最終評價指標,模型的分類性能從高到低依次是警告標志、指示標志、禁令標志。

表6 模型的分類結果

對被錯誤識別的樣本圖像分析可知,造成交通標志未被識別或識別錯誤的原因有以下幾種:① 交通標志顏色溫和,與背景顏色相似(圖10(a));② 交通標志圖像模糊(圖10(b));③ 交通標志傾斜一定角度,特征表達不明顯(圖10(c));④ 交通標志被遮擋(圖10(d));⑤交通標志磨損(圖10(e))。

圖10 容易識別錯誤的交通標志圖像

利用混淆矩陣將交通標志識別模型的分類結果可視化,如圖11所示,x軸表示交通標志的真實標簽,y軸表示其預測標簽,矩陣中的值nij表示將第i類交通標志識別為第j類的次數。主對角線上的值越大,說明模型的識別效果越好。

圖11 分類結果混淆矩陣示意圖

由表6可知,模型對警告標志的F1分數最高,達到99.37%,因其顏色鮮艷,形狀不同于指示和禁令標志;對指示和禁令標志的F1分數分別為96.86%和96.53%,因指示和禁止標志均為圓形,且指示標志顏色相對溫和。說明交通標志的顏色、形狀等特征對識別結果有影響,顏色鮮艷、形狀獨特的交通標志更易于識別。

3.4.2多場景下測試結果

從測試集中隨機選取1 200張交通標志圖像,每類交通標志均選取400張,然后利用imgaug圖像處理庫增強圖像,分別模擬低照度環境、霧霾天氣、雨雪天氣,部分處理效果圖像如圖12。

圖12 4種場景下的部分交通標志圖像

使用本文模型對4種場景下的交通標志進行識別分類,記錄測試準確率如表7所示。由表可知,本文模型在原始環境下對交通標志的識別準確率最高,達到97.67%。其次為低照度環境,識別準確率為96.75%,說明光照條件對交通標志識別的影響較小。霧霾天氣和雨雪天氣2種場景下的識別準確率較低,說明惡劣天氣對交通標志識別有較大影響。模型在4種場景下均達到92%以上的識別準確率,表明本文模型能夠滿足多場景下的交通標志識別要求。

表7 4種場景下的模型測試結果

4 結論

1) 使用經過數據擴充的數據集對模型進行遷移學習,能夠在一定程度上提高模型的精度和魯棒性。增多數據集的樣本量能夠提高模型的精度。

2) 學習率衰減策略在訓練前期以較大的學習率加速模型收斂,后期衰減為較小的學習率使模型更好地趨向最優解。將初始學習率設置為0.01,使用衰減的學習率進行遷移學習時,本文模型的精度最高。

3) 利用遷移學習方法可以在較短時間內訓練出精度較高的交通標志識別模型。在相同的試驗參數下進行遷移學習,相較于AlexNet、VGG16和ResNet18,本文模型精度最高,更適用于識別交通標志。

4) 交通標志的顏色、形狀、字符等特征和交通標志所處的自然環境對識別效果有較大影響,特征表達明顯的交通標志更易于識別。

試驗結果表明,使用遷移學習方法訓練的本文模型泛化能力較好,能夠滿足多場景下的交通標志識別需求,在解決交通標志識別問題上有一定的可行性。在未來的研究中應豐富交通標志數據集,加入不同自然環境下的交通標志樣本圖像,使模型充分學習多尺度特征,以進一步提高模型的性能。