基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的道路交通標(biāo)志識別方法研究

尉天成, 陳小鋒, 殷元亮

(西北工業(yè)大學(xué) 自動化學(xué)院, 陜西 西安 710129)

道路交通標(biāo)志識別作為智能交通系統(tǒng)(intelligent traffic systems,ITS)[1]的研究熱點(diǎn)，是汽車自動駕駛和智能輔助駕駛系統(tǒng)中的道路環(huán)境感知技術(shù)的重要組成部分[2]。交通標(biāo)志識別在交通安全維護(hù)、先進(jìn)駕駛輔助以及自動駕駛等多方面具有重要作用，是智能輔助駕駛系統(tǒng)以及無人駕駛等領(lǐng)域研究的關(guān)鍵和基礎(chǔ)[3]。交通標(biāo)志識別技術(shù)最早起步于20世紀(jì)70年代，但受限于當(dāng)時計(jì)算機(jī)的性能，該技術(shù)進(jìn)展緩慢。21世紀(jì)以來，計(jì)算機(jī)性能的快速增強(qiáng)和交通智能化的發(fā)展趨勢為交通標(biāo)志識別技術(shù)提供了契機(jī)。

戈俠等提出一種線性融合圖像方向梯度直方圖特征和局部二值模式特征的方式進(jìn)行交通標(biāo)志識別[4]。沙莎等提出多通道特征融合的基礎(chǔ)上，以圖像的顏色聚類形成的特征作為最小二乘法分類器的輸入進(jìn)行分類[5]。Madani等基于邊界顏色、形狀等信息對交通標(biāo)志進(jìn)行識別，采用自適應(yīng)閾值方法和支持向量機(jī)模型進(jìn)行識別和分類[6]。Aziz等提出了基于互補(bǔ)和判別特征組合的交通標(biāo)志識別方法，并結(jié)合ELM算法對交通標(biāo)志進(jìn)行識別，取得了較高的準(zhǔn)確率[7]。Boumediene等在交通標(biāo)志研究基礎(chǔ)上，采用卡爾曼濾波的方法提高了交通標(biāo)志識別的準(zhǔn)確率[8]。Lillo-Castellano等利用HIS的顏色分割方法，在交通標(biāo)志顏色分割中取得不錯的效果[9]。Girshick提出RCNN模型，該模型通過多層卷積層可以提取圖像的不同特征以及高級語義特征[10]。Cheng等提出了一種基于局部背景的Faster RCNN來識別較小目標(biāo)的交通標(biāo)志檢測方法[11]。Xiong等提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的RPN檢測全部中國交通標(biāo)志檢測算法[12]。

通過圖像分割模板匹配等方法進(jìn)行交通標(biāo)志識別方法在時間和準(zhǔn)確度上存在不足。現(xiàn)有深度學(xué)習(xí)識別方法缺乏針對交通標(biāo)志的特征設(shè)計(jì)的網(wǎng)絡(luò)模型，難以直接應(yīng)用于交通標(biāo)志識別。本文在現(xiàn)有研究基礎(chǔ)上，針對交通標(biāo)志識別問題對Faster RCNN模型[13]進(jìn)行改進(jìn)，通過對提取特征的卷積神經(jīng)網(wǎng)絡(luò)以及候選框生成辦法進(jìn)行改進(jìn)和優(yōu)化，使得神經(jīng)網(wǎng)絡(luò)能夠更加適用于交通標(biāo)志識別，提高網(wǎng)絡(luò)模型在不同天氣情況下以及不同尺寸下的識別準(zhǔn)確率。

1 多路并聯(lián)全卷積網(wǎng)絡(luò)設(shè)計(jì)

1.1 多路并聯(lián)全卷積網(wǎng)絡(luò)總體設(shè)計(jì)思想

Faster RCNN可以視為2個功能模塊組成的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，即區(qū)域建議框推薦網(wǎng)絡(luò)和全卷積分類識別網(wǎng)絡(luò)。圖像首先經(jīng)過卷積特征提取網(wǎng)絡(luò)產(chǎn)生共享特征層，這兩個網(wǎng)絡(luò)模塊共享特征提取網(wǎng)絡(luò)產(chǎn)生的卷積共享特征層。區(qū)域建議網(wǎng)絡(luò)會通過共享特征層產(chǎn)生多個錨框，然后對每個錨框都進(jìn)行目標(biāo)評分，通過這個評分對圖形的前景和背景進(jìn)行區(qū)分，最后根據(jù)設(shè)定的閾值來判斷前景和背景框，將候選特征送入感興趣區(qū)域(ROI區(qū)域)池化層，將候選區(qū)域映射到特征圖上，產(chǎn)生候選區(qū)域框。全卷積神經(jīng)網(wǎng)絡(luò)[14]則將這些候選框作為輸入，通過一個全連接層對目標(biāo)進(jìn)行分類和識別。深度學(xué)習(xí)網(wǎng)絡(luò)模型從應(yīng)用到圖像識別領(lǐng)域發(fā)展出了越來越多的深度學(xué)習(xí)框架，通過增加網(wǎng)絡(luò)深度以及優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)識別和分類方面能力也取得了很大的突破。這些網(wǎng)絡(luò)在一般目標(biāo)識別方面有較好的效果和適應(yīng)性，但是對于一些特定的應(yīng)用領(lǐng)域存在局限性。在交通標(biāo)識識別方面，直接應(yīng)用這些卷積神經(jīng)網(wǎng)絡(luò)并不能取得很好的效果，主要原因在于交通標(biāo)志容易受環(huán)境因素影響，如陽光路燈等光照因素、惡劣天氣造成的能見度不足等因素。除此之外，在交通標(biāo)志圖像采集方面，由于采集設(shè)備質(zhì)量元素的影響，以及采集狀態(tài)的不同，交通標(biāo)志圖像大小不一，伴隨車輛等采集設(shè)備載體的運(yùn)動過程，交通標(biāo)志還會產(chǎn)生形狀、大小以及運(yùn)動模糊等因素阻礙交通標(biāo)志識別過程。為了更好得完成交通標(biāo)志識別，本文提出一種多路并聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)，總體設(shè)計(jì)框架如圖1所示。

圖1 多路并聯(lián)全卷積網(wǎng)絡(luò)圖

本文對適用于交通標(biāo)志識別的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，充分考慮了多種因素的影響情況，有效提高了交通標(biāo)志識別、分類效果。多路并聯(lián)的全卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)主要從以下3個方面出發(fā)：①考慮交通標(biāo)志容易受天氣光照等外界因素影響，本文從交通標(biāo)志特有的顯著特征出發(fā)，設(shè)計(jì)了一種多路卷積神經(jīng)網(wǎng)絡(luò)并聯(lián)的框架結(jié)構(gòu)，優(yōu)化交通標(biāo)志特征提取網(wǎng)絡(luò)，使用多路卷積網(wǎng)絡(luò)對目標(biāo)進(jìn)行特征提取，然后對多個卷積特征層進(jìn)行融合操作。通過特征層融合操作優(yōu)化后的特征層，使得目標(biāo)特征更加顯著。②考慮交通標(biāo)志在采集圖像中占比較小，且大小隨距離、角度等因素影響，一般卷積神經(jīng)網(wǎng)路都缺乏對于弱小目標(biāo)的檢測識別效果，本文使用串聯(lián)小卷積核代替大卷積核的卷積神經(jīng)網(wǎng)絡(luò)來增加對于不同尺度的感受能力，降低小目標(biāo)特征的損失，同時對深層特征和淺層特征進(jìn)行融合形成最終共享特征層。本方法可以避免小目標(biāo)特征隨著網(wǎng)絡(luò)深度增加而丟失的情況發(fā)生，在使網(wǎng)絡(luò)具備一定深度的同時，不會損失目標(biāo)特征信息，從而降低交通標(biāo)志漏檢情況的發(fā)生率。③使用全卷積網(wǎng)絡(luò)代替全連接網(wǎng)絡(luò)，用卷積層代替全連接層，得到位置敏感ROI熱度圖來代替原來的全連接神經(jīng)元部分，對ROI區(qū)域熱度圖計(jì)算得出所有分類的概率，再進(jìn)行上采樣操作得到原圖大小的輸出，將特征點(diǎn)映射到原圖對目標(biāo)進(jìn)行回歸。

1.2 多路并聯(lián)特征提取網(wǎng)絡(luò)設(shè)計(jì)實(shí)現(xiàn)

本文網(wǎng)絡(luò)模型對目標(biāo)圖像進(jìn)行預(yù)處理,將圖像信息分別送入多路并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)。輸入圖像大小為L×L,經(jīng)過2層大小為3×3,層數(shù)為96的前2層卷積層,以步長為2進(jìn)行卷積運(yùn)算,得到L/4大小的特征圖,然后經(jīng)過平均值池化操作,將特征圖大小縮減為L/8。第三層卷積層使用大小為3×3的26層卷積核,層數(shù)為256的卷積層以步長為1進(jìn)行運(yùn)算,經(jīng)過最大值池化后輸出L/16的特征圖。第四層卷積層大小為3×3,選擇512層的特征層,步長為1卷積,經(jīng)過最大值池化后輸出L/32大小的特征圖。最后使用大小為3×3,層數(shù)為1 024的卷積核,步長為2,進(jìn)行卷積,經(jīng)過下采樣后輸出L/64的特征圖。使用大小為1×1的卷積層代替全連接層的卷積神經(jīng)網(wǎng)絡(luò),生成目標(biāo)ROI區(qū)域和目標(biāo)ROI熱度圖,計(jì)算最終類別分類概率進(jìn)行分類,并在原圖上對目標(biāo)進(jìn)行定位和識別。

在本文所使用網(wǎng)絡(luò)中,使用3×3大小卷積核卷積層進(jìn)行卷積運(yùn)算,取消了Faster RCNN中的5×5等多種大卷積核的卷積操作,原因在于3×3的卷積對于圖像所有細(xì)節(jié)特征感知更加敏感,能夠捕捉更詳細(xì)的目標(biāo)特征,降低細(xì)節(jié)特征信息丟失。通過2個3×3卷積層代替5×5卷積層,在感受野方面起到同樣的效果。用2層小卷積核代替大卷積核,可以增加網(wǎng)絡(luò)深度和網(wǎng)絡(luò)的非線性特征提取能力,加強(qiáng)對于非線性目標(biāo)的擬合能力。在參數(shù)數(shù)量方面,相同層數(shù)的卷積層,5×5卷積層需要的參數(shù)量5×5×N。2個3×3卷積層需要的參數(shù)量為3×3×2N,參數(shù)量減少了28%。不同大小卷積核效果圖如圖2所示。

圖2 不同大小卷積核效果圖

1.3 全卷積網(wǎng)絡(luò)改進(jìn)設(shè)計(jì)和優(yōu)化

使用多層卷積核進(jìn)行特征提取,根據(jù)網(wǎng)絡(luò)深度不同,得到的卷積特征圖所表達(dá)的特征也不一樣。淺層的特征層對于小范圍區(qū)域內(nèi)特征比較敏感,能夠獲得目標(biāo)的局部詳細(xì)特征;深層的特征層則注重于較大范圍區(qū)域內(nèi)特征層的表達(dá),能夠概括目標(biāo)比較全面的輪廓特征信息，因此卷積神經(jīng)網(wǎng)絡(luò)可以依靠增加網(wǎng)絡(luò)深度提取更多的特征。但隨著卷積層層數(shù)的增加,往往會丟失部分小目標(biāo)的特征信息,造成目標(biāo)漏檢。為了解決此問題,本文使用了一種深淺層特征融合的特征提取方法,選用了第二層、第四層和第六層得到的特征層進(jìn)行融合,對淺層和深層特征層分別進(jìn)行池化操作和反卷積操作,使得3層特征大小統(tǒng)一。對于輸入L×W大小的圖片,經(jīng)過融合卷積層特征后得到最終的特征層大小為(L/32)×(W/32)。得到的特征圖既包含了低層小目標(biāo)和詳細(xì)特征,也包含了高層特征層代表的語義信息。

由于全連接層的特性,整個網(wǎng)絡(luò)參數(shù)量巨大，使得模型訓(xùn)練速度降低;而且全連接網(wǎng)絡(luò)一旦確定結(jié)構(gòu),輸入圖像的尺寸將不再變化。使用3層大小為1×1,層數(shù)分別為4 096,4 096,1 000的卷積層代替全連接層。各卷積層的輸出分別為2組4 096×(L/64)×(L/6)和1組k2×(C+1)大小特征向量,其中C表示類別數(shù),k表示ROI區(qū)域被劃分的子區(qū)域大小。計(jì)算候選框內(nèi)各個子塊是目標(biāo)子領(lǐng)域的概率,最后計(jì)算候選框內(nèi)平均值,得到所有分類的得分圖。位敏得分計(jì)算公式為

(1)

式中：Sc(i,j|Θ)為(i,j)位置第C個類別的目標(biāo)概率得分;zi,j,c是(C+1)個類別得分圖之一。(x0,y0)對應(yīng)ROI區(qū)域的左上角,m×n是每個子區(qū)域內(nèi)像素個數(shù)。然后通過計(jì)算k2獲得ROI區(qū)域的最終得分,產(chǎn)生長度為(C+1)的一維向量,將該向量送入Softmax分類計(jì)算最終得分,計(jì)算公式如(2)式所示。

(2)

全卷積網(wǎng)絡(luò)對于輸入圖像尺寸沒有限制,使用卷積層代替全連接層,生成位置敏感熱度圖來對目標(biāo)特征圖進(jìn)行分類,每個特征點(diǎn)可以直接映射原圖中的像素點(diǎn)。當(dāng)輸入圖片大小和卷積核大小一致時,使用卷積層等價(jià)于建立全連接,但仍有所區(qū)別:全連接不會學(xué)習(xí)過濾,會給每個連接分權(quán)重并不會修改連接關(guān)系;卷積則是會學(xué)習(xí)有用的關(guān)系,沒用的關(guān)系它會弱化或者直接舍棄。這樣卷積塊可以共用一套權(quán)重,減少重復(fù)計(jì)算,還可以降低模型復(fù)雜度。但是全卷積神經(jīng)網(wǎng)絡(luò)用來分類識別特征圖經(jīng)過多層卷積運(yùn)算后,特征信息壓縮,特征點(diǎn)尺寸縮小,造成對于細(xì)節(jié)不太敏感,而且在與原圖映射像素點(diǎn)的時候,由于丟失部分像素點(diǎn)的信息,丟失了部分空間信息,對于目標(biāo)識別和目標(biāo)框回歸會造成一定的偏差。

本文對用于交通標(biāo)志識別的全卷積神經(jīng)網(wǎng)絡(luò)做出了優(yōu)化,具體原理如圖3所示。使用不同層的特征層,進(jìn)行反卷積運(yùn)算;將特征圖擴(kuò)充到原圖大小,通過將特征層分別反卷積擴(kuò)充到原圖大小,然后進(jìn)行加權(quán)融合,彌補(bǔ)了最終特征圖直接反卷積運(yùn)算至原圖大小的不足之處。優(yōu)化后的網(wǎng)絡(luò)實(shí)現(xiàn)了端到端的映射關(guān)系,對于特征識別分類和回歸有著積極的作用。通過不同特征層包含的信息對反卷積過程中缺失的信息進(jìn)行填補(bǔ),提高了目標(biāo)分割細(xì)節(jié)和精確度,有助于交通標(biāo)志的識別和回歸。

圖3 全卷積網(wǎng)絡(luò)上采樣優(yōu)化流程圖

2 改進(jìn)RPN候選框生成辦法

2.1 基于先驗(yàn)知識的候選框生成辦法

交通標(biāo)志的顏色以紅黃藍(lán)搭配白色和黑色的圖案為主,形狀多為圓形、三角形和矩形構(gòu)成,其大小比例有著統(tǒng)一的標(biāo)準(zhǔn)。所以從交通標(biāo)志先驗(yàn)知識出發(fā),將這些先驗(yàn)特征融入交通標(biāo)志識別算法有著事半功倍的效果。下面針對國際統(tǒng)一規(guī)范交通標(biāo)志數(shù)據(jù)集GTSRB,對其先驗(yàn)特征進(jìn)行統(tǒng)計(jì)。

圖4 交通標(biāo)志先驗(yàn)知識統(tǒng)計(jì)

由圖4a)中可以看出,數(shù)據(jù)集中交通標(biāo)志散點(diǎn)圖呈線性分布,分布于直線y=x的兩側(cè),長寬比以1∶1為主。由柱狀圖4b)可以看出大部分交通標(biāo)志尺寸大小主要集中于25×25像素至60×60像素的范圍內(nèi)。根據(jù)RPN候選框常用方法,在固定錨點(diǎn)的基礎(chǔ)上,使用3種不同尺度(128,256和512),以及3種不同寬高比(0.5,1和2)作為候選區(qū)域框的生成參數(shù),對于每一個錨點(diǎn)生成共9種候選區(qū)域,這種生成辦法對于一般情況下多尺度目標(biāo)識別有較好的效果。但是由于交通標(biāo)志尺寸大小大部分集中在60×60像素以下,而且寬高散點(diǎn)圖都集中分布在y=x兩側(cè)，所以Faster-RCNN原有的RPN生成方法不適用于本文所研究的交通標(biāo)志識別問題。因此本文對于RPN候選區(qū)域生成辦法針對交通標(biāo)志先驗(yàn)知識進(jìn)行了改進(jìn)。

(3)

式中,Lcls與Lreg別是錨點(diǎn)i的分類損失與回歸損失函數(shù)。RPN 通過進(jìn)行端對端的訓(xùn)練,使損失函數(shù)最小化。

2.2 增強(qiáng)型小目標(biāo)候選框生成辦法

對于較小的檢測目標(biāo),深度不同的特征層中特征點(diǎn)在原圖中映射的區(qū)域大小不同,淺層的特征點(diǎn)映射ROI1區(qū)域,占比較小,深層特征層映射ROI2區(qū)域,占比較大。由此可知卷積特征層的深度與映射到原圖占比成正相關(guān),因此針對交通標(biāo)志在圖形中占比和尺度較小的問題,使用以Faster RCNN為基礎(chǔ)的兩階段目標(biāo)識別框架,能夠降低目標(biāo)漏檢率以及生成更加有效的預(yù)測框。據(jù)此,本文提出了一種增強(qiáng)型的目標(biāo)預(yù)測框生成辦法,其原理如圖5所示。

圖5 增強(qiáng)型候選框生成方法

交通標(biāo)志數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)顯示,交通標(biāo)志尺寸大小有很大一部分集中于25×25像素至60×60像素之間。為了降低小目標(biāo)漏檢情況的發(fā)生,本文提出的增強(qiáng)型候選框生成方法使用雙層特征層根據(jù)錨點(diǎn)進(jìn)行候選框生成。小目標(biāo)特征往往在第三層特征層比較全面,細(xì)節(jié)詳實(shí)且特征點(diǎn)映射到原圖的區(qū)域大小與小尺寸交通標(biāo)志目標(biāo)大小相近。因此本文在共享特征層和低層特征層共同生成候選框,在原圖上生成錨點(diǎn)框作為候選區(qū)域。根據(jù)先驗(yàn)知識對候選框生成辦法進(jìn)行優(yōu)化,只生成3種尺寸大小的正方形候選框。為了增強(qiáng)小目標(biāo)交通標(biāo)志候選框的檢測率和候選框有效性,2層特征層各生成3個尺寸的候選框。增加一定數(shù)量的候選框,會增加時間的消耗,但在訓(xùn)練結(jié)果上對于交通標(biāo)志的識別效果有明顯的提升。

2.3 模型訓(xùn)練損失函數(shù)

本文在訓(xùn)練卷積網(wǎng)路模型時,利用多路并聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)來完成目標(biāo)的特征提取,結(jié)合RPN訓(xùn)練來得到目標(biāo)候選區(qū)域,屬于兩階段學(xué)習(xí)法深度學(xué)習(xí)網(wǎng)絡(luò),所以網(wǎng)絡(luò)訓(xùn)練需要使用多任務(wù)損失函數(shù)來最小化目標(biāo)函數(shù),任務(wù)損失函數(shù)如公式(3)所示。

其中分類損失Lcls是一個二分類問題的對數(shù)損失函數(shù)

(4)

對于回歸損失函數(shù)Lreg有

(5)

式中，R是Faster RCNN中的平滑損失函數(shù)

(6)

式中回歸損失函數(shù)中位置坐標(biāo)向量計(jì)算方法如下：

(7)

(8)

(9)

(10)

3 交通標(biāo)志識別效果分析

3.1 數(shù)據(jù)集處理

以GTSRB數(shù)據(jù)集為例,受實(shí)際交通狀況中對各種交通標(biāo)志使用頻率的影響,各類別的交通標(biāo)志數(shù)量往往差異較大,各類別數(shù)量分布并不均衡,樣本類別分布如圖6所示。訓(xùn)練集的類間分布不平衡將會導(dǎo)致識別算法傾向于那些高頻的交通標(biāo)志,針對該問題的解決辦法是對交通標(biāo)志數(shù)據(jù)集進(jìn)行數(shù)據(jù)增廣,數(shù)據(jù)增廣后的樣本類別數(shù)量分布如圖7所示。

圖6 樣本類別數(shù)量分布圖

圖7 數(shù)據(jù)增廣后樣本類別數(shù)量分布圖

對于個別數(shù)量較少的數(shù)據(jù)集,通過以下2種方法進(jìn)行處理:①對其圖像進(jìn)行縮放、平移、旋轉(zhuǎn)等處理,使訓(xùn)練數(shù)據(jù)集得以擴(kuò)充,增加該類別的交通標(biāo)志的數(shù)量,增強(qiáng)數(shù)據(jù)集對于實(shí)際交通標(biāo)志分布位置多變情況下的體現(xiàn);②通過仿射變換增加數(shù)據(jù)標(biāo)本,仿射變換可以增加數(shù)據(jù)集對于實(shí)際中不同角度不同距離等多種情況的模擬。

在實(shí)際的交通道路情況下,由于行道樹的影響,通常會出現(xiàn)樹木直接遮擋交通標(biāo)志或遮擋陽光導(dǎo)致光照不均的現(xiàn)象。此外,交通標(biāo)志采集常受到霧霾等天氣的影響,導(dǎo)致圖像模糊。為了減小以上問題對于交通標(biāo)志識別的影響,采用直方圖均衡化操作改善圖像中光照不均或者因光照過強(qiáng)等情況;采用去霧處理降低霧天等情況的模糊狀況。經(jīng)過預(yù)處理效果如圖8所示,圖8a)～8c)為原圖,圖8d)～8f)為處理效果圖,可見通過采取交通標(biāo)志圖像的直方圖均衡化、去霧處理預(yù)處理操作,可以使目標(biāo)圖像更加清晰,特征更加明顯,經(jīng)過預(yù)處理之后再進(jìn)行目標(biāo)檢測和識別有利于提高目標(biāo)識別準(zhǔn)確度。

圖8 預(yù)處理效果對比圖

3.2 數(shù)據(jù)集識別效果分析

首先使用GTSRB數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,來驗(yàn)證模型對于交通標(biāo)志識別的準(zhǔn)確性和可靠性。該數(shù)據(jù)集采集了不同光照強(qiáng)度,不同天氣狀況下的各類交通標(biāo)志樣本。如圖9所示，隨著訓(xùn)練迭代輪次增加,模型訓(xùn)練準(zhǔn)確率也逐漸增加,損失值不斷減少,曲線變化過程穩(wěn)定。

圖9 正確率和損失值變化曲線

對數(shù)據(jù)集GTSRB經(jīng)過訓(xùn)練后將各類交通標(biāo)志訓(xùn)練結(jié)果數(shù)量按警告、禁止、指示和其他進(jìn)行歸類,對訓(xùn)練正確和錯誤的樣本進(jìn)行統(tǒng)計(jì)后計(jì)算各類交通標(biāo)志最終的識別準(zhǔn)確率和召回率如表1所示。

表1 數(shù)據(jù)集GTSRB識別準(zhǔn)確率

由表中數(shù)據(jù)可以看出,本文所使用的多路并聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)在GTSRB數(shù)據(jù)集上獲得了94.9%的準(zhǔn)確率和90.8%的召回率。文獻(xiàn)[15]使用了多種基于傳統(tǒng)圖像的識別算法,使用HOG特征進(jìn)行檢測后使用SVM分類器進(jìn)行分類。通過對表2的數(shù)據(jù)對比可以看出,本文所使用的方法在結(jié)果中取得了更好的識別效果。

表2 GTSRB不同方法識別效果對比

由于實(shí)際情況中,存在大部分小目標(biāo)和小占比的交通標(biāo)志情況,為了測試本文方法對于小目標(biāo)識別效果,對數(shù)據(jù)集GTSDB[16]進(jìn)行訓(xùn)練測試。GTSDB數(shù)據(jù)集來自實(shí)際交通路況圖像采集,圖像分辨率較大,樣本類型豐富,光照條件隨采集時狀態(tài)多樣化,并且包含復(fù)雜的街景路況信息,目標(biāo)占比小。本文方法與傳統(tǒng)圖像處理識別和原始Faster RCNN 3種方法的模型訓(xùn)練正確率曲線對比效果圖如圖10所示。

圖10 不同方法正確率曲線變化對比圖

將本文所提出的算法與以上幾種不同算法在不同尺度區(qū)間內(nèi)檢測效果進(jìn)行對比,取數(shù)據(jù)集樣本[0,48],[48,128],[128,480]作為3個不同的訓(xùn)練集和測試集,將訓(xùn)練集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練之后,對測試集中的樣本進(jìn)行測試得到本文方法針對數(shù)據(jù)集樣本,在不同尺寸下的準(zhǔn)確率。然后將最終得到目標(biāo)識別準(zhǔn)確率與文獻(xiàn)[17]中的識別準(zhǔn)確率進(jìn)行對比,結(jié)果如表3所示。

表3 多尺度下目標(biāo)識別效果對比 %

通過表中結(jié)果可以看到,在相同的數(shù)據(jù)集GTSDB條件下,選擇性搜索算法在較大尺寸的交通標(biāo)志目標(biāo)上識別率較高,但是對于小目標(biāo)識別率大幅度降低。Faster RCNN雖然識別準(zhǔn)確率提高,但是其識別效果并不是很理想。本文使用在此基礎(chǔ)上改進(jìn)的網(wǎng)絡(luò)后,不同尺度的目標(biāo)識別率都優(yōu)于其他幾種方法。通過效果對比可以驗(yàn)證本文方法對于小目標(biāo)交通標(biāo)志有著較強(qiáng)識別敏感度,且在不同尺寸的交通標(biāo)志圖像目標(biāo)上都具備較強(qiáng)的魯棒性。

最后使用數(shù)據(jù)集TT100K進(jìn)行訓(xùn)練檢測識別,該數(shù)據(jù)集樣本分辨率更大,大小規(guī)范為2 048×2 048,而交通標(biāo)志所占尺寸變得更小,所以使得交通標(biāo)志識別變得更加困難。使用數(shù)據(jù)增廣和預(yù)處理之后進(jìn)行識別檢測,效果如表4所示。

表4 TT100K識別效果 %

4 結(jié) 論

本文在原有神經(jīng)網(wǎng)絡(luò)模型上針對交通標(biāo)志特征進(jìn)行改進(jìn)。從交通標(biāo)志特有的顯著特征出發(fā)，設(shè)計(jì)了一種多路卷積神經(jīng)網(wǎng)絡(luò)并聯(lián)的框架結(jié)構(gòu)，使用多路卷積網(wǎng)絡(luò)對目標(biāo)進(jìn)行特征提取，對多個卷積特征層進(jìn)行融合操作；通過特征層融合操作優(yōu)化后的特征層，使得目標(biāo)特征更加顯著，減緩了交通標(biāo)志容易受天氣光照等外接因素的影響。使用串聯(lián)小卷積核代替大卷積核的卷積神經(jīng)網(wǎng)絡(luò)來增加對于不同尺度的感受能力，降低小目標(biāo)特征的損失。本方法可以使小目標(biāo)特征隨著網(wǎng)絡(luò)深度增加而丟失的情況發(fā)生的概率降低，在使得網(wǎng)絡(luò)具備一定深度的同時，不會損失目標(biāo)特征信息，從而能夠降低交通標(biāo)志漏檢情況的發(fā)生率。使用多層特征層生成錨點(diǎn)框的辦法增強(qiáng)了小目標(biāo)候選框生成。實(shí)驗(yàn)結(jié)果表明，在交通標(biāo)志識別上，本文所使用的方法相比較于傳統(tǒng)圖像識別方法和原始Faster RCNN網(wǎng)絡(luò)能夠取得更好的檢測識別效果。