基于卷積神經(jīng)網(wǎng)絡(luò)中層特征學(xué)習(xí)的交通標(biāo)志圖像識別

2022-06-24 10:11:06蘇正青馬巧梅

計(jì)算機(jī)應(yīng)用與軟件 2022年4期

蘇正青馬巧梅

(中北大學(xué)軟件學(xué)院山西太原 030051)

0 引言

隨著經(jīng)濟(jì)社會的快速發(fā)展，城市交通變得四通八達(dá)，在這樣的背景下，私家車成為了人們?nèi)粘Ｉ畛鲂斜夭豢缮俚慕煌üぞ撸欢@也導(dǎo)致了交通事故發(fā)生的次數(shù)越來越多[1],其中一個(gè)重要的問題就是交通標(biāo)志的識別，如環(huán)境因素(陰雨天氣、大霧天氣、夜晚光線較差、遮蔽物遮擋視線等)、駕駛員因素(駕駛員疲憊、駕駛員車速太快)、交通標(biāo)志本身的因素(標(biāo)志老化褪色、標(biāo)志傾斜[2]、等)都對交通標(biāo)志及時(shí)準(zhǔn)確的識別帶來了挑戰(zhàn)。近幾年來，在交通標(biāo)志的識別方面，很多研究人員進(jìn)行了大量的探索，而且得到了很多實(shí)驗(yàn)數(shù)據(jù)和結(jié)果。多尺度檢測：王方石等[3]在CNN中加入屬性學(xué)習(xí)約束,引入交通標(biāo)志的形狀、顏色、圖案內(nèi)容三種視覺屬性，該方法有效提高準(zhǔn)確率和召回率。宋青松等[4]采用限制對比度自適應(yīng)直方圖均衡化方法作為圖像預(yù)處理方法，構(gòu)造多尺度CNN模型，用于提取交通標(biāo)志圖像的全局特征和局部特征，進(jìn)而將組合后的多尺度特征送入SoftMax分類器，該方法準(zhǔn)確率高，速度快。楊遠(yuǎn)飛等[5]提出了一種改進(jìn)的網(wǎng)絡(luò)模型,該模型集合了多尺度輸入、并行交叉以及恒等映射的特點(diǎn)，保證特征提取的充分性與多樣性并使網(wǎng)絡(luò)性能不會隨深度加深而退化，該方法準(zhǔn)確率高。Sermanet等[6]將多尺度圖像放入神經(jīng)網(wǎng)絡(luò)中訓(xùn)練,將不同卷積層的特征映射級聯(lián)操作,最后聯(lián)合特征輸送到全連接層進(jìn)行識別，準(zhǔn)確度較高。金字塔模型檢測：周以鵬等[7]利用神經(jīng)網(wǎng)絡(luò)分層的特性,在多層卷積層上使用梯度加權(quán)類激活映射,生成梯度金字塔模型,并通過均值濾波計(jì)算特征質(zhì)心位置,利用置信強(qiáng)度映射和閾值梯減模塊產(chǎn)生連接的像素段,圍繞最大邊界標(biāo)注進(jìn)行弱監(jiān)督定位，具有較高的精確度。徐喆等[8]提出改進(jìn)的尺度依賴池化SDP模型用于小尺度交通圖像的識別，在SDP模型只提取淺卷積層特征信息的基礎(chǔ)上，使用深卷積層特征補(bǔ)足型SDP映射輸出，使用多尺度滑窗池化MSP將特征池化到固定維度，將改進(jìn)的尺度依賴池化模型應(yīng)用于圖像的識別，有利于小尺度圖像識別。Lin等[9]提出了特征金字塔模型，在結(jié)合多尺度特征圖的基礎(chǔ)上，加入了底層特征圖和特征圖上采樣融合，更有利于微小目標(biāo)檢測。端到端檢測：Choi等[10]提出對各個(gè)卷積層使用級聯(lián)分類器，依據(jù)各卷積層的權(quán)重來決定最終的分類結(jié)果，雖然分類結(jié)果結(jié)合不同卷積層的特征的判定，準(zhǔn)確率較高。趙銀玲等[11]對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了改進(jìn)，減少其卷積核的數(shù)量，增加池化方式，該方法準(zhǔn)確率高，速度快。武林秀等[12]使用VGG16卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取交通標(biāo)志圖像特征,并將卷積特征圖傳入RPN中進(jìn)行前景目標(biāo)篩選及回歸目標(biāo)邊框,將建議區(qū)域框映射到特征圖上,經(jīng)過ROI池化層后輸出固定大小的建議框,該方法具有很好的魯棒性。喬堃等[13]基于ZF和VGG兩種網(wǎng)絡(luò)的變形,優(yōu)化實(shí)現(xiàn)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志分類算法，該方法精度高、魯棒性好。Ciresan等[14]提出多陣列神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)McDNN，使用通過不同預(yù)處理得到的圖像訓(xùn)練得到多個(gè)深度DNN結(jié)構(gòu)，聯(lián)合多個(gè)DNN的結(jié)果完成對路標(biāo)圖像特征提取識別，該方法準(zhǔn)確率較高。概率檢測：熊麗婷等[15]首先對目標(biāo)所在區(qū)域概率進(jìn)行計(jì)算，由此分別對內(nèi)外，邊界構(gòu)造模型，形成檢測框，最后通過卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)定位，該方法準(zhǔn)確率高。李凱等[16]分析了圖像的顏色特征，結(jié)合先驗(yàn)和顏色概率進(jìn)行特征融合，形成選區(qū)域，最后卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行定位，該方法魯棒性好。劉占文等[17]構(gòu)造了基于超輪廓圖超像素區(qū)域的圖模型,有效利用自底向上的多級信息,提出了一種基于圖模型的層次顯著性檢測方法,以提取交通標(biāo)志感興趣區(qū)域,并利用卷積神經(jīng)網(wǎng)絡(luò)對感興趣候選區(qū)進(jìn)行特征提取與分類，該方法準(zhǔn)確率高。Zhang等[18]引入了對比邊際獲勝概率C-MWP，用于模擬可突出區(qū)分區(qū)域的神經(jīng)分類模型，更有利于圖像分類。本文計(jì)算顯著度提取感興趣，避免了交通標(biāo)志誤檢和漏檢的發(fā)生，構(gòu)建BF-VDNet-SPP模型，更好地提取低層特征，池化金字塔多層次提取交通標(biāo)志的特征，高效準(zhǔn)確地識別交通標(biāo)志，同時(shí)有利于遠(yuǎn)距離交通標(biāo)志檢測。

1 計(jì)算區(qū)域顯著性

由于離物體的距離越近越容易發(fā)現(xiàn)，因此中心先驗(yàn)在目標(biāo)檢測定位發(fā)揮了重要的作用，據(jù)此有約束函數(shù)Ti:

(1)

式中：Qb表示中心位置；Qa表示像素坐標(biāo)；M指像素?cái)?shù)量。

顏色的對比度越強(qiáng)，物體越容易發(fā)現(xiàn)，因此有特征對比度Wi：

(2)

α=e-(u1-u2)2

(3)

考慮顏色特征和先驗(yàn)約束，得到圖像顯著性：

Ci=WiTi

(4)

對得到的顯著性區(qū)域用雙線性插值法放大，調(diào)整圖像尺寸。

2 提取底層特征

有相關(guān)的研究發(fā)現(xiàn)，人對目標(biāo)檢測定位時(shí)受圖像的梯度特征、紋理特征和灰度特征影響較大，圖像的紋理特征能夠反映局部特征信息，圖像的梯度特征能夠反映邊緣細(xì)節(jié)信息，圖像的灰度特征能夠反映顏色深淺變化，分別對原圖像提取灰度圖，LBP特征圖，骨架特征圖3種特征圖并進(jìn)行6個(gè)尺度變換(旋轉(zhuǎn)：左右旋轉(zhuǎn)，伸縮：放大縮小，平移變換：左移右移)，對圖像進(jìn)行滑窗操作，3×3大小為一個(gè)圖像鄰域塊，分別計(jì)算每個(gè)圖像塊的均值和方差作為這個(gè)像素塊每個(gè)像素點(diǎn)的均值和方差，得到圖像的特征向量為L=(u00,σ00,…,um-1n-1,σm-1n-1)，因而淺層特征為G1=[L1;L2;…;LN]，其中：N表示輸入圖像的像素個(gè)數(shù)，Ln表示每個(gè)像素點(diǎn)的特征向量，n∈[1,2,…,N]。可知LN是1×36維。圖1為底層特征圖像。

(a) 原圖(b) 骨架圖像 (c) 灰度圖像 (d) LBP圖像圖1 提取底層特征

3 構(gòu)建視覺詞典

以前的字典學(xué)習(xí)采用無監(jiān)督的方式，K-均值算法通過聚類方法構(gòu)建詞典處理樣本，詞典均勻簡易，但在內(nèi)容多樣復(fù)雜的環(huán)境下難以得到一個(gè)令人滿意的視覺詞典，為使詞典更加精準(zhǔn)合理，構(gòu)造算法優(yōu)化目標(biāo)函數(shù)：

(5)

式中：Y是輸入的樣本值，B為待訓(xùn)練冗余詞典，X為稀疏系數(shù)。

訓(xùn)練詞典時(shí)，首先保持詞典B不變并用樣本賦初值，其次利用正交匹配追蹤算法(OMP)優(yōu)化稀疏系數(shù)X，然后對詞典B進(jìn)行翻新，最后求解局部最優(yōu)值：

(6)

式中：N指詞典原子數(shù)；S指詞典列數(shù)；bs指詞典第s列；Fs指詞典原子殘差；T指利用OMP算法優(yōu)化稀疏系數(shù)X非零數(shù)的最大值，閾值T實(shí)現(xiàn)稀疏表示。

4 BF-VDNet-SPP網(wǎng)絡(luò)模型

根據(jù)以上描述，提出了BF-VDNet-SPP模型，如圖2所示。

第一步：計(jì)算顯著度并提取感興趣區(qū)域，提取底層特征向量K，每種交通標(biāo)志的特征向量維度為100×36。

第二步：使用任意K個(gè)特征向量對詞典B賦初值，保持詞典B不變，通過OMP算法優(yōu)化稀疏詞典B，得出稀疏系數(shù)X。

第三步：根據(jù)稀疏系數(shù)X，通過N次迭代完善詞典，求得目標(biāo)函數(shù)最優(yōu)解。

第四步：通過主成分分析方法PCA得到當(dāng)前交通標(biāo)志圖像特征向量M。

第五步：將特征向量M和詞典B每一個(gè)元素做卷積運(yùn)算，得到所有像素點(diǎn)的特征，因?yàn)橄袼攸c(diǎn)維度增加，通過空間金字塔池化方法降低維度，提取圖像特征，級聯(lián)得到多尺度圖像特征，作為圖像的中層卷積特征Z。

第六步：訓(xùn)練SoftMax分類器參數(shù)，將中層卷積特征Z輸入模型分類，實(shí)現(xiàn)對交通標(biāo)志類別的劃分。

5 池化金字塔模型

池化金字塔具有良好的抗噪性，可以更全面地提取圖像特征，從而更加準(zhǔn)確地對目標(biāo)進(jìn)行劃分。

本文構(gòu)造的池化金字塔模型如圖3所示。

圖3 金字塔池化模型

c∈C指池化金字塔有C層，c指池化金字塔第c層，每層圖像長寬被分成2c段，分成4c個(gè)圖像塊，池化公式如下：

Y=E(X)

(7)

為了更好地突出圖像的邊緣細(xì)節(jié)特征，采用最大池化法選取圖像塊中像素的最大值當(dāng)作圖像塊的特征向量，最大池化公式如下：

yj=max{|x1j|,|x2j|,…,|xnj|}

(8)

式中：yj為Y的第j個(gè)元素，xnj為圖像第n行第j列像素值，特征向量數(shù)是n。

提取每層金字塔池化后的特征向量，連接這些特征向量獲得多尺度特征，連接方法如下：

設(shè)池化空間金字塔得到的特征向量為ti1和ti2，連接后ti=[ti1,ti2]。

本文設(shè)定C為2，將三層特征拼接作為特征向量Z。

6 實(shí) 驗(yàn)

6.1 數(shù)據(jù)集介紹

這次實(shí)驗(yàn)所使用的數(shù)據(jù)集是GTSRB，包括了各種氣候條件下，各種各樣的交通標(biāo)志圖像，交通標(biāo)志圖片有1 000多幅，交通標(biāo)志的尺寸大致范圍是15×15到130×130，分為43種類別，選擇其中的20個(gè)交通標(biāo)志為正樣本，剩下的23個(gè)交通標(biāo)志圖像為負(fù)樣本，使用2 000幅交通標(biāo)志用于訓(xùn)練，100幅交通標(biāo)志用于測試，部分樣本圖像如圖4所示。

圖4 部分樣本圖片

6.2 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)的架構(gòu)平臺選擇Tensorflow，電腦系統(tǒng)是Windows 10，64 bit，所使用的函數(shù)來源于Anaconda，所使用的編程軟件是Pycharm，處理器為Intel(R)Core(TM)i7- 7700HQ CPU@2.80 GHz，存儲容量是16 GB。顯卡為GTX1050，訓(xùn)練用時(shí)為1小時(shí)。