基于輕量型卷積神經網絡的交通標志識別方法①

程 越, 劉志剛

(東北石油大學 計算機與信息技術學院, 大慶 163318)

隨著城市現代化建設和人工智能技術的崛起, 現代城市智能化交通系統得到了進一步發展.道路交通標志識別技術作為無人駕駛和智能輔助駕駛系統的重要組成部分, 在智能化交通系統的建設中有重要的戰略意義[1], 如何實時高效地完成交通標志識別任務成為國內外研究的熱點.

對于交通標志的識別方法可分為兩類, 基于手工選取典型特征的方法和深度學習中的卷積神經網絡方法CNN[2].基于手工典型特征的方法如方向梯度直方圖HOG[3]、尺度不變特征變換SIFT[4], 局部二值模式LBP[5]等, 這類方法基于人工設計獲取特征, 數據預處理工作繁瑣, 提取的特征局限性大.而CNN 無需對圖像做復雜預處理, 直接以像素作為輸入, 在輸入到識別的過程中提取圖像特征, 具有很強的自適應性和學習能力, 成為了圖像識別領域的核心模型.

在ILSVRC 2012 競賽中AlexNet[6]取得了冠軍, 之后GoogleNet[7], VGGNet[8], ResNet[9]等模型又被相繼提出, CNN 在圖像分類任務上的精度不斷提高.然而,現有CNN 應用于嵌入式交通標志識別設備有以下不足: (1)模型內存占用高, 無法嵌入交通標志識別設備.以AlexNet 為例, 其參數一共6000 萬之多, 在Imagenet-1000 上的訓練模型達到200 MB, 而VGG16 模型參數更是達到了1.38 億.(2)模型計算開銷大, 小型嵌入式設備無法支持運算.現有CNN 模型在訓練和使用中需要在高性能設備上進行, 如高性能CPU 和GPU 等, 這些設備往往體積大、價格高、計算開銷大, 而交通標志識別設備的功耗和硬件性能較低, 無法支持計算.(3)現有CNN 模型的全連接層參數訓練慢, 無法滿足識別設備的實時性.

針對以上問題, 本文引入兩種輕量化卷積方法: 深度可分離卷積[10]和混洗分組卷積[11]并與極限學習機[12]相結合, 提出兩種輕量型卷積神經網絡模型: DSCELM 模型和SGC-ELM 模型.新模型首先利用輕量化卷積方法構建卷積層, 減少卷積層的參數使模型輕量化, 然后以ELM 作為分類器, 接受經卷積層提取的特征進行分類.設計實驗, 在德國交通標志數據集[13]和比利時交通標志數據集[14]上, 通過VGG16 模型、基于深度分離卷積的MobileNet 模型、基于混洗分組卷積的ShuffleNet 模型與新模型DSC-ELM 和SGC-ELM 進行對比實驗.實驗結果表明: 新模型在識別精度上高于其他模型, 并且訓練速度比MobileNet 和Shuffle-Net 模型更快.新模型有著模型輕量化、可嵌入性高、訓練速度快以及識別精度高的優點, 使得新模型在分類識別交通標志的總體性能較現有CNN 模型更加優秀.

1 輕量型卷積神經網絡

1.1 深度可分離卷積

深度可分離卷積(Depthwise Separable Convolution, DSC)的創新點在于將卷積操作分為兩部分: 深度卷積(depthwise convolution)和1×1 卷積(pointwise convolution).如圖1 所示, 深度可分離卷積先保持通道間的分離, 進行深度卷積, 然后再進行1×1 卷積.

圖1 卷積核

普通卷積與深度可分離卷積的參數對比: 設M 為通道數, 卷積核的高度為 DK, 輸入的寬和高為 DF, 卷積核的個數為N.普通卷積的計算量為:

深度可分離卷積的計算量為:

深度可分離卷積與普通卷積計算量之比為:

由此可得, 使用深度可分離卷積代替普通卷積來構建模型可使模型輕量化.標準卷積核和深度可分離卷積核如圖1 所示.

1.2 混洗分組卷積

混洗分組卷積(Shuffled Grouped Convolution,SGC)是將分組卷積法和通道混洗機制結合起來.分組卷積法如圖2 所示, 將卷積核拆分為兩組進行分組卷積, 每組包含 Dout/2個卷積核, 分別與對應部分的輸入進行卷積.每組卷積核卷積完成后都會得到 Dout/2通道的輸出, 然后將通道堆疊最終得到所需的 Dout通道輸出.此時卷積的計算量為:

圖2 分組卷積法

相比普通卷積的計算量減少一半, 當分組數增加時, 模型的參數也就隨之減少.

分組卷積雖然可以減少模型參數, 但是每組卷積核僅對輸入的固定部分向后傳遞的信息進行處理, 這樣就局限了卷積核學習的特征, 阻礙了訓練過程中通道組之間的信息流動, 減弱了特征表示.解決以上問題的方法就是在分組卷積的基礎上引入通道混洗機制.

通道混洗機制如圖3 所示, 將卷積核分為三組的分組卷積, 在執行一次卷積操作后, 將得到的特征拆分為若干組, 混洗后再輸入下一次分組卷積.利用分組卷積法和通道混洗機制相結合的方法構建卷積層, 可以減少模型參數量, 加強通道組間的信息流通, 增強特征表示能力.

圖3 通道混洗機制

2 極限學習機

現有CNN 網絡利用全連接層進行分類, 需要依靠梯度下降訓練算法更新參數, 導致模型學習慢, 而且泛化能力較差, 易陷入局部最小[15].極限學習機(Extreme Learning Machines, ELM)是由南洋理工大學黃廣斌教授提出的求解單隱層前饋神經網絡的學習算法.極限學習機只需要人為確定隱含層中神經元的個數, 輸入層到隱含層的權重為一次隨機確定并且在算法執行過程中無需再調整, 隱含層到輸出層的權重則是通過求廣義逆的方法得到, 無需經過迭代.由于極限學習機獨特的求參機制, 將CNN 全連接層替換為ELM 可以加快模型訓練速度, 提高泛化性.

極限學習機結構如圖4 所示.假設有 N個任意樣本(Xi,ti), 其中:

圖4 極限學習機

具有L 個隱層節點的單隱層神經網絡可以表示為:

其中, g(x) 為激活函數, Wi=[wi,1,wi,2,···,wi,n]T為輸入權重, βi為輸出權重, bi是 第i 個隱層單元的偏置,Wi·Xj是 Wi和 Xj的內積, o i=[oi1,oi2,···,oim]T表示網絡輸出值.ELM 成本函數 E為:

學習目標是使得 E 最小, 即存在 βi, Wi和 bi使得:

矩陣表示為:

其中, H 為神經網絡隱層節點的輸出矩陣, β為輸出權重, T 為期望輸出.

式中, W 為輸入層到隱含層的權值; b 為隱含層偏置;g()為激活函數.極限學習機的思想為: 隨機確定 Wi和bi進 而可得到輸出矩陣H, 再通過式(6)求得輸出權重 β.

3 輕量級卷積神經網絡與ELM 相結合

現有CNN 模型內存占用高、計算開銷大、訓練速度慢, 無法適用于移動交通標志識別設備.模型采用輕量化卷積代替普通卷積的策略, 可實現在犧牲合理精度的基礎上極大減少卷積層的參數, 提升訓練速度.然而, 模型的全連接層在訓練過程中需要耗費大量時間確定自身參數, 所以要想使模型訓練更加快速, 除修改卷積層外, 還應對分類器進行改進.ELM 有著獨特的求參機制, 將其作為分類器有訓練速度快、泛化性強的優點.但ELM 對輸入特征的質量有較高的要求.

根據以上情況, 將輕量型卷積神經網絡與ELM 結合起來可以充分發揮各自的優勢: 使用輕量化卷積方法構建卷積層可使模型輕量化, 并且提取的特征可靠,滿足ELM 對特征的高要求[16]; ELM 分類器獨特的求參機制, 使得模型分類更加快速準確.

3.1 DSC-ELM 模型

DSC-ELM (Depthwise Separable Convolution-ELM)模型結構可分為兩部分:

(1)特征提取部分: 特征提取部分采用深度可分離卷積構建卷積層.此部分包含兩個普通3×3 卷積和17 個bottleneck.每個bottleneck 包含以下3 個操作:首先經過pointwise convolution 擴展通道, 擴展倍數除第一個bottleneck 為1 倍外均為6 倍; 再進行depthwise convolution; 最后再利用pointwise convolution 壓縮通道.這種“先擴張, 后壓縮”的設計可以通過將通道數擴大, 從中間層獲得更多特征.圖像輸入模型后首先進行3×3 卷積, 然后將得到的特征圖送入17 個bottleneck中, 經過17 個bottleneck 后, 再進行一次3×3 卷積, 特征提取部分結束.表1 為特征提取部分結構.

表1 DSC-ELM 特征提取部分結構

(2)分類部分: 模型使用ELM 分類器替換卷積神經網絡中的全連接層.將特征提取部分提取的特征展平后作為ELM 分類器的輸入, 然后進行分類.

近年來，各高校投入了大量經費用于學科技術建設和實驗室建設改造，為跟上時代步伐，對實驗儀器進行了大量更新，各實驗室都添置了大量的新型儀器，學校的綜合實力得到了提高，實驗教學的設施條件得到了明顯的改善。但同時，各實驗室也積累了大量閑置和淘汰的儀器設備；實驗室的儀器、設備，必然要報廢、淘汰、更新，這是無可非議的。但如何處理這些數額龐大的淘汰儀器，更科學、更合理地利用資源，使之發揮更多作用，是值得思考的。若能變“廢”為“寶”，有效利用，不僅能為學校節約可觀的資源，還可另辟“蹊徑”，打開一條鍛煉學生動手能力、拓展思維空間之路。

DSC-ELM 模型總體結構如圖5 所示.

圖5 DSC-ELM 模型結構

3.2 SGC-ELM 模型

SGC-ELM (Shuffled Grouped Convolution-ELM)模型結構可分為兩部分:

(1)特征提取部分: 特征提取部分采用混洗分組卷積構建卷積層.此部分包括: 1 個3×3 卷積、1 個3×3 的最大池化、3 個Stage 以及GlobalPool.每個Stage包含若干個ShuffleNet unit, ShuffleNet unit 結構如圖6所示.

圖像輸入模型后先經過3×3 卷積和3×3 的最大池化操作, 然后將特征送入3 個Stage.經過3 個Stage后, 再進行1 次GlobalPool 操作, 特征提取部分結束.表2 為特征提取部分結構.

(2)分類部分: 將特征提取部分提取的特征展平后輸入ELM 進行分類.

SGC-ELM 模型總體結構如圖7 所示.

3.3 新模型的訓練

(1)首先對模型進行預訓練.預訓練模型的目的是保證網絡卷積層提取的特征是有效的, 若不進行預訓練, 模型提取的特征質量低, 影響最終的分類結果;

(2)預訓練結束后, 將圖像輸入模型提取特征;

(3)分類器訓練.將提取的特征展平后輸入ELM分類器, 通過公式 β= H+T求得極限學習機隱含層到輸出層的權值參數, 模型訓練結束.

圖6 ShuffleNet unit 結構

表2 SGC-ELM 特征提取部分結構

圖7 SGC-ELM 模型結構

4 實驗與分析

4.1 數據集

4.2 實驗設計

所有實驗的硬件環境為CPU: Intel(R) Core(TM)i5-8300H 2.30 GHz 8 G.GPU: NVIDIA GeForce GTX 1050 Ti 4G.網絡模型: 實驗使用預訓練VGG16、預訓練MobileNet、預訓練ShuffleNet 與新模型DSC-ELM和SGC-ELM 作對比實驗.

(1)準備數據集, 并對數據集進行預處理.將數據集圖片轉換為jpg 格式, 每張圖片歸一化為48×48, 其目的是為了節省內存開銷, 加快訓練速度.

(2)準備模型, 并加載預訓練參數: VGG16 加載ImageNet 數據集預訓練參數; MobileNet 加載Cifa100數據集預訓練參數; ShuffleNet 加載ImageNet 數據集預訓練參數; 新模型DSC-ELM 和SGC-ELM 的特征提取部分分別加載Cifa100 和ImageNet 數據集預訓練參數.加載預訓練參數的目的是使ELM 接收的特征可靠, 從而達到更精確的分類結果.

(3)設置網絡超參數: 迭代次數在GTSRB 數據集上設為10, 在Belgium TSC 數據集上設為50; 批處理大小設為32; 學習率設為0.001, 并在每次循環后對學習率進行衰減, 衰減率為0.98.

(4)如圖8 所示, 將數據集送入模型進行訓練和測試.

圖8 模型的訓練和測試

(5)從精度、訓練時間、內存占用對比5 種模型的實驗結果.

4.3 實驗結果與對比分析

5 種網絡模型在GTSRB 和Belgium TSC 數據集上的實驗結果如表3 所示.

表3 實驗結果

(1)測試精度對比分析.5 種模型的測試精度從高到低依次為DSC-ELM、SGC-ELM、VGG16、MobileNet、ShuffleNet.MobileNet 和ShuffleNet 精度低于VGG16,原因是采用了輕量化卷積方法構建卷積層, 卷積層參數減少, 導致損失一定的精度.DSC-ELM 與SGCELM 模型精度均達到98%以上, 高于其他模型, 其原因在于新模型采用ELM 作為分類器, ELM 泛化性強,在接受到良好特征后能達到很好的分類效果, 而其他模型采用梯度下降算法更新參數, 易陷入局部極值, 損失精度.

(2)訓練時間對比分析.從表3 看出, 5 種模型訓練速度從快到慢依次為: SGC-ELM、DSC-ELM、ShuffleNet、MobileNet、VGG16.VGG16 模型參數龐大, 導致計算緩慢, 在5 種模型中耗時最長.ShuffleNet、MobileNet 模型參數量少, 訓練速度較快, 而ShuffleNet相較于MobileNet 少了1×1 卷積, 速度快于MobileNet.SGC-ELM 和DSC-ELM 在訓練速度上明顯優于其他模型, 原因在模型的ELM 分類器可通過廣義逆一次求得權值參數, 而其他模型在訓練時需要計算梯度信息,并通過迭代進行調整, 耗費時間較長.

(3)內存占用對比分析: 從表3 看出, 5 種模型內存占用從高到低依次為: VGG16、MobileNet、ShuffleNet、DSC-ELM、SGC-ELM.VGG16 模型參數龐大, 導致內存占用高.MobileNet 和ShuffleNet 采用輕量化卷積構建卷積層, 模型參數量較少, 內存占用較VGG16 低,而ShuffleNet 模型結構中采用Shuffle 替換1×1 卷積,相比MobileNet 減少大量權值參數.DSC-ELM、SGCELM 模型無全連接層, 而是采用單隱層的ELM 作為分類器, 相比其他模型內存占用低, SGC-ELM 采用ShuffleNet unit 構成, 模型參數量小于DSC-ELM, 內存占用較DSC-ELM 低.

5 結論

現有CNN 為了追求高的分類精度, 模型深度加深, 復雜度提高, 導致模型內存占用高, 訓練速度慢.交通標志識別設備的功耗和硬件性能較低, 對模型的速度和精度要求較高, 使得現有CNN 模型無法應用于這種設備.針對以上問題, 本文通過引入兩種輕量化卷積方法并與極限學習機相結合, 提出兩種輕量型卷積神經網絡模型: DSC-ELM 模型和SGC-ELM 模型.新模型通過采用輕量化卷積方法構建卷積層進行特征提取,使模型輕量化, 并以ELM 作為分類器, 接受提取的特征進行分類, 解決了現有CNN 全連接層參數訓練速度慢的問題.通過實驗驗證, 新模型相較于對比模型訓練速度快, 分類精度高, 內存占用低, 可以很好的應用于嵌入式交通標志識別設備.