基于改進VGG16的嵌入式圖像識別系統設計

高曉雷 張彬 王林惠 潘學文 段華斌 陳光輝 郭宜娟

摘要：近年來深度學習的進步大大推動了物體檢測的發展，其中SSD（Single Shot MultiBox Detector）方法在物體檢測領域應用較多。然而傳統SSD難以應用在硬件資源受限的嵌入式設備中。因此，通過分析SSD方法的基本流程和原理，采用MobileNet卷積神經網絡替換SSD的VGG16網絡作為后續改進基準。采用不同尺度的卷積核對網絡各層進行卷積特征提取，并合并各個特征圖信息。實驗結果表明：改進后的SSD方法能夠有效地運行在樹莓派上。在VOC2017數據集上的平均精度均值可達72.4%。該文提出的多維度的特征圖檢測方法可以有效提高網絡的檢測精度。

關鍵詞： 深度學習;嵌入式系統;物體檢測;圖像識別

中圖分類號：TP391 ? ? ?文獻標識碼：A

文章編號：1009-3044（2022）02-0015-02

引言

近年來，由于深度學習的迅猛發展，人工神經網絡技術在數字識別、語音識別、無人駕駛、圖像識別等領域都有著廣泛的應用。以神經網絡為代表的新一代人工智能技術正在逐漸滲透到人們生活之中，并推動著社會的發展[1]。在傳統神經網絡的基礎上，通過局部感受野、權值共享等方式，使得卷積神經網絡能夠直接接收圖片或自然語言等數據，并進行特征提取和分類、識別等運算[2]。

卷積神經網絡通常利用更深和更復雜的網絡實現更高的精度，但往往需要大量計算，導致運行速度不具優勢[3]。由于嵌入式平臺的硬件資源十分有限，復雜網絡難以發揮性能，因此需要一種輕量級、低延遲，同時精度高的網絡模型，能夠在嵌入式設備上較好運行。2016年，國外學者提出了SSD（Single Shot MultiBox Detector）[4]檢測模型，與其他單級方法相比，SSD在Nvidia Titan X上58 FPS時的mAP（mean Average Precision）達到了72.1%，優于現有Faster R-CNN[5]模型;在此基礎上，He等人設計了一款油菜害蟲成像系統，并結合SSD模型研發了配套的安卓應用程序，可結合無人機與物聯網技術實現油菜蟲害監測[6]。因此，本文在SSD的基礎上優化模型結構，構建嵌入式圖像識別系統。

1 系統總體方案設計

1.1 硬件總體設計

硬件系統主要由圖像采集模塊、微型處理器模塊、圖像處理模塊和終端顯示模塊組成。圖像采集模塊主要由Pi Camera攝像頭負責采集實時圖像，并將其送入微型處理器模塊。微型處理器模塊可分為存儲模塊、圖像處理模塊以及電源模塊。其中，存儲模塊主要用于緩存圖像采集模塊采集到的實時圖像以及處理過程的中間數據。電源模塊用以給整個系統供給電源，該模塊能夠提供5V，2A，10W的功率輸出，能夠保證整個系統的穩定工作。圖像處理模塊是微型處理器模塊的核心，其主要負責運行卷積神經網絡模型，同時給出模型檢測結果。終端顯示模塊主要接收圖像數據，并將其顯示在顯示設備上。

1.2 軟件總體設計

軟件系統以卷積神經網絡模型為主，結合圖像采集程序以及圖像處理程序，構成整個嵌入式卷積神經網絡圖像識別軟件系統。為了保證系統的穩定性，引入了嵌入式Linux操作系統用以對系統硬件進行管理，同時向上提供硬件接口進行軟件開發。系統軟件流程如圖1所示。

系統初始化后，通過軟件調用攝像頭采集實時圖像，為了滿足卷積神經網絡的輸入要求，將原始圖像裁剪成300*300 Pixel規格。隨后，將經過裁剪的圖像送入卷積神經網絡中進行檢測。檢測結果分成兩部分，一個輸出分類用的置信度，對于Pascal VOC數據集而言，每個默認框生成21個置信度;另一個輸出回歸用的位置信息，每個默認框生成4個坐標值，這四個坐標值分別代表包圍框的X坐標、Y坐標以及包圍框的寬度和高度值。隨后，根據卷積神經網絡的輸出值在圖像上對應的位置處畫出包圍框并標識檢測結果。最后，將處理后的圖像輸出給顯示模塊進行顯示。

1.3 基于MobileNet的SSD模型設計

SSD基礎網絡是VGG16，主要使用了后者前5層結構，再利用astrous算法將全連接層F6和全連接層F7轉化成兩個卷積層，最后再增加3個卷積層。增加的卷積層的特征圖大小變化較大，能夠檢測出不同尺度下的物體，低層的特征圖其感受野較小，高層的特征圖其感受野較大，對不同的特征圖進行卷積便可以達到多尺度的目的。基于MobileNet的SSD網絡結構圖如圖2所示：

2 系統測試與結果分析

2.1 評價指標

采用mAP作為模型指標，公式如下：

[IoU（Bgt，B） = （Bgt?B）（Bgt?B）>threshold] ? ? ? ? ? ? ? ? ? ? ?（1）

若對于類別A標定的包圍框（Ground-truth）Bgt的預測的包圍框B被認為是正確的，則標定的包圍框Bgt與預測的包圍框B之間的交并覆蓋率（IoU）滿足公式1。PascalVOC數據集中的threshold通常設為0.5。

除此之外，還需計算每個類別的召回率和精度，分布如公式（2）、（3）所示，其中TP是被判為正確的個數，FP是被判為錯誤的個數，Nc是該類的標定的物體的個數。

[召回率 = TPNC] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2）

[精準度=TPTP+FP=召回率?NC召回率?NC+FP] ? ? ? ? ? ? ? ? ? ? ? ?（3）

2.2 系統性能測試

為了測試算法在樹莓派上的實際性能，從VOC2007數據集的測試集中隨機抽取部分圖片進行驗證，其部分圖像的驗證結果如圖3所示：

根據測試結果中各個類別的平均精確度及召回率，作出如圖4所示的精確度-召回率曲線圖。

對曲線圖中曲線包圍的面積去取均值，得到算法的平均精度值mAP=0.727，效果較好。

3 結論

為使SSD方法在嵌入式設備上能有良好的運行效果，本文將SSD的基礎網絡從原本的VGG16卷積神經網絡替換成了MobileNet網絡。通過實驗分析驗證了所提改進方法的有效性，能夠提高SSD方法在嵌入式設備上的檢測速度，同時保持較高的檢測精度。未來拓展研究可考慮如何從整體上去優化SSD方法，使之能夠完全適用于嵌入式設備。

參考文獻：

[1] 蔣帥.基于卷積神經網絡的圖像識別[D].長春：吉林大學，2017.

[2] 黃凱奇，任偉強，譚鐵牛.圖像物體分類與檢測算法綜述[J].計算機學報，2014，37（6）：1225-1240.

[3] Andrew G. Howard，Menglong Zhu，Bo Chen， et. al. Hartwig Adam Efficient Convolutional Neural Networks for Mobile Vision Applications [D]. Google Inc.， 2017.

[4] Cheng-Yang Fu， Alexander C. Berg. Single Shot MultiBox Detector [D]. UNC Chapel Hill Zoox Inc. Google Inc. University of Michigan， Ann-Arbor， 2016.

[5] Zhao Z Q， Zheng P， Xu S T， et al. Object detection with deep learning： A review. IEEE Transactions on Neural Networks and Learning Systems， 2019， 30（11）： 3212-3232.

[6] He Y， Zeng H， Fan Y Y， et al. Application of deep learning in integrated pest management： A real-time system for detection and diagnosis of oilseed rape pests[J]. Mobile Information Systems， 2019， 2019： 1-14.

【通聯編輯：唐一東】