基于TensorFlow Lite平臺的實(shí)時目標(biāo)檢測

林向會　謝本亮

摘要：目標(biāo)檢測是計(jì)算視覺的重要研究方向之一，尤其是基于移動設(shè)備平臺實(shí)現(xiàn)快速精準(zhǔn)的目標(biāo)檢測功能是非常有必要的。為了能夠在移動設(shè)備上進(jìn)行實(shí)時目標(biāo)檢測，本文提出一種基于RaspberryPi4B硬件平臺，采用TensorFlowLite開發(fā)環(huán)境，加載MobileNet-SSD網(wǎng)絡(luò)結(jié)構(gòu)算法的方案。方案采用的MobileNet卷積神經(jīng)網(wǎng)絡(luò)和SSD卷積神經(jīng)網(wǎng)絡(luò)結(jié)合的方法具有檢測速度快、占用內(nèi)存少等優(yōu)點(diǎn)。同時，本文還對MobileNet-SSD網(wǎng)絡(luò)結(jié)構(gòu)算法進(jìn)行了微小優(yōu)化。該方案通過在公開的數(shù)據(jù)集上進(jìn)行測試，對MobileNet-SSD網(wǎng)絡(luò)結(jié)構(gòu)算法和其改良算法進(jìn)行了結(jié)果比較，結(jié)果表明其改良算法的檢測速度有所提高，同時其檢測精度幾乎保持不變，在檢測精準(zhǔn)度和檢測速度上都有良好表現(xiàn)，表明該方案具有較高的應(yīng)用價值。

關(guān)鍵詞：目標(biāo)檢測;計(jì)算機(jī)視覺;網(wǎng)絡(luò)結(jié)構(gòu);TensorFlowLite;SSD;MobileNet;MobileNet-SSD

【Abstract】Targetdetectionisoneoftheimportantresearchdirectionsofcomputationalvision.Especially，itisnecessarytoachievefastandaccuratetargetdetectionbasedonmobiledeviceplatforms.ThispaperproposesasolutionbasedontheRaspberryPi4BhardwareenvironmentwhichusestheTensorFlowLitedevelopmentplatformandloadstheMobileNet-SSDnetworkstructurealgorithm.ThecombinationofMobileNetconvolutionalneuralnetworkandSSDconvolutionalneuralnetworkusedintheschemehastheadvantagesoffastdetectionspeedandlessmemory.Atthesametime，thispaperalsooptimizestheMobileNet-SSDnetworkstructurealgorithm.TheprogramcomparestheresultsoftheMobileNet-SSDnetworkstructurealgorithmwithitsimprovedalgorithmthroughexperimentsonpublicdatasets，andtheresultsshowthatthedetectionspeedoftheimprovedalgorithmhasincreased，whilethedetectionaccuracyremainsalmostunchanged.Bothaccuracyanddetectionspeedhavegoodperformance，indicatingthattheprogramhashighapplicationvalue.

【Keywords】targetdection;computervision;networkstructure;TensorFlowLite;SSD;MobileNet;MobileNet-SSD

作者簡介：林向會（1994-），女，碩士研究生，主要研究方向：電路與系統(tǒng);謝本亮（1978-），男，博士，副教授，主要研究方向：數(shù)字圖像處理、電路與系統(tǒng)。

0引言

隨著計(jì)算機(jī)技術(shù)的發(fā)展，目標(biāo)檢測已經(jīng)廣泛應(yīng)用于生活的各個領(lǐng)域中。在交通領(lǐng)域，目標(biāo)檢測可以通過對行人、車輛、交通燈和道路上的其他物體的檢測來實(shí)現(xiàn)對交通管理的協(xié)助[1]。醫(yī)療領(lǐng)域中，圖像的病理檢測和識別也可以通過目標(biāo)檢測來完成[2]。其他領(lǐng)域，如遙感圖片[3]、智能監(jiān)控[4]和面部識別等等也都應(yīng)用了目標(biāo)檢測技術(shù)。

當(dāng)前的通用目標(biāo)檢測算法一般基于單階段過程和兩階段過程。其中，基于單階段過程目標(biāo)檢測算法直接生成目標(biāo)邊界框和概率分類，無需生成候選框區(qū)，代表性的算法主要有YOLO[5]、YOLO9000[6]、SSD[7]等?；趦呻A段目標(biāo)檢測算法要先生成候選區(qū)域，再對候選區(qū)域進(jìn)行分類和調(diào)整，代表性算法主要有R-CNN[8]、FastR-CNN[9]等。文獻(xiàn)[5]提出的YOLO算法實(shí)現(xiàn)了端到端的檢測效果并提高了檢測率，但由于其粗粒度的運(yùn)算特征，檢測精度較差。文獻(xiàn)[7]提出的SSD算法實(shí)現(xiàn)了對整個圖像的回歸檢測，檢測速率高。但該算法應(yīng)用于小物體檢測時，檢測精度和準(zhǔn)確性較低。文獻(xiàn)[10]提出FasterR-CNN算法實(shí)現(xiàn)了端到端的檢測，該算法的精度高于傳統(tǒng)的R-CNN算法，但檢測速度較慢，無法滿足實(shí)時性檢測的要求。此外，文獻(xiàn)[11]提出了一種水平連接的要素金字塔網(wǎng)絡(luò)（FPN），該網(wǎng)絡(luò)采用多尺度特征映射和自上而下的結(jié)構(gòu)，在小物體目標(biāo)檢測時的性能優(yōu)于YOLO算法。SSD算法借鑒了YOLO單元的思想和FasterR-CNN的錨定機(jī)制，即直接預(yù)測對象類別和邊界框的多對象檢測法。文獻(xiàn)[12]中的YOLOv3算法引入了一種多尺度預(yù)測方法來提高小型物體的檢測效果。由于FPN和YOLOv3都有大量參數(shù)，即使得檢測速度較慢，并且2種算法模型的操作都需要高性能PC設(shè)備支持。

盡管運(yùn)用在PC終端上的算法具有很高的運(yùn)算效率，但由于PC設(shè)備的體積大，靈活性差，其應(yīng)用范圍受到了限制。為了達(dá)到目標(biāo)檢測算法要用到移動設(shè)備的目的，期望目標(biāo)檢測算法的網(wǎng)絡(luò)不僅要求準(zhǔn)確，而且要有很快的檢測速度。近年來，研究人員已經(jīng)提出了數(shù)種用于公共目標(biāo)識別的高效移動神經(jīng)網(wǎng)絡(luò)。例如，文獻(xiàn)[13]針對移動和嵌入式視覺應(yīng)用提出了一種稱為MobileNet的有效模型，文獻(xiàn)[14]提出基于YOLOv3改進(jìn)的算法來實(shí)現(xiàn)車輛的實(shí)時檢測，文獻(xiàn)[15]提出基于SSD算法來實(shí)現(xiàn)車輛識別檢測。文獻(xiàn)[16]提出了SqueezeNet模型，這是一種CNN架構(gòu)，其參數(shù)比AlexNet少50倍，并在ImageNet上保持AlexNet級別的準(zhǔn)確性，該模型的參數(shù)可存儲在FPGA內(nèi)，從而實(shí)現(xiàn)移動設(shè)備的目標(biāo)檢測。

雖然當(dāng)前的目標(biāo)檢測技術(shù)達(dá)到了高精度和速度，但這是在高性能的實(shí)驗(yàn)平臺上實(shí)現(xiàn)的，對于在有限的計(jì)算速度和內(nèi)存資源的移動設(shè)備上來說，目標(biāo)檢測的性能下降嚴(yán)重。因此，本文基于RaspberryPi平臺，選擇MobileNet卷積神經(jīng)網(wǎng)絡(luò)和SSD卷積神經(jīng)網(wǎng)絡(luò)，即MobileNet-SSD網(wǎng)絡(luò)結(jié)構(gòu)算法來實(shí)現(xiàn)實(shí)時目標(biāo)檢測。實(shí)驗(yàn)結(jié)果表明基于RaspberryPi4B平臺的MobileNet-SSD能實(shí)時進(jìn)行目標(biāo)檢測，且檢測速度快、精度較高。

1硬件平臺

樹莓派是一款微型電腦，相對于普通PC機(jī)來說，其優(yōu)點(diǎn)就在于該微型電腦具備普通PC機(jī)的所有基本功能，體積和重量卻遠(yuǎn)小于普通PC機(jī)，被稱為世界上最小的臺式機(jī)。基于RaspberryPi4B的運(yùn)動目標(biāo)檢測算法研究的意義在于，能夠克服PC機(jī)體積和重量過大的缺點(diǎn)，使對運(yùn)動目標(biāo)的檢測上更具有便攜性。相比于RaspberryPi3B+，RaspberryPi4B的特點(diǎn)為：更快的CPU和GPU，更多、更快的RAM;支持USB3.0的更高總線速度，還允許板載以太網(wǎng)端口支持真正的千兆位連接（125MBps）;雙microHDMI端口連接，并支持4K輸出。

TensorFlowLite是TensorFlow的一個輕量級版本，針對移動設(shè)備做了很多優(yōu)化和改造[15]。TensorFlowLite主要面向移動設(shè)備和嵌入式設(shè)備，其最大特點(diǎn)為：輕量級、跨平臺、快速。TensorFlowLite的主要組成部分為：模型轉(zhuǎn)換器、解釋執(zhí)行器、算子庫、硬件加速代理。

2目標(biāo)檢測算法分析

2.1SSD算法結(jié)構(gòu)

SSD算法結(jié)構(gòu)如圖1所示。SSD方法基于前饋卷積網(wǎng)絡(luò)。該網(wǎng)絡(luò)會生成固定大小的邊界框集合，對這些框中存在的對象類實(shí)例進(jìn)行評分，并執(zhí)行非最大抑制算法以生成最終檢測結(jié)果。

SSD算法采用的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)為VGG16，將VCG16最后2個連接層fc6和fc7改為卷積層，再增加4個卷積層conv6，conv7，conv8和conv9來構(gòu)造網(wǎng)絡(luò)結(jié)構(gòu)。SSD算法默認(rèn)框的個數(shù)為6個，在對原始圖形進(jìn)行映射時，對應(yīng)的默認(rèn)框的大小也不相同，計(jì)算相應(yīng)框大小的數(shù)學(xué)公式為：

其中，N表示匹配的默認(rèn)框的數(shù)量;x表示匹配框是否屬于類別p;g是真實(shí)值;c表示所選框目標(biāo)屬于類別p的置信度。

2.2MobileNet網(wǎng)絡(luò)結(jié)構(gòu)

MobileNet模型基于深度級可分離卷積構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)，可將標(biāo)準(zhǔn)卷積拆分為2種形式：深度卷積和逐點(diǎn)卷積（1×1卷積核）[15]。和標(biāo)準(zhǔn)卷積不同，標(biāo)準(zhǔn)卷積的卷積核是對應(yīng)所有的輸入通道上，而深度卷積為一個卷積核，且只對應(yīng)一個輸入通道。標(biāo)準(zhǔn)卷積和深度卷積過程示意圖如圖2所示。

圖2中，M表示輸入通道的數(shù)量，N表示輸出通道數(shù)量，Dk表示卷積核，Dk×Dk表示輸出通道數(shù)量N內(nèi)核大小。深度可分離卷積先是使用深度卷積對不同輸入通道進(jìn)行卷積，此后再使用點(diǎn)卷積將上一步的輸出進(jìn)行處理。這樣一來，卷積分解過程即能有效減少計(jì)算量和模型尺寸。

MobileNet中，只有第一層是普通卷積層外，其他都是深度可分離卷積層。而且除了最后的全連接層沒有ReLU層外，每個網(wǎng)絡(luò)層后都有BN層和ReLU非線性激活層。網(wǎng)絡(luò)最后的全連接層將續(xù)接softmax層進(jìn)行分類。網(wǎng)絡(luò)的下采樣是使用帶步長的卷積層來實(shí)現(xiàn)的。而在全連接層前，使用了全局池化將張量的尺寸變?yōu)?×1。文獻(xiàn)[13]通過比較普通卷積和深度可分解卷積的計(jì)算量得出，由于Mobilenet使用了3×3的卷積，其計(jì)算量減少了接近9倍。同時準(zhǔn)確率幾乎保持不變，下降得很少。

2.3MobileNet-SSD算法及其優(yōu)化

MobileNet-SSD算法是結(jié)合了SSD算法理論和MobileNets網(wǎng)絡(luò)結(jié)構(gòu)的一種算法結(jié)構(gòu)，相對其它算法來說，MobileNet-SSD算法能大幅減少計(jì)算量，同時其檢測速度和精度幾乎不變。因此，MobileNet-SSD算法能夠在嵌入式設(shè)備上使用。

MobileNet-SSD算法結(jié)構(gòu)是將SSD算法結(jié)構(gòu)里的VGG16網(wǎng)絡(luò)去掉，而后采用MobileNet網(wǎng)絡(luò)。MobileNet-SSD算法結(jié)構(gòu)大致可分為2類。一類是輸入層，本文實(shí)驗(yàn)中的輸入層為300×300像素值矩陣;另一類為卷積層，這類卷積層一共有22層。前14個卷積層conv0～conv13和MobileNet算法結(jié)構(gòu)的卷積層相同，而于其后增加的8個卷積層則用來對網(wǎng)絡(luò)中進(jìn)行檢測。

MobileNes算法結(jié)構(gòu)由于采用了深度可分離卷積，其網(wǎng)絡(luò)模型進(jìn)行了壓縮、網(wǎng)絡(luò)尺寸得到了減小。但是若要應(yīng)用于嵌入式的平臺的實(shí)時檢測，其網(wǎng)絡(luò)結(jié)構(gòu)仍需進(jìn)行優(yōu)化。在對MobileNets算法結(jié)構(gòu)的前14個卷積層分析后得出：對于Conv0～Conv3卷積層，深度可分離卷積層和普通卷積層兩者計(jì)算耗費(fèi)時長都較多;對于Conv4～Conv13卷積層，深度可分離卷積層和普通卷積層計(jì)算時間計(jì)算耗時有差異，前者計(jì)算耗時較少，而后者計(jì)算耗時較多。因此，本文通過調(diào)整Conv0～Conv13卷積層的結(jié)構(gòu)，采用ReLU6函數(shù)，來實(shí)現(xiàn)目標(biāo)的實(shí)時檢測。

3平臺搭建與檢測分析

3.1樹莓派視覺系統(tǒng)搭建

樹莓派視覺系統(tǒng)包括樹莓派4B主板、IO擴(kuò)展板、500萬像素?cái)z像頭、PCA9685舵機(jī)驅(qū)動板、16G內(nèi)存卡等配件。在樹莓派系統(tǒng)里實(shí)現(xiàn)目標(biāo)檢測，需要搭建樹莓派桌面，首先使用遠(yuǎn)程SSH工具連接樹莓派，接著在樹莓派上安裝TightVNC包，最后運(yùn)行遠(yuǎn)程桌面程序VNC-Viewer。在VNCServer欄中，輸入樹莓派的IP地址，按connect連接并輸入樹莓派用戶名和密碼后就可以看到樹莓派桌面。

在此基礎(chǔ)上將進(jìn)行TensorFlowLite環(huán)境搭建[17]，具體步驟為：

（1）更新RaspberryPi。

（2）下載及保存庫并創(chuàng)建虛擬環(huán)境。

（3）安裝TensorFlowLite和OpenCV。

3.2TensorFlow-Lite運(yùn)行及實(shí)時目標(biāo)檢測

首先，通過關(guān)閉所有不使用的應(yīng)用程序來釋放內(nèi)存和處理能力;接著，檢查攝像頭是否正確連線，確保攝像頭可以正常使用。將自己在PC端訓(xùn)練優(yōu)化的模型通過FileZilla客戶端軟件，打開名為“TFLite_model”的文件夾，其中包含detect.tflite和labelmap.txt文件，復(fù)制到樹莓派桌面文件home/pi/tflite1目錄。接著，通過從home/pi/tflite1目錄中發(fā)出以下命令來運(yùn)行實(shí)時網(wǎng)絡(luò)攝像頭檢測腳本。TFLite_detection_webcam.py腳本可與USB攝像頭一起使用。輸入命令時要注意字母大小寫和文件名不要輸錯，否則會提示不能打開文件夾，無法運(yùn)行程序。

實(shí)時目標(biāo)檢測的模塊內(nèi)容有：模型訓(xùn)練、模型轉(zhuǎn)換、目標(biāo)檢測、圖像獲取、圖像處理和結(jié)果輸出。實(shí)時目標(biāo)檢測模塊的關(guān)系示意圖如圖3所示。在命令編寫結(jié)束后，系統(tǒng)會初始化幾分鐘，這時就會出現(xiàn)一個窗口，顯示網(wǎng)絡(luò)攝像頭。檢測的對象將實(shí)時顯示邊框和標(biāo)簽。如圖4所示。

3.3實(shí)時目標(biāo)檢測系統(tǒng)效果及分析

本次實(shí)驗(yàn)對數(shù)據(jù)集分別使用MobileNet-SSD算法及其改良算法在RaspberryPi4B上進(jìn)行測試，2種算法測試后的結(jié)果見表1、表2。通過對比發(fā)現(xiàn)，經(jīng)過優(yōu)化的MobileNet-SSD算法的檢測速度有所提高，mAP下降了3.728個百分點(diǎn)，在對精度沒有較大減小的情況下，提高了檢測速度。MobileNet-SSD算法及其改良算法各性能的對比見表3。

4結(jié)束語

本文研究并實(shí)現(xiàn)的是在樹莓派上搭建TensorFlow-Lite框架并運(yùn)行轉(zhuǎn)換為TFLite模型的目標(biāo)檢測程序，系統(tǒng)設(shè)定在RaspberryPi4B硬件平臺上運(yùn)行，整個系統(tǒng)實(shí)現(xiàn)了實(shí)時目標(biāo)檢測。經(jīng)過實(shí)驗(yàn)可知檢測精度和識別速度較好，表明系統(tǒng)的硬件實(shí)現(xiàn)是可行的，可以用在需要移動嵌入式設(shè)備進(jìn)行檢測的場景中。

參考文獻(xiàn)

[1]JUJianguo，XINGJinsheng.MovingobjectdetectionbasedonsmoothingthreeframedifferencemethodfusedwithRPCA[J].MultimediaToolsandApplications，2019，78（21）：29937-29951.

[2]HUSSEINS，KANDELP，BOLANCW，etal.Lungandpancreatictumorcharacterizationinthedeeplearningera：Novelsupervisedandunsupervisedlearningapproaches[J].IEEETransactionsonMedicalImaging，2019，38（8）：1777-1787.

[3]LIUJing，YANGShuojin，TIANLiang，etal.Multi-componentfusionnetworkforsmallobjectdetectioninremotesensingimages[J].IEEEAccess，2019（7）：128339-128352.

[4]XUH，YANGZ，CHENG，etal.Agroundmovingtargetdetectionapproachbasedonshadowfeaturewithmultichannelhigh-resolutionsyntheticapertureradar[J].IEEEGeoence&RemoteSensingLetters，2017，13（10）：1572-1576.

[5]REDMONJ，DIVVALAS，GIRSHICKR，etal.Youonlylookonce：Unified，real-timeobjectdetection[J].arXivpreprintarXiv：1506.02640，2015.

[6]REDMONJ，F(xiàn)ARHADIA.YOLO9000：Better，F(xiàn)aster，Stronger[C]∥IEEEConferenceonComputerVision&PatternRecognition.Honolulu，Hawaii：IEEE，2017：6517-6525.

[7]LIUW，ANGUELOVD，ERHAND，etal.SSD：SingleshotmultiBoxdetector[C]∥EuropeanConferenceonComputerVision.SpringerInternationalPublishing.Cham：Springer，2016：21-37.

[8]GIRSHICKR，DONAHUEJ，DARRELLT，etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C]//2014IEEEConferenceonComputerVisionandPatternRecogntion.Ohio，USA：IEEE，2014：580-587.

[9]GIRSHICKR.FastR-CNN[C]∥ProceedingsoftheIEEEInternationalConferenceonComputerVision.Santiago，Chile：IEEE，2015：1440-1448.

[10]RENS，HEK，GIRSHICKR，etal.FasterR-CNN：Towardsreal-Timeobjectdetectionwithregionproposalnetworks[J].IEEETransactionsonPatternAnalysis&MachineIntelligence，2017，39（6）：1137-1149.

[11]LINTY，DOLLARP，GIRSHICKR，etal.Featurepyramidnetworksforobjectdetection[C]∥2017IEEEConferenceonComputerVisionandPatternRecognition（CVPR）.Honolulu，HI：IEEE，2017：936-944.

[12]REDMONJ，F(xiàn)ARHADIA.YOLOv3：Anincrementalimprovement[J].arXivpreprintarXiv：1804.02767，2018.

[13]HOWARDAG，ZHUM，CHENB，etal.MobileNets：EfficientConvolutionalNeuralNetworksformobilevisionapplications[J].arXivpreprintarXiv：1704.04861，2017.

[14]李漢冰，徐春陽，胡超超.基于YOLOV3改進(jìn)的實(shí)時車輛檢測方法[J].激光與光電子學(xué)進(jìn)展，2020，57（10）：332-338.

[15]劉寒迪，趙德群，陳星輝，等.基于改進(jìn)SSD的航拍施工車輛檢測識別系統(tǒng)設(shè)計(jì)[J].國外電子測量技術(shù)，2020，39（7）：127-132.

[16]IANDOLAFN，HANS，MOSKEWICZMW，etal.SqueezeNet：AlexNet-levelaccuracywith50xfewerparametersand<0.5MBmodelsize[J].arXivpreprintarXiv：1602.07360，2016.

[17]李雙峰.TensorFlowLite：端側(cè)機(jī)器學(xué)習(xí)框架[J].計(jì)算機(jī)研究與發(fā)展，2020，57（9）：1839-1853.