邊緣設(shè)備上的葡萄園田間場(chǎng)景障礙檢測(cè)*

崔學(xué)智，馮全，王書(shū)志，張建華

(1. 甘肅農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，蘭州市，730070； 2. 西北民族大學(xué)機(jī)電工程學(xué)院，蘭州市，730030；3. 中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所，北京市，100081)

0 引言

目前在農(nóng)用無(wú)人駕駛方面，較為成熟的路徑規(guī)劃和避障方案是使用衛(wèi)星導(dǎo)航[1]配合毫米波雷達(dá)[2]，但這種方式對(duì)環(huán)境的感知水平較低，無(wú)法準(zhǔn)確識(shí)別障礙物類(lèi)型，只能在障礙物較少、信號(hào)良好的區(qū)域使用。相比于城市場(chǎng)景，農(nóng)業(yè)田間場(chǎng)景障礙物體積相對(duì)較小，多數(shù)為柔性且位置固定(或移動(dòng)緩慢)。探索快速、準(zhǔn)確、經(jīng)濟(jì)的田間障礙物檢測(cè)技術(shù)，可以推動(dòng)無(wú)人駕駛農(nóng)機(jī)發(fā)展，提升農(nóng)業(yè)機(jī)械自動(dòng)化和智能水平。

為解決田間障礙檢測(cè)問(wèn)題，很多學(xué)者采用計(jì)算機(jī)視覺(jué)技術(shù)進(jìn)行了探索[3-4]，傳統(tǒng)方法處理速度快，但難以勝任復(fù)雜場(chǎng)景的高精度障礙檢測(cè)。近年來(lái)隨著深度學(xué)習(xí)技術(shù)興起，涌現(xiàn)出許多優(yōu)秀的深度卷積神經(jīng)網(wǎng)絡(luò)[5-8]，它們?cè)趫D像識(shí)別方面取得了良好效果，將這些網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，研究者們?cè)O(shè)計(jì)了專(zhuān)用于目標(biāo)檢測(cè)的網(wǎng)絡(luò)模型[9-11]，其特征提取快，分類(lèi)回歸更為準(zhǔn)確，逐漸成為目標(biāo)檢測(cè)的主流。一些學(xué)者開(kāi)始在農(nóng)業(yè)田間場(chǎng)景檢測(cè)方面使用深度學(xué)習(xí)方法。李云伍等[12]將丘陵山區(qū)田間場(chǎng)景障礙物分11類(lèi)，構(gòu)建了基于空洞卷積神經(jīng)網(wǎng)絡(luò)的田間道路場(chǎng)景圖像語(yǔ)義分割模型，該模型包括前端模塊和上下文模塊，前端模塊為VGG-16融合空洞卷積的改進(jìn)結(jié)構(gòu)，上下文模塊為不同膨脹系數(shù)空洞卷積層的級(jí)聯(lián)，采用兩階段訓(xùn)練方法進(jìn)行訓(xùn)練。劉慧等[13]針對(duì)果園環(huán)境復(fù)雜難以準(zhǔn)確檢測(cè)出障礙物信息的問(wèn)題，提出了一種改進(jìn)SSD的深度學(xué)習(xí)目標(biāo)檢測(cè)方法，使用輕量化網(wǎng)絡(luò)MobileNetV2作為SSD模型中的基礎(chǔ)網(wǎng)絡(luò)，以減少提取圖像特征過(guò)程中所花費(fèi)的時(shí)間及運(yùn)算量，輔助網(wǎng)絡(luò)層以反向殘差結(jié)構(gòu)結(jié)合空洞卷積作為基礎(chǔ)結(jié)構(gòu)對(duì)行人進(jìn)行位置預(yù)測(cè)，在果園行人實(shí)時(shí)檢測(cè)上取得了較好效果。

普通目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)高精度目標(biāo)檢測(cè)，其缺點(diǎn)是運(yùn)行消耗計(jì)算資源大，需要臺(tái)式服務(wù)器，但由于智能農(nóng)機(jī)內(nèi)空間有限，服務(wù)器在其上部署困難，且田間道路顛簸，會(huì)導(dǎo)致其工作可靠性降低。為解決以上問(wèn)題，需使用輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型和堅(jiān)固的邊緣設(shè)備。輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型雖然檢測(cè)精度相對(duì)一般，但消耗計(jì)算資源較少。邊緣設(shè)備雖然計(jì)算能力較弱，但體積較小，部署方便，在顛簸場(chǎng)景運(yùn)行相對(duì)穩(wěn)定，且價(jià)格較低。因此在邊緣設(shè)備上使用輕量級(jí)目標(biāo)檢測(cè)模型實(shí)現(xiàn)實(shí)時(shí)障礙檢測(cè)功能對(duì)于實(shí)用的、廉價(jià)的無(wú)人駕駛農(nóng)機(jī)具有重要意義。

本文選擇常用的邊緣設(shè)備N(xiāo)VIDIA JETSON TX2作為葡萄園田間場(chǎng)景障礙物快速檢測(cè)算法的硬件運(yùn)行平臺(tái)，使用YOLOV3-TINY、YOLOV4-TINY、EfficientDet-D0、YOLO-FASTEST4種輕量級(jí)神經(jīng)網(wǎng)絡(luò)在以葡萄園作為背景的自建田間場(chǎng)景數(shù)據(jù)集進(jìn)行訓(xùn)練，再將得到的4種網(wǎng)絡(luò)模型移植到TX2上，通過(guò)試驗(yàn)比較這幾種目標(biāo)檢測(cè)網(wǎng)絡(luò)的障礙檢測(cè)精度以及在TX2上的運(yùn)行幀率、計(jì)算資源占用等項(xiàng)目，采用加權(quán)評(píng)分制對(duì)4種網(wǎng)絡(luò)在TX2上的綜合表現(xiàn)進(jìn)行打分，優(yōu)選出最適合移植到TX2上的目標(biāo)檢測(cè)網(wǎng)絡(luò)。

1 4種輕量級(jí)目標(biāo)檢測(cè)模型介紹

1.1EfficientDet-D0

EfficientDet[14]是Google Brain于2019年11月發(fā)布的目標(biāo)檢測(cè)網(wǎng)絡(luò)。其多尺度特征融合網(wǎng)絡(luò)采用了加權(quán)雙向特征金字塔網(wǎng)絡(luò)(BIFPN)進(jìn)行多尺度特征融合，通過(guò)自上而下以及自下而上的、跨尺度的對(duì)不同尺度的特征進(jìn)行加權(quán)融合，BIFPN采用深度分離卷積進(jìn)行特征融合，并在每次卷積后加入批量歸一化和激活，從而實(shí)現(xiàn)高效的聚合不同分辨率的特征。

本文所使用的EfficientDet-D0模型是EfficientDet所提供的預(yù)訓(xùn)練模型中的輕量級(jí)模型，大小僅15.1 MB，非常適合遷移到邊緣設(shè)備上運(yùn)行，其總體結(jié)構(gòu)由EfficientNet-B0的3層64通道的BIFPN以及3層的類(lèi)別預(yù)測(cè)/目標(biāo)檢測(cè)層(CONV層)組成，其中EfficientNet-B0由1個(gè)輸出通道數(shù)為32、卷積核尺寸為3×3，步進(jìn)為2的卷積層和16個(gè)MBConv運(yùn)算塊組成。

EfficientDet采用的損失函數(shù)分為兩種，一種是分類(lèi)損失函數(shù)，另一種是回歸損失函數(shù)。其中分類(lèi)損失函數(shù)采用focal loss損失函數(shù)，用來(lái)控制正負(fù)樣本的權(quán)重以及控制容易分類(lèi)和難分類(lèi)樣本的權(quán)重；回歸損失函數(shù)采用SmoothL1 loss損失函數(shù)。

1.2YOLOV3-TINY

YOLOV3[15]系列是2018年最熱門(mén)的目標(biāo)檢測(cè)網(wǎng)絡(luò)之一，而YOLOV3-TINY是YOLOV3的簡(jiǎn)化版，其模型體積為33.7 MB。YOLOV3-TINY主干網(wǎng)絡(luò)在YOLOV3的基礎(chǔ)上進(jìn)行了刪減，去掉了一些特征層，采用了7層2維卷積層輔以6層最大池化層網(wǎng)絡(luò)提取特征。多尺度特征融合方面，YOLOV3-TINY使用了FPN多尺度特征融合網(wǎng)絡(luò)，提升了對(duì)于細(xì)小目標(biāo)的檢測(cè)能力。連接網(wǎng)絡(luò)方面，YOLOV3-TINY采用了13×13、26×26組成分辨率探測(cè)網(wǎng)絡(luò)。

1.3YOLOV4-TINY

YOLOV4系列目標(biāo)檢測(cè)網(wǎng)絡(luò)是Bochkovskiy等[16]于2020年4月提出的目標(biāo)檢測(cè)網(wǎng)絡(luò)系列，其中YOLOV4-TINY是YOLOV4的輕量級(jí)模型，其模型大小僅23.1 MB。YOLOV4-TINY為簡(jiǎn)化運(yùn)算，減少模型大小以及提高運(yùn)行速度，僅使用FPN進(jìn)行特征融合，并在損失函數(shù)中做了改進(jìn)，使用了CIOU作為回歸損失函數(shù)。

在主干網(wǎng)絡(luò)方面，YOLOV4-TINY使用CSPDarknet53-TINY主干網(wǎng)絡(luò)，總體結(jié)構(gòu)可以大致分為2個(gè)部分，主干網(wǎng)絡(luò)、多尺度特征融合網(wǎng)絡(luò)。主干網(wǎng)絡(luò)首先是通過(guò)2個(gè)特征提取層(包含2維卷積、批量歸一化、Leak ReLU激活)對(duì)圖片特征進(jìn)行初步提取，然后3次使用CSP模塊加MAX POOLING層所組成的結(jié)構(gòu)塊進(jìn)行進(jìn)一步特征提取。多尺度特征融合使用了若干卷積層和一組FPN，YOLOV4-TINY僅使用了兩個(gè)特征層(YOLO層)進(jìn)行分類(lèi)與回歸預(yù)測(cè)。

1.4YOLO-FASTEST

YOLO-FASTEST是2020年9月提出的超輕量級(jí)YOLO網(wǎng)絡(luò)模型。它在YOLOV4-TINY網(wǎng)絡(luò)模型的基礎(chǔ)上以降低檢測(cè)精度為代價(jià)，進(jìn)一步減少其模型體積，其尺寸僅為1.3 MB，是目前最小的YOLO模型，方便移植到各類(lèi)平臺(tái)，但是模型網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，共126層。

2 材料與方法

2.1 試驗(yàn)平臺(tái)和試驗(yàn)參數(shù)設(shè)置

2.1.1 訓(xùn)練平臺(tái)及訓(xùn)練參數(shù)

本試驗(yàn)的訓(xùn)練平臺(tái)其搭載了Intel?CORETMi5-8400六核處理器，基礎(chǔ)頻率2.80 GHz，最大睿頻4.00 GHz，GPU采用了NVIDIA RTX 2060 6 GB，基礎(chǔ)頻率1 210 MHz，最大頻率1 435 MHz，內(nèi)存為Samsung DDR4@2 666 MHz 8 GB×2。軟件環(huán)境為Windows 10 1909 64 bit家庭版操作系統(tǒng)，GPU驅(qū)動(dòng)程序版本為452.06、CUDA Toolkit 10.2。表1為4種網(wǎng)絡(luò)模型的實(shí)現(xiàn)方式。

表1 4種網(wǎng)絡(luò)模型的實(shí)現(xiàn)方式Tab. 1 Achievement method of four networks

其中，EfficientDet-D0、YOLOV3-TINY、YOLOV4-TINY的訓(xùn)練參數(shù)一致：學(xué)習(xí)率0.001，迭代次數(shù)為2 000，采用批量訓(xùn)練的方法，將訓(xùn)練集以及測(cè)試集分為32個(gè)批次進(jìn)行，既batch-size為32，將數(shù)據(jù)集設(shè)置為640×640的統(tǒng)一分辨率進(jìn)行訓(xùn)練和測(cè)試。

YOLO-FASTEST使用官方原版YOLOV4主程序，僅權(quán)重文件、配置文件不同，訓(xùn)練參數(shù)設(shè)置：迭代次數(shù)18 000(2 000×類(lèi)別數(shù)9)，其余參數(shù)與其他3種網(wǎng)絡(luò)模型一致。

2.1.2 邊緣設(shè)備測(cè)試平臺(tái)

障礙檢查網(wǎng)絡(luò)訓(xùn)練好后會(huì)被移植到邊緣設(shè)備上進(jìn)行實(shí)際障礙檢測(cè)測(cè)試。本試驗(yàn)中的邊緣設(shè)備平臺(tái)為NVIDIA公司的NVIDIA JETSON TX2(以下簡(jiǎn)稱(chēng)TX2)。其搭載了由HMP Dual Denver 2雙核處理器以及Quad ARM@A57四核處理器所組成的六核處理器，最高頻率2.00 GHz，GPU采用了NVIDIAPascal架構(gòu)芯片NVIDIA Tegra X2，擁有256個(gè)CUDA計(jì)算核心，GPU最高頻率1 300 MHz，內(nèi)存為L(zhǎng)PDDR4 8 GB，該邊緣設(shè)備擁有板載CSI攝像頭。軟件環(huán)境Ubuntu18.04、python3編程語(yǔ)言、C編程語(yǔ)言、Pytorch深度學(xué)習(xí)框架、CUDA Toolkit 10.0、CUDNN 7.5.0。

2.2 試驗(yàn)數(shù)據(jù)采集

田間場(chǎng)景圖像的采集是在甘肅省葡萄酒產(chǎn)業(yè)技術(shù)研發(fā)中心的葡萄園中完成，地點(diǎn)是甘肅省蘭州市安寧區(qū)甘肅農(nóng)業(yè)大學(xué)校內(nèi)。使用了搭載Intel REALSENSE D415攝像頭的上海一坤Bulldog無(wú)人車(chē)進(jìn)行了葡萄園田間數(shù)據(jù)采集，對(duì)葡萄園內(nèi)數(shù)條田埂周?chē)h(huán)境分時(shí)段(上午、中午、傍晚)、分天氣(晴天、陰天、雨天)、光照(無(wú)陰影、少量陰影遮蔽、大量陰影遮蔽、順光、逆光)、并以不同分辨率(640×480、1 280×780、1 920×1 080)進(jìn)行了圖像、視頻采集。之后將視頻文件進(jìn)行了圖像拆分，拆分幀率為10張/s，剔除冗余重復(fù)圖片，最終得到了無(wú)人車(chē)視角的4 400張?zhí)镩g場(chǎng)景圖片，包含9種障礙物，保證了數(shù)據(jù)集的豐富性。

2.3 試驗(yàn)數(shù)據(jù)集制作

將采集到的上述4 400張圖片數(shù)據(jù)集使用labelme標(biāo)注軟件對(duì)田間常見(jiàn)障礙進(jìn)行標(biāo)注，共分為9類(lèi)：people(人)、fence(柵欄)、trellis(葡萄架)、stone(石塊)、root(根莖)、hole(坑洞)、dog(狗)、stair(臺(tái)階)、barrel(水桶)。考慮到數(shù)據(jù)集制作圖片隨機(jī)選取的原則、將所有圖片按拍攝時(shí)間分為10組，按照4∶1原則分別從這10組圖片中進(jìn)行隨機(jī)選取，其中80%的圖片設(shè)置成訓(xùn)練集、剩余20%為測(cè)試集。共得到訓(xùn)練集3 520張，測(cè)試集880張。

2.4 障礙檢測(cè)精度評(píng)價(jià)指標(biāo)

本文使用均值平均精度(mean Average Precision，mAP)來(lái)衡量網(wǎng)絡(luò)模型精度的好壞，其計(jì)算式

(1)

式中：N——類(lèi)別數(shù)，在本試驗(yàn)中為9；

AP——單個(gè)類(lèi)別平均精度。

AP按照COCO競(jìng)賽方式計(jì)算

(2)

其中Ri與Pi為P-R曲線(xiàn)上的取值點(diǎn)，i∈{0,0.01,0.02…0.99,1.00}共計(jì)101個(gè)值，COCO的AP計(jì)算方式會(huì)取多個(gè)交并比(Intersection Over Union，IOU)值進(jìn)行計(jì)算，本試驗(yàn)的AP僅取IOU=50%的結(jié)果。

以單個(gè)類(lèi)別召回率為橫軸，單個(gè)類(lèi)別識(shí)別精度為縱軸，即可繪制P-R曲線(xiàn)。P-R曲線(xiàn)的P為單個(gè)類(lèi)別識(shí)別精度(Precision)，其計(jì)算式

(3)

式中：TP——分類(lèi)器認(rèn)為是正樣本，并且符合實(shí)際情況；

FP——分類(lèi)器認(rèn)為是正樣本，但實(shí)際是負(fù)樣本。

P-R曲線(xiàn)的R為單個(gè)類(lèi)別召回率(Recall)，其計(jì)算式

(4)

式中：FN——分類(lèi)器認(rèn)為是負(fù)樣本，但是實(shí)際是正樣本。

2.5 邊緣設(shè)備上的視頻檢測(cè)性能評(píng)價(jià)

本試驗(yàn)為T(mén)X2實(shí)時(shí)視頻的障礙檢測(cè)試驗(yàn)，TX2開(kāi)啟最大性能模式(MAXN模式)，關(guān)閉所有無(wú)關(guān)終端窗口，確保每次測(cè)試僅開(kāi)啟一種網(wǎng)絡(luò)模型檢測(cè)程序以及jetson-stats系統(tǒng)資源監(jiān)測(cè)程序。

實(shí)時(shí)視頻檢測(cè)的目的是為了評(píng)價(jià)不同障礙檢測(cè)網(wǎng)絡(luò)模型在TX2上的運(yùn)行性能，優(yōu)選適合在TX2進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)的網(wǎng)絡(luò)模型。由于運(yùn)行目標(biāo)檢測(cè)模塊會(huì)占用不小的系統(tǒng)資源，可能會(huì)影響整個(gè)檢測(cè)系統(tǒng)的其他功能模塊運(yùn)行(如距離檢測(cè)、避障等)，所以除了檢測(cè)精度和幀率外，有必要結(jié)合各模型對(duì)硬件資源占用情況綜合分析其性能。本文采用打分制來(lái)評(píng)價(jià)網(wǎng)絡(luò)模型的綜合表現(xiàn)，其計(jì)算公式

(5)

式中：ST——總得分；

s1、s2、s3——mAP項(xiàng)得分、平均幀率項(xiàng)得分、資源占用得分；

w1、w2、w3——上述3項(xiàng)得分的加權(quán)系數(shù)，其和為1。

考察資源占用得分時(shí)從以下3個(gè)子項(xiàng)給出其分值：GPU使用情況、CPU使用情況以及RAM使用情況。

根據(jù)經(jīng)驗(yàn)，在田間場(chǎng)景障礙實(shí)時(shí)檢測(cè)中，檢測(cè)流暢性最為重要，障礙物檢測(cè)精度次之，硬件資源消耗情況再次之。因此本文根據(jù)重要程度對(duì)所有檢測(cè)項(xiàng)加權(quán)系數(shù)做出如下賦值：w1為0.4，w2為0.5，w3為0.1。

所有測(cè)試項(xiàng)目的評(píng)分以設(shè)置標(biāo)準(zhǔn)為最高得分(5分)，每下降標(biāo)準(zhǔn)的20%，得分降低1分，測(cè)試項(xiàng)目評(píng)價(jià)標(biāo)準(zhǔn)如表2所示。

表2 測(cè)試項(xiàng)目評(píng)價(jià)標(biāo)準(zhǔn)Tab. 2 Rating criteria of test items

3 結(jié)果與分析

3.1 障礙檢測(cè)結(jié)果與分析

圖1(a)給出了EfficientDet-D0、YOLOV4-TINY和YOLOV3-TINY的訓(xùn)練損失曲線(xiàn)，YOLO-FASTEST迭代次數(shù)與上述三種網(wǎng)絡(luò)相差較大，其訓(xùn)練損失曲線(xiàn)如圖1(b)所示。EfficientDet-D0損失曲線(xiàn)收斂最為迅速，且最終損失值比其他兩種網(wǎng)絡(luò)模型小2.0左右。YOLOV4-TINY、YOLOV3-TINY總體誤差曲線(xiàn)十分相似，其曲線(xiàn)趨勢(shì)幾乎一致，YOLOV3-TINY曲線(xiàn)略?xún)?yōu)于YOLOV4-TINY，差距在0.2以?xún)?nèi)。對(duì)比圖1(a)與圖1(b)可以得知，YOLO-FASTEST總體損失曲線(xiàn)無(wú)論從曲線(xiàn)穩(wěn)定性上還是最終值上都遜色于其他3種網(wǎng)絡(luò)。YOLO-FASTEST總體損失曲線(xiàn)波動(dòng)較大，其最終損失值大于2.5。

(a) EfficientDet-D0、YOLOV3-TINY、YOLOV4-TINY

圖2為4種網(wǎng)絡(luò)模型在測(cè)試集上的mAP以及各子類(lèi)的AP。EfficientDet-D0、YOLOV4-TINY、YOLOV3-TINY和YOLO-FASTEST三種網(wǎng)絡(luò)模型的mAP分別為0.598、0.601、0.648和0.401，YOLOV3-TINY的mAP值最高。而YOLO-FASTEST網(wǎng)絡(luò)模型的mAP最低。

從圖2可以看出，在4種網(wǎng)絡(luò)模型對(duì)于各子類(lèi)AP值測(cè)試中，EfficientDet-D0網(wǎng)絡(luò)模型在“hole(0.93)”“people(0.923)”“root(0.727)”“barrel(0.534)”“fence(0.742)”等五類(lèi)障礙上的AP值測(cè)試處于第一位，對(duì)“stair(0.079)”類(lèi)障礙的AP值測(cè)試處于第4位。YOLOV3-TINY網(wǎng)絡(luò)模型對(duì)于“trellis(0.597)”“stair(0.316)”“stone(0.627)”“dog(0.785)”四類(lèi)障礙的AP值測(cè)試處于第1位，對(duì)于“fence(0.582)”類(lèi)障礙的AP值測(cè)試處于第4位。

YOLOV4-TINY網(wǎng)絡(luò)模型對(duì)于“hole(0.818)”“people(0.809)”三類(lèi)障礙的AP值測(cè)試處于第4位。YOLO-FASTEST對(duì)于“trellis(0.271)”“root(0.398)”“barrel(0.049)”“stone(0.224)”“dog(0.000 2)”五類(lèi)障礙處于第4位。

圖2 4種網(wǎng)絡(luò)模型最終模型測(cè)試柱狀圖

在這4種網(wǎng)絡(luò)模型中，EfficientDet-D0網(wǎng)絡(luò)模型對(duì)于自建數(shù)據(jù)集內(nèi)五類(lèi)障礙檢測(cè)平均精度在4種網(wǎng)絡(luò)中最高，但對(duì)細(xì)小障礙的檢測(cè)平均精度可能較差；YOLOV3-TINY網(wǎng)絡(luò)模型對(duì)于自建數(shù)據(jù)集內(nèi)的障礙檢測(cè)平均精度在4種網(wǎng)絡(luò)中處于第2位，其四類(lèi)障礙檢測(cè)平均精度在4種網(wǎng)絡(luò)中最高，且沒(méi)有精度低(AP<0.1)的明顯短板；YOLOV4-TINY網(wǎng)絡(luò)對(duì)于自建數(shù)據(jù)集內(nèi)障礙的平均檢測(cè)精度比較中庸，但其各子類(lèi)的AP與最好模型的AP相差不大；YOLO-FASTEST網(wǎng)絡(luò)模型除了對(duì)于自建數(shù)據(jù)集內(nèi)“hole”“people”“fence”的AP尚可外，其他類(lèi)AP均較低。

總體而言，對(duì)于自建數(shù)據(jù)集內(nèi)紋理清晰、畫(huà)質(zhì)較好的兩類(lèi)“hole”“people”而言，4種網(wǎng)絡(luò)模型平均檢測(cè)精度均在80%以上，處于較好水平。對(duì)于畫(huà)質(zhì)模糊，背景復(fù)雜的“stair”類(lèi)而言，4種網(wǎng)絡(luò)檢測(cè)平均精度均較差。對(duì)于其他類(lèi)別障礙而言，4種網(wǎng)絡(luò)模型表現(xiàn)不一，各有優(yōu)劣，但總體水平比較一般，如圖3所示。

(a) EfficientDet-D0 (b) YOLOV3-TINY

3.2 4種網(wǎng)絡(luò)模型在TX2上實(shí)時(shí)視頻檢測(cè)結(jié)果分析

表3為T(mén)X2上實(shí)時(shí)視頻檢測(cè)結(jié)果。根據(jù)表3的實(shí)時(shí)檢測(cè)結(jié)果以及圖2中給出的4種網(wǎng)絡(luò)模型的mAP值，采用2.5節(jié)的評(píng)分標(biāo)準(zhǔn)計(jì)算了各模型在TX2上的評(píng)分結(jié)果，如表4所示。從表4可以看出YOLO-FASTEST和EfficientDet-D0在資源占用項(xiàng)得分很高，特別是前者，因其模型尺寸最小，占用內(nèi)容也最少。出乎意料的是，雖然YOLO-FASTEST是C語(yǔ)言編寫(xiě)且模型很小，但其檢測(cè)速度只排在第3位，無(wú)法達(dá)到實(shí)時(shí)障礙檢測(cè)的效果，與原文試驗(yàn)結(jié)果相差很大。究其原因，可能是TX2的GPU與原文試驗(yàn)中的型號(hào)不同，在TX2的GPU和CPU上，其核心Darknet分組卷積沒(méi)有得到很好的支持(可能與NVIDIA的CUDNN有關(guān))，檢測(cè)效率低下，導(dǎo)致在TX2上的檢測(cè)速度很慢，其運(yùn)行效率反而不如使用python編寫(xiě)的YOLOV3-TINY和YOLOV4-TINY，僅略強(qiáng)于模型復(fù)雜度遠(yuǎn)高于它的EfficientDet-D0。這說(shuō)明模型尺寸小和高效編程語(yǔ)言并不能必然導(dǎo)致模型速度快，對(duì)于并行單元很多的深度檢測(cè)模型，各種支持庫(kù)和深度開(kāi)發(fā)平臺(tái)與運(yùn)行硬件的配合與優(yōu)化可能更為重要。

表3 TX2視頻實(shí)時(shí)檢測(cè)試驗(yàn)結(jié)果Tab. 3 Experimental results of real-time video detection on TX2

表4 4種網(wǎng)絡(luò)模型得分表Tab. 4 Score table of four network models

由表4可得，對(duì)于“平均幀率”檢測(cè)項(xiàng)，YOLOV3-TINY和YOLOV4-TINY排在前2位，可以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，且其mAP值均較高，雖然占用資源項(xiàng)得分較低，但憑借w1和w2的高權(quán)重，使其分別占得綜合評(píng)分的前2位。因此在TX2上進(jìn)行單純性的障礙檢測(cè)時(shí)，可優(yōu)先選擇YOLOV3-TINY。如果實(shí)際自動(dòng)駕駛系統(tǒng)由多種模塊組成，當(dāng)有多個(gè)深度學(xué)習(xí)任務(wù)同時(shí)需要申請(qǐng)GPU時(shí)，考慮到Y(jié)OLOV3-TINY對(duì)GPU占用率最高，采用YOLOV4-TINY可能更有利于系統(tǒng)整體性能的提升。

3.3 4種網(wǎng)絡(luò)模型的對(duì)比

EfficientDet-D0的優(yōu)點(diǎn)是對(duì)于9類(lèi)障礙物中的5類(lèi)障礙目標(biāo)檢測(cè)精度相比而言最高，且其檢測(cè)置信度非常高，不易出現(xiàn)誤判，消耗系統(tǒng)計(jì)算資源較少，利于系統(tǒng)其他程序運(yùn)行。缺點(diǎn)是其對(duì)細(xì)小障礙目標(biāo)的檢測(cè)存在較為明顯的檢測(cè)精度短板，進(jìn)而導(dǎo)致了總體檢測(cè)精度的下降，因其對(duì)于系統(tǒng)計(jì)算資源的調(diào)用不夠充分導(dǎo)致了實(shí)時(shí)檢測(cè)速度慢。EfficientDet-D0對(duì)本場(chǎng)景的適用性較差，更適合靜態(tài)圖片檢測(cè)。

YOLOV3-TINY的優(yōu)點(diǎn)是對(duì)于9類(lèi)障礙物的總體檢測(cè)精度最高，且沒(méi)有檢測(cè)短板，實(shí)時(shí)視頻檢測(cè)流暢。缺點(diǎn)是其檢測(cè)置信度一般，可能出現(xiàn)誤判且系統(tǒng)計(jì)算資源占用較高。YOLOV3-TINY對(duì)本場(chǎng)景的適用性相比之下最好，適合運(yùn)行單障礙檢測(cè)任務(wù)的場(chǎng)合。

YOLOV4-TINY的優(yōu)點(diǎn)是平衡性較好，可以在系統(tǒng)計(jì)算資源占用適中的情況下進(jìn)行較為流暢的實(shí)時(shí)視頻檢測(cè)，且不存在精度上的明顯短板。缺點(diǎn)是檢測(cè)置信度一般，可能出現(xiàn)誤判。YOLOV4-TINY對(duì)本場(chǎng)景的適用性較好，適合多任務(wù)并行運(yùn)行的場(chǎng)合。

YOLO-FASTEST的優(yōu)點(diǎn)是檢測(cè)置信度較高，且系統(tǒng)計(jì)算資源占用相比而言最低；缺點(diǎn)是檢測(cè)精度差，存在短板，且因CUDA對(duì)于C語(yǔ)言程序支持性較差導(dǎo)致了系統(tǒng)資源調(diào)用不充分，致使實(shí)時(shí)視頻檢測(cè)卡頓。YOLO-FASTEST對(duì)本場(chǎng)景的適用性差，更適合靜態(tài)圖片檢測(cè)場(chǎng)景。

4 結(jié)論

為了實(shí)現(xiàn)在邊緣設(shè)備TX2上進(jìn)行葡萄園田間場(chǎng)景目標(biāo)檢測(cè)，本文使用4種目前較為熱門(mén)的輕量級(jí)目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型在自建數(shù)據(jù)集上進(jìn)行訓(xùn)練，并移植到TX2上進(jìn)行了試驗(yàn)，得到以下結(jié)論。

1) YOLOV3-TINY作為一款2018年提出的輕量級(jí)網(wǎng)絡(luò)模型，在自建數(shù)據(jù)集上，其mAP值(64.8%)領(lǐng)先于EfficientDet-D0(59.8%)、YOLOV4-TINY(60.1%)、YOLO-FASTEST(40.1%)，且各子類(lèi)AP值并無(wú)明顯的非常低的短板(<10%)。

2) EfficientDet-D0與YOLO-FASTEST對(duì)于AP值較好的類(lèi)別(>80%)目標(biāo)檢測(cè)置信度比YOLOV3-TINY、YOLOV4-TINY高，且更穩(wěn)定，YOLOV3-TINY、YOLOV4-TINY在AP值較好的類(lèi)別目標(biāo)檢測(cè)中存在置信度較低且波動(dòng)明顯的問(wèn)題。

3) 根據(jù)試驗(yàn)結(jié)果，在TX2上，如無(wú)需同時(shí)運(yùn)行多個(gè)GPU任務(wù)，YOLOV3-TINY得分最高，可以流暢的進(jìn)行攝像頭視頻檢測(cè)，實(shí)時(shí)性較其他3種輕量級(jí)網(wǎng)絡(luò)模型更優(yōu)，但是其實(shí)時(shí)視頻檢測(cè)耗費(fèi)GPU資源較大。如需同時(shí)運(yùn)行多個(gè)GPU任務(wù)，YOLOV4-TINY可以在消耗較少計(jì)算資源的情況下比較流暢的進(jìn)行實(shí)時(shí)視頻檢測(cè)。