基于移動(dòng)端輕量模型的雜草分類方法研究*

陳啟，陳慈發(fā)，鄧向武，袁單飛

(1. 三峽大學(xué)計(jì)算機(jī)與信息學(xué)院，湖北宜昌，443000；2. 廣東石油化工學(xué)院電子信息工程學(xué)院，廣東茂名，525000)

0 引言

預(yù)計(jì)到2050年，世界人口將達(dá)到90億人左右，糧食需求將大幅增加[1]，糧食增產(chǎn)問(wèn)題日益迫切。然而據(jù)資料顯示，雜草每年給全球糧食生產(chǎn)造成的損失高達(dá)950億美元，相當(dāng)于損失了3.8×108t小麥，雜草問(wèn)題給糧食增產(chǎn)帶來(lái)巨大的挑戰(zhàn)。目前機(jī)器除草因其有效性，在農(nóng)業(yè)生產(chǎn)中得到越來(lái)越多的應(yīng)用，其中智能除草有望進(jìn)一步提高現(xiàn)代農(nóng)業(yè)生產(chǎn)力[2]。智能除草不僅能夠降低勞動(dòng)力成本，而且可以做到精準(zhǔn)施藥，最大限度地減少除草劑的使用、降低農(nóng)藥殘留。雜草的精準(zhǔn)識(shí)別可為智能除草的實(shí)施奠定理論基礎(chǔ)并提供技術(shù)方法，因此研究快速、準(zhǔn)確的雜草識(shí)別方法是有很大的現(xiàn)實(shí)意義。

當(dāng)前，雜草和作物的識(shí)別方法主要分為3種：基于機(jī)器視覺(jué)的方法、基于光譜圖像的方法、綜合光譜圖像與航空攝影圖像的方法。后兩種基于光譜圖像的方法適合于高度控制的、特定地點(diǎn)的環(huán)境，例如較好地理?xiàng)l件的可耕地。但這兩種方法對(duì)個(gè)體小、密度低的雜草識(shí)別率低。隨著近年來(lái)計(jì)算機(jī)技術(shù)的迅猛發(fā)展，快速準(zhǔn)確的機(jī)器視覺(jué)識(shí)別技術(shù)在雜草識(shí)別任務(wù)上得到了越來(lái)越廣泛的應(yīng)用，國(guó)內(nèi)外學(xué)者也開(kāi)展了大量相關(guān)研究[3-4]。何東健等[3]開(kāi)展了基于多特征提取雜草識(shí)別方法的研究，但存在特定特征需要人工進(jìn)行處理、特征提取難度大、抗干擾能力差、耗費(fèi)人力多等不足，這導(dǎo)致了傳統(tǒng)機(jī)器視覺(jué)方法在雜草識(shí)別任務(wù)上普適性差的問(wèn)題。

雜草的識(shí)別問(wèn)題歸根到底是圖像分類的問(wèn)題。由于深度學(xué)習(xí)模型能夠自動(dòng)提取圖像的深層特征，具有更強(qiáng)大的表征能力，深度學(xué)習(xí)主導(dǎo)了與機(jī)器視覺(jué)相關(guān)的很多領(lǐng)域的發(fā)展，也有力地推動(dòng)了雜草識(shí)別的發(fā)展[5-11]。Razavi等[12]提出了基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的結(jié)構(gòu)，從植物圖像中識(shí)別類型，并與采用SVM分類器等傳統(tǒng)機(jī)器視覺(jué)方法進(jìn)行對(duì)比，證明了CNN深度學(xué)習(xí)模型的性能更優(yōu)。Olsen等[13]于2018年在SCIENTIFIC REPORTS上提供一個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集DeepWeeds，并采用Inception-v3和ResNet50深度學(xué)習(xí)模型訓(xùn)練，選擇五倍交叉驗(yàn)證的方法進(jìn)行測(cè)試，平均準(zhǔn)確率達(dá)到95%以上，其中ResNet50模型性能更優(yōu)。

上述研究表明，深度學(xué)習(xí)模型能夠克服傳統(tǒng)機(jī)器視覺(jué)識(shí)別方法在特征提取方面的不足，同時(shí)這些研究也為深度學(xué)習(xí)模型應(yīng)用于雜草識(shí)別提供了可行性依據(jù)。這些研究大多集中在服務(wù)器端模型，而部署服務(wù)器端模型的設(shè)備普遍存在較笨重、占用較大的計(jì)算資源、運(yùn)行速度較慢的問(wèn)題。這些給雜草識(shí)別深度學(xué)習(xí)模型的落地應(yīng)用帶來(lái)了諸多困難。輕型化、小型化是未來(lái)除草設(shè)備的發(fā)展趨勢(shì)[14]。特別是近年來(lái)植保無(wú)人機(jī)等設(shè)備的迅猛發(fā)展[15]，對(duì)占用計(jì)算資源少的輕量模型的需求更加迫切。

基于以上問(wèn)題，本文提出了一個(gè)輕量深度學(xué)習(xí)模型來(lái)實(shí)現(xiàn)對(duì)雜草圖像的自動(dòng)識(shí)別分類。該模型主要是基于遷移學(xué)習(xí)策略和知識(shí)蒸餾方法，并依據(jù)雜草數(shù)據(jù)集特點(diǎn)對(duì)移動(dòng)端MobileNetV3_large網(wǎng)絡(luò)模型進(jìn)行改進(jìn)。

1 材料與方法

1.1 數(shù)據(jù)集

本文采用DeepWeeds數(shù)據(jù)集。該數(shù)據(jù)集是Olsen等[13]于2018年12月提供的一個(gè)標(biāo)準(zhǔn)雜草數(shù)據(jù)集，包含17 509張8類雜草物種和負(fù)類目標(biāo)。該數(shù)據(jù)集的圖像大小是256像素×256像素，所有圖片格式為JPG，其中Chinee apple 1 125張、Lantana 1 064張、Parkinsonia 1 031張、Parthenium 1 031張、Prickly acacia 1 062張、Rubber vine 1 009張、Siam weed 1 074 張、Snake weed 1 074張 、不包含目標(biāo)雜草的負(fù)類照片 9 106張。該數(shù)據(jù)集的樣本圖像，如圖1所示。本文對(duì)DeepWeeds數(shù)據(jù)集按照4∶1的比例劃分為訓(xùn)練集和驗(yàn)證集。為確保模型對(duì)未知數(shù)據(jù)的泛化能力，把增強(qiáng)后的訓(xùn)練集和驗(yàn)證集分為兩個(gè)獨(dú)立的數(shù)據(jù)集，互不交叉。

(a) Chinee apple

1.2 數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)

深度卷積神經(jīng)網(wǎng)絡(luò)有強(qiáng)大的表達(dá)能力。大規(guī)模的訓(xùn)練數(shù)據(jù)可以驅(qū)動(dòng)模型訓(xùn)練，防止過(guò)擬合，提升深度神經(jīng)網(wǎng)絡(luò)的分類精度。本文所采用的數(shù)據(jù)集有9個(gè)類別17 509張標(biāo)記的圖片，為避免過(guò)擬合，提高分類準(zhǔn)確率，本文采用了兩種解決方案：數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)。

1.2.1 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是常用在圖像分類任務(wù)中的一種正則化方法。為了提高分類模型的適應(yīng)性和增加樣本的多樣性，防止過(guò)擬合，訓(xùn)練集和驗(yàn)證集圖像采取旋轉(zhuǎn)、縮放等數(shù)據(jù)增強(qiáng)操作。圖像分類中常用的數(shù)據(jù)增強(qiáng)方法有：圖像解碼、圖像隨機(jī)裁剪、水平方向隨機(jī)翻轉(zhuǎn)、圖像數(shù)據(jù)的歸一化、圖像數(shù)據(jù)的重排、多幅圖像數(shù)據(jù)組成batch數(shù)據(jù)。本文在訓(xùn)練過(guò)程中對(duì)圖像進(jìn)行隨機(jī)裁剪、水平翻轉(zhuǎn)、歸一化的處理，這樣使模型更具有泛化能力。

1.2.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)是指把已訓(xùn)練好的模型參數(shù)遷移到新的模型上來(lái)幫助新模型的訓(xùn)練。考慮到大部分?jǐn)?shù)據(jù)和任務(wù)存在一定的相關(guān)性，通過(guò)遷移學(xué)習(xí)可以使用已學(xué)到的模型參數(shù)來(lái)克服新模型收斂速度慢的問(wèn)題，提升新模型訓(xùn)練效率，提高模型的分類準(zhǔn)確率和泛化能力。本文把ImageNet數(shù)據(jù)集(1 000種類別，約1.28×106幅圖像)上的ResNet50、MobileNetV3_large預(yù)訓(xùn)練模型，遷移到本文數(shù)據(jù)集上進(jìn)行調(diào)試訓(xùn)練，并更改最后一層的輸出類別數(shù)，本文的類別數(shù)設(shè)置為9。

1.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是由卷積層、池化層和全連接層等組成的多層網(wǎng)絡(luò)神經(jīng)結(jié)構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)可以從圖像中學(xué)習(xí)到局部特征，比如線條、紋理等信息，而這些局部特征可以構(gòu)成更加復(fù)雜的局部或者整體特征從而展現(xiàn)出對(duì)象特征，以便對(duì)圖像進(jìn)行分類和識(shí)別。目前，卷積神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用到雜草圖像分類領(lǐng)域。

(1)

式中：k——網(wǎng)絡(luò)第k層；

Mk-1——k-1層的特征圖的數(shù)量；

2 移動(dòng)端輕量模型

2.1 ResNet模型

ResNet[16]模型是由微軟團(tuán)隊(duì)開(kāi)發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)模型，并獲得了2015年ILSVRC競(jìng)賽冠軍，該競(jìng)賽是從5×105張圖像中識(shí)別出1 000個(gè)不同類別的圖像分類比賽。在牧場(chǎng)雜草分類工作中，Olsen等利用ResNet50模型和Inception-V3模型，在DeepWeeds數(shù)據(jù)集上進(jìn)行了試驗(yàn)和比對(duì)，發(fā)現(xiàn)ResNet50模型的分類準(zhǔn)確率更高。深度學(xué)習(xí)存在梯度消失和梯度爆炸等問(wèn)題，越深的網(wǎng)絡(luò)訓(xùn)練難度越大。為了解決這一難題，ResNet模型使用了瓶頸連接(或稱捷徑)。它將某一層的參數(shù)直接傳遞給更深的網(wǎng)絡(luò)層，利用瓶頸連接能夠搭建并有效訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)。

ResNet模型由批歸一化層(batch norm layers)、卷積層(Conv layers)、池化層(pool layers)、全連接層(FC)組成，最后由Softmax分類器預(yù)測(cè)分類結(jié)果。模型的主要結(jié)構(gòu)由卷積塊(Conv block)和恒等塊(Identity block)兩種殘差塊交替堆疊而成。卷積塊在直連路徑(捷徑)上添加了卷積層和批歸一化層。全連接層采用Dropout正則化的方法來(lái)減少過(guò)擬合，提高泛化能力。該方法會(huì)在訓(xùn)練過(guò)程中按預(yù)先設(shè)置的放棄比例隨機(jī)刪除神經(jīng)元，從而減少過(guò)擬合。ResNet50模型結(jié)構(gòu)如圖2所示。

圖2 ResNet50網(wǎng)絡(luò)結(jié)構(gòu)

在殘差塊結(jié)構(gòu)中，R代表ReLU激活函數(shù)，B代表批歸一化操作。在連接三層的卷積層中，將輸入x直接連接至后三層的輸出。假設(shè)原本連續(xù)三層的卷積層的輸出為F(x)，加上直接連接的跳層x，卷積層單元的輸出變?yōu)镕(x)+x。跳層x只傳遞數(shù)據(jù)，通過(guò)直接連接，反向傳播時(shí)參數(shù)可以無(wú)損失地傳遞，有效地改善了網(wǎng)絡(luò)層增加帶來(lái)的梯度消失的問(wèn)題。堆疊殘差塊結(jié)構(gòu)有助于構(gòu)建深層網(wǎng)絡(luò)模型，并使深層網(wǎng)絡(luò)模型可以有效訓(xùn)練。結(jié)合本文研究對(duì)象，對(duì)初始的圖像訓(xùn)練網(wǎng)絡(luò)架構(gòu)進(jìn)行改動(dòng)，把最后一個(gè)包含1 000個(gè)神經(jīng)元的完全連接層替換為具有9個(gè)神經(jīng)元的完全連接層來(lái)實(shí)現(xiàn)雜草分類。ResNet50_vd網(wǎng)絡(luò)模型是在殘差塊的跳層連接中加入一個(gè)平均池化層。該模型在訓(xùn)練速度和預(yù)測(cè)精度上都有很好的表現(xiàn)。

2.2 MobileNetV3_large模型

MobileNetV3[17]是Google在2019年3月提出的網(wǎng)絡(luò)架構(gòu)，是移動(dòng)端的基準(zhǔn)模型，涵蓋兩個(gè)子版本，即MobileNetV3_large和MobileNetV3_small。與MobileNetV2相比，MobileNetV3_large在ImageNet數(shù)據(jù)集上的分類準(zhǔn)確率提高了4.6%，時(shí)間減少了5%。MobileNetV3_large模型網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 MobileNetV3_large模型主要結(jié)構(gòu)

2.3 加權(quán)Softmax損失函數(shù)改進(jìn)

(2)

θ——模型的參數(shù)。

Softmax分類器的損失函數(shù)為

(3)

式中：i——第i個(gè)樣本；

由于不同類別的訓(xùn)練樣本數(shù)量之間的偏差所帶來(lái)的數(shù)據(jù)不平衡，是圖像分類中普遍遇到的問(wèn)題。不平衡的訓(xùn)練樣本會(huì)導(dǎo)致訓(xùn)練模型側(cè)重樣本數(shù)量較多的類別，而“輕視”樣本數(shù)量較少的類別。這會(huì)對(duì)模型在測(cè)試階段時(shí)的泛化能力產(chǎn)生影響。

他是中國(guó)最早一批為公眾所知的侍酒師，從參加第一個(gè)侍酒師認(rèn)證開(kāi)始，他就堅(jiān)定地選擇了一直走向MS的路徑，這樣清晰的目標(biāo)，至少我在圈內(nèi)是很少見(jiàn)的，十年堅(jiān)定不移的堅(jiān)持，更是少之又少。

本文通過(guò)在Softmax損失函數(shù)中設(shè)置合適的權(quán)重系數(shù)，給小類樣本乘以較大的權(quán)重，大類樣本乘以較小的權(quán)重，來(lái)緩解本文數(shù)據(jù)集中存在的類別不平衡問(wèn)題，實(shí)現(xiàn)提高模型準(zhǔn)確率的目的。加權(quán)Softmax損失函數(shù)

(4)

式中：wj——損失函數(shù)的權(quán)重，wj=M/Mj；

M——訓(xùn)練樣本的總數(shù)量；

Mj——某類別樣本數(shù)量。

算法流程如圖3所示。

圖3 模型流程圖

2.4 知識(shí)蒸餾

在深度學(xué)習(xí)中一直存在著一個(gè)問(wèn)題，那就是大模型預(yù)測(cè)效果好，卻預(yù)測(cè)速度慢；而小模型預(yù)測(cè)速度快，但預(yù)測(cè)效果差。知識(shí)蒸餾[19-22]給該問(wèn)題的解決提供了方法。知識(shí)蒸餾是通過(guò)一個(gè)模型較大的教師網(wǎng)絡(luò)(精度更高)去指導(dǎo)一個(gè)模型較小的學(xué)生網(wǎng)絡(luò)，來(lái)提升小模型網(wǎng)絡(luò)的精度。針對(duì)雜草的識(shí)別，本文采用PaddlePaddle深度學(xué)習(xí)框架中基于包含1.4×107張圖片的ImageNet-22k數(shù)據(jù)集的半監(jiān)督知識(shí)蒸餾方案。知識(shí)蒸餾過(guò)程如圖4所示。

圖4 從教師模型到學(xué)生模型的知識(shí)蒸餾過(guò)程

本文知識(shí)蒸餾方法如下。

1) 利用一個(gè)較大數(shù)據(jù)集，把學(xué)生模型和教師模型整合為一個(gè)新的網(wǎng)路，該網(wǎng)路分別輸出學(xué)生模型和教師模型的預(yù)測(cè)分布，同時(shí)進(jìn)行的是把教師模型的網(wǎng)路梯度固定，而學(xué)生模型可以做反向傳播來(lái)更新參數(shù)。最后使用教師模型和學(xué)生模型的軟標(biāo)簽輸出來(lái)計(jì)算JS散度，并作為損失函數(shù)，用于蒸餾模型訓(xùn)練。

2) 對(duì)于大數(shù)據(jù)集上訓(xùn)練的模型，其學(xué)習(xí)的特征可能與小數(shù)據(jù)集上的數(shù)據(jù)特征有偏差，因此再利用小數(shù)據(jù)集對(duì)模型進(jìn)行微調(diào)，得到優(yōu)化后的模型。

3) 本文最后用得到的精度高的服務(wù)器端模型去指導(dǎo)訓(xùn)練速度快的移動(dòng)端模型，得到新的知識(shí)蒸餾模型。

3 試驗(yàn)結(jié)果與分析

為了使選擇的圖像分類模型更具有效性和代表性，本文分別選取了服務(wù)器端和移動(dòng)端的典型分類模型：服務(wù)器端模型選擇ResNet系列模型，移動(dòng)端模型選擇MobileNetV3系列模型。在這兩個(gè)系列模型中，選擇性能更優(yōu)的模型，然后采用半監(jiān)督知識(shí)蒸餾方案預(yù)訓(xùn)練模型、設(shè)置加權(quán)Softmax權(quán)重等方法來(lái)進(jìn)行試驗(yàn)對(duì)比，最后用得到的最優(yōu)服務(wù)器端模型對(duì)移動(dòng)端模型進(jìn)行知識(shí)蒸餾，從而得到兼顧性能和規(guī)模的輕量模型。

3.1 試驗(yàn)設(shè)置

本文整個(gè)試驗(yàn)過(guò)程的操作系統(tǒng)為Windows10，服務(wù)器的配置為Intel(R) Xeon(R) Gold 6271C CPU @ 2.60 GHz×24、16 G的NVIDIA V100 GPU和32 G的運(yùn)行內(nèi)存。在此基礎(chǔ)上搭建PaddlePaddle2.0.2深度學(xué)習(xí)框架，并用python3.7語(yǔ)言編程實(shí)現(xiàn)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試。

所有CNN模型默認(rèn)參數(shù)設(shè)置如下：訓(xùn)練批處理BatchSize參數(shù)為32，測(cè)試批處理BatchSize參數(shù)為20，初始學(xué)習(xí)速率為0.012 5，動(dòng)量因子設(shè)置為0.9，使用L2正則化，正則化參數(shù)λ=0.000 01。

3.2 兩個(gè)基準(zhǔn)系列模型的對(duì)比試驗(yàn)

ResNet系列和MobileNetV3系列模型作為基準(zhǔn)模型被廣泛應(yīng)用，取得了很好的效果，具有很好的參照性。這兩個(gè)系列的經(jīng)典模型在DeepWeeds數(shù)據(jù)集上的識(shí)別準(zhǔn)確率對(duì)比結(jié)果如圖5所示，其中ResNet50_vd模型是對(duì)ResNet50模型進(jìn)行了微調(diào)。從圖5可以發(fā)現(xiàn)ResNet50_vd和MobileNetV3_large模型的性能表現(xiàn)相對(duì)更優(yōu)。

圖5 不同模型下平均識(shí)別準(zhǔn)確率的比較

3.3 半監(jiān)督知識(shí)蒸餾方法和加權(quán)Softmax權(quán)重方法的對(duì)比試驗(yàn)

DeepWeeds數(shù)據(jù)集存在一定的數(shù)據(jù)不平衡問(wèn)題，針對(duì)這一問(wèn)題，對(duì)模型應(yīng)用加權(quán)Softmax損失函數(shù)方法。為得到更好的訓(xùn)練結(jié)果，采用PaddlePaddle深度學(xué)習(xí)框架中的半監(jiān)督知識(shí)蒸餾方案，試驗(yàn)結(jié)果如圖6所示。

其中加權(quán)表示在訓(xùn)練中設(shè)置不同類別的權(quán)重，ssld表示在訓(xùn)練中采用半監(jiān)督知識(shí)蒸餾的方法。由圖6可知，對(duì)于服務(wù)器端模型和移動(dòng)端模型，使用半監(jiān)督知識(shí)蒸餾的方法均可以提高平均識(shí)別準(zhǔn)確率；對(duì)比每類模型設(shè)置權(quán)重和不設(shè)置權(quán)重的結(jié)果可知，設(shè)置權(quán)重均可以提高識(shí)別準(zhǔn)確率。使用半監(jiān)督知識(shí)蒸餾的方法，模型分類準(zhǔn)確率可以增加0.5%以上。對(duì)采用半監(jiān)督知識(shí)蒸餾方法的模型進(jìn)行加權(quán)處理，分類準(zhǔn)確率可以增加0.11%以上。對(duì)未采用半監(jiān)督知識(shí)蒸餾方法的模型進(jìn)行加權(quán)處理，分類準(zhǔn)確率可以增加0.6%以上。半監(jiān)督知識(shí)蒸餾方法和設(shè)置權(quán)重方法具有有效性，能夠促進(jìn)精度的提升。

圖6 不同方法下平均識(shí)別準(zhǔn)確率的比較

圖7展示了兩個(gè)服務(wù)器模型ResNet50和ResNet50_vd_ssld_w(_w表示進(jìn)行了加權(quán)處理)在DeepWeeds數(shù)據(jù)集上的平均識(shí)別準(zhǔn)確率的變化。從圖7中可以看到當(dāng)?shù)螖?shù)在130以后，2個(gè)模型的平均識(shí)別準(zhǔn)確率變化趨于穩(wěn)定，同時(shí)ResNet50_vd_ssld_w模型的平均識(shí)別準(zhǔn)確率更高，最高達(dá)到了97.97%。這主要是該模型使用了半監(jiān)督知識(shí)蒸餾和加權(quán)Softmax權(quán)重的方法提升了訓(xùn)練精度。該模型比ResNet50基準(zhǔn)模型的精度提升了0.7%左右。在NVIDIA V100(GPU)圖形處理單元上訓(xùn)練每個(gè)模型的平均時(shí)間是4 h左右。

圖7 ResNet50_vd_ssld_w與ResNet50模型的可視化對(duì)比

3.4 知識(shí)蒸餾方法的對(duì)比試驗(yàn)

服務(wù)器端模型的精度較高，但也存在著一些問(wèn)題，比如：占用較多的計(jì)算資源，伴隨較慢的計(jì)算速度以及帶來(lái)較大的功耗。而移動(dòng)端模型的優(yōu)勢(shì)：小模型，小計(jì)算量和高速度。為平衡精度和速度，本文采用知識(shí)蒸餾的辦法，用高精度的教師模型ResNet50_vd_ssld_w(加權(quán)模型)來(lái)指導(dǎo)高速的學(xué)生模型MobileNetV3_large進(jìn)行訓(xùn)練，從而得到ResNet_Mobile_ssld_w模型。經(jīng)試驗(yàn)，學(xué)生模型選擇的學(xué)習(xí)率為原學(xué)習(xí)率的1/10時(shí)，可以獲得更好的學(xué)習(xí)精度，伴隨著的是訓(xùn)練代數(shù)和時(shí)間變?yōu)樵瓉?lái)的2倍，在NVIDIA V100(GPU)圖形處理單元上的訓(xùn)練時(shí)間是8 h左右。知識(shí)蒸餾得到的ResNet_Mobile_ssld_w模型與ResNet50模型的平均識(shí)別準(zhǔn)確率的可視化對(duì)比如圖8所示。

圖8 ResNet_Mobile_ssld_w與ResNet50模型的可視化對(duì)比

為更好地全面衡量模型的實(shí)際應(yīng)用效果，本文不僅采用平均識(shí)別準(zhǔn)確率AP(Average Precision)這一常用評(píng)價(jià)指標(biāo)，同時(shí)考慮分類模型大小和推理速度以利于后期模型的應(yīng)用和推廣。具體試驗(yàn)結(jié)果如表2所示。

表2 模型參數(shù)對(duì)比

從表2中可以看出，蒸餾后的移動(dòng)端模型ResNet_Mobile_ssld_w的AP值超過(guò)教師模型，達(dá)到97.984%。相比MobileNetV3_large模型，ResNet_Mobile_ssld_w在模型大小變化不大的情況下，識(shí)別準(zhǔn)確率提升了將近1.2%。相比ResNet50基準(zhǔn)模型，ResNet_Mobile_ssld_w模型的識(shí)別準(zhǔn)確率提升0.78%，每張推理時(shí)間減少了7.8%，模型大小減少了近80%。該輕量模型保持較高識(shí)別準(zhǔn)確率的情況下能夠大幅降低計(jì)算資源和提高檢測(cè)速度，這有利于推動(dòng)后期雜草分類模型的落地實(shí)現(xiàn)。

4 結(jié)論

本文提出了一種基于MobileNetV3_large的雜草檢測(cè)模型，試驗(yàn)表明該模型分類準(zhǔn)確率高，檢測(cè)速度快，模型規(guī)模小。經(jīng)過(guò)訓(xùn)練后的模型在驗(yàn)證集上的AP值為97.984%，在NVIDIA V100圖形處理單元上進(jìn)行推理，平均每張圖片的推理時(shí)間為5.822 ms，推理模型大小為15.1 MB。

1) 對(duì)比了ResNet系列和MobileNetV3系列的5種模型，其中的ResNet50_vd_ssld模型表現(xiàn)最好，對(duì)該模型采用加權(quán)處理，進(jìn)一步提升ResNet50_vd_ssld模型精度，并選作教師模型。

2) 本文采用分類準(zhǔn)確率最高的教師模型ResNet50_vd_ssld_w，通過(guò)知識(shí)蒸餾的方法指導(dǎo)MobileNetV3_large學(xué)生模型訓(xùn)練，得到ResNet_Mobile_ssld_w模型。該模型與未優(yōu)化的MobileNetV3_large相比，AP值提高了1.2%，同時(shí)與ResNet50相比AP值提升了0.78%，平均每張推理時(shí)間減少了7.8%，模型大小減小80%，優(yōu)勢(shì)明顯。

3) ResNet_Mobile_ssld_w模型檢測(cè)精度高，在NVIDIA V100上的速度滿足雜草實(shí)時(shí)檢測(cè)的要求，但由于現(xiàn)實(shí)中便攜設(shè)備(如機(jī)器人和物聯(lián)網(wǎng)邊緣設(shè)備)功率和計(jì)算資源有限，往往無(wú)法擁有這樣的硬件資源，所以今后還需要結(jié)合便攜設(shè)備的硬件資源，在不降低檢測(cè)精度的情況下，提高模型的運(yùn)行速度和減小模型的規(guī)模。