基于改進Mask R-CNN的蘋果園害蟲識別方法

王金星 馬 博 王 震,3 劉雙喜,4 慕君林 王云飛

(1.山東農(nóng)業(yè)大學機械與電子工程學院, 泰安 271018; 2.山東省農(nóng)業(yè)裝備智能化工程實驗室, 泰安 271018;3.山東農(nóng)業(yè)大學園藝科學與工程學院, 泰安 271018; 4.山東省園藝機械與裝備重點實驗室, 泰安 271018)

0 引言

我國是世界上最大的蘋果生產(chǎn)國和消費國,根據(jù)國家統(tǒng)計局《中國統(tǒng)計年鑒2021》顯示,我國蘋果種植面積達1.264 6×107hm2,蘋果年產(chǎn)量共計4.406 6×107t[1]。蘋果產(chǎn)業(yè)的高質(zhì)量發(fā)展對于提高果農(nóng)經(jīng)濟收入,促進鄉(xiāng)村振興意義重大。由于蘋果生長周期長、生態(tài)系統(tǒng)相對穩(wěn)定,導致蟲害種類眾多,嚴重制約著果品產(chǎn)量和質(zhì)量[2]。因此,對蘋果園害蟲進行準確識別并制定合適的防治措施,有利于減少農(nóng)藥用量、實現(xiàn)綠色防控,促進蘋果產(chǎn)業(yè)的可持續(xù)發(fā)展。目前我國大部分蘋果產(chǎn)區(qū)多采用人工巡視或信息素誘捕的方式監(jiān)測害蟲,然后再根據(jù)植保專家或果農(nóng)經(jīng)驗進行人工判斷,存在效率低、勞動強度大、易受主觀性影響、費時費力且無法滿足現(xiàn)代農(nóng)業(yè)生產(chǎn)需求等問題[3]。

隨著計算機技術(shù)不斷發(fā)展,機器視覺技術(shù)在農(nóng)業(yè)領(lǐng)域得到廣泛應用[4]。傳統(tǒng)圖像處理技術(shù)主要通過提取害蟲的顏色、紋理及形狀等特征進行害蟲識別。竺樂慶等[5]采用顏色直方圖和雙樹復小波變換的方法提取圖像顏色、紋理特征,實現(xiàn)對鱗翅昆蟲的識別。WANG等[6]運用了支持向量機和人工神經(jīng)網(wǎng)絡(luò)模型提取昆蟲圖像特征,實現(xiàn)了對不同類別昆蟲的分類。LARIOS等[7]通過結(jié)合Haar特征和隨機森林的方法來提取石蠅顏色及圖像平面梯度特征,并利用支持向量機(SVM)實現(xiàn)分類識別。傳統(tǒng)圖像處理技術(shù)雖然可實現(xiàn)害蟲自動識別,但特征提取過程復雜,易受到環(huán)境因素干擾,泛化能力差。

近年來,深度學習以其強大學習能力和特征提取能力在農(nóng)業(yè)圖像分類和信息感知中的應用愈發(fā)廣泛。林相澤等[8]提出一種基于遷移學習和Mask R-CNN的稻飛虱圖像分類方法,通過遷移學習在ResNet50框架上進行預訓練學習,并基于Mask R-CNN對存在粘連和重合的昆蟲進行分類試驗,結(jié)果表明該方法能夠快速有效識別稻飛虱。RONG等[9]提出一種基于Mask R-CNN的田間黃板害蟲識別計數(shù)方法,通過改進特征金字塔網(wǎng)絡(luò)、將語義信息和定位信息更有效地結(jié)合,解決了害蟲識別計數(shù)不準確的問題。鄧朝等[10]提出一種基于Mask R-CNN的馬鈴薯晚疫病量化評價方法,通過生成分割掩膜計算病斑面積與葉片總面積之比K,從而根據(jù)K值對病害的嚴重程度級別進行量化評價。STOREY等[11]提出一種基于Mask R-CNN的蘋果園葉銹病檢測方法,通過對比3種主干網(wǎng)絡(luò)的檢測性能,確定以ResNet50網(wǎng)絡(luò)為主干的Mask R-CNN模型在檢測較小葉銹病時有較好的性能。綜上所述,國內(nèi)外學者基于Mask R-CNN對病蟲害識別已開展相關(guān)研究,但由于不同種類害蟲形態(tài)和紋理特征相近,在一定程度上影響模型識別性能。因此,在特征提取網(wǎng)絡(luò)中添加注意力機制模塊如SENet、SCSE、CBAM等[12-16],能夠以無監(jiān)督的方式來定位害蟲判別性區(qū)域,進一步提高模型對害蟲特征的提取能力,提高識別網(wǎng)絡(luò)精度。

為進一步提高蘋果園害蟲在自然環(huán)境下的識別精度,本文提出一種基于改進Mask R-CNN的蘋果園害蟲識別方法,采用嵌入注意力機制模塊CBAM的ResNeXt網(wǎng)絡(luò)作為改進模型的Backbone,同時引入Boundary損失函數(shù),以期提升模型的特征提取能力以及害蟲邊緣檢測的精度。

1 材料與方法

1.1 圖像采集

研究所用圖像由兩部分構(gòu)成:①由濟南祥辰科技有限公司與山東農(nóng)業(yè)大學共同研發(fā)的蟲情監(jiān)測裝備采集得到。②主要由山東省濟南市濟陽區(qū)山東省農(nóng)業(yè)科學院害蟲庫提供。

蟲情監(jiān)測裝備為雙攝圖像采集裝備,型號為XC-CP006,如圖1所示。該裝備主要由誘蟲燈、接蟲板、第1攝像頭、第2攝像頭與控制單元等構(gòu)成。

圖1 XC-CP006型蟲情監(jiān)測裝備Fig.1 XC-CP006 insect monitoring equipment1.誘蟲燈 2.撞擊板 3.性誘芯 4.接蟲漏斗 5.殺蟲單元 6.電控翻轉(zhuǎn)底板 7.第1攝像頭 8.接蟲板 9.驅(qū)動機構(gòu) 10.第2攝像頭 11.收集單元

作業(yè)時,誘蟲燈及性誘劑誘捕害蟲,害蟲首先進入高壓和高熱殺蟲單元被殺滅,然后害蟲通過接蟲漏斗滑落至透明接蟲板,控制單元控制第1攝像頭和第2攝像頭對害蟲正面與背面進行拍攝,最后通過5G模塊上傳到害蟲圖像云平臺。其中,第1攝像頭及第2攝像頭為1 200萬像素,攝像頭距標定板拍攝距離均為300 mm。為保證試驗所采集樣本的多樣性,蟲情監(jiān)測裝備分布在山東省內(nèi)18個試驗站點,試驗站點分布及采集的害蟲圖像如圖2所示,蟲情監(jiān)測點位置如表1所示。

表1 濟南祥辰科技有限公司蟲情監(jiān)測點位置Tab.1 Ji’nan Xiangchen insect monitoring point

圖2 試驗站點分布及采集的害蟲圖像Fig.2 Test site and collected pest images

為豐富蘋果園害蟲訓練樣本數(shù)量,便于后續(xù)更好地實現(xiàn)蘋果園害蟲的精準識別、分類,在山東省農(nóng)業(yè)科學院試驗示范基地采用得力-15165型高拍儀拍攝第2部分害蟲圖像,其害蟲樣本庫取自省內(nèi)30個試驗監(jiān)測點,匯總到試驗示范基地后,進行現(xiàn)場識別分類。采集的樣本如圖3所示。

圖3 示范基地采集樣本Fig.3 Sample collection at demonstration base

1.2 單體樣本獲取

選取所采集蘋果園害蟲樣本中的棉鈴蟲、黏蟲和桃蛀螟作為此次試驗樣本集。蟲情監(jiān)測裝備所拍攝的圖像為隨機散落的多個害蟲圖像,為防止數(shù)據(jù)過擬合、提高卷積神經(jīng)網(wǎng)絡(luò)的訓練效率及更好地提取目標特征,基于Haar特征方法獲取蘋果園害蟲單體樣本。Haar特征值反映圖像灰度變化情況,它分為邊緣特征、線性特征、中心特征和對角線特征,如圖4所示。

基于Haar特征方法獲取單體害蟲樣本主要通過Haar特征分類器實現(xiàn)。首先,將蘋果園害蟲劃分為正樣本、與害蟲相近的背景劃分為負樣本。其次,Haar特征分類器通過對正負樣本特征的學習及訓練,得到一個描述檢測蟲體Haar特征值的分割模型。最后,通過得到矩形框坐標點來分割提取出單體害蟲樣本,如圖5所示。若有漏分割樣本,人工區(qū)分后再加入Haar特征器進行迭代訓練,從而獲得更高的分割精度和泛化能力。

圖5 單體害蟲分割圖像Fig.5 Single pest segmentation image

1.3 數(shù)據(jù)集構(gòu)建

1.3.1樣本擴增

為豐富試驗數(shù)據(jù)集、更好地提取蘋果園害蟲特征及提高模型泛化能力,采用數(shù)據(jù)增強技術(shù)對蘋果園害蟲數(shù)據(jù)集進行樣本擴增,分別對單體害蟲圖像進行高斯濾波、色度、椒鹽噪聲、對比度以及翻轉(zhuǎn)不同角度處理。擴增后圖像如圖6所示。

圖6 單體樣本數(shù)據(jù)擴增后圖像Fig.6 Images after amplification of single sample data

1.3.2多邊形標注

采用Labelme中多邊形標注工具,標注蘋果園害蟲輪廓,避免復雜背景對蟲體的影響,標注后生成Json標簽文件,經(jīng)轉(zhuǎn)換后生成mask、label_viz、label_names等文件,標注后生成的文件如圖7所示。

圖7 Json標簽文件Fig.7 Json tag file

1.3.3數(shù)據(jù)集劃分

為增強蘋果園害蟲識別模型的魯棒性,按照不同比例分別對棉鈴蟲、黏蟲以及桃蛀螟圖像進行擴增。蘋果園害蟲樣本集按照比例7∶2∶1劃分為訓練集、測試集和驗證集,三者之間無重疊。其中,訓練集用于訓練模型,驗證集用于優(yōu)化超參數(shù),測試集用于評估模型性能。數(shù)據(jù)集劃分結(jié)果如表2所示。

表2 蘋果園害蟲數(shù)據(jù)集Tab.2 Apple orchard pest data set 幅

2 基于改進Mask R-CNN的蘋果園害蟲識別模型

2.1 蘋果園害蟲識別模型基本網(wǎng)絡(luò)架構(gòu)

蘋果園害蟲識別模型是在Faster R-CNN的基礎(chǔ)上將感興趣池化層更換為感興趣區(qū)域?qū)R層(Region of interest align layer,RoI Align),并且添加一個以全卷積神經(jīng)網(wǎng)絡(luò)(Fully convolutional neural networks, FCN)為主的掩膜分支進行像素級分割[17-19],改進Mask R-CNN的蘋果園害蟲識別模型架構(gòu)如圖8所示,主要是由特征提取網(wǎng)絡(luò)(Backbone)、區(qū)域建議網(wǎng)絡(luò)(Region proposal network, RPN)、感興趣區(qū)域?qū)R層以及目標檢測和分割4部分組成[20-23]。

圖8 改進Mask R-CNN模型架構(gòu)Fig.8 Improving Mask R-CNN model architecture

2.2 Mask R-CNN模型改進

2.2.1ResNeXt模塊

Mask R-CNN采用殘差網(wǎng)絡(luò)ResNet作為骨干特征提取網(wǎng)絡(luò)[24],而傳統(tǒng)模型均通過加深或加寬網(wǎng)絡(luò)結(jié)構(gòu)提高識別精度,但是隨著超參數(shù)數(shù)量的增加,模型的設(shè)計難度和計算開銷也會增加。ResNeXt模塊可以在不明顯增加參數(shù)量級的前提下,用一種平行堆疊相同拓撲結(jié)構(gòu)的blocks代替原來ResNet的3層卷積的block,從而提高平均識別精度[25],改進Mask R-CNN模型采用ResNeXt模塊作為骨干特征提取網(wǎng)絡(luò),ResNeXt在結(jié)構(gòu)上的改進使其具有更強的表征能力,ResNet和ResNeXt結(jié)構(gòu)如圖9所示。

圖9 ResNet和ResNeXt結(jié)構(gòu)Fig.9 ResNet and ResNeXt structures

由圖9可知,ResNeXt是把ResNet的單個卷積改成了多支路的卷積,輸入的害蟲圖像送入各個支路分別進行卷積操作,然后將各個支路輸出的特征圖進行維度拼接,最終得到提取的輸出結(jié)果[26-28]。

2.2.2Boundary損失函數(shù)

Mask R-CNN的損失函數(shù)Lloss定義為分類、邊界框回歸以及分割掩模損失之和,其損失函數(shù)表達式為

Lloss=Lcls+Lbox+Lmask

(1)

式中Lcls——分類損失值

Lbox——邊界框回歸損失值

Lmask——分割損失值

Mask R-CNN的Lmask采用的是平均二值交叉熵損失函數(shù),對蘋果園害蟲預測時,會出現(xiàn)邊緣信息不夠完整的情況,造成掩膜缺失以及影響模型識別精度。因此,本研究對Lmask部分的損失函數(shù)進行優(yōu)化,引入Boundary損失函數(shù)[29]對害蟲邊界進行像素級評估。Boundary損失函數(shù)使用邊界匹配度監(jiān)督網(wǎng)絡(luò)的loss,和真實框邊界吻合的像素點的loss記為0,不吻合的點,根據(jù)其距邊界的距離評估loss。為了以可微分的方式計算2個邊界距離(?G,?S),邊界損失使用邊界上的積分而不是區(qū)域上的不平衡積分來減輕高度不平衡分割的困難,具體計算過程和最終得到的邊界框損失函數(shù)式為

(2)

(3)

式中G——真實框區(qū)域

q——屬于整個邊界區(qū)域任意一點,q∈Ω

S——預測待分割區(qū)域

Δs——真實框和預測框兩個輪廓之間的區(qū)域

Ω——整個邊界區(qū)域

DG(p)——真實框的距離圖

φG(p)——邊界水平集,若q∈G,則φG=-DG(q)

s(p)、g(p)——二元指標函數(shù)

Sθ(p)——網(wǎng)絡(luò)的Softmax概率輸出

2.2.3注意力模型模塊

為更好提取目標特征,在特征提取網(wǎng)絡(luò)ResNeXt上添加卷積注意力模塊[30](Convolutional block attention module ,CBAM),該卷積注意力模塊包含2個獨立的子模塊,通道注意力模塊(Channel attention module, CAM)和空間注意力模塊(Spartial attention module ,SAM),可以將其融入到各種卷積神經(jīng)網(wǎng)絡(luò)中去進行端到端的訓練[31],CBAM結(jié)構(gòu)如圖10所示。

圖10 注意力機制CBAM整體網(wǎng)絡(luò)架構(gòu)Fig.10 Attention mechanism CBAM overall network architecture

通道注意力模塊結(jié)構(gòu)如圖11所示,圖中輸入是一幅H×W×C(H為高度,W為寬度,C為通道數(shù))的特征圖F,首先分別通過全局平均池化和全局最大池化2種方式提取不同的特征信息,得到2個維度為1×1×C的特征圖,再經(jīng)過共享多層感知機(Multi-layer perception, MLP)得到2個特征向量,其神經(jīng)元個數(shù)分別為C/R(R為減少率)和C,其次對2個特征向量進行逐個元素(element-wise)相加累積操作,然后經(jīng)過sigmoid激活函數(shù)得到權(quán)重系數(shù)MC,最后將權(quán)重系數(shù)和最初的特征圖進行相乘,得到SAM模塊需要的輸入特征F′。具體表達式為

圖11 通道注意力模塊CAM結(jié)構(gòu)圖Fig.11 CAM structure diagram of channel attention module

(4)

式中σ——sigmoid函數(shù)

MLP——多層感知機

AvgPool——平均池化

MaxPool——最大池化

W0、W1——輸入共享的MLP權(quán)重

空間注意力模塊結(jié)構(gòu)如圖12所示,圖中首先將維度為H×W×C的特征圖F′經(jīng)過全局平均池化和全局最大池化得到2個H×W×1的特征圖,并將這2個特征圖基于通道拼接在一起。然后,經(jīng)過卷積核7×7的卷積運算以及sigmoid激活操作,得到特征圖權(quán)重系數(shù)MS,最后,用權(quán)重系數(shù)和特征F′相乘并縮放后,最終得到所需要的特征。具體表達式為

圖12 空間注意力模塊SAM結(jié)構(gòu)圖Fig.12 SAM structure diagram of spatial attention module

(5)

式中f7×7——7×7的卷積層

3 試驗與結(jié)果分析

3.1 試驗環(huán)境及超參數(shù)設(shè)置

試驗在運行環(huán)境為Windows 10 (64位)操作系統(tǒng)、處理器為 Intel(R)Xeon(R)Silver4210R的計算機上進行,并配備 NVIDIA GeForce RTX 2080Ti GPU加速試驗進程。使用Python 3.6版本以 TensorFlow(1.13.2)為后端的Keras框架(2.1.5版本),以及配備 CUDA10、cuDNN7.4.1.5對改進Mask R-CNN模型進行訓練。

為確定模型最佳的訓練參數(shù),通過驗證集在相同環(huán)境下、不同參數(shù)的模型性能對比,來設(shè)置模型訓練參數(shù)。改進Mask R-CNN的超參數(shù)設(shè)置如表3所示。

表3 模型超參數(shù)設(shè)置Tab.3 Model super parameter setting

3.2 試驗評價指標

為驗證模型識別效果,采用平均精度均值(Mean average precision, mAP)作為蘋果園害蟲識別模型的評價指標,mAP表示各類別害蟲平均精度(AP)的平均值。其中,AP為識別單類害蟲的平均精度,以精確率P(Precision)為縱坐標,召回率R(Recall)為橫坐標,繪制P-R(Precision-Recall)曲線,曲線與坐標軸圍成的面積為AP。

3.3 特征圖分析

改進Mask R-CNN選用特征提取網(wǎng)絡(luò)ResNeXt結(jié)合特征金字塔網(wǎng)絡(luò)(Feature pyramid network, FPN)構(gòu)建多尺度特征金字塔模型,融合注意力機制的特征金字塔網(wǎng)絡(luò)如圖13所示,考慮到計算冗余及內(nèi)存占用量,故沒有將Conv1包含在特征金字塔網(wǎng)絡(luò)中。

圖13 融合注意力機制的特征金字塔網(wǎng)絡(luò)Fig.13 Feature pyramid network integrating attention mechanism

首先卷積層(Conv1～Conv5)通過對輸入圖像進行自下而上的特征圖提取,將輸出的特征圖表示為C1、C2、C3、C4、C5,然后再進行1×1的卷積融合改變特征圖的維度,并通過注意力機制模塊CBAM自動判別害蟲區(qū)域以此提高模型的特征提取能力,其次通過自上而下的上采樣,與側(cè)邊特征層進行卷積融合,采用3×3的卷積對每個融合結(jié)果進行卷積以消除上采樣的混疊效應,最后融合卷積結(jié)果得到P2～P5,同時與頂層特征圖P6結(jié)合,實現(xiàn)對特征的多尺度融合。

為更好理解卷積神經(jīng)網(wǎng)絡(luò)對蘋果園害蟲的特征提取過程,使用交互式筆記本(jupyter notebook)軟件對模型部分卷積層的特征提取效果進行可視化分析。選取特征提取網(wǎng)絡(luò)ResNeXt中C2～C5層以及特征金字塔P2～P5層進行分析,特征圖層如圖14所示。由圖14可以看出,經(jīng)過特征提取網(wǎng)絡(luò)中Conv2層輸出的特征映射和原圖相似,能夠顯示出害蟲的清晰輪廓,但是隨著模型網(wǎng)絡(luò)的加深,越來越多的細節(jié)信息消失,輸出的特征也越來越抽象。而如圖14所示,隨著特征金字塔(FPN)對卷積層C2～C5的多尺度融合,即把更關(guān)注于細節(jié)信息的低層特征和更關(guān)注于深層語義信息的高層網(wǎng)絡(luò)進行自上而下的側(cè)邊連接,生成不同層次多尺度特征圖P2～P5,由圖中也可以看出,經(jīng)過特征金字塔網(wǎng)絡(luò),使得各個尺度下的害蟲特征都包含豐富的語義信息。

圖14 各卷積層特征提取效果Fig.14 Feature extraction effect of each convolution layer

3.4 定性試驗

蘋果園害蟲棉鈴蟲、黏蟲以及桃蛀螟的識別結(jié)果如圖15所示?？梢钥闯霰疚奶岢龅母倪MMask R-CNN模型能夠較好地識別出蘋果園害蟲,同時害蟲的掩膜邊緣信息也被完整地分割出來,蘋果園害蟲圖像邊界和細節(jié)更為平滑,結(jié)果表明本文提出的改進算法具有較強的魯棒性和泛化能力。

圖15 定性試驗識別結(jié)果Fig.15 Qualitative test identification results

3.5 蘋果園害蟲識別系統(tǒng)

采用PyQt5搭建識別模型用戶界面(GUI),并且可以通過PyQt5中的Qt Designer來編寫UI界面。Qt Designer的設(shè)計符合模型-視圖-控制器(MVC)的架構(gòu),實現(xiàn)了視圖和邏輯的分離并且容易開發(fā),設(shè)計的界面如圖16所示。通過本地相冊上傳一幅圖像后,系統(tǒng)將會調(diào)用改進Mask R-CNN模型和運行環(huán)境,并將識別的結(jié)果返回給系統(tǒng)。最終,界面展示出所識別的信息,包括識別種類、識別時間以及識別數(shù)量,并且可以將識別結(jié)果temp.png保存到指定位置。本文所述部署操作簡單、快捷,便于在實際生產(chǎn)中應用。

圖16 模型可視化界面Fig.16 Model visualization interface

3.6 模型對比試驗

3.6.1不同骨干網(wǎng)絡(luò)對比試驗

為進一步驗證骨干網(wǎng)絡(luò)ResNeXt在蘋果園害蟲識別模型上的有效性,基于Mask R-CNN的框架,分別對骨干網(wǎng)絡(luò)ResNet50、ResNet101、ResNeXt50、ResNeXt101和ResNeXt152進行試驗驗證,同時對各個骨干網(wǎng)絡(luò)的參數(shù)量進行計算,試驗結(jié)果如表4所示。

表4 不同骨干網(wǎng)絡(luò)對比試驗Tab.4 Comparative test of different backbone networks

由表4可知,選用ResNeXt101作為骨干網(wǎng)絡(luò)識別蘋果園害蟲效果最佳。ResNeXt在結(jié)構(gòu)上的改進相對于ResNet增加了網(wǎng)絡(luò)寬度,有更強的特征提取能力,因此在相同網(wǎng)絡(luò)層數(shù)的基礎(chǔ)上,ResNeXt50和ResNeXt101比ResNet50和ResNet101的平均識別精度高。ResNeXt152相對于ResNeXt101網(wǎng)絡(luò)深度更深,理論上特征提取能力也相對較強,但網(wǎng)絡(luò)太深會帶來參數(shù)量過大及梯度消失等問題,影響網(wǎng)絡(luò)識別精度。因此,選擇ResNeXt101網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)來提取蘋果園害蟲特征,同時本文后續(xù)試驗均采用ResNeXt101網(wǎng)絡(luò)。

3.6.2不同損失函數(shù)對比試驗

為對比Boundary損失函數(shù)在識別蘋果園害蟲方面的優(yōu)越性,基于Mask R-CNN的框架,分別使用Smooth L1損失函數(shù)、交叉熵損失函數(shù)(Cross entropy)和Focal損失函數(shù)進行對比試驗。由于Boundary損失函數(shù)可有效改善害蟲掩膜邊緣缺失及定位不準確問題,所以本試驗引入IoUMask對掩膜的質(zhì)量進行評估,通過計算蘋果園害蟲預測的掩膜區(qū)域和人工標記區(qū)域的交集與并集之比來量化所預測的掩膜質(zhì)量,從而進一步評判蘋果園害蟲定位的精確程度,試驗結(jié)果如表5所示。

表5 不同損失函數(shù)對比試驗Tab.5 Comparative test of different loss functions

由表5可知,Boundary損失函數(shù)在平均識別精度和掩膜分割質(zhì)量上都占有優(yōu)勢。究其原因,Smooth L1損失函數(shù)只是針對預測框的偏移量進行損失計算,無法準確描述預測框與真實框之間的位置關(guān)系;Cross entropy損失函數(shù)沒有考慮到蘋果園害蟲邊緣像素的鄰域信息,細粒度信息效果不好;Focal損失函數(shù)旨在解決類別不平衡的問題,側(cè)重點是根據(jù)樣本分辨的難易程度給樣本對應的損失添加權(quán)重,更加聚焦于困難樣本,所以Focal損失函數(shù)和Boundary損失函數(shù)的平均識別精度差別不大,但存在邊緣掩膜信息分割不完整的現(xiàn)象,IoUMask比Boundary損失函數(shù)低5.72個百分點。

3.6.3不同注意力機制對比試驗

為進一步驗證注意力機制模塊CBAM的性能,在相同的試驗條件下,將SENet、Channel attention和Spatial attention嵌入改進Mask R-CNN的特征提取網(wǎng)絡(luò)ResNeXt中,通過對每種注意力機制的對比試驗,得到網(wǎng)絡(luò)模型的識別精度,分別為94.08%、93.82%、93.68%,而CBAM的識別精度為94.82%。

通過對比試驗可知,與其他注意力機制相比,在特征提取網(wǎng)絡(luò)中融合注意力機制模塊CBAM平均識別精度最高。究其原因,SENet僅對特征圖通道信息添加注意力模塊,而忽略空間維度的特征信息。Channel attention和Spatial attention也分別僅在通道維度和空間維度中提取單維度特征信息,易造成特征信息提取不夠全面的問題。注意力機制模塊CBAM是先通過通道注意力對原始圖像的全局特征信息進行提取,再通過空間注意力對全局特征中的重要信息進行提取,提高模型對重要特征的提取能力;并且從模型結(jié)構(gòu)分析可知,注意力機制模塊CBAM融合最大池化層和平均池化層,使提取到的目標高層信息更加豐富,從而提高模型的平均識別精度。

3.6.4不同網(wǎng)絡(luò)模型對比試驗

為驗證本文所述改進Mask R-CNN模型在識別蘋果園害蟲上的優(yōu)勢,分別使用目前較為成熟的卷積神經(jīng)網(wǎng)絡(luò)模型Faster R-CNN、YOLACT、YOLO v3、SSD對蘋果園害蟲數(shù)據(jù)集進行試驗驗證,同時引入幀速率(Frame per second,FPS)評估不同模型的檢測速度,試驗結(jié)果如表6所示。

表6 不同網(wǎng)絡(luò)模型對比試驗Tab.6 Comparison test of different network models

由表6可知,改進Mask R-CNN模型的平均識別精度最高,達到96.52%,雖然在檢測速度上不占優(yōu)勢,但本文只是針對靜態(tài)蘋果園害蟲進行識別,對檢測速度沒有過高的要求。Faster R-CNN和Mask R-CNN模型同屬于兩階段算法,比屬于單階段算法的YOLO v3和SSD模型的平均精度均值高。Mask R-CNN較Faster R-CNN的平均精度均值提升2.59個百分點,改進Mask R-CNN較Faster R-CNN的平均精度均值提升6.8個百分點,究其原因,Mask R-CNN在Faster R-CNN的基礎(chǔ)上增添掩膜分支,并將RoI Pooling層替換為RoI Align層,提升了識別精度。YOLO v3和SSD識別速度較快,但平均識別精度較低,YOLACT作為單階段實例分割算法,較YOLO v3和SSD模型的平均精度均值分別高4.47、3.56個百分點,但仍低于本文所述改進Mask R-CNN模型。

3.6.5公開數(shù)據(jù)集測試試驗

為進一步驗證本文所述改進Mask R-CNN模型在識別不同害蟲數(shù)據(jù)集上的性能,采用Pest24公開害蟲數(shù)據(jù)集[32]進行驗證。Pest24害蟲數(shù)據(jù)集有24個害蟲類別,共包含25378幅圖像,其數(shù)據(jù)特點是目標害蟲尺寸較小、密集分布且存在粘連、不同種類害蟲較為相似。選用Pest24數(shù)據(jù)集中棉鈴蟲、黏蟲、草地螟、斜紋夜蛾和甜菜夜蛾5種常見的蘋果園害蟲進行試驗驗證,Mask R-CNN和改進Mask R-CNN的平均精度均值分別為68.23%和74.75%。

通過試驗可知,本文所述改進Mask R-CNN模型較原始Mask R-CNN模型的平均精度均值提高6.52個百分點。由于Pest24害蟲數(shù)據(jù)集中不同害蟲間形狀和顏色相似,存在種間的細粒度差異,而且5種害蟲的相對尺寸較小,容易出現(xiàn)誤識別和漏識別現(xiàn)象,而改進Mask R-CNN模型能夠?qū)Σ煌οx區(qū)別性部位特征進行強化,提升模型對害蟲特征的提取能力,從而進一步提高了模型在復雜環(huán)境下對害蟲識別的適用性。

3.6.6消融試驗

為驗證改進Mask R-CNN模型不同模塊對特征提取網(wǎng)絡(luò)性能的影響,同時驗證各個模塊結(jié)構(gòu)的有效性,將改進模型分別與采用ResNeXt101作為Backbone、引入Boundary損失函數(shù)、添加注意力機制模塊CBAM以及原始Mask R-CNN模型進行對比試驗,試驗結(jié)果如表7所示。

表7 各個模塊對網(wǎng)絡(luò)性能的影響Tab.7 Impact of each module on network performance

由表7可知,在Mask R-CNN的基礎(chǔ)框架之上,采用ResNeXt網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的ResNet網(wǎng)絡(luò),模型的平均精度均值提升0.87個百分點;只引入Boundary損失函數(shù),模型的平均精度均值提升0.83個百分點;只融合注意力機制模塊CBAM,模型的平均精度均值提升2.51個百分點;而同時融合ResNeXt網(wǎng)絡(luò)、Boundary損失函數(shù)以及注意力機制模塊CBAM,模型的平均精度均值提升4.21個百分點,達到96.52%。消融試驗結(jié)果表明,本文所提出的基于改進Mask R-CNN的蘋果園害蟲識別模型設(shè)計合理,能充分發(fā)揮各模塊的優(yōu)勢,可有效提升蘋果園害蟲識別模型的性能。

4 結(jié)論

(1)針對果園環(huán)境下識別蘋果園害蟲易受背景信息干擾及邊緣特征表達能力不強的問題,提出一種基于改進Mask R-CNN的蘋果園害蟲識別方法,在Mask R-CNN基本框架下,采用嵌入注意力機制模塊CBAM的ResNeXt網(wǎng)絡(luò)作為改進模型的骨干特征提取網(wǎng)絡(luò),提高模型對害蟲特征的提取能力,抑制背景對模型性能的影響;同時,引入Boundary損失函數(shù),避免害蟲掩膜邊緣缺失及定位不準確問題,實現(xiàn)對蘋果園害蟲精準有效識別。

(2)在自定義數(shù)據(jù)集上,基于改進Mask R-CNN的蘋果園害蟲識別模型的平均識別精度為96.52%,相較于原始Mask R-CNN,平均精度均值提升4.21個百分點;在Pest24公開數(shù)據(jù)集上,改進Mask R-CNN的平均精度均值提升6.52個百分點,表明該模型設(shè)計合理,可為蘋果園害蟲精準防控提供理論和技術(shù)支持。