基于YOLOX-s的農業害蟲檢測研究

張劍飛,柯 賽

(黑龍江科技大學 計算機與信息工程學院,黑龍江 哈爾濱 150022)

0 引 言

關于現代農業害蟲檢測的相關研究,郭陽等[1]為解決人工識別水稻蟲害難度大、費時費力的問題,提出了一種自動識別水稻蟲害的方法。通過YOLOv3檢測算法解決了田間復雜情況下的水稻蟲害識別任務。張善文等[2]提出了一種可形變VGG-16模型的田間作物害蟲檢測方法,引入可形變卷積使網絡適應不同形狀、狀態和尺寸等幾何形變的害蟲圖像,提高了模型特征表達能力,在實際田間害蟲圖像數據庫上的檢測準確率達到91.14%。劉凱旋[3]提出使用R-CNN的小樣本水稻害蟲檢測算法,通過數據擴增和預訓練加速模型收斂過程,該方法能夠有效地識別和檢測復雜背景下的水稻害蟲。肖德琴等[4]針對黃板誘捕的害蟲體積小、數量多和分布不均勻,難以進行害蟲識別的問題,提出一種基于改進Faster R-CNN的田間黃板害蟲檢測算法,該算法在中等密度下平均精度均值達到了89.76%。

候瑞環等[5]針對現有基于深度學習的林業昆蟲圖像檢測方法存在檢測精度低和檢測速度慢的問題,提出了一種基于YOLOv4-TIA的林業害蟲實時檢測方法。馮晉[6]提出了基于深度學習的水稻燈誘害蟲檢測方法,通過對YOLOv3模型主干網絡以及聚類算法的改進,檢測效果得到大幅提升。姚青等[7]提出改進RetinaNet的水稻冠層害蟲自動檢測模型,模型采用ResNeXt101作為特征提取網絡以及組歸一化方法,實現了對水稻害蟲的高精度檢測。

盡管上述害蟲檢測方法已經具有了良好的檢測性能,但針對該文所要研究的多種類害蟲檢測,仍然存在以下不足:

(1)大部分檢測模型僅使用卷積神經網絡進行搭建,但卷積的局部偏執特性會導致模型忽視全局特征信息。

(2)大部分害蟲檢測任務都是針對單一或少量同類目標,模型使用范圍較局限,不能覆蓋多種類害蟲檢測情況。

因此,該文提出了ST-YOLOX-s(Swin-Transformer-YOLOX-s)模型來解決上述問題。

1 相關工作

1.1 YOLOX

YOLOX[8]是基于YOLOv3[9]檢測模型改進的無錨框(Anchor Free)單階段目標檢測模型,具有由小到大四種規格(-s、-m、-l、-x)。區別于以往YOLO系列基于錨框(Anchor Base)的設計,YOLOX擺脫了先驗框的限制,使模型更易部署到下游任務當中。YOLOX引入解耦預測頭,將原有預測任務進行分工,緩解了預測權重的壓力。同時YOLOX加入了動態匹配正樣本(SimOTA)策略,該策略為不同目標設定了不同的正樣本數量,優化了模型正負樣本的訓練比例。

1.2 Transformer

Transformer[10]作為近期具有開創性的第四代神經網絡,在CV領域產生了巨大的影響。先是ViT[11](Vision Transformer)將圖片視為文本進行處理,在圖像分類任務中取得了極佳的效果。隨后的Swin-Transformer[12]將類似卷積神經網絡的層次化結構融入Transformer,在降低模型計算量的同時提升了模型預測精度。

2 模型算法改進

ST-YOLOX-s在原有YOLOX-s模型基礎上對整體網絡進行改進。ST-YOLOX-s采用四尺度特征層檢測結構進行預測,通過主干網絡(BackBone)提取畫面特征,頸部網絡(Neck)實現特征融合,最后借助解耦預測頭(Head)對目標進行分析預測。ST-YOLOX-s模型具體結構如圖1所示。

圖1 ST-YOLOX-s模型結構

為進一步提高ST-YOLOX-s模型的檢測性能,在模型訓練前期設計了數據增強策略,借助數據增強技術有效提升數據多樣性。與原始YOLOX-s相比,ST-YOLOX-s可以更好地處理多種類害蟲檢測任務,本次的主要工作如下:

(1)為實現模型對多種類害蟲的檢測任務,構建了一個包含30類害蟲,共計3 956張標注圖片的害蟲數據集。

(2)為解決模型對小型害蟲檢測準確率偏低的問題,通過增添P2特征尺度來提升主干網絡對微小目標的特征捕捉能力。

(3)為解決模型在復雜環境下多種類害蟲目標檢測效果不佳的問題,通過使用具有通道注意力機制的CA&CSPLayer以及具有圖屬性的G-Swin-Block,提升卷積網絡對于通道信息以及全局信息的抓取能力。

(4)為進一步實現模型高精度定位,使用α-CIoU損失替換原始的IoU損失。

2.1 提出四尺度特征層檢測結構

針對模型對小型害蟲目標檢測效果不佳的問題,提出了四尺度特征層檢測結構改進方案。原網絡使用三尺度特征層檢測設計,對于640×640的輸入圖像,分別利用8倍、16倍、32倍下采樣的特征圖去預測不同大小尺寸的特征目標。但由于本次實驗數據中包含較小的害蟲目標,原有的三層尺度特征層檢測設計對此類目標特征捕獲較不敏感。為此,該文在原網絡基礎上增添了P2特征尺度層。該特征層受主干網絡4倍下采樣影響,將大小為160×160的特征圖送入頸部網絡進行特征融合,并將該尺度的預測信息通過YOLOHead-P2預測頭進行反饋。YOLOHead-P2預測頭受淺層高分辨率特征信息的影響,對微小目標的特征更加敏感。通過對網絡結構的整體改進,使得網絡可以更加全面地捕獲多種尺度的特征信息。

2.2 構建具有通道注意力機制的CA&CSPLayer

針對卷積神經網絡關于通道信息關注薄弱的問題,為CSPLayer(Cross Stage Partial Layer)的殘差邊施加ECANet[13]高效通道注意力,以此來提煉特征圖的通道信息權重。該方法有助于彌補卷積神經網絡對特征圖通道信息關注薄弱的缺點。模型在使用具有通道注意力的CA&CSPLayer(Channel Attention &Cross Stage Partial Layer)后,可以有效引導ST-YOLOX-s模型提取關鍵通道特征信息,提高模型檢測性能。

與原始CSPLayer相比,CA&CSPLayer會對原始的殘差邊額外施加一個通道注意力權重,以此得到具有通道注意力權重的X1特征圖。關于通道注意力權重的提煉,CA&CSPLayer首先會對輸入的特征圖進行全局均值池化(Global Average Pooling,GAP)操作實現對特征圖的維度壓縮,隨后借助一維卷積核(k)來學習各相鄰通道之間的特征映射關系,算法會假設一維卷積核k和通道C之間存在以2為底的非線性指數映射關系,如公式(1)所示:

C=φ(k)=2(γ*k-b)

(1)

通過在通道維數C已知的情況下,一維卷積核k可以通過公式(2)計算得到:

(2)

其中,‖odd表示最近奇數,參數γ和b分別取2和1。

然后借助Sigmoid激活函數實現對通道特征的整合,最后通過與原輸入特征圖(Input)的結合,生成帶有通道信息的特征圖X1。生成的特征圖X1會與經過殘差瓶頸操作的特征圖X2做拼接操作,最終實現對特征圖的信息整合。CA&CSPLayer整體結構如圖2所示。

圖2 CA&CSPLayer整體結構細節

2.3 構建具有圖屬性的Swin-Transformer

針對卷積神經網絡模型缺乏獲取全局特征信息的問題,通過使用Swin-Transformer模塊來提升模型的全局特征學習能力,同時借鑒Vision GNN[14]模型的KNN圖神經網絡,進一步優化Swin-Transformer網絡對特征圖各局部圖塊(Patch)間的特征學習。

Swin-Transformer網絡模型中使用了Windows Multi-head Self-Attention (W-MSA)以及Shifted-Windows Multi-Head Self-Attention (SW-MSA)兩個概念,并通過與MLP(Multi-Layer Perceptron)的結合共同組合成Swin-Transformer模塊。而在G-Swin-Block(Group Swin-Transformer Block)模塊當中,首先會對輸入特征圖的每個圖塊(Patch)利用最鄰近節點算法(K-Nearest Neighbor,KNN)進行操作,以此來學習每個Patch間的相互特征關系,更好地引導Swin-Transformer模塊關注重點的Patch。同時在該操作前后施加卷積以及批量歸一化(Batch Normalization,BN)操作防止特征權重出現過擬合。G-Swin-Block模塊具體細節如圖3所示。

當特征圖進入G-Swin-Block模塊后,Graph-KNN網絡首先會對特征圖每個Patch之間的特征信息進行KNN節點計算,以此來評估各Patch之間包含目標特征信息的權重比例,并最終將比例權重附加到每個Patch上面,具體操作如公式(3)所示。

ωpatchi=GraphKNN(patchi)

(3)

圖3 G-Swin-Block模塊整體結構

隨后進行Swin-Transformer的層次化全局特征學習操作,操作流程如公式(4)所示:

(4)

通過構建具有圖屬性的Swin-Transformer,有效解決了卷積神經網絡模型無法獲取特征圖全局信息的能力,使得模型檢測性能得到提高。

2.4 引入α調節因子的CIoU損失函數

YOLOX-s模型使用交并比損失函數(IoULoss)來計算預測框和真實框的位置損失。該損失方法如公式(5):

(5)

雖然IoULoss具有良好的尺度不變性,但是也存在著兩個缺點:一方面,IoU(Intersection over Union)無法精確地反映預測框和真實框的重合程度; 另一方面當預測框和真實框沒有交集時,IoU無法反映二者的實際距離大小。為此,該文采用考慮因素更為全面的α-CIoU[15]作為目標檢測任務的回歸損失函數,該損失函數兼顧了重疊面積、中心點距離以及長寬比三要素,且實際效果優于IoULoss和CIOULoss[16]。α-CIoU回歸損失的計算過程如公式(6)所示:

(6)

其中,α為調節參數,β為權重函數,w為框寬,h為框高,b和bgt分別為預測框和真實框的中心點,ρ為計算兩個中心點的歐氏距離,v表示長寬比的相似性,c表示能夠同時包含預測框和真實框的最小閉包區域的對角線距離。

通過使用α-CIoULoss,有效解決了IoULoss存在的不足。使模型回歸框定位更加精準,且檢測性能得到進一步提高。

3 實 驗

3.1 數據集

為實現對多種類害蟲的檢測任務,借助LabelImg數據標注腳本,構建了包含:稻縱卷葉螟、稻癭蚊、稻飛虱、稻象蟲、稻葉蟬、蠐螬蟲、螻蛄、金針蟲、黃地老虎、紅蜘蛛、玉米螟、黏蟲、蚜蟲、白星花金龜、桃柱螟、麥圓蜘蛛、跳甲、斑蠅、盲蝽、芫菁、瓢蟲、葡萄天蛾、斑衣蠟蟬、大青葉蟬、吹綿蚧殼蟲、桔小實蠅、枯葉夜蛾、茶樹白蛾蠟蟬、褐邊蛾蠟蟬、脊胸天牛的30類害蟲數據集,詳細數據如圖4所示。總數據量3 956張,其中單類數據最多212張,最少64張,平均每類130張左右。

圖4 害蟲數據集詳細數據

3.2 數據增強

數據增強可以有效擴展樣本多樣性,使模型在不同環境下都具備較高的魯棒性。本次實驗除了使用光度失真和幾何失真策略外,還使用了Mixup[17]和Mosaic數據增強策略,Mixup會從訓練圖像中隨機選取兩個樣本進行隨機加權求和,該操作可以有效提升檢測模型的泛化能力,具體操作效果如圖5所示。

圖5 Mixup數據增強

Mosaic增強操作會將4幅預處理圖像拼接為1幅大圖,從而極大地豐富了被檢測物體的背景,具體操作效果如圖6所示。

圖6 Mosaic數據增強

3.3 實驗環境

本次實驗在Python3.8,CUDA11.3,PyTorch 1.10.0環境下進行。所有模型均在NVIDIA RTX A5000 GPU上進行訓練和測試。數據集按照9∶1劃分為訓練集和測試集,并從訓練集中抽取10%作為驗證集,模型規格為-s,使用SGD優化器以及余弦退火學習率,BatchSize大小設置為8,總共進行300次迭代訓練(最后30次迭代訓練會關閉Mixup和Mosaic)。ST-YOLOX-s模型經過300次迭代訓練后趨于收斂。

3.4 評估指標

通過使用Python中的pycocotools工具包來計算COCO評價指標。實驗最終結果如圖7所示,可以看出改進后的ST-YOLOX-s模型的AP50以及AP50-95的檢測精度都有明顯提升。

圖7 實驗訓練結果展示

3.5 實驗設計與結果分析

3.5.1 消融實驗

通過消融實驗可以有效反映模型改進成效。如表1所示,在將模型特征檢測尺度擴展到P2后,AP50的精度提升了0.47百分點;在加入具有通道注意力的CA&CSPLayer后,AP50的精度提升了0.74百分點;在加入具有圖屬性的G-Swin-Block模塊后,AP50的精度提升了0.22百分點;最后在加入高精度α-CIoU回歸定位損失后,AP50的精度提升了0.58百分點。

表1 不同改進方法的實驗結果

3.5.2 對比實驗

選取的對比模型包括:兩階段目標檢測模型Faster R-CNN[18],并選取ResNet50[19]作為其主干網絡;無錨框(Anchor Free)的CenterNet[20],同樣選取ResNet50作為其主干網絡;單階段目標檢測模型中的YOLOv3、YOLOv4-tiny和基于MobileNetV3[21]主干網絡的YOLOv4。實驗結果表明,ST-YOLOX-s模型具有更好的檢測性能,具體實驗數據如表2所示。

表2 主流目標檢測模型性能對比

4 結束語

針對現有目標檢測算法難以應對現代農業環境下多種類害蟲高精度檢測的問題,在YOLOX-s檢測模型基礎上,通過增添P2特征尺度、構建具有通道特性的CA&CSPLayer、構建具有全局圖屬性的G-Swin-Block以及α-CIoU高精度回歸定位損失,得到ST-YOLOX-s目標檢測模型。實驗表明,ST-YOLOX-s檢測性能優于常用的目標檢測模型,最終AP50結果達到92.27%,AP50-95結果達到67.32%。該方法為現代農業高效治理提供有益參考,模型測試效果如圖8所示。

圖8 部分害蟲檢測效果