基于無錨框YOLO檢測網絡的麥穗檢測方法

路喬寬,張驚雷

基于無錨框YOLO檢測網絡的麥穗檢測方法

路喬寬,張驚雷*

天津理工大學電氣工程與自動化學院, 天津 300384

小麥產量可由單位面積的小麥麥穗總數估算得出。基于采集小麥圖像序列特征并進行檢測的方法受光照等因素影響大，檢測精度不高。為準確定位麥穗位置，估計麥穗數量，引入深度卷積神經網絡進行麥穗檢測工作。針對麥穗比例多樣，先驗錨框設定無法完美契合的弊端，舍棄了目標檢測網絡中常用的矩形先驗錨定框（anchor），提出了一種基于YOLO框架的無錨框（anchor-free）麥穗目標檢測方法。采用CSPDarkNet53作為特征提取網絡，中間層采用特征圖金字塔網絡結構FPN（Feature Pyramid Networks）設計特征處理模塊，增大感受野并提取圖像的多尺度信息，獲得融合高低層語義信息的特征圖，后端采用FoveaBox式無錨框檢測器完成目標檢測。在WEDD與GWHD兩個不同分辨率的公開麥穗數據集上測試表明，該網絡的檢測平均精度AP值相較于YOLOv4網絡分別提升了8.81%和1.69%，并在GWHD數據集上幀率達到36FPS。本算法能夠實時有效地進行麥穗精確檢測，為后續小麥估產、育種等創造了條件。

無錨框; 麥穗檢測方法; 圖像識別

小麥是世界上種植最多的谷物之一，也是我國主要的糧食作物。小麥產量對糧食安全、社會穩定至關重要，同時其產量的預估對育種、植物表型分析等農業科學研究有重要意義。單位面積麥穗總數是估計小麥產量的重要參數[1]，如何高效準確地檢測出大田環境下的麥穗就成為了重中之重。目前對麥穗圖像信息的提取多依賴于人工方法，費時費力、成本高等缺點尤為突出[2]。根據Madec S等[3]的研究結果，人工檢測的誤差約為10%。因此，近年來基于圖像處理技術的小麥麥穗自動檢測方法得到了廣泛的研究。

傳統的圖像處理算法已在農業研究領域廣泛使用。如Dammer KH等[4]通過設置二值化閾值對麥穗和圖像背景進行分類，Cointault F等[5]使用顏色特征和紋理特征分析圖像并檢測麥穗。這類算法多依賴于大量人工特征描述，且在光照、土壤、小麥品種等因素的變化下，使得以傳統統計模式識別方法得到特征的難度增加。近年來，隨著硬件技術的提升和深度學習算法的發展，基于可以自動提取圖像特征的卷積神經網絡(Convolutional Neural Network, CNN)算法得到了廣泛應用。

Pound PP等[6]應用卷積神經網絡模型檢測溫室條件下的小麥穗，Lu等提出了一種名為TasselNet[7]的深度卷積神經網絡來建立麥穗計數回歸模型，之后又陸續提出了TasslNetv2[8]與TasselNetv3[9]模型用于高粱、玉米穗等目標的計數回歸。為了研究不同生長階段的小麥對檢測結果的影響，Hasan MM等[10]訓練Faster R-CNN結構在4個不同生長階段捕獲的不同數據集上生成4個不同的模型，從而實現小麥籽粒檢測。張領先等[11]基于圖像處理和深度學習技術，設計并實現了基于卷積神經網絡的冬小麥麥穗檢測計數系統。陳佳瑋等[12]構建了MobileNetv2-YOLOv4深度學習模型用于灌漿期小麥麥穗檢測。鮑烈等[13]建立了WheatNet模型用于麥穗檢測并進行產量評估。然而，上述算法大多都只能在同種類或相似種類麥穗目標中才能取得較好的檢測結果，因此如何在不同類麥穗目標及麥穗相互遮擋的情況下提高網絡的檢測性能成為關鍵性問題。

1 本文算法

為研究適合高低分辨率大田小麥圖像的麥穗檢測網絡，針對經典目標檢測網絡小目標漏檢及遮擋誤檢測等問題，本文設計了基于YOLO框架的無錨框麥穗檢測網絡，網絡整體框架如圖1所示。

圖1 麥穗目標檢測網絡模型結構

算法分為三個階段：前端網絡由CSPDarkNet-53[14]組成，提取麥穗的多尺度特征，本文保留了CSPDarknet-53中的Resblock_3，Resblock_4，Resblock_5的最后一層特征；將提取到的特征輸入特征圖金字塔網絡結構FPN（Feature Pyramid Networks）[15]中，利用1×1卷積跨通道整合淺層的尺度特征和深層的深度特征，充分融合高低層語義信息，增強特征的魯棒性，獲得多尺度信息融合的麥穗特征圖，同時保留了捕捉較小麥穗目標的尺度特征與較大目標的深度語義特征，本文將獲取到的三層特征圖在多尺度特征融合模塊中進行高低層語義信息融合，獲得P3、P4、P5、P6四個融合層，再將高層語義特征上采樣后與低層尺度特征進行二次融合，獲得最終的融合特征層P7；檢測頭部分網絡結構舍棄了傳統深度目標檢測網絡常用的錨框設計，采用FoveaBox[16]網絡結構，標定目標框中的相應像素點，并在特征圖上確定目標位置，輸出分類、中心點及回歸分支，產生高質量的檢測框。避免了因先驗錨框設計不足導致的麥穗漏檢誤檢問題，更好地適應麥穗目標的大小及尺度變化，同時減少了模型運行時間，為麥穗實時檢測創造條件。

1.1 骨干網絡

CSPDarkNet-53是由DarkNet-53[17]改進而來，YOLOv4將之作為骨干網絡用于目標特征提取。DarkNet-53引入直連（shortcut）思想改進ResNet-50[18]，直接將淺層的信息傳遞到深層，解決模型特征退化問題并同時做到特征重用。

CSPDarkNet-53則在原始網絡結構的基礎上增加了跨階段局部（CSP）結構[19]，將原始輸入分成兩個分支，從而分別進行不同的卷積操作使得通道數減半，對其中一個分支進行多次BottleNeck操作，然后將兩個分支級聯，保持CSP結構的輸出與輸入是同樣大小，使模型學習到更多特征。

CSPDarkNet-53保留了部分CSP結構，刪除了BottleNeck操作，從而在保證模型精確度的同時降低計算量，減輕模型的重量。

本文將網絡中的Mish激活函數更換回LeakyReLU激活函數，在犧牲很小的性能代價的同時大大加快模型訓練。

1.2 多尺度特征融合模塊

深度卷積網絡常常被用于圖像的特征提取階段，其低層特征保留了圖像的空間信息、尺度信息、細節紋理信息，卻無法獲得圖像的語義信息，因此會造成目標漏檢現象；而高層特征獲得圖像的語義信息，但隨著下采樣的進行，低層特征所包含的信息大量丟失，導致小目標丟失現象。因此FPN基于特征融合思想，將高低層語義信息融合，從而最大限度地保留各種信息，提高檢測精度。

有鑒于特征圖金字塔網絡結構（FPN），本文設計了多尺度特征融合模塊，選用五層不同尺度的特征圖進行特征融合，采用從低層到高層的方式，從已融合完成的P3層開始，對相應各層采用最大值池化（Max Pooling）進行降采樣，使得各個融合層降采樣后產生的新特征圖通道數保持一致，最后進行級聯操作獲得包含了多層特征的P7層，將之輸入檢測部分用以指導檢測框的分類與回歸。

1.3 無錨框目標檢測器

檢測器部分采用了2019年清華大學發布的FoveaBox結構（圖2），其動機來源于人眼對視覺域的中心擁有最強烈的敏感度。

圖2 FoveaBox目標檢測器結構

Fig.2Structure of FoveaBox object detector

FoveaBox通過逐像素直接預測的方式計算目標可能出現的位置及其相應的邊界，從而將真實的邊界框（1，1，2，2）映射到不同尺度的特征金字塔上。

其中，2為第層特征金字塔的步長。即中心點的位置和映射的真實邊界的寬、高為：

為了劃分正負樣本，引入收縮因子，使得正樣本小于當前映射出的邊界框：

本文FPN網絡結構輸出P3、P4、P5、P6、P7五層特征圖，因此本文針對各層特征圖大小，分別令=32、64、128、256、512作為每層的基本尺度，在檢測時充分利用融合信息，利用多層金字塔檢測同一目標，從而生成高質量檢測框。

1.4 損失函數

由于本文為單類型目標檢測任務，因此對目標檢測網絡中常用的多類型檢測任務損失模型中的分類損失進行簡化，采用Focal Loss作為分類損失函數，其公式為：

中心點損失函數采用交叉熵損失函數進行，通過計算檢測框與真值框之間的IoU數值，來判斷檢測框與真值框的差異，保留高質量檢測框，其公式為：

回歸損失函數使用L1損失，該函數能夠讓損失對于離群點、異常值等不敏感、梯度變化更小、魯棒性更強，其公式為：

因此，本文算法在訓練階段使用的損失函數為上述三者之和，即定義為：

其中，表示數據集中正樣本的數量。

2 實驗準備

2.1 數據集

本文選用的數據集來自于David E等[20]發布的全球小麥穗檢測數據集GWHD（Global_Wheat_Head_Detection Dataset）與全球小麥公共數據庫WEDD（Wheat_Ear_Detection Dataset）。圖3為從兩個數據集中隨機挑選的圖片，其中GWHD數據集為7個不同國家的研究機構從全球十個不同地點拍攝獲得，共3422張，由于生長環境和相機設置的不同，圖像間的特征差別明顯；而WEDD數據集提供了236張高分辨率麥穗圖像，圖像清晰，麥穗種類相同，但存在大量遮擋與顏色信息不明確等問題，影響檢測精度。

圖3 GWHD數據集（左列與中列）和WEDD數據集（右列）示意圖

2.2 硬件與環境搭建

3 結果分析

3.1 WEDD數據集中的檢測結果對比及分析

為驗證算法的有效性，將本算法與經典目標檢測網絡及其改進網絡進行對比實驗。對比的方法分為兩類：以YOLO算法為代表的的單階段目標檢測算法和以R-CNN算法為代表的兩階段目標檢測算法。單階段算法基于整張圖片信息進行推理，因此速度較快；兩階段算法使用滑窗進行目標檢測，基于局部圖片信息進行檢測，速度較單階段檢測算法慢，但定位準確率高。由于二者都采用了錨框anchor的設計思想，其設置好的先驗錨框會由于長寬比篩選過濾掉大小和長寬比與先驗錨框差異較大的真實目標框，就長寬比完全不確定的麥穗目標來說，會造成大量的未成功檢測，影響檢測性能。不同方法在WEDD數據集上的對比檢測結果如表1所示。

表1 本文方法與5種經典目標檢測算法在WEDD數據集中的實驗結果對比

WEDD數據集為高精度、高復雜度的麥穗檢測數據集，每張圖片中都含有大量待檢測目標，而且圖像整體以綠色為主，麥穗與周圍莖葉、雜草區分度低，難以形成準確的邊界檢測效果。從表中數據可以看出，本文算法在對于麥穗檢測的結果有所提高。相較于幾種單階段目標檢測算法效果提升明顯，與YOLOv3、YOLOv4相比，AP值分別提升了9.96%和8.81%；相較于兩階段目標檢測算法，本算法在無需提前設計anchor先驗信息的前提下，在檢測AP值上也取得了1.53%的效果提升。為了直觀展示目標檢測結果，本文將4種方法的檢測結果進行了可視化處理，每個檢測框上方的數字代表該預測框的置信度。本文將各算法檢測出置信度大于0.5的預測框可視化并呈現出來（圖4）。

a、b、c為在WEDD數據集中隨機挑選的三張麥穗圖像。(1)原圖；(2)YOLOv3；(3)YOLOv4；(4)Faster R-CNN；(5)本文方法

在圖像a中，本文算法檢測出了94個目標，略超過Faster R-CNN的91個，遠超過YOLOv3、YOLOv4檢測出的63個和67個，查全率有著明顯的優勢。在圖像b中，左上角有一簇集聚的麥穗目標，因其相互遮擋導致紋理特征減弱，YOLOv3/v4算法均未能檢測出該部分麥穗目標，Faster R-CNN雖然檢測出其中的部分目標，但是漏檢現象依舊嚴重，本文算法成功檢測到了目標。圖像3中存在大量豎直麥穗目標，特征極不明顯的同時帶來了小目標檢測的挑戰，相較于前述幾種算法，本文算法成功的檢測出了幾乎所有麥穗目標，避免了漏檢的現象。

3.2 GWHD數據集中的檢測結果對比及分析

相較于WEDD數據集，GWHD數據集單張圖片復雜度較低，且單張圖片包含的麥穗數量也較少。但因其為從全球十個不同地點獲取，麥穗種類、種植方式以及麥穗成熟度均不盡相同，且拍攝角度和相機高度也有所差異，因此其數據集包含的特征信息更為繁雜，對目標檢測算法的泛化性提出了更高的要求。不同方法在GWHD數據集上的對比檢測結果如表2所示。從表中數據可以看出，本文算法在對于麥穗檢測的效果有所提高，同時本文算法在檢測速度上也取得了最優的結果，達到了36FPS，滿足麥穗實時檢測的需求。

表2 本文方法與5種經典目標檢測算法在GWHD數據集中的檢測實驗結果對比

由于WEDD數據集單張圖片包含目標多，其主要面臨的挑戰為遮擋問題和能否查全的問題，因此對其進行的實驗結果評估分析中主要在查全方面進行考量。而GWHD數據集單張圖片包含目標少，其主要挑戰為因地質地貌、小麥種類及其成熟度、種植習慣等不同導致的麥穗特征的大幅改變，以及由于光照、視角、拍攝角度等因素導致的圖像質量高低不一，進而增大了準確檢測麥穗目標的難度，因此本部分主要在不同種類的麥穗圖像中對其檢測結果進行分析。檢測結果如圖5所示，從檢測結果中可以看出，本算法能夠在麥穗種類和成熟度各不相同的情況下準確檢測出所有麥穗目標；對于莖葉干擾度較大，麥穗目標出現重疊的情況下，前述幾種算法都出現了不同程度的漏檢和誤檢情況，識別準確率出現下降，而Faster R-CNN網絡雖能夠準確識別目標，但識別速度下降明顯，本文算法能夠高速準確地檢測到麥穗目標。

d、e、f為在GWHD數據集中隨機挑選的三張麥穗圖像。(1)原圖；(2)YOLOv3；(3)YOLOv4；(4)Faster R-CNN；(5)本文方法

4 結論

針對麥穗長寬比例多樣，無法設置合適的錨框的問題，提出了一種基于YOLO框架的無錨框麥穗檢測網絡。舍棄了復雜的錨框設置步驟，提高了麥穗目標檢測的平均精度和召回率。本文算法在多種類、多精度、復雜場景麥穗檢測數據集上均取得良好的檢測效果，證明其有較強的泛化性，低精度圖像中檢測幀率達到了36FPS，檢測速度符合實時檢測的需求。

[1] Ferrante A, Cartelle J, Savin R,. Yield determination, interplay between major components and yield stability in a traditional and a contemporary wheat across a wide range of environments [J]. Field Crops Research, 2017,203:114-127

[2] Fernandez-gallego JA, Kefauver SC, Gutierrez N,. Wheat ear counting in-field conditions: high throughput and low-cost approach using RGB images [J]. Plant Methods, 2018,14(1):1-22

[3] Madec S, Jin X, Lu H,. Ear density estimation from high resolution RGB imagery using deep learning technique [J]. Agricultural and Forest Meteorology, 2019,264:225-234

[4] Dammer KH, Mller B, Rodemann B,. Detection of head blight (Fusarium ssp.) in winter wheat by color and multispectral image analyses [J]. Crop Protection, 2011,30(4):420-428

[5] Cointault F, Guerin D, Guillemin JP,. In-field Triticum aestivum ear counting using colour-texture image analysis [J]. New Zealand Journal of Crop & Horticultural Science, 2008,36(2):117-130

[6] Micheal PP, Jonathan AA, Darren MW,Deep learning for multi-task plant phenotyping [C]//IEEE International Conference on Computer Vision. IEEE Computer Society. Seattle, WA, USA: IEEE, 2017:2055-2063

[7] Lu H , Cao ZG , Xiao Y,. TasselNet: counting maize tassels in the wild via local counts regression network [J]. Plant Methods, 2017,13(1):1-17

[8] Xiong H, Cao ZG, Lu H,. TasselNetv2: in-field counting of wheat spikes with context-augmented local regression networks [J]. Plant Methods, 2019,15:150

[9] Lu H, Liu L, Li YN,. Tasselnetv3: Explainable plant counting with guided upsampling and background suppression [J]. IEEE Transactions on Geoscience and Remote Sensing, 2021,60:1-15

[10] Hasan MM, Chopin JP, Laga H,. Detection and analysis of wheat spikes using Convolutional Neural Networks [J]. Plant Methods, 2018,14:1-13

[11] 張領先,陳運強,李云霞,等.基于卷積神經網絡的冬小麥麥穗檢測計數系統[J].農業機械學報,2019,50(3):144-150

[12] 陳佳瑋,李慶,譚巧行,等.結合輕量級麥穗檢測模型和離線Android軟件開發的田間小麥測產[J].農業工程學 報,2021,37(19):156-164

[13] 鮑烈,王曼韜,劉江川,等.基于卷積神經網絡的小麥產量預估方法[J].浙江農業學報,2020,32(12):2244-2252

[14] Bochkovskiy A, Wang CY, Liao HYM. Yolov4: Optimal speed and accuracy of object detection [J]. arXiv preprint arXiv. 2004, 2020:10934

[15] Lin TY, Dollar P, Girshrck R,. Feature pyramid networks for object detection [C]//IEEE Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA: IEEE, 2017:2117-2125

[16] Kong T, Sun F, Liu H,. Foveabox: Beyound anchor-based object detection [J]. IEEE Transactions on Image Processing, 2020,29:7389-7398

[17] Redmon J, Farhadi A. Yolov3: An incremental improvement [J]. arXiv preprint arXiv:1804, 2018:02767

[18] He K, Zhang X, Ren S,. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA: IEEE, 2016:770-778

[19] Wang CY, Liao HYM, Wu YH,. CSPNet: A new backbone that can enhance learning capability of CNN[C].//IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Seattle, WA, USA: IEEE, 2020:390-391

[20] David E, Madec S, Sadeghi-tehran P,. Global Wheat Head Detection (GWHD) dataset: a large and diverse dataset of high resolution RGB labelled images to develop and benchmark wheat head detection methods [J]. Plant Phenomics, 2020:1-12

[21] Liu W, Anguelov D, Erhan D,. Ssd: Single shot multibox detector [C]//European Conference on Computer Vision. Springer, 2016:21-37

[22] Tan M, Pang R, Le QV. Efficientdet: Scalable and efficient object detection [C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA: IEEE, 2020:10781-10790

[23] Ren S, He K, Ross G,. Faster r-cnn: Towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,39(6):1137-1149

The Wheat Ear Detection Method Based on Anchor Free YOLO Detection Network

LU Qiao-kuan, ZHANG Jing-lei*

300384,

Wheat yield can be estimated from the total number of wheat ears per unit area. The detection method based on the sequence characteristics of wheat image is highly effected by factors such as light, resulting in inaccuracy. In order to accurately locate wheat ears and estimate the number the deep convolution neural network was introduced. In order to overcame the disadvantages of inappropriate anchors with various proportions of wheat ears, this paper used an anchor-free wheat ear target detection method based on YOLO framework instead of the common rectangular priori anchor frame in target detection network. CSPDarknet53 network was applied as feature extraction network. And a feature processing module was designed according to the FPN (Feature Pyramid Networks) structure in middle layer, which could increase the receptive field, extract the multi-scale information of the image, and obtain feature maps that include the semantic information from both high and low levels. In back-end network, an anchor-free FoveaBox detector was applied to achieve object detection. The test results from two public wheat ear data sets with different resolutions WEDD and GWHD showed that compared with Yolov4 network, the average detection precision values increased by 8.81% and 1.69%, respectively. The proposed method could reach 36FPS of frame rate on GWHD dataset. This algorithm could accurately and effectively detect wheat ears in real time, and is of help with subsequent work such as wheat yield estimation and breeding.

Anchor free; wheat ear detection method; image identification

TP751

A

1000-2324(2022)05-0796-07

2022-05-25

2022-05-30

路喬寬(1997-),男,碩士,研究方向:深度學習,農業信息工程. E-mail:1065219917@qq.com

通訊作者:Author for correspondence. E-mail:zhangjinglei@tjut.edu.cn