














摘要:為實現果園復雜環境下的桃果實實時識別,提出一種基于YOLOv4-tiny的桃果實實時識別方法YOLOv4-tiny-Peach。通過在主干網絡中引入卷積注意力模塊CBAM,優化其通道維度和空間維度的特征信息;在頸部網絡中添加大尺度淺層特征層,提高對小目標識別精度;采用雙向特征金字塔網絡BiFPN對不同尺度特征信息進行融合。通過訓練和比較,YOLOv4-tiny-Peach模型在測試集下的平均精度AP為87.88%,準確率P為91.81%,召回率R為73.84%,F1值為81.85%,相比于改進前,AP提升5.46%,P提升2.29%,R提升4.09%,F1提升3.44%。為檢驗改進模型在果園復雜環境下的適應性,在不同數目、不同成熟期和遮擋的情況下對果實圖像進行識別,并與原模型識別效果進行對比,結果表明改進模型在三種情況下的識別精度均高于原模型,尤其在大視場和未熟期場景下模型改進效果顯著。YOLOv4-tiny-Peach模型占用內存為27.4 MB,識別速度為49.76 fps,適用于農業嵌入式設備。為果園復雜環境下的桃果實自動采摘提供實時精準的目標識別指導。
關鍵詞:桃;采摘機器人;目標識別模型;YOLOv4-tiny;果園;實時
中圖分類號:S641.2; TP391.4" " " 文獻標識碼:A" " " 文章編號:2095?5553 (2024) 08?0254?08
Peach fruit real?time recognition in complex orchard environment"based on improved YOLOv4-tiny
Yuan Yingchun, Zhang Ao, He Zhenxue, Zhang Ruochen, Lei Hao
(College of Information Science and Technology, Hebei Agricultural University, Baoding , 071001, China)
Abstract: In order to achieve real?time peach fruit recognition in complex orchard environments, a real?time peach fruit recognition approach (YOLOv4-tiny-Peach) was proposed based on YOLOv4-tiny. The method firstly optimized the feature information in its channel dimension and spatial dimension by introducing a Convolution Block Attention Module (CBAM) in the backbone network, then, it improved the accuracy of small target recognition by adding a large?scale feature layer (F3) to the neck network, and finally, it used a Bidirectional Feature Pyramid Network (BiFPN) to fuse feature information at different scales. Through training and comparison, the average accuracy AP of YOLOv4-tiny-Peach model was 87.88%, the accuracy P was 91.81%, the recall R" was 73.84%, and the F1 score" was 81.85% under the test set. AP was increased by 5.46%, P by 2.29%, R by 4.09%, and F1 by 3.44%, respectively, compared to before the improvement. The recognition of peach fruit images under different numbers, different ripening stages, and occlusion was performed in order to verify the adaptability of the improved model in the complex environment of orchards, and the recognition effect of the improved model was compared with that of the original model. The results showed that the recognition accuracy of YOLOv4-tiny-Peach" was higher than that of the YOLOv4-tiny in all three cases, especially in scenes with a wide field of view and unripe fruit. The YOLOv4-tiny-Peach model uses memory of 27.4 MB" and has a inference speed of 49.76 fps, making it more suitable" for embedded agricultural equipment. The method provides real?time and precise target identification assistance for autonomous peach fruit picking under complex environment in orchards.
Keywords: peach; picking robot; target recognition model; YOLOv4-tiny; orchard; real?time
0 引言
采摘機器人能提高生產效率、降低采摘成本,是果蔬作業的必然趨勢[1]。目前,采摘機器人的重點和難點在視覺識別模型[2],其工作效率和穩定性取決于識別模型對果實識別的速度、精度以及對復雜環境的適應能力[3]。桃是我國最主要的果樹樹種之一,在落葉果樹中,僅次于蘋果和梨,居第3位[4]。我國的桃種植面積與總產量居世界第一位,其中以白肉鮮食桃為主[4]。目前,桃采摘仍然以傳統人工采摘為主,成本高、效率低,因此,研究桃采摘機器人進行自動化采摘具有重要意義,其中高效準確的桃果實識別模型是關鍵技術。
針對果實識別問題,國內外學者基于傳統機器視覺方法已經開展了大量研究,包括棗[5]、蘋果[6?9]、葡萄[10]、獼猴桃[11]等果實,主要采用基于果實顏色、形狀和紋理等特征的圖像分割改進方法,取得較高準確率。但這類方法主要以人為提取圖像特征為基礎,魯棒性和泛化性較差,難以滿足自動化采摘對多任務場景的視覺要求。近年來,以卷積神經網絡為代表的深度學習算法在果實識別領域展現出明顯優勢,其方法主要分為兩類:一是基于區域生成網絡的識別方法[12],標志性算法如Fast R-CNN[13],主要在識別準確率和定位精度上占優勢;二是基于回歸的識別方法[12],標志性算法為YOLO[14]系列模型,主要在算法速度上占優勢[13]。由于果園作業要求實時性,許多國內外學者使用后者進行果實識別研究,來兼顧模型的識別精度與速度。Tian等[15]提出一種改進的YOLOv3模型,使用DenseNet方法處理YOLOv3網絡中的低分辨率特征層,用于復雜環境果園中識別不同生長階段的蘋果。Li等[16]提出一種改進的YOLOv5算法,通過在特征金字塔中添加四倍下采樣和引入CBAM模塊來增加感受野和提高網絡的特征提取能力,以滿足小麥穗部識別和計數的實際要求。王卓等[17]基于YOLOv4提出一種輕量化蘋果實時識別方法,使用輕量化網絡MobileNetv3作為特征提取網絡并添加了坐標注意力機制,取得了不錯的識別精度和時效性,但并未對大視場應用場景下的果實識別開展研究。Fu等[18]基于YOLOv3-tiny提出一種輕量化的獼猴桃識別模型DY3TNet,應用于果園中的獼猴桃識別,平均精度達90.05%,單幅圖像識別時間為34 ms,實現了獼猴桃的快速識別,但拍攝角度和距離固定,圖像場景簡單,難以適應果園復雜環境下多種任務場景。
與上述果實識別相比,果園中的桃識別研究較少。桃樹存在果實密集、稀疏程度不一,果實間重疊、葉片遮擋嚴重等特點,并且桃果實成熟期較短[19],需要及時采摘,不僅識別難度大,而且對模型的實時性要求較高。因此,本研究以果園復雜場景下采集的鮮食桃圖像為研究對象,以桃果實為識別目標,以輕量化 YOLOv4-tiny模型為基礎,在主干網絡中引入注意力機制CBAM模塊、在頸部網絡中添加大尺度淺層特征層(F3)、采用BiFPN網絡結構融合不同尺度特征信息,在保證模型輕量化的同時提高其識別精度和對復雜環境的適應性,為實現桃自動采摘機器人提供技術參考依據。
1 圖像采集與數據集構建
1.1 圖像采集
本文桃果實圖像采集于河北省保定市徐水區的采摘園內,為鮮食白肉桃,品種為“京玉”。在2022年7—8月用手機(小米Mi10)分別在早上(8:00—9:00)、中午(11:30—12:30)以及傍晚(18:00—19:00)3個時間段各采集340張圖像,共1 020張桃果實圖像,包括晴天、陰天等多種天氣狀況;照明條件包括順光、側光和逆光;在拍攝時模擬采摘機器人的操作過程,通過變換拍攝角度和拍攝距離,使拍攝圖像有著不同的大小、姿態、光照和背景情況。拍攝的原始圖像格式為.JPEG,分辨率為4 010像素×3 008像素。果園環境下的桃果實圖像如圖1所示。
1.2 數據集構建
本文使用圖像標注工具LabelImg對拍攝圖像中的桃果實目標進行標注,得到Pascal VOC格式的xml文件。在標注時按人眼觀測結果進行標,要求矩形框盡量貼合果實的輪廓,共標注11 169個果實目標。
本文將標注的桃果實數據按照7∶1∶2的比例劃分為訓練集、驗證集和測試集,分別包括714、102、204 幅圖像,包含果實目標數量分別為 7 745、1 146、2 278個。
2 桃果實實時識別方法
2.1 YOLOv4-tiny-Peach模型
YOLOv4[21]識別精度高,但模型參數多、識別速度慢,難以在嵌入式設備上進行部署。YOLOv4-tiny是為了適應嵌入式設備,在YOLOv4[20]上做出的簡化版本,模型參數更少、識別速度更快,但識別準確率低于YOLOv4,對果園復雜環境下的桃果實識別精度低,容易發生漏檢現象。為兼顧模型的時效性、識別精度和對復雜環境的適應性,本文提出改進型輕量級識別模型YOLOv4-tiny-Peach,該模型結構如圖2所示。針對桃園環境特點從三個方面進行改進。
1) 針對于桃園環境下存在果實間重疊、葉片遮擋導致模型識別精度損失的現象,在主干網絡處添加了4個CBAM模塊。4個CBAM模塊可以優化通道和空間維度的特征信息,提升模型對果實特征的敏感程度,降低背景噪音干擾。
2) 受拍攝角度和距離影響,樣本中存在大量小目標果實,本文通過在頸部網絡中添加64×64的大尺度淺層特征層(F3),給模型增加更小感受野信息,提高模型對小目標的特征提取能力。
3) 桃園環境復雜,樣本存在大小不同目標聚集的現象,本文引入雙向融合的BiFPN網絡結構[21],使不同尺度特征信息得到充分有效利用。
由圖2可以看出,YOLOv4-tiny-Peach模型主要由四部分組成,分別是輸入層、主干網絡層、頸部網絡層和輸出層。首先,RGB圖像通過主干特征提取網絡,分別在CSP1、CSP2和結尾處獲得尺度為64×64、32×32、16×16 的3個有效特征層。然后,進入到模型的頸部網絡中,先對3種不同尺度有效特征層分別采用CBL模塊進行特征聚合,之后利用BiFPN網絡結構對不同尺度的特征信息進行有效特征融合。最后,再經過CBL模塊和卷積操作得到維度分別為64×64×18、32×32×18、16×16×18的預測輸出。
2.2 卷積注意力模塊
果園復雜環境會產生大量背景噪音,影響識別精度,注意力機制的引入可以增強有效特征信息,抑制背景噪聲。CBAM模塊沿通道和空間維度的順序推斷注意力圖,然后將注意力圖與輸入特征圖相乘實現自適應的特征優化,并且CBAM模塊是一個輕量級的通用模塊,其開銷可以忽略不計[22],其結構如圖3所示。
首先通過通道注意力模塊,在輸入端輸入特征圖F,對其在空間維度上分別進行平均和最大池化,將尺寸為C×H×W的特征圖變成C×1×1大小,得到兩個只有通道維度的向量,然后將兩個向量送進一個共享的神經網絡MLP,完成后將兩個特征相加,再經過Sigmoid激活函數得到權重系數MC,其計算方法如式(1)所示。之后與最初的輸入特征沿通道維度相乘,得到通道細化特征圖F',如式(2)所示。
[MC(F)=σMLPAvgPool(F)+MLPMaxPool(F)] (1)
[F'=MC(F)?F] (2)
式中: F——輸入的特征圖;
AvgPool——平均池化;
MaxPool——最大池化;
MLP——共享神經網絡;
σ ——sigmoid 激活函數;
MC——通道壓縮權值矩陣;
F′——通道細化特征圖。
然后通過空間注意力模塊,輸入端輸入通道細化特征圖F',對其在通道維度上進行平均和最大池化,將尺寸為C×H×W的特征圖變成1×H×W大小。將兩個張量基于通道進行堆疊,然后進行卷積操作,將維度降低為一個通道,再經過Sigmoid激活函數得到權重系數MS ,其計算方法如式(3)所示。將MS與F'沿著空間維度相乘,得到空間細化特征圖F'',其計算如式(4)所示。
[MS(F')=σf7×7AvgPool(F') ;MaxPool(F')] (3)
[F''=MS(F')?F'] (4)
式中: [f7×7]——7×7卷積操作;
MS——空間壓縮權值矩陣;
F′′——空間細化特征圖。
2.3 大尺度淺層有效特征層
YOLOv4-tiny模型只有中尺度(32×32)和小尺度(16×16)兩級有效特征層,尺度信息較少,對小目標識別會產生漏檢現象,難以適應尺度變化較大的桃果實識別。為提高對小目標的識別精度,本文在YOLOv4-tiny模型的CSP2層處獲取64×64的大尺度淺層有效特征層(F3),將檢測尺度由2個擴展至3個,相比于小尺度和中尺度有效特征層,大尺度淺層特征層具有更小的感受野,包含更多的細節信息和位置信息,可以提升模型對小目標的識別精度。
2.4 BiFPN網絡結構
隨著網絡層次加深,特征的語義也由低維變向高維,然而,每一層網絡都會造成一定程度上的特征丟失[23],并且樣本中存在大小不同目標聚集的情況,需要對不同尺度的特征進行有效融合。
YOLOv4使用路徑聚合網絡結構[24](PANet)(圖4(b))進行特征融合,PANet網絡是雙向網絡特征融合結構,實現了多層尺度特征信息的充分融合,但會使模型參數量增加,效率降低。YOLOv4-tiny為更加適應于嵌入式設備,改用特征金字塔結構[25](FPN)(圖4(a))進行特征融合,FPN網絡結構簡單,參數量少,但其為單向特征融合結構使得多尺度信息無法被充分有效利用。本文引入BiFPN網絡結構(圖4(c))代替原模型中的FPN網絡進行多尺度信息融合,與FPN網絡結構相比,BiFPN網絡為雙向特征融合結構,特征層進行自上而下與自下而上的深淺層特征雙向融合,可以減少特征丟失。與PANet網絡結構相比,BiFPN網絡結構移除PANet網絡結構中沒有特征融合的節點,并在同一尺度的特征間添加橫向連接,簡化了雙向網絡結構。BiFPN網絡結構可以在不顯著增加計算成本的情況下進行多尺度特征信息的有效融合,緩解因網絡層級過多造成的特征信息丟失情況。
3 模型訓練
試驗環境如表1所示。
在模型訓練時,將訓練集圖像的分辨率全部轉換為512像素×512像素。訓練模型的超參數設置為每批量樣本數為16,遍歷1次全部訓練集數據稱為1次迭代,批量設置為400。優化器使用隨機梯度下降法SGD(Stochastic Gradient Descent)。初始學習率為0.001,采用余弦退火衰減法動態修改學習率,余弦退火超參數為0.1。采用Mosaic數據增強算法進行數據增強。訓練時使用K-means聚類計算當前數據集的先驗框預訓練值。最終選擇模型在驗證集上損失最小的權重作為最終權重進行保存。
對于果園復雜環境下的水蜜桃目標識別,識別精度、識別實時性和模型復雜度都是要考慮的因素。
對于識別模型的精度而言,本文使用采用準確率(Precision, P)、召回率(Recall, R)、平均精度(Average Precision, AP)和F1得分作為模型識別精度的評價指標。P、R、AP(IoU閾值設定為0.5)和F1的計算如式(5)~式(8)所示。
[P=TPTP+FP×100%] (5)
[R=TPTP+FN×100%] (6)
[AP=01P(R)dR] (7)
[F1=2×P+RP+R] (8)
式中: TP——被正確劃分到正樣本的數量;
FP——被錯誤劃分到正樣本的數量;
FN——被錯誤劃分到負樣本的數量。
對于模型識別的實效性,本文使用識別速度作為評價指標。識別速度指每秒測試的圖像數量,單位為 fps。
對于模型復雜度,本文使用模型大小、參數量(Params)和浮點運算次數FLOPs(Floating Point Operations)[26]作為評價指標。
4 結果與分析
4.1 不同識別模型性能對比
本文將改進模型與YOLOv3、YOLOv4、輕量化網絡YOLOv4-MobileNetv3[27]和原模型進行比較,將交并比(IoU)閾值和目標置信度閾值設為0.5,均選用驗證集上損失最小的權重作為最終權重,并基于評價指標進行對比分析,結果如表2所示。
對比改進模型與原模型,改進模型的AP、P、R和F1值比原模型分別提高5.46、2.29、4.09和3.44個百分點,識別速度為49.76 fps,模型大小為27.4 MB,參數量和FLOPs略有增加,表明改進模型在性能顯著提升的同時,還能有效支持嵌入式設備部署。與YOLOv4相比,改進模型在達到與其相當識別精度的同時,模型大小、參數量和FLOPs分別僅為YOLOv4的11.23%、11.12%和22.44%,且識別速度提升了2倍多。與YOLOv3和輕量化網絡YOLOv4-MobileNetv3[26]相比,改進模型在測試集上的各項評價指標都明顯優于兩者。
綜上,YOLOv4-tiny-Peach模型不僅保證了較高的識別時效性和識別精度,并且足夠輕量化,能夠有效支持農業嵌入式設備部署。
4.2 消融試驗
為證明本文改進模型的有效性,本節通過消融試驗對改進模型的性能進行對比分析,結果如表3所示。
由表3可知,相比于原始模型,在主干網絡中添加CBAM模塊優化了通道維度和空間維度的特征信息,抑制了背景噪音,降低了模型對遮擋目標的漏檢率,使得模型的AP提升了2.6個百分點,R提升了2.86個百分點,模型復雜度沒有明顯上升。在此基礎上在模型的頸部網絡中添加大尺度的淺層特征層(F3),提高了模型對小目標水蜜桃的識別準確率,使得模型的AP提升2.25個百分點,P提升2.42個百分點,模型的參數量、FLOPs分別增加0.28 M和0.1×109。采用BiFPN網絡結構融合不同尺度的特征信息,實現不同尺度特征信息的充分有效融合,使得模型的AP提升了0.61百分點,R提升1.10個百分點,模型參數量、FLOPs分別增加0.92 M和0.06×109。
改進模型的AP、P、R和F1相比原始模型,有了明顯提升,模型復雜度雖略有增加,仍然足夠輕量化,可以部署在嵌入式設備上。
4.3 不同數目果實場景下的對比試驗
將測試集樣本按照少量(每張包含1~10個果實)、密集(每張包含11~30個果實)和大視場(每張包含大于30個果實)劃分為3個測試集,分別包含圖像125張、68張和11張,包含果實目標619個、1 155個和504個。使用改進前后的模型進行測試,評估指標如表4所示,部分識別可視化結果對比如圖5所示。
從表4可以看出,相比原模型,YOLOv4-tiny-Peach的AP在少量、密集和大視場場景下的提升呈遞增趨勢,分別提升2%、4.96%和11.21%。改進模型在密集和大視場場景下識別精度提升較為顯著,尤其在大視場場景下,相應的P、R和F1分別提升6.42%、7.34%和7.25%。這表明改進模型對不同數量桃果實識別都具有很好的效果,而且隨著桃果實目標增多,改進模型的識別效果明顯優于原模型,特別是大視場場景下桃果實識別性能提升明顯,驗證了本文改進方法的有效性。
4.4 不同成熟期果實場景下的對比試驗
白肉鮮食桃按照成熟期可以分為未熟期、適熟期和完熟期三類。未熟果呈綠色,適熟果呈黃色占大部分,部分變紅,完熟果則大部分呈紅色。本文選取未熟期、適熟期和完熟期的桃果實圖像各30張,分別包含桃果實目標391個、347個和261個,組成3個測試集。使用改進前后的模型進行測試,改進前后的模型評估指標如表5所示,部分識別可視化結果對比如圖6所示。
結合表5和圖6可以看出,相比原模型,YOLOv4-tiny-Peach的AP在未熟期、適熟期和完熟期分別提升了6.21%、4.48%和4.61%,均達到了90%左右,這說明改進模型對不同成熟期桃果實的識別都具有很好的效果,特別是對于未熟期桃的識別,不僅準確率AP提升顯著,而且改進模型的R較于原模型提升了4.34%,表明未熟期桃果實與葉片顏色相近,原模型識別困難,容易產生漏檢現象,而改進模型受到復雜環境的影響較小,對果實特征敏感,可以識別出原模型漏檢的桃目標。綜合3個成熟期識別效果,改進模型的各項評價指標明顯高于原模型,尤其對于未熟果期場景下的桃識別,性能提升明顯。
4.5 遮擋情況下的識別效果對比
本文選取了60張遮擋較為嚴重的圖像組成測試集,共包含577個桃果實目標,使用改進前后的模型進行測試,試驗結果如表6所示,部分識別可視化結果對比如圖7所示。
從表6可以看出,相比原模型,YOLOv4-tiny-Peach的AP提升了4.66%,R提升了3.29%,表明改進模型的漏檢率降低。由圖7可以看出,原模型出現錯檢、漏檢情況較多,改進模型可以識別出原模型識別不到的一些遮擋目標。綜合分析結果表明,在遮擋場景下,改進模型的識別精度明顯優于原始模型。
5 結論
針對目前采摘機器人視覺識別模型復雜度高、識別速度慢、對復雜環境適應性差的問題,本文將桃果實作為研究對象,針對這些問題進行研究。
1) 提出基于改進 YOLOv4-tiny 的果園復雜環境下的桃果實實時識別方法(YOLOv4-tiny-Peach)。通過在主干網絡中引入CBAM模塊,增強有效特征,抑制背景噪音;在頸部網絡中添加大尺度淺層特征層,提高小目標識別準確率;采用BiFPN網絡結構進行特征融合,實現不同尺度特征信息的充分融合。本文通過消融試驗證明YOLOv4-tiny-Peach模型中改進機制的有效性,改進模型的AP為87.88%,P為91.81%,R為73.84%,F1為81.85%,相比于YOLOv4-tiny均有明顯提升。YOLOv4-tiny-Peach模型大小為27.4 MB,識別速度為49.76 fps,參數量為7.16 M,FLOPs為0.68×109,能有效支持農業嵌入式設備部署,可以為桃采摘機器人提供精準定位指導。
2) 與其他識別模型相比,YOLOv4-tiny-Peach模型的各項評價指標均優于YOLOv3和YOLOv4-MobileNetv3,其識別精度與YOLOv4相當,但模型大小僅為YOLOv4的11.23%,識別速度快2倍多。YOLOv4-tiny-Peach模型在保證檢測速度的前提下,取得較高的識別精度。
3) 根據果園環境下應用場景的不同,進行不同數目場景、不同成熟期場景和遮擋場景下的對比試驗。結果表明,YOLOv4-tiny-Peach模型,在不同數目、不同成熟期和遮擋場景下的識別效果均優于原模型,尤其在大視場場景和未熟果期場景下表現優異,證明改進的有效性,改進模型對不同場景的適應性更好。
參 考 文 獻
[ 1 ] 鄭太雄, 江明哲, 馮明馳. 基于視覺的采摘機器人目標識別與定位方法研究綜述[J]. 儀器儀表學報, 2021, 42(9): 28-51.
Zheng Taixiong, Jiang Mingzhe, Feng Mingchi. Vision based target recognition and location for picking robot: A review [J]. Chinese Journal of Scientific Instrument, 2021, 42(9): 28-51.
[ 2 ] Jia W, Zhang Y, Lian J, et al. Apple harvesting robot under information technology: A review [J]. International Journal of Advanced Robotic Systems, 2020, 17(3): 1729881420925310.
[ 3 ] Kang H W, Chen C, Zhou H Y, et al. Fruit detection and segmentation for apple harvesting using visual sensor in orchards [J]. Sensors (Basel), 2019, 19(20): 194599.
[ 4 ] 畢金峰, 呂健, 劉璇, 等. 國內外桃加工科技與產業現狀及展望[J]. 食品科學技術學報, 2019, 37(5): 7-15.
[ 5 ] 趙琛, 王昱潭, 朱超偉. 基于幾何特征的靈武長棗圖像分割算法[J]. 計算機工程與應用, 2019, 55(15): 204-212.
Zhao Chen, Wang Yutan, Zhu Chaowei. Lingwu Long Jujubes image segmentation algorithm based on geometric features [J]. Computer Engineering and Applications, 2019, 55(15): 204-212.
[ 6 ] 廖崴, 鄭立華, 李民贊, 等. 基于隨機森林算法的自然光照條件下綠色蘋果識別[J]. 農業機械學報, 2017, 48(S1): 86-91.
Liao Wei, Zheng Lihua, Li Minzan, et al. Green apple recognition in natural illumination based on random forest algorithm [J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(S1): 86-91.
[ 7 ] 麥春艷, 鄭立華, 肖昌一, 等. 自然光照條件下蘋果識別方法對比研究[J]. 中國農業大學學報, 2016, 21(11): 43-50.
Mai Chunyan, Zheng Lihua, Xiao Changyi, et al. Comparison of apple recognition methods under natural light [J]. Journal of China Agricultural University, 2016, 21(11): 43-50.
[ 8 ] 賈偉寬, 趙德安, 劉曉洋, 等. 機器人采摘蘋果果實的K-means和GA-RBF-LMS神經網絡識別[J]. 農業工程學報, 2015, 31(18): 175-183.
Jia Weikuan, Zhao De'an, Liu Xiaoyang, et al. Apple recognition based on K-means and GA-RBF-LMS neural network applicated in harvesting robot [J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(18): 175-183.
[ 9 ] 王津京, 趙德安, 姬偉, 等. 采摘機器人基于支持向量機蘋果識別方法[J]. 農業機械學報, 2009, 40(1): 148-151, 147.
Wang Jinjing, Zhao De'an, Ji Wei, et al. Apple fruit recognition based on support vector machine using in harvesting robot [J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(1): 148-151, 147.
[10] 馬本學, 賈艷婷, 梅衛江, 等. 不同自然場景下葡萄果實識別方法研究[J]. 現代食品科技, 2015, 31(9): 145-149.
[11] 崔永杰, 蘇帥, 王霞霞, 等. 基于機器視覺的自然環境中獼猴桃識別與特征提取[J]. 農業機械學報, 2013, 44(5): 247-252.
Cui Yongjie, Su Shuai, Wang Xiaxia, et al. Recognition and feature extraction of kiwifruit in natural environment based on machine vision [J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(5): 247-252.
[12] 熊俊濤, 鄭鎮輝, 梁嘉恩, 等. 基于改進YOLOv3網絡的夜間環境柑橘識別方法[J]. 農業機械學報, 2020, 51(4): 199-206.
Xiong Juntao, Zheng Zhenhui, Liang Jiaen, et al. Citrus detection method in night environment based on improved YOLOv3 network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 199-206.
[13] Girshick R. Fast R-CNN [C] .Proceedings of the IEEE International Conference on Computer Vision. 2015: 1440-1448.
[14] Redmon J, Divvala S, Girshick R, et al. You only look once:Unified, real?time object detection [C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 779-788.
[15] Tian Y, Yang G, Wang Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model [J]. Computers and Electronics in Agriculture, 2019, 157: 417-426.
[16] Li R, Wu Y. Improved YOLOv5 wheat ear detection algorithm based on attention mechanism [J]. Electronics, 2022, 11(11): 1673.
[17] 王卓, 王健, 王梟雄, 等. 基于改進YOLOv4的自然環境蘋果輕量級識別方法[J]. 農業機械學報, 2022, 53(8): 294-302.
Wang Zhuo, Wang Jian, Wang Xiaoxiong, et al. Lightweight real?time apple detection method based on improved YOLOv4 [J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(8): 294-302.
[18] Fu L, Feng Y, Wu J, et al. Fast and accurate detection of kiwifruit in orchard using improved YOLOv3-tiny model [J]. Precision Agriculture, 2021, 22(3): 754-776.
[19] 劉磊, 劉恩林, 王春森, 等. 一種全動可避障蜜桃采摘機的設計[J].農機使用與維修, 2017(10): 18-19.
[20] Bochkovskiy A, Wang C Y, Liao H Y M. YOLOv4: Optimal speed and accuracy of object detection [J]. arxiv preprint arxiv: 2004.10934, 2020.
[21] Syazwany N S, Nam J H, Lee S C. MM-BiFPN: Multi?modality fusion network with Bi-FPN for MRI brain tumor segmentation [J]. IEEE Access, 2021, 9: 160708-160720.
[22] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module [C]. Proceedings of the European Conference on Computer Vision (ECCV), 2018: 3-19.
[23] Zhang Y, Kong J, Qi M, et al. Object detection based on multiple information fusion net [J]. Applied Sciences, 2020, 10(1): 418.
[24] Liu S, Qi L, Qin H, et al. Path aggregation network for instance segmentation [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 8759-8768.
[25] Lin T, Dollar P, Girshick R, et al. Feature pyramid networks for object detection [C]. IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, Hawaii, USA, 2017: 936-944.
[26] Molchanov P, Tyree S, Karras T, et al. Pruning convolutional neural networks for resource efficient inference [J]. arxiv preprint arxiv: 1611. 06440, 2016.
[27] 張兆國, 張振東, 李加念, 等. 采用改進YoloV4模型檢測復雜環境下馬鈴薯[J]. 農業工程學報, 2021, 37(22): 170-178.
Zhang Zhaoguo, Zhang Zhendong, Li Jianian, et al. Potato detection in complex environment based on improved YoloV4 model [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(22): 170-178.