





















摘要:
為解決傳統農業生產方式中人工巡檢成本高、勞動強度大、速度慢等問題,設計一種圣女果溫室巡檢機器人系統,融合自動控制技術、機器視覺技術和深度學習技術,實現對圣女果的準確識別和計數。通過機器視覺提取工作路徑和紅外傳感器避障實現機器人自動導航功能;并提出一種改進型YOLOv4-tiny模型對圣女果進行檢測,該模型在YOLOv4-tiny的基礎上增加52×52的特征層和注意力機制,提高小目標檢測的識別精度。試驗結果表明,該巡檢機器人以0.2m/s的速度行進時可以準確沿著預定路徑工作,改進的YOLOv4-tiny-Tomato模型在溫室環境中對成熟和未成熟圣女果的平均識別精度分別為98.7%和98.0%,F1值分別達到96.71%和95.8%,實時幀率達到36幀/s。本研究可為農業領域的智能化巡檢和精細管理提供新的思路和技術支持。
關鍵詞:
溫室大棚;巡檢機器人;自動導航;深度學習;目標檢測;YOLOv4-tiny
中圖分類號:
S24: TP391
文獻標識碼:A
Design and experiment of inspection robot system in cherry tomato greenhouse
Abstract:
In order to solve the problems of high cost, high labor intensity and slow speed of manual inspection in traditional agricultural production mode, a cherry tomatoes greenhouse inspection robot system was designed, which integrated automatic control technology, machine vision technology and deep learning technology to achieve accurate identification and counting of cherry tomatoes. The robots automatic navigation function is realized by extracting the working path through machine vision and avoiding the obstacle by infrared sensor. An improved YOLOv4-tiny model was proposed to detect cherry tomatoes. The model added 52×52 feature layer and attention mechanism on the basis of YOLOv4-tiny to improve the recognition accuracy of small target detection. The test results show that the inspection robot can accurately work along the predetermined path when traveling at a speed of 0.2m/s. The average recognition accuracy of the improved YOLOv4-tiny-Tomato model for mature and immature cherry tomatoes in the greenhouse environment is 98.7% and 98.0%, and the F1 value reaches 96.71% and 95.8%, respectively. The real-time frame rate reaches 36 frames/s. This research can provide new ideas and technical support for intelligent inspection and fine management in agricultural field.
Keywords:
greenhouse; inspection robot; automatic navigation; deep learning; object detection; YOLOv4-tiny
0 引言
農業是國民經濟的基礎產業之一[1],圣女果作為一種主要的農產品,在農業中具有極為重要的作用[2]。由于圣女果生長迅速,生育期相對較短,植株較為緊湊,果實小且密集分布,單株產量較高,農民需要時刻關注采摘時機,以確保果實的甜度和質量。傳統的生產方式中,果實采摘時機的判斷是農民或專家通過現場人工檢查完成的,這種方法成本高、勞動強度大、速度慢。
巡檢機器人作為一種智能化技術,在各個行業的應用取得顯著成果。目前,市面上的巡檢機器人分為地面無人車和無人機兩類。無人機巡檢機器人在農業領域主要用于低高空遙感監測作業[3],采集到的數據無法顯示出單一株農作物的完整外表信息,且目前的無人機技術尚無法做到靠近樣本表面進行巡檢。早期的地面巡檢機器人大部分應用于電力巡檢[4]。近年來,陸續有學者研發用于農業的巡檢機器人,然而所采用的模糊控制算法需要大量的經驗去調整算法的性能,不適合大規模推廣應用。楊劍超等[5]采用無線射頻識別技術開發一種農業巡檢系統,穩定性較好,但需要安裝較多傳感器進行定位,大大增加了成本。張世昂等[6]提出了一種農業智能巡檢小車,用于采集環境的溫濕度和作物圖像,對小車的軌跡跟蹤采用跟蹤預鋪設的黑色路徑。該方法成本低、速度快,但是對紅外傳感器要求高、穩定性差。因此,需要研究一種性能高、速度快和成本低的溫室巡檢機器人。
溫室環境下番茄果實的傳統識別方法是基于顏色和形狀特征進行信息提取分析[79]。然而,番茄植株存在生長姿態差異、葉片遮擋等問題,導致果實的形狀特征難以完整提取。此外,在檢測未成熟的綠色番茄時,由于樹葉顏色的干擾,無法準確檢測目標。使用傳統方法難以有效提取番茄果實的特征。
隨著深度學習技術的不斷發展,使研發針對農業復雜環境的檢測方法成為可能[10]。李小敏等[11]提出一種基于深度學習的果園落果識別方法,對柑橘、蘋果等三種常見水果具有良好識別效果,然而該方法檢測速度較慢,沒有考慮復雜環境下的識別效果。傅隆生等[12]提出基于LeNet的田間獼猴桃識別方法,該方法有較高的準確率,但對遮擋、重疊果實的識別率較低。趙德安等[13]采用YOLOv3來識別蘋果,精度高且速度快。劉芳等[14]構建了一種改進型YOLO的復雜環境下番茄果實快速識別方法,對番茄果實檢測的精度、速度等性能良好。蘇斐等[15]采用Mobilenet-v1改進YOLOv3算法,用于識別綠熟期的番茄果實,結果表明該算法的平均精度均值達到98.28%。然而以上方法對密集的小目標識別效果一般。張伏等[16]用MobileNet-v3作為主干網絡構建YOLOv4-LITE檢測算法,雖然該方法對圣女果識別的平均精度達到99.74%,但未考慮到綠熟期圣女果的識別問題,只能識別成熟番茄。
基于此,本文設計了一種面向圣女果溫室大棚的智能巡檢機器人,該機器人以Jetson Xavier NX開發板為核心,采用攝像頭、紅外傳感器和卷積神經網絡等技術設計實現機器人的功能,包括攝像頭循跡融合紅外避障、圣女果成熟狀態識別。為解決溫室環境下圣女果種植密度高、果實小、遮擋嚴重導致的識別精度低、速度慢的問題,構建改進型YOLOv4-tiny輕量化神經網絡,引入針對小目標檢測的特征層和注意力機制。巡檢機器人的識別結果通過無線網絡技術傳至云端,后臺人員根據現場反饋的信息,確定采摘時機,優化采摘順序,以保證果實的品質和延長產量的持續性。
1 機器人系統總體設計方案
1.1 系統總體組成
溫室大棚巡檢機器人是一個融合環境檢測、動態執行決策、智能驅動等功能于一體的綜合協調系統,在本設計中主要由驅動系統、導航避障系統、視覺系統組成。總體框架如圖1所示,多個子系統之間的相互協調,完成巡檢、圣女果識別及數據上傳。
其中,導航系統的RGB相機將采集到的航線信息通過USB接口傳輸到Jetson Xavier NX開發板進行實時的路徑提取,實現導航控制,同時紅外傳感器通過I/O接口與Jetson Xavier NX開發板通信,實現避障功能;Jetson Xavier NX通過I2C接口與PCA9685模塊連接產生脈沖輸出,隨后兩個TB612FNC模塊分別使用6路脈沖控制兩個電機,實現車體運動;視覺識別系統采用RGB相機完成圣女果圖像的采集,在Jetson開發板中運行基于卷積神經網絡的目標識別算法,實現圣女果的成熟狀態檢測,最終通過Wi-Fi局域網的方式將結果傳輸至云端用于進一步分析。整個機器人系統采用12V鋰電池供電。
1.2 驅動系統設計
在溫室巡檢機器人的底盤中,采用四個麥克納姆輪作為驅動輪,通過對每個車輪不同旋轉方向的組合,實現機器人水平面上的全方位移動。這使機器人更加靈活,可以輕松適應溫室大棚內過道狹窄、道路縱橫多、需要頻繁轉向的特點。每個直流電機的旋轉方向和速度需要通過3個I/O接口來控制。為實現同時控制多路電機,通過I2C(Inter-Integrated Circuit)接口為Jetson Xavier NX擴展一個PCA9685模塊,產生16路PWM脈沖來控制電機,減少硬件和軟件的設計復雜度;然后采用2個TB6612FNG模塊作為驅動器,每個TB6612FNG模塊可通過6路PWM脈沖獨立控制兩個直流電機的旋轉方向和速度。驅動系統的工作流程如圖2所示。
1.3 導航避障系統設計
導航避障系統利用機器視覺、圖像處理等技術和紅外傳感器,實現路徑提取、自動導航和自動避障。該系統在執行圖像接收和處理的同時還要執行避障功能,因此需要建立兩個線程。一個線程控制主程序,首先開啟攝像頭讀取圖片,然后對圖片進行灰度圖轉換、高斯濾波處理、二值化處理、腐蝕處理和膨脹處理,最后計算路徑中心,獲得機器人行進方向,從而實現引導線循跡功能。另一個線程控制紅外傳感器模塊,實時檢測相對應的I/O接口,當電平拉低時,改變直流電機旋轉方向,實現避障。
1.3.1 循跡功能設計
系統通過攝像頭和軟件實現圖像獲取,采用Python和OpenCV機器視覺庫進行圖像處理。由于攝像頭在機器人移動過程中可能會出現抖動等問題,需要對圖像進行預處理以減少噪聲和干擾的影響,同時增強引導線的特征信息以保證自動導航的順利進行。預處理過程包括灰度轉換、二值化處理及濾波等操作。
長期使用的引導線會發生損壞或者變臟等情況,導致圖像經過二值化處理后,目標體出現毛刺等現象,對巡檢機器人在采集引導線信息的過程中產生異常影響。為解決上述問題,采用形態學處理來恢復引導線的原始形狀和特征。形態學處理是一種基于形狀的圖像處理方法[17],可以對圖像進行腐蝕、膨脹、開閉運算等。式(1)、式(2)分別為腐蝕運算和膨脹運算。
式中:
A——輸入圖像;
B——卷積核;
x——圖像A中像素的水平坐標;
y——圖像A中像素的垂直坐標。
根據引導線的實際使用情況,采用開運算對其進行處理,先開展多次腐蝕運算,再進行同樣次數的膨脹運算,可以在不改變引導線原本形狀的同時有效去除毛刺。處理結果如圖3所示。
圖像經過二值化處理、腐蝕和膨脹處理后,通過輪廓識別算法對圖像輪廓進行提取,取得引導線的邊緣特征。本文采用Sobel算子進行邊緣線檢測,它是一種離散性差分算子,Sobel算子在圖像的任何一點使用,都會產生與其對應的灰度矢量,原理是對像素點f=(x,y)在x軸和y軸上進行卷積運算,并且根據卷積結果得到梯度。
最終運用最小二乘法求取引導線輪廓中心,并比較輪廓中心與圖像中心的偏離。若輪廓中心向左偏離圖像中心,則驅動巡檢機器人向左移動;若輪廓中心向右偏離圖像中心,則驅動巡檢機器人向右移動;若輪廓中心與圖像中心沒有偏離,則巡檢機器人直行。
1.3.2 紅外避障功能設計
圖4為循跡避障的邏輯關系圖。避障功能通過紅外測距傳感器實現,紅外發射器發射紅外光,若紅外接收器接收到反射光線,則表示前方存在障礙物。傳感器模塊連接到Jetson的I/O接口,當檢測到障礙物時,傳感器產生低電平信號,使Jetson控制直流電機旋轉以避開障礙物。
2 圣女果快速檢測方法構建
2.1 數據集采集和制作
為了還原實際作業環境,本文使用的數據集采集于廣州市白云區的圣女果溫室基地,拍攝時間為2023年5月17日下午和2023年5月21日上午。采用像素為1200萬的數碼相機,以不同拍攝角度、距離、光照、遮擋等復雜情況采集圣女果圖像共計1779張,如圖5所示。為了保證數據集的可用性,進行數據篩選,最終保留1680張成像清晰的照片。
本文依照GH/T 1193—2021國家標準對圣女果成熟度進行劃分,將圣女果分為成熟(ripe)和未成熟(unripe)兩類,并使用LabelImg圖像標注軟件對圣女果進行人工標記。其中,未成熟類包含未熟期、綠熟期、變色期、紅熟前期的圣女果,成熟類包含紅熟中期和紅熟后期的圣女果。
為提高數據集的豐富程度,采用亮度調整、飽和度調整、對比度調整等圖像處理方法擴建數據集,模擬實際工作環境中的光線變化。采用旋轉圖像方法,模擬機器人由于路面不平或方向偏離而造成的圖像視角變化。圖6為經過調整的部分數據樣本,最終構建圣女果數據集圖像共3000張,按照8∶1∶1比例,將數據集隨機劃分為訓練集、驗證集、測試集。即訓練集圖像2400張,驗證集圖像300張,測試集圖像300張。
2.2 改進型YOLOv4-tiny模型
隨著深度學習模型和計算設備性能的迅速發展,基于深度學習的目標識別算法在實際應用中變得可行[18]。由于其高準確性和穩定性等優點,YOLOv4成為廣泛采用的目標識別算法之一。然而,YOLOv4模型具有大量的參數,需要更多的計算資源來執行模型的推理過程,對設備的性能要求較高。YOLOv4-tiny是YOLOv4的輕量化版本,通過犧牲模型的部分精度,極大地壓縮了網絡結構,從而提高了運行速度。在本文中,由于嵌入式設備計算性能的限制,采用YOLOv4-tiny作為機器人的圣女果檢測的基準模型,如圖7所示。
在圣女果識別試驗中發現,YOLOv4-tiny模型容易受到復雜環境的干擾,存在漏檢的情況。為了解決模型在復雜環境下進行小目標識別時精度不足的問題,修改了加強特征提取網絡和輸出網絡,并引入了注意力機制,最終將改進的模型命名為YOLOv4-tiny-Tomato。
2.2.1 YOLOv4-tiny基本模型
YOLOv4-tiny[19]基于YOLOV4,采用新的網絡結構和訓練技巧,主要改進如下。
1) 主干網絡使用CSPDarknet53-tiny替代CSPDarknet53,模型結構中只使用13×13和26×26尺度的特征層。CSPDarknet53-tiny由CBL(Convolution, Batch Normalization, Leaky-ReLU)和CSPresblock_body(Cross Stage Partial resblock body)組成。其中,CBL模塊由卷積層、歸一化處理、激活函數組成。通常,CSPresblock_body結構經過多個ResBottleneck(residual structures Bottleneck)的堆疊組合而成。然而,在CSPDarknet53-tiny模型中,為了限制模型大小和參數數量,CSPresblock_body結構只經過一次殘差結構的堆疊,其結構如圖8所示。
2) YOLOv4-tiny在特征融合部分使用特征金字塔網絡(Feature Pyramid Networks,FPN)來提取和融合不同尺度的特征圖,從而最小化上采樣和下采樣的次數,提高模型的檢測速度。
3) 將損失函數交并比(Intersection over Union, IOU)替換為完全交并比(Complete-IOU,CIOU),使損失函數在尺度、距離和預測框與真實框之間差異的計算更加穩定。計算如式(4)~式(7)所示。
式中:
c——可以同時包含預測框和真實框的最小閉包區域的對角線距離;
α——平衡參數;
w、h——框的寬度和長度;
ρ2(b,bt)——預測框b與真實框bt的中心點之間歐式距離。
2.2.2 卷積注意力模塊
由于YOLOv4-tiny對小物體的檢測存在缺陷,本文引入卷積注意力模塊(Convolutional Block Attention Module,CBAM),使網絡聚焦感興趣區域,去除特征圖通道和空間的特征冗余,提高小物體的檢測精度。注意力機制是一種模仿人腦的信號處理機制,用于增強卷積神經網絡的表示能力和特征選擇能力[20]。如圖9所示,CBAM注意力模塊由兩個子模塊組成:通道注意力模塊(Channel Attention Module)和空間注意力模塊(Spatial Attention Module)。
通道注意力模塊用于學習不同通道之間的相關性和重要性,自適應地調整特征圖的通道權重。它通過對每個通道的特征圖進行全局平均池化,然后通過全連接層和激活函數得到通道權重。通道注意力模塊Mc的計算過程用式(8)表示。
Mc=σ[favg(X)·W1+fmax(X)·W2](8)
式中:
X——輸入的特征圖;
favg——平均池化操作;
fmax——全局最大池化操作;
W1、W2——可學習的權重參數;
σ——激活函數。
空間注意力模塊則用于學習特征圖不同空間位置的相關性和重要性,自適應地調整特征圖的空間權重。它通過對輸入特征圖在不同空間維度上進行一維卷積操作,得到空間權重。空間注意力模塊Ms的計算過程用式(9)表示。
Ms=σ[favg(X)·W3+fmax(X)·W4](9)
式中:
W3、W4——可學習的權重參數。
通過將通道注意力模塊和空間注意力模塊的輸出相乘,得到融合通道和空間注意力的特征圖Y。
Y=X·Mc·Ms(10)
2.3 模型訓練
在本試驗中,模型采用的平臺參數如表1所示。為加快模型訓練效率,減少迭代次數,采用遷移學習的方式展開訓練,預訓練權重采用VOC數據集權重。在遷移學習的凍結訓練階段,采用的訓練參數為batch_size=16,epoch=600;在解凍訓練階段,batch_size=8,epoch=1400;初始學習率為0.001,并在訓練過程中利用余弦衰減法進行學習率微調。訓練過程中訓練損失值(loss)是判斷網絡模型是否收斂的首要參數,隨著訓練次數的增加,模型的訓練損失(Train loss)和驗證損失(Validation loss)逐步減小并趨于平緩。經過11h的訓練,最終輸出一個大小為28.6MB的模型權重。
YOLOv4-tiny只保留了26×26和13×13的預測層,對淺層特征信息缺乏關注,在進行小目標檢測時出現漏檢的概率較大。為保持輕量化模型的檢測速度,同時提高模型的檢測精度,在YOLOv4-tiny的基礎上,在主干網絡中添加了CBAM注意力機制提高對重要特征的關注度,以及在加強特征提取網絡和輸出網絡中添加52×52的淺層特征層以提高對小目標的敏感度,改進后的YOLOv4-tiny-Tomato模型如圖10所示。
3 試驗與結果
3.1 導航及避障功能測試
在循跡過程中,機器人以0.2m/s的速度前進,分別對6cm和12cm寬的引導線進行十次測試,試驗結果表明引導線的寬度對溫室大棚巡檢機器人的行駛有一定影響。采用6cm寬的引導線測試時,溫室大棚巡檢機器人雖然能識別引導線并循跡行駛,但是行駛過程中會左右擺動;采用12cm寬的引導線時,機器人可以穩定運行。
為了測試溫室大棚機器人在巡檢時遇到的異常障礙物的工作情況,在溫室中進行6次測試,障礙物的位置分為以下情況:(1)障礙物在引導線左側0.4m處,(2)障礙物在引導線左側0.3m處,(3)障礙物在引導線左側0.1m處,(4)障礙物在引導線上,(5)障礙物在引導線右側0.1m處,(6)障礙物在引導線右側0.3m處,(7)障礙物在引導線右側0.4m處,場景布置和工作路線如圖11所示。
試驗結果如表2所示,障礙物在引導線左右兩側0.3m處、障礙物在引導線左右兩側0.1m處、障礙物在引導線上的5種情況下,障礙物被紅外避障系統檢測到,成功進行避障處理,隨后繼續沿著引導線前進。而障礙物在引導線左右兩側0.4m處的情況下,巡檢機器人沒有檢測到障礙物,通過觀察分析得知溫室大棚巡檢機器人在這兩種情況下可以正常通過,障礙物不對其構成阻礙。
3.2 圣女果檢測功能測試
3.2.1 性能評價指標
為了對模型的識別性能進行準確評估,采用精確率(Precision,P),召回率(Recall,R),綜合評價指標(F1)作為性能評價指標。各指標表達式如式(11)~式(13)所示。
式中:
TP——被正確檢測出成熟狀態的圣女果數量;
FP——分類錯誤的圣女果數量,即把成熟圣女果檢測為未成熟,或將未成熟圣女果檢測為成熟;
FN——漏檢的圣女果數量。
此外,為了驗證該模型的推理速度是否滿足實際需求,采用實時幀率作為檢測速度的評價指標,單位為幀/s,模型推理速度越快,則幀率越高。
3.2.2 YOLOv4-tiny-Tomato性能測試
為驗證YOLOv4-tiny-Tomato在本試驗中的優越性,采用多種具有代表性的目標識別模型作為對比,如YOLOv4、Centernet、Faster R-CNN,以上模型均使用同一數據集、訓練平臺和測試平臺。將訓練好的模型部署在搭載GeForce 1050Ti顯卡的筆記本電腦中進行測試,各網絡模型的評價指標如表3所示。
從表3可知, YOLOv4模型對成熟和未成熟圣女果的檢測效果均為最佳,其召回率和精確率分別達到97%和99%以上,Faster R-CNN最差,召回率和精確率均在87%以下。由于添加了52×52特征層和CBAM注意力機制,經過改進的YOLOv4-tiny-Tomato模型相比于YOLOv4-tiny,對小尺度目標更加敏感,其召回率和精確率均有大幅提升,對成熟圣女果檢測的召回率和精確率分別提升15.3%和7.2%,對未成熟圣女果檢測的召回率和精確率分別提升16.4%和9.8%。雖然Centernet對成熟和未成熟圣女果檢測的精確度比YOLOv4-tiny-Tomato高,但是召回率比YOLOv4-tiny-Tomato分別低1.9%和3.5%,漏檢測的概率更大。根據F1得分情況,YOLOv4的綜合性能在所有模型里面位列第一,YOLOv4-tiny-Tomato次之,Centernet第三,最后是YOLOv4-tiny和Faster R-CNN。由于YOLOv4和Centernet是大容量模型,在試驗中測得的幀率分別僅有7幀/s和10幀/s,執行任務時對設備性能要求較高,不適合部署于嵌入式設備中。而YOLOv4-tiny-Tomato作為YOLOv4-tiny的改進模型,盡管參數量有所增加,幀率仍能達到64幀/s。綜上所述,YOLOv4-tiny-Tomato模型是本試驗的最優選。
3.2.3 不同果實數量的檢測結果對比
試驗以果實數量為因素,測試了100張圣女果圖像。其中,含1~10個圣女果的圖像67張,含10個以上圣女果的圖像33張。為了使結果更加直觀,使用“ripe”標簽標記成熟圣女果,“unripe”標簽標記未成熟圣女果,結果如圖12所示。YOLOv4-tiny-Tomato、YOLOv4和Centernet三種模型在圣女果數量較少和較多的情況下,都能準確地識別圣女果并且沒有漏檢。由于果實之間存在互相重疊遮擋,Faster R-CNN對超過10個果實的單簇圣女果存在少數漏檢測現象。YOLOv4-tiny在兩種情況下都存在較多的漏檢測數量。
3.2.4 不同環境下的檢測結果對比
為測試模型對復雜環境的適應性,采用環境較暗、有枝葉遮擋和距離較遠三種情況下的圣女果圖像進行測試,結果如圖13所示。
YOLOv4-tiny-Tomato在亮度不足的環境下可以準確檢測所有圣女果并計數;當果實被枝葉遮擋的面積較小時,對檢測結果沒有影響;當果實被大面積遮擋時,對該果實存在漏檢測現象;對于距離較遠的圣女果,由于在畫面中占據像素較少,特征不明顯,故有1~3個圣女果被漏檢測。YOLOv4對不同工作環境的均有良好的適應性,僅在圣女果距離較遠且被嚴重遮擋的情況下出現漏檢現象。Centernet和Faster R-CNN在三種工作環境下均有部分漏檢和誤檢現象。
3.3 模型部署
采用YOLOv4-tiny-Tomato為圣女果溫室巡檢機器人的目標檢測模型,將訓練好的模型部署在巡檢機器人的Jetson Xavier NX嵌入式設備后,在圣女果種植溫室中進行測試。記錄模型執行任務時的平均檢測時間、幀率和畫面延遲,如表4所示。由表4可知,YOLOv4-tiny-Tomato在嵌入式設備中的執行時間相比筆記本電腦增加了大約50%,幀率下降了一半,分別為25ms和36幀/s。然而,通過觀測實時畫面,計算得到YOLOv4-tiny-Tomato在嵌入式設備運行時畫面延遲約為40ms,即使巡檢機器人以較高的速度前進,也能保持檢測結果的實時性,不會出現跳幀現象。
4 結論
1) 針對溫室大棚人工巡檢勞動強度大、智能化低等問題,融合了自動控制技術、機器視覺技術和深度學習技術,設計了一款針對樹上圣女果檢測的溫室巡檢機器人,實現對成熟和未成熟圣女果果實的分類及計數。
2) 通過現場測試,該巡檢機器人以0.2m/s的速度行進時,對12cm寬的引導線具有良好的識別效果,對于機器人0.4m范圍內的障礙物可以準確感知,最終實現路徑識別并自動導航和避障。
3) 本文提出了一種改進的YOLOv4-tiny目標檢測模型(YOLOv4-tiny-Tomato),用于對不同成熟度圣女果果實的識別與檢測。在原模型基礎上增加52×52的特征層和注意力機制,改進后的模型大小僅為28.6MB,利于嵌入式設備部署。
4) 根據不同自然環境的場景,制作多種圣女果圖像數據集,用于目標檢測模型的訓練和測試,并將改進前后的YOLOv4-tiny模型與 YOLOv4、Centernet、Faster R-CNN進行對比。結果表明,改進后的目標檢測網絡(YOLOv4-tiny-Tomato)對兩種成熟狀態的圣女果的F1值分別達到96.71%和95.8%,在Jetson Xavier NX嵌入式設備中的識別速率為36幀/s。相對于其他模型,YOLOv4-tiny-Tomato具備高精度的同時,檢測效率也得到保障,實現了識別精度和檢測效率之間的平衡。
參 考 文 獻
[1] 呂亞榮, 周誠. 論農業是國民經濟的基礎[J]. 學理論, 2009(17): 64-67.
[2] 本刊綜合報道. 小小圣女果 紅火振興路[J]. 農村新技術, 2022(4): 60-61.
[3] 王柯, 付怡然, 彭向陽, 等. 無人機低空遙感技術進展及典型行業應用綜述[J]. 測繪通報, 2017(S1): 79-83.
Wang Ke, Fu Yiran, Peng Xiangyang, et al. Overview of UAV low altitude remote sensing technology and application in typical industries [J]. Bulletin of Surveying and Mapping, 2017(S1): 79-83.
[4] 黃山, 吳振升, 任志剛, 等. 電力智能巡檢機器人研究綜述[J]. 電測與儀表, 2020, 57(2): 26-38.
Huang Shan, Wu Zhensheng, Ren Zhigang, et al. Review of electric power intelligent inspection robot [J]. Electrical Measurement and Instrumentation, 2020, 57(2): 26-38.
[5] 楊劍超, 姜學玲, 王德濤, 等. 農業物聯網巡檢系統在設施溫棚的應用與效益分析[J]. 農業工程技術, 2017, 37(24): 55-57.
[6] 張世昂, 付根平. 農業智能巡檢小車的設計[J]. 中國農機化學報, 2018, 39(4): 82-89.
Zhang Shiang, Fu Genping. Design of intelligent routing inspection car for agriculture [J]. Journal of Chinese Agricultural Mechanization, 2018, 39(4): 82-89.
[7] 趙杰文, 劉木華, 楊國彬. 基于HIS顏色特征的田間成熟番茄識別技術[J]. 農業機械學報, 2004(5): 122-124.
Zhao Jiewen, Liu Muhua, Yang Guobin. Discrimination of mature tomato based on HIS color space in natural outdoor scenes [J]. Transactions of the Chinese Society for Agricultural Machinery, 2004(5): 122-124.
[8] 蔣煥煜, 彭永石, 申川, 等. 基于雙目立體視覺技術的成熟番茄識別與定位[J]. 農業工程學報, 2008(8): 279-283.
Jiang Huanyu, Peng Yongshi, Shen Chuan, et al. Recognizing and locating ripe tomatoes based on binocular stereovision technology [J]. Transactions of the Chinese Society of Agricultural Engineering, 2008(8): 279-283.
[9] 陶彥輝, 尹君馳, 方菲. 基于RGB顏色模型的番茄識別系統設計[J]. 機械研究與應用, 2015, 28(1): 159-160.
Tao Yanhui, Yin Junchi, Fang Fei. Design of tomato identification system based on RGB color model [J]. Mechanical Research amp; Application, 2015, 28(1): 159-160.
[10] 周惠汝, 吳波明. 深度學習在作物病害圖像識別方面應用的研究進展[J]. 中國農業科技導報, 2021, 23(5): 61-68.
Zhou Huiru, Wu Boming. Advances in research on deep learning for crop disease lmage recognition [J]. Journal of Agricultural Science and Technology, 2021, 23(5): 61-68.
[11] 李小敏, 張日紅, 陳天賜, 等. 基于深度學習的林下落果識別方法與試驗[J]. 中國農機化學報, 2021, 42(9): 202-208.
Li Xiaomin, Zhang Rihong, Chen Tianci, et al. Identification method and experiment of fallen fruit based on deep learning [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(9): 202-208.
[12] 傅隆生, 馮亞利, Tola Elkamil, 等. 基于卷積神經網絡的田間多簇獼猴桃圖像識別方法[J]. 農業工程學報, 2018, 34(2): 205-211.
Fu Longsheng, Feng Yali, Tola Elkamil, et al. lmage recognition method of multi-cluster kiwifruit in field based on convolutional neural networks [J]. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(2): 205-211.
[13] 趙德安, 吳任迪, 劉曉洋, 等. 基于YOLO深度卷積神經網絡的復雜背景下機器人采摘蘋果定位[J]. 農業工程學報, 2019, 35(3): 164-173.
Zhao Dean, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background [J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(3): 164-173.
[14] 劉芳, 劉玉坤, 林森, 等. 基于改進型YOLO的復雜環境下番茄果實快速識別方法[J]. 農業機械學報, 2020, 51(6): 229-237.
Liu Fang, Liu Yukun, Lin Sen, et al. Fast recognition method for tomatoes under complex environments based on improved YOLO [J]. Transactions of the Chinese Society of Agricultural Machinery, 2020, 51(6): 229-237.
[15] 蘇斐, 張澤旭, 趙妍平, 等. 基于輕量化YOLO-v3的綠熟期番茄檢測方法[J]. 中國農機化學報, 2022, 43(3): 132-137.
Su Fei, Zhang Zexu, Zhao Yanping, et al. Detection of mature green tomato based on lightweight YOLO-v3 [J].Journal of Chinese Agricultural Mechanization, 2022, 43(3): 132-137.
[16] 張伏, 陳自均, 鮑若飛, 等. 基于改進型YOLOv4-LITE輕量級神經網絡的密集圣女果識別[J]. 農業工程學報, 2021, 37(16): 270-278.
Zhang Fu, Chen Zijun, Bao Ruofei, et al. Recognition of dense cherry tomatoes based on improved YOLOv4-LITE lightweight neural network [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(16): 270-278.
[17] 王樹文, 閆成新, 張天序, 等. 數學形態學在圖像處理中的應用[J]. 計算機工程與應用, 2004(32): 89-92.
Wang Shuwen, Yan Chengxin, Zhang Tianxu, et al. Application of mathematical morphology in image processing [J]. Computer Engineering and Applications, 2004(32): 89-92.
[18] 周曉彥, 王珂, 李凌燕. 基于深度學習的目標檢測算法綜述[J]. 電子測量技術, 2017, 40(11): 89-93.
Zhou Xiaoyan, Wang Ke, Li Lingyan. Review of object detection based on deep learning [J]. Electronic Measurement Technology, 2017, 40(11): 89-93.
[19] Li Xu, Pan Jiandong, Xie Fangping, et al. Fast and accurate green pepper detection in complex backgrounds via an improved Yolov4-tiny model [J]. Computers and Electronics in Agriculture, 2021,191: 106503.
[20] Guo Menghao, Xu Tianxing, Liu Jiangjiang, et al. Attention mechanisms in computer vision: A survey [J]. Computational Visual Media, 2022, 8(3): 331-368.