摘要:農業是國民經濟的一個重要產業,推進農業農村現代化建設是社會主義現代化建設的重大任務。隨著智慧農業的發展,深度學習技術在農業圖像數據分析中的應用越來越廣泛。深度學習技術在農業圖像處理方面的應用,有效地降低生產成本,提高農業生產效率,加快農業現代化的發展進程。系統介紹了目標檢測、圖像識別和圖像分割3種常見的深度學習技術在農業圖像處理中的應用現狀,希望能為后續研究者提供幫助。
關鍵詞:深度學習農業圖像處理目標檢測圖像分類圖像分割
中圖分類號:TP391
ReviewofResearchonAgriculturalImageProcessingBasedonDeepLearningTechnology
WANGWanwan
CollegeofComputerandInformationEngineering,HenanNormalUniversity,Xinxiang,He’nanProvince,453007China
Abstract:Agricultureisanimportantindustryinthenationaleconomy,andpromotingthemodernizationofagricultureandruralareasisamajortaskofsocialistmodernization.Withthedevelopmentofsmartagriculture,DeepLearningtechnologyismoreandmorewidelyappliedinagriculturalimagedataanalysis.TheapplicationofDeepLearningtechnologyinagriculturalimageprocessinghaseffectivelyreduced?;productioncosts,improvedagriculturalproductionefficiency,andacceleratedthedevelopmentprocessofagriculturalmodernization.ThearticlesystematicallyintroducesthecurrentapplicationstatusofthreecommonDeepLearningtechnologies,includingobjectdetection,imagerecognition,andimagesegmentation,inagriculturalimageprocessing.Itishopedtoprovideassistanceforfutureresearchers.
KeyWords:DeepLearning;Agriculturalimageprocessing;Objectdetection;Imagesegmentation;Imagesegmentation
隨著物聯網與人工智能技術的發展,我國已經進入了智慧農業時代。智慧農業的發展使得農業物聯網和智能農機裝備越來越先進,農業圖像數量急劇增加。如何從大量的圖像數據中提取出有用的信息,為農業生產提供技術支持,成為迫切需要解決的問題。近年來,深度學習技術在數字圖像處理領域取得了令人矚目的進步。深度學習不需要過多的數據預處理操作,就可以自主學習數據的特征,并且其具有特征表達能力優、魯棒性高和泛化性強的特點,因此逐漸被應用到農業圖像數據分析的研究中。
1基于深度學習的農業目標檢測
目標檢測主要是在圖像中找到所關注目標對象,用矩形框將目標錨定,對目標進行分類并且標記目標的位置。目標檢測在目標跟蹤和農業智能化領域有著重要的應用。
目前基于深度學習的目標檢測方法主要分為兩大類:第一類是以FasterR-CNN算法為代表的雙階段(two-stage)目標檢測算法,該類算法首先需要找出含有目標對象的候選區域,然后通過對候選區域分類和回歸操作進而得到目標檢測結果。該類算法的檢測精度較高,但是實時性較差。李佳俊等人[1]使用ResNet50替代傳統FasterR-CNN模型的主干特征提取網絡,在草莓果實識別任務中表現出了較好的檢測性能與技術能力。李翠明等人[2]提出改進的FasterR-CNN模型,該模型使用ResNet50作為特征提取網絡,并在每一層的卷積后引入高效通道注意力機制進行通道特征加強,最后將不同尺度特征輸入征金字塔實現多尺度融合。該算法提高了果實采摘機器人在自然環境下果實分布密集、枝葉遮擋等情況下對可抓取蘋果的精度。
第二類是基于回歸的單階段(one-stage)目標檢測算法,該算法不需要找出候選區域,而是直接通過卷積神經網絡提取圖像特征,同時對目標物體的分類和定位進行預測。該算法檢測速度快,準確率較高,適合農業實時檢測場景。YOLO算法是一種one-stage目標檢測算法,該算法于2015年被提出,經過一代一代的發展更新,截至目前已經更新到YOLOv9。YOLO算法被廣泛應用于植物葉片和果實的檢測和識別。張震等人[3]將部分卷積和ECA模塊引入YOLOv7模型中,不僅將模型進行了輕量化改進,還增強了模型的特征提取能力。在模型訓練過程中,使用麻雀搜索算法(Sparrowsearchalgorithm,SSA)的學習率優化策略提高了模型的檢測精度。改進后的模型可以在復雜的果園環境下準確地識別出蘋果,有利于蘋果采摘的智能化進程。劉莫塵等人[4]在YOLOv8-Pose網絡的Neck部分加入Slim-neck模塊,并在特征提取層融入了卷積塊注意力模塊。改進后的模型不僅能提升對草莓這種小目標的檢測能力,還能提高對草莓果柄檢測的準確性?;谏疃葘W習技術的目標檢測可以做到提前防治病蟲害,提高農產品的生產質量,有利于推動農業智能化和自動化的發展。
2基于深度學習的農業圖像分類
圖像分類算法性能不斷地提高,越來越多的網絡模型被應用到農業圖像的分類中。陳善雄等人[5]采用最大穩定極值區域與卷積神經網絡結合的方法,實現對蕎麥發病區域的精確檢測,分離病害與非病害區域,準確定位病灶。同時,將兩級inception結構引入傳統卷積神經網絡的框架上,并采用基于余弦相似度的卷積代替傳統的卷積運算。最終,該模型在苦蕎病害的識別中取得了97.54%的準確率。張艷等人[6]采用ResNet12提取RGB茶葉病害特征和灰度茶葉病害特征,并基于這兩個特征構建圖神經網絡的兩個子節點和兩條邊,交替更新雙節點和雙邊,提高邊特征對節點度量的準確性,該模型在數據集樣本不充足條件下提高了對茶葉病害分類的準確性。姜紅花等人[7]在ResNet18網絡中引入通道注意力和空間注意力模塊,增強了蘋果葉部病斑區域的特征提取能力,進而提高了蘋果病害的分類準確率。同時,通過引入特征圖隨機裁剪分支對模型進行優化,提升了模型的識別實時性。姜晟久等人[8]將可分離擴張卷積塊應用于MobileNetv2模型中,擴大感受野以增強番茄葉部病害特征提取。通過替換PReLU激活函數并應用通道剪枝技術,在減少參數的同時增強網絡的魯棒性,提高了對番茄葉部病害的識別能力。袁培森等人[9]采用注意力機制改進MobileNetv3Small模型,并使用遷移學習,將PlantVillage數據集上訓練好的模型遷移到水稻病害數據集上,提高了病害的識別準確率。
3基于深度學習的農業圖像分割
近幾年深度學習成為計算機視覺的研究熱點,這些新的方法也被應用到圖像分割領域中來。目前在圖像分割任務中應用最廣泛的是U-Net和全卷積神經網絡。Li等人[10]將殘差塊和門控卷積應用到U-Net模型中來提取邊緣信息,為了進一步提升分割效果,模型還引入空洞卷積。最后,采用了空洞空間金字塔池化結構,將U-Net的邊緣特征與其高層次特征相融合,顯著地提高了青蘋果果實的分割精度和模型的泛化能力。韋鈣興等人[11]在U-Net網絡的編碼器上使用BAResNeXt模塊,用來增強每層分割對象特征并減少計算參數,網絡中引入交叉注意力模塊和SE注意力機制提高網絡對于水稻葉片的分割能力,改進后的網絡模型各評價指標均有不同程度的提升。侯文慧等人[12]將MobileNet-v3Large和U-Net網絡相結合用于草莓壟間圖像實時分割,并將模型遷移學習到藍莓和葡萄壟間分割中以驗證模型的泛化性和準確性,該模型在果實壟間路徑的實時提取準確性較高。
除了以上最常用的網絡模型外,其他的模型結構在農業圖像分割中也有優越的表現。董婭蘭等人[13]提出了以殘差網絡和特征金字塔網絡為主干特征提取網絡的MaskR-CNN模型,用于葡萄藤關鍵結構的分割,該模型具有較好的擬合性和泛化性能。Peng等人[14]將DeepLabV3+語義分割模型和Xception深度可分離卷積特征有效融合,采用了空間金字塔池化技術以更精確地捕捉語義像素的位置信息。此外,還借助數據增強和遷移學習的方法,顯著加速了模型的收斂速度,并增強了模型的魯棒性,該模型在荔枝樹枝語義分割中表現出色。李旭青等人[15]將OCR模塊(object-contextualrepresentations)入CAHRNet模型中,對輸出特征進行粗略的類別區域分割,并采用坐標注意力機制來提高模型邊緣細節信息的提取能力,提高了冬小麥作物田塊分割的準確性。
4結語
深度學習技術的應用促進了農業智能化的發展,加快了智慧農業的發展進程。但是深度學習在農業圖像處理中的應用也存在一些問題:深度學習模型的性能受預訓練數據量影響,在數據量充足和數據質量較好的情況下,模型的性能也更好。然而實際的數據集中,由于光照、背景和角度等因素的影響會導致數據的質量參差不齊,如何綜合考慮以上問題并構建典型的公開數據集,是促進深度學習技術在農業發展的關鍵。由于深度學習對計算資源的要求比較高,這就增加了實際生產應用中的成本,如何能夠在保證檢測精度的同時降低成本,在硬件水平不高的情況下,網絡模型也能夠穩定運行,是研究者需要進一步探索的方向。
參考文獻
[1].李佳俊,朱子峰,劉洪鑫,等.基于改進FasterR-CNN模型的草莓果實識別算法[J].湖北農業科學,2023,62(11):183-190.
[2].李翠明,楊柯,申濤,等.基于改進FasterR-CNN的蘋果采摘視覺定位與檢測方法[J].農業機械學報,2024,55(1):47-54.
[3].張震,周俊,江自真,等.基于改進YOLOv7輕量化模型的自然果園環境下蘋果識別方法[J].農業機械學報,2024,55(3):231-242,262.
[4].劉莫塵,褚鎮源,崔明詩,等.基于改進YOLOv8-Pose的紅熟期草莓識別和果柄檢測[J].農業機械學報,2023,54(S2):244-251.
[5].陳善雄,伍勝,于顯平,等.基于卷積神經網絡結合圖像處理技術的蕎麥病害識別[J].農業工程學報,2021,37(3):155-163.
[6].張艷,車迅,汪芃,等.基于雙節點-雙邊圖神經網絡的茶葉病害分類方法[J].農業機械學報,2024,55(3):252-262.
[7].姜紅花,楊祥海,丁睿柔,等.基于改進ResNet18的蘋果葉部病害多分類算法研究[J].農業機械學報,2023,54(4):295-303.
[8].姜晟久,鐘國韻.基于可分離擴張卷積和通道剪枝的番茄病害分類方法[J].江蘇農業科學,2024,52(2):182-189.
[9].袁培森,歐陽柳江,翟肇裕,等.基于MobileNetV3Small-ECA的水稻病害輕量級識別研究[J].農業機械學報,2024,55(1):253-262.
[10].LiQ,JiaW,SunM,etal.AnovelgreenapplesegmentationalgorithmbasedonensembleU-Netundercomplexorchardenvironment[J].ComputersandElectronicsin?;Agriculture,2021,180:105900.
[11].韋鈣興,易文龍,劉昱成,等.基于改進U-Net的水稻葉片細胞分割方法研究[J].河南農業科學,2023,52(3):153-160.
[12].侯文慧,周傳起,程炎,等.基于輕量化U-Net網絡的果實壟間路徑識別方法[J/OL].農業機械學報,1-13[2024-06-17].http://kns.cnki.net/kcms/detail/11.1964.S.20240103.0955.011.html.
[13].董婭蘭,胡國玉,劉廣,等.基于MaskR-CNN模型的葡萄藤關鍵結構分割方法[J].中國農機化學報,2024,45(2):207-214.
[14].PengH,XueC,ShaoY,etal.SemanticsegmentationoflitchibranchesusingDeepLabV3+model[J].IEEEAccess,2020,8:164546-164555.
[15].李旭青,吳冬雪,王玉博,等.基于改進HRNet的遙感影像冬小麥語義分割方法[J].農業工程學報,2024,40(3):193-200.