基于Faster R-CNN的番茄果實檢測算法應用

張皓婷李明李敏閆鳳祝鵬

(1.內(nèi)蒙古農(nóng)業(yè)大學園藝與植物保護學院，內(nèi)蒙古 呼和浩特 010018；2.內(nèi)蒙古農(nóng)業(yè)大學職業(yè)技術(shù)學院，內(nèi)蒙古 包頭 014095)

引言

番茄是人們?nèi)粘Ｉ钪兄匾氖卟耍俏覈卟藢崿F(xiàn)周年生產(chǎn)和供應最主要的設(shè)施蔬菜之一[1]。番茄營養(yǎng)豐富，不僅含有豐富的維生素，還可以作為水果食用。隨著人工智能的發(fā)展，高效準確地檢測番茄果實以識別定位、機械采摘、計數(shù)和估產(chǎn)，是對減少人力投入而必需解決的問題。機器學習[2]是人工智能研究的重要分支，其通過算法讓機器可以從外界輸入的大量數(shù)據(jù)中學習到規(guī)律，從而進行識別判斷[3]；目前被廣泛的應用在多個領(lǐng)域中，特別是在計算機視覺方面，機器學習利用深層次的神經(jīng)網(wǎng)絡(luò)從視頻或圖像中自動提取目標特征，將目標與非目標區(qū)分開來，檢測出特定目標[4]，其高效地解決了圖像的分類和識別、目標跟蹤和檢測、語義分割等任務(wù)，且具有非常高的精度。對基于Faster R-CNN算法番茄果實目標檢測進行研究和運用，在目標檢測中能夠有效區(qū)分目標特征與非目標特征，提高目標檢測效率。本試驗設(shè)計基于Faster R-CNN網(wǎng)絡(luò)模型對番茄果實的識別，對番茄果實重疊、遮擋而造成的圖像難以分割的問題進行分析，盡可能提高準確率與檢測效率，以期實現(xiàn)機器學習對作物的識別和預測結(jié)果，實現(xiàn)技術(shù)在設(shè)施番茄果實識別方面的應用，達到省時省人力目的。因此，用該算法識別番茄果數(shù)具有重要的研究價值和意義，并可為豐富和優(yōu)化設(shè)施番茄栽培生產(chǎn)提供一定的參考。

1 材料與方法

1.1 試驗材料

供試作物為草莓番茄；拍攝設(shè)備為手機和相機；試驗平臺是在Win10操作系統(tǒng)下完成。

1.2 試驗方法

試驗番茄幼苗5月6日定植，種植密度為27700株·hm-2；在番茄苗期、結(jié)果前期、結(jié)果中期和結(jié)果后期分別進行圖像采集。采集照片2000張，精心挑選出1002張各個時期的番茄果實樣本。數(shù)據(jù)采集：拍攝時間2021年6月11日—8月10日13∶00—16∶00，光線良好。采集圖像的原始尺寸為3120像素×4128像素，圖像存儲格式為JPG。

數(shù)據(jù)處理：首先進行裁剪處理，由于原始拍攝圖像尺寸為3120像素×4128像素，遠大于正常深度學習訓練圖像的大小，因此將原始圖像進行裁剪，裁剪后的圖像尺寸為780像素×1032像素。制作VOC格式的數(shù)據(jù)集：使用LabelImg標注工具對精選出的樣本數(shù)據(jù)進行標注；該數(shù)據(jù)集是番茄目標檢測的一個數(shù)據(jù)集，自制的VOC格式數(shù)據(jù)集中只包含1種帶標簽的待測目標，共有1002張訓練圖像和668張測試圖像；分別將xml文件和xml對應圖片存放在Annotations和JPEGImages文件夾中，Main文件夾開始為空，在數(shù)據(jù)集同級目錄新建test.py生成4個txt文件。運行test.py后會在Main生成4個txt文件，至此，自制的VOC格式的數(shù)據(jù)集準備完畢。

圖1 標注番茄圖像和數(shù)據(jù)集建立

1.3 數(shù)據(jù)統(tǒng)計與分析

使用Faster R-CNN算法得出訓練過程數(shù)據(jù)，使用詳解PyTorch可視化工具visdom(一)進行數(shù)據(jù)統(tǒng)計和圖形繪制。

本試驗采用的測試標準為平均準確率均值(Mean Average Precision，mAP)；計算所有待測目標的AP均值，即

mAP∶mAP=1/20∑k=120APk

2 結(jié)果與分析

人們雖然可以通過眼睛主觀判斷番茄果實和類型，但由于人力有限，識別費時費力，也對采摘機器人的自主采摘與收獲沒有任何幫助。圖像處理技術(shù)的持續(xù)發(fā)展和不斷突破已應用在各個領(lǐng)域，同時農(nóng)業(yè)領(lǐng)域也漸漸取得許多可觀的進展；人們只需采集番茄果實的圖像數(shù)據(jù)，預處理數(shù)據(jù)，提取特征并將信息送至分類器進行訓練并獲取模型參數(shù)，就可以使用生成的模型來識別檢測番茄果實及其類別[5]。機器學習中的深度學習[6]是人工智能的典型代表，其廣泛應用于各個領(lǐng)域，特別是在計算機視覺領(lǐng)域，可以精準又高效地解決圖像分類與識別、目標跟蹤與檢測、語義分割等任務(wù)。應用深度學習技術(shù)不僅可以節(jié)約時間和人力成本，還可以實時判斷，并減少一些損失。利用深度學習中的Faster R-CNN神經(jīng)網(wǎng)絡(luò)自動提取目標特征，使得精準檢測目標和訓練模型可預測結(jié)果。

2.1 番茄識別流程

番茄果實識別是基于機器學習技術(shù)的目標檢測，是從視頻或圖像數(shù)據(jù)中檢測特定目標。在目標檢測過程中能否根據(jù)所提取的特征區(qū)分特定目標與非特定目標是成功或失敗的關(guān)鍵[4]。

在番茄圖像的識別過程中，需要先進行預處理，再用圖片標注工具labelImg標注出圖像目標區(qū)域，為番茄果實的圖像特征提取做準備，最后通過機器學習算法進行訓練獲得模型參數(shù)。在具體方式實現(xiàn)中利用Faster R-CNN網(wǎng)絡(luò)模型提取目標特征，以獲得準確的檢測結(jié)果。Faster R-CNN網(wǎng)絡(luò)模型運行番茄圖像檢測結(jié)構(gòu)如圖2。

圖2 Faster R-CNN運行流程

此次采集的番茄圖像制作的數(shù)據(jù)集，可在網(wǎng)絡(luò)模型中訓練并預測結(jié)果。目前，許多學者對該技術(shù)進行了研究，這些技術(shù)的實現(xiàn)與應用，既可以節(jié)約時間和精力，又可以實時做出判斷。因此，用機器學習的方法來識別番茄果實具有重要的研究價值和意義。

2.2 基于Faster R-CNN算法運行結(jié)果

使用Faster R-CNN網(wǎng)絡(luò)模型對番茄果實圖像隨機樣本進行訓練，獲取訓練過程中的準確率及其他相關(guān)數(shù)據(jù)，并對試驗中采集的圖像制作的數(shù)據(jù)集做訓練和預測。樣本數(shù)據(jù)單次運行結(jié)束如圖3。

圖3 Faster R-CNN運行過程圖像

通過Faster R-CNN網(wǎng)絡(luò)模型對隨機樣本數(shù)據(jù)集的運行訓練、測試和驗證，獲取番茄數(shù)據(jù)集的真實數(shù)據(jù)。樣本多次訓練運行結(jié)果如圖4，通過多次訓練樣本得到該網(wǎng)絡(luò)模型初步數(shù)據(jù)。

圖4 Faster R-CNN訓練數(shù)據(jù)圖像

基于Faster R-CNN算法的標注結(jié)果和測試結(jié)果圖見圖5、圖6。通過運行得出數(shù)據(jù)結(jié)果，并對檢測出的番茄果實數(shù)與實際生產(chǎn)測得的數(shù)據(jù)進行了比較。由圖5、圖6可知，由于Faster R-CNN算法模型本身精準率較高，基于Faster R-CNN算法運行的番茄數(shù)據(jù)集的測試直觀效果較好，運行速度快、識別準確性較高；與實際生產(chǎn)過程中測得的番茄結(jié)果數(shù)相比只有嚴重遮擋和嚴重重疊的果實存在檢測數(shù)量上的差別，總體來說可作為其他指標測定的基礎(chǔ)。

圖5 標記結(jié)果圖

圖6 測試結(jié)果圖

2.3 番茄果實識別結(jié)果

通過運行后得出的數(shù)據(jù)，對實際生產(chǎn)中隨機采集的番茄樣本數(shù)據(jù)多次訓練的檢測結(jié)果準確率進行了比較；Faster R-CNN網(wǎng)絡(luò)模型在開始訓練之前進行參數(shù)的初始化，學習率(lr)設(shè)為0.001，rpn_Batch size為訓練計算損失函數(shù)時IOU閾值大于0.7記為正樣本(1)，小于0.3則記為負樣本(0)，計算rpn的損失函數(shù)，Batch size可以設(shè)置的較大。roi分類是在RPN階段區(qū)分前景和背景的，roi回歸是RPN階段初步調(diào)整。本文運行的網(wǎng)絡(luò)中學習率(lr=0.001)設(shè)為0.001，Batch size為64，dropout參數(shù)設(shè)為0.5。參數(shù)設(shè)置如下表1所示。

表1 部分參數(shù)設(shè)置

訓練過程rpn計算損失函數(shù)時曲線圖見圖7；訓練過程roi計算損失函數(shù)時曲線圖見圖8。

圖7 rpn分類損失與回歸損失曲線圖

圖8 roi分類損失與回歸損失曲線圖

由于Faster R-CNN的網(wǎng)絡(luò)模型是2步檢測算法，該網(wǎng)絡(luò)的損失函數(shù)分為4個部分，4個損失的總和就是最終的損失率；即訓練結(jié)果得出損失率0.233929117；訓練過程是不斷地反向傳播，更新參數(shù)的。經(jīng)過對數(shù)據(jù)集在該網(wǎng)絡(luò)模型上多次訓練的分類回歸，發(fā)現(xiàn)在實際生產(chǎn)中隨機采集樣本的番茄果實樣本數(shù)據(jù)檢測的損失曲線高度一致，且總損失率幾乎相同；由數(shù)據(jù)可知，同一模型訓練多次的回歸損失函數(shù)值幾近相同，且目前訓練的損失率相對其他學者的損失率較小。

Faster R-CNN網(wǎng)絡(luò)模型中mAP的計算主要流程：運行/tools下的test_net.py文件；test_net.py文件調(diào)用/lib/fast_rcnn/test.py文件中的test_net函數(shù)進行檢測；在test_net函數(shù)檢測完成后調(diào)用/lib/datasets/pascal_voc.py中的evaluate_detections函數(shù)計算mAP。經(jīng)過運行，結(jié)果如圖9所示。

圖9 訓練過程中測試集mAP變化圖

從圖9可以看出，F(xiàn)aster R-CNN網(wǎng)絡(luò)訓練完成后測試集的mAP值為0.908824；經(jīng)過多次運行最初在實際生產(chǎn)隨機采集的番茄樣本數(shù)據(jù)中的番茄果實圖像進行訓練、測試和驗證該模型的準確率，得到的mAP值在0.908824～0.908895范圍浮動，即可得出測試集的檢測準確率近似為90.89%。綜上得出，運行Faster R-CNN網(wǎng)絡(luò)模型時，損失函數(shù)下降速度快、變化幅度小，測試準確率曲線先減小，然后上下波動，再趨于平緩；Faster R-CNN網(wǎng)絡(luò)模型檢測番茄果實的損失率及準確率曲線波動幅度小，且Faster R-CNN網(wǎng)絡(luò)具有較高的測試準確率。初步運用Faster R-CNN網(wǎng)絡(luò)模型訓練番茄果實圖像樣本數(shù)據(jù)檢測方面，模型準確率約為90.89%，檢測效果較好，可為后續(xù)測算提供支持。

3 討論

王菽裕等[7]利用基于圖像的牦牛目標檢測方法，將現(xiàn)代技術(shù)和傳統(tǒng)畜牧業(yè)結(jié)合起來，利用深度學習下的Faster R-CNN進行牦牛目標檢測，實驗結(jié)果及數(shù)據(jù)分析發(fā)現(xiàn)，該方法平均檢測牦牛的精度在測試集可以到達83.3%，圖像處理速率為毫秒級別，相較傳統(tǒng)的人工牦牛計數(shù)的方式，在準確率和處理速率上均得到了巨大的提高。熊龍燁[8]構(gòu)建了以Darknet53為特征提取網(wǎng)絡(luò)的YOLO v3分類識別模型，該改進模型對于不同類型的柑橘果實平均識別準確率達86.42%，與原模型相比準確率和檢測速度均有提高。Liu等[9]在YOLO v3的基礎(chǔ)上提出了一個密集的體系結(jié)構(gòu)，可以更加精準地匹配番茄，該模型的檢測識別準確率達到94.58%。可以看出，檢測不同的物體和使用不同的網(wǎng)絡(luò)模型，準確率也不盡相同；本試驗結(jié)果表明，基于Faster R-CNN網(wǎng)絡(luò)模型對番茄果實的檢測識別與其他學者研究相比準確度較高，在訓練過程和預測過程中的結(jié)果和各項數(shù)據(jù)的顯著性較優(yōu)。本次試驗利用機器學習下的Faster R-CNN網(wǎng)絡(luò)模型進行番茄果實目標檢測法測試直觀效果較好，識別準確性較高，平均檢測準確率為90.89%。基于深度學習網(wǎng)絡(luò)模型在對物體進行目標檢測時體現(xiàn)出不同的檢測效果，一些學者認為,不同算法和不同采集圖像數(shù)據(jù)的條件下具有不同的識別效果，主要受到復雜環(huán)境的影響；本研究在番茄圖像中存在較多的果數(shù)重疊、莖葉遮擋環(huán)境方面造成的影響與前面學者觀點一致，但本研究認為，不同模型在目標檢測過程中，還可能與待測物體是否處于靜止狀態(tài)和待測物體本身大小有一定關(guān)系；在此次試驗中Faster R-CNN網(wǎng)絡(luò)模型的檢測準確率可能受自制的數(shù)據(jù)集在其環(huán)境中運行擬合性低、番茄圖像中存在較多果數(shù)重疊、莖葉遮擋和圖像分割等多方面影響，后續(xù)試驗中有待進一步改善和提高。

4 結(jié)論

本文提出的基于Faster R-CNN算法在番茄果實檢測方面，由于使用的Faster R-CNN算法模型本身精準率較高，基于Faster R-CNN算法運行的番茄數(shù)據(jù)集的測試直觀效果較好，經(jīng)過對數(shù)據(jù)集在Faster R-CNN網(wǎng)絡(luò)上多次訓練的分類回歸，發(fā)現(xiàn)識別檢測訓練的損失曲線高度一致，且總損失率幾乎相同，同一模型訓練多次的回歸損失函數(shù)值近似相同，模型準確率為90.89%，識別準確性較高；目前采集的數(shù)據(jù)中存在果實遮擋和重疊問題，對識別檢測數(shù)量上存在一定誤差，總體來說可作為其他指標測定的基礎(chǔ)。隨著機器學習技術(shù)的不斷開發(fā)、改進與完善，未來數(shù)據(jù)的增加、拍攝技術(shù)的升級以及對重疊部分的優(yōu)化，基于Faster R-CNN算法對番茄果實識別在后續(xù)試驗中應用會有新的進展，該算法的預測精度也將進一步提升。