基于Mask R-CNN的復雜環境下辣椒識別方法研究

摘要：針對辣椒采摘機器人在真實場景中辣椒簇狀、粘連和光照不均導致無法精準采摘辣椒的問題，提出一種基于Mask R-CNN實例分割網絡模型的辣椒識別方法。以真實場景下的辣椒為研究對象，采集自然生長的辣椒圖像4 496張，對其中的4 000張進行數據標注作為數據集，通過設置不同的學習率、訓練周期和模型網絡層對數據集進行訓練。試驗結果表明，Mask R-CNN網絡模型對真實場景下辣椒的識別和分割效果較好，平均準確率達到90.34%，平均速度達到0.82 s/幅，為智能辣椒采摘機器人的辣椒分割識別和定位提供有力的技術支撐。

關鍵詞：辣椒識別；實例分割；Mask R-CNN；神經網絡；采摘機器人

中圖分類號：S225.92； TP391.4" " " 文獻標識碼：A" " " 文章編號：2095?5553 （2024） 09?0215?05

Research on pepper recognition method in complex environment based on Mask R-CNN

Fu Xiaoge Li Han Zuo Zhijiang Du Zheng

（1. State Key Laboratory of Percision Blasting， Jianghan University， Wuhan， 430056， China;

2. Hubei Key Laboratory of Blasting Engineering， Wuhan， 430056， China;

3. Institute of Agricultural Mechanization， Wuhan Academy of Agricultural Sciences， Wuhan， 430207， China）

Abstract： In order to solve the problem that pepper picking robots can not pick pepper accurately in real scenes due to pepper clusters， adhesion and uneven lighting， a pepper recognition method based on Mask R-CNN instance segmentation network model is proposed. With pepper in the real scene as the research object， 4 496 images of naturally growing pepper were collected， and 4 000 of them were labeled as data sets. The data sets were trained by setting different learning rates， training cycles and model network layers. The experimental results show that the Mask R-CNN network model has a good effect on pepper recognition and segmentation in the real scene， with an average accuracy of 90.34% and an average speed of 0.82 s/frame， providing a strong technical support for pepper segmentation recognition and location of intelligent pepper picking robot.

Keywords： pepper recognition; instance segmentation; Mask R-CNN; neural networks; picking robot

0 引言

辣椒是一種重要的蔬菜和調味品，富有多種維生素，種植面積和年產量不斷增長，位居蔬菜種植種類中的首位[1]。在農業生產中，辣椒的采摘過程主要依靠勞動人力進行，采摘效率較低，采摘成本較高。加快農業生產的發展，推動農業生產實現自動化、智能化是未來必要的發展趨勢，采用智能辣椒采摘機器人進行辣椒的采摘具有重大的意義[2?4]。

智能辣椒采摘機器人中主要有4大模塊，分別是相機、柔性機械夾持器、六自由度機械臂和機器人移動底盤。其中，相機安裝在六自由度機械臂末端，通過機器視覺技術，實現辣椒的識別檢測和定位，進而引導機械臂對識別到的辣椒進行采摘，辣椒識別和定位的精準性，直接影響到智能辣椒采摘機器人的效率和準確性。因此，實現對辣椒快速且準確的識別定位是研發智能辣椒采摘機器人的關鍵技術。

目標分割識別算法主要有基于特征、像素和深度學習的三類識別方法[5]。汪杰等[6]提出HSV和形狀特征融合的花椒識別算法，利用花椒圓度特征，排除樹枝及樹葉等的干擾，實現花椒的準確識別。但基于特征的目標分割識別方法需要目標物體顏色或者形狀能夠和背景形成強烈的對比，而辣椒植株枝葉茂密，辣椒與枝葉顏色沒有明顯差別，僅依靠顏色和形狀特征難以實現辣椒的識別和定位。Lu等[7]開發一種通用的自動閾值方法，快速有效地從結構照明反射成像獲得的圖像中的蘋果。邵志明等[8]通過Otsu法對近紅外圖像進行背景分割，基于圖像的灰度直方圖進行無損和有損區域分割閾值的設定，并結合形態學處理提取蘋果樣本的損傷區域。但基于像素的識別，會受到光線條件的影響，導致識別分割的效果不是很好。張磊等[9]提出基于改進YOLOv4網絡模型的番茄果實檢測，可以很好地實現自然環境下番茄果實的精準檢測。Yan等[10]改進YOLOv5能夠有效地識別未被遮擋或僅被樹葉遮擋的可抓蘋果和被樹枝遮擋或其他果實遮擋的不可抓蘋果。閆建偉等[11]RetinaNet為基礎，通過改進bias公式以及運用K-means++聚類算法，增強數據和合理調節參數，實現對刺梨加工車間的果實進行高精度、快速識別。李艷文等[12]提出改進的SegNet模型能夠更好地分割自然環境下蘋果目標的采摘點。但目標檢測只能夠識別圖像中目標的類別和目標的大致位置，且采用矩形框進行目標物體的定位，由于辣椒長條形的特殊形狀，對于水平方向的定位精度要求較高。一旦矩形包圍框在水平方向的偏移較大，極有可能使得最終的定位中心不在辣椒上。語義分割只能夠識別圖像中的每個像素所屬的類別，但是無法分辨同類物體的不同個體[13]，因此無法處理自然環境下辣椒簇狀、粘連和光照不均的問題。在應用于辣椒采摘時，使用目標檢測和語義分割并不能夠將每個辣椒之間以及辣椒和背景之間的邊緣識別出來，會導致辣椒采摘機器人在進行采摘時，造成不必要的采摘損失。而實例分割結合了目標檢測和語義分割的優勢，不僅能夠將圖像中的辣椒類別和位置檢測出來，還能將辣椒像素類別識別出來，獲得辣椒的輪廓，以實現辣椒的識別分割和定位。

針對上述情況，本文提出一種基于Mask R-CNN實例分割網絡模型的辣椒識別方法，利用Mask R-CNN網絡模型對辣椒圖像進行分割，識別出圖像中辣椒像素類別，獲得辣椒的輪廓。

1 數據集制作

1.1 數據采集和預處理

試驗數據采集地位于武漢市農業科學院農業機械化研究所，采集場景如圖1所示，選取圓錐椒類和長椒類等不同類別的辣椒進行取樣采集，采集硬件設施主要包括計算機、深度相機和手機等移動設備，相機主要采用的是D455深度相機，深度分辨率為1 280像素×720像素，深度幀率為90 fps，拍攝條件包括0.5 m、1 m和2 m等不同遠近距離，背光和逆光等不同角度光照，辣椒豎直和彎曲等不同生長狀態，辣椒葉子和桿子等不同雜物遮擋，共采集了562張辣椒圖像，如圖2所示，數據集的圖片大小為1 024像素×682像素與640像素×480像素。為加強圖像的視覺效果，提高圖像的清晰度，突出圖像中感興趣的特征，抑制無用的圖像信息，將圖像通過翻轉、旋轉、裁剪、縮放、平移和抖動等數據增強方法生成4 496張圖像，選取其中的4 000張圖像作為訓練數據集，496張為測試數據集。

1.2 數據標注

使用圖像標注軟件labelme對辣椒訓練數據集圖像中的辣椒進行標注，采用標注點方法對圖像中的目標辣椒邊緣輪廓進行標注，獲取辣椒區域的特征，不同辣椒實例之間標上不同編號，將其辣椒標簽和辣椒標注點坐標保存到對應的json文件中。通過json_to_dataset將json數據標注的結果進行可視化，分為背景和辣椒，且不同辣椒的實例也通過不同的mask進行標記區分，呈現出不同的顏色，如圖3所示。

2 Mask R-CNN網絡模型

2.1 Mask-RCNN模型框架

Mask R-CNN主要包括Backbone、RPN和ROI Align三個主要部分，相較Faster R-CNN增加了一個Mask分支，在實現目標檢測的同時將目標像素分割出來，Mask-RCNN模型結構如圖4所示。

Backbone（骨干網絡）通過一系列的卷積對圖像中的目標物體進行特征提取，隨著網絡層數的不斷加深，模型的準確率不斷提高，獲取的特征信息也越來越豐富，直至達到飽和狀態。隨著網絡的繼續加深，會造成梯度爆炸和梯度消失的問題，阻礙網絡的收斂，模型出現退化現象。ResNet通過shortcut支路將輸入直接連接到后邊的網絡層，保護特征信息的完整性，解決了退化問題。ResNet主要有5種大小的網絡：ResNet18、ResNet34、ResNet50、ResNet101和ResNet152，各個網絡之間最大的區別是需要通過訓練更新的層數不同。底層網絡的特征語義信息較少，但檢測的目標位置比較準確，可以將簡單的目標區分開來，高層網絡則相反，有較豐富的語義信息，能夠將復雜的目標區分開來，但檢測的目標位置比較粗略。FPN結合了底層網絡和高層網絡的特征，可以獲取準確的語義信息和檢測目標位置信息。FPN主要包括3部分，分別是bottom?up、top?down和lateral connection。bottom?up是通過將圖像輸入到卷積網絡中來提取特征的過程，每個stage往上用step=2的降采樣。top?down通過上采樣將高層的小特征圖放大到和上個stage的特征圖一樣的大小。lateral connection將上采樣后的高層語義特征與底層位置信息進行融合。本文利用同一數據集在不同ResNet網絡結構上進行試驗，最終選用ResNet101網絡結構結合FPN作為Backbone。

原始圖像經過ResNet101和FPN處理得到Feature Map，同時將目標物體特征信息輸入RPN中。在R-CNN和FastR-CNN等物體檢測中，使用Selective Search來提取候選框，比較耗費時間，但RPN可以將物體檢測融入到神經網絡中，使用特征提取的形式生成預選框的位置，提升了預選框生成的速度。RPN對特征圖上的anchor point生成不同大小的anchor boxes，將anchor boxes輸入到網絡層，通過二分類方法來判斷每個anchor box是屬于foreground還是background，得到目標物體相應的anchor boxes。

將得到的Feature Map和anchor boxes輸入給ROIAlign，ROI Align對ROI Pooling進行了改進，遍歷每個anchor boxes，對于量化中產生的坐標為浮點數的像素，使用雙線性內插方法計算像素值，取消了量化操作，將Feature Map統一為固定大小，得到每個anchor boxes的Feature Map。將Feature Map輸入到Fully Connected Layers和Fully Connected Network，得到目標物體的Classification、BoxRegression和Mask。

2.2 損失函數

Mask R-CNN的損失函數主要有3部分組成，分別是矩形框分類損失、矩形框回歸框損失和生成掩碼損失，可以表示為

L=L_cls+L_box+L_mask （1）

式中：L_cls——矩形框分類損失；

L_box——矩形框回歸框損失；

L_mask——生成掩碼損失。

3 試驗與分析

3.1 試驗方法

試驗所用的硬件為筆記本電腦，系統為Windows 10，64位操作系統，基于x64的處理器，機帶RAM位16.0 GB，訓練編程語言為Python3.7，環境為tensorflow1.13.2深度學習庫，keras2.1.5人工神經網絡庫。使用ResNet101結合FPN為主干網絡的Mask R-CNN進行模型訓練，訓練模式為“coco”，訓練權重從頭開始訓練，合適的學習率能夠使得目標函數再合適的時間內收斂到局部最小值，通過設置不同的學習率進行對比試驗，選定效果較好的0.000 01設置為最終訓練模型學習率，訓練的周期設為100。

3.2 評價指標

本文選取準確率Accuracy、召回率Recall作為評價指標，準確率是指所有預測中預測正確的比例，召回率是指在原始樣本的正樣本中正確識別的概率，計算如式（2）、式（3）所示。

Accuracy=TP+TN/TP+TN+FP+FN （2）

Recall=TPTP+FN （3）

式中： TP——正確預測正樣本的數量；

FN——錯誤預測正樣本的數量；

FP——正確預測負樣本的數量；

TN——錯誤預測負樣本的數量。

3.3 結果分析

3.3.1 不同網絡模型的對比試驗

為驗證Mask R-CNN網絡模型作為辣椒采摘機器人視覺系統的有效性，分別采用Faster R-CNN、SegNet和Mask R-CNN網絡模型，設置相同的訓練參數，對相同的辣椒數據集進行對比試驗。檢測效果如圖5所示。

Faster R-CNN檢測效果如圖5（b）所示，Faster R-CNN可以找到圖像中所有的辣椒，確定辣椒在圖像中的位置，判斷出每張圖像中包含的每個辣椒的種類和位置，但是矩形框只能對辣椒進行粗略的定位，作為辣椒采摘機器人的視覺系統引導機械臂作業時，不能精準對辣椒進行采摘，容易對辣椒造成損傷。SegNet檢測效果如圖5（c）所示，SegNet可以找到圖像中所有屬于辣椒的像素，并對像素進行分類，可以將辣椒的邊緣與背景分割開來，作為辣椒采摘機器人的視覺系統引導機械臂作業時可以精準的采摘辣椒，但是對于辣椒之間簇裝、粘連以及辣椒混雜的情況時，SegNet會將多個辣椒識別為一個實例，此時引導機械臂作業時，就會對辣椒的定位以及數量檢測造成誤差，進行采摘時就會損害到辣椒。Mask R-CNN檢測效果如圖5（d）所示，采用Mask R-CNN網絡模型時不僅能夠將辣椒邊緣與背景分割開來，每個辣椒之間的邊緣也能夠很好的進行分割，作為辣椒采摘機器人的視覺系統引導機械臂作業時，能夠精準的識別到每個辣椒，有效滿足了辣椒采摘機器人視覺系統的需求。

利用測試集來驗證不同算法的檢測結果，計算出準確率和召回率，使用Mask R-CNN網絡模型相較Faster R-CNN和SegNet在準確率和召回率上都有一定的提升，準確率由83.43%和64.54%提升到90.34%，召回率由85.32%和83.67%提升到89.52%，三種不同算法的試驗評價結果如表1所示。

試驗結果可見，對辣椒的識別分割和定位，提出的基于Mask R-CNN的復雜環境下辣椒識別方法比其他兩種方法的檢測精度更好，平均速度達到0.82 s/幅，能夠很好地滿足辣椒采摘機器人對辣椒識別的需求。

3.3.2 不同骨干網絡的對比試驗

深度學習中有很多種骨干網絡，例如AlexNet、VGG、ResNet、LeNet和DenseNet等，Mask R-CNN延用了Faster R-CNN的ResNet作為骨干網絡，通過構建恒等映射來處理網絡的輸入輸出，ResNet主要有5種大小的網絡：ResNet18、ResNet34、ResNet50、ResNet101和ResNet152，各個網絡之間最大的區別是需要通過訓練更新的層數不同。在Mask R-CNN中最常用的是ResNet50和ResNet101這兩種大小的網絡，本文在保證其他參數相同的情況下，分別使用ResNet50和ResNet101作為骨干網絡來進行對比試驗，兩種模型損失見圖6。

由圖6可以看出，ResNet101網絡相較ResNet50網絡最后的損失值更低，說明ResNet101網絡能夠得到更高的提取精度，所以選取ResNet101網絡作為Mask R-CNN網絡模型的骨干網絡。

3.3.3 不同學習率的對比試驗

學習率作為梯度下降過程中更新權重時的超參數，設置過小時網絡收斂過程會變得很緩慢，設置過大時會在最小值附近來回震蕩，導致網絡無法收斂。為了驗證不同學習率對Mask R-CNN網絡的影響，選擇合適的學習率進行訓練，設置0.000 001為初始學習率，在每個batch之后都更新網絡增加學習率，統計每個batch的loss，繪制學習率和loss變化曲線，如圖7所示，直觀地觀察學習率對網絡模型的影響。

從圖7中可以看出，隨著學習率從初始值開始變大的過程，網絡模型的loss先下降，直至達到一個較小的數值，隨后隨著學習率的增大而增大。因此，學習率設置為0.00 001時損失函數收斂，網絡模型能夠達到很好的擬合效果。

4 結論

提出基于Mask R-CNN實例分割網絡模型的辣椒識別方法，通過設置不同網絡模型的對比試驗，驗證Mask R-CNN網絡模型對簇裝、粘連和光照不均情況下的辣椒識別具有很好的效果。

1） 分別研究不同骨干網絡和不同學習率對Mask R-CNN網絡模型的影響，選擇對辣椒特征提取效果較好的ResNet101結合FPN作為骨干網絡，設置0.000 01為Mask R-CNN網絡模型訓練的學習率。

2） Mask R-CNN網絡模型對真實場景下辣椒的識別和分割效果較好，平均準確率達到90.34%，平均速度達到0.82 s/幅，基本可以滿足辣椒采摘機器人視覺模塊的需求。

參 考 文 獻

[ 1 ] 鄒學校， 馬艷青， 戴雄澤， 等. 辣椒在中國的傳播與產業發展[J]. 園藝學報， 2020， 47（9）： 1715-1726.

[ 2 ] 王立浩， 張寶璽， 張正海， 等. “十三五”我國辣椒育種研究進展、產業現狀及展望[J]. 中國蔬菜， 2021（2）： 21-29.

[ 3 ] Arad B， Balendonck J， Barth R， et al. Development of a sweet pepper harvesting robot [J]. Journal of Field Robotics， 2020， 37（6）： 1027-1039.

[ 4 ] Augusto M S， Paul M A， dos Neves S F， et al. Active perception fruit harvesting robots： A systematic review [J]. Journal of Intelligent amp; Robotic Systems， 2022， 105（1）.

[ 5 ] 李天華， 孫萌， 婁偉， 等. 采摘機器人分割與識別算法的研究現狀[J]. 山東農業科學， 2021， 53（10）： 140-148.

[ 6 ] 汪杰， 陳曼龍， 李奎， 等. 基于HSV與形狀特征融合的花椒圖像識別[J]. 中國農機化學報， 2021， 42（10）： 180-185.

Wang Jie， Chen Manlong， Li Kui， et al. Prickly ash image recognition based on HSV and shape feature fusion [J]. Journal of Chinese Agricultural Mechanization， 2021， 42（10）： 180-185.

[ 7 ] Lu Yuzhen， Lu Renfu. Histogram?based automatic thresholding for bruise detection of apples by structured?illumination reflectance imaging [J]. Biosystems Engineering， 2017， 160.

[ 8 ] 邵志明， 王懷彬， 董志城， 等. 基于近紅外相機成像和閾值分割的蘋果早期損傷檢測[J]. 農業機械學報， 2021， 52（S1）： 134-139.

Shao Zhiming， Wang Huaibin， Dong Zhicheng， et al. Early bruises detection method of apple surface based on near infrared camera imaging technology and image threshold segmentation method [J]. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（S1）： 134-139.

[ 9 ] 張磊， 劉琪芳， 聶紅玫， 等. 基于改進YOLOV4網絡模型的番茄果實檢測[J]. 中國農機化學報， 2022， 43（12）： 162-169.

Zhang Lei， Liu Qifang， Nie Hongmei， et al. Tomato fruit detection based on improved YOLOv4 network model [J]. Journal of Chinese Agricultural Mechanization， 2022， 43（12）： 162-169.

[10] Yan Bin， Fan Pan， Lei Xiaoyan， et al. A real?time apple targets detection method for picking robot based on improved YOLOv5 [J]. Remote Sensing， 2021， 13（9）： 1619.

[11] 閆建偉， 張樂偉， 趙源， 等. 改進RetinaNet的刺梨果實圖像識別[J]. 中國農機化學報， 2021， 42（3）： 78-83.

Yan Jianwei， Zhang Leiwei， Zhao Yuan， et al. Image recognition of Rosa roxburghii fruit by improved RetinaNet [J]. Journal of Chinese Agricultural Mechanization， 2021， 42（3）： 78-83.

[12] 李艷文， 左朝陽， 王登奎， 等. 基于改進型SegNet的蘋果采摘點分割算法研究[J]. 燕山大學學報， 2022， 46（5）： 455-460， 470.

Li Yanwen， Zuo Chaoyang， Wang Dengkui， et al. Apple picking point segmentation based on improved SegNet [J]. Journal of Yanshan University， 2022， 46（5）： 455-460， 470.

[13] 蘇麗， 孫雨鑫， 苑守正. 基于深度學習的實例分割研究綜述[J]. 智能系統學報， 2022， 17（1）： 16-31.