基于改進Mask R-CNN的青菜雜質檢測研究

摘要：綠葉蔬菜的智能包裝加工是實現綠葉蔬菜智能化生產、降低生產成本的重要部分，對綠葉蔬菜在包裝加工時的雜質檢測是其重要前提。以青菜為研究對象，提出一種基于Mask R-CNN的青菜雜質檢測模型。首先采集標注摻雜枯樹葉、枯菜葉和碎紙片3種常見雜質的青菜圖像1 370多張，并通過數據增強的方法擴充建立含有2 740張青菜雜質圖像的數據集。為減少背景對雜質檢測的影響，通過在Mask R-CNN模型中加入協調注意力機制，同時添加全連接層和Dropout層，增強模型特征提取能力，減少過擬合現象，并使用遷移學習方法對模型進行微調。結果表明改進后的Mask R-CNN算法對青菜雜質識別的平均精度均值為99.19%，檢測速度為8.45 FPS，檢測效果良好，可以滿足青菜雜質的檢測需求。

關鍵詞：青菜；雜質檢測；Mask R-CNN；遷移學習；協調注意力

中圖分類號：S636； TP391.4" " " 文獻標識碼：A" " " 文章編號：2095?5553 （2024） 09?0077?07

Research of impurity detection of green vegetable based on improved Mask R-CNN

Zhao Shuang Yu Yongqiang Miao Yubin Liu Kexin

（1. School of Machinery， Shanghai Dianji University， Shanghai， 201100， China;

2. School of Mechanical and Power Engineering， Shanghai Jiaotong University， Shanghai， 201100， China）

Abstract： The intelligent packaging and processing of green leafy vegetables is an important part of realizing intelligent production of green leafy vegetables and reducing production costs. The detection of impurities in the packaging of green leafy vegetables is an important prerequisite. Taking vegetables as the research object， this paper proposes a vegetable impurity detection model based on Mask R-CNN. Firstly， more than 1 370 cabbage images were collected and labeled with 3 kinds of common impurities， including withered leaves， withered leaves and shredded paper. The data set containing 2 740 cabbage impurity images was expanded by the method of data enhancement. In order to reduce the influence of background on impurity detection， this paper add a coordinated attention mechanism， a fully connected layer and Dropout layer to the Mask R-CNN model， reduce over fitting and fine tune the model using transfer learning methods. The results show that the average accuracy of the improved Mask R-CNN algorithm for the identification of vegetable impurities is 99.19%， the detection speed is 8.45 FPS， and the detection effect is good， which can meet the detection requirements of vegetable impurities.

Keywords： green vegetables; impurity detection; Mask R-CNN; transfer learning; coordinate attention

0 引言

我國是蔬菜大國，近年來，我國蔬菜及其加工產品出口量增長迅速[1]。但由于蔬菜采摘及加工中機械化程度較低[2]，采摘和包裝加工過程中不可避免地會摻雜一些雜質，不僅影響產品的質量和品相，同時也影響蔬菜產業的聲譽。目前蔬菜包裝加工過程中大多采用人工檢測雜質，勞動強度大且檢測效率較低。采用機器視覺技術可以實現對蔬菜雜質的自動篩揀，對蔬菜加工產業的發展具有重要意義。

與人工目檢等傳統檢測方法相比，無損檢測方法具有檢測效率高、檢測無損壞等優點，在農作物生產中得到廣泛應用[3?7]。根據目標的特性差異，可使用光電[8]、超聲波[9]、磁粉[10]等方式進行檢測。其中機器視覺技術使用光學原理成像原理進行檢測，檢測效率高且成本低[11， 12]。但是由于生產線中青菜背景復雜、雜質目標小且形狀變化大等因素，傳統機器視覺對雜質的檢測效果較差，魯棒性低。

近年來，深度學習由于其高精度、高響應速度、高魯棒性、易于遷移等特點，在農作物的檢測識別中被廣泛地使用[13?16]。謝麗娟等[17]提出利用全卷積神經網絡（Fully Convolutional Networks，FCN）實現加工過程中核桃生產線的異物檢測，訓練集準確率為92.75%，驗證集準確率為90.35%。Esgario等[18]使用5種深度神經網絡結構對咖啡葉病害進行分類及嚴重程度估計，最終ResNet50對咖啡葉病害識別率最高，為97.07%。王春山等[19]提出改進型的多尺度殘差（Multi?scale ResNet）輕量級病害識別模型，準確率為93.05%。孫哲等[20]提出一種基于Faster R-CNN模型的西蘭花幼苗檢測方法。鐘昌源等[21]提出一種基于分組注意力的語義分割模型，分割精度達到93.9%。鐘偉鎮等[22]采用Mask R-CNN[23]模型對復雜背景下多目標葉片進行識別和分割，分割準確率達97.51%。

目前研究表明基于機器視覺的深度學習技術對不同環境下農作物雜質以及病害的檢測效果較好，其中Mask R-CNN模型的準確率較高，因此本文通過改進Mask R-CNN模型對青菜在包裝初加工中常見的枯樹葉、碎紙片、干枯菜葉等雜質進行檢測，并對其檢測效果進行分析和評估。

1 材料與方法

1.1 材料

本文選用上海青為試驗的青菜品種，雜質為青菜采收和包裝加工過程中常見的雜質，如采摘環境中的落葉、包裝生產線上的包裝袋碎片、干枯發黃的青菜葉等。包裝加工的場景為青菜原產地進行機械化采摘后進行銷售包裝。在青菜包裝車間內，通過工業相機拍攝了分別混雜了枯樹葉、碎紙片、干枯菜葉的雜亂青菜圖片共1 370張，將采集的混雜雜質的青菜圖片統一設置成512像素×512像素，再通過labelme軟件對采集的青菜雜質圖片進行標注，并通過平移、旋轉、鏡像、增加噪聲、改變亮度等數據增強方式，使數據集擴充到2 740張，最后按照8∶1∶1的比例分為訓練集、驗證集、測試集進行模型的訓練及測試。

1.2 試驗平臺

本文試驗過程在Win10操作系統下進行，處理器型號為AMD Ryzen 7 5800H，顯卡型號為NVIDIA GeForce RTX 3060 6 G。深度學習框架采用PyTorch1.11，編程平臺為PyCharm，編程語言為Python3.9，所有對比算法均在相同環境下運行。

1.3 Mask R-CNN框架

Mask R-CNN是一種兩階段的目標檢測框架，其在Faster R-CNN的基礎上做出了改進與拓展，在物體檢測的基礎上加上語義分割的分支，從而達到實例分割的效果，檢測精度高，分割效果好，同時5 FPS的檢測速度可滿足生產線運輸速度的檢測要求。

Mask R-CNN主要由ResNet50，FPN（特征金字塔網絡），RPN（區域候選網絡），ROIAlign、Mask分支以及分類邊界框回歸分支組成，其框架如圖1所示。

1.3.1 FPN

特征金字塔網絡（Feature Pyramid Networks，FPN）是2017年提出的一種網絡，用于在物體識別系統中更好地檢測不同尺度對象，FPN主要通過從大到小依次收集主干網絡中每一階段卷積層輸出的特征信息，并通過1×1的卷積和上采樣調整特征信息的大小，以此融合特征提取網絡中的淺層信息和深層信息，從而實現了對所有尺度對象的檢測，同時沒有過多地影響檢測速度。結果證明使用FPN網絡可以有效地提高青菜雜質檢測的精度。

1.3.2 RPN

區域推薦網絡（Region Proposal Network，RPN）是一種檢測框生成網絡，用來生成可能存在的目標檢測區域。RPN根據特征提取網絡輸出的特征圖，在原圖上生成多個錨點，每個錨點根據預設候選框尺度的數量K1和長寬比的數量K2會生成K1×K2個候選框，同時對生成的候選框是前景還是背景進行判斷，對于重疊的候選框，RPN會通過非極大抑制（NMS），保留分數較高的候選框。RPN通過特征圖生成候選框，提高了青菜雜質檢測的速度。

1.3.3 ROIAlign

ROIAlign是對Faster R-CNN中ROI Pooling的一種改進方法，由于在RPN中生成的候選框是在原圖的基礎上，而在下一階段的訓練中需要使用在特征圖上的候選框，ROIAlign根據RPN中候選框的位置坐標，將特征圖中相應區域池化為固定尺寸的特征圖。ROIAlign利用雙線性插值法縮放坐標的位置，解決ROIPooling中量化操作存在的取整問題，減少模型對青菜雜質識別的誤差。

1.4 Mask R-CNN算法的改進

1.4.1 協調注意力CA（Coordinate Attention）機制

注意力機制的原理是幫助網絡更加關注有用的信息，忽略無用的信息。協調注意力將位置信息融合到通道注意力中，有效增強神經網絡對于青菜雜質特征的提取，加快系統的損失函數的收斂，增加系統的魯棒性，提高青菜雜質檢測的精度。

在ResNet50網絡中的殘差模塊中加入CA模塊，將殘差模塊輸出的特征圖分為寬度和高度兩個方向進行全局平均池化，分別獲得在寬度和高度兩個方向的特征圖，接著將獲得全局感受野的寬度和高度兩個方向的特征圖拼接在一起，之后將它們送入共享的卷積核為1×1的卷積模塊降低維度，然后將經過批量歸一化處理的特征圖送入Sigmoid激活函數得到特征圖，接著將特征圖按照原來的寬度和高度進行卷積核為1×1的卷積分別得到通道數與原來一樣的特征圖，經過Sigmoid激活函數后分別得到特征圖在寬度和高度上的注意力權重，最后在原始特征圖上通過乘法加權計算，最終將得到在寬度和高度方向上帶有注意力權重的特征圖。圖2為協調注意力結構。

1.4.2 全連接層和Dropout層

為減少過擬合，降低分類泛化誤差，在原模型中添加Dropout層，同時增加1個全連接層，可以通過神經網絡提取更多的特征信息，增加模型的非線性表達能力，提升青菜雜質檢測精度。圖3為使用Dropout前后的網絡對比。

當模型較大，而數據較少的時候，很容易引起過擬合，Dropout層可以使神經網絡在訓練過程中將部分神經元歸零，同時由于歸零神經元的選擇是隨機的，使得每個批次網絡在訓練的時候，都相當于在訓練不同的網絡，從而幫助網絡更加獨立地學習特征，減少過擬合。

1.5 評價指標

采用準確率P、召回率R、平均精度均值mAP、F1分數（F1-score）以及檢測速度5個指標對青菜雜質檢測模型進行評價[24， 25]。準確率、召回率、F1分數以及平均精度均值的計算如式（1）～式（4）所示。

式中： TP——目標識別正確的數量；

FN——目標識別為錯誤實際為正確的數量；

FP——目標識別為正確實際為錯誤的數量；

AP——平均精度。

準確率為模型預測正確的比例；召回率為正確的目標中，模型預測為正確的比例；mAP為各種類AP的均值，表示模型的性能；F1分數為衡量模型精確度的一種指標，有效兼顧了分類模型的準確率和召回率。

2 結果與分析

2.1 模型訓練

為了確定Dropout中歸零神經元的比例，使模型有效減少過擬合，降低分類泛化誤差，本文設置不同神經元被丟棄的概率p，通過分析模型的效果，選擇合適的p值。表1為不同p值下模型的效果對比。

由表1可知，當概率p設置為0.3時模型的準確率P最高，但是當概率p設置為0.4時模型的召回率R和平均精度均值mAP最高，為在識別過程中減少雜質的未檢出率，選擇0.4為神經元被丟棄的概率。

對模型進行訓練時，使用SGD優化器，權值衰減設置為0.9，動量設置為0.9，為了加快模型的收斂，采取動態學習率策略，將初始學習率設置為0.02，同時在15、25、35、45輪次時，學習率依次降低5倍，由于GPU顯存限制，size_batch設置為4。

試驗中共訓練50輪次，每輪次訓練結束后在驗證集上驗證訓練結果，網絡訓練結果如圖4所示。

由圖4可見，在模型訓練初期，由于模型學習率較高以及遷移學習的效果，loss曲線收斂速度較快，mAP曲線、P曲線和R曲線波動較大，同時由于采取動態學習率的方式，在模型訓練的中后期學習率降低，曲線收斂速度減緩，波動減小，當訓練輪數達到30輪左右時，模型的loss曲線在0.110左右波動逐漸平穩，最終模型在驗證集上的P值為94.17%，R值為99.33%，mAP為98.98%，表明模型訓練結果較好。

2.2 檢測結果

為檢驗模型檢測的效果，分別用YOLOv4算法、YOLOv5算法、SSD算法、Faster R-CNN算法、Mask R-CNN算法和改進Mask R-CNN算法對青菜雜質進行檢測，檢測效果如圖5所示，檢測框上方為檢測的類別和置信度，對于青菜中的三種雜質，YOLOv4算法、YOLOv5算法和SSD算法識別的置信度較低，且SSD算法存在部分未檢出的問題，同時相較于Faster R-CNN算法和改進前的Mask R-CNN算法，改進后的Mask R-CNN算法檢測框的置信度較高，更能貼合雜質的輪廓，從而減少實例分割時的損失，增加模型對小目標雜質的檢測精度，同時面對雜質部分被遮擋的情況，模型也能很好地將雜質檢測出來。檢測結果表明改進Mask R-CNN算法檢測的效果更好。

2.3 不同算法的性能比較

為評價本文算法的性能，利用測試集對YOLOv4算法、YOLOv5算法、SSD算法、Faster R-CNN算法、Mask R-CNN算法和改進Mask R-CNN算法進行性能評估，其性能比較如表2所示。

由表2可以看出，改進Mask R-CNN算法的P值、R值、F1分數、mAP值分別為92.16%、99.52%、95.70%、99.19%。相較于YOLOv4、YOLOv5、SSD、Faster R-CNN、Mask R-CNN五種算法，改進Mask R-CNN算法在P值上分別提升11.34%、6.82%、12.50%、13.26%、2.47%，在R值上分別提升2.97%、2.78%、3.55%、2.17%、0.99%，在F1分數上分別提升7.71%、5.02%、8.64%、8.54%、1.80%，在mAP值上分別提升6.18%、4.65%、4.09%、3.00%、0.95%。結果表明改進Mask R-CNN算法可以更好地識別出青菜中的小目標雜質，從而提高檢測的精度。雖然改進過程中增加了模型結構和大小，但改進Mask R-CNN算法的檢測速度比Mask R-CNN算法降低了1.22 FPS，為8.45 FPS，滿足生產線上檢測的條件。

同時由于Mask R-CNN相對于Faster R-CNN和YOLOv4，不僅可以檢測出雜質的檢測框，通過對檢測框進行語義分割，還能達到實例分割的效果，從而準確分割出雜質的具體位置，有利于機器定位出位置后對其進行后續操作。

2.4 改進算法的分割效果

為評價本文算法的分割性能，利用Mask R-CNN算法和改進Mask R-CNN算法進行分割性能評估，其性能對比如表3所示。

由表3可以看出，改進Mask R-CNN算法分割的P值、R值、F1分數、mAP值為91.80%、99.13%、95.32%、98.55%，較改進前的算法分別提升了1.85%、0.31%、1.15%、0.29%，由于Mask R-CNN算法的識別和分割是同時進行的，所以分割的速度和檢測的一樣。結果表明通過對特征網絡的改進，在一定程度上也提升了模型的分割效果。

為分析模型的分割效果，本文利用Mask R-CNN算法和改進Mask R-CNN算法對3種青菜雜質進行分割并對比其分割效果，其分割效果如圖6所示。結果表明Mask R-CNN算法對雜質邊緣分割不夠準確，輪廓略微不符，而改進Mask R-CNN算法對雜質邊緣較為準確，更能貼合雜質的輪廓。

3 結論

1） 針對青菜包裝加工中雜質檢測需求，本文提出一種基于Mask R-CNN的青菜雜質檢測模型，通過在Mask R-CNN目標檢測框架中加入協調注意力機制，同時添加全連接層和Dropout層，增強模型特征提取能力，減少過擬合。

2） 利用測試集對模型效果進行分析，對青菜雜質識別的準確率、召回率、F1分數、平均精度均值分別為92.16%、99.52%、95.70%、99.19%，相較于其他模型識別精度較高。對青菜雜質分割的準確率、召回率、F1分數、平均精度均值分別為91.80%、99.13%、95.32%、98.55%，分割效果較好，對測試集中圖像的檢測速度為8.45 FPS，可滿足生產線運輸速度的檢測要求。

3） 研究中采集的青菜品種單一，雜質種類較少，具有一定的局限性，在今后的研究中為了滿足實際生產的需求，增加更多品種的綠葉蔬菜圖像，并通過實地調查增加雜質的種類，建立更加完善的數據集；同時由于Mask R-CNN的檢測速度較慢，因此將在不影響檢測精度的基礎上，通過改進算法提升檢測速度。

參 考 文 獻

[ 1 ] 肖體瓊， 崔思遠， 陳永生， 等. 我國蔬菜生產概況及機械化發展現狀[J]. 中國農機化學報， 2017， 38（8）： 107-111.

Xiao Tiqiong， Cui Siyuan， Chen Yongsheng， et al. Development status of vegetable production and its mechanization in China [J]. Journal of Chinese Agricultural Mechanization， 2017， 38（8）： 107-111.

[ 2 ] 張學杰. 我國蔬菜及其加工出口產業發展狀況與對策[J]. 中國蔬菜， 2018（8）： 1-7.

[ 3 ] 羅印斌， 蔡艷麗， 蘭菡， 等. 農產品無損檢測方法應用現狀[J]. 食品工業科技， 2018， 39（15）： 340-344.

Luo Yinbin， Cai Yanli， Lan Han， et al. Application status of nondestructive testing methods for agricultural products [J]. Science and Technology of Food Industry， 2018， 39（15）： 340-344.

[ 4 ] 張猛， 張昕明， 高銘萱， 等. 基于紅外光譜的蘋果糖度無損檢測系統[J]. 電子技術與軟件工程， 2017（5）： 126.

[ 5 ] 王轉衛. 基于介電頻譜與光譜技術的水果內部品質無損檢測方法研究[D]. 咸陽： 西北農林科技大學， 2018.

[ 6 ] 李跑， 申汝佳， 李尚科， 等. 一種基于近紅外光譜與化學計量學的綠茶快速無損鑒別方法[J]. 光譜學與光譜分析， 2019， 39（8）： 2584-2589.

Li Pao， Shen Rujia， Li Shangke， et al. Nondestructive identification of green tea based on near infrared spectroscopy and chemometric methods [J]. Spectroscopy and Spectral Analysis， 2019， 39（8）： 2584-2589.

[ 7 ] 李尚科， 杜國榮， 丁勝華， 等. 近紅外光譜結合化學計量法快速無損鑒別燕麥[J]. 食品與機械， 2019， 35（2）： 72-76.

Li Shangke， Du Guorong， Ding Shenghua， et al. Rapid and non?estructive identification of different brands and inferior oats by near infrared spectroscopy combined with chemometrics methods [J]. Food and Machinery， 2019， 35（2）： 72-76.

[ 8 ] 胡雙齊. 生菜葉片重金屬鎘含量便攜式光譜無損檢測儀設計與試驗[D]. 鎮江： 江蘇大學， 2021.

[ 9 ] 孫濤. 超聲波技術在食品檢測中的應用分析[J]. 食品安全導刊， 2022（22）： 147-149.

Sun Tao. Application analysis of ultrasonic technology in food testing [J]. China Food Safety， 2022 （22）： 147-149.

[10] 王振， 謝寶源. 磁粉檢測方法在液壓震擊器缺陷檢測中的應用[J]. 工程技術研究， 2022， 7（14）： 99-101.

Wang Zhen， Xie Baoyuan. Application of magnetic particle detection method in defect detection of hydraulic jars [J]. Engineering and Technological Research， 2022， 7（14）： 99-101.

[11] 黃建平， 陳鏡旭， 李克新， 等. 基于神經結構搜索的多種植物葉片病害識別[J]. 農業工程學報， 2020， 36（16）： 166-173.

Huang Jianping， Chen Jingxu， Li Kexin， et al. Identification of multiple plant leaf diseases using neural architecture search [J]. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（16）： 166-173.

[12] 李亞文， 張軍， 陳月星. 基于K-means和特征提取的植物葉部病害檢測與實現[J]. 陜西農業科學， 2021， 67（6）： 33-37， 41.

Li Yawen， Zhang Jun， Chen Yuexing. Detection of plant leaf diseases based on K-means and feature extraction [J]. Shaanxi Journal of Agricultural Sciences， 2021， 67（6）： 33-37， 41.

[13] 陳自宏， 鄧干然， 崔振德， 等. 基于深度學習的農作物檢測識別研究現狀及展望[J]. 現代農業裝備， 2022， 43（2）： 2-7.

[14] Yuan Yuan， Chen Lei， Wu Huarui， et al. Advanced agricultural disease image recognition technologies： A review [J]. Information Processing in Agriculture， 2022， 9（1）： 48-59.

[15] Abbas S S Z， Samar M A， Asra A， et al. A survey of modern deep learning based object detection models [J]. Digital Signal Processing， 2022， 126.

[16] Solemane C， Bernard K， Dantouma K， et al. Deep learning for precision agriculture： A bibliometric analysis [J]. Intelligent Systems with Applications， 2022， 16.

[17] 謝麗娟， 戴犇輝， 洪友君， 等. 基于全卷積神經網絡的核桃異物檢測裝備設計與試驗[J]. 農業機械學報， 2022， 53（5）： 385-391.

Xie Lijuan， Dai Benhui， Hong Youjun， et al. Design and test of detecting system for impurities in walnut based on full convolutional neural network algorithm [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（5）： 385-391.

[18] Esgario G J， Krohling A R， Ventura A J. Deep learning for classification and severity estimation of coffee leaf biotic stress [J]. Computers and Electronics in Agriculture， 2020： 169105162-105162.

[19] 王春山， 周冀， 吳華瑞， 等. 改進Multi?cale ResNet的蔬菜葉部病害識別[J]. 農業工程學報， 2020， 36（20）： 209-217.

Wang Chunshan， Zhou Ji， Wu Huarui， et al. Identification of vegetable leaf diseases based on improved Multi?cale ResNet [J]. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（20）： 209-217.

[20] 孫哲， 張春龍， 葛魯鎮， 等. 基于Faster R-CNN的田間西蘭花幼苗圖像檢測方法[J]. 農業機械學報， 2019， 50（7）： 216-221.

Sun Zhe， Zhang Chunlong， Ge Luzhen， et al. Image detection method for broccoli seedlings in field based on Faster R-CNN [J]. Transactions of the Chinese Society for Agricultural Machinery， 2019， 50（7）： 216-221.

[21] 鐘昌源， 胡澤林， 李淼， 等. 基于分組注意力模塊的實時農作物病害葉片語義分割模型[J]. 農業工程學報， 2021， 37（4）： 208-215.

Zhong Changyuan， Hu Zelin， Li Miao， et al. Real?time semantic segmentation model for crop disease leaves using group attention module [J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（4）： 208-215.

[22] 鐘偉鎮， 劉鑫磊， 楊坤龍， 等. 基于Mask-RCNN的復雜背景下多目標葉片的分割和識別[J]. 浙江農業學報， 2020， 32（11）： 2059-2066.

Zhong Weizhen， Liu Xinlei， Yang Kunlong， et al. Research on multi?arget leaf segmentation and recognition algorithm under complex background based on Mask-RCNN [J]. Acta Agriculturae Zhejiangensis， 2020， 32（11）： 2059-2066.

[23] He K， Gkioxari G， Dollár P， et al. Mask R-CNN [J]. IEEE Transactions on Pattern Analysis amp; Machine Intelligence， 2017.

[24] 尚鈺瑩， 張倩如， 宋懷波. 基于YOLOv5s的深度學習在自然場景蘋果花朵檢測中的應用[J]. 農業工程學報， 2022， 38（9）： 222-229.

Shang Yuying， Zhang Qianru， Song Huaibo. Application of deep learning based on YOLOv5s to apple flower detection in natural scenes [J]. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（9）： 222-229.

[25] 岳有軍， 田博凱， 王紅君， 等. 基于改進Mask RCNN的復雜環境下蘋果檢測研究[J]. 中國農機化學報， 2019， 40（10）： 128-134.

Yue Youjun， Tian Bokai， Wang Hongjun， et al. Research on apple detection in complex environment based on improved Mask RCNN [J]. Journal of Chinese Agricultural Mechanization， 2019， 40（10）： 128-134.