基于Mask R-CNN的玉米苗與株芯檢測方法

張偉榮，溫浩軍,2，譙超凡，汪光巖

(1.石河子大學機械電氣工程學院，新疆石河子 832000；2.農業農村部西北農業裝備重點實驗室，新疆石河子 832000)

0 引 言

【研究意義】玉米是我國北方地區的主要糧食作物[1]，傳統農業機械智能化水平較低[2]。精準施肥技術能夠區分施肥對象與土壤背景，根據作物特征調整施肥量，有效降低化肥量的使用，對節約作業成本和減少環境污染有重要意義[3]。精準對靶施肥通過實時檢測來定位每一株玉米的位置，通過施肥器對單株玉米進行定點施肥，減少了施肥量并有效提高化肥的利用率。【前人研究進展】應用機器視覺或者深度學習的方法在果園果實檢測[4-6]、田間作物病蟲害檢測[7-9]、識別作物及雜草[10-12]等均有研究。苗榮慧等[13]基于圖像分塊及重構的方法，識別菠菜重疊葉片雜草，平均識別率達到83%以上。胡煉等[14]利用超綠色法2G-R-B結合Otsu法對進行處理，隨后利用行與列的像素累加曲線和正弦波曲線等方法擬合識別出作物及定位棉苗和生菜苗的質心位置。魏帥均等[15]利用超綠因子與Otsu法分割出苗期玉米植株，并結合水平集法與分治法，俯視圖像識別單株玉米冠層的株心，但是該方法田間適用性較差。孫哲等[16]對數據集訓練了Faster R-CNN模型，對自然環境下的西蘭花幼苗進行有效檢測，確定了最優的特征提取網絡為ResNet101。宗澤等[17]基于Faster R-CNN算法和差分內積線性特性改進質心檢測算法對玉米冠層進行識別與質心定位計算，但無法計算玉米苗的葉面積信息。【本研究切入點】目前部分相關研究的方法大部分適用于靜態環境下，達不到田間作業實時性與準確性的要求，沒有計算出作業對象的葉面積信息，田間實際作業環境下玉米苗與株芯識別精度低。研究田間實際作業環境下，玉米苗葉面積計算與株芯識別的圖像分割方法。提高株芯識別精度對于田間實際作業情況下的精準施肥具有重要意義。【擬解決的關鍵問題】采集田間實際作業環境下玉米苗俯視圖像，以不同特征提取網絡的Mask R-CNN圖像分割算法，獲取適應不同光照強度及有無苗草交叉重合的最優卷積主干網絡，構建玉米苗葉面積提取與株芯識別精度最優的檢測模型，為對靶精準施肥技術提供理論基礎。

1 材料與方法

1.1 材 料

1.1.1 圖像采集與預處理

圖片采集設備為FLIR BFS-U3-32S4C-C彩色工業相機，最大分辨率為2 048×1 536像素。當玉米幼苗處于2～5葉時，分別采集有無伴生雜草的陰天和晴天兩種不同的光照條件下的玉米苗圖像。拍攝時相機離地高度約為50 cm，角度設置為垂直地面，以減輕陽光和反射對圖像清晰度的影響。采集不同生長階段田間玉米苗圖像共650張。圖1

1.1.2 圖像數據預處理

將原圖像尺寸2 048×1 536等比例縮放為800×600，在訓練深度學習模型時，采用包括加噪聲、隨機模糊、平移、水平與垂直鏡像、對角翻轉等數據擴增方法。數據增強技術加快了數據集的構建，增加模型訓練的魯棒性和泛化能力，降低過擬合的可能性，得到1 800張擴增后的幼苗數據集。

將數據集圖像按照7∶2∶1的比例隨機劃分為訓練集1 260張、驗證集360張及測試集180張。訓練集用來進行特征提取和訓練模型參數，驗證集用來對模型進行參數優化，測試集用來評估訓練后模型的性能。將整體樣本按照COCO數據集格式使用labelme[18]圖像標注工具對圖像進行手工標注，生成玉米苗和株芯的蒙版圖像及對應的json文件。圖2

1.1.3 試驗環境

模型訓練平臺為臺式計算機，軟件操作系統采用Ubuntu18.04，處理器為Intel(R) Core(TM)i7-9700K，主頻4.20 GHz，硬盤2T，內存32G，顯卡NVIDIA Geforce RTX 2080Ti。采用了基于PyTorch的Detectron2框架，同時采用CUDA 10.2對訓練過程進行加速，使用Mask R-CNN在COCO數據集上預訓練模型的遷移學習方法以減少訓練時間。

1.2 方 法

1.2.1 圖像分割算法

Mask R-CNN[19]是一種經典的圖像分割算法，可以檢測圖像中的目標對象并標記對象區域輪廓，提取相關的像素進行面積計算。采用此算法識別玉米芯具體位置和冠層面積的大小。

Mask R-CNN 結合了用于目標檢測的Faster R-CNN[20]和用于語義分割的全卷積網絡FCN[21]。在Faster R-CNN檢測到目標的基礎上，將FCN用于掩碼預測，邊界回歸和分類。Mask R-CNN模型的框架，主要包括以ResNet/ResNeXt為卷積主干的特征提取層、區域建議網絡(Region proposal network，RPN)、雙線性插值(ROIAlign)以及全連接FC和全卷積網絡FCN。利用殘差網絡(Residual network，ResNet)和特征金字塔網絡(Feature Pyramid Network，FPN)對輸入圖像進行特征提取并生成多尺度特征圖(Feature Map)。將輸出的特征圖發送到區域提議網絡(RPN)以生成正負樣本，選出玉米苗上的感興趣區域(Region of interest，RoI)。映射從RPN輸出的ROI到特征圖后，ROIAlign層進一步對特征圖進行像素校正以提取共享特征圖中的相應目標特征，分別輸出到全連接層FC和全卷積網絡FCN，以進行目標分類和實例分割，完成分類分數、邊界框、分割蒙版以及像素值的計算。圖3

1.2.2 改進卷積主干網絡

輸入的圖片通過骨干網絡提取多尺度特征圖，其骨干網絡由殘差網絡ResNet和特征金字塔網絡FPN組成。ResNet[22]是一種借鑒了跨層連接的深度殘差卷積網絡，采用ResNeXt[23]作為特征提取網絡的Mask R-CNN圖像分割算法，實現對玉米苗及株芯的識別、檢測與分割。

ResNeXt網絡模型是在ResNet基礎上改進的，吸收了VGG[24]堆疊重復網絡層的優點以及Inception[25]網絡拆分-轉換-合并的思想。ResNeXt的本質是分組卷積(Group Convolution)，通過變量基數(Cardinality)來控制組的數量，用一種平行堆疊且相同拓撲結構的塊替代原來ResNet三層卷積的塊。在ResNeXt中，拆分-轉換-合并的形式可表示為

(1)

其中，C表示基數，指一個模塊中具有相同拓撲分支的數量，Ti(x)表示具有相同拓撲結構的每個分支的變換。圖4

1.2.3 損失函數

Mask R-CNN的損失函數有3部分組成：邊界框的分類損失，邊界框的位置回歸損失及掩膜損失。網絡中每個樣本ROI的損失函數L為

L=Lbox+Lcls+Lmask.

(2)

其中，有3部分組成：Lbox為分類計算損失，Lcls為邊界框的位置回歸損失，Lmask為掩膜計算損失。邊框損失函數、分類計算損失如式及掩膜計算損失如下式所示，

(3)

(4)

(5)

(6)

1.2.4 評估指標

使用平均準確度均值(Mean Average Precision，mAP)作為評估訓練模型精度的指標。mAP是用于預測目標位置和類別的算法性能指標，指的是多個類別平均精度(Average Precision，AP)的平均值，較高的mAP值表明該模型更好。圖像分割中，每一類都可以根據準確率P(Precision)和召回率R(Recall)繪制一條曲線，精確率均值AP就是該曲線下的面積。多個指標的計算公式如下：

(7)

(8)

(9)

(10)

其中，TP表示被正確預測為正樣本的數量，FP表示負樣本被預測為正樣本的樣本數量，FN表示正樣本被預測為負樣本的樣本數量，k表示類別的數目；P指準確率，指正確檢測到的樣本占所有實際被檢測到樣本的比例；R指召回率，指正確檢測的樣本數占應檢測到樣本數的比例。

孟欣欣等[26]為了更好評價Mask R-CNN模型對圖片的分割效果，引入了分割精度(SA)，公式為：

(11)

其中RS表示測試圖像中目標的實際像素點個數，TS表示測試圖像中分割算法計算得到的像素點個數。分割精度均值(mSA)定義如下：

(12)

其中n表示測試圖像的數量。

2 結果與分析

2.1 主體卷積網絡性能

研究表明，在訓練階段，在迭代過程中4個模型的整體損失都呈整體下降趨勢，其中以ResNeXt-FPN為卷積主干網絡的檢測模型總體訓練損失值要低于相同殘差層數的ResNet-FPN卷積主干網絡，ResNeXt50-FPN要低ResNet50-FPN，ResNeXt101-FPN要低于ResNet101-FPN。ResNeXt101-FPN卷積主干Mask R-CNN的mAP為0.547，這表明其具有最佳的分割性能；其次為ResNet101-FPN，而ResNeXt50-FPN稍低于ResNeXt101-FPN，高于ResNet50-FPN。ResNeXt卷積主干網絡在ResNet基礎上引入了拆分-轉換-合并思想和分組卷積后，整體上提高了分割模型的性能。隨著模型主干網絡性能的提升，模型的復雜度和圖片平均檢測時間會有所增加，具有ResNet101-FPN與ResNeXt101-FPN卷積主干的Mask R-CNN算法對每幅圖像的檢測時間分別為61 ms與67 ms，可以滿足田間作業的實時性。優先采用整體損失值最低的ResNeXt101作為卷積主干網絡。圖5，表1

表1 識別模型中不同卷積主干網絡的試驗Table 1 Test results of different convolutional backbone networks in the recognition model

2.2 檢測性能

2.2.1 不同光照強度下玉米苗/玉米芯的檢測

研究表明，在不同光照條件下，ResNeXt101-FPN卷積主干網絡模型的玉米苗和玉米芯識別精度較高。與ResNeXt101-FPN相比，在陰天較弱光照條件下，玉米苗的識別精度高了6.7%，玉米芯的識別精度持平；在晴天較強光照條件下，玉米苗識別精度持平，玉米芯識別精度高了2.7%。玉米苗識別不成功的原因主要是圖片中玉米苗的冠層輪廓不完整，導致分割模型對不完整玉米苗的輪廓識別率較低；玉米芯受到部分遮擋、晴天天氣下的陰影與玉米芯顏色相近的情況都會導致玉米芯無法識別或誤識別的情況發生。

ResNeXt101-FPN作為卷積主干的模型分割精度比ResNet101-FPN要高。晴天較強光照下的分割精度略低，主要原因在于晴天天氣下玉米苗在其邊緣處產生的陰影會影響葉片的邊緣處輪廓分割，模型會將與葉片邊緣的部分陰影分割為葉片的一部分，造成過度分割。在不同光照強度下，原始分割模型的平均分割精度值為96.9%，分割模型平均分割精度值則為98.2%，比原始模型的平均分割精度均值提高了1.3%，Mask R-CNN模型對不同光照強度的圖像有著更好的分割效果。(a1-a4 代表原圖，b1-b4 代表原始的以 ResNet101-FPN 為卷積主干的模型檢測結果，c1-c4代表以 ResNeXt101-FPN 作為卷積主干的模型檢測結果。兩種模型檢測結果顯示陰天較弱光照下的b1、c1、b2、c2或者晴天較強光照下b3、c3、b4、c4的玉米苗圖像)。表2，表3，圖6

表2 不同光照強度下的目標分割像素Table 2 Target segmentation pixel statistics table under different light intensity

表3 不同光照強度下的像素計算誤差對比Table 3 Comparison of pixel calculation errors under different light intensity

2.2.2 有伴生雜草情況下玉米苗/玉米芯的檢測

研究表明，對于陰天較弱光照或者晴天較強光照條件下有伴生雜草的玉米苗圖像，2種模型的檢測效果較好，采用的模型對玉米苗葉片和玉米芯的葉面積及邊界框位置有著更高的準確度。(a1-a4 代表原圖，b1-b4 代表原始的以 ResNet101-FPN 為卷積主干的模型檢測結果，c1-c4 代表以 ResNeXt101-FPN 作為卷積主干的模型檢測結果。 a1-c1及a2-c2代表圖像中有伴生雜草但苗草不存在交叉情況的玉米苗檢測結果，a3-c3及a4-c4代表圖像中有伴生雜草且苗草存在交叉情況的玉米苗檢測結果)。圖7，圖8

當有伴生雜草時，2個模型的識別準確率相比無伴生雜草分別下降1.45%和0.74%。在相同的光照條件下，當伴生雜草與玉米苗存在有交叉重合情況時，2個模型的識別精度均有下降。在陰天較弱光照條件下，2個模型在無交叉情況下的玉米苗和玉米芯檢測精度比有交叉情況平均要高1.9%和5.3%；在晴天較強光照條件下，無交叉情況下要比有交叉情況平均要高1.1%和0.4%。在伴生雜草與玉米苗存在交叉重合和不存在交叉重合情況下，陰天較弱光照和晴天較強光照下的ResNeXt101-FPN模型的平均識別準確率比ResNet101-FPN模型高2.4%和3.7%。表2，表4

表4 不同光照強度下有伴生雜草的目標識別成功率Table 4 Target recognition success rate with associated weeds under different light intensities

研究表明，與陰天較弱光照和苗草無交叉情況下對比，晴天較強光照與苗草有交叉情況下模型的分割精度均較低，且晴天苗草有交叉重合的情況下模型的分割精度最低。當伴生雜草和玉米苗有交叉重合的情況時，由于玉米苗與雜草邊緣的交界處存在高度相似性，使得模型對玉米苗的邊緣輪廓分割精度變差，模型容易把邊緣重合處的部分雜草識別為玉米苗輪廓的過度分割及無法識別邊緣重合處玉米苗的不完整分割。尤其在晴天的較強光照條件下，陽光投射的陰影更會加大玉米苗邊緣輪廓的分割難度。表5

表5 不同光照強度下有伴生雜草的目標分割像素Table 5 Pixel statistics table of target segmentation with associated weeds under different light intensities

在不同光照強度和有無苗草交叉重合情況下，原始分割模型的平均分割精度值為96.8%，以ResNeXt101-FPN卷積主干網絡模型平均分割精度值則為97.9%，分割模型比原始模型的平均分割精度均值提高了1.1%，Mask R-CNN分割模型對不同光照苗草交叉重合情況下的圖像有著更好的分割效果。

3 討 論

3.1對玉米苗冠層面積信息的提取關系到對靶施肥化肥使用量的大小，株芯的識別與定位則是能否精準對靶的關鍵，通過分析前人利用機器視覺或深度學習算法提取玉米苗冠層和株芯的方法，得知目前研究對于農田作物信息的獲取不夠全面，無法滿足田間實際環境精準作業的要求。

3.2對比Zong Z[27]等基于機器視覺的玉米株芯定位方法來進一步驗證研究方法的有效性，在有伴生雜草與玉米苗有交叉重合的情況下，討論算法玉米芯識別精度為94.7%，高于文中基于灰度的最小交叉熵法算法的玉米株芯識別率88.37%。研究方法具有較高的識別速度和較高的魯棒性，而且討論使用的分割算法還能實時計算玉米苗的冠層面積，可針對單株玉米苗冠層葉片面積大小進行變量施肥，基本滿足大田復雜光照及背景的實時檢測及對靶施肥需求。

3.3但該方法仍存在一些不足：(1)雖然對于陰天較弱光照及晴天較強光照下的目標識別準確率都比較高，但是對于晴天天氣下的陰影導致玉米苗部分邊緣區域分割不理想；(2)對于伴生雜草與玉米苗有交叉重合的情況，由于玉米苗邊緣與雜草存在一定程度的顏色相近與邊緣重合，模型準確率也有一定下降，尤其是晴天天氣下且伴生雜草與玉米苗有交叉重合時，模型更易把苗株邊緣重合的雜草部分識別為玉米苗。后期需要對模型進行進一步優化改進來解決上述遇到的問題，需要未來進一步探討。

4 結 論

通過Mask R-CNN模型特征提取網絡的改進，提取了田間實際情況下的玉米苗葉面積與株芯等關鍵信息。在強光照條件下的識別精度下降問題得到基本解決，不同光照強度下無伴生雜草的平均識別精度高于95.5%，分割精度達98.1%；在有伴生雜草與玉米苗有交叉重合情況下，改進后的分割算法比原始算法的分割精度均值有所提高，識別精度高于94.7%，分割精度達97.9%。