基于Mask R-CNN的玉米干旱卷曲葉片檢測

安江勇，黎萬義，李茂松※

（1. 中國農業科學院農業資源與農業區劃研究所/農業農村部農業遙感重點實驗室，北京100081；2. 中國科學院自動化研究所，北京100190）

0 引言

旱災是主要的自然災害之一，隨著全球氣候變暖，旱災的強度和頻率逐漸增加［1-3］。干旱是影響玉米產量的主要因素之一，快速、及時的玉米干旱監測對保障玉米豐產穩產具有重要意義，傳統的干旱監測方法有土壤水分、農業氣象預報和人為診斷等，雖能對玉米干旱做出判斷，但具有滯后性［4-5］。在干旱脅迫下玉米植株表現出一系列的表型特征，如葉片萎焉、卷曲、顏色變化和植株生長緩慢等［6］。隨著計算機視覺和作物表型組學的發展，傳統機器學習和深度學習算法廣泛應用于農作物生物或非生物脅迫識別［7-8］，常用的圖像識別和分類算法是對一張圖像的內容進行識別和分類，然而在農業生產實踐中特別是大田條件下一幅圖像中包含多種生物或非生物脅迫，如不同的病蟲害、土壤水分分布不均，導致在大田條件下采集的同一幅圖像里既有適宜水分的植株，也有干旱萎焉的植株［9］。在一幅圖像中包含多物體、多目標情況下，受到復雜的圖像背景及多物體之間的相互影響，常用的圖像識別算法無法對圖像進行精確識別和分級。因此，常用的圖像識別算法如傳統機器學習（SVM，ANN，DT）或深度學習模型（AlexNet，GoogleNet，ResNet）在多物體識別中仍然存在問題。計算機視覺技術應用于生物或非生物脅迫的防災減災和監測預警中不僅要對圖像中生物或非生物脅迫進行正確的識別和分級，而且要對目標位置進行精確定位，以便采取合適和準確的防災減災措施，保障作物正常生長，提高作物產量水平。

目標檢測是使用計算機視覺中目標檢測算法對一幅圖像中目標物體進行識別、分類和定位。目標檢測算法既能識別出圖像中物體的類別，更進一步地分割出目標物體在圖像中的位置［10］。近年來隨著計算機視覺和人工智能的發展，目標檢測方法逐漸應用于農作物生物或非生物脅迫監測應用研究中。Xia等［11］使用深度學習模型對24種昆蟲進行識別，在模型中應用區域候選網絡（Region Proposal Network）對圖像進行處理生成目標候選窗口，試驗結果表明該目標檢測模型能得到很高的精度。Tian等［12］使用改進的YOLO模型對不同時期的蘋果進行檢測和定位，結果表明YOLO能很好地進行蘋果檢測和定位。Hasan等［13］在大田條件下獲取10個小麥品種的數字圖像，使用R-CNN對小麥麥穗進行精確的檢測和計數，通過計算小麥麥穗的密度對小麥產量進行預測。然而，盡管目前基于深度學習的目標檢測算法在農業領域已開展作物識別研究，但對農業生物或非生物脅迫識別方法研究較少。干旱是主要的非生物脅迫之一［1］。在干旱脅迫下，玉米水分代謝和光合作用受阻，玉米植株表現出葉片萎焉、發黃、卷曲、失去光澤等性狀，而葉片卷曲是玉米干旱脅迫表型中典型的表型特征［6］，在其他生長環境條件合適的情況下，玉米葉片卷曲可視為主要由干旱脅迫造成。因此，文章期望通過對玉米卷曲葉片的檢測實現玉米植株干旱精確識別，為玉米干旱脅迫的防災減災提供及時準確的監測信息，為精準灌溉提供技術支持，保障玉米豐產穩產。

1 材料與方法

1.1 供試材料

實驗采用盆栽控旱方法，在中國農業科學院農業資源與農業區劃所溫室內進行（39°57′39°N，116°19′18°E），共設置 2 個處理，即干旱處理和適宜對照。每個處理 8 盆，共16盆植株，將4盆植株分為一組獲取玉米圖像（2盆干旱玉米植株和2盆適宜對照玉米植株）。供試玉米品種為鄭單958［14］，該品種是我國目前種植面積最大的玉米品種，具有高產、穩產、抗倒、抗病、適應性廣的特點，綜合農藝性狀好，黃淮海地區夏播生育期96 d左右，株高240 cm，穗位高100 cm左右。供試土壤為潮土，土壤田間持水量為25%，基本理化性質為土壤全氮1.09 g/kg，堿解氮95.12 mg/kg，速效鉀130.50 mg/kg，速效磷25.81 mg/kg，有機質16.10 g/kg，pH 8.58，實驗所用花盆高29 cm，上緣直徑27.5 cm。

1.2 玉米圖像獲取

實驗設計在玉米拔節—抽穗期進行玉米植株數字圖像采集，圖像獲取時間2018年8月1—5日。采集圖像時將同一組的4株玉米植株放在一起，包括2盆干旱脅迫和2盆水分適宜植株，使用單反相機從玉米植株正上方獲取玉米圖像（圖1），圖像大小為5 184×3 456像素，共4組，每組處理獲取25張圖像，共獲取玉米數字圖像100張。圖像采集采用4臺單反相機，型號為EOS700D，有效像素1 800萬，CMOS感應器，鏡頭實際焦距f=18～135 mm，拍攝照片以JPG格式自動存儲SD卡中。每臺相機安裝品色282信號接收器用于自動獲取玉米圖像，相機距地面2.5 m，控旱期間自動獲取玉米圖像。

圖1 圖像獲取裝置及獲取的玉米圖像：a單反相機；b定時遙控器；c玉米圖像Fig.1 Image acquisition device and acquired maize image

1.3 Mask R-CNN模型

Mask R-CNN是基于Faster R-CNN架構提出的新型目標檢測網絡，Mask R-CNN是在Faster R-CNN基礎上增加了mask預測分支（Mask representation branch）和用RoIAlign取代RoI Pooling結構實現特征圖像與原圖像像素級對齊［15］。以前的目標檢測（Faster R-CNN）算法僅是對圖像中目標進行識別和定位，沒有加入實例分割，對農作物的檢測和定位不太準確。由于農作物中物體相互遮擋，環境條件復雜，而且農作物中病斑或者其他脅迫特征圖像往往區域很小，是不規則的圖形，如病蟲害，葉片卷曲等。目標檢測算法不僅要檢測物體，還對物體進行精細定位。在Faster R-CNN模型中使用RoI Pooling對特征圖進行池化操作，RoI Pooling在池化過程中對特征圖做了2次量化操作，特征圖在縮放過程中并不是按像素對齊的，所以當經過池化后的特征圖映射到原圖像時會有較大的偏差，導致目標檢測效果差，這對物體的分類沒有影響，但是對圖像的分割影響很大。因此該文采用Mask R-CNN對葉片卷曲進行檢測（圖2）。

圖2 Mask R-CNN模型結構 ［15］Fig.2 Mask R-CNN model structure

1.4 模型訓練流程及精度計算

如圖3所示，將實驗分為2個階段：（1）目標檢測模型的建立，包括圖像獲取、標注和檢測模型訓練，首先通過盆栽實驗獲取不同干旱等級的玉米植株圖像，然后使用LabelMe軟件對卷曲葉片進行標注［16］，并將標注好的圖像分為訓練集和測試集，圖像標注好后將訓練數據輸入Mask R-CNN進行訓練，最后得到玉米葉片卷曲檢測模型；（2）目標檢測模型測試，利用已訓練好的卷曲葉片檢測模型對測試圖像進行卷曲葉片檢測，得到卷曲葉片的數量、卷曲置信度、分割掩碼等檢測結果。

圖3 Mask R-CNN對玉米卷曲葉片檢測流程Fig.3 Flow chart of detection of maize rolled leaves by Mask R-CNN

將采集的圖像數據集隨機劃分為訓練集和測試集，其中80%為訓練集（80張），20%為測試集（20張），并在Mask R-CNN模型中進行訓練和驗證。在訓練過程中通過TensorFlow可視化工具TensorBoard來查看模型的收斂情況。當模型訓練好后用測試集對模型進行評估。采用不同IOU閾值（Intersection Over Union）對模型進行評估，計算模型的準確度（Precision），召回率（Recall），調和平均值（F1score）和均值平均精度（mAP）等評價指標，其計算公式為：

式（1）～（4）中，TP代表分類正確的正例，FP代表分類錯誤的正例，FN代表分類錯誤的反例，N代表圖像樣本數；Precision是模型的識別準確度，為正確檢測到的樣本占所有實際被檢測到樣本的比例；Recall是模型的召回率，為正確檢測的樣本數占應該檢測到樣本數的比例；F1score是準確度和召回率的調和平均數；mAP為Mask R-CNN模型對卷曲葉片檢測的均值平均精度。

該實驗將IOU閾值分別設置為0.5和0.75。IOU閾值可定義為葉片卷曲檢測模型中葉片卷曲真實標注框（Ground truth）和模型預測邊框（Prediction）的交集與卷曲真實標注框和模型預測框的并集的比值，其計算公式為：

式（5）中，G代表目標物體真實的邊框大小（Ground truth），P代表模型預測的目標物體邊框大小（Prediction）。在該實驗中葉片卷曲可視為二分類問題即對葉片卷曲和背景的識別。二分類問題可分為正例（Positive）和反例（Negative），如表1所示，TP和FP分別代表分類正確的正類和分類錯誤的正例，FN和TN分別代表分類錯誤的反例和分類正確的反例。

表1 葉片卷曲檢測模型判斷是否為卷曲的混淆矩陣Table 1 Confusion matrix for judging whether the leaf roll detection model is roll or not

1.5 圖像標注及圖像數據集的建立

使用Mask R-CNN對玉米卷曲葉片進行識別時，首先需要對卷曲葉片進行標注。該實驗使用LabelMe軟件對100張圖像的玉米卷曲葉片進行標注，由于玉米葉片是不規則的物體，因此標注時采用多邊形框實現精細標注，如圖4所示，每張圖像標注后生成一個JSON文件，JSON文件里包含了圖像標注的信息，包括目標物的位置坐標、目標物的類別標簽和圖像大小信息等。圖像標注后進行圖形的注釋，根據JSON文件內葉片卷曲標注的位置信息，使用OpenCV軟件分別畫出每個卷曲葉片的二值圖像，最后根據每個卷曲葉片的注釋信息和原始圖像生成Mask R-CNN所需格式的JSON文件，該文件包含了所有圖像的類別標簽，卷曲葉片的坐標信息等。

圖4 玉米植株圖像標注卷曲葉片Fig.4 Label rolled leaves with maize plant image

2 結果分析

2.1 定量評估

表2為葉片檢測模型在不同IOU閾值下對測試集20張玉米植株圖像葉片卷曲檢測的均值平均精度，準確度，召回率和F1score值。分析可知，在IOU閾值為0.5時，玉米葉片檢測的均值平均精度為74.35%，準確度，召回率和F1score分別為88.37%，45.83%和60.36%。而IOU閾值為0.75時，模型的均值平均精度，準確度，召回率和F1score分別為52.25%，74.92%，38.48%和50.85%。由于在其他條件一定的情況下，玉米葉片卷曲由干旱脅迫造成，因此檢測出有卷曲葉片的玉米植株可判定為受到了干旱脅迫。

表2 不同IOU閾值下Mask R-CNN葉片卷曲檢測模型對葉片卷曲檢測的精度比較Table 2 Accuracy comparison of Mask R-CNN rolled leaf detection model under different IOU thresholds

2.2 定性分析

Mask R-CNN進行玉米卷曲葉片檢測的結果如圖5所示，其中圖5a、圖5b和圖5c分別為測試集中隨機選取的3張玉米植株原始圖像，圖5a1、圖5b1和圖5c1分別為3張原始圖進行卷曲葉片標注結果，圖5a2、圖5b2和圖5c2分別為Mask R-CNN對3張原始圖進行卷曲葉片的檢測結果。從結果可知Mask R-CNN能很好地檢測玉米卷曲葉片，如圖5a1中共標注了12個卷曲葉片，Mask R-CNN檢測出了9個（圖5a2），檢測精度為75%；圖5b1中共標注了9個卷曲葉片，Mask R-CNN檢測出了9個卷曲葉片（圖5b2），檢測精度為100%；圖5c1中共標注了10個卷曲葉片（圖5c2），Mask R-CNN檢測出9個卷曲葉片，檢測精度為90%，在使用Mask R-CNN檢測玉米卷曲葉片時卷曲葉片檢測置信度高（表3），3個圖像樣本的卷曲葉片檢測置信度均在98%以上，絕大多數卷曲置信度為100%和99%。在IOU閾值為0.5時圖5a樣本的卷曲葉片檢測的均值平均精度，準確度，召回率和F1score分別為75%，90.9%，43.18%和58.55%；圖5b樣本檢測的均值平均精度，準確度，召回率和F1score分別為76.4%，86.6%，50.5%，63.8%；圖5c樣本的均值平均精度為78.9%，準確度，召回率和F1score分別為88.9%，48.2%，62.51%（表4）。

圖5 玉米葉片卷曲檢測圖：a/b/c原始圖像樣本；a1/b1/c1標注圖像；a2/b2/c2 Mask R-CNN模型檢測圖像Fig.5 Maize rolled leaf detection figures

表3 不同圖像樣本的卷曲置信度Table 3 Rolled confidence of different image samples

表4 IOU閾值為0.5時不同圖像樣本的檢測精度Table 4 Detection accuracy of different image samples at IOU threshold of 0.5

3 討論

干旱脅迫對作物生長造成嚴重影響，在干旱脅迫下作物發生一系列生理生化反應來抵御干旱脅迫對植株的傷害［17-19］，表現出葉片卷曲，失去光澤和萎焉等癥狀［20-21］，葉片卷曲是玉米干旱脅迫典型的表型特征［6］。近年來，隨著表型組學的發展，相關學者開展了基于葉片卷曲的玉米干旱脅迫診斷研究。如陳浩［21］使用數碼相機獲取大田條件下玉米的可見光圖像，使用矩形度，葉形比和圓度率3個參數來量化玉米葉片卷曲程度對不同抗旱性玉米干旱脅迫進行診斷；岳煥然等［22］通過獲取玉米俯視圖像，提取玉米葉片舒展和卷曲時的葉寬，使用玉米葉片的卷曲圈數來表征玉米的干旱等級。上述不同方法從不同的角度反映干旱脅迫下玉米葉片的卷曲狀況，然而此類方法首先需要對卷曲葉片進行分割等復雜的預處理工作，然后再計算葉片的卷曲度，無法對卷曲葉片進行直接定位，同時，此類方法卷曲程度的計算都是基于某一拍攝角度，因此在大田自然條件下難以實際應用。該研究直接以卷曲葉片為研究對象，使用目標檢測模型直接對干旱脅迫下玉米卷曲葉片進行檢測，該檢測方法不需要對卷曲葉片進行分割處理和計算卷曲程度，節約圖像預處理時間，在進行卷曲檢測時，能在圖像中直接對卷曲葉片進行定位和分割，由于在大田條件下玉米葉片雜亂交錯，葉片相互重疊，盡管對單一葉片進行手動分割并計算葉片卷曲程度能反映葉片的卷曲特征，但此類方法泛化能力較差，不同的拍攝視角會有不同的結果，然而目標檢測模型是基于葉片卷曲表型通過大量的數據訓練后直接對卷曲葉片進行檢測，模型具有更好的泛化能力，因此與已有研究相比使用卷曲葉片檢測方法對作物干旱進行識別在大田作物應用上具有更好的實用性

結果表明目標檢測模型在自然條件下能直接對玉米卷曲葉片進行檢測，同時分割出卷曲葉片的具體位置，具有快速、精確等特點，葉片卷曲檢測置信度在98%以上，均值平均精度為74.35%，表明基于Mask R-CNN模型的目標檢測方法能很好地對玉米卷曲葉片進行檢測和分割。模型在測試集上的卷曲檢測精度為74.35%，檢測精度不高的一個原因是訓練集數量較小，導致卷曲葉片的特征庫數量有限，自然條件下植株葉片形狀千變萬化且相互重疊遮擋，模型需要進行大量的學習才能應對復雜的條件。

4 結論

該研究通過采集玉米數字圖像，基于Mask R-CNN模型實現了對干旱脅迫下玉米卷曲葉片的目標檢測，對玉米干旱脅迫的及時和準確監測具有重要意義。該方法能直接對卷曲葉片進行定位和分割，使模型具有更高的置信度。然而該模型由于樣本量較小，檢測精度為74.35%，還需要在今后的研究中進一步提升。在后續研究中將獲取大田條件下不同品種、不同生育期、不同拍攝角度的玉米數字圖像，建立玉米卷曲葉片大數據集，同時標注更多的數據樣本，開發設計適用于干旱脅迫的目標檢測模型，使該模型通過對大數據樣本的學習，提高精度。同時，為了提高實際應用能力，將卷曲葉片檢測模型開發成相應的APP安裝在移動設備如無人機和智能手機上，為玉米干旱識別提供行及時、準確和大范圍的實時監測信息。此外，目標檢測算法也可用于農業生物、非生物脅迫和作物表型等方面的研究，如病蟲害的檢測等。