基于RGB圖像與深度學習的冬小麥田間長勢參數估算系統

李云霞，馬浚誠，劉紅杰，張領先※

基于RGB圖像與深度學習的冬小麥田間長勢參數估算系統

李云霞1，馬浚誠2，劉紅杰3，張領先1※

（1. 中國農業大學信息與電氣工程學院，北京 100083；2. 中國農業科學院農業環境與可持續發展研究所，北京 100081；3. 河南省商丘市農林科學院小麥研究所，商丘 476000）

為準確、快速獲取冬小麥田間長勢信息，該研究設計并實現了一種基于深度學習的冬小麥田間長勢參數估算系統。該系統主要包含長勢參數估算模塊和麥穗計數模塊。長勢參數估算模塊基于殘差網絡ResNet18構建長勢參數估算模型，實現了冬小麥苗期葉面積指數（Leaf Area Index，LAI）和地上生物量（Above Ground Biomass，AGB）的估算，并基于遷移學習進行泛化能力測試；麥穗計數模塊基于Faster R-CNN并結合非極大值抑制（Non Maximum Suppression，NMS）構建麥穗計數模型，實現了開花期麥穗準確計數。結果表明，針對2017—2018和2018—2019兩個生長季數據，基于ResNet18的長勢參數估算模型對LAI估算的決定系數分別為0.83和0.80，對AGB估算的決定系數均為0.84，優于基于傳統卷積神經網絡（Convolutional Neural Networks，CNN）、VGG16和GoogLeNet構建的估算模型，并且泛化能力測試表明該模型對數據的季節性差異具有魯棒性。基于Faster R-CNN的麥穗計數模型，在利用NMS優化后決定系數從0.66增至0.83，提升了25.8%，NRMSE從0.19降至0.05，下降了73.7%。相較于基于CNN構建的分類計數模型，基于Faster R-CNN+NMS的麥穗計數模型表現更優，決定系數為0.83，提升了33.9%，單個麥穗識別時間為1.009 s，效率提升了20.7%。綜上所述，該系統能夠滿足冬小麥田間長勢參數估算需求，可為冬小麥田間精細化管理提供支撐。

機器視覺；圖像處理；模型；冬小麥；深度學習；葉面積指數；地上生物量；麥穗計數

0 引 言

冬小麥是中國重要的糧食作物。根據國家統計局數據顯示，冬小麥播種面積約占中國小麥播種總面積的93.5%，年產量約占小麥年產總量的95%，對中國糧食安全具有重要意義[1]。精細化的田間管理和優良品種培育是提高冬小麥產量和品質的必要手段，通過冬小麥長勢的無損檢測，可為冬小麥的栽培育種工作提供豐富的數據支撐。冬小麥苗期（拔節前）是奠定生長趨勢和籽粒產量的重要時期[2]。這一階段冬小麥葉片生長迅速，生物量快速累積，因此，葉面積指數（Leaf Area Index，LAI）和地上生物量（Above Ground Biomass，AGB）可以充分反映苗期冬小麥的長勢[3-4]。冬小麥進入開花期后，麥穗的發育已基本完成，穗數是表征這一階段冬小麥長勢的關鍵參數，同時也是評估冬小麥種質和產量的關鍵因素[5]。此外，穗數對冬小麥的營養診斷和病害識別也具有一定指導意義[6]。因此，通過監測冬小麥關鍵生育期的長勢參數，能夠掌握冬小麥的生長狀況，進而優化田間管理方式，培育高產優質品種，具有良好的實際意義。

冬小麥長勢參數的傳統測量方法是直接測量，往往需要破壞性采樣，不但耗費大量的人力、物力且效率較低，不能滿足高通量、自動化的冬小麥長勢監測需求[3-4]。在作物長勢無損檢測方面，國內外許多學者利用遙感數據開展作物長勢參數反演[3,7-9]以及產量預測研究[7,10-12]，例如，Wu等[3]利用合成孔徑雷達（Synthetic Aperture Radar，SAR）遙感數據進行冬小麥LAI反演，Fernandez-Gallego等[7]利用無人機圖像進行小麥麥穗計數，王麗愛等[8]利用衛星HJ-CCD的影像實現大田尺度下小麥LAI反演，Xie等[11]利用衛星圖像進行冬小麥產量估算。基于遙感數據的長勢參數反演方法優勢在于能夠實現大面積的監測及決策支持。然而，遙感數據獲取易受天氣、地形的影響且需要專用設備，靈活性不足[4]。此外，遙感數據的后期處理相對復雜[13]。目前，計算機視覺技術迅猛發展，廣泛應用于農業生產的多個領域，病蟲害診斷[14]、作物長勢監測[15-17]、植物圖像分割[18]等成為了作物長勢參數無損檢測的有效工具之一。為降低數據采集成本并提高數據獲取的靈活性，一些學者利用數碼相機采集高分辨率數字圖像，然后將數字圖像應用于作物長勢參數獲取[17,19-20]、病害識別[21]等領域。Fernandez-Gallego等[19]利用數字圖像構建冬小麥麥穗計數模型，鄧繼忠等[21]基于數字圖像實現小麥腥黑穗病的識別，但這些研究中通常涉及較為復雜的圖像預處理過程，如去噪、分割和特征提取等，易受環境噪聲和主觀意識的影響，準確率有待進一步提升[22]，而深度學習技術能夠有效解決上述問題。卷積神經網絡（Convolutional Neural Networks，CNN）是目前應用最廣泛的深度學習模型之一，其以圖像為輸入，自主學習圖像特征，克服了圖像特征人工提取的局限性，在作物長勢參數獲取[4,20]、品質檢測[23]、麥穗計數[5,24]等多個農業領域得到了廣泛應用。馬浚誠等[4,20]將CNN和可見光圖像結合構建冬小麥LAI和AGB估算模型，張領先等[24]基于分類思想設計了基于CNN的冬小麥麥穗檢測計數系統，在田間環境下實現對冬小麥麥穗的識別計數。上述研究雖然取得了一定的效果，但在估算的準確率、效率和泛化能力等方面需要進一步提升。殘差網絡（Residual Neural Network，ResNet）[25]是目前最先進的卷積神經網絡模型之一，ResNet18、ResNet50均是代表性網絡結構。ResNet具有更深網絡結構，并且殘差模塊的引入與使用大幅度降低了模型的參數量[26-28]，有效克服了目前卷積神經網絡應用中參數量大、計算成本高的問題。

綜上，本研究基于ResNet18和RGB圖像開展冬小麥關鍵生育期長勢參數估算系統研究。該系統針對冬小麥苗期LAI和AGB的估算，改進ResNet18的網絡結構，基于2017—2018生長季和2018—2019生長季連續2個生長季的冬小麥田間圖像數據構建估算模型；針對冬小麥開花期麥穗計數，以ResNet50為特征提取網絡，結合基于區域的更快速卷積神經網絡（Faster Region-based Convolutional Neural Networks，Faster R-CNN）和非極大值抑制（Non Maximum Suppression，NMS）構建開花期麥穗計數模型。

1 材料與方法

1.1 試驗數據采集

1.1.1 圖像數據采集

本研究試驗在河南省商丘市農林科學院小麥試驗基地開展。試驗設置了12個長×寬為2.4 m×5 m的試驗小區。在每個試驗小區內設置3個互不重疊、大小為1 m×1 m的圖像采樣區，用白色邊框標出。試驗共采集了2017—2018和2018—2019連續2個生長季的高分辨率冬小麥冠層圖像數據及其相應的田間采樣數據。2017 —2018生長季的冬小麥播種時間為2017年10月14日，試驗人員在該生長季中共進行了17次數據采集；2018—2019生長季的冬小麥于2018年10月15日播種，試驗人員共進行了20次數據采集。冬小麥冠層圖像采集于晴天或少云天氣，采集時間為上午9:00—11:00。圖像數據采集設備為數碼相機（EOS 600D，Canon，佳能中國），圖像采集時保持相機閃光燈關閉且不使用光學變焦，鏡頭垂直向下，與地面保持1.5 m的垂直距離。采集的冬小麥冠層圖像原始大小為5 184×3 456（像素），并保存為.jpg格式。

2017—2018生長季共采集冬小麥苗期冠層圖像612張，2018—2019生長季共采集冬小麥苗期冠層圖像720張，圖像示例如圖1a所示。2017—2018生長季開花期麥穗圖像采集日期為2018年5月2日，共采集麥穗圖像36張，2018—2019生長季開花期麥穗圖像采集日期為2019年5月5日，共采集麥穗圖像36張，圖像示例如圖1b所示。

1.1.2 田間測量數據采集

LAI和AGB田間采樣與圖像采集同時進行，采用田間采樣和實驗室測量的獲取方法。在試驗小區的非圖像采集區（即白色框外）隨機采集5株冬小麥樣本，按照試驗小區標號裝入試驗紙袋并帶回實驗室進行測量。冬小麥LAI的計算方法如式（1）所示。

測算過程中需從冬小麥樣本植株葉片上截取長度為5 cm的樣本葉片，然后將樣本葉片緊密排列并測量葉寬，最終獲得樣本葉片面積。隨后，將樣本葉片和冬小麥樣本植株葉片剩余部分分裝在不同試驗紙袋，在70 ℃[29-30]下烘干至質量恒定不變，然后使用精度為0.001的天平稱獲取樣本葉片質量和葉片總質量。完成LAI的測量后，將冬小麥樣本剩余部分在70 ℃下烘干至質量恒定，然后進行稱量，通過式（2）計算獲得AGB的實際值。

式中W為樣本植株剩余部分干質量，g。

麥穗數測量值以基于圖像的人工計數方法獲取，采用統一的麥穗計數標準，由5位具有相關農學背景工作人員分別計數后，取平均值作為該圖像對應的麥穗數測量值。

1.1.3 數據擴充與數據集構建

分別構建苗期冠層圖像數據集和開花期麥穗數據集。針對冬小麥苗期冠層圖像，將圖像大小統一調整為224×224（像素）后，按照2∶1的比例將2017—2018生長季圖像數據劃分為訓練驗證集408張圖像和測試集204張圖像。為進一步豐富試驗數據，降低過擬合現象的可能性，以旋轉、翻轉和明度調整的方式對訓練驗證集數據進行擴充[20]。訓練驗證擴充數據集由3個部分組成：1）初始的訓練驗證圖像數據；2）旋轉、翻轉后的圖像數據，旋轉角度選取90°、180°和270°，翻轉包括水平和垂直兩個方向；3）明度調整的圖像數據，以2）中的圖像數據為基礎，將其顏色空間從RGB（Red，Green，Blue）顏色空間轉為HSV（Hue，Saturation，Value）顏色空間，在明度（Value，V）通道將其值上下調整10%和20%。最終，通過上述擴充方法，訓練驗證集擴充了26倍。

麥穗計數試驗的數據集包含冠層圖像和對應的標簽數據兩部分。麥穗標簽采用MATLAB自帶的Image Labeler進行矩形標注，獲得與圖像相對應的標記數據。將采集的冠層圖像統一調整為2 500×2 500（像素），按照2∶1的比例劃分為訓練驗證集48張圖像和測試集24張圖像。將訓練驗證集的圖像進一步處理，從每張圖像中隨機提取2～3張相互不重疊、且大小為640×640（像素）的目標檢測試驗圖像，從而構建包含100張圖像的訓練驗證圖像數據集，然后將訓練驗證圖像以及相對應的標簽數據按照6∶4劃分為訓練集60張圖像和驗證集40張圖像，用于訓練麥穗計數模型。測試集的初始圖像不做處理。

1.2 長勢參數估算模型設構建

1.2.1 葉面積指數（LAI）和地上生物量（AGB）估算模型構建

苗期長勢參數估算包括對LAI和AGB的估算。本研究基于ResNet18構建冬小麥苗期長勢參數估算模型。ResNet18是目前應用最廣泛的殘差網絡模型之一，具有參數量少、準確率高的優點，且具有良好的訓練效率[31]。本研究利用遷移學習方法對ImageNet數據庫上預訓練的ResNet18進行改進，保留ResNet18在ImageNet數據庫上預訓練的權重，將原網絡中與分類任務相關的Softmax層和分類層替換為全連接層和回歸層。其中，全連接層中神經元數量設置為2，輸出結果為冬小麥LAI和AGB，權重學習率因子和偏差學習率因子設置為10，以增加遷移學習后網絡學習的速率。模型訓練優化器采用動量隨機梯度下降法，初始學習率為0.000 01，批處理大小設置為32，最大訓練輪數設為300[4]，其中初始學習率為模型可以收斂的最大學習率。改進后的冬小麥苗期長勢參數估算模型網絡結構如圖2所示。

1.2.2 麥穗計數模型構建

Faster R-CNN是目前應用廣泛且準確率較高的目標檢測算法之一[26]，非極大值抑制（Non Maximum Suppression，NMS）是優化目標檢測的有效算法之一。本研究基于Faster R-CNN構建冬小麥麥穗計數模型，并以NMS進行麥穗計數結果優化，實現對冬小麥麥穗的準確計數。麥穗計數方法主要包含5個步驟，如圖3所示，1）特征提取：輸入為整張圖片，輸出為提取出的特征圖（Feature maps）；2）候選區域獲取：特征圖輸入候選區域網絡（Region Proposal Network，RPN）輸出為候選區域（Region proposals）；3）候選區域特征圖獲取：候選區域和特征圖共同輸入感興趣區域（Regions of Interest，ROI）池化層，輸出候選區域特征圖；4）分類與回歸：通過分類和邊框回歸，輸出候選區域類別，和候選區域在圖像中的位置，進而實現目標麥穗的分類；5）通過非極大值抑制（NMS）優化，實現麥穗準確計數。模型訓練時采用動量隨機梯度下降法，初始學習率為0.001，是模型可以較好收斂的最大學習率，批處理大小設置為1，最大訓練輪數設為10。麥穗目標檢測時，負重疊參數設置為[0, 0.3]，正重疊參數設置為[0.6, 1][5]。

NMS算法中的置信度分數（）和交并比（Intersection over Union，IoU）是2個重要參數。置信度分數（）表示標記框內目標是麥穗的概率，值越高表示該標記框中目標是麥穗的概率更高，IoU表示同一麥穗不同標記框之間的重疊程度，IoU值越大，則兩個標記框之間的重疊程度越大。本研究通過對和IoU取值的設置，優化麥穗識別準確率，進而實現麥穗的準確計數。

1.2.3 評價指標

本研究以決定系數（coefficient of determination，2）、均方根誤差（Root Mean Square Error，RMSE）、歸一化均方根誤差（Normalized Root Mean Square Error，NRMSE）作為模型性能的評價指標。2表示估算值與實測值之間的擬合程度。RMSE用于測量估算值與實測值之間的誤差。NRMSE是RMSE的歸一化處理，以RMSE的值除以實測值平均數的計算方法獲得，可以更直觀地體現模型性能的變化。2越高，RMSE和NRMSE越低表示估算值與實測值之間吻合度越高，估算結果越準確。

1.3 長勢參數估算系統設計

基于圖像處理與深度學習，本研究設計并實現冬小麥關鍵生育期長勢參數估算系統，該系統以田間采集的冬小麥冠層RGB圖像為輸入，以長勢參數為輸出，實現對表征冬小麥長勢的LAI、AGB和麥穗數的估算。

該系統采用MATLAB 2019b編程實現。硬件環境為Intel Xeon處理器，32 GB內存，英偉達Quadro系列顯卡NVIDIA Quadro P4000。系統主要分為4個功能模塊：圖像采集模塊、苗期長勢參數估算模塊、麥穗計數模塊和系統管理模塊。依據系統設計目標和主要功能需求，冬小麥長勢參數估算系統結構與功能設計如圖4所示。其中，圖像采集模塊主要功能是將田間環境下采集的高分辨率冬小麥冠層RGB圖像導入系統并根據需求進行裁剪，系統將剪裁后的圖像數據存入服務器，以便于進行長勢參數估算；苗期長勢參數估算模塊主要功能是運行苗期長勢參數估算模型，對上傳的圖像數據進行運算，實現采樣區域LAI和AGB的估算，此外該模塊還能夠繪制長勢參數變化趨勢，以便分析冬小麥苗期長勢情況；麥穗計數模塊主要功能是將采集的冬小麥冠層RGB圖像輸入麥穗計數模型中，對該采樣區域進行麥穗計數；系統管理模塊主要功能包括查詢長勢參數估算結果與歷史記錄，以及對系統進行日常管理與維護。

冬小麥苗期長勢參數估算模塊及麥穗計數模塊系統界面如圖5所示。圖像導入功能將圖像采集模塊中預處理后的圖像導入；圖像處理功能可按照估算模型圖像輸入的要求，對導入的圖像進行處理；的運行與展示功能可進行冬小麥長勢參數的估算并顯示結果；結果保存功能將當前日期下該批數據的處理結果進行保存以便于后續查詢。用戶可在界面下方按需求查看冬小麥階段性的長勢參數變化趨勢。

2 結果與分析

2.1 葉面積指數（LAI）和地上生物量（AGB）估算結果

本研究基于ResNet18構建的冬小麥苗期長勢參數估算模型以冬小麥苗期冠層圖像數據為輸入，以長勢參數LAI和AGB為輸出，2017—2018的長勢參數估算結果如圖6所示。由圖6可知，模型估算的LAI和AGB值與田間測量數據具有較好的擬合度，2分別為0.83和0.84，NRMSE分別為0.32和0.31。

為進一步驗證模型的估算效果，本研究與其他估算模型進行對比試驗，結果如表2所示。VGG16[32]以其較深的網絡和較小的卷積核，在保證特征提取感受野大小的同時減少了卷積層的參數量。GoogLeNet[33]采用Inception模塊，使網絡結構更加模塊化，也增加了網絡寬度，通過在網絡不同深度處增加輔助sofrmax函數來保證網絡加深的同時有效避免梯度消失。文獻[4]中，基于卷積神經網絡（CNN）構建麥穗計數模型，通過分類的方法實現麥穗識別與計數，提高了田間環境下麥穗識別計數的準確性。由表2可知，本研究模型和基于VGG16的長勢參數估算模型有較好的2，但VGG16的參數量遠遠大于ResNet18的參數量，在相同迭代次數的情況下，基于VGG16的估算模型的訓練時間約是基于ResNet18的估算模型所需訓練時間的5倍，因此基于ResNet18的估算模型訓練效率更高。基于GoogLeNet的估算模型與基于ResNet18的估算模型有相近的訓練時間，但是2值在4個模型中最低。文獻[4]中基于CNN的估算模型結構較為簡單，與其他3個模型相比較，網絡深度較淺，因此訓練效率較高，但該模型的2明顯低于基于ResNet18的估算模型和基于VGG16的估算模型。與文獻[4]基于CNN的估算模型相比較，基于ResNet18的估算模型對AGB估算的2從0.78增至0.84，提升了7.7%，NRMSE從0.35減至0.31，下降了11.4%；對LAI估算的2分別從0.79增至0.83，提升了5.1%，NRMSE從0.34減至0.32，下降了5.9%。本研究基于ResNet18構建的冬小麥苗期長勢參數估算模型，在估算效率和準確率方面均取得了較好的結果。

表2 基于ResNet18的模型與其他模型估算結果對比

為進一步驗證模型的泛化能力，本研究利用2018—2019生長季數據進行測試。將預處理后的2018—2019生長季圖像數據輸入基于ResNet18構建的冬小麥苗期長勢參數估算模型進行測試，對于AGB的估算結果如圖7a所示，其2為0.79，NRMSE為0.36，對于LAI的估算結果如圖7b所示，其2為0.77，NRMSE為0.50。估算表現與模型在2017—2018生長季數據的估算結果比較有所下降，由此可見，2018—2019生長季圖像數據中含有2017—2018生長季圖像數據中未體現的特征。此外，與2017—2018生長季相比較，2018—2019生長季冬小麥種植過程中，在出苗階段土壤存在水分不均衡的現象，缺少水分的區域麥苗生長速率較慢，進而導致冬小麥出苗不均衡。因此，在樣本數據采集過程中，同批次隨機采集的樣本植株存在生長狀況不一致的現象，相鄰批次采集樣本植株的生長狀況延續性也較差，進而影響了模型估算的準確度。

遷移學習可以保留模型在2017—2018生長季圖像數據集上訓練時的參數權重，并對新的數據集進行學習，避免了相同圖像特征的重復學習，提高了模型訓練效率。因此，利用2018—2019生長季圖像數據進行遷移學習，獲得遷移學習后的基于ResNet18的冬小麥苗期長勢參數估算模型，然后進行測試，結果如圖7c和圖7d所示。遷移學習后的模型對AGB估算結果的2從0.79增至0.84，提升了6.3%，NRMSE從0.36降至0.25，下降了30.6%；對LAI估算結果的2從0.77增至0.80，提升了3.9%，NRMSE從0.50降至0.34，下降了32%。遷移學習后的模型估算結果表明模型具有較好的泛化能力，可以適應數據的季節性差異，具有魯棒性。

2.2 麥穗計數結果

本研究基于驗證集40張圖像進行置信度分數（）和交并比（IoU）的優選試驗。的取值設置是0.90和0.95，IoU的取值范圍設置為[0.1, 0.5]，取值梯度為0.1，共有10組參數組合，如表3所示。由表3可知，采用NMS優化后，基于Faster R-CNN+NMS的計數模型的2明顯高于基于Faster R-CNN的計數模型。當取值為0.95，IoU取值為0.2和0.3時，基于Faster R-CNN+NMS的計數模型在驗證集上有最佳的2（2=0.67），IoU=0.2時NRMSE是0.095，IoU=0.3時是0.100。因此，本研究最終采用的NMS參數是0.95，IoU是0.2。

表3 置信度分數和交并比組合優選試驗結果

注：本研究模型在表中加粗表示。

Note: Model of this study is shown in bold in the table.

測試集包含24張圖像，共計9 521個麥穗，使用測試集圖像對基于Faster R-CNN的計數模型和基于Faster R-CNN+NMS的計數模型進行測試。基于Faster R-CNN的計數模型對測試集的計數結果為8 092個麥穗，2為0.66，NRMSE為0.19，如圖8a所示。基于Faster R-CNN+NMS的計數模型對測試集的麥穗計數結果為9 207個麥穗，2從0.66增至0.83，提升了25.8%，NRMSE從0.19降至0.05，下降了73.7%，如圖8b所示。

基于Faster R-CNN的計數模型對麥穗識別過程中存在麥穗標記框位置不準確以及對重疊麥穗的識別檢測有遺漏的問題，進而導致了麥穗計數誤差。如圖9所示，圖9a左圖中存在交疊的麥穗沒有被識別標記，圖9b左圖中臨近麥穗沒有被識別標記，圖9c左圖中標記框標記位置不準確，圖9d左圖中兩個麥穗緊密相連被識別為一個麥穗；而基于Faster R-CNN+NMS的計數模型在麥穗識別過程中修正了這些問題。因此，通過NMS優化，基于Faster R-CNN+NMS的計數模型對圖像中麥穗標記的準確度以及識別能力顯著提升。

為進一步表明本研究麥穗計數模型的有效性，與文獻[24]提出的麥穗計數方法進行了對比，結果如表4所示。文獻[24]基于CNN+NMS構建了麥穗計數系統，該系統利用CNN對麥穗、葉片和陰影進行分類，使用滑動窗口結合NMS進行麥穗計數，其計數結果2為0.62。與之相比較，本研究基于Faster R-CNN+NMS的計數模型的2提高了33.9%，達到0.83。

表4 基于Faster R-CNN+NMS的麥穗計數模型與其他麥穗計數模型估算結果比較

在計數效率方面，由于文獻[24]方法圖像處理流程比較繁復，針對100張大小為640×640（像素）的測試圖像中3 138個麥穗（人工計數）識別計數，總耗時為3 991.24 s，其單個麥穗的平均識別計數耗時為1.272 s。相比而言，本研究基于Faster R-CNN的計數模型和基于Faster R-CNN+NMS的計數模型對測試集中9 521個麥穗（人工計數）識別計數總耗時分別為9 690和9 611 s，平均每個麥穗識別計數耗時分別為1.018和1.009 s，后者效率比文獻[24]提升了20.7%。結果表明，本研究基于Faster R-CNN+NMS的計數模型在準確率和效率上均有明顯提高，在一定程度上解決了由于麥穗交叉遮擋而導致的麥穗識別不清和遺漏問題，具有更好的實際應用價值。

3 結 論

本研究針對冬小麥關鍵生育期的長勢參數，設計并實現了基于深度學習的冬小麥田間長勢參數估算系統，實現了對冬小麥長勢變化的監測，拓展了深度技術在田間作物長勢參數估算方面的應用。

1）構建了基于改進ResNet18的冬小麥苗期長勢參數估算模型，實現了葉面積指數（Leaf Area Index，LAI）和地上生物量（Above Ground Biomass，AGB）的準確估算，在基于連續2個生長季數據的測試結果中，對于AGB估算的決定系數均達到0.84，對于LAI估算的決定系數均超過0.80。同時，驗證了該估算模型針對數據的季節性差異具有較好的泛化能力。

2）針對冬小麥開花期麥穗計數任務，基于Faster R-CNN構建了麥穗計數模型，并以非極大值抑制（Non Maximum Suppression，NMS）進行計數結果優化，模型計數結果決定系數為0.83，歸一化均方根誤差為0.05，單個麥穗識別計數時間為1.009 s，與未以NMS優化的計數模型和基于卷積神經網絡（Convolutional Neural Network，CNN）的分類計數模型相比，麥穗計數的準確率和效率均得到提升。

本研究結合數字圖像的特點，在冬小麥苗期和開花期開展了關鍵長勢參數的估算研究，取得了較高的準確率。在下一步的研究中，需進一步探索冬小麥拔節至抽穗階段長勢監測參數估算方法，從而實現冬小麥全生育期長勢監測，豐富冬小麥田間長勢參數估算系統的功能，為冬小麥的田間管理和育種栽培提供支撐。

[1] 何中虎，莊巧生，程順和，等. 中國小麥產業發展與科技進步[J]. 農學學報，2018，8(1)：99-106.

He Zhonghu, Zhuang Qiaosheng, Cheng Shunhe, et al. Wheat production and technology improvement in China[J]. Journal of Agriculture, 2018, 8(1): 99-106. (in Chinese with English abstract)

[2] 湯永祿，李朝蘇，吳春，等. 四川盆地單產9000 kg/hm2以上超高產小麥品種產量結構與干物質積累特點[J]. 作物學報，2014，40(1)：134-142.

Tang Yonglu, Li Chaosu, Wu Chun, et al. Yield component and dry matter accumulation in wheat varieties with 9000kg/ha yield potential in Sichuan Basin[J]. Acta Agronomica Sinica, 2014, 40(1): 134-142. (in Chinese with English abstract)

[3] Wu S R, Yang P, Ren J Q, et al. Winter wheat LAI inversion considering morphological characteristics at different growth stages coupled with microwave scattering model and canopy simulation model[J]. Remote Sensing of Environment, 2020, 240: 111681.

[4] 馬浚誠，劉紅杰，鄭飛翔，等. 基于可見光圖像和卷積神經網絡的冬小麥苗期長勢參數估算[J]. 農業工程學報，2019，35(5)：183-189.

Ma Juncheng, Liu Hongjie, Zheng Feixiang, et al. Estimating growth related traits of winter wheat at seedling stages based on RGB images and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(5): 183-189. (in Chinese with English abstract)

[5] Madec S, Jin X L, Lu H, et al. Ear density estimation from high resolution RGB imagery using deep learning technique[J]. Agricultural and Forest Meteorology, 2019, 264: 225-234.

[6] Zhou C Q, Liang D, Yang X D, et al. Wheat ears counting in field conditions based on multi-feature optimization and TWSVM[J]. Frontiers in Plant Science, 2018, 9: 1024.

[7] Fernandez-Gallego J A, Lootens P, Borra-Serrano I, et al. Automatic wheat ear counting using machine learning based on RGB UAV imagery[J]. Plant Journal, 2020, 103(4): 1603-1613.

[8] 王麗愛，周旭東，朱新開，等. 基于 HJ-CCD 數據和隨機森林算法的小麥葉面積指數反演[J]. 農業工程學報，2016，32(3)：149-154.

Wang Liai, Zhou Xudong, Zhu Xinkai, et al. Inverting wheat leaf area index based on HJ-CCD remote sensing data and random forest algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(3): 149-154. (in Chinese with English abstract)

[9] 孫詩睿，趙艷玲，王亞娟，等. 基于無人機多光譜遙感的冬小麥葉面積指數反演[J]. 中國農業大學學報，2019，24(11)：51-58.

Sun Shirui, Zhao Yanling, Wang Yajuan, et al. Leaf area index inversion of winter wheat based on multispectral remote sensing of UVA[J]. Journal of China Agricultural University, 2019, 24(11): 51-58. (in Chinese with English abstract)

[10] Bognár P, Kern A, Pasztor S, et al. Yield estimation and forecasting for winter wheat in Hungary using time series of MODIS data[J]. International Journal of Remote Sensing, 2017, 38(11): 3394-3414.

[11] Xie Y, Wang P X, Bai X J, et al. Assimilation of the leaf area index and vegetation temperature condition index for winter wheat yield estimation using Landsat imagery and the CERES-Wheat model[J]. Agricultural and Forest Meteorology, 2017, 246: 194-206.

[12] 王蕾，王鵬新，李俐，等. 基于VTCI和分位數回歸模型的冬小麥單產估測方法[J]. 農業機械學報，2017，48(7)：167-173，166.

Wang Lei, Wang Pengxin, Li li, et al. Winter wheat yield estimation method based on quantile regression model and remotely sensed vegetation temperature condition index[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(7): 167-173, 166. (in Chinese with English abstract)

[13] Durbha S S, King R L, Younan N H, et al. Support vector machines regression for retrieval of leaf area index from multiangle imaging spectroradiometer[J]. Remote Sensing of Environment, 2007, 107(1/2): 348-361.

[14] 姚青，張超，王正，等. 分布式移動農業病蟲害圖像采集與診斷系統設計與試驗[J]. 農業工程學報，2017，33（增刊1）：184-191.

Yao Qing, Zhang Chao, Wang Zheng, et al. Design and experiment of agricultural diseases and pest image collection and diagnosis system with distributed and mobile device[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp. 1): 184-191. (in Chinese with English abstract)

[15] 賈洪雷，王剛，郭明卓，等. 基于機器視覺的玉米植株數量獲取方法與試驗[J]. 農業工程學報，2015，31(3)：215-220.

Jia Honglei, Wang Gang, Guo Mingzhuo, et al. Methods and experiments of obtaining corn population based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 215-220. (in Chinese with English abstract)

[16] Crimmins M A, Crimmins T M. Monitoring plant phenology using digital repeat photography[J]. Environmental Management, 2008, 41: 949-958.

[17] Casadesus J, Villegas D. Conventional digital cameras as a tool for assessing leaf area index and biomass for cereal breeding[J]. Journal of Integrative Plant Biology, 2014, 56(1): 7-14.

[18] Pérez-Rodríguez F, Gomez-Garcia E. Codelplant: Regression-based processing of RGB images for colour models in plant image segmentation[J]. Computers and Electronics in Agriculture, 2019, 163: 104880.

[19] Fernandez-Gallego J A, Kefauver S C, Gutierrez N A, et al. Wheat ear counting in-field conditions: High throughput and low-cost approach using RGB images[J]. Plant Methods, 2018, 14: 22.

[20] Ma J C, Li Y X, Chen Y Q, et al. Estimating above ground biomass of winter wheat at early growth stages using digital images and deep convolutional neural network[J]. European Journal of Agronomy, 2019, 103: 117-129.

[21] 鄧繼忠，李敏，袁之報，等. 基于圖像識別的小麥腥黑穗病害特征提取與分類[J]. 農業工程學報，2012，28(3)：172-176.

Deng Jizhong, Li Min, Yuan Zhibao, et al. Feature extraction and classification ofdiseases based on image recognition[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(3): 172-176. (in Chinese with English abstract)

[22] Ghosal S, Blystone D, Singh A K, et al. An explainable deep machine vision framework for plant stress phenotyping[J]. Proceedings of the National Academy of Sciences of the United States of America, 2018, 115(18): 4613-4618.

[23] 祝詩平，卓佳鑫，黃華，等. 基于CNN的小麥籽粒完整性圖像檢測系統[J]. 農業機械學報，2020，51(5)：36-42.

Zhu Shiping, Zhuo Jiaxin, Huang Hua, et al. Wheat grain integrity image detection system based on CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(5): 36-42. (in Chinese with English abstract)

[24] 張領先，陳運強，李云霞，等. 基于卷積神經網絡的冬小麥麥穗檢測計數系統[J]. 農業機械學報，2019，50(3)：144-150.

Zhang Lingxian, Chen Yunqiang, Li Yunxia, et al. Detection and counting system for winter wheat ears based on convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(3): 144-150. (in Chinese with English abstract)

[25] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas: IEEE, 2016: 770-778.

[26] 席芮，姜凱，張萬枝，等. 基于改進Faster R-CNN的馬鈴薯芽眼識別方法[J]. 農業機械學報，2020，51(4)：216-223.

Xi Rui, Jiang Kai, Zhang Wanzhi, et al. Recognition method for potato buds based on improved Faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 216-223. (in Chinese with English abstract)

[27] 姚青，谷嘉樂，呂軍，等. 改進RetinaNet的水稻冠層害蟲為害狀自動檢測模型[J]. 農業工程學報，2020，36(15)：182-188.

Yao Qing, Gu Jiale, Lyu Jun, et al. Automatic detection model for pest damage symptoms on rice canopy based on improved RetinaNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(15): 182-188. (in Chinese with English abstract)

[28] Wang Y J, Lv J D, Xu L M, et al. A segmentation method for waxberry image under orchard environment[J]. Scientia Horticulturae, 2020, 266: 109309.

[29] Yue J B, Zhou C Q, Guo W, et al. Estimation of winter-wheat above-ground biomass using the wavelet analysis of unmanned aerial vehicle-based digital images and hyperspectral crop canopy images[J]. International Journal of Remote Sensing, 2020, 42(5): 1602-1622.

[30] Liu B, Liu L L, Asseng S, et al. Modelling the effects of post-heading heat stress on biomass partitioning, and grain number and weight of wheat[J]. Journal of Experimental Botany, 2020, 71(19): 6015-6031.

[31] Canziani A, Paszke A, Culurciello E. An analysis of deep neural network models for practical applications[C]// IEEE Computer Vision and Pattern Recognition, Las Vegas: IEEE, 2016.

[32] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C]// International Conference on Learning Representations, San Diego: Yoshua Bengio & Yann LeCun, 2015.

[33] Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions[C]// IEEE Computer Society Computer Society Conference on Computer Vision and Pattern Recognition, Boston: IEEE, 2015: 1-9.

Field growth parameter estimation system of winter wheat using RGB digital images and deep learning

Li Yunxia1, Ma Juncheng2, Liu Hongjie3, Zhang Lingxian1※

(1.,,100083,;2.,,100081,; 3.,,476000,)

Leaf Area Index (LAI) and Above Ground Biomass (AGB) are the key traits to fully reflect the growth of winter wheat at early stages. After winter wheat enters the flowering stage, the development of wheat ears has been basically completed. The number of ears is a vital agronomic parameter to characterize the growth of winter wheat at this stage, and also a critical factor to evaluate the germplasm and yield of winter wheat. At present, the traditional methods for measuring LAI, AGB and ear number are destructive and time-consuming, and the accuracy of estimation methods based on RGB images and shallow machine learning technology needs to be further improved. In order to accurately and quickly obtain the winter wheat growth information, and further improve the accuracy of winter wheat growth parameter estimation, this study developed a winter wheat growth parameter estimation system based on RGB images and deep learning. The system mainly included growth parameter estimation module and wheat ear counting module. The data of winter wheat during the 2017—2018 and 2018—2019 growing seasons were collected consecutively. Combined with the characteristics of RGB images, the deep learning models were explored, which were applicable to obtain the growth parameters at the early stage of winter wheat and to count the number of wheat ears. Therefore, for the estimation module of growth parameter at early stages, the residual network ResNet18 was used as the basic network to establish the growth parameter estimation model, with the 2017—2018 growth season data. Based on this estimation model, the LAI and AGB at early stages of winter wheat were obtained. Moreover, the generalization ability of the ResNet18-based model was tested using transfer learning, with 2018—2019 growth season data. For wheat ear counting module, a wheat ear counting model was built, which was based on the Faster R-CNN and Non Maximum Suppression (NMS), and achieved accurate counting of wheat ear at flowering stage. Moreover, the Faster R-CNN+NMS wheat ear counting model was compared with the Faster R-CNN ear counting model without NMS and the classification counting model based on Convolutional Neural Networks (CNNs). The results showed that, for the estimation module of growth parameter at early stages, the determination coefficients of the ResNet18-based model for LAI estimation respectively were 0.83 and 0.80 on the dataset of the two growing seasons of 2017—2018 and 2018—2019. And the determination coefficients of the ResNet18-based model for AGB estimation both were 0.84. The model was superior to the model based on VGG16 and GoogLeNet and the published CNN-based estimation model. And the results of generalization ability test showed that the ResNet18-based model was robust to the seasonal differences of data. For wheat ear counting module, given the ear counting model based on Faster R-CNN, the determination coefficient increased by 25.8% from 0.66 to 0.83, after the NMS optimization. And the NRMSE decreased by 73.7% from 0.19 to 0.05. Compared with the classification counting model based on CNN, the wheat ear counting model based on Faster R-CNN+NMS had better performance, with a determination coefficient of 0.83, improved by 33.9%, and a single ear identified time of 1.009 s, improved by 20.7%. In conclusion, this system can meet the demand of field growth parameter estimation of winter wheat and provide support for fine field management of winter wheat.

machine vision; image processing; models; winter wheat; deep learning; leaf area index; above ground biomass; wheat ear counting

李云霞，馬浚誠，劉紅杰，等. 基于RGB圖像與深度學習的冬小麥田間長勢參數估算系統[J]. 農業工程學報，2021，37(24)：189-198.doi：10.11975/j.issn.1002-6819.2021.24.021 http://www.tcsae.org

Li Yunxia, Ma Juncheng, Liu Hongjie, et al. Field growth parameter estimation system of winter wheat using RGB digital images and deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(24): 189-198. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.24.021 http://www.tcsae.org

2021-01-21

2021-12-11

國家自然科學基金（31801264）；中國科協青年人才托舉工程第四屆項目（2018QNRC001）

李云霞，博士生，研究方向為農業信息技術。Email：736927152@qq.com

張領先，教授，博士生導師，研究方向為農業信息技術。Email：zhanglx@cau.edu.cn

10.11975/j.issn.1002-6819.2021.24.021

S512.1+1；TP391.4

A

1002-6819(2021)-24-0189-10