田間玉米苗期高通量動態監測方法

張小青 邵松 郭新宇 樊江川

摘要：目前對玉米出苗動態檢測監測主要是依靠人工觀測，耗時耗力且只能選擇小的樣方估算整體出苗情況。為解決人工出苗動態管理不精準的問題，實現田間精細化管理，本研究以田間作物表型高通量采集平臺獲取的高時序可見光圖像和無人機平臺獲取的可見光圖像兩種數據源構建了不同光照條件下的玉米出苗過程圖像數據集?？紤]到田間存在環境背景復雜、光照不均等因素，在傳統Faster R-CNN的基礎上構建殘差單元，使用ResNet50作為新的特征提取網絡來對Faster R-CNN進行優化，首先實現對復雜田間環境下玉米出苗識別和計數;進而基于表型平臺所獲取的高時序圖像數據，對不同品種、不同密度的玉米植株進行出苗動態連續監測，對各玉米品種的出苗持續時間和出苗整齊度進行評價分析。試驗結果表明，本研究提出的方法應用于田間作物高通量表型平臺出苗檢測時，晴天和陰天的識別精度分別為95.67%和91.36%;應用于無人機平臺出苗檢測時晴天和陰天的識別精度分別91.43%和89.77%，可以滿足實際應用場景下玉米出苗自動檢測的需求。利用表型平臺可獲取時序數據的優勢，進一步進行了玉米動態出苗檢測分析，結果表明利用本模型得到的動態出苗結果與人工實際觀測具有一致性，說明本研究提出的模型的具有魯棒性和泛化性。

關鍵詞：玉米苗期;Faster R-CNN;識別;計數;出苗動態監測

中圖分類號：S24文獻標志碼：A文章編號：202103-SA003

引用格式：張小青，邵松，郭新宇，樊江川.田間玉米苗期高通量動態監測方法[J].智慧農業（中英文），2021， 3 （2）： 88-99.

ZHANG Xiaoqing， SHAO Song， GUO Xinyu， FAN Jiangchuan. High-throughput dynamic monitoring method of field maize seedling[J]. Smart Agriculture， 2021， 3（2）： 88-99. （in Chinese with English abstract）

1引言

作物出苗是影響田間管理決策的重要農藝因素，通過監測出苗情況可在正確的時間進行補種以減少損失[1]。傳統上，通常通過用少數采樣點進行目視觀察（人工計數）來估測作物出苗數量[2]，既費時又費力，無法覆蓋大的生產領域。隨著圖像獲取方式的進步，計算機視覺技術在作物生長檢測中的應用[3-6]得到了廣泛的關注。獲取高分辨率的特定地點作物出苗信息是實施精確田間管理的基礎。同時，準確的作物出苗信息可用于了解土壤和環境對作物出苗的影響[7]。因此，為提高監測效率，近距離遙感技術被用來評估作物出苗情況?；跓o人機圖像數據進行的出苗檢測方法，在各種作物中得到了廣泛的應用[8]。目前使用無人機對作物出苗的研究主要集中在出苗數量和均勻性上[9]。

21世紀以來，成像技術的發展為高通量植物表型平臺（Plant High-throughput Phenotypic Platform，HTPP）的開發提供了機會。1998年，比利時CropDesign公司成功開發世界上首套大型植物高通量表型平臺，命名為TraitMill[10]。2016年，德國Lemna Tec公司開發了第一個產品級田間高通量植物表型平臺Scanalyzer Field[11]，標志著植物表型獲取技術正式走向大田測量。高通量表型平臺的高通量、自動化、高精度等特點，極大地提高了作物圖像采集的效率和準確性，同時也為玉米出苗動態監測提供了新的研究手段。

近年來，隨著卷積神經網絡的發展，深度學習已在自然語言處理[12]、圖像識別[13]、視頻跟蹤[14]等領域超越了傳統的機器學習算法。在農業領域，卷積神經網絡較強的圖像特征提取能力也使越來越多的研究人員將深度學習應用于作物表型信息獲取[15]、遙感影像分類[16]等領域。深度學習模型已經用于從無人機、地面機器人系統收集的圖像數據集中提取隱藏信息，以監測作物發育[17]和預測產量[18]。一些流行的深度學習模型AlexNet[19]、VGG[20]、GoogleNet[21]和ResNet[22]等被用于處理農業中的復雜數據?；诰矸e神經網絡的目標檢測算法如YOLO[23]和SSD[24]一階檢測器系列和Faster R-CNN[25]兩階檢測系列已被證實在對作物出苗檢測上取得了不錯的效果。

根據以上分析，本研究目的是利用田間作物表型平臺獲取的高時序、連續可見光圖像以及無人機平臺獲取的可見光圖像構建數據集，提出基于卷積神經網絡（Convolutional. Neural. Network，CNN）的圖像特征自動提取方法，實現對復雜的田間環境下玉米幼苗的快速準確識別，為玉米田間智能耕作管理提供技術儲備。基于優化的Faster R-CNN模型來實現玉米出苗檢測，結合非極大值抑制方法（Non-Maximum Suppression，NMS）對單位面積的玉米幼苗進行計數。依據表型平臺的時序圖像實現不同玉米品種的出苗動態監測，以此來判斷出不同品種玉米的出苗特征及差異，并對兩種平臺的出苗檢測精度進行驗證比較。

2材料與方法

2.1圖像采集

研究分別使用無人機平臺和田間作物表型高通量采集平臺（軌道式）搭載可見光傳感器進行高通量原始圖像數據獲取。因此，圖像采集試驗分為兩部分，其中試驗一使用無人機平臺進行圖像獲取，試驗二使用田間作物表型高通量采集平臺進行圖像獲取。

2.1.1無人機可見光圖像采集

試驗一于2018年在北京市通州區實驗基地開展（39°56′N，116°16′E）。使用大疆M600 Pro六旋翼無人機作為圖像采集平臺，搭載型號為SONY-5100的相機（采用20 mm的定制機械鏡頭）對試驗田內玉米苗期冠層圖像進行采集。考慮到小型無人機的續航能力和圖像的分辨率等問題，設置無人機的飛行高度為30m，航向重疊度為70%，旁向重疊度為65%。試驗的采集時間為2018年5月8日（出苗）至2018年5月23 日?？紤]所獲取圖像的質量問題，選擇在無風或者微風的時候用無人機采集數據。所獲取的可見光原始圖像分辨率為5280×3956px。圖1展示了無人機實物圖、田間場景圖以及無人機獲取可見光圖像。

2.1.2表型平臺可見光圖像采集

試驗二在北京市農林科學院試驗田內開展（39°56′N，116°16′E）。試驗二地塊長15m，寬6m。在其上方搭建了數字植物北京市重點實驗室自主研發的田間作物高通量表型平臺（軌道式）。在平臺的覆蓋范圍內種植了AD268和XD20兩個玉米品種，每個品種分別以25，000株/ha，40，000株/ha和55，000株/ha三種密度進行種植，共計6個小區，每個小區種植4行，共24行，行長2.5m。兩個品種玉米于2020年7月23日播種，種植后以正常水肥管理。圖2為地塊中種植情況示意圖。

在本次試驗中，使用Microsoft，Kinect V2.0作為成像單元圖像采集設備，有效像素為500萬px。鏡頭垂直向下，采用自動曝光模式獲取玉米冠層圖像。圖像采集時間從2020年7月26日（出苗）開始到2020年9月28日止，每天分別選擇上午10點和下午3點兩個時間點采集玉米出苗冠層圖像，所獲取的圖像原始分辨率為2048×2048 px。田間作物高通量表型平臺圖像采集裝置如圖3所示。

2.2數據集構建

2.2.1圖像預處理

綜合考慮硬件條件和試驗參數的需要，同時為了便于模型訓練，將試驗二中獲取的原始圖像（分辨率為2048×2048 px）縮放至960×960 px輸入模型。而為了與田間作物高通量表型平臺獲取的圖像保持統一，對試驗一中獲取的無人機可見光原始圖像（分辨率為5280×3956 px）同樣縮放至960×960 px，采用滑動步長剪裁的方式裁剪圖像。并且為了充分覆蓋到遙感影像中目標的信息，裁剪時保證一定的重疊度，從而能夠提高模型后期訓練的效率和精度。

使用圖像注釋工具LabelImg對裁剪及縮放后的圖像進行幼苗的邊界框標注，通過最小外接矩形將樣本中的玉米苗標出，記錄該矩形的左上和右下的頂點坐標，并設置類別標簽為seedling。圖4展示了數據從縮放、裁剪到標注的整體流程。

2.2.2最終數據集組成

為實現玉米出苗檢測的目標，本研究選取試驗一中玉米剛出苗時期的無人機獲取的圖像作為數據集，即5月8日至5月10日，共計4天。分別選取每天原始圖像數據28張，共計112張。經過滑動步長裁剪后，每張原始圖像被裁剪成12張960×960 px的圖像，共計1344張。考慮到圖像的質量問題，手動剔除了過度曝光、質量較低的圖像。經過篩選后，剩余1188張圖像構成試驗一數據集。將此數據集按照7：3的比例劃分為訓練集和測試集。對于試驗二，選取玉米剛出苗時期的表型平臺獲取的圖像作為數據集，即7月28日至8月3日，共計6天。分別選取每天原始圖像數據150張，共計1200張。經過縮放后放入試驗二數據集。同時由于所選取日期的天氣情況不同（即同時包括了晴天和陰天），能夠保證不同光照條件下模型的泛化性能。

本研究最終數據集組成如表1所示。圖5展示了兩種平臺數據分別在不同光照條件下預處理后的圖像及其標注，其中圖5（a）為不同光照條件下無人機平臺圖像及其標注，圖5 （b）為不同光照條件下表型平臺圖像及其標注。

2.3玉米幼苗檢測網絡

本研究基于卷積神經網絡在圖像特征提取上的優異表現，構建了基于Faster R-CNN玉米出苗動態檢測模型，該模型以無人機和田間作物高通量表型平臺采集的玉米冠層圖像為數據源，對玉米田間出苗狀況進行監測。玉米出苗網絡的檢測過程如圖6所示。

2.3.1Faster R-CNN模型框架

本研究采用Faster R-CNN深度學習模型作為基礎框架，其網絡結構如圖7所示。

由圖7可見，Faster R-CNN網絡主要有四個主要內容。首先是卷積層對輸入的圖片，Faster R-CNN使用一組基礎的conv+relu+pooling層提取圖片的特征圖（Feature map），用于后續候選框檢測網絡（Region Proposal. Network）和全連接層。在RPN層中使用尺寸為3×3 px的滑動窗口遍歷該特征圖，以每個錨點（滑動窗口中心）為中心，設計不同的長寬比生成多尺度候選區域。ROI Pooling層在此基礎上提取候選特征圖（Proposal. Feature Maps），得到固定尺寸的候選特征。最后經過分類和回歸，輸出候選區所屬的類和候選區域在圖中的精確位置。

2.3.2ResNet50特征提取網絡

本研究以田間玉米冠層圖像為數據，進行出苗動態檢測。田間場景比較復雜，不同光照和不同采集裝置得到的圖像具有很大的差異，傳統的Faster R-CNN網絡中特征提取網絡為VGG。VGG結構層次相對較淺，難以達到預期效果，因此本研究在Faster R-CNN網絡基礎上設計應用殘差（Residual）學習單元，使用ResNet50作為特征提取網絡。

研究中用到的特征提取網絡ResNet50結構如圖8所示。ResNet50共有5個編碼層，第一個編碼層是由卷積層和池化層構成，后面4個編碼層就是4個殘差塊。殘差結構中包括兩個分支，其中，第一個分支是使用三個卷積層、批歸一化層以及修正線性單元（Rectified Linear Unit， ReLU）[26]層進行特征處理，而另一個分支則是通過直接映射處理。在使用特征映射融合將這兩個分支集成起來后，整個網絡只需要學習輸入和輸出之間的差異，簡化了學習的目標和難度。表2展示了特征提取網絡的具體參數配置。

2.3.3激活函數與損失函數

本研究中網絡訓練時選取ReLu作為激活函數，當輸入值為負時，ReLu函數的輸出值恒為0;當輸入值為正時，ReLu函數的值與輸入值相等，即：

（1）

本研究模型的損失函數主要由兩部分組成，其中第一部分是分類損失[27]，其具體公式如下：

（2）

其中，p為第i個檢測框的預測值;當預測值與標注區域的重疊區域大于0.7時p=1，當預測值與標注區域的重疊區域小于0.3時p=0;N表示網絡訓練過程中生成的256個檢測框。

第二部分是回歸損失，用于確定網絡訓練過程中的偏移量，其具體公式為：

（3）

其中，t表示訓練階段預測值的偏移量;t表示訓練階段相對于實際的偏移量;λ是平衡回歸損失和分類損失的參數。

3結果與分析

3.1試驗參數設置及訓練過程分析

模型訓練硬件平臺采用Intel （R） Xeon（R） CPU E5-2683 v3處理器，128 GB內存，兩塊GTX 1070Ti顯卡，以及8GB顯存。軟件環境在Windows 10操作系統下進行配置，語言開發環境為Python3.6、Anaconda3和TensorFlow 1.13.2。

選擇隨機梯度下降法（Stochastic Gradient Descent，SGD）來更新學習率，從而對Faster RCNN網絡進行訓練。訓練時將初始學習率設置為le：衰減率設置為0.9。為了加快訓練速度和訓練初期防止權值被破壞，在迭代前20個epoch時候，凍結一部分網絡權值的更新，迭代20個epoch之后把所有神經網絡進行解凍訓練，同時將學習率調整為le，衰減率依然設置為0.9。設置網絡訓練的迭代次數為500個epoch，每個epoch訓練1000步。訓練Loss曲線如圖9所示。

由圖9可以看出，模型在前40個批次損失快速下降，40個批次后模型的損失曲線趨于平穩。不斷對模型進行訓練，直到損失趨于穩定并不再變化，最終迭代到500次時，停止訓練。

3.2模型訓練結果

該模型對于無人機可見光以及田間作物高通量表型平臺可見光兩種圖像在不同光照條件下的玉米幼苗檢測效果如圖10所示。直觀上可以看出，以ResNet50作為特征提取網絡進行的幼苗檢測，具有更好的檢測結果，而且晴天檢測結果優于陰天檢測結果。表型平臺圖像中基本所有出苗都被有效地檢測出來，而無人機圖像中有很少一部分出苗的玉米沒有被檢測出來。

3.3評價指標

對訓練結束之后的模型進行性能判斷，對于分類模型通常采用精確率（Precision）、召回率（Recall）、交并比（Intersection Over Union，IOU）作為評價指標，而平均絕對誤差（Mean Absolute Error，MAE）通常被用來評價計數模型的性能。本研究采用以上4個評價指標來對模型的檢測計數性能進行客觀的評估。各評價指標的公式如下：

（4）

（5）

其中，尸為Precision，表示在所有模型預測為玉米幼苗的結果中，預測正確數量占總數的比例;R為Recall，表示模型預測為玉米幼苗的數量占實際幼苗數量的比例;TP（True Positive）表示正陽性是指樣本預測值為正實際也為正;FP（False Positive）表示假陽性是指樣本預測值為正實際為負;FN（False Negative）表示假陰性是指樣本預測值為負實際為正的。

（6）

其中，IOU表示模型預測的邊界框與真實標注的邊界框的交集和并集的比值;A表示模型預測的邊界框;B表示人工標注的邊界框即為真實值。

（7）

其中，表示預測值;y表示真實值;和y可以是任意形狀，每個形狀包含m個元素。MAE即為絕對誤差的平均值，可以更好地反映預測值誤差的實際情況，平均絕對誤差值越小即表示模型訓練的效果越好。

根據上述所列出的評價指標對無人機圖像和表型平臺圖像進行分析，結果如表3～表5所示。圖11（97頁）為模型在不同平臺和不同天氣下輸出的P-R曲線。PR曲線中將recall設置為橫坐標，precision設置為縱坐標。曲線與坐標周包圍的面積為AP，AP越大，說明檢測結果越好

由表3可以看到本研究基于ResNet特征提取網絡的Faster R-CNN在整體測試集上的表現要優于傳統的Faster R-CNN模型。由表4和表5可以看出本研究模型晴天時在高通量表型平臺上精度可以達到95.67%，表現要優于無人機平臺精度（91.43%），陰天時在表型平臺和無人機平臺上的識別精度也可以達到91.36%和89.77%。改進后的Faster R-CNN模型可以滿足對高通量表型平臺和無人機平臺對出苗檢測的要求。

3.4玉米出苗動態監測

考慮到田間作物高通量表型平臺能夠獲取每天的時序性可見光圖像（圖12）。本研究采用其所獲取圖像實現不同品種玉米的動態出苗檢測。平臺覆蓋地塊中分別以三種不同密度種植了AD268和XD20兩種玉米植株，每種密度四次重復。除去保護行，共24行，行長為2.5m即密度為25，000株/ha每行種植6棵植株，密度為40，000株/ha每行種植9棵植株，密度為55，000株/ha每行種植12棵植株。各品種玉米于7月23日同時播種。使用本研究訓練的模型從7月26日（未出苗）開始對各品種玉米連續10d的冠層圖像進行出苗檢測計數，直至所有植株完全出苗。統計并繪制了同一個品種不同密度的植株出苗數量的變化曲線，如圖12所示。

從圖12（a）可以看出AD268品種玉米植株于7月27日開始出苗，于8月4日全部出苗結束。而圖12（b）的XD20品種玉米植株同樣于7月27日開始出苗，三種不同密度植株在8月1日均全部出苗。為了更加直觀地展示不同密度玉米植株的出苗情況，分別統計了不同種類和不同種植密度的玉米植株從第一天出苗至出苗結束所需天數，如表6所示。

結合圖12可知，XD20品種的玉米植株比AD268品種的玉米植株從開始出苗到結束所需的時間更短即出苗更整齊。而在本次試驗中，在相同種植條件及灌溉條件下，密度為25，000株/ha的玉米植株從開始出苗至結束所需時間相對另兩種密度玉米植株更短。利用本研究所提模型進行動態出苗檢測結果與人工實測結果保持一致，說明本研究所提方法具有一定的魯棒性和泛化性。

4結論

本研究以無人機平臺可見光圖像以及田間作物表型高通量采集平臺可見光圖像兩種數據源構建了不同光照條件下玉米冠層圖像數據集。使用Resnet 50代替VGG 16來優化Faster R-CNN模型，對所獲取共計2388張圖像進行了訓練和測試。優化后的模型在測試集上的平均識別精度為91.87%，并對在不同平臺和不同光照下的模型檢測精度進行了對比。其中，高通量表型平臺對出苗進行預測時，晴天和陰天的識別精度可以分別達到95.67%和91.63%。無人機平臺對出苗進行預測時，晴天和陰天的識別精度可以分別達到91.36%和89.77%。研究結果表明，應用本模型可實現在田間作物高通量表型平臺上玉米幼苗檢測，達到可觀的效果。而在無人機平臺上的檢測精度卻相對偏低。這是由于兩種平臺所獲取的圖像空間分辨率大小不一樣、采用的預處理方式也不一樣。導致處理后兩種平臺的圖像數據所包含的玉米幼苗數量也不一致，因此在進行幼苗檢測時會出現不同平臺的檢測精度差。

在此基礎上，根據田間作物高通量表型平臺所獲取的時序圖像對玉米出苗數量變化進行統計，分析了本試驗中AD268和XD20兩個品種玉米在三種不同種植密度條件下，從出苗開始至結束所需時間。結果表明，不同品種的出苗持續時間存在顯著差異，XD20相比AD268出苗持續時間更短，出苗更整齊。本研究方法具備一定的準確性和科學性，同時也為使用無人機和表型平臺獲取玉米冠層圖像進行識別計數任務及出苗動態檢測提供了一定的理論依據和借鑒價值。

本研究根據田間作物表型平臺從玉米未出苗開始連續10天所獲取的時序可見光圖像，進一步應用該優化模型對不同玉米品種在不同種植密度下的出苗動態進行了監測。以上結果說明本研究建立的基于深度學習的玉米出苗檢測模型不僅可以實現無人機可見光圖像中玉米幼苗的準確識別與檢測，也能夠通過田間作物表型高通量平臺實現對玉米出苗的動態連續監測。通過對兩種平臺的對比，田間表型高通量平臺相對于無人機表型平臺所獲取的圖像更加精細，時序性更強，所以出苗檢測的準確度更高，能夠更好地為玉米播種質量和種子質量評價提供技術支撐，為田間大面積測定出苗率及產量估算提供參考。

參考文獻：

[1] JIM S. New systems enhance seed and product-placement at planting[J]. Cotton Grower， 2021， 57（1）： 16-18.

[2] WILES L J， SCHWEIZER E E. The cost of counting and identifying weed seeds and seedlings[J]. Weed Science， 1999， 47（6）： 667-673.

[3] ZHAO W， YAMADA W， Li T， et al. Augmenting crop detection for precision agriculture with deep visual. transfer learning： A case study of bale detection[J]. Remote Sensing， 2021， 13： ID 23.

[4] SAKO Y， MCDONALD M， FUJIMURA K， et al. A system for automated seed vigour assessment[J]. Seed Science and Technology， 2001， 29（3）： 625-636.

[5] HOFMASTER A， FUJIMURA K， MCDONALD M， et al. An automated system for vigor testing three-day-old soybean seedlings[J]. Seed Science and Technology， 2003， 31（3）： 701-713.

[6] MARCOS-FILHO J， BENNETT M， MCDONALD M， et al. Assessment of melon seed vigour by an automated computer imaging system compared to traditional. procedures[J]. Seed Science and Technology， 2006， 34 （2）： 485-497.

[7] FORCELLA F， ARNOLD R L B， SANCHEZ R， et al. Modeling seedling emergence[J]. Field Crops Research， 2000， 67（2）： 123-139.

[8] FENG A， ZHOU J， VORIES E， et al. Evaluation of cotton emergence using UAV-based narrow-band spectral. imagery with customized image alignment and stitching algorithms[J]. Remote Sensing， 2020， 12（11）： ID 1764.

[9] GNADINGER F， SCHMIDHALTER U. Digital. counts of maize plants by unmanned aerial. vehicles （UAVs）[J]. Remote sensing， 2017， 9（6）： ID 544.

[10] REUZEAU C， FRANKARD V， HATZEELD Y， et al. Traitmill?： A functional. genomics platform for the phenotypic analysis of cereals[J]. Plant Genetic Resources： Characterisation and Utilisation， 2006， 4： 20-24.

[11] VIRLET N， SABERMANESH K， SADEGHI - TEHRAN P， et al. Field scanalyzer： An automated robotic field phenotyping platform for detailed crop monitoring[J]. Functional. Plant Biology， 2017， 44（1）： 143-153.

[12]李寒冰.基于深度學習的輿情監測系統[D].北京：北京交通大學，2019.

LI H. Public opinion monitoring system based on deep learning[D]. Beijing： Beijing Jiaotong University， 2019.

[13]李衛.深度學習在圖像識別中的研究及應用[D].武漢：武漢理工大學，2014.

LI W. The research and application of deep learning in image recognition[D]. Wuhan： Wuhan University of Technology， 2014.

[14]史璐璐.深度學習及其在視頻目標跟蹤中的應用研究[D].南京：南京郵電大學，2019.

SHI L. Research on deep learning and its applications in video object tracking[D]. Nanjing： Nanjing University of Posts and Telecommunications， 2019.

[15] GRINBLAT G L， UZAL. L， GLARESE M. Deep learning for plant identification using vein morphological. patterns [J]. Computers and Electronics in Agriculture， 2016， 127：418-424.

[16]楊建宇，周振旭，杜貞容，等.基于SegNet語義模型的高分辨率遙感影像農村建設用地提取[J].農業工程學報，2019， 35（5）： 251-258.

YANG J， ZHOU Z， DU Z， et al. Rural. construction land extraction from high spatial. resolution remote sensing image based on SegNet semantic segmentation model[J]. Transactions of the CSAE， 2019， 35（5）： 251-258.

[17] HUMPHREY E J， BELLO J P， LECUN Y. Moving beyond feature design： Deep architectures and automatic feature learning in music informatics[C]// The 13th International. Society for Music Information Retrieval. Conference. Piscataway， New York， USA： IEEE， 2012： 403-408.

[18] NANNI L， GHIDONI S， BRAHNAM S. Handcrafted vs. non-handcrafted features for computer vision classification[J]. Pattern Recognition， 2017， 71： 158-172.

[19] KRIZHEVSKY A. One weird trick for parallelizing convolutional. neural. networks[EB/OL]. 2014. http：// arxiv.org/abs/1404.5997v2.

[20] SIMONYAN K， ZISSERMAN A. Very deep convolutional. networks for large-scale image recognition[EB/OL]. 2014. arXiv： 1409.1556 [cs.CV].

[21] SZEGEDY C， LIU W， JIA Y， et al. Going deeper withconvolutions[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2015： 1-9.

[22] HE K， ZHANG X， REN S， et al. Deep residual. learning for image recognition[C]// The IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC， USA： IEEE Computer Society， 2016： 770-778.

[23] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection[C]// The IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2016： 779-788.

[24] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot multibox detector[C]// European Conference on Computer Vision. Springer， Cham， Switzerland： 2016： 21-37.

[25] REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal. networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 39（6）： 1137-1149.

[26] MADEC S， JIN X， LU H， et al. Ear density estimation from high resolution RGB imagery using deep learning technique[J]. Agricultural. and Forest Meteorology， 2019，264：225-234.

[27] ZOU H， LU H， LI Y， et al. Maize tassels detection： A benchmark of the state of the art[J]. Plant Methods， 2020， 16（1）： 1-15.

High-Throughput Dynamic Monitoring Method of Field Maize Seedling

ZHANG Xiaoqing1，2，3， SHAO Song1，2， GUO Xinyu1，2， FAN Jiangchuan1，2*

（1. Beijing Research Center for Information Technology in Agriculture， Beijing 100097， China; 2. Beijing Key Lab of Digital. Plant， National. Engineering Research Center for Information Technology in Agriculture， Beijing 100097， China; 3. College of Information Technology， Shanghai Ocean University， Shanghai 201306， China）

Abstract： At present， the dynamic detection and monitoring of maize seedling mainly rely on manual. observation， which is timeconsuming and laborious， and only small quadrats can be selected to estimate the overall emergence situation. In this research， two kinds of data sources， the high-time-series RGB images obtained by the plant high-throughput phenotypic platform （HTPP） and the RGB images obtained by the unmanned aerial. vehicle （UAV） platform， were used to construct the image data set of maize seedling process under different light conditions. Considering the complex background and uneven illumination in the field environment， a residual. unit based on the Faster R-CNN was built and ResNet50 was used as a new feature extraction network to optimize Faster R-CNN to realize the detection and counting of maize seedlings in complex field environment. Then，based on the high time series image data obtained by the HTPP， the dynamic continuous monitoring of maize seedlings of different varieties and densities was carried out， and the seedling duration and uniformity of each maize variety were evaluated and analyzed. The experimental. results showed that the recognition accuracy of the proposed method was 95.67% in sunny days and 91.36% in cloudy days when it was applied to the phenotypic platform in the field. When applied to the UAV platform to monitor the emergence of maize， the recognition accuracy of sunny and cloudy days was 91.43% and 89.77% respectively. The detection accuracy of the phenotyping platform image was higher， which could meet the needs of automatic detection of maize emergence in actual. application scenarios. In order to further verify the robustness and generalization of the model， HTPP was used to obtain time series data， and the dynamic emergence of maize was analyzed. The results showed that the dynamic emergence results obtained by HTPP were consistent with the manual. observation results， which shows that the model proposed in this research is robust and generalizable.

Key words： field maize; Faster R-CNN; recognition; counting; dynamic seedling detection

（登陸www.smartag.net.cn免費獲取電子版全文）

作者簡介：張小青（1995—），女，碩士研究生，研究方向為深度學習與圖像處理。E-mail：15151935830@163.com。

*通訊作者：樊江川（1988—），男，碩士，工程師，研究方向為植物表型組學、農業遙感。電話：13381125869。E-mail：fanjc@nercita.org.cn。