基于機器視覺的稻茬麥單莖穗高通量表型分析

丁啟朔，李海康，孫克潤，何瑞銀，汪小旵，劉富璽，厲翔

基于機器視覺的稻茬麥單莖穗高通量表型分析

丁啟朔1，李海康1，孫克潤2，何瑞銀1，汪小旵1，劉富璽1，厲翔1

（南京農業大學工學院/江蘇省智能化農業裝備重點實驗室，南京 210031；2江蘇銀華春翔機械制造有限公司，江蘇連云港 222200）

【】高通量表型技術不僅是現代育種領域的重要手段，也是解析田間作物生理生態行為的工具,但不同類別高通量表型技術的基礎架構特征仍不清楚，因此需要針對機器視覺高通量表型技術進行專門探討。本文用機器視覺技術檢測計算稻茬麥莖穗一體的表型指標。使用寧麥13、魯原502和鄭麥9023 3個小麥品種，進行小區化對比試驗，使用等孔距柵條精播板進行單粒精播，準確控制條播小麥的群體條件。于稻茬麥成熟期進行莖穗一體圖像獲取，對圖像進行灰度增強、直方圖均值化、S分量提取、Otsu閾值分割、莖穗分離和莖穗形態參數提取等操作。提取的稻茬麥地上部單莖穗各器官的形態參數包括莖稈長、莖稈平均寬度、莖稈投影面積、莖稈周長、麥穗長、麥穗平均寬度、麥穗投影面積和麥穗周長。同時，使用傳統方法獲取小麥單葉片質量、單莖稈質量、單穗質量和單穗籽粒產量等農藝性狀指標。分別構建線性模型、二次模型、指數模型及拓展模型進行多維指標擬合，包括小麥單莖穗生物量與單穗籽粒產量關系、單莖穗的麥穗形態參數與單穗籽粒產量關系等擬合分析。在單莖穗層面對小麥莖穗的表型指標與單穗籽粒產量之間的關系進行相關分析和回歸分析，進而基于機器視覺在小麥莖穗一體方面的個例應用，討論大田高通量表型分析的機器視覺技術研發的要點。寧麥13、魯原502和鄭麥9023 3個小麥品種的單葉片質量與單穗籽粒產量的相關系數依次下降，小麥單莖穗形態參數與單穗籽粒產量的相關性顯著低于生物量指標，但單穗投影面積、單穗長與單穗籽粒產量依然存在顯著正相關。3個小麥品種在單莖穗的各生物量指標與單穗籽粒產量的最優回歸模型各不相同，麥穗圖像的形態參數不能準確反映單穗籽粒產量，但單莖穗的莖稈和麥穗形態參數的組合應用表現出最佳的拓展模型擬合結果。利用莖穗一體的數字圖像處理所得的復合型形態參數可以準確預測單穗籽粒產量，從而表明利用機器視覺技術觀測小麥的生長過程并實時預測產量的可行性。機器視覺技術能提供遠高于常規農藝性狀的高通量指標集，為解析各類農藝性狀之間的聯系及產量的通徑分析提供更多的途徑，但也造成高維指標集和有價值信息提取的技術困難。應用于田間小麥群體的機器視覺技術應具備多尺度智能化自適應的技術架構，同時應具備基于場景、群體、個體和器官的多空間尺度和苗期、分蘗期、拔節期等多生理時間尺度的統計性數字表型發現和計算能力，同時，機器視覺各技術研發環節和各技術模塊都需要農藝學深度參與和校準，而配備標準表型數據庫更是保障高通量技術實用性和可靠性的基礎。

機器視覺；單莖穗；高通量；表型指標；單穗籽粒產量

0 引言

【研究意義】作物表型是植株個體在特定環境條件下表現出的性狀特征總和，高通量表型組學是指建立在可見光、近/遠紅外、超光譜、X光成像等技術及分析平臺基礎上，且在短時間內實現大數量植物個體多維表現型的高精度獲取和定量分析的現代技術體系[1]。其中，近年來數字圖像處理/機器視覺技術的發展為作物表型的無損和高通量采集提供了有效途徑，基于數字圖像技術的高通量表型分析平臺也日趨完善[2-3]。針對表型組學的現代信息技術為作物高通量表型研究提供多樣化的解決方案，也為解析田間群體條件下作物基因型和環境因子影響下的生理生態行為與機制提供全新的方法[4]。各類高通量表型技術種類繁多，解讀的小麥農藝性狀各不相同，應用場合也涉及多個平臺。然而不同類別高通量表型技術的基礎架構特征尚未得到準確表達。【前人研究進展】就機器視覺技術看，近年來針對小麥的表型指標研發的機器視覺技術已分別應用于田間的麥穗識別[5-7]、籽粒計數[8-9]、株高檢測[10-11]及品種識別[12-14]、谷物含水率測定[15]、早期作物活力[16]等不同方面。除此之外，其他用于小麥等作物表型分析的技術類別涉及多光譜[17]或高光譜[18]、X射線-CT[19-21]、激光雷達[22-24]、熱成像[25]、無人機[26-28]、3D相機成像[29-30]等。與種類繁多的高通量表型技術相反的現象是目前許多作物學科關鍵的前沿研究仍然離不開人工測試，如陳昱利等[31]在構建冬小麥主莖葉片幾何參數模型時仍然基于人工測試的方法。陳留根等[32]基于人工記穗和測定生物量等工作。張明偉[33]等通過人工測量株高和莖節長度的方式研究種植密度與肥料運籌對莖稈抗倒伏能力的影響。然而針對小麥生理生態研究的相關報道鮮有涉及機器視覺技術方面的應用，表明目前基于機器視覺的小麥高通量表型技術尚難于滿足作物學家的應用需求。鑒于各類技術均以數字形式呈現作物的農藝性狀，Reuzeau等[34]提出“數字表型”的概念，吳升等[35]也借鑒Multi-agent概念論證表型技術。各類技術既有工程科技的復雜性又涉及作物學生理生態議題，令“數字表型”的真實性和可靠性難于檢驗。【本研究切入點】現有的機器視覺表型技術通常針對小麥單一農藝性狀分析，較少涉及不同類別農藝性狀方面的研究。目前對田間群體條件的小麥單莖穗農藝性狀的機器視覺表型分析仍不多見，此類技術的基本架構特征尚未描述清楚，技術研發所需的功能模塊描述和界定仍不清楚，機器視覺高通量表型技術與農藝學協調研發的內在機制尚需探討。【擬解決的關鍵問題】本文僅僅使用田間群體條件稻茬麥成熟期的單莖穗表型指標解析作為個例技術應用，探討基于機器視覺的小麥高通量表型技術的基本構架和技術研發要領。

1 材料與方法

1.1 試驗設計

田間試驗位于江蘇南京市八百橋（118°59′E，31°98′N），該區為亞熱帶季風氣候，土壤類型為黃棕壤質水稻土，長期稻麥輪作。試驗所用3個小麥品種分別為‘寧麥13’‘魯原502’和‘鄭麥9023’，播期為2017年11月6日，在水稻收獲后清除地表留茬，免耕精密條播，每個小區3次重復，隨機區組排列。

鑒于精確的栽培技術控制是獲得田間小麥一致的群體條件和穩定的農藝性狀的前提，因此田間小區用等孔距柵條精播板進行單粒精播[36]，種子粒距為15 mm，行距為20 cm，播后人工覆土鎮壓（圖1）。小麥田間管理參照大田高產栽培規程，自然雨養。

a：播種Seeding；b：播種效果Effect of seeding

1.2 數字圖像獲取

鑒于小麥、水稻等分蘗作物在群體條件的機器視覺表型技術仍處于研究階段[19,37]，因此本文沿用人工取樣法操作。于成熟期沿地表剪下整株，每個品種選取50個單莖穗帶回實驗室，按單莖穗分別處理。由于小麥成熟期葉片枯黃、幾何特征穩定的葉片形態參數難于獲取，因此本文主要研究莖稈和麥穗的形態參數。人工去除葉片后，將多個樣本正面有條理地平放在白色背景板上。在室內燈光照明條件下采用高120 cm的支架固定相機，使用尼康NiKon D3200型數碼相機對小麥進行垂直拍攝，獲得清晰的單莖穗圖像（圖2-a），使用圖像處理技術提取小麥地上部單莖穗各器官的形態參數，包括莖稈長、莖稈平均寬度、莖稈投影面積、莖稈周長、麥穗長、麥穗平均寬度、麥穗投影面積和麥穗周長。

圖像采集完成后將其莖稈和麥穗分離。使葉片、莖稈和麥穗分別在105℃殺青30 min后，80℃烘干至恒重，稱重記錄各器官生物量，分別為單葉片質量、單莖稈質量和單穗質量。將烘干后的麥穗進行脫粒處理，獲得單穗籽粒產量。

1.3 數字圖像處理

作物表型技術研究往往需要大量試驗樣本，故本文采用多個單莖穗組合一同拍攝，并逐一提取單個莖穗形態參數。主要步驟有圖像預處理、圖像分離和形態參數提取。

圖像預處理階段根據輸出效果進行圖像的灰度調整，針對初始圖像的陰影及光照不均（圖2-a）調整其灰度直方圖（圖2-b）獲取適度增強和均衡化處理后的狀態（圖2-c），便于后續的表型分析。

鑒于RGB圖像相對較低的背景飽和度，將圖像RGB三顏色分量轉換為HSV三維顏色分量（圖3）。發現S分量直方圖中莖穗圖像飽和度和背景飽和度二者的分界比較明顯。進而使用Otsu閾值分割法[38]，獲得單莖穗與背景的分離閾值。結合膨脹腐蝕和背景噪音消除，獲取新的二值圖像。

a：初始數字圖像Initial digital image；b：初始圖像直方圖Initial digital image histogram；c：直方圖均衡化Histogram equalization

a：H分量H component；b：S分量S component；c：V分量V component

統計圖像中連通區域的數量。對圖像采用8連通區域尋找，進行各連通區域的單獨調取獲得單個莖穗圖像。對圖像進行逐行檢測，根據麥穗和莖稈之間的寬度差進行莖穗分離。圖4中3條水平線表示莖穗分離效果。分別對麥穗部分和莖稈部分進行形態參數提取。提取方法為（1）莖稈投影面積：莖稈部分的各行像素點累加求和；（2）莖稈周長：莖稈部分外圍輪廓總長度；（3）莖稈長度：莖稈部分各行中心位置距離累加；（4）莖稈平均寬度：莖稈部分像素和與該部分所占行數比值。麥穗數字圖像的各形態參數提取方法同莖稈。

隨機選取一個品種莖稈長和莖稈周長作為檢驗對象，人工測試并與數字圖像處理結果對比（圖5）。可以看出預測值與實測值擬合程度較好，莖稈長預測決定系數2高達0.961，為9.583 mm。莖稈周長預測決定系數2為0.969，為 15.563 mm。進一步驗證了機器視覺技術獲取數據的準確性。

圖4 小麥莖稈與麥穗分離位置圖

1.4 高通量表型分析

小麥產量的形成是多因子交互及其過程性生物學表現[39]。相關分析和回歸分析是獲取農藝性狀間定量關系和解讀產量形成機制的有效手段[40-42]，因此有必要對單莖穗表型指標與其對應產量的關系分析和回歸模型擬合。表1和表2分別為具體回歸模型。

1.5 數據處理

采用MATLAB R2014a軟件中數字圖像處理模塊進行圖像處理和數據獲取，采用Microsoft Excel 2010和 SPSS 19.0 統計分析軟件進行數據處理和分析。

2 結果

2.1 小麥單莖穗表型指標與單穗籽粒產量的相關分析

表3表明3個品種的單莖生物量指標與單穗籽粒產量的關系均達到極顯著正相關，其中單穗質量與其籽粒產量相關最顯著。鑒于單莖的葉片質量與莖稈質量是小麥生長過程種的性狀，而且同樣顯著影響單穗籽粒產量，因此調控小麥群體，保障每一莖株均衡的生物量是促成群體高產形成的關鍵。品種的差異性十分顯著，寧麥13、魯原502、鄭麥0923的單莖葉片質量與單穗籽粒產量的相關定系數依次下降，表明不同品種小麥的單穗籽粒產量的表達各不相同，高產群體的構建策略也應有所區別。

a：莖稈長Single stem length；b：莖稈周長Single stem circumference

小麥單莖穗形態參數與單穗籽粒產量的相關性顯著低于上述生物量指標（表4），但單穗投影面積、單穗長與單穗籽粒產量依然存在顯著正相關，這進一步表明前期人們開展的基于穗部性狀數字圖像分析技術的可靠性[8, 43]。另外，不同品種間也表現出明顯的顯著性差異，鄭麥9023的地上部各器官生物量指標與單穗籽粒產量的相關性最低，表明基于機器視覺的表型分析技術對不同小麥品種的敏感性具有差異性。

表1 小麥單莖穗地上部生物量與單穗籽粒產量回歸模型

SEY：單穗籽粒產量；SLW：單葉片質量；SSW：單莖稈質量；SEW：單穗質量。下同

SEY: Single ear yield; SLW: Single leaf weight; SSW: Single stem weight; SEW: Single ear weight. The same as below

表2 小麥單莖穗莖稈和麥穗形態參數與單穗籽粒產量回歸模型

SEL：單穗長；SEAW：單穗平均寬度；SEA：單穗投影面積；SEC：單穗周長；SSL：單莖長；SSAW：單莖平均寬度；SSA：單莖投影面積；SSC：單莖周長。下同

SEL: Single ear length; SEAW: Average width of single ear; SEA: Single ear area; SEC: Single ear circumference; SSL: Single stem length; SSAW: Average width of single stem; SSA: Single stem area; SSC: Single stem circumference. The same as below

表3 小麥單莖穗地上部生物量與單穗籽粒產量的相關性

*＜0.05 水平差異顯著；**＜0.01 水平差異顯著。下同

* Significance at＜0.05; ** Significance at＜0.01. The same as below

2.2 小麥單莖穗生物量與單穗籽粒產量的回歸分析

小麥單穗穗重與單穗籽粒產量回歸模型擬合結果表明（表5），寧麥13的各回歸模型均表現出最高的擬合精度，不同模型間對比發現單穗穗重與單穗籽粒產量之間的最佳回歸為二次模型，線性模型次之，指數模型最小。表6顯示單莖葉重、莖稈重和穗重與單穗籽粒產量間的關系，其中寧麥13和鄭麥9023的各生物量指標與單穗籽粒產量間的主導關系為拓展模型。魯原502小麥的最優擬合為線性模型。表5—6表明在單莖穗尺度的生物量性狀對預測單穗籽粒產量的重要性，也進一步從單莖穗尺度證明小麥群體高產理論重視3個產量要素的合理性。但本文基于單莖穗的各生物量解析對應單穗籽粒產量的意義在于能夠從一定程度證明高產群體的構建需要考慮小麥生長過程的生物量均衡調控的重要性，株間、株內各莖蘗間生長過程中葉片、莖稈等生物量形成的均衡性是保障穗部籽粒產量均衡性的物質基礎。

表4 小麥單莖穗莖稈和麥穗形態參數與單穗籽粒產量的相關性

表5 小麥單穗穗重與單穗籽粒產量回歸模型擬合結果

表6 小麥單莖穗莖稈重、葉重和穗重與單穗籽粒產量回歸模型擬合結果

2.3 小麥單莖穗形態參數與單穗籽粒產量的回歸分析

單莖穗地上部各器官生物量指標雖能夠準確對應單穗籽粒產量，但生物量指標只能從機器視覺技術的間接計算獲取[44]，機器視覺的直接輸出指標涉及圖像的形態學參數，因此單莖穗形態參數與單穗籽粒產量之間的關系更能體現出機器視覺表型技術的特色。麥穗形態參數與單穗籽粒產量間的擬合結果見表7，但麥穗形態參數并不能準確對應單穗籽粒產量。進一步將小麥單莖穗的莖稈和麥穗形態參數組合應用時，其與單穗籽粒產量的擬合精度顯著改善，且都以拓展模型為最佳（表8）。其中魯原502決定系數達到0.935，實現了與上述生物量指標基本一致的擬合效果。鑒于表8的所有形態參數都直接來自數字圖像的一次性處理且無需涉及間接對應的生物量指標所需的復雜映射、算法和繁瑣的標定，其對于今后構建田間群體條件下，基于機器視覺技術的小麥生理生態研究的重要性顯而易見。

表7 小麥麥穗形態參數與單穗籽粒產量回歸模型擬合結果

表8 小麥莖稈和麥穗形態參數與單穗籽粒產量回歸模型擬合結果

3 討論

3.1 機器視覺技術的多尺度智能化自適應架構

趙春江等[45]從技術發展的成熟度角度將數字植物分解為“數字可視”“數字生理”等階段。吳升等[35]又從技術的屬性將智能植物系統劃分為感知器Agent、數據處理Agent等不同的功能Agent組件。本文針對稻茬麥單莖穗表型高通量分析的個例應用實現對這兩種技術分類的具體解讀：一方面，基于機器視覺技術的單莖穗高通量表型指標與對應產量的關聯分析突出了“數字生理”技術是當前階段技術發展的瓶頸，也是智慧農業軟硬件系統走向實用化的關鍵內核；另一方面，本文基于人工的各技術操作過程也進一步體現出機器視覺高通量表型技術必須分環節處理各功能組件的重要性。

基于機器視覺的高通量表型技術既是機遇也是挑戰。機器視覺提供基于單莖穗尺度的表型指標與單穗籽粒產量的相關分析和回歸分析為小麥生理生態研究帶來新的機遇，也是“數字生理”的具體體現。而該技術的挑戰可從本研究的諸多方面體現，包括破壞性取樣不符合田間無損監測、以人工經驗拍攝獲取最佳圖像、以感官輔助支持圖像計算和器官識別、以作物學專業經驗進行數字表型設計、以農藝性狀的背景知識引導相關分析和回歸分析以及用專家經驗發現和解讀價值信息。因此基于機器視覺的小麥高通量表型技術面臨的巨大挑戰顯而易見。

本文的個例應用也進一步表明高通量表型技術研發應同時關注兩方面基礎構架設計：空間多尺度和時間多尺度。空間構架需要研發基于場景、群體、個體、器官尺度的智能化多尺度自適應圖像獲取技術[25]。時間多尺度構架則需要針對小麥不同生育期，構建統計性表達的數字表型及其對應農藝性狀的基礎知識庫，以及整個生育期的機器視覺標定數據庫。考慮到現有小麥品系之多，這一工作十分復雜。

3.2 機器視覺技術的高通量表型相關分析和回歸分析

基于機器視覺的小麥高通量表型技術是探究和解析作物生產科學的重要途徑。僅從近期的少量文獻看出具備機器視覺表型技術特征的小麥農藝性狀超過30個，涉及葉片表型性狀[31]、穗部性狀[8, 39]、株高與莖節性狀[46]等。如果再把這些機器視覺表型指標與生物量和生理生態性狀等全部整合，那么高通量分析的數據將高達數十維。此時如果按照仇瑞承等[44]的組合方法構建模型，則所需的擬合模型將會更多。這也印證了周濟等[25]的判斷，智慧農業的高通量表型技術的農藝性狀信息挖掘是今后的巨大挑戰。

基于機器視覺的小麥高通量表型數據為作物生理生態研究提供豐富的再解讀途徑，而且該技術帶來了作物表型指標集的爆炸式增長，因此可能導致“數字生理”的準確性和可靠性問題。匹配和校驗“數字作物表型”與實體作物性狀的真實性和準確性、使用真實作物生理生態機制標定數字作物表型間的內在聯系、以及使用數字作物表型預測產量等都是當前數字農業的深層次技術問題。本文實現了小麥單莖穗表型指標與單穗籽粒產量的相關分析和回歸擬合分析。研究結果充分表明，基于機器視覺的高通量表型技術在解析田間群體條件的小麥生理生態和基于單莖穗尺度的大田群體管理研究的重要性。

3.3 數字表型的小麥生理生態鏡像特征及農藝標定

基于機器視覺的作物高通量表型技術有別于虛擬植物，后者以模型驅動為主，輔以實體作物的標定[47-48]。而機器視覺作物高通量表型技術體系并不依賴作物模型驅動，直接以實體作物的真實農藝性狀作為數字化對象，因此能夠利用數字深加工和模型分析獲取田間群體條件下的小麥生理生態解析。鑒于高通量表型指標的復雜性，本文僅僅使用小麥單莖穗簡單的形態參數進行測試，這也可能在某種程度上導致本文的擬合精度不盡理想。因此，貫穿于機器視覺高通量表型技術的各環節、各技術組件的研發都需要農藝學深度的參與和反復校驗，高強度的農藝學校準和標定是保障高通量機器視覺技術走向可靠與成熟的關鍵，目前的學科分割狀態需要更加積極的跨學科團隊協作機制。

更為宏觀層面的數字作物測試技術面臨的挑戰已在相關文獻中討論[45]。潘映紅[4]提出了映射性狀、目標性狀、未知性狀等諸多概念。若將本文針對機器視覺技術的“鏡像數字表型”與作物的“實體性狀”的關系討論推廣到目前的各類技術路線，可以發現在各類技術體系環節中貫穿農藝學校準和標定的工作量之艱巨、實施難度之大，從而令我們看到“數字作物表型”在其技術層面的實質是屬于大科學工程的基本特征，其組織實施需要跨學科的戰略設計和精細技術構架設計。

4 結論

基于機器視覺技術的作物高通量表型分析能夠推動從小麥的場景到器官尺度實現田間小麥的生理生態過程解讀。小麥單莖穗表型指標與單穗籽粒產量的相關分析和回歸擬合分析是解析田間群體條件的小麥生理生態和管理研究的重要途徑。基于機器視覺的作物高通量表型技術研發的環節繁瑣，且各環節都需要深度的農藝學參與、標定和校準。

[1] 潘銳, 熊勤學, 張文英. 數字圖像技術及其在作物表型研究中的應用研究進展. 長江大學學報（自然科學版）, 2016, 13(21): 38-41, 46.

Pan Y, XIONG Q X, ZHANG W Y. Research advances in digital image technology and its application in crop phenotype., 2016, 13(21): 38-41, 46. (in Chinese)

[2] SINGH A, GANAPATHYSUBRAMANIAN B, SINGH A K, SARKAR S. Machine learning for high-throughput stress phenotyping in plants., 2015, 21(2): 110-124.

[3] GOGGIN F L, LORENCE A, TOPP C N. Applying high-through-put phenotyping to plant-insect interactions: picturing more resistant crops., 2015, 9: 69-76.

[4] 潘映紅. 論植物表型組和植物表型組學的概念與范疇. 作物學報, 2015, 41(2): 175-186.

PAN Y H. Analysis of concepts and categories of plant phenome and phenomics., 2015, 41(2): 175-186.(in Chinese)

[5] 范夢揚, 馬欽, 劉峻明, 王慶, 王越, 段熊春. 基于機器視覺的大田環境小麥麥穗計數方法. 農業機械學報, 2015, 46(s1): 234-239.

FAN M Y, MA Q, LIU J M, WANG Q, WANG Y, DUAN X C. Counting method of wheatear in field based on machine vision technology., 2015, 46(s1): 234-239. (in Chinese)

[6] 路文超, 羅斌, 潘大宇, 趙勇, 于春花, 王成. 基于圖像處理的小麥穗長和小穗數同步測量. 中國農機化學報, 2016, 37(6): 210-215.

LU W C, LUO B, PAN D Y, ZHAO Y, YU C H, WANG C. Synchronous measurement of wheat ear length and spikelets number based on image processing., 2016, 37(6): 210-215. (in Chinese)

[7] 劉濤, 孫成明, 王力堅, 仲曉春, 朱新開, 郭文善. 基于圖像處理技術的大田麥穗計數. 農業機械學報, 2014, 45(2): 282-290.

LIU T, SUN C M, WANG L J, ZHONG X C, ZHU X K, GUO W S. In-field wheatear counting based on image processing technology., 2014, 45(2): 282-290. (in Chinese)

[8] 杜世偉, 李毅念, 姚敏, 李玲, 丁啟朔, 何瑞銀. 基于小麥穗部小穗圖像分割的籽粒計數方法. 南京農業大學學報, 2018, 41(4): 742-751.

DU S W, LI Y N, YAO M, LI L, DING Q S, HE R Y. Counting method of grain number based on wheatear spikelet image segmentation., 2018, 41(4): 742-751. (in Chinese)

[9] 趙三琴, 李毅念, 丁為民, 呂俊逸, 王心怡. 稻穗結構圖像特征與籽粒數相關關系分析. 農業機械學報, 2014, 45(12): 323-328.

ZHAO S Q, LI Y N, DING W M, Lü J Y, WANG X Y. Relative analysis between image characteristics of panicle structure and spikelet number., 2014, 45(12): 323-328. (in Chinese)

[10] HU P, CHAPMAN S C, WANG X, POTGIETER A, DUAN T, JORDAN D, GUO Y, ZHENG B. Estimation of plant height using a high throughput phenotyping platform based on unmanned aerial vehicle and self-calibration: Example for sorghum breeding., 2018, 95: 24-32.

[11] 牛慶林, 馮海寬, 楊貴軍, 李長春, 楊浩, 徐波, 趙衍鑫. 基于無人機數碼影像的玉米育種材料株高和LAI監測. 農業工程學報, 2018, 34(5): 73-82.

NIU Q L, FENG H K, YANG G J, LI C C, YANG H, XU B, ZHAO Y X. Monitoring plant height and leaf area index of maize breeding material based on UAV digital images., 2018, 34(5): 73-82. (in Chinese)

[12] 樊超, 夏旭, 石小鳳, 侯利龍. 基于優化神經網絡的小麥品種分類研究. 河南工業大學學報(自然科學版), 2012, 33(4): 72-76.

FAN C, XIA X, SHI X F, HOU L L. Research on wheat variety classification based on optimized artificial neural network., 2012, 33(4): 72-76. (in Chinese)

[13] 何勝美, 李仲來, 何中虎. 基于圖像識別的小麥品種分類研究. 中國農業科學, 2005, 38(9): 1869-1875.

HE S M, LI Z L, HE Z H. Classification of wheat cultivar by digital image analysis., 2005, 38(9): 1869-1875. (in Chinese)

[14] MEBATSION H K, PALIWAL J, JAYAS D S. A novel, invariant elliptic Fourier coefficient based classification of cereal grains., 2012, 111(4): 422-428.

[15] TAHIR A R, NEETHIRAJAN S, JAYAS D S, SHAHIN M A, SYMONS S J, WHITE N D G. Evaluation of the effect of moisture content on cereal grains by digital image analysis., 2007, 40(9): 1140-1145.

[16] KIPP S, MISTELE B, BARESEL P, SCHMIDHALTER U. High-throughput phenotyping early plant vigour of winter wheat., 2014, 52: 271-278.

[17] 張猛, 孫紅, 李民贊, Zhang Q, 鄭立華. 基于4波段作物光譜測量儀的小麥分蘗數預測. 農業機械學報, 2016, 47(9): 341-347.

ZHANG M, Sun H, LI M Z, ZHANG Q, ZHENG L H. Prediction of winter wheat tiller number based on 4-waveband crop monitor with spectral reflectance., 2016, 47(9): 341-347. (in Chinese)

[18] 任建強, 吳尚蓉, 劉斌, 陳仲新, 劉杏認, 李賀. 基于Hyperion高光譜影像的冬小麥地上干生物量反演. 農業機械學報, 2018, 49(4): 199-211.

REN J Q, WU S R, LIU B, CHEN Z X, LIU X R, LI H. Retrieving winter wheat above-ground dry biomass based on hyperion hyperspectral imagery., 2018, 49(4): 199-211. (in Chinese)

[19] 吳迪, 楊萬能, 牛智有, 黃成龍. 小麥分蘗形態學特征X射線-CT無損檢測. 農業工程學報, 2017, 33(14): 196-201.

WU D, YANG W N, NIU Z Y, HUANG C L. Non-destructive detection of wheat tiller morphological traits based on X-ray CT technology., 2017, 33(14): 196-201. (in Chinese)

[20] YANG W, XU X, CHEN S, DUAN L, LUO Q, CHEN S, ZENG S, LIU Q. High-throughput measurement of rice tillers using a conveyor equipped with x-ray computed tomography., 2011, 82(2): 025102-025109.

[21] NEETHIRAJAN S, JAYAS D S, WHITE N D G. Detection of sprouted wheat kernels using soft X-ray image analysis., 2007, 81(3): 509-513.

[22] KRONENBERG L, YU K, WALTER A, HUND A. Monitoring the dynamics of wheat stem elongation: genotypes differ at critical stages., 2017, 213(7): 157-170.

[23] REISER D, VáZQUEZ-ARELLANO M, PARAFOROS D S, MARRIDO-IZARD M, GRIEPENTROG H W. Iterative individual plant clustering in maize with assembled 2D LiDAR data., 2018, 99: 42-52.

[24] JIMENEZ-BERNI J A, DEERY D M, ROZAS-LARRAONDO P, Condon A G, Rebetzke G J, Greg J, James R A, Bovill W D, Furbank R T, Sirault X R R. High throughput determination of plant height, ground cover, and above-ground biomass in wheat with LiDAR., 2018, 9(237): 1-18.

[25] 周濟, TARDIEU F, PRIDMORE T, DOONAN J, REYNOLDS D, HALL N, GRIFFITHS S, 程濤, 朱艷, 王秀娥, 姜東, 丁艷峰. 植物表型組學: 發展、現狀與挑戰. 南京農業大學學報, 2018, 41(4): 580-588.

ZHOU J, TARDIEU F, PRIDMORE T, DOONAN J, REYNOLDS D, HALL N, GRIFFITHS S, CHENG T, ZHU Y, WANG X E, JIANG D, DING Y F. Plant phenomics: History, present status and challenges., 2018, 41(4): 580-588. (in Chinese)

[26] JIN X, LIU S, BARET F, HEMERLé M, COMAR A. Estimates of plant density of wheat crops at emergence from very low altitude UAV imagery., 2017, 198: 105-114.

[27] KIM D, YUN H S, JEONG S, KWON Y, KIM S, LEE W S, KIM H. Modeling and testing of growth status for Chinese cabbage and white radish with UAV-Based RGB imagery., 2018, 10(4): 563-588.

[28] KHAN Z, RAHIMI-EICHI V, HAEFELE S, GARNETT T, MIKLAVCIC S J. Estimation of vegetation indices for high-throughput phenotyping of wheat using aerial imaging., 2018, 14(1): 20.

[29] HE J Q, HARRISON R J, LI B. A novel 3D imaging system for strawberry phenotyping., 2017, 13(1): 93-101.

[30] WALTER J, EDWARDS J, MCDONALD G, KUCHEL H. Photogrammetry for the estimation of wheat biomass and harvest index., 2018, 216: 165-174.

[31] 陳昱利, 楊平, 張文宇, 張偉欣, 諸葉平, 李世娟, 鞏法江, 畢海濱, 岳霆, 曹宏鑫. 越冬前冬小麥主莖葉片幾何參數模型研究. 麥類作物學報, 2015, 35(12): 1719-1726.

CHEN Y L, YANG P, ZHANG W Y, ZHANG W X, ZHU Y P, LI S J, GONG F J, BI H B, YUE T, CAO H X. Study on main geometrical parameter models of leaf blade at pre-overwintering of winter wheat., 2015, 35(12): 1719-1726. (in Chinese)

[32] 陳留根, 劉紅江, 沈明星, 鄭建初. 不同播種方式對小麥產量形成的影響. 江蘇農業學報, 2015, 31(4): 786-791.

CHEN L G, LIU H J, SHEN M X, ZHENG J C. Effects of different seeding modes on grain yield formation of wheat., 2015, 31(4): 786-791. (in Chinese)

[33] 張明偉, 馬泉, 丁錦峰, 李春燕, 朱新開, 封超年, 郭文善. 密度與肥料運籌對遲播小麥產量和莖稈抗倒能力的影響. 麥類作物學報, 2018, 38(5): 584-592.

ZHANG M W, MA Q, DING J F, LI C Y, ZHU X K, FENG C N, GUO W S. Effect of density and nitrogen application on clum lodging resistance and yield of late sowing wheat., 2018, 38(5): 584-592. (in Chinese)

[34] REUZEAU C, PEN J, FRANKARD V, WOLF J, PEERBOLTE R, BROEKAERT W, CAMP W. TraitMill: a discovery engine for identifying yield-enhancement genes in cereals., 2005, 3(5): 753-759.

[35] 吳升, 郭新宇, 苗騰, 肖伯祥, 溫維亮, 趙春江. 基于Multi-Agent的智能植物系統的構建與應用研究. 中國農業科技導報, 2017, 19(5): 60-69.

WU S, GUO X Y, MIAO T, XIAO B X, WEN W L, ZHAO C J. Construction and application of intelligent plant platform based on Multi-Agent., 2017, 19(5): 60-69. (in Chinese)

[36] 芮超杰. 稻茬麥免耕種植技術模式及其效應研究[D]. 南京: 南京農業大學, 2016.

RUI C J. Research on no-till post-paddy wheat seeding technologies and its’ effect[D]. Nanjing: Nanjing Agricultural University, 2016. (in Chinese)

[37] 馮慧, 熊立仲, 陳國興, 楊萬能, 劉謙. 基于高光譜成像和主成分分析的水稻莖葉分割. 激光生物學報, 2015, 24(1): 31-37.

FENG H, XIONG L Z, CHEN G X, YANG W N, LIU Q. The segmentation of leaf and stem of individual rice plant with hyperspectral imaging system and principal component analysis., 2015, 24(1): 31-37. (in Chinese)

[38] OTSU N. A threshold selection method from gray-level histograms., 1979, 9(1): 62-66.

[39] 陳昱利, 楊平, 張文宇, 張偉欣, 諸葉平, 李世娟, 鞏法江, 畢海濱, 岳霆, 曹宏鑫. 基于生物量的冬小麥穗部主要形態參數模型. 作物學報, 2017, 43(3): 399-406.

CHEN Y L, YANG P, ZHANG W Y, ZHANG W X, ZHU Y P, LI S J, GONG F J, BI H B, YUE T, CAO H X. Biomass-based main spike morphological parameter model for winter wheat., 2017, 43(3): 399-406. (in Chinese)

[40] 亓振, 趙廣才, 常旭虹, 王德梅, 陶志強, 楊玉雙, 王美, 范仲卿, 郭明明, 王雨, 孫通, 劉孝成. 小麥產量與農藝性狀的相關分析和通徑分析. 作物雜志, 2016(3): 45-50.

QI Z, ZHAO G C, CHANG X H, WANG D M, TAO Z Q, YANG Y S, WANG M, FAN Z Q, GUO M M, WANG Y, LIU T, LIU X C. Correlation and path analysis on wheat yield and agronomic indices., 2016(3): 45-50. (in Chinese)

[41] 周延輝, 朱新開, 郭文善, 封超年. 稻茬小麥中高產水平下產量及其構成因素分析. 麥類作物學報, 2018, 28(3): 293-297.

ZHOU Y H, ZHU X K, GUO W S, FENG C N. Analysis of yield and yield components of wheat after rice on medium-high-yielding level., 2018, 28(3): 293-297. (in Chinese)

[42] 蔣霓. 單株水稻綠葉面積無損測量方法研究[D]. 武漢: 華中科技大學, 2014.

JIANG N. A non-destructive method for total green leaf area estimation of individual rice plants[D]. Wuhan: Huazhong University of Science and Technology, 2014. (in Chinese)

[43] 龔紅菊, 姬長英. 基于圖像處理技術的麥穗產量測量方法. 農業機械學報, 2007, 38(12): 116-119.

GONG H J, JI C Y. Estimating yield of wheat spike with its texture features based on image processing technology., 2007, 38(12): 116-119. (in Chinese)

[44] 仇瑞承, 苗艷龍, 張漫, 李寒, 孫紅. 基于線性回歸的玉米生物量預測模型及驗證. 農業工程學報, 2018, 34(10): 131-137.

QIU R C, MIAO Y L, ZHANG M, LI H, SONG H. Modeling and verification of maize biomass based on linear regression analysis., 2018, 34(10): 131-137. (in Chinese)

[45] 趙春江, 陸聲鏈, 郭新宇, 杜建軍, 溫維亮, 苗騰. 數字植物研究進展:植物形態結構三維數字化. 中國農業科學, 2015, 48(17): 3415-3428.

ZHAO C J, LU S L, GUO X Y, DU J J, WEN W L, MIAO T. Advances in research of digital plant: 3D digitization of plant morphological structure., 2015, 48(17): 3415-3428. (in Chinese)

[46] 邵慶勤, 周琴, 王笑, 蔡劍, 黃梅, 戴廷波, 姜東. 種植密度對不同小麥品種莖稈形態特征、化學成分及抗倒性能的影響. 南京農業大學學報, 2018, 41(5): 808-816.

SHAO Q Q, ZHOU Q, WANG X, CAI J, HUANG M, DAI T B, JIANG D. Effects of planting density on stem morphological characteristics, chemical composition and lodging resistance of different wheat varieties., 2018, 41(5): 808-816. (in Chinese)

[47] 雷曉俊, 湯亮, 張永會, 姜海燕, 曹衛星, 朱艷. 小麥麥穗幾何模型構建與可視化. 農業工程學報, 2011, 27(3): 179-184.

LEI X J, TANG L, ZHANG Y H, JIANG H Y, CAO W X, ZHU Y. Geometric model and visualization of wheat spike., 2011, 27(3): 179-184. (in Chinese)

[48] 楊月, 劉兵, 劉小軍, 劉蕾蕾, 范雪梅, 曹衛星, 朱艷. 小麥生育期模擬模型的比較研究. 南京農業大學學報, 2014, 37(1): 6-14.

YANG Y, LIU B, LIU X J, LIU L L, FAN X M, CAO W X, ZHU Y. Comparison of phasic development models in wheat., 2014, 37(1): 6-14. (in Chinese)

High-throughput phenotyping of individual wheat stem and ear traits with machine vision

DING QiShuo1,LI HaiKang1,SUN KeRun2,HE RuiYin1, WANG XiaoChan1, LIU FuXi1, LI Xiang1

(1College of Engineering, Nanjing Agricultural University/Key Laboratory of Intelligent Agricultural Equipment of Jiangsu Province, Nanjing 210031;2Jiangsu Yinhua Chunxiang Machinery Manufacturing Co. Ltd., Lianyungang 222200, Jiangsu)

【】 High-throughput phenotyping (HTP) is not only an important tool of modern agriculture for crop breeding, but also a powerful means to illustrate physiological and ecological mechanisms of crops in the field. However, the basic features of structural components of each HTP tools have to be illustrated. It is therefore necessary to investigate what a technical feature is applicable to machine vision based HTP system.【】 An image-processing tool was developed to measure stem-and-ear level traits of each individual wheat stem. Three wheat species, i.e. Ningmai 13, Luyuan 502 and Zhengmai 9023, were used for plot experiment analysis. The wheat was sown with luffer board having equally spaced seeding holes. The precision seeding tools were applied to control wheat population accurately. At the maturity of post-paddy wheat, the integrated image of stem and ear was obtained, and the image was subjected to gray enhancement, histogram equalization, S component extraction, Otsu threshold segmentation, stem and ear separation, and stem and ear morphology parameters. The morphological parameters of the individual organs per stem-panicle of the extracted post-paddy wheat included stem length, average stem width, stem projection area, stem circumference, ear length, average ear width, ear projection area and ear circumference. In addition, traditional methods of measurement were used to derive single leaf weight, single stem weight, single ear weight and single ear yield etc. Linear, quadratic, extended and exponential models were applied for the regression on the collected multi-dimensional data sets, including correlations between ear and stem level biomass and individual ear grain yield, interrelationships among morphological parameters of stem and ear and single ear grain yield. Correlation analysis and regression analysis were performed on the processed indices of wheat. Based on this case study, some key aspects of technologies were discussed concerning on the application of machine vision tools on high-throughput phenotyping in the field.【】Results showed that correlation coefficients of individual stem and leaf weight with individual ear grain yield decreased steadily from Ningmai 13 to Luyuan 502, and till Zhengmai 9023. Correlation coefficient of stem and ear morphological parameters with individual ear grain yield was significantly lower than that among the biomasses. However, composite morphological parameter, which integrated single ear projection area and single ear length, was found significantly correlated with individual ear grain yield. The best regression model for the correlation between stem and ear biomass and individual ear grain yield of the three wheat species were different. Morphological parameters derived from ear images failed to predict individual ear grain yield precisely. However, combined morphological parameters from wheat stem and wheat ear revealed the best result of regression with extension models. Composite morphological stem-and-ear level traits of individual wheat stem provided more accurate prediction on the ear-derived grain yield, which could make the yield prediction with growth-stage traits collected with machine vision technically possible. Machine vision tools of HTP provided a much higher sets of agronomic trait indices as compared with traditional methods, providing more options for the illustration on the correlations among agronomic traits and path-analysis on crop yield. It in turn resulted into high-dimensional data sets and technical difficulties impeding the identification on valuable information. 【】A basic infrastructure of HTP machine vision tools for field wheat stand was defined as multi-scale and automatic adaptation aspect. It should be autonomously adaptable to multi-scales concerning with the field, crop stand, individual crop and organ-level traits of each individual crop. It also provided traits identification and calculation with statistical analysis on different physiological periods of wheat, e.g. seedling stage, tillering stage, jointing stage etc. Meanwhile, in each development stage of the machine-vision HTP tools and for each functional module, in-depth involvement of agronomical calibration was required. In safeguarding the reliability of machine-vision tools, standardization on referencing HTP-derived traits was also necessary.

machine vision; individual stem and ear; high-throughput analysis; trait indices; ear-level grain yield

10.3864/j.issn.0578-1752.2020.01.004

2019-04-30；

2019-05-20

國家重點研發計劃（2016YFD0300900）、江蘇省農業科技自主創新資金（CX（17）1002）、江蘇省蘇北科技專項“稻麥輪作區免耕滅茬打漿機研發及產業化”（ZL-LYG2017008）

丁啟朔，E-mail：qsding@njau.edu.cn

（責任編輯 楊鑫浩）