基于時間序列的玉米葉片性狀動態提取方法研究

黃成龍 張雪海 吳 迪 葉軍立 楊萬能,

(1.華中農業大學工學院， 武漢 430070; 2.華中農業大學作物遺傳改良國家重點實驗室， 武漢 430070)

基于時間序列的玉米葉片性狀動態提取方法研究

黃成龍1張雪海2吳 迪1葉軍立1楊萬能1,2

(1.華中農業大學工學院， 武漢 430070; 2.華中農業大學作物遺傳改良國家重點實驗室， 武漢 430070)

玉米葉片性狀對生長發育、遺傳育種及功能基因解析研究具有重要意義，而傳統的測量方式效率低、主觀性強、測量性狀少，已無法滿足現代玉米研究的需求，為此提出一種基于時間序列的玉米葉片性狀動態追蹤技術。研究基于高通量作物表型平臺，針對100份玉米品種資源，每間隔3 d獲取8個玉米生長點圖像；利用圖像分割、葉片骨架提取等算法得到單片葉長、葉角度、葉彎曲度參數；基于葉片相對位置信息實現玉米葉片的動態追蹤及標記。試驗結果和人工測量值相比，葉長和葉夾角測量誤差分別為0.92%和3.32%。葉片追蹤可以得到葉片的動態變化過程，計算獲取葉片長度的平均生長率及葉片彎曲度的變化分布。

玉米葉片； 動態追蹤； 圖像處理； 葉片標記

引言

玉米是世界總產量最大的農作物，也是種植范圍最廣的糧食作物[1-2]。培養優質、高產、抗逆的玉米品種是玉米育種的目標[3]，其中提高產量潛力是玉米育種和生產面臨的主要壓力[4]。玉米葉片是進行光合作用的重要場所，在玉米生長過程中，葉片性狀作為一種重要指標，直接反映作物的長勢和產量[5]。玉米葉片面積是反映植株光合作用能力的重要參數,研究表明葉面積與產量具有很大的正相關性[6]。玉米葉片的著生姿態對光能的利用也有著直接的影響[7]，具體包括葉夾角、葉彎曲度等性狀, 研究表明在同等葉面積情況下，葉夾角小，葉片上挺的株型光合作用利用率高，有利于密植，并在同等管理水平下該品種較易獲得高產[8-9]。

傳統玉米葉片性狀的測量主要依靠“一把尺子、一桿秤”的人工方法，效率低、人工接觸干擾、可靠性差，不能滿足現代玉米研究的需求[10]。隨著機器視覺技術[11]在農業中應用的日益廣泛，與玉米相關的表型技術[12]在國內外得到了快速的發展。王傳宇等[13]利用雙目立體視覺技術可以監測玉米葉片微小的位置變化；蘇偉等[14]利用激光雷達研究獲取玉米真實葉面積；趙春江等[15]采用立體視覺技術重建玉米植株的三維骨架; GE等[16]利用Lemnatec提供的GmbH系統可實時監測玉米的生長狀態。綜上所述目前已發表的玉米葉片表型測量技術主要關注單一時間節點上葉片復雜表型性狀的獲取，而進一步實現基于時間序列玉米葉片性狀的動態獲取將可以更好地幫助玉米生長發育、遺傳育種研究[17]，如玉米不同位置葉片角度、彎曲度的變化將直接影響葉片的光合作用[18]，并最終影響產量。因此發展玉米葉片表型動態測量方法不僅具有十分重要的科學意義和研究價值，也是玉米表型技術下一步發展的重要方向。

本研究以玉米葉片的葉長、葉角度、葉彎曲度為研究對象，基于已有的高通量表型系統[19]，提出一種自動獲取玉米單片葉性狀的方法，并基于時間序列實現葉片的動態追蹤。

1 方法

1.1 實驗材料

本研究采用的100份玉米實驗材料來自玉米關聯群體，從熱帶和亞熱帶材料中各隨機選50份。將玉米種植在直徑為22 cm的塑料盆中，為植株提供相同的土壤、水、肥環境?？紤]到玉米在進入抽雄期后葉片會存在凋謝、大面積交疊等復雜狀況，為保證測量精度和葉片配準準確度，本研究選擇葉片狀況相對簡單的苗期至拔節期為研究時間范圍，測量時間為播種后28 d，每3 d測量一次，共獲取8個時間節點的圖像。人工測量葉長，采用直尺將葉片拉直，測量從葉基部至葉尖的距離；人工測量葉夾角采用量角器測量葉片與莖稈的夾角。

1.2 圖像采集

本研究所采用的成像系統如圖1a所示，玉米盆栽植株通過植株送檢線進入成像暗室，到達旋轉臺，旋轉臺為渦輪蝸桿結構，由MHMD022G1V型伺服電動機驅動，旋轉臺面直徑為300 mm，通過MADHT1507E型伺服控制器可實現植株穩定、精確旋轉。系統拍圖采用德國AVT Stingray F-504型工業相機，分辨率為2 452像素×2 056像素，通過IEEE 1394b接口上傳至HP Z620圖形工作站。測量完畢后通過植株出檢線將玉米植株送出。

系統通過控制程序每間隔10°獲取一幅側視圖像，每盆植株采集18幅圖像，如圖1b所示為部分角度圖像。對獲取的圖像判斷植株寬度，自動識別最大伸展面植株圖像，如圖1b中紅色箭頭所示。該圖像為后續圖像分析和參數提取的前提條件。本研究中對100株玉米，各采集8個生長點，每個生長點采集18幅圖像，共計14 400幅圖像。

圖1 成像系統及采集圖像Fig.1 Imaging system and acquiring image

1.3 圖像處理及性狀提取

1.3.1 玉米植株圖像處理

基于上述獲取的最大伸展面玉米圖像，本研究的圖像處理過程如圖2所示。首先，將玉米植株按照設定的感興趣區域(ROI)進行裁剪，如圖2a所示。然后，提取RGB圖像的超G分量(2G-R-B)，將此灰度圖像進行Otsu[20]自動閾值分割得到圖2b。再利用鄰域相似性，對圖2b進行區域生長得到圖2c。利用并行細化算法[21]對完整的二值圖像提取植株骨架，并去除細小毛刺，得到圖2d。采用霍夫變換[22]對玉米骨架圖像檢測豎直方向上的直線，識別骨架中莖稈部分，如圖2e中藍色標識部分。根據葉片的聯通性和位置信息，對葉片骨架進行識別并用不同的偽彩進行標記，得到圖2f。

圖2 玉米植株圖像處理Fig.2 Procedures for maize image processing

1.3.2 玉米葉片性狀提取

通過上述圖像處理步驟可以識別植株莖稈、葉片，本研究針對玉米葉片角度、葉片長度、彎曲度性狀，設計玉米葉片性狀提取方法如下。葉片角度(A)如圖3a所示，計算葉片切線方向與莖稈方向的夾角。圖3a中的葉片骨架存在回折，無法準確描述葉片的彎曲路徑，因此對葉片骨架進行重采樣處理，使葉片骨架更加平滑，如圖3b所示。葉片長度，即為重采樣點之間歐氏距離之和。葉片彎曲度為

(1)

式中C——葉片彎曲度L——葉片長度D——葉片距離，即葉尖點到葉枕之間的歐氏距離

圖3 玉米葉片性狀參數提取Fig.3 Extraction of maize leaf parameters

1.3.3 基于時間序列的玉米葉片匹配

圖4 基于時間序列的玉米葉片匹配方法Fig.4 Leaf matching method based on time series

基于上述植株葉片骨架重采樣之后的結果，對所采集的8個生長點圖像進行葉片配準。由于玉米植株葉片在生長過程中，新的葉片總是從上面長出，葉片在莖稈上的相對位置始終是不變的?；谏鲜鎏攸c，利用葉片骨架的相對位置信息，在玉米生長早期不存在葉片枯死的情況下，沿著莖稈路徑從下至上依次配準，可以準確得到葉片之間的匹配關系。具體匹配步驟如圖4所示，對任意相鄰的2個時間序列玉米骨架圖像，首先判斷后面序列與前面序列之間是否存在鏡像關系，若存在則對后面序列進行鏡像操作，然后將到莖稈距離較小的葉片端點視為葉片起始位置，再計算葉片起始位置到莖稈的投影位置，最后沿著莖稈從下至上依次對所經過的葉片進行標記，不同時間序列下相同標記數值所對應的葉片即為配準葉片。

該配準效果如圖5所示，葉片骨架用不同顏色標記，不同時間節點的相同顏色骨架為配準葉片。以圖中箭頭所示的葉片為例，左上角a表示葉片長度，b表示葉片彎曲度，c表示葉片角度，根據8個生長點的葉片配準結果可以動態展示葉片的生長過程。該自動配準方法主要針對玉米生長早期，葉片在生長后期可能有枯萎情況，導致匹配產生異常，若枯萎葉片在最下方可以直接插入死亡葉片數，這樣在標記時加上死亡葉片數可使剩下葉片匹配正確，若缺失葉片在中間位置則需通過人工修正標記值來排除異常。

圖5 基于時間序列的玉米葉片匹配結果Fig.5 Maize leaf registration results based on time sequences

2 結果

基于上述圖像分析過程，對100株玉米植株的生長點圖像進行處理。將系統測量的葉片長度、角度與人工測量結果進行對比來評價該方法的精度。測量結果所得的平均絕對百分比誤差(MAPE)和均方根誤差(RMSE)為

(2)

(3)

式中M——平均絕對百分比誤差R——均方根誤差n——樣本數xai——系統測量結果xmi——人工測量結果

其中，人工測量樣本為100株玉米植株中，隨機抽取一個生長點，人工測量該生長點的所有葉片長度和葉片角度，求平均作為真實值。取該生長點圖像進行分析，對結果求平均作為系統值。

系統測量值與人工測量值的對比結果如圖6所示。葉片長度的M、R分別為0.93%、4.92 mm；葉片角度的M、R分別為3.32%、0.95°。結果表明系統具有較高的測量精度，且系統測量值與人工測量值的決定系數都大于0.97，結果表明系統測量與人工測量具有較好的一致性。結果說明結合葉片骨架和重采樣的方式可以準確描述葉片的彎曲路徑。

圖6 系統測量與人工測量結果對比Fig.6 Result comparisons of system measurement and manual measurement

基于時間序列的玉米葉片匹配，可以獲取葉片的生長速率等信息，玉米葉片平均生長率及葉片彎曲度變化如圖7所示。其中葉片的生長速率是通過葉片長度的變化速率來表征，葉長在任意時間序列處的生長速率為

Yt=Xt-Xt-1

(4)

式中Yt——葉片長度在時間序列t處的生長速率，mm/(3 d)

Xt——葉片在時間序列t處的長度

t——系統測量的時間序列，取1～8的整數

圖7 玉米葉片平均生長率及葉片彎曲度變化量Fig.7 Average growth rate of maize leaf length and variation of maize leaf curvature

然后計算玉米葉片在8個生長點平均長度變化率為

(5)

可以得到100個品種的平均葉片生長率，如圖7所示，紅色圓圈為生長率最大的品種，葉長平均生長速率為56.79 mm/(3 d)。葉片彎曲度變化計算方法類似，結果表明隨著玉米植株生長，葉片彎曲度呈下降趨勢。

3 結論

(1)基于高通量作物表型系統，設計了一種自動獲取玉米單片葉性狀的方法，可以準確獲取葉片長度、角度、彎曲度性狀參數，以100株玉米植株為研究對象，結果表明葉片長度和角度的測量誤差分別為0.93%和3.32%。

(2)對玉米植株每3 d測量一次，并對得到的葉片骨架基于位置信息進行配準可以得到單片葉性狀的動態變化過程。此外對100株玉米植株動態測量可以得到玉米葉片長度的生長率及葉片彎曲度變化分布。

(3)本研究主要是針對早期玉米植株，對于玉米生長后期可能會出現葉片枯死、葉片生長不在同一個平面等復雜狀況需要進一步完善相關處理算法。本研究為玉米早期生長發育研究提供了一種新的思路。

1 嚴建兵, 湯華, 黃益勤, 等. 玉米產量及構成因子主效和上位性 QTL 的全基因組掃描分析[J]. 科學通報, 2006, 51(12): 1413-1421.

2 LOBELL D B, ROBERTS M J, SCHLENKER W, et al. Greater sensitivity to drought accompanies maize yield increase in the US Midwest[J]. Science, 2014, 344(6183): 516-519.

3 TOLLENAAR M, LEE E A. Yield potential, yield stability and stress tolerance in maize[J]. Field Crops Research, 2002, 75(2-3): 161-169.4 陳林, 楊新國, 翟德蘋, 等. 檸條秸稈和地膜覆蓋對土壤水分和玉米產量的影響[J]. 農業工程學報, 2015, 31(2): 108-116. CHEN Lin, YANG Xinguo, ZHAI Deping, et al. Effects of mulching with Caragana powder and plastic film on soil water and maize yield[J]. Transactions of the CSAE, 2015, 31(2): 108-116.(in Chinese)

5 BAVEC F, BAVEC M. Effects of plant population on leaf area index, cob characteristics and grain yield of early maturing maize cultivars (FAO 100-400) [J]. European Journal of Agronomy, 2002, 16(2): 151-159.

6 MEGHJI M R, DUDLEY J W, LAMBERT R J, et al. Inbreeding depression, inbred and hybrid grain yields, and other traits of maize genotypes representing three eras[J]. Crop Science, 1984, 24(3): 545-549.

7 WHIGHAM D K, WOOLLEY D G. Effect of leaf orientation, leaf area, and plant densities on corn production[J]. Agronomy Journal, 1974, 66(4): 482-486.

8 楊峰, 崔亮, 黃山, 等. 不同株型玉米套作大豆生長環境動態及群體產量研究[J]. 大豆科學, 2015, 34(3): 402-407. YANG Feng, CUI Liang, HUANG Shan, et al. Soybean growth environment and group yield in soybean relay intercropped with different leaf type maize[J]. Soybean Science, 2015, 34(3):402-407. (in Chinese)

9 SONG Q, CHU C, Parry M A J, et al. Genetics-based dynamic systems model of canopy photosynthesis: the key to improve light and resource use efficiencies for crops[J]. Food and Energy Security, 2016, 5(1): 18-25.

10 YANG W, DUAN L, CHEN G, et al. Plant phenomics and high-throughput phenotyping: accelerating rice functional genomics using multidisciplinary technologies[J]. Current Opinion in Plant Biology, 2013, 16(2): 180-187.

11 HENDRAWAN Y, AL RIZA D F, MURASE H. Applications of intelligent machine vision in plant factory[J]. IFAC Proceedings Volumes, 2014, 47(3): 8122-8127.

12 KLUKAS C, CHEN D, PAPE J M. Integrated analysis platform: an open-source information system for high-throughput plant phenotyping[J]. Plant Physiology, 2014, 165(2): 506-518.

13 王傳宇, 郭新宇, 肖伯祥, 等. 玉米葉片生長狀態的雙目立體視覺監測技術[J/OL].農業機械學報, 2014, 45(9): 268-273. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20140943&flag=1.DOI:10.6041/j.issn.1000-1298.2014.09.043. WANG Chuanyu, GUO Xinyu, XIAO Boxiang, et al. Maize leaf movement monitoring base on binocular stereo vision[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 268-273.(in Chinese)

14 蘇偉, 郭皓, 趙冬玲, 等. 基于地基激光雷達的玉米真實葉面積提取方法研究[J/OL]. 農業機械學報, 2016, 47(7): 345-353. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160747&flag=1.DOI:10.6041/j.issn.1000-1298.2016.07.047. SU Wei, GUO Hao, ZHAO Dongling, et al. Estimation of actual leaf area of maize based on terrestrial laser scanning[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(7): 345-353.(in Chinese)

15 趙春江, 楊亮, 郭新宇, 等. 基于立體視覺的玉米植株三維骨架重建[J]. 農業機械學報, 2010, 41(4): 157-162. ZHAO Chunjiang, YANG Liang, GUO Xinyu, et al. Corn skeleton reconstruction based on stereo vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(4): 157-162.(in Chinese)

16 GE Y, BAI G, STOERGER V, et al. Temporal dynamics of maize plant growth, water use, and leaf water content using automated high throughput RGB and hyper spectral imaging[J]. Computers and Electronics in Agriculture, 2016, 127: 625-632.

17 DESTA Z A, ORTIZ R. Genomic selection: genome-wide prediction in plant improvement[J]. Trends in Plant Science, 2014, 19(9): 592-601.

18 ORT D R, LONG S P. Limits on yields in the corn belt[J]. Science, 2014, 344(6183): 484-485.

19 YANG W, GUO Z, HUANG C, et al. Combining high-throughput phenotyping and genome-wide association studies to reveal natural genetic variation in rice[J]. Nature Communications, 2014: article number 5087.

20 OTSU N. A threshold selection method from gray-level histograms[J]. Automatic, 1975, 11(285-296): 23-27.

21 牟少敏, 杜海洋, 蘇平, 等. 一種改進的快速并行細化算法[J]. 微電子學與計算機, 2013, 30(1): 53-55. MOU Shaomin, DU Haiyang, SU Ping, et al. A new improved fast parallelthinning algorithm[J]. Microelectronics & Computer, 2013, 30(1): 53-55.(in Chinese)

22 吳剛, 譚彧, 鄭永軍, 等. 基于改進 Hough 變換的收獲機器人行走目標直線檢測[J]. 農業機械學報, 2010, 41(2): 176-179. WU Gang, TAN Yu, ZHENG Yongjun, et al. Walking goal line detection based on improved Hough transform on harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(2): 176-179.(in Chinese)

Dynamic Extraction Method of Maize Leaf Traits Based on Time Series

HUANG Chenglong1ZHANG Xuehai2WU Di1YE Junli1YANG Wanneng1,2
(1.CollegeofEngineering,HuazhongAgriculturalUniversity,Wuhan430070,China2.NationalKeyLaboratoryofCropGeneticImprovement,HuazhongAgriculturalUniversity,Wuhan430070,China)

Maize leaf traits have great significance to the study of growing development, breeding and functional gene research. However, the traditional method is inefficient, subjective, and also with less measurement, which is far from the requirement of maize-related research. Therefore, an automatic and dynamic technology for maize leaf traits extraction was proposed. Totally 100 maize varieties were adopted, and eight growth points were analyzed every three days based on the high-throughput crop phenotyping platform. For each measurement, the 18 side-view images were acquired every 10°, and the maximum side-view image was identified based on the width information. Then an improved segmentation method was applied to extract the complete plant binary image. After that a parallel thinning was used to extract the plant skeleton, and Hough transform was adopted to distinguish leaf skeleton from the stem. Finally, each leaf skeleton was labelled and the specific algorithm was developed to calculate the leaf length, angle and curvature. The experimental results showed that the measurement error for leaf length and leaf angle was 0.92% and 3.32%, respectively, and the results demonstrated that this method had a higher consistency than manual method. Since the new leaf would always grow from above in maize, the leaf matching based on time series was designed and carried out by using the leaf relative-position information. With leaf registration, the leaf growth rate and leaf curvature variation were obtained. In general, this study provided a novel method for maize-related research.

maize leaf; dynamic tracing; image treatment; leaf marking

2016-12-06

2017-02-22

國家自然科學基金項目(31600287)

黃成龍 (1987—)，男，講師，博士，主要從事作物表型研究，E-mail: hcl@mail.hzau.edu.cn

楊萬能 (1984—)，男，副教授，博士生導師，主要從事植物表型組學研究，E-mail: ywn@mail.hzau.edu.cn

10.6041/j.issn.1000-1298.2017.05.021

Q948； TN911.73

A

1000-1298(2017)05-0174-05