基于視覺三維重構的室內玉米植株形態測量方法

［摘 要］ 為實現高效、經濟且可靠的作物形態測量，以玉米植株為對象，開發一種基于視覺三維重構的室內玉米植株形態測量方法。借助RGB-D雙目相機從多角度采集玉米植株RGB圖像及其對應的深度圖像，獲取目標植株多角度點云數據。經過點云的粗精配準、精簡和濾波處理，成功重構了作物三維模型。在此基礎上，通過目標分割和圓柱擬合技術，精確提取莖稈信息，從而測量作物株高和莖粗。進一步地，點云聚類技術去除莖稈，準確獲取葉片數，并通過平面擬合技術測量葉夾角，采用貪婪投影三角化計算葉片面積，從而實現作物形態的測量。目標玉米植株測量實驗結果表明：株高絕對誤差為12.4 mm，相對誤差為2.14%；最大莖粗平均相對誤差為8.81%，最小莖粗平均相對誤差為10.17%；聚類得到的葉片數量與實際葉片數一致；10個葉片葉夾角平均相對誤差為7.65%，葉片面積平均相對誤差為6.04%。這些結果均符合作物形態測量的技術要求，表明本方法能為玉米植株提供一種全面、定量化的評估和分析工具，以檢測和記錄作物的生長發育和表型特征。

［關鍵詞］ 雙目視覺； 三維重構； 點云配準； 圓柱擬合； 植物形態測量

［中圖分類號］ TP391.41 ［文獻標識碼］ A

作物表型是指作物在不同環境下生長發育所展現的各種形態學、生理學和生化學特征的總和[1]。在農業生產實踐中，準確把握作物表型變化和影響因素，對制定合理的種植策略和選育高產優質品種至關重要[2]。傳統的作物表型測量方法（如目測、使用量具等）存在測量效率低、費時費力且易出錯的問題；人為和環境因素干擾使得誤差很難完全避免，且目前缺乏統一的作物形態測量精度標準。此外，由于分析方法和數據難以跨品種比較和借鑒，其適用性有限[1]。隨著計算機技術的進步，機器視覺在農業中的應用日益廣泛，基于視覺的三維重構技術[3-6]能夠將二維圖像轉化成精確的三維模型，實現自動化、無損的測量，提供更全面、詳盡和精確的作物形態和結構信息，使得基于視覺三維重構的表型信息測量[7]方法成為研究熱點。童輝[8]采用RGB-D相機對單株黃瓜幼苗檢測，發現葉面積、葉面周長、下胚軸、株高和苗高相關系數R2均超過0.90。張德榮[9]提出了兩種嵌入式系統用于快速檢測植物表型參數，通過圖像分割對籽粒進行統計，識別精度可達99%以上，提取的葉面積與葉片氮含量的相關系數R2為0.901。AKsoy[10]等結合機械臂與視覺技術對煙草進行監測，測量煙葉生長速率，結果表明此方法對溫室作物生產具有優化作用。李玉超[11]等基于SFM多視角圖像對苗期玉米植株進行三維重建和表型測量，得到的株高、葉長、葉片面積和葉寬與人工測量的決定系數均大于0.9。朱越濤[12]等基于圖像的三維重建技術，其算法與人工測量方法在谷子株高、葉寬、葉片數、葉面積和葉長的線性擬合系數R2分別為0.969、0.950、0.923、0.973和0.974。

本研究采用的RGB-D雙目視覺技術可以同時獲取RGB圖像和深度圖像。深度圖像提供了物體的距離和形狀信息，通過多角度點云配準得到完整的玉米植株的三維點云模型，從而使得三維重構結果更加準確和詳盡。本文以玉米為研究對象，提出一種基于視覺三維重構的形態參數測量方法。主要研究內容包括：采集目標圖像并預處理獲得目標三維點云，對點云配準和濾波以構建作物三維模型，通過對模型點云進行圓柱擬合[13]，分割葉片與莖稈，對葉片點云聚類分割和平面擬合[14]，測量株高、莖粗、葉夾角、葉片數和葉面積[15]并進行誤差分析，以此來監測和記錄作物生長過程。

1 作物三維重構

1.1 實驗環境

實驗平臺由RealsenseD435雙目相機、個人電腦（PC）、玉米植株模型組成。算法實現和實驗平臺為的軟件環境為：Windows10操作系統，VS2019集成開發環境（IDE）搭配OpenCV4.5.0圖像處理庫和點云陣PCL1.11.0，以及Matlab2019b。在實驗過程中，玉米作物模型被固定在底座上，而連接到電腦上的雙目相機則從前方多角度對模型進行拍攝。

1.2 圖像采集

通過相機同時采集玉米植株RGB圖像和深度圖像。拍攝以室內純色墻壁為背景，在自然光線條件下進行。為了獲得植株全方位視角，實驗采用環繞采集方式，每次拍攝完一個角度，手動將玉米植株旋轉大約45°。通過固定相機位置并旋轉植株，確保拍攝角度的一致性，從而有效減小誤差。

1.3 圖像分割

Otsu閾值分割是一種基于灰度圖像直方圖的自適應閾值分割方法。它能夠有效地將圖像分割成背景和前景兩個部分，通過優化背景和前景之間的對比度，實現差異最大化。實驗采用Otsu閾值分割算法對RGB圖像進行處理，以分離玉米植株與背景，獲得了較好的目標分割效果。深度圖像中每個像素點記錄了相機到物體表面的距離信息，因此可以將這些像素點轉換為三維空間中的點，生成點云數據。根據分割結果，將玉米植株區域坐標映射到相應的深度圖像中，從而獲得僅包含玉米植株區域深度信息的圖像。

1.4 點云構建

圖像的度量單位是像素，而形態參數則采用物理尺寸單位（mm） 。為了將圖像坐標系轉化為世界[LL]坐標系，即轉化為3D點云數據，需要進行坐標轉換。根據RealSense D435相機的成像原理，轉換公式為：

式中：fx，fy為相機的焦距；R為相機的縮放系數；cx，cy為相機的光心坐標，（u，v）為像素坐標，D為深度圖中（u，v）處的深度值。獲得點云的過程見圖1，將深度圖通過式（1）從圖像坐標系轉化為世界坐標系的三維坐標點云。

1.5 點云配準

從某個角度拍攝獲得的點云只是目標的局部信息。為了得到玉米植株的完整信息，采用粗精配準結合的方法，對多角度點云進行統一坐標配準拼接。由于配準精度和要求的差異，先粗配準，再進行改進的KDTree加速ICP精配準，配準流程和效果如圖2、3所示。

由圖3可見，粗配準后的兩個點云位置距離比較近，但仍有很明顯的不切合部位。經過多次迭代的ICP精配準后能夠更準確地擬合點云之間的關系，從而得到更精確的配準結果。

1.6 點云精簡與濾波

8個不同角度拍攝得到的點云數據中，配準后的點數達到133 250，點數過多。為了提高重構效率與測量精度，采用空間下采樣方法對來精簡點云數據。統計濾波可以用于去除明顯的離群點，對每個點的鄰域進行統計分析。假設點云中所有點的距離構成高斯分布，其分布的形狀由每個點到其他任意點的距離均值μ和標準差σ決定：

設置標準差倍數m為1，統計時查詢的臨近點個數K為100。判斷某一點距離其K個臨近點的平均值是否在范圍（μ-σ·m，μ+σ·m）內，不在該范圍內則判定為離群點而進行刪除。精簡濾波結果見圖4。精簡后的點數為53693，精簡率約為40%。

2 作物形態參數測量實現

根據李得孝等[16]，莖粗和株高是影響玉米產量和抗倒伏能力的重要影響因素。玉米莖粗、株高與產量呈正相關，而株高與根倒伏呈負相關。此外，葉片數、葉面積以及葉面生長角度都對玉米光合作用有顯著影響，進而影響玉米的最終產量。根據玉米生長情況及時調整玉米養分供給，可以為玉米育種和產量預測提供技術支持。

2.1 株高與莖粗測量

玉米株高對其利用光照具有顯著影響。適宜的株高有助于抗倒伏，確保葉片間有合適的距離、更好的通風。玉米的莖粗不僅是抗倒伏的重要指標，也是反映玉米養分狀態的關鍵指標。RANSAC算法因其對數據中離群值的魯棒性較好而受到青睞。該算法通過隨機選擇數據樣本，能夠忽略異常值的影響，使得擬合結果更加可靠。利用RANSAC算法進行圓柱擬合，可以有效提取從玉米莖稈的點云模型中獲得株高和莖粗參數。對莖稈底部和頂部從不同角度測量四組數據并取平均值，可以得到莖粗最大值和和最小值。直接測量莖稈點云的高度得到株高，去除莖稈后的玉米葉片點云模型，將用于后續葉片數量和葉夾角的測量。圓柱方程可以表示為

其中：（x0，y0，z0）為圓柱軸線上一點；（l，m，n）為圓柱軸線的方向向量，r為圓柱的半徑，空間圓柱見圖5。

圖6為分割結果，得到的圓柱半徑r為229.071。單位比例換算以后，株高為592.4 mm。

2.2 葉片數測量

玉米葉片作為植株進行光合作用的重要部位，其數量對產量有重要影響。對去除莖稈后的玉米植株點云進行去噪處理，再采取歐式聚類分割方法。歐式聚類分割是一種基于歐式距離度量的聚類算法，它通過KD-Tree數據結構進行近鄰查詢，搜索距離點P最近的K個點，并在預設的閾值內將這些點聚類于集合中。在本實驗中，根據玉米植株的尺寸，設定了2個不同聚類團點之間的最小歐式距離為80。如圖7所示，不同顏色代表分割出的各玉米葉片，而聚類出的不同類別數量代表葉片的數量。結果顯示，通過聚類方法得到的葉片數與實際葉片數吻合，證明該方法可以準確得出玉米植株葉片的數量。

2.3 葉夾角測量

玉米葉片的生長角度，即玉米莖稈與葉片之間的夾角，通常被稱作葉夾角。作為群體作物，玉米的葉夾角是決定群體葉片空間分布狀態的重要指標，其與耐密植能力直接相關，并直接影響玉米冠層通風透光能力，進而影響冠層光截獲率及光能利用率，最終影響玉米的產量。Austin等[17]認為中部葉片是玉米光合作用的主要功能葉片。在本文中，通過截取玉米葉片1/3長度，運用最小二乘法進行平面擬合，以求得平面的法向量。該法向量與莖稈的方向向量夾角即為葉夾角（圖8）。

最小二乘法平面擬合是針對整個點云P構建協方差矩陣M。令平面方程為

式中：[AKP-]為集合P的質心；m為點云P的個數；λ為M的特征值，λ=（λ0，λ1，λ2，…）；N為λ對應的M的特征向量，N=（N0，N1，N2，…）。

假設λ0lt;λ1lt;λ2lt;…， 那么最小特征值 λ0 對應特征向量 N0， 即為擬合平面的法向量， 實驗中得到的擬合平面為： 0.151846x-0.927218y-0.342359z+5657.15=0。

根據式 （1） 得到莖稈擬合圓柱， 可求得圓柱軸線的方向向量α=（-0.0996495， 0.979424， -0.175498），最終得到葉片的生長角度

2.4 葉片面積測量

葉片面積直接影響玉米植株光合作用，與玉米單株產量呈正相關，與玉米植株的密度有著密切關聯，因此是影響玉米產量的重要因素。采用貪婪投影三角化算法對葉片點云三角面片化，獲得三角網格曲面模型。三角化后的模型由無數個三角形構成，所有三角形面積的總和即為玉米葉片面積。三角化結果見圖9a。通過三角形頂點坐標計算出邊長，根據海倫公式計算出每個三角形的面積

玉米葉片的人工測量方法：將葉片剪下平鋪在白紙上，并放置一個邊長9 mm的正方塊作為對照物，使用相機對葉片進行拍照。通過利用邊緣檢測和輪廓面積計算算法，可從相片中計算出葉片面積（圖9b）。

3 形態測量實驗與結果

3.1 株高莖粗測量

對玉米莖稈從不同角度進行4組測量，取這些數據的平均值得到最大莖粗與最小莖粗。通過直接測量莖稈點云高度，得到了株高。經過單位比例換算以后，三維重構模型株高為592.4 mm。根據表1數據：玉米莖稈最大莖粗平均絕對誤差為1.9 mm，平均相對誤差為8.81%；最小莖粗平均絕對誤差為1.8 mm，平均相對誤差為10.17%；株高絕對誤差為12.4 mm，相對誤差為2.14%。這些結果表明：采用的莖稈提取與莖粗株高測量方法，滿足實驗精度需求。

3.2 葉夾角測量

通過最小二乘法平面擬合技術，計算玉米葉片葉夾角。葉夾角系統測量結果與人工測量進行對比，結果如表2所示。對于10個玉米葉片的葉夾角，平均絕對誤差為3.1°，平均相對誤差為7.65%。由此可以得出結論：本研究采用的基于視覺的三維重構方案和葉夾角測量方法，能以較高精度獲取玉米葉夾角參數，且算法測量值與人工測量值之間具有較好的一致性。

3.3 葉面積測量

計算玉米所有葉片的葉面積，并對比人工測量值與點云模型數據（表3）。對于10個玉米葉片面積的測量，平均絕對誤差為537.09 mm2，平均相對誤差為6.04%。由此可得，本研究算法測量值與人工測量值具有較好的一致性。因此，采用的三維重構方案與點云貪婪投影三角化可以較為準確地測量葉面積。

4 結論

1）利用Otsu閾值分割算法能有效分離出玉米植株，并獲得其點云數據。通過粗精配準技術的結合，實現多角度點云數據的精確配準與融合。統計濾波對最終點云的去噪處理效果良好。基于RGB-D雙目視覺技術的玉米植株三維重構方法，能準確構建植株的三維模型。

2）實驗結果表明：本文提出的基于三維重構的室內玉米植株形態測量方法，可以對單株作物實現快速且準確的測量效果，為作物生長過程的監測與預測提供有力的技術支持。

［ 參 考 文 獻 ］

［1］ 潘映紅. 論植物表型組和植物表型組學的概念與范疇[J]. 作物學報， 2015，41（02）： 175-186.

[2] 諸葉平， 李世娟， 李書欽. 作物生長過程模擬模型與形態三維可視化關鍵技術研究[J]. 智慧農業， 2019，1（01）： 53-66.

[3] 麥春艷， 鄭立華， 孫紅， 等. 基于RGB-D相機的果樹三維重構與果實識別定位[J]. 農業機械學報， 2015，46（S1）： 35-40.

[4] 徐勝勇， 盧昆， 潘禮禮， 等. 基于RGB-D相機的油菜分枝三維重構與角果識別定位[J]. 農業機械學報， 2019，50（02）： 21-27.

[5] 滕曉文. 基于RGB-D相機的油菜植株三維重建以及薹期表型檢測算法研究[D]. 武漢：華中農業大學， 2022.

[6] TIAN X， LIU R， WANG Z， et al. High quality 3D reconstruction based on fusion of polarization imaging and binocular stereo vision[J]. Information Fusion， 2022，77： 19-28.

[7] OKURA F. 3D modeling and reconstruction of plants and trees： A cross-cutting review across computer graphics， vision， and plant phenotyping[J]. Breeding Science， 2022，72（01）： 31-47.

[8] 童輝. 基于RGB-D相機的單株黃瓜幼苗表型檢測研究[D]. 武漢：華中農業大學， 2022.

[9] 張德榮. 植物表型性狀參數快速檢測研究[D]. 杭州：浙江大學， 2019.

[10] AKSOY， EE， ABRAMOV， et al. Modeling leaf growth of rosette plants using infrared stereo image sequences[J]. COMPUT ELECTRON AGR， 2015，2015，110： 78-90.

[11] 李玉超. 基于多視角圖像的苗期玉米植株三維重建和表型測量研究[D].保定：河北農業大學，2022.

[12] 朱越濤. 基于三維重建的谷子表型動態監測[D].晉中：山西農業大學，2022.

[13] 顧沖， 曹爽， 吉宸佳， 等. 基于多元回歸隨機抽樣一致性算法的圓柱擬合[J]. 工程勘察， 2022，50（05）： 47-52.

[14] KANG Z， ZHONG R， WU A， et al. An efficient planar feature fitting method using point cloud simplification and threshold-independent BaySAC[J]. IEEE Geoscience and Remote Sensing Letters， 2016，13（12）： 1842-1846.

[15] 馬娟. 玉米主要株型性狀的主基因+多基因遺傳模型分析[D]. 新鄉：河南科技學院， 2012.

[16] 李得孝. 玉米抗倒性指標及其遺傳研究[D]. 楊凌：西北農林科技大學， 2001.

[17] AUSTIN R B. Genetic variation in photosynthesis[J]. Journal of Agricultural Science， 1989，112（03）： 287-294.

Research on Indoor Maize Plant Morphology Measurement MethodBased on Visual 3D Reconstruction

MA Zhiyan1，2 ，WAN Haidi1，CHEN Xuehai1，2 ， WANG Yubin1，" ZHOU Minggang1，2

（1 School of Mechanical Engineering， Hubei Univ. of Tech.， Wuhan 430068， China；2 Hubei Province Agricultural Machinery Equipment Intelligent Engineering Technology Research Center， Wuhan 430068，China）

Abstract： A method for indoor maize plant morphology measurement based on visual 3D reconstruction was studied， aiming to achieve efficient， low-cost， and reliable measurements. Firstly， RGB-D stereo cameras were used to capture depth images corresponding to the RGB images of maize plants from multiple angles， obtaining point cloud data of the target plants. The point cloud data underwent coarse and fine registration， simplification， and filtering to reconstruct the 3D model of the crops. Then， the model was segmented to extract stem segments using cylinder fitting， enabling the measurement of plant height and stem thickness. Clustering and segmentation were used to obtain the number of leaves by removing stem point cloud data. The leaf angle was measured by fitting the leaves to a plane， and the leaf area was calculated using greedy projection triangulation. The experimental results of maize plant measurement showed that the absolute error of plant height was 12.4mm， with a relative error of 2.14%. The average relative error of the maximum stem thickness was 8.81%， and the minimum stem thickness had an average relative error of 10.17%. The number of clustered leaves was equal to the actual number of leaves， and the average relative error of leaf angle for ten leaves was 7.65%. The average relative error of leaf area for ten leaves was 6.04%. The results met the requirements of crop morphology measurement technology， providing a comprehensive and quantitative method to evaluate and analyze the growth， development， and phenotypic characteristics of maize plants.

Keywords： binocular vision; 3d reconstruction; point cloud registration; cylindrical fitting; morphology measurement

［責任編校： 張 眾］

［收稿日期］ 2023-07-04

［基金項目］ 國家重點研發計劃子課題（2018YFD0701002-03）

［第一作者］ 馬志艷（1976-）， 男， 湖北武漢人， 湖北工業大學副教授，" 研究方向為計算機視覺和三維重構。