基于多視角自動成像系統的作物三維點云重建策略優化

李百明 ，吳 茜 ，吳 劼 ，張美娜 ，李華勇 ，于 堃 ，曹 靜 ,,5，張偉欣 ，曹宏鑫 ，張文宇 ,,5※

（1. 江蘇大學農業工程學院,鎮江 212013；2. 江蘇省農業科學院農業信息研究所,南京 210014；3. 南京農業大學前沿交叉研究院植物表型組學研究中心,南京 210095；4. 江蘇省農業科學院種質資源與生物技術研究所,南京 210014；5. 江蘇省農業科學院無錫分院/無錫市農業科學院,無錫 214174）

0 引言

培育抗逆、高效的作物品種是實現作物高產與資源高效利用的保障[1-2]。大規模平行測序技術的發展使作物基因組數據迅速增長[3]，作物表型信息的系統性收集轉而成為遺傳育種研究的主要限制因素之一[4]。研發高通量作物表型信息獲取和分析技術，及時、準確、經濟、動態地采集作物表型信息，對高效篩選作物表型性狀、揭示基因-表型-環境關系及提高作物育種效率具有重要意義[5-6]。

三維數據采集技術是數字化感知植物形態結構的有效方法[7]，利用該技術獲取植株三維點云可為定量提取作物表型參數提供精確空間結構信息。目前，已有3D激光雷達[8-9]和激光掃描[10-11]等一系列非接觸式三維數據采集技術應用于作物表型分析。然而，受限的操作環境、較長的成像時間和高昂的設備價格限制了這些技術在規模化、高通量作物表型分析上的廣泛應用。隨著多源圖像處理技術的發展，基于立體視覺的三維重建為植物三維信息采集提供了一種高效、精確且低成本的方法[12]。從運動恢復結構（structure from motion，SFM）與多視角立體視覺（multi-view stereo，MVS）結合，可生成包含較多信息的稠密三維點云，該方法具有成本低、通用性強、數據獲取方便、環境限制小，且同時包含稠密點云和色彩紋理信息等優點[13]，已成功應用于高通量作物表型研究[14-19]。

基于SFM-MVS 算法生成高質量三維點云通常需要數百張不同視角的圖像，但人工獲取多視角圖像費時費力[14]，且很難精確控制相鄰圖像成像視角，夾角過大或重疊度較低均易導致三維重建失敗。為實現自動、高效、精確的植物三維重建及表型解析，已有學者開始針對不同研究對象設計植物多視角圖像自動采集系統[14,20-23]。圖像自動采集系統的研發有效提高了多視角圖像采集效率，顯著降低了圖像采集的時間和人力成本，使高通量作物表型信息系統性收集成為可能[14]；同時，此類成像系統通過精確控制成像視角，很大程度上避免了三維重建失敗的情況。

已有圖像自動采集系統采用了不同的成像模式。模式1 為環繞植株在多個不同視角布置相機，成像時植株和相機保持不動[20]；該種裝置具有較高的成像效率，但布置數量極多的相機導致裝備成本明顯增加。模式2 是采用相機和旋轉臺相結合的方式[14,21-22]，即固定相機不動植株旋轉，或固定植株不動相機旋轉；此種裝置成像效率較高，且通過使用旋轉臺降低了相機數量和設備成本，是最受學者歡迎的成像模式。目前，此類裝置大多布置個數較少的相機（2～3 個）以控制構建成本[14,21-22]，然而，有限的成像視角僅適用于形態結構較為簡單的植株，對于結構復雜、枝葉繁密的植株則因難以捕獲全面、豐富的信息而導致三維點云重建細節缺失。為進一步提升結構復雜植株（如成熟期枝葉繁密的作物地上部和細密的根系）的三維重建精度，研究學者們在設計成像系統時增加了相機個數（10～12 個）以獲得更詳細、全面、豐富的三維信息[24-25]，基于此類裝置捕獲的多視角圖像可有效實現復雜植株三維點云的高細節重建；然而，參與重建的圖像數量越多，所需的重建時間越長[16]。

不同作物的形態結構差異明顯，且植物結構的復雜性會隨生命周期從營養階段至生殖階段發生很大變化。已有圖像自動采集系統尚未在相機個數、構建成本、重建效率、重建精度以及適用植株復雜程度上取得很好的平衡。為實現高通量、低成本、自動化、高效化作物表型分析，本研究基于自主研發的多視角圖像自動采集系統，針對不同種類作物、不同生育時期、不同植株部位（地上部和根系），按照不同策略重建作物三維點云模型，通過三維點云重建精度和效率評估，尋找平衡設備成本（相機數量）、時間成本（重建時間）和重建精度的最優重建策略，以期為高通量作物三維數據高效獲取提供參考。

1 材料與方法

1.1 試驗設計

試驗于2020—2022 年在江蘇省農業科學院本部實驗農場（32.03° N，118.87° E）進行。選取盆栽棉花、水稻、小麥和油菜的地上部以及桶栽玉米、油菜的根系作為試驗對象；其中，棉花選擇花鈴期植株，水稻選擇抽穗期和成熟期植株，小麥選擇分蘗期、拔節期和灌漿期植株，油菜選擇苗期、蕾薹期、開花期和角果發育成熟期植株；油菜和玉米根系選擇成熟期植株。對于以根系為觀測對象的桶栽玉米和油菜，采用根系結構支撐網架支撐根系生長的栽培方式[25]。每個處理3 次重復。

1.2 多視角圖像采集

采用自主構建的適用于作物全生育期的多視角圖像自動采集系統[25-26]采集多視角圖像（圖1）。圖像自動采集系統主體由旋轉臺、成像臂和黑色背景板組成；成像臂由圓弧架及垂直臂組成，圓弧架間隔10°裝載相機1 臺，垂直臂間隔15 cm 裝載相機1 臺；黑色背景板安裝于成像臂對面。成像時，將待測植株置于旋轉臺，調節所有相機鏡頭指向植株中心，通過旋轉臺底部的伺服電機驅動齒輪，控制回轉支撐帶動成像臂圍繞待測植株勻速旋轉，每旋轉10°，控制所有相機同時對待測植株進行自動成像。該系統設置了豐富的相機成像視角，滿足對復雜作物形態的奈奎斯特定理（Nyquist theorem）采樣[24]，可獲取相對植株呈半球狀分布的、視角豐富的多視角圖像序列。

圖1 多視角圖像自動采集系統Fig.1 The multi-view automatic imaging acquisition system

1.3 三維點云重建

針對不同作物、不同生育時期植株，分別采用不同視角、不同個數相機（表1）獲取的多視角圖像序列，基于SFM-MVS 算法重建植株三維點云，并記錄所需重建時間（重建時長=稀疏點云重建時間+密集點云重建時間）。

表1 不同重建策略Table 1 Different reconstruction strategies

不同重建策略（表1）按照依次減少相機個數和增加相機間隔的原則進行設計，且盡量選擇位置居中的相機，以確保單個相機采集的圖像視角盡可能覆蓋相鄰1～3 個相機的視角。由于NO.12 相機成像視角垂直向下，成像臂旋轉時其方位變化較小，NO.12 相機獲取的36 張俯視圖不能為提高植株高細節三維重建精度提供更多有效信息；在設計不同重建策略時，優先選擇去掉NO.12相機，從NO.1～11 相機中等間隔選擇對應個數相機。由于本研究涉及成熟期較高作物以及支撐網架上的根系，對于單個相機（策略1）的位置選擇偏向選擇側面視角相機。

按照不同重建策略（表1），將獲取的多視角圖像序列導入3DF Zephyr Aerial 軟件（V.4.530;3DFlow，維羅納，意大利）[27-28]；使用3DF Masquerade 去除黑色背景像素，以去除背景冗余信息，減少三維重建過程中錯誤特征匹配以及傳輸到在線存儲的數據量，提高三維重建效率和準確性（圖2）。基于SFM 算法，在多幅圖像中識別和匹配特征，恢復相機位置和方向，并生成具有3D 坐標的稀疏三維點云；基于重建的稀疏點云，采用MVS 算法計算pixel-wise 損失函數，以重建圖像序列中每個圖像的視差圖（disparity maps），然后將像素反向投影到所有重疊的圖像，并進行三角測量以生成稠密三維點云[29]。為去除噪聲和異常點，采用統計濾波去除置信閾值以下的點，獲得平滑的密集點云。通過花盆或根系支撐網架的尺寸將點云按照場景實際尺寸進行縮放。最后，采用3DF Zephyr 軟件的點云選擇工具，基于RGB色彩自動選擇并刪除栽培桶或黑色根系支撐網架的三維點云[18]，由此獲得作物個體植株地上部和根系三維點云。基于所有相機獲取的圖像序列重建三維點云，圖像視角和細節信息最豐富，可實現植株高細節三維點云高精度重建（圖2）。

圖2 作物三維點云重建流程Fig.2 Flow chart of 3D reconstruction for plant point cloud

1.4 重建精度評估和策略優化

以采用全部相機重建的三維點云為參照，對采用不同策略重建的三維點云精度進行評估。利用CouldCampare 軟件（Version 2.11.0；GPL 軟件）將兩個點云模型對齊到同一三維坐標系（圖3）。以所有相機重建的點云模型為目標對象，以不同策略重建的點云模型為活動對象，在兩個模型中手動選取至少三對特征點，在adjust scale 和auto update zoom 模式下對齊兩個實體。然后采用ICP 算法（iterative closest point，迭代最近點）[30-31]進行精準匹配。對齊兩個點云模型后，按照式（1）～（3）計算重建點云和參照點云模型之間的Hausdorff（豪斯多夫）距離H(A,B)：式中H(A,B)為重建點云集合A={a1,…,ap}和參照點云集合B={b1,…,bp}之間的雙向Hausdorff 距離，‖·‖是點集A和點集B間的距離范式，h(A,B)和h(B,A)分別為從A集合到B集合以及從B集合到A集合的單向Hausdorff 距離，即h(A,B)首先對點集A中的每個點ai到距離此點最近的B集合中的點bj之間的距離‖ai-bj‖進行排序，然后取該距離中的最大值作為h(A,B)；h(B,A)同理。通過花盆或根系支撐網架的實際尺寸將Hausdorff 距離按照場景實際尺寸進行換算。基于Hausdorff 距離對采用不同策略重建的三維點云進行重建精度評估。

圖3 兩個點云模型間距離計算流程Fig.3 Workflow of the distance calculation between two point clouds models

綜合考慮點云重建效率（重建時長）和重建精度（Hausdorff 距離），優化針對不同生育時期、不同作物的三維點云重建策略。重建效率和精度的量綱和單位不同，為便于兩個指標進行加權對比，通過歸一化無量綱處理，將重建時長和Hausdorff 距離轉變為相對值關系，重建時長和Hausdorff 距離歸一化值之和即綜合考慮和平衡了重建效率和重建精度兩個因素；歸一化值之和最小的重建策略即具有最高重建精度和效率的策略。最優重建策略優選標準為：在滿足精度要求的前提下（Hausdorff距離小于0.20 cm[32]），優選重建時長歸一化值和Hausdorff距離歸一化值之和最小的重建策略；如無滿足Hausdorff距離小于0.20 cm 的重建策略，則優選Hausdorff 距離最接近0.20 cm 的重建策略。

1.5 表型參數提取和精度評估

將采用不同策略重建的三維點云導入Meshlab（Version 2021）[33]提取植株高度、寬度、凸包體積和總表面積。采用泊松圓盤采樣（Poisson-disk sampling）對三維點云進行下采樣（顯式半徑explicit radius=0.5,蒙特卡洛過采樣MonteCarlo oversampling=20[34]）。采用滾球法（ball pivoting）基于下采樣點云模型重建三維網格模型（默認設置）[35]。通過孔洞填補（close holes,填補的最大尺寸max size to be closed=50）修補三維網格模型中的孔洞。基于重建的三維點云計算植株高度和最大寬度（圖4a）；基于三維模型擬合凸包（convex hull）并計算凸包體積（convex hull volume）（圖4b）；基于生成的三維網格模型計算植株的總表面積（圖4c）。

圖4 表型參數提取Fig.4 Workflow of extracting phenotypic parameters

對提取的表型參數，采用R 語言進行統計分析，估測值和參照值的關系通過式4～6 用決定系數（R2）、均方根誤差RMSE（root mean square error）和相對均方根誤差RRMSE（relative root mean square error）進行評估：

式中Pi和REi分別為第i個估測值和參照值；Pavg和REavg分別為估測值和參照值的平均值；n為估測值或參照值的個數。

2 結果與分析

2.1 三維點云重建結果

采用自主研發的圖像自動采集系統能夠高效獲取不同作物、不同生育時期植株多視角圖像序列（成像效率3 min/株）。基于SFM-MVS 算法可實現不同作物地上部和根系三維點云高效重建（圖5）。基于該方法重建的不同作物、不同生育時期植株三維點云模型均能很好地還原植株真實的三維形態。

圖5 不同作物不同生育時期植株三維重建效果Fig.5 Three-dimensional reconstruction of different crops at different growth stages

2.2 點云重建精度可視化評估

對于不同作物、不同生育時期植株，基于Hausdorff距離，對采用不同策略重建的三維點云重建精度進行可視化（圖6）。結果顯示，代表重建精度高的藍綠色區域較多，代表重建精度低的紅色區域較少；采用相機個數越小，紅色區域越多。

圖6 采用不同重建策略的不同作物不同生育時期植株三維點云重建精度可視化Fig.6 Visualization of 3D point cloud reconstruction precision of different crops at different growth stages using different reconstruction strategies

對于成熟期棉花（圖6 A），重建精度較低的紅色區域主要分布在頂部生長較為密集的葉片上，采用3～6個相機可有效減少紅色區域。對于水稻（圖6 B），紅色區域主要分布在植株邊緣細長的葉尖以及葉片生長密集且遮擋嚴重的區域（尤其成熟期水稻），采用6 個相機可有效減少紅色區域。對于小麥（圖6 C），紅色區域主要分布在植株邊緣細長的葉尖、與土壤接觸的區域以及麥芒上，采用6 個相機可有效減少紅色區域。對于油菜（圖6 D），紅色區域主要分布在生長密集且遮擋重疊嚴重的葉片、低層葉片背面、與土壤接觸的區域以及結構細長且生長繁密的角果上，對于苗期和盛花期油菜，采用6 個相機可有效減少紅色區域；對于蕾薹期和角果成熟期，采用10 個相機可有效減少紅色區域。對于根系（圖6 E），紅色區域主要分布在生長密集且遮擋重疊嚴重的根系密集區以及極細的深層單條根系上，采用相機個數越多，紅色分布區域越少。

綜合分析，對于具有較寬大偏平葉片結構的作物，重建精度較低的區域主要集中在葉片生長密集且相互重疊嚴重的區域，當采集的圖像視角不夠豐富時，相互遮擋的葉片信息被掩蔽，通過增加成像視角可有效提高重建精度；對于具有細長結構的葉片、麥芒或角果等器官，由于相機捕獲此類細長結構（尤其葉尖和麥芒）像素點較少，三維重建時易丟失此類信息，增加相機成像視角和參與重建的圖像數量能增強此類特征點參與到重建中的概率，可有效提高此類細節信息的重建精度。

2.3 點云重建精度定量化評估

對于不同作物、不同生育時期植株，分別對采用不同策略的三維點云重建精度進行定量化評估。隨著參與重建的相機個數增加，Hausdorff 距離整體呈現減小趨勢（圖7）。對于花鈴期棉花（圖7a），相機數從1～2 個增加到3～4 個，Hausdorff 距離減少幅度較大，從4 個增加到10 個，Hausdorff 距離減少幅度降低。對于水稻（圖7b），相比抽穗期植株，成熟期植株重建精度較低；成熟期水稻Hausdorff 距離隨相機數增加而減小的幅度高于抽穗期水稻，說明相機數增加對提升成熟期水稻重建精度效果明顯。對于小麥（圖7c），拔節期和灌漿期植株Hausdorff 距離隨相機數增加而減小幅度高于分蘗期，說明采用更多的相機對拔節期和灌漿期植株重建精度提升有更明顯的效果；此外，分蘗期植株重建精度整體低于拔節期和灌漿期，其原因可能是分蘗期小麥較小，圖像中捕獲植株像素點較少，當采用較少相機獲取的圖像重建三維點云時，容易丟失較多細節信息（如葉尖）。對于油菜（圖7d），相機數從1 個增加到3～4 個，Hausdorff 距離減少幅度較高；從6 個增加到10 個，Hausdorff 距離減少幅度較低；相比盛花期和蕾薹期植株，成熟期和苗期植株重建精度偏低，其原因可能是苗期葉片較為集中，相互之間的遮擋相比盛花期和蕾薹期大，而成熟期角果細長結構相比寬大葉片被捕獲的像素點較少。對于根系（圖7e），油菜根系Hausdorff 距離隨相機數增加而減小幅度高于玉米根系；對于玉米根系，Hausdorff距離隨相機數增加而穩步降低；對于油菜根系，相機數從2 個增加到4 個，Hausdorff 距離減少幅度較高，從6 個增加到10 個Hausdorff 距離減少幅度較低。

圖7 采用不同重建策略的不同作物不同生育時期植株三維點云重建精度定量化評估Fig.7 Quantitative evaluation of 3D point cloud reconstruction accuracy for different crops at different growth stages using different reconstruction strategies

綜合對比作物地上部和根系（圖7f），根系的重建精度整體低于地上部；隨著參與重建相機數增加，作物根系Hausdorff 距離減少幅度整體高于地上部，說明對于根系此類細長繁密、結構復雜的待測目標物，需要采用更多的相機獲得較豐富的三維圖像信息。綜合所有植株（圖7f），隨相機個數增加，平均Hausdorff 距離減小幅度從4 個相機開始變緩；從4 個相機增加到10 個相機，平均Hausdorff 距離從0.23 cm 降低至0.17 cm，說明Hausdorff 距離達到0.20 cm 左右時，精度可繼續提升空間變小。結合該研究結果和已報道研究結果（90%點云距離小于0.20 cm[32]），本研究限定平均Hausdorff 距離小于或接近0.20 cm 為三維點云重建的精度要求。

2.4 三維點云重建策略優化

綜合考慮三維點云重建效率（重建時長）和精度（Hausdorff 距離），優選針對不同作物、不同生育時期植株的最優重建策略。以Hausdorff 距離小于或接近0.20 cm（優先選擇距離小于0.20 cm 的策略，如無滿足條件的策略，優先選擇距離最接近0.20 cm 的策略）（圖8），且重建時長歸一化值和Hausdorff 距離歸一化值之和最小為優選標準（表2）。對于花鈴期棉花（圖8a，表2），采用6 個相機為最優重建策略；對于水稻（圖8b，表2），采用6 個相機為抽穗期水稻最優重建策略，采用10 個相機為成熟期水稻最優重建策略；對于小麥（圖8c，表2），采用10 個相機為分蘗期小麥最優重建策略，采用6 個相機為拔節期和灌漿期小麥最優重建策略；對于油菜（圖8d，表2），采用3 個相機為苗期、盛花期和成熟期油菜最優重建策略，采用4 個相機為蕾薹期油菜最優重建策略；對于根系（圖8e），采用10 個相機為油菜和玉米根系最優重建策略。

表2 采用不同策略的不同作物不同生育時期植株重建時長和豪斯多夫距離歸一化值Table 2 Normalized values of plant reconstruction time and Hausdorff distance for different crops at different growth stages using different reconstruction strategies

圖8 采用不同重建策略的不同作物不同生育時期植株三維點云重建精度和效率評估Fig.8 A comprehensive evaluation of 3D point cloud reconstruction accuracy and efficiency for different crops at different growth stages using different reconstruction strategies

2.5 表型參數提取精度評估

為評估基于不同策略重建的三維模型提取表型參數的可靠性，將基于參照模型提取的表型參數（高度、寬度、凸包體積、總表面積）與基于不同策略重建模型提取的表型參數進行比較（圖9）。結果顯示，采用的相機數越多，提取的表型參數越接近參照值（R2和線性回歸方程斜率越接近于1，RRMSE值越小）。

圖9 基于參照模型與基于不同策略重建模型提取的表型參數相關性分析Fig.9 Correlation analysis between phenotypic parameters extracted from 3D models reconstructed based on different strategies and those extracted based on reference models

對于株高（圖9a），采用不少于2 個相機重建均可獲得較可靠的估測值，R2＞0.95，線性回歸方程斜率均接近1（斜率0.98～1.05），RMSE≤0.80 m 且RRMSE≤8.5%。對于幅寬（圖9b），采用不少于4 個相機重建均可獲得較可靠的估測值，R2＞0.90，線性回歸方程斜率大于0.80，RMSE≤0.50 m 且RRMSE≤9%。對于凸包體積（圖9c），采用不少于4 個相機重建均可獲得較可靠的估測值，R2＞0.99，線性回歸方程斜率大于0.90，RMSE≤16 m3且RRMSE≤9%。對于總表面積（圖9d），采用不少于4 個相機重建均可獲得較可靠的估測值，R2＞0.99，線性回歸方程斜率大于

0.90，RMSE≤3.1 m2且RRMSE≤3%。當采用較少相機捕獲的圖像序列重建三維模型時，對株高提取準確性的影響低于對幅寬、凸包體積和總表面積的影響，對成熟期作物表型參數提取準確性的影響高于對苗期作物的影響。

3 結論

為滿足高通量植株表型分析需求，進一步基于多視角自動成像系統提升三維重建效率和精度，本文針對不同作物、不同生育時期、不同植株部位（地上部和根系），通過三維點云重建效率和精度定量化和可視化評估，以及基于不同三維模型提取的表型參數可靠性評價，尋找平衡設備成本、時間成本和重建精度的最優三維重建策略。

對于苗期、蕾薹期、盛花期和成熟期油菜，采用3～4 個相機為最優重建策略；對于抽穗期水稻、花鈴期棉花和拔節期、灌漿期小麥，采用6 個相機為最優重建策略；對于分蘗期小麥、成熟期水稻、玉米根系和油菜根系，采用10 個相機為最優重建策略。重建精度低的區域主要集中在葉片生長密集區以及具有細長結構的葉片、麥芒、角果或根系等器官；增加成像視角和參與重建的圖像數量，可有效保留細節信息、提高重建精度，尤其對成熟期植株地上部以及結構復雜的根系，重建精度提升效果顯著。采用不少于4 個相機獲取的圖像重建三維模型可獲取可靠的表型參數（決定系數R2＞0.90，相對均方根誤差RRMSE≤9%）。

本研究對實現作物表型信息高效獲取分析具有重要價值，但仍存在一些問題有待研究：自動成像系統采用定焦鏡頭，在采集較小植株圖像時捕獲的植株像素點較少（如分蘗期小麥），升級成像系統鏡頭并根據植株大小調節焦距，是提升重建精度的有效手段；采用自動成像系統獲取的圖像位置是已知的，加入成像位置信息約束三維重建，減少特征匹配所需的計算時間和計算量，可進一步提升重建效率；本研究針對室內單株盆栽植株開展，理論上該方法同樣適用于田間植株。為更貼近育種學家對大田作物表型測定的需求，改進并構建應用于田間群體作物的自動成像系統和三維重建策略，是未來研究方向之一。