基于序列圖像的植株三維重建試驗與分析

孫 婷，張琳琳，宋懷波

?

基于序列圖像的植株三維重建試驗與分析

孫 婷，張琳琳，宋懷波

(西北農林科技大學機械與電子工程學院，陜西楊凌 712100)

如何在保證精度的前提下實現更為高效、快捷以及廉價的植株三維重建是智慧農業領域研究的重要課題。本研究從實用的植株三維重建角度出發，利用3DSOM軟件開展了植株的三維重建方法研究，搭建了一套植株序列圖像獲取系統，可以精確地獲得植株的360°視角的序列圖像，為后期進行植株的三維重建奠定了基礎。本試驗以圣女果植株和樹木植株為研究對象，分別利用8、16、32、64、80、96幅序列圖像和20、40、60、80幅序列圖像開展了植株的三維重建試驗與對比測試。試驗結果表明，對于樹木植株，由于其枝干較多且不同角度的枝干間存在重疊，重建圖像會丟失部分枝干細節信息，而對于小型植株如圣女果植株的重建效果較好；測試結果表明，最少利用16幅序列圖像即可重建圣女果植株，最少利用20幅序列圖像即可重建樹木植株；圣女果植株的重建時間在14分鐘以內，樹木植株的重建時間在18分鐘以內，且隨著序列圖像數量的增加，重建時間增長緩慢，表明重建用序列圖像的數目對重建時間影響較小。為進一步驗證該方法的三維重建精度，對圣女果植株的枝干選取了5個截段進行了實際測量，其重建誤差在0.05%-2.36%之間；同時選取樹木4個截段進行了實際測量，其重建誤差在0.11%-2.67%之間，重建精度滿足植株三維測量、樹形修剪等的要求。

三維重建；植株；序列圖像；精度分析；3DSOM

0 引言

植物形態的三維可視化是智慧農業研究領域面臨的一項技術難題。目前，植物的形態特征信息主要靠目測等人工測量方式獲取。人工測量方式存在速度慢、強度大、主觀性強和誤差大等缺陷。通過使用計算機視覺技術對植物三維形態進行可視化研究，能夠有效避免這些問題[1]。植物的形態結構是進行植物生長規律探尋的關鍵，對植株的三維重建尤為重要。基于圖像的建模技術是當今計算機視覺領域的一個研究熱點，與傳統的基于圖形的建模技術相比具有易操作、高效等特點[2]。通過三維重建得到植株形態以及其空間分布情況，可為研究人員對作物生長分析、病蟲害防護等研究提供高精度的數據支撐。

國內外眾多學者已經開展了目標的三維重建工作，Marr等提出了基于雙目立體視覺的三維重建方法，利用2幅有視差的平面圖像提取目標的三維信息，奠定了雙目視覺發展的理論基礎[3]。三維重建技術作為計算機圖形學的重要分支，在諸多領域取得了較好的應用[4-6]。在醫學方面，三維重建技術常被用到腦組織、心血管等疾病的治療[7]。付淼進行了醫學圖像三維重建及應用的研究[8]。江貴平等進行了基于MRI數據的人體器官三維重建方法研究[9]。王志堅等對數字化三維重建技術在產科疾病診治中的應用進行了研究[10]。盧慕峻等人在泌尿外科領域應用了CT三維重建成像技術[11]。在軍事方面，劉彬等利用無人機拍攝的遙感影像來構建三維戰場[12]。張明使用MATLAB和VRML對軍事等高線地圖進行了三維重建系統的研究[13]。張源利用雙目立體視覺進行了戰車的三維重建系統設計[14]。在農業方面，果樹的三維重建對于自動采摘機械化[15]、果樹的機械剪枝[16]和果樹冠層光照研究等都有重要作用[17]。辛龍嬌等探尋了溫室環境中的番茄快速重建方法[18]。劉剛等對農林作物三維重建方法進行了研究[19]。劉睿等利用地基激光雷達數據對單株玉米進行了三維重建[20]。

本研究通過對目標植株的拍攝和序列圖像的預處理，借助3DSOM軟件，分別選擇圣女果植株和樹木植株為研究對象，利用不同數量序列圖像對其進行三維重建工作，并對其重建精度進行評估，以期為植株的三維重建提供更好的借鑒。

1 3DSOM圖像獲取平臺

1.1 圖像獲取可行性分析

本次作為研究對象的圣女果植株高54 cm，兩枝干最遠點間距22 cm。旋轉展臺的直徑為37.08 cm，植株下方有細長的莖稈部分，小于旋轉展臺的直徑。用于固定植株的花盆直徑小于旋轉展臺直徑，圣女果植株、花盆的質量小于展臺最大載重100 kg。

試驗用樹木植株高約163 cm，枝干上兩點間最寬距離90 cm，不會影響展臺旋轉的精度，其總量同樣滿足展臺載重要求。因此，利用該設備進行圣女果及樹木植株序列圖像獲取平臺的搭建是可行的。圖1為圣女果植株和樹木植株固定在旋轉展臺上的實物圖。

(a)圣女果植株 (b)樹木植株

1.2 實際工作臺搭建

本研究所搭建的植株序列圖像獲取工作臺如圖2所示，主要由背景、校準墊、旋轉平臺、相機和三腳架構成。其中背景為白色打印紙和白色墻壁；校準墊由15組（每組4個）有規律的徑跡點組成，用于判定目標圖像的高度、角度和距離信息；旋轉展臺可以精確地控制每幅圖像的拍攝角度，借助遙控器便能精準的控制該轉臺每一次旋轉的角度，并能精確到0.1度；相機在拍攝時要保證其設置不發生改變，本研究所使用的為尼康D90數碼相機；三腳架起著固定相機的作用。

拍攝時相機距離圣女果植株的水平距離為1.45 m，選取20°俯角和30°俯角（可以拍攝到植株全景）分別拍攝48幅序列圖像，相機距離地面的距離分別為1.30 m和1.65 m；拍攝時相機距離樹木植株的水平距離為4.13 m，20°俯角和30°俯角時相機距離地面的距離分別為1.98 m和2.24 m。

(a)圣女果植株 (b)樹木植株

2 基于序列圖像與3DSOM的植株三維重建

2.1 試驗材料

（1）試驗樣品

為了探究不同序列圖像下植株三維重建的效率和精度，以3.75°為間隔，分別獲取圣女果植株和樹木植株的360°序列圖像共96幅，隨機選取8、16、32、64、80和96幅圣女果植株序列圖像分別重復進行10次試驗；對于樹木植株，隨機選取20、40、60和80幅樹木植株序列圖像分別重復進行10次試驗。所用時間、所測距離均取平均值，重建結果取最優。由于8幅圣女果植株序列圖像不能重建其三 維模型，故沒有給出重建信息；由于20幅樹木植株序列圖像所包含的圖像信息過少，在進行樹木植株 的三維重建時僅能重建出其大體的輪廓，效果較差，故沒有進行具體分析。

（2）試驗軟件及硬件

所有試驗均在2.3 GHz處理器、8 G內存的Lenovo Ideapad 310S的計算機上完成，試驗環境為3DSOM Pro V4.0。

2.2 圣女果樹重建

本次試驗對象為圣女果植株，分別用8、16、32、64、80和96幅圖像對目標進行了三維重建，并分別對其進行了重建計時。圖3為拍攝的96幅圣女果植株序列圖像示例。圖4為在16、32、64、80和96幅圖像下的重建模型。

由圖4可以發現，當采用32、64和80幅序列圖像進行重建時，其中一條枝干出現了斷層，當將重建圖像提高到96幅時斷層消失，與16幅序列圖像重建結果類似。由圖4（圓圈標注部分）可見，圣女果植株的部分細節沒有在重建中得到體現，可見3DSOM對輪廓細小區域的重建能力有待提高。

表1為不同序列圖像下樹木植株的重建耗時，由表1可知，在16、32、64、80和96幅序列圖像下，隨著序列圖像數量的增多，3DSOM處理的時間逐漸增加但處理時間均在14分鐘以內，滿足植株三維重建的實時性要求。

2.3 樹木植株重建

分別選用20、40、60和80幅序列圖像對目標進行了重建。圖5為拍攝的樹木植株序列圖像示例，圖6為在40、60和80幅圖像下的重建模型與原圖同一角度下的對比。

由圖6可以發現，60和80幅序列圖像時，樹木植株的重建結果中樹木根部區域未得到較好重建，而將重建序列圖像減少到40幅時可以實現植株根部的重建，這是由于圖像過多時，重復信息過多而難以重建導致的。同時可以發現，由于樹木植株的枝干較多，生長緊密，不同角度的枝干之間存在相互遮擋，導致重建結果中枝干的部分細節信息丟失。表明3DSOM對生長較密的大型樹木植株的重建能力有待提高。

圖3 部分圣女果植株重建序列圖像

(a)原圖 (b)16幅重建結果 (c) 32幅重建結果 (d)64幅重建結果 (e)80幅重建結果 (f) 96幅重建結果

表1 不同數量序列圖像下3DSOM重建時間統計

Tab.1 Time consumption of different image sequences by using 3DSOM software

不同數量序列圖像重建過程的時間統計如表2所示，由表2可以看出，樹木植株的重建時間隨著序列圖像的增加而增加，與圣女果植株重建結果類似，在利用80幅序列圖像進行重建時，耗時也在18分鐘之內，滿足重建的實時性要求。

圖5 部分樹木植株序列圖像

(a)原圖 (b)40幅序列圖像重建 (c) 60幅序列圖像重建 (d)80幅序列圖像重建

表2 樹木植株重建計時

Tab.2 Time consumption of different image sequences by using 3DSOM software

3 數據對比分析

3.1 概述

為了更好地探究植株的重建效果，本研究分別從定性和定量兩個方面進行了分析。3DSOM能夠將模型輸出至其他三維編輯軟件中，借助其他軟件即可測量重建模型上任意兩點的距離。3DSOM對植株的重建效果可用表示，其計算公式如式（1）所示。

×100% （1）

其中，是距離誤差，該值的大小直接反映了3DSOM重建的效果，值越小說明目標的重建精度越高。是實際測量的植株長度，是在三維編輯軟件中獲得的3DSOM重建植株的長度。

植株實際長度的測量工具為游標卡尺，重建模型距離的測量工具為3DSOM自帶直尺工具，能夠直接測得重建模型上兩點的距離，精度為0.01米。

3.2 圣女果樹數據及其分析

由于莖稈部分較直，也方便軟件的直接測量，故在圣女果植株的莖稈部分選取5個部分來進行測量，因為莖稈部分較直，也方便軟件的直接測量。為了方便數據統計及敘述，將需要測量的截段用字母進行標識。圖7為圣女果植株測量截段及對應標識圖。

圖7 圣女果植株測量截段

表3為不同圖像數量下，計算3DSOM原圣女果植株實際距離和枝干各截段的誤差表。

由表3所提供的數據來看，不同圖像數量的不同截斷的Error percentage最高不超過2.36%，最低為0.05%，平均值是0.84%，其精度符合預期要求。由于在測量時難免會出現誤差，所以實際的失誤率應該比表格中的數據低。而且隨著圖像數量的增多，其Error percentage的值并沒有明顯的增多或者減少，因此可以認為在保證3DSOM能夠完整的獲得原圣女果植株360度信息的前提下，其原圣女果植株的重建效果與圖像數量沒有直接關系。

表3 圣女果植株枝干各截段實際距離、重建距離和重建誤差（以AB為參考點）

Tab.3 Results of the real length, reconstructed length and reconstruction error of Cherry tomato (AB as reference)

3.3 大樹數據及其分析

在對樹木植株進行測量時，分別選取較直的兩段主干和兩段從干進行測量，并用字母進行標識。選取較直的部分，將其分段表示。圖8為重建樹木植株測量截段及其標識。不同序列圖像數量下計算得到的3DSOM樹木植株截段距離及數據分析如表4所示。

由表4所提供的數據來看，不同序列圖像數量、不同截斷的重建誤差最高不超過2.67%，最低為0.11%，平均值為1.32%。3DSOM重建的精度符合要求，而且其重建精度與圖像數量并沒有直接關系。但值得注意的是，當樹木植株圖像數量為60和80幅時，重建模型不能重建出植株的根部區域，丟失大量信息，而40幅序列圖像能夠準確的重建出植株的根部細節。再次證明了3DSOM的重建精度與圖像數量沒有直接關系，而且隨著3DSOM處理信息量的增加，還有可能出現錯誤的重建結果。

圖8 樹木植株測量截段及其標識

表4 樹木植株各截段實際距離、重建距離和重建誤差（AB為參考點）

Tab.4 Results of the real length, reconstructed length and reconstruction error of Tree plant (AB as reference)

4 結論

通過以上對圣女果植株和樹木植株在不同數量序列圖像下進行三維重建結果的對比，得出以下結論：

（1）3DSOM對生長較密，重疊部分較多的樹木植株的重建效果遠低于枝干分布稀疏的圣女果植株。表明3DSOM具有較好的實時性，基本滿足植株實時性三維重建的要求。

（2）在保證3DSOM能夠完整獲取目標植株360°信息的前提下，原植株的重建效果和精度與植株序列圖像數量沒有直接關系。序列圖像數量過少時，會導致提供的信息量太少，而無法進行重建；序列圖像數量過多時，會使重復信息增多，可能導致重建出錯。

（3）對于不同的植株，重建時要選擇合適數量的植株序列圖像才能準確且不丟失信息的重建出高精度的三維模型。圣女果植株最少需要16幅植株序列圖像才能重建出三維模型，而樹木植株至少需要20幅植株序列圖像才能重建出三維模型。

（4）3DSOM對目標植株中輪廓比較細小的部分和生長較密枝干的重建效果較差，需要進一步研究。

[1] 雷欣. 植物三維重建中深度圖像配準系統的設計與實現[D]. 西北農林科技大學, 2016.

[2] 殷小舟. 基于圖像的花卉植物三維重建技術研究[D]. 北京林業大學, 2013.

[3] 隋婧, 金偉其. 雙目立體視覺技術的實現及其進展[J]. 計算機應用, 2004, 10(1): 4-6.

[4] 王春莉, 梁立波, 王寶玉. 計算機三維重建技術發展與應用[J]. 沈陽大學學報, 2003, 15(2): 20-26.

[5] G. Hu, Q. Peng, A. Forrest. Robust mesh smoothing[J]. Journal of Computer Science and Technology, 2004, 19(4): 521-528.

[6] B. Alexandra, L. Denis, J. Luc. Three-dimensional reconstruction of the bony structures involved in the articular complex of the human shoulder using shaped-based interpolation and contour- based extrapolation[C]. Proceedings of the 4thInterpolation Conference on 3D Digital Imaging and Modeling. Banff, Canada, 2003: 1061-1072.

[7] 孫正. 心血管三維運動場的重建方法及驗證[J]. 中國醫學影像藝術, 2007, 23(8): 1248-1252.

[8] 付淼. 醫學圖像三維重建及應用[J]. 中國醫學工程, 2013, 9: 189-190.

[9] 江貴平, 張煜, 陳武凡, 等. 基于MRI數據的人體器官三維重建[J]. 南方醫科大學學報, 2005, 25(1): 15-17.

[10] 王志堅, 何艷紅, 鐘梅. 數字化三維重建技術在產科疾病診治中的應用[J].中國實用婦科與產科雜志, 2012, 1: 19-22.

[11] 盧慕峻, 王忠, 董國勤, 等. CT三維重建成像技術在泌尿外科領域的應用[C]. 全球華人泌尿外科學術會議. 2005.

[12] 劉彬, 陳向寧, 郭連朋. 基于無人機遙感影像的三維戰場構建技術研究[J]. 系統仿真學報, 2015, 27(6): 1268-1273.

[13] 張明. 基于MATLAB和VRML的軍事等高線地圖三維重建系統的研究和實現[D]. 山東大學, 2007.

[14] 張源. 基于雙目立體視覺的戰車三維重建系統設計與實現[D].中國科學院大學, 2014.

[15] L. He, X. Du, G. Qiu, et al. 3D reconstruction of Chinese hickory trees for mechanical harvest[C]. ASAE Annual Meeting, ASABE Paper 12-1340678, 2012.

[16] Adhikari B, Karkee M. 3D reconstruction of apple trees for mechanical pruning[C], 2011 ASAE Annual Meeting, ASABE Paper 1111613, 2011.

[17] 王菲. 高紡錘形蘋果樹分形維數及三維數字化建模和 STAR值的研究[D]. 楊凌: 西北農林科技大學, 2012.

[18] 辛龍嬌, 徐立鴻, 李大威, 等. 基于參數L-系統的溫室番茄植株的三維重建[J]. 現代農業科技, 2014, 3: 340-343.

[19] 劉剛, 司永勝, 馮娟. 農林作物三維重建方法研究進展[J]. 農業機械學報, 2014, 45(6): 38-46.

[20] 劉睿, 劉婷, 董潤茹, 等. 基于地基激光雷達數據的單株玉米三維建模[J]. 中國農業大學學報, 2014, 3: 196-201.

3D Reconstruction of Plants Based on Image Sequences

SUN Ting, ZHANG Lin-lin, SONG Huai-bo

(College of Mechanical and Electronic Engineering, Northwest A&F University, Yangling, Shanxi 712100, China)

How to achieve more efficient, fast, and inexpensive 3D reconstruction of plant under the premise of accuracy is an important issue in the field of intelligent agriculture research. In this study, for the practical 3D reconstruction of plants, 3DSOM software was used and the sequence images were taken by the image capturing system we have built, it can accurately obtain the plants’ 360 degrees sequence images. In this research, Cherry Tomatoes plant and Tree plant were selected as the research objects, and 8, 16, 32, 64, 80, and 96 sequence images of Cherry Tomatoes plant, 20, 40, 60and 80 sequence images of Tree plant were selected to test the performance of 3D reconstruction results respectively. The results showed that the Tree plants lost too many details of branches during the reconstruction process, because it has too many overlap stems and branches, too many details of branches. However, some small plant such as the Cherry Tomatoes plant, its reconstruction result was much better. The results also showed that the Cherry Tomatoes plants could be reconstructed by using no less than 16 sequence images, and no less than 20 sequence images for Tree plants. The reconstruction of the Cherry Tomatoes plant could be realized within 14 minutes, and within 18 minutes for Trees plant. Moreover, with the increase of the number of image sequences, the reconstruction time increase slowly, which showed that the number of reconstructed images has a little influence on the reconstruction time. In order to further verify the accuracy of 3D reconstruction, 5 points from Cherry Tomatoes plant and 4 points from Tree plant were selected, respectively,and the results showed that the reconstruction error was between 0.05% and 2.36% for Cherry Tomatoes plant, 0.11% and 2.67% for Tree plants, which showed that the reconstruction accuracy met the requirements of measuring the three-dimensional plant, pruning tree and so on.

3D Reconstruction; Plant; Sequence image; Accuracy analysis; 3DSOM

TN911.72

A

10.3969/j.issn.1003-6970.2017.04.002

863計劃資助項目（2013AA10230402）；陜西省農業科技創新與攻關項目（2016NY-157）；中央高校基本科研業務經費（2452016077）

孫婷(1995--)，女，陜西銅川人，主要研究方向為計算機圖形學；張琳琳(1996--)，女，河南尉氏人，主要研究方向為計算機圖形學。

宋懷波(1980-)，男，山東濟寧人，博士，副教授，研究方向為智能化檢測與技術。

本文著錄格式：孫婷，張琳琳，宋懷波. 基于序列圖像的植株三維重建試驗與分析[J]. 軟件，2017，38（4）：06-11