基于視覺三維重建的作物表型分析

史維杰 張吳平 郝雅潔 趙明霞 呂致 李富忠

摘要：采用基于圖像序列的三維重建技術對作物小麥進行三維重建，通過對比不同處理下的三維點云，選擇合適的處理方式對同一品種的不同植株進行三維重建;最后通過獲取的作物三維模型對其進行表型測量。結果表明，重建出的三維模型在一定程度上可以還原作物的真實結構，說明利用計算機視覺技術對作物進行表型測量是切實可行的，利用三維模型測量作物的表型對于育種是省時有效的。

關鍵詞：三維重建;植物表型;葉面積;SfM;MVS

中圖分類號：TP399? ? ? ? ?文獻標識碼：A

文章編號：0439-8114（2019）16-0125-04

DOI：10.14088/j.cnki.issn0439-8114.2019.16.029? ? ? ? ? ?開放科學（資源服務）標識碼（OSID）：

Abstract： Three-dimensional reconstruction of crop wheat was carried out by using image sequence-based 3D reconstruction technique. Three-dimensional point clouds under different treatments were compared， and appropriate treatment methods were used to reconstruct three-dimensional reconstruction of different plants of the same variety. Finally， the three-dimensional model of crops was obtained. Phenotypic measurement. The results showed that the reconstructed three-dimensional model could restore the true structure of the crop to a certain extent， indicating that it was feasible to use the computer vision technology to measure the phenotype of the crop. Using the three-dimensional model to measure the phenotype of the crop was time-saving and effective for breeding.

Key words： 3D reconstruction; plant phenotype; leaf area; SfM; MVS

隨著全世界人口的不斷增加、全球氣候急劇變化、耕地面積逐漸減少，如何能夠有效增加糧食產量、保障糧食安全，成為育種學家需要攻克的一個難題。在過去的幾十年里，表型組學作為基因組學的補充[1，2]，為作物育種及解析基因組作出了貢獻，植物表型間接決定了植物的生長、活力、抗倒伏能力等，不同植物表型間存在一定的線性或非線性功能關系。這表明當一個表型參數不容易檢測或識別時，可以選擇另一個與其密切相關的表型參數進行測量，所測得的表型參數為施肥、噴藥等農業機械操作的決策和指導提供了一定的理論依據。同時，這些參數可以用于機器人自動拾取系統和執行機構的性能控制。傳統的植物表型測量方法存在成本高、工作強度大、消耗時間長等缺點，這就要求迅速發展植物表型測量技術。

與此同時，隨著計算機硬件和軟件的發展，越來越多將計算機視覺技術與農業相結合，嘗試運用一種新型的方法來突破傳統作物育種的局限性。將計算機視覺技術應用在植物表型測量上，對于傳統的表型測量來說是一個巨大突破。傳統的表型測量存在人為因素干擾，同一測量目標在不同人的測量下會存在較大的誤差。而利用計算機視覺技術獲得植物的三維模型并進行測量，不僅僅是非破壞性可持久的，而且測量的精度在一定程度可以得到保障。Santos等[3]研究表明圖像序列可以重建植物的分支和其他精細結構，夏春華等[4]提出一種基于TOF深度傳感的植物三維點云數據獲取與去噪方法，勞彩蓮等[5]提出一種基于消費級深度相機的玉米植株三維重建方法。本研究采用基于圖片序列的三維重建方法，對作物進行三維重建，得到三維模型后對其進行測量與分析。

1? 圖片序列的三維重建方法

目前基于圖片序列的三維重建主要有兩類：

①使用Structure from Motion（SfM）對圖片序列進行重建[6-9];

②使用Space carving（空間雕刻）對圖片序列進行重建[10]。

空間雕刻技術最早于1998年由Kiriakos等提出，是一種利用任意位置相機重建任意形狀場景的理論，在本質上將形狀恢復問題轉化為約束滿足問題。空間雕刻算法實現的一種近乎完美的三維重建，不是在圖像空間中進行的而是在三維空間中進行的，背景位于體素初始塊兒之外，所以對空間雕刻技術進行三維重建不包括背景[11，12]。

SfM方法是一種低成本的從一系列多個重疊圖像中重建三維結構方法[6]，已經被越來越多的研究人員應用于農業、林業、地球科學、考古學和建筑學。SfM相比于空間雕刻技術的優點是并不需要人為的定義太多參數，只需要對目標植物進行360°環繞拍攝，操作起來方便簡單。但由于特征點的檢測與匹配有可能存在大量的外點，所以重建后的結果可能存在大量的非感興趣區域。在得到圖片后需要對圖像進行預處理操作，可以得到一個更好、更精確的結果。

2? 基于SfM對圖片序列的三維重建

本研究主要使用SfM對圖像序列進行稀疏重建，然后使用Multi-View System（MVS）進行稠密重建[13，14]，得到作物的三維模型，最后對其進行測量分析，流程如圖1所示。

2.1? 圖像序列的獲取

對需要重建的作物從不同角度進行拍攝，獲取圖像序列。本研究在植物表型平臺上使用Canon EOS1300D相機對作物進行拍攝。對作物拍攝時分為3組不同間隔角度進行拍攝，在5°、10°、20°的情況下分別獲取到72、36、18張圖片。獲得作物的初步圖像后，選取間隔角度為5°的圖片進行預處理，剔除掉圖像的背景。拍攝間隔角度為5°的樣本預處理如下圖2所示。

2.2? 特征檢測與匹配

特征提取是三維重建的第一步。使用Scale-invariant feature transform（SIFT）算法進行特征提取，該算法是Lowe[15]于1999年首次提出，并于2004年再次改進。SIFT主要是利用差分高斯函數（DoG）構建尺度空間找到特征點，然后通過計算特征描述子進行特征匹配。

2.3? 稀疏重建

SfM是一個迭代計算的過程[16]，通過多幅圖像的內外參矩陣計算出圖像特征點相應的世界坐標。本研究使用open Multiple View Geometry（openMVG），一個開源的多視圖立體幾何庫，提供了許多與SfM相關的的工具進行稀疏重建。openMVG包含了提取的特征，可以通過圖片序列直接獲得相機的內部參數，估計相機的姿態與位置以及相應圖片的有效幾何特征。相對于其他的使用SfM稀疏重建，openMVG不需要使用標定板對相機進行標定直接使用照片的Exif信息，可以直接得到相機的名稱、焦距等參數，而且可以直接處理較大的圖片。但拍攝時相機應處于同一水平位置，與此同時，相機距離作物的位置也需要一定的保證，如果拍攝時出現相機的位置距離作物較遠的情況下得到的圖片會被視為無效照片，不能進行特征提取及其他的計算。本研究使用植物表型平臺獲取作物的圖像序列，因此在角度與距離上可以得到保障。使用openMVG對4組不同的作物圖像序列進行稀疏重建，得到多個稀疏點云，并記錄各個點云內點的個數。各個處理作物的稀疏點云效果如圖3所示。

2.4? 稠密重建

對SfM得到的稀疏點云來說，并不能直接使用，稀疏點云包含的信息較少，對于分析測量的結果并不準確，所以需要對得到的稀疏點云進行稠密重建，得到作物的稠密點云。Multiple View Stereo（MVS）[17]的主要理論依據是對于同一作物拍攝的多張圖片之間存在極線幾何約束，即不同照片上的同一點都被空間上的某一條線穿過。在基于這種約束的條件下，就可以對不同照片上的兩點進行判斷是否屬于空間上的同一點，因此提出了圖像點間的一致性判定函數：

MVS的實質就是利用極線幾何約束，人為對圖像中每個點進行世界坐標的計算，實現由稀疏點云到稠密點云的重建。

本研究主要采用openMVS對SfM獲得的稀疏點云進行稠密重建。openMVS是一個開源的多視圖立體重建庫，可以對稀疏點云進行稠密重建、表面重建、表面細化等一系列的重建操作。openMVS相對于其他的稠密重建系統多了表面細化這一步，使三維點云的表面網格更加接近真實。各個處理下的稠密點云效果如圖4所示。

2.5? 植物表型測量

利用計算機視覺技術對植物表型進行測量，可以去掉大量的人為因素影響，將誤差降到最小，得到精度較高的結果。通過作物的三維模型對植物表型進行測量，獲取一些感興趣的植物形態參數，例如：株高、葉面積、葉片夾角、葉片長度等。葉片是植物用于光合作用的重要器官，對植物的發育生長尤為重要，在很大程度上影響光能的使用率。許多葉片參數是植物表型的重要形態參數[18-20]。通過對同一品種的多株作物進行三維重建，計算各株作物的葉面積，然后使用破壞性測量方式計算出各株作物的真實葉面積，部分測量數據如表1所示。

3? 結果與分析

3.1? 不同處理的對比

通過對比不同角度間隔植株三維點云的個數，可以發現當拍照的間隔小于10°時，點的數量出現明顯地增加（表2）。如果對于精度有特殊要求的，可以在拍攝角度小于10°時拍攝。通過對比間隔都為5°的2個不同處理，發現剔除背景后點的數量減少，但非作物的噪聲點也大量減少。在植物表型平臺內部進行拍攝，可圖像的背景色并不是RGB三通道都為0，所以將背景內的黑色轉化為三通道都為0的黑色，可以有效地降低外點的數量，實現一個好的重建效果。同時，在對照片進行處理時，需要保證處理后的結果包含照片的Exif信息，否則需要通過其他方法進行相機標定，獲得相機的內外參數，然后進行三維重建。

3.2? 回歸分析

通過對比植物測量葉面積和真實葉面積，得出兩者之間的相關系數R為0.95，決定系數R2為0.90（表3）。對于植物模型測量的葉面積與真實面積存在的相關關系進行顯著性檢驗，回歸模型在0.05水平上差異顯著（表4）。

4? 小結

通過對比不同間隔角度情況下重建的三維點云中點的個數，發現在間隔角度小于10°時出現明顯增加，對于有精度要求的三維重建可以選擇10°以下;通過對比同樣間隔角度不同處理后的三維點云結果，發現對圖像進行預處理后可以有效減少外點;通過三維模型進行葉面積計算與真實的葉面積存在相關關系，通過三維模型計算的葉面積估計真實的葉面積切實可行。

利用三維模型對作物進行表型測量相較于傳統的測量方法是方便快捷的，每次僅需要在最開始時進行破壞性取樣，對根據作物模型測量的葉面積與真實葉面積的回歸方程進行矯正。但在特征提取上會提取到大量的非感興趣區域，而且如果對獲取的圖像進行剔除背景處理又會出現拍照時光線較暗的部分被誤刪除。

參考文獻：

[1] SCHORK N J. Genetics of complex disease—approaches，problems，and solutions[J].Am J Resp Crit Care，1997，156：S103-S109.

[2] 周? 濟，FRANCOIS T，TONY P，等.植物表型組學：發展、現狀與挑戰[J].南京農業大學學報，2018，41（4）：580-588.

[3] SANTOS T T，DE OLIVEIRA A A. Image-based 3D digitizing for plant architecture analysis and phenotyping in Embrapa Informática Agropecuária-Artigo em anais de congresso（ALICE）[A].In Proceedings of the Conference on Graphics，Patterns and Images[C].Ouro Preto，Brazil，2012.

[4] 夏春華，施? 瀅，尹文慶.基于TOF深度傳感的植物三維點云數據獲取與去噪方法[J].農業工程學報，2018，34（6）：168-174.

[5] 勞彩蓮，楊? 瀚，李? 鵬，等.基于消費級深度相機的玉米植株三維重建[J/OL].http：//kns.cnki.net/kcms/detail/11.1964.S.20190412.

1111.004.html.

[6] MOULON P，MONASSE P，MARLET R.Adaptive structure from motion with a contrario model estimation[A].Computer Vision-ACCV 2012：11th Asian Conference on Computer Vision[C].Daejeon，Korea，2012.

[7] CERRADA C，SALAMANCA S. Moving surface extraction based on unordered hexagonal perfect submaps projection：Applications to 3D feature tracking[J].Image & Vision Computing，2009，27（8）：1083-1096.

[8] MOISAN L，MOULON P，MONASSE P. Automatic homographic registration of a pair of images，with a contrario elimination of outliers[J].Image processing on line，2012，2：329-352.

[9] MOULON P，MONASSE P，MARLET R. Global fusion of relative motions for robust，accurate and scalable structure from motion[A].IEEE International Conference on Computer Vision. IEEE Computer Society[C].2013.

[10] KUTULAKOS K N，SEITZ S M. A theory of shape by space carving[A].The Proceedings of the Seventh IEEE International Conference[C].1999.

[11] 尹良澤，萬國偉，王愛平，等.可變Voxel與像素映射相結合的圖像建模算法[J].系統仿真學報，2008，20（S1）：359-362.

[12] BOJIAN W，YANG Z，YIMING Q，et al. Full 3D reconstruction of transparent objects[J].ACM Transactions on Graphics，2018， 37（4）：1-11.

[13] FURUKAWA Y. Accurate，dense，and robust multiview stereopsis[A].IEEE Transactions on Pattern Analysis and Machine Intelligence[C].2010.

[14] SCHOELER M，PAPON J，WORGOTTER F. Constrained planar cuts-Object partitioning for point clouds[A].IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE Computer Society[C].2015.

[15] LOWE D.Distinctive image features from scale invariant features[J].International journal of compute vision，2004，60（2）：91-110.

[16] 張浩鵬，魏全茂，張? 威，等.基于序列圖像的空間目標三維重建[J].北京航空航天大學學報，2016，42（2）：273-279.

[17] 胡鵬程，郭? 焱，李保國，等.基于多視角立體視覺的植株三維重建與精度評估[J].農業工程學報，2015，31（11）：209-214.

[18] 仇瑞承，魏? 爽，張? 漫，等.作物表型組學測量方法綜述[J].中國農業文摘-農業工程，2019，31（1）：23-36，55.

[19] 張? 漫，苗艷龍，仇瑞承，等.基于車載三維激光雷達的玉米葉面積指數測量[J/OL].http：//kns.cnki.net/kcms/detail/11.1964.s.20190423.1643.008.html.

[20] 徐勝勇，黃偉軍，周? 俊，等.使用Kinect傳感器的油菜葉片面積測量方法[J].中國油料作物學報，2017，39（1）：55-59+77.