基于三維重建技術的植物表型分析

史維杰 郝雅潔 趙明霞 呂致 胡欣宇 李富忠

摘 要：植物表型作為基因組在環境中的實際表現，是研究基因功能和植物育種的重要橋梁，而破壞性的測量對于持續性的研究來說是災難性的。大量的同一物種植物的取樣，只能在一定程度上保證實驗條件一樣，但是基因組某一性狀的表現不僅受基因影響還受環境影響。所以對植物進行三維重建，非破壞性的獲取植物表型是必要的。文中主要介紹了基于圖像序列的三維重建流程及算法，在一定程度上還原了植物的三維模型，從實驗的角度論證了使用三維重建進行植物表型分析的可行性。

關鍵詞：三維重建;植物表型分析;基因組;植物育種;SIFT算法;圖像序列

中圖分類號：TP391.9文獻標識碼：A文章編號：2095-1302（2019）09-00-03

0 引 言

1997年Schork首次提出了表型組學（Phenomics）的概念[1]，特指作為基因組研究重要補充的復雜疾病性狀研究。植物表型組學作為其中的一員，主要是理解植物基因功能及環境效應[2]。過去僅依賴肉眼觀察和破壞性獲得的植物特征和性狀十分有限[3]，無法滿足作物基因組功能研究和作物育種的實際需求。

目前，表型獲取技術成為作物育種中比較薄弱的環節，制約著植物表型組學的發展。所以如何提高該技術的精度、通量，降低價格成本成為研究植物表型的重點。隨著計算機技術的進步和硬件的不斷優化，與難以持續獲取植物信息的手動采集相比，使用計算機對植物進行三維重建，實現非破壞性采集，十分受科研人員的歡迎[4]。本文主要從重建流程及相關算法進行介紹。

1 重建流程及算法

當前實現三維重建主要為兩類[5]：基于激光掃描的三維重建;基于圖像序列的三維重建。

現實中的物體都是三維立體的，而人眼或者其他視覺設備獲取到的圖像都是二維的，但是人眼可以從二維圖像中獲取三維信息，而計算機視覺需要通過恢復現實環境的模型從而來認知世界[6]。

本文主要介紹基于圖像序列的三維重建，其流程如圖1所示。

首先，打印棋盤格[7]的照片，并將其粘貼在一面空白的墻上，使用手機對其拍攝獲取標定圖片;然后，對選擇重建的物體進行拍攝，對得到的圖片進行篩選，去除光照不足和模糊的照片，對重建的圖像進行預處理，為特征檢測與匹配做準備;接著，進行特征點檢測與匹配，盡量獲得多的特征點，去除誤匹配[8];最后，通過標定圖片進行相機標定，計算基礎矩陣本質矩陣，進行三維重建[9]。

1.1 標定圖片及重建圖片的獲取

本文使用普通手機拍攝就可以直接得到實驗需要的RGB圖片，在一定程度上降低了對設備的要求。對于標定圖片來說，盡量保證不同角度同一水平線拍攝;而重建圖片從兩個不同角度正面拍攝[10]。

1.2 圖像預處理

獲取圖片后需要對圖片進行預處理才能使用。圖像預處理主要目的是：抽出對象的特征作為圖像識別的特征模式;適應圖像處理的要求，消除圖像的噪聲[11]。

對圖2進行處理，使用低通濾波進行模糊，使用高通濾波進行銳化[12]。處理后的效果如圖3所示。

1.3 特征點檢測與匹配

如何高效且準確地匹配來自兩個不同視角圖像中的同一個物體是許多計算機視覺應用中的第一步[13]。為了更好地進行特征匹配，需要在圖像中選擇具有代表性的區域，如角點。然而，角點并不能很好地滿足需求，因此采用SIFT算法[14]。

圖像的特征點由兩部分構成：關鍵點（Key Point）和描述子（Descriptor）。關鍵點是具有圖像位置信息的特征點，有些還具有方向、尺度信息;描述子通常是一個按照人為設計方式的向量，用來描述關鍵點周圍像素的信息[15]。一般的描述子都是按照外觀相似的特征應該有相似的描述子的原則設計的。因此，在匹配時，只要兩個特征點的描述子在向量空間中距離相近，就可以視它們為相同的特征點[16]。

特征點的檢測和匹配通常需要以下3個步驟。

（2）根據得到的關鍵點位置，計算特征點的描述子。從圖像中提取特征的關鍵點信息，通常只包含它的位置信息，單獨使用這些信息并不利于特征匹配。因此，需要更詳細的信息來區分特征點，這就是特征描述子。此外，特征描述子可以消除因視角變化而導致的圖像的尺度和方向的變化，獲得更好的匹配[18]。

（3）根據特征點的描述子進行匹配。然而，僅使用SIFT算法存在大量的誤匹配，為了消除由圖像遮擋和圖像背景而產生的無匹配關系的關鍵點，Lowe提出了比較最近鄰距離與次近鄰距離的SIFT匹配方式[4]。特征點檢測與匹配如圖4所示。

1.4 相機標定并計算基本矩陣和本質矩陣

相機標定的目的：主要是獲取相機的內參和外參矩陣，與此同時也會得到每一幅標定圖像的旋轉和平移矩陣，內參和外參矩陣可以對重建圖像進行矯正，得到矯正后的圖片[19]。

相機拍照的過程其實就是從世界坐標系到像素坐標系的一個數學變換（不考慮畸變），如下：

通過標定圖片進行相機標定（考慮畸變）并進行矯正[20]，效果如圖5所示。

1.5 三維重建

通過得到的特征點以及相機的內參外參進行三維重建，效果如圖6所示。

2 結 語

本文從實驗的角度論證了使用計算機視覺技術進行三維重建得到植物模型，進行植物表型分析是可行的。只是目前的技術實現重建后，在精度上存在一定的問題，一些對于精度有硬性要求的分析還不能得到良好的結果，但是對于株高、葉面積這些耗費人工的破壞性測量還是有較好的效果。

注：本文通訊作者為李富忠。

參 考 文 獻

[1] SCHORK N J. Genetics of complex disease： approaches，problems，and solutions [J]. American journal of respiratory and critical care medicine，1997，156：103-109.

[2]周濟，TARDIEU F，PRIDMORE T，等.植物表型組學：發展、現狀與挑戰[J].南京農業大學學報，2018，41（4）：580-588.

[3]潘映紅.論植物表型組和植物表型組學的概念與范疇[J].作物學報，2015，41（2）：175-186.

[4] LOWE D G. Distinctive image features from scale-invariant keypoints [J].International journal of compute vision，2004，60（2）： 91-110.

[5]戴宗賢.基于雙目視覺的三維重建與測量技術研究[D].重慶：重慶大學，2014.

[6] ITAKURA K，HOSOI F. Automatic leaf segmentation for estimating leaf area and leaf inclination angle in 3D plant images [J]. Sensors，2018，18（10）：3576.

[7] XIONG X，YU L J，YANG W N，et al. A high-throughput stereo-imaging system for quantifying rape leaf traits during the seedling stage [J]. Plant methods，2017，13（1）：7.

[8]何謙.基于單目視覺的環境稀疏重建與稠密重建算法研究[D].杭州：浙江理工大學，2018.

[9]張洪鑫，王明珠，仇浩然，等.基于單目圖像序列的鑄件三維重建方法[J].中國機械工程，2018，29（23）：2799-2803.

[10]繆盾.基于改進的SIFT算法的圖像三維重建研究[J].貴州大學學報（自然科學版），2018，35（5）：63-66.

[11]黃炯榮，魯鐵定.基于無人機序列圖像的多視圖幾何三維重建研究[J].江西科學，2018，36（1）：145-149.

[12]郭繼東.三維重建技術及其應用研究與實現[D].濟南：山東大學，2005.

[13]梁超佳.機器視覺振動目標三維重建及模態識別方法研究[D].合肥：合肥工業大學，2016.

[14]冉冉.基于單目視覺的移動機器人目標識別及抓取系統研究[D].北京：北京交通大學，2010.

[15] STEVE H，ARKO L，JON O. The impact of the calibration method on the accuracy of point clouds derived using unmanned aerial vehicle multi-view stereopsis [J]. Remote sensing，2015，7（9）：11933-11953.

[16]金俊杰.非增加式的多視圖幾何三維重建[D].杭州：浙江工業大學，2015.

[17]高峰，魏少華，劉彩紅.序列圖像中的目標區域跟蹤算法的設計[J].計算機技術與發展，2011，21（8）：85-88.

[18]陳偉，索勝軍，邊信黔，等.無人水下潛器回收過程中光學引導模式的研究[J].機器人，2001（6）：541-544.

[19]李紅俊，韓冀皖.數字圖像處理技術及其應用[J].計算機自動測量與控制，2002（9）：620-622.

[20]賈濤，程強，韓曙東，等.一種火焰輻射圖像探頭的標定方法[J].熱力發電，2002（5）：23-25.