基于多視角圖像的玉米三維重建及雙面配準方法研究

李玉超 張博 汪永剛 張雪景 張君 范曉飛

摘要：提高植物三維點云模型重建時的準確性與完整性，是精準獲取植物表型參數的關鍵所在。目前大多數三維重建方法只能從某一方向對目標物體進行重建，缺乏完整的三維重建過程。為了解決此問題，本研究提出了一種基于多視角圖像序列的玉米雙面配準的三維重建方法，通過安裝在圖像采集平臺上下側的RGB相機來獲取玉米不同視角的圖像序列，基于SfM算法獲取玉米的三維點云模型后使用點云顏色濾波算法進行預處理。通過交互式選點測量方法得到玉米點云的空間坐標后基于歐式距離算法計算20組玉米的株高、葉長、葉寬等表型參數，與對應的手動測量結果相比，決定系數r2依次為0.973 6、0.969 1、0.915 0，結果表明兩者間顯著相關。之后對標記物使用4PCS和PCA算法進行粗配準，結果表明采用4PCS具有更好的粗配準效果。最后采用ICP算法進行標記物的精配準，得到變換矩陣后將其應用于玉米點云，即完成了玉米點云的雙面配準。由玉米點云的配準精度均方根值（RMS）可知，當點云重疊度設置為90%時，RMS值較小，玉米點云配準的精度更高，可達到較好的配準效果。總之，本研究所提的配準方法可以拼接和重建出結構更加完整的玉米點云模型，從而滿足對玉米表型研究的需求。

關鍵詞：多視圖重建；點云預處理；玉米表型；點云配準；三維重建

中圖分類號：S126 文獻標志碼：A

文章編號：1002-1302（2023）08-0177-08

基金項目：河北省高層次人才資助項目（編號：E2019100006）；河北省重點研發計劃（編號：20327403D）；河北農業大學引進人才項目（編號：YJ201847）；2021年度石家莊市引進國外智力項目。

作者簡介：李玉超（1996—），男，河北定州人，碩士研究生，研究方向為植物表型。E-mail：chao15930202106@163.com。

通信作者：范曉飛，博士，教授，主要從事智慧農業與圖像處理研究。E-mail：hbaufxf@163.com。

高通量表型是植物科學研究的重要組成部分，準確快速地測量植物表型可以更好地分析其基因型與表型之間的關系［1］。選擇最佳的植物表型更是作物育種的關鍵步驟之一［2］，而傳統的測量方法主要靠人力進行測量，費時費力，對作物易造成不可逆的損害。因此，使用無損測量的成像技術用于分析作物表型尤為重要［3］。與二維圖像相比，在三維空間中分析作物表型具有更高的準確性，可以獲取更詳細的表型信息［4-5］。三維重建技術的快速發展為獲取植物的三維模型提供了可能［6］。

目前三維重建技術在農業方面的應用十分廣泛［7-8］。常見的三維重建方法有LiDAR法［9］、Kinect法［10］和多視圖重建法［11］等，不同的三維重建方法所采用的原理也不盡相同。其中基于多視角圖像序列的三維重建方法具有成本低、操作簡便和自動化程度高的特點。在獲取多視角圖像序列之后，基于運動恢復結構（SfM）算法來進行三維重建的方法具有效率高的特點，可以準確地重建出點云模型。井然等使用無人機結合SfM算法，對挺水植物進行了三維建模，進而對其生物量進行了準確估算［12］。Malambo等使用基于無人機的SfM算法量玉米和高粱的田間表型，通過采集株高數據分析了2種作物在生長周期內的變化趨勢［13］。孫英偉等提出一種基于SfM算法的單木結構參數快速提取方法，其提取的樹木胸徑、樹高、冠幅等表型與實測值相關系數均大于0.94［14］。張慧春等使用SfM方法對擬南芥進行了三維重建，提取的擬南芥表型性狀主要包括葉寬、葉長、主莖長度、葉片面積等［15］。Sun等使用SfM方法重建了棉鈴的三維結構圖，并通過點云聚類和分割獲得了棉鈴的數量和位置［16］。Zhang等使用SfM通過從不同視圖捕獲圖像來重建甘薯植物，對葉面積、株高、株數、葉面積指數等植物特征進行生長監測，結果表明三維模型中測量值與實際測量值之間具有高度相關性［17］。

點云配準旨在將多個點云正確配準到同一個坐標系下，形成更完整的點云，從而達到更高的精度［18］。朱啟兵等使用RANSAC算法進行點云的初始配準，之后采用ICP算法完成精配準得到了盆栽金桔的完整點云［19］。陸健強等提出一種基于輕量化處理的ICP優化算法，通過對滴水蓮三維建模并進行配準后取得了預期效果，能夠準確反映出植物點云的形態特征［20］。方慧等采用多軟件、多視場掃描和拼接方法及ICP算法相結合的配準方式完成植株點云的配準，可以較好地提高局部點云的配準效果［21］。然而上述研究對植物進行建模、拼接和配準時存在植物結構重建時不夠清晰的問題，對植物更詳細的表型信息獲取仍有待提高，因此本研究提出了一種對玉米植物進行雙面配準的方法。

本研究通過RGB相機進行拍照，從兩側獲取玉米幼苗全視角圖像序列，基于SfM算法生成玉米不同方向的三維點云模型。之后經過點云預處理和點云配準拼接得到新的玉米點云模型，可以獲取植株結構更完整的表型信息。本研究提出的方法快速準確，在無損提取植物表型特征信息的同時，可以構建精確的玉米三維模型。

1 試驗與方法

1.1 材料與設備

選用的試驗材料是玉米品種鄭單958的種子，在保定農資市場選購。玉米具有生長速度較快，種子從發芽到出苗生長周期較短的特點，在用三維成像技術觀察植物形態特征上能夠滿足觀測的需求。

本研究使用2個RGB相機分別采集植物上下面的圖像序列，RGB相機分辨率為2 048×1 536，型號為JAI公司的FSFE-3200D-10GE。采集圖像數據時，待測植物置于載物臺上，通過控制器使得與旋轉臺相連的相機轉動，相機每隔2 s拍攝1次，轉過的角度為6°，旋轉1周后總計可以獲取 60～70張圖片，之后把采集到的圖片數據傳送到計算機中進行處理。

為了把玉米上下面的三維點云模型進行配準，在進行拍照時在載物臺上畫了已知實際尺寸的直角三角形（邊長分別為3、4、5 cm）作為標記物，來作為配準的參照物。三維重建后，先從上下2個方向對參照物點云進行配準，得到變換矩陣之后，再應用于玉米點云模型的配準。本研究中進行玉米雙面配準的流程如圖1所示。

所用三維成像設備由旋轉平臺、相機固定支架、相機、載物臺和控制器等部分組成，如圖2所示。旋轉平臺用來帶動相機固定支架和相機的旋轉，載物臺用來放置待測試驗材料，控制器用來控制電機轉動的速度。

1.2 基于SfM的三維重建

基于圖像的三維重建技術主要是將二維圖像恢復成三維模型的技術［22］。運動恢復結構算法（SfM）作為三維重建的一種，其重建原理是將采集的多視角圖像序列，運用匹配算法獲得圖像相同像素點的對應關系，再利用匹配約束關系，結合三角測量原理，獲得空間點的三維坐標，進而重建出物體的三維模型［23］。重建過程主要包括特征點提取與匹配、稀疏點云重建和密集點云重建等關鍵步驟。

本研究中使用的基于運動恢復結構算法（SfM）進行三維重建的軟件主要有AgisoftMetashape和CloudCompare。本研究中三維點云的稀疏重建和密集重建結果如圖3所示。圖3-a是采用SfM算法獲得的玉米植株的稀疏點云，圖3-b是在圖3-a基礎上生成的密集點云，圖3-c是去除無關背景后提取的玉米植株。同理，圖3-d是玉米葉片的稀疏點云，圖3-e是其密集點云，圖3-f是提取的玉米葉片。

1.3 點云預處理

在采集點云數據時，由于設備精度和環境因素等帶來的影響，點云數據中將不可避免地出現一些噪聲點。因此需要采用點云預處理方法把無關信息過濾去除，進而提高點云運算時的速度［24］。本研究主要使用基于顏色閾值分割的方法去除植物邊緣的噪聲點，從而獲得用于研究分析的標記物和玉米點云模型［25］。

在二維圖像中基于顏色的閾值分割的基本思想是確定一個閾值，然后把每個像素點的灰度值和閾值相比較，根據比較的結果把像素點進行劃分歸類，符合設定閾值的圖像像素點保留，不符合閾值要求的像素點刪除。基于顏色閾值的點云濾波與此相類似，在獲取點云的RGB信息之后，進行RGB顏色閾值的設定。由于點云噪點的RGB值與葉片的RGB值相差較大，所以可以根據此差值來進行閾值的設定，根據點云顏色信息，可以去除玉米幼苗葉片邊緣的白色噪點。

1.4 玉米點云表型測量方法

本研究通過對三維重建后的玉米點云模型進行交互式選點測量，得到點云空間坐標，之后基于歐式距離算法原理得到玉米株高、葉長和葉寬的大小，由此得到的數據與玉米植株手動測量值結果相比較，來驗證本研究中點云測量的精度。

在數學中，歐幾里得距離（即歐氏距離）是歐幾里得空間中兩點間距離。在n維空間中，假設有2點a（x11，x12，…，x1n）和b（x21，x22，…，x2n），則n維空間的距離公式為：

由此可知在三維空間中，假設有兩點a（x1，y1，z1）和b（x2，y2，z2），則三維空間歐氏距離計算公式為：

基于以上距離計算公式，在知道點云坐標的前提下，可以求出點云測量的玉米株高、葉長和葉寬等參數。

1.5 點云同一尺度縮放

受相機的鏡頭精度、拍攝距離和轉臺的機械震動等客觀因素的影響，得到的玉米作物點云模型在尺度上存在大小不一致的問題，如果直接配準拼接的話會導致較大的誤差，因此需要先對其進行縮放，再進行配準。

點云縮放是指尺度按比例縮放一定的倍數，點云數量保持不變。本研究中點云縮放的具體方法就是把獲取的上下面的標記物點云模型分別記作M和N。采用主成分分析法（PCA）構建點云的包圍盒，得出點云模型在坐標軸上的長度。把M和N 2個點云模型在對應坐標軸上的長度的比值作為縮放比例。

本研究取y軸作為參照進行縮放，縮放公式為：

式中：YM和YN分別為標記物點云M和N在y軸方向的長度；k為縮放比例。

1.6 三維點云配準

點云的配準過程，本質上就是求點云之間的旋轉平移矩陣，將源點云變換到目標點云相同的坐標系下。可以用式（4）進行表示：

式中：pt和ps指的是目標點云與源點云中的對應點。點云配準關鍵之處就是要求出其中的R與T的旋轉平移矩陣。

點云配準主要分為粗配準和精配準2個部分。點云粗配準就是在2個點云的相對位置關系不明確的情況下，找到一個這2個點云相似的旋轉平移矩陣。本研究所用到的點云粗配準方法主要有4PCS算法和PCA算法，通過比較得出4PCS算法具有更好的配準效果。之后采用ICP算法對點云進行精配準，得到變換矩陣。由于目標物體和玉米點云模型的相對位置是不變的，因此把變換矩陣應用于玉米模型，也就完成了研究對象的點云配準。

1.6.1 基于4PCS算法的點云粗配準

4PCS配準算法［26］使用的是RANSAC算法框架，通過構建與匹配全等四點對的方式來減少空間匹配運算，進而加速配準過程。在任意姿態的點云P和Q中構建共面四點集合，使用仿射不變性約束，在共面四點集合中匹配符合條件的對應點對，使用LCP策略尋找配準后最大重疊度四點對，得到最優匹配結果，從而完成點云粗匹配。

1.6.2 基于PCA的點云粗配準

基于主成分分析（PCA）的點云粗配準，重點是利用點云數據的主軸方向進行配準。首先需要計算出待配準點云的協方差矩陣，據此計算出主要的特征分量，即點云的主軸方向。通過主軸方向可以求出旋轉矩陣，再根據計算得出的點云中心坐標可以求解出平移向量。

由于點云數據主軸可能存在方向的問題，通過PCA分析得到的初始的旋轉矩陣R0和平移向量T0不一定可以用于點云的精配準。因此在進行點云精配準之前，需要完成對R0和T0的校正，以此來避免粗配準后點云誤差大和精配準會往錯誤方向收斂的問題。

校正公式如下：

假設2組點云P和X，利用R0和T0將點云P進行旋轉平移得到Pnew，之后搜索最近點找到Pnew在點云X中的對應點集Q（數目為n），利用上述公式可以計算出點云粗配準的誤差，其中erri是第i個對應點間的誤差，error是2組點云的平均均方誤差。

1.6.3 基于ICP算法的點云精配準

ICP算法的基本原理就是分別在待匹配的目標點云P和源點云Q中，按照一定的約束條件，找到最鄰近點（pi，qi），然后計算出最優匹配參數R和t，使得誤差最小。誤差函數公式為：

式中：n為最鄰近點對的個數；pi為目標點云P中的一點；qi為源點云Q中與pi對應的最近點；R為旋轉矩陣；t為平移向量。

ICP算法的配準流程首先要計算{Q}中的每一個點在{P}點集中的對應近點，之后求取對應點對平均距離最小的剛體變換，求得平移參數和旋轉參數。對{Q}使用上一步求得的平移和旋轉矩陣進行空間變換，得到新的變換點集{Q′}，若新的變換點集與參考點集平均距離小于設定閾值，或者迭代次數達到設定值，則停止迭代計算，否則新的變換點集繼續迭代，直到滿足函數要求。

2 結果與分析

2.1 點云預處理結果

圖4所示的2組數據分別為從上下方向對玉米幼苗的完整植株和葉片進行多視角圖像采集之后三維重建的結果。本研究使用了基于顏色的點云濾波方法之后，明顯地去除了離群點和葉片間的懸空點等無關點云，較好地保留了玉米和標記物點云模型。由圖4可知，該算法具有很好的點云濾波效果。

2.2 玉米表型測量結果

玉米表型測量結果如圖5所示。通過對5盆玉米進行了為期4 d的數據采集，一共獲取了20組數據，之后進行三維重建，對玉米的株高、葉長和葉寬等表型參數進行了提取研究。其中玉米株高的均方根誤差（RMSE）為9.83 mm，決定系數r2為 0.973 6（圖5-a）；玉米葉長的均方根誤差（RMSE）為9.95 mm，決定系數r2為0.969 1（圖5-b）； 玉米葉寬的均方根誤差（RMSE）為0.55 mm，決定系數r2為0.915 0（圖5-c）。結果表明，通過點云提取的玉米表型參數與手動測量值顯著相關。與傳統人工測量的方法相比，通過點云測量的方式可以達到無損、快速、準確提取的效果。

本研究中手動測量和點云測量的玉米表型數據如表1所示。

2.3 點云縮放結果

三角形標記物和玉米點云的縮放結果如圖6和圖7所示，其中藍色表示的是上方的RGB相機拍照后進行建模的點云模型，紅色表示的是下方的RGB相機拍照后進行建模的點云模型。在進行縮放之前，三角形標記物和玉米點云模型在大小和形態上有較為明顯的差別，主要原因就是上下方向上的RGB相機在進行拍照時到玉米和三角形標記物的距離不同導致的。縮放之后，上圖所示的點云模型統一了尺度，在大小以及形態上十分接近。可見對獲取的點云模型進行縮放具有十分重要的意義，可為點云進行配準時減少誤差。

2.4 點云配準結果

本研究使用了4PCS算法和PCA算法對點云進行了粗配準，配準效果如圖8所示。圖8-a中綠色表示的是從上方視角進行建模后獲取的標記物和玉米點云模型，紅色表示的是從下方視角獲取的點云模型。圖8-b中白色及藍色點云分別表示從上方視角和下方視角建模后獲取的點云模型。從圖8可以看出，使用4PCS算法在點云配準方面的效果較好一些，所獲取的點云模型大體上可以配準。雖然采取4PCS算法可以實現點云初步配準，但是點云模型并沒有完全重合，玉米的點云形態特征還存在一定的缺陷。

2.5 點云精配準結果

在基于4PCS算法進行粗配準的基礎上，為了進一步提高點云的配準效果，本研究使用ICP算法對玉米點云進行了精度更高的精確配準。配準效果如圖9所示，使用ICP算法精配準后的玉米，無論是整株的幼苗還是葉片，其輪廓都更加清晰，從上下方向獲取的點云模型進行配準拼接后的重合性更高。可見本研究所用的配準方法能夠滿足對玉米植株表型全方位的觀察研究。

本研究在評價玉米點云配準精度時，使用的是均方根值（RMS）來進行評價。主要比較了點云重疊度設置為80%、90%時的均方根值（RMS），結果表明，當重疊度在90%時，RMS值較小，表明此時點云配準的精度更高些，能夠滿足玉米點云的配準精度要求。玉米點云模型配準精度結果如表2所示。

3 討論與結論

為了更好地觀察玉米在生長期間葉片的形態特征，獲取更詳細的玉米表型信息，本研究使用RGB相機從上下2個方向對玉米幼苗進行拍照。獲取圖像序列之后，基于SfM算法進行三維重建，并做了點云預處理，之后通過點云提取測量了玉米株高、葉長和葉寬等具有代表性的表性參數，與實際測量值相比誤差較小。然后根據標記物得到的縮放比例，把基于上下方向進行重建的玉米點云模型縮放到同一尺度下，接著采用了4PCS算法和PCA算法對玉米點云進行粗配準，結果發現，在粗配準方面4PCS算法具有更好的配準效果。最后使用了ICP算法對玉米進行精確配準，得到了玉米最終的點云模型，結果表明，采用ICP算法可以進一步提高玉米的配準效果。通過以上結果可以得出，本研究所提出的玉米點云雙面配準的方法能夠較好地拼接和重建研究對象的點云模型，并精準分析其表型參數。本研究提出的方法在為農業上其他農作物三維重建并進行配準方面具有一定的參考性和可借鑒性。

參考文獻：

［1］Gao T，Zhu F Y，Paul P，et al. Novel 3D imaging systems for high-throughput phenotyping of plants［J］. Remote Sensing，2021，13（11）：2113.

［2］Pieruschka R，Schurr U. Plant phenotyping：past，present，and future［J］. Plant Phenomics，2019，2019：7507131.

［3］Li L，Zhang Q，Huang D F. A review of imaging techniques for plant phenotyping［J］. Sensors，2014，14（11）：20078-20111.

［4］Gibbs J A，Pound M，French A P，et al. Plant phenotyping：an active vision cell for three-dimensional plant shoot reconstruction［J］. Plant Physiology，2018，178（2）：524-534.

［5］An N，Welch S M，Markelz R J C，et al. Quantifying time-series of leaf morphology using 2D and 3D photogrammetry methods for high-throughput plant phenotyping［J］. Computers and Electronics in Agriculture，2017，135：222-232.

［6］Rahman A，Mo C，Cho B K. 3-D image reconstruction techniques for plant and animal morphological analysis—a review［J］. Journal of Biosystems Engineering，2017，42（4）：339-349.

［7］孫曉明，任 磊. RGB-D相機的三維重建綜述［J］. 軟件導刊，2021，20（5）：249-252.

［8］朱榮勝，李 帥，孫永哲，等. 作物三維重構技術研究現狀及前景展望［J］. 智慧農業（中英文），2021，3（3）：94-115.

［9］王向玉，謝東輝，汪 艷，等. 基于地面激光雷達點云數據的單木三維重建［J］. 遙感技術與應用，2015，30（3）：455-460.

［10］鄭立華，王露寒，王敏娟，等. 基于Kinect相機的油麥菜自動化三維點云重建［J］. 農業機械學報，2021，52（7）：159-168.

［11］楊全月，董澤宇，馬振宇，等. 基于SfM的針葉林無人機影像樹冠分割算法［J］. 農業機械學報，2020，51（6）：181-190.

［12］井 然，宮兆寧，趙文吉，等. 基于無人機SfM數據的挺水植物生物量反演［J］. 生態學報，2017，37（22）：7698-7709.

［13］Malambo L，Popescu S C，Murray S C，et al. Multitemporal field-based plant height estimation using 3D point clouds generated from small unmanned aerial systems high-resolution imagery［J］. International Journal of Applied Earth Observation and Geoinformation，2018，64：31-42.

［14］孫英偉，林文樹. 基于SFM算法的單木結構參數提取研究［J］. 西北林學院學報，2020，35（5）：180-184，218.

［15］張慧春，王國蘇，邊黎明，等. 基于光學相機的植物表型測量系統與時序生長模型研究［J］. 農業機械學報，2019，50（10）：197-207.

［16］Sun S P，Li C Y，Chee P W，et al. Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering［J］. ISPRS Journal of Photogrammetry and Remote Sensing，2020，160：195-207.[HJ2.1mm]

［17］Zhang Y，Teng P，Aono M，et al. 3D monitoring for plant growth parameters in field with a single camera by multi-view approach［J］. Journal of Agricultural Meteorology，2018，74（4）：129-139.

［18］李建微，占家旺. 三維點云配準方法研究進展［J］. 中國圖象圖形學報，2022，27（2）：349-367.

［19］朱啟兵，張 夢，劉振方，等. 基于點云配準的盆栽金桔果實識別與計數方法［J］. 農業機械學報，2022，53（5）：209-216.

［20］陸健強，蘭玉彬，毋志云，等. 植物三維建模ICP點云配準優化［J］. 農業工程學報，2022，38（2）：183-191.

［21］方 慧，杜朋朋，胡令潮，等. 基于可視化類庫的植株三維形態配準方法及點云可視化［J］. 農業工程學報，2013，29（22）：180-188.

［22］張彥雯，胡 凱，王鵬盛. 三維重建算法研究綜述［J］. 南京信息工程大學學報（自然科學版），2020，12（5）：591-602.

［23］周靜靜，郭新宇，吳 升，等. 基于多視角圖像的植物三維重建研究進展［J］. 中國農業科技導報，2019，21（2）：9-18.

［24］Han X F，Jin J S，Wang M J，et al. A review of algorithms for filtering the 3D point cloud［J］. Signal Processing：Image Communication，2017，57：103-112.

［25］余博文. 數字圖像閾值分割研究與應用［J］. 科學技術創新，2021（19）：91-92.

［26］劉世光，王海榮，劉 錦. 快速四點一致性點云粗配準算法［J］. 山東大學學報（工學版），2019，49（2）：1-7.