基于相位相關(guān)的溫室番茄植株多模態(tài)三維重建方法

孫國(guó)祥，汪小旵，劉景娜，孫 曄，丁永前，盧 偉

·農(nóng)業(yè)信息與電氣技術(shù)·

基于相位相關(guān)的溫室番茄植株多模態(tài)三維重建方法

孫國(guó)祥1,2，汪小旵1,2，劉景娜1，孫 曄1，丁永前1,2，盧 偉1,2

（1. 南京農(nóng)業(yè)大學(xué)工學(xué)院，南京 210031； 2. 江蘇省現(xiàn)代設(shè)施農(nóng)業(yè)技術(shù)與裝備工程實(shí)驗(yàn)室，南京 210031）

為實(shí)現(xiàn)溫室番茄植株多模態(tài)三維重建，解決多光譜反射率配準(zhǔn)和多視角點(diǎn)云三維重建問(wèn)題，基于相位相關(guān)原理將多光譜反射率配準(zhǔn)至RGB-D圖像坐標(biāo)系中，建立了基于Kinect傳感器測(cè)量位姿自主標(biāo)定的多視角RGB-D圖像三維重建方法，實(shí)現(xiàn)植株RGB三維點(diǎn)云模型和多光譜反射率點(diǎn)云模型重建，通過(guò)歸一化灰度相似系數(shù)、配準(zhǔn)區(qū)域光譜重疊率、互信息值3個(gè)指標(biāo)客觀評(píng)價(jià)二維多光譜圖像配準(zhǔn)質(zhì)量，采用豪斯多夫距離客觀評(píng)價(jià)植株三維點(diǎn)云重建精度。結(jié)果表明：30株溫室番茄，每株4個(gè)重建視角，視角間隔為90°，配準(zhǔn)區(qū)域光譜重疊率和歸一化灰度相似系數(shù)的平均值分別為0.920 6和0.908 5，異源圖像配準(zhǔn)后互信息值比配準(zhǔn)前互信息值平均提升了9.81%，植株冠層多光譜圖像能夠準(zhǔn)確配準(zhǔn)至深度坐標(biāo)系，番茄植株三維重建點(diǎn)云距離集小于0.6 cm的比例為78.39 %，小于1.0 cm的比例為91.13 %，番茄距離集均值的平均值為0.37 cm，表明植株三維點(diǎn)云模型重建精度較高，能夠應(yīng)用于溫室番茄植株多模態(tài)三維重建。植株多模態(tài)三維模型是實(shí)現(xiàn)三維形態(tài)測(cè)量與生理診斷的關(guān)鍵要素，為高通量植株表型測(cè)量提供高效精準(zhǔn)的測(cè)量方法，對(duì)植物表型組學(xué)等研究領(lǐng)域的發(fā)展具有重要的意義。

圖像重構(gòu)；三維；立體視覺(jué)；相位相關(guān)；多模態(tài)；多光譜；三維重建；溫室番茄；植物表型

0 引 言

植物信息是智能化設(shè)施園藝控制系統(tǒng)實(shí)現(xiàn)精準(zhǔn)控制的重要決策依據(jù)[1-3]，是植物表型組學(xué)研究的關(guān)鍵要素[4-5]。由于植物生長(zhǎng)信息不僅受遺傳因子的控制，而且受生長(zhǎng)環(huán)境的影響，導(dǎo)致植物外在三維幾何形態(tài)和內(nèi)在生理信息復(fù)雜各異[5]。傳統(tǒng)人工測(cè)量方式、有損測(cè)量方式以及低通量測(cè)量方式，均已無(wú)法滿足現(xiàn)代精準(zhǔn)農(nóng)業(yè)智能化管理和植物表型組學(xué)發(fā)展的需求，迫切需要研究高度集成、高通量、高精度的植物表型測(cè)量系統(tǒng)。

針對(duì)植物表型測(cè)量技術(shù)問(wèn)題，主要分為外在形態(tài)測(cè)量和內(nèi)在生理診斷，其中形態(tài)測(cè)量主要采用植物三維重建方法，通過(guò)三維模型計(jì)算幾何形態(tài)信息，生理診斷主要采用近紅外成像、紅外成像、光合熒光成像、多光譜成像、高光譜成像、CT成像等技術(shù)，結(jié)合診斷模型，實(shí)現(xiàn)植物生理診斷[1-2,6-8]。在植物三維重建方面，主要分為主動(dòng)式和被動(dòng)式[9]。主動(dòng)式重建方法是向待測(cè)物體發(fā)射可控制信號(hào)（激光、電磁波等），通過(guò)發(fā)射信號(hào)與返回信號(hào)的分析比較，獲得待測(cè)物體表面各點(diǎn)的深度信息，利用深度信息進(jìn)行建模，主要有基于激光測(cè)距法，如2D激光雷達(dá)[10]、3D激光雷達(dá)[11]；基于飛行時(shí)間法，如TOF相機(jī)[12]、Kinect相機(jī)[13]；結(jié)構(gòu)光法，主要有直接三角法和光柵相位法，如線激光[14]。被動(dòng)式重建方法是通過(guò)攝影測(cè)量方法，重建目標(biāo)表面三維結(jié)構(gòu)，主要有單目視覺(jué)[15]、雙目視覺(jué)[16]、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（structure from motion，SFM）[17]、空間雕刻[18]。這些方法的共同特點(diǎn)是單視角成像僅能獲取2D或2.5D圖像，所以植物三維重建需要多個(gè)視角圖像。植株形態(tài)復(fù)雜，在不同測(cè)量位姿和視角，植株點(diǎn)云模型配準(zhǔn)需要重復(fù)標(biāo)定或估計(jì)變換矩陣，如Kenta等采集50個(gè)視角下植株圖像，根據(jù)SFM原理，實(shí)現(xiàn)植物三維點(diǎn)云模型重建[19]，Zhang等采集24個(gè)視角下植株冠層圖像，建立植株三維點(diǎn)云模型[20]，視角數(shù)量過(guò)多直接影響了植株重建與測(cè)量效率。在植物生理診斷方面，主要以多波段二維光譜圖像特征構(gòu)建生理診斷模型，由于二維圖像僅為單個(gè)視角下成像特征，無(wú)法反映植物全部特征，并且無(wú)法反映具體生理特征分布與空間位置。在高通量植物表型測(cè)量需求下，研究一種三維點(diǎn)云與光譜信息深度融合的多模態(tài)三維重建方法，解決不同測(cè)量位姿、多視角下溫室植物多模態(tài)三維點(diǎn)云模型高速重建問(wèn)題，對(duì)高通量植物表型測(cè)量技術(shù)的發(fā)展具有重要的意義。

本研究將結(jié)合深度視覺(jué)技術(shù)和多光譜成像技術(shù)，以溫室番茄植株為研究對(duì)象，在同一成像室，同步采集每個(gè)植株4個(gè)視角RGB-D圖像和多光譜圖像，基于相位相關(guān)原理將植株多光譜反射率配準(zhǔn)至深度坐標(biāo)；根據(jù)Kinect傳感器測(cè)量位姿自主標(biāo)定，實(shí)現(xiàn)多視角點(diǎn)云坐標(biāo)系統(tǒng)一變換，實(shí)現(xiàn)多視角點(diǎn)云粗配準(zhǔn)，最后采用迭代最近點(diǎn)（iterative closest point，ICP）算法實(shí)現(xiàn)多視角點(diǎn)云精配準(zhǔn)，從而實(shí)現(xiàn)植株多模態(tài)三維重建，使得三維點(diǎn)云每個(gè)空間坐標(biāo)具有RGB信息和多光譜反射率信息，為植物表型高通量測(cè)量提供良好的技術(shù)支撐。

1 材料與方法

1.1 測(cè)量系統(tǒng)結(jié)構(gòu)與原理

基于相位相關(guān)的溫室番茄植株多模態(tài)三維重建系統(tǒng)，主要由成像室、LED光源、SOC710高光譜成像儀、Kinect傳感器、電動(dòng)旋臺(tái)、控制器和圖形工作站等組成，如圖1a所示。

1.SOC710高光譜成像儀 2.Kinect傳感器 3.三腳架 4.番茄植株 5.電動(dòng)旋臺(tái)

成像室采用鋁型材構(gòu)建，內(nèi)側(cè)尺寸長(zhǎng)為180 cm、寬120 cm、高160 cm，內(nèi)部側(cè)面和底面為白色啞光貼膜。LED光源由兩個(gè)6 400 K、70 W 的Philips光源組成。SOC710高光譜成像儀為內(nèi)置推掃方式，光譜范圍為400～1 000 nm，波段數(shù)為128，圖像分辨率為696 pixel×510 pixel，可設(shè)定采集波段。Kinect傳感器為2.0版本，由Color Camera和Depth Sensor等組成，彩色RGB圖像分辨率為1 920 pixel × 1 080 pixel，深度圖像分辨率為512 pixel × 424 pixel，幀率為30 幀/s，測(cè)量距離范圍為0.80～4.00 m。電動(dòng)旋臺(tái)長(zhǎng)度為31.4 cm，寬度為21.4 cm，高度為6 cm，旋臺(tái)圓盤直徑為20 cm，角度范圍為360 °，傳動(dòng)比180:1，驅(qū)動(dòng)機(jī)構(gòu)為渦輪和蝸桿機(jī)構(gòu)，驅(qū)動(dòng)電機(jī)為57BYG步進(jìn)電機(jī)，旋臺(tái)分辨率0.000 5°，定位精度0.01°。控制器為HW-36MT-3PG可編程控制器，36路I/0輸入輸出，其中輸入20路，輸出16路，內(nèi)置3路最高100 KHz PG帶加減速高速脈沖輸出，通信接口：RS232C。圖形工作站處理器為Intel(R) Xeon(R) E-2176M CPU @2.70 GHz，內(nèi)存容量為32G，NVIDIA Quadro P600 4G顯卡。系統(tǒng)控制軟件環(huán)境是Visual Studio 2015和Matlab 2017a混合編程。

如圖1b所示，為SOC710高光譜成像儀采集的光譜圖像（466.93 nm為例），如圖1c所示，為Kinect傳感器采集的RGB圖像，如圖1d所示，為Kinect傳感器采集的深度圖像，深度圖像每個(gè)像素的深度值參見(jiàn)顏色欄。

如圖2所示，溫室番茄植株多模態(tài)三維重建系統(tǒng)工作原理：第一步，初始化系統(tǒng)參數(shù)：主要包括SOC710高光譜成像儀特征波段選定、Kinect傳感器內(nèi)部參數(shù)主點(diǎn)坐標(biāo)（x，y）和焦距（x，y）、Kinect傳感器采集范圍（距離限制）、植株ROI區(qū)域行和寬的范圍（計(jì)算區(qū)域限制）、植株三維重建的視角數(shù)量N。第二步，Kinect位姿自主標(biāo)定：采集2個(gè)視角的電動(dòng)旋臺(tái)表面RGB-D圖像，根據(jù)顏色閾值識(shí)別出各個(gè)視角下旋臺(tái)表面的黃色和紅色標(biāo)定貼點(diǎn)云坐標(biāo)，計(jì)算標(biāo)定貼重心，并根據(jù)重心計(jì)算旋臺(tái)旋轉(zhuǎn)軸中心坐標(biāo)和法向量。第三步，多視角番茄植株RGB-D圖像和多光譜圖像采集：根據(jù)視角數(shù)量，逐次采集各個(gè)視角的植株RGB-D圖像和多光譜圖像，每個(gè)視角采集后，電動(dòng)旋臺(tái)旋轉(zhuǎn)360°/N。第四步，相位相關(guān)法光譜反射率配準(zhǔn)：基于相位相關(guān)原理，將SOC710成像儀采集的光譜圖像與Kinect傳感器采集的RGB圖像進(jìn)行配準(zhǔn)，計(jì)算出變換參數(shù)，多個(gè)通道的光譜反射率采用相同的變換參數(shù)，將光譜反射率映射至相應(yīng)的深度坐標(biāo)，形成三維數(shù)組，包含深度圖和多個(gè)波段的光譜反射率圖像。第五步，植株多模態(tài)三維重建：根據(jù)Kinect傳感器內(nèi)部參數(shù)，將各個(gè)視角RGB-D圖像轉(zhuǎn)換為三維點(diǎn)云；根據(jù)Kinect傳感器距離范圍和植株感興趣區(qū)域（region of interest，ROI）行寬范圍（ROI區(qū)域指去除其他背景區(qū)域的植株冠層區(qū)域），對(duì)三維點(diǎn)云進(jìn)行包圍盒預(yù)處理和離群點(diǎn)去除預(yù)處理；根據(jù)旋臺(tái)旋轉(zhuǎn)軸中心坐標(biāo)，對(duì)各個(gè)視角點(diǎn)云進(jìn)行位移變換，將旋臺(tái)旋轉(zhuǎn)軸中心點(diǎn)移至Kinect坐標(biāo)系原點(diǎn)（0，0，0），根據(jù)旋臺(tái)旋轉(zhuǎn)軸法向量，將各視角點(diǎn)云進(jìn)行旋轉(zhuǎn)變換，實(shí)現(xiàn)多視角點(diǎn)云坐標(biāo)系統(tǒng)一，然后對(duì)各視角點(diǎn)云逐次進(jìn)行ICP配準(zhǔn)，最后對(duì)三維點(diǎn)云進(jìn)行降采樣，完成植株三維重建。由于每個(gè)空間坐標(biāo)點(diǎn)包含了RGB值和各個(gè)波段的反射率值，所以在實(shí)現(xiàn)三維點(diǎn)云模型重建時(shí)，即實(shí)現(xiàn)了多模態(tài)三維點(diǎn)云模型重建。

1.2 相位相關(guān)法多模態(tài)圖像配準(zhǔn)

SOC710高光譜成像儀采集多光譜灰度圖像和反射率圖像，而Kinect傳感器采集RGB圖像和深度圖像，要實(shí)現(xiàn)番茄植株多模態(tài)三維重建，需要將植株的多光譜反射率對(duì)齊至深度坐標(biāo)，即每個(gè)三維空間坐標(biāo)包含RGB值和多光譜反射率。SOC710圖像和Kinect圖像之間主要存在位移、旋轉(zhuǎn)角度和縮放倍數(shù)變換問(wèn)題。本研究采用相位相關(guān)原理，將多光譜反射率配準(zhǔn)至深度坐標(biāo)。

圖2 溫室番茄植株多模態(tài)三維重建流程圖

相位相關(guān)法是基于傅里葉變換原理[21-22]，根據(jù)圖像的傅里葉頻譜（包含了模和相位信息，模包含圖像的灰度級(jí)信息，相位信息包含圖像的變化信息），計(jì)算圖像間的平移量、旋轉(zhuǎn)矩陣和縮放系數(shù)[23-24]。設(shè)Kinect傳感器圖像(，)和SOC710多光譜圖像(，)間的平移為(0，0)，即(，)=(?0，?0)，頻域關(guān)系如式（1）所示，2圖像的互功率譜如式（2）所示，互功率譜的相位信息包含兩圖像的相位差，通過(guò)互功率譜的傅里葉反變換，求得二維沖擊函數(shù)(?0，?0)，此函數(shù)在(0，0)處取得峰值，其余位置值接近為0，通過(guò)尋找峰值確定平移參數(shù)。

同時(shí)，SOC710成像儀和Kinect傳感器間存在旋轉(zhuǎn)和縮放關(guān)系，本研究通過(guò)傅里葉梅林變換把笛卡爾坐標(biāo)系中的旋轉(zhuǎn)縮放關(guān)系轉(zhuǎn)換為對(duì)數(shù)極坐標(biāo)下的平移關(guān)系。設(shè)(，)是由圖像(，)旋轉(zhuǎn)0，以及縮放系數(shù)為求得，根據(jù)傅里葉旋轉(zhuǎn)不變性和相似性，圖像存在旋轉(zhuǎn)關(guān)系式，如式（3）所示，其頻域旋轉(zhuǎn)關(guān)系式，如式（4）所示，把頻域坐標(biāo)映射到對(duì)數(shù)極坐標(biāo)空間，如式（5）所示，把旋轉(zhuǎn)和縮放變換表示成平移關(guān)系，可求得旋轉(zhuǎn)角0和縮放系數(shù)。

本研究首先根據(jù)相位相關(guān)法確定旋轉(zhuǎn)角0和縮放系數(shù)，然后變換圖像再采用相位相關(guān)法找到平移量(0，0)。各個(gè)波段光譜反射率圖像采用相同的變換參數(shù)，保持光譜反射率映射一致性。相位相關(guān)法光譜配準(zhǔn)后，將植株RGB圖像、深度圖像以及配準(zhǔn)后的多波段反射率圖像保存至三維數(shù)組中，為后續(xù)植株多模態(tài)三維重建奠定基礎(chǔ)。

1.3 多視角RGB-D圖像三維重建

本研究Kinect傳感器采集多視角單軸旋轉(zhuǎn)的番茄植株RGB-D圖像，建立多視角RGB-D圖像的自主配準(zhǔn)方法，解決多視角RGB-D圖像快速粗配準(zhǔn)問(wèn)題，并結(jié)合迭代最近點(diǎn)算法ICP進(jìn)行多視角點(diǎn)云的精配準(zhǔn)，實(shí)現(xiàn)植株三維點(diǎn)云高速重建，滿足植株表型周期性高通量測(cè)量需求，簡(jiǎn)化植株多模態(tài)三維重建的多視角點(diǎn)云模型配準(zhǔn)流程。

如圖3a所示，為電動(dòng)旋臺(tái)，旋臺(tái)上表面圓盤為藍(lán)色，表面貼有兩塊圓形標(biāo)定貼，分別為黃色標(biāo)定貼和紅色標(biāo)定貼，直徑分別為5 cm和5 cm。Kinect測(cè)量位姿自主標(biāo)定流程：采集旋臺(tái)RGB-D圖像，將RGB-D圖轉(zhuǎn)換為三維點(diǎn)云（包圍盒分割出旋臺(tái)區(qū)域），根據(jù)點(diǎn)云顏色閾值識(shí)別出黃色和紅色標(biāo)定貼區(qū)域點(diǎn)云坐標(biāo)，計(jì)算標(biāo)定貼點(diǎn)云坐標(biāo)的中心坐標(biāo)，如圖3b所示為0 °旋臺(tái)表面標(biāo)定貼識(shí)別結(jié)果，標(biāo)定貼中心坐標(biāo)分別為1和1，如圖3c所示為180°旋臺(tái)表面標(biāo)定貼識(shí)別結(jié)果，標(biāo)定貼中心坐標(biāo)分別為2和2；根據(jù)兩幅RGB-D圖像標(biāo)定貼中心坐標(biāo)，計(jì)算旋臺(tái)旋轉(zhuǎn)軸的中心坐標(biāo)為；如圖3d所示，根據(jù)兩幅RGB-D圖像的標(biāo)定貼中心坐標(biāo)和旋轉(zhuǎn)軸中心坐標(biāo)（0，0，0），計(jì)算旋臺(tái)旋轉(zhuǎn)軸的法向量，進(jìn)行歸一化處理得到旋轉(zhuǎn)軸法向量為（，，）。

多視角RGB-D圖像的配準(zhǔn)方法：第一步，根據(jù)Kinect傳感器內(nèi)部參數(shù)，將各個(gè)視角RGB-D圖像轉(zhuǎn)換為三維點(diǎn)云圖。第二步，采用包圍盒法，將各個(gè)視角點(diǎn)云的ROI分割出來(lái)，以減少后期點(diǎn)云配準(zhǔn)計(jì)算量。第三步，為多視角點(diǎn)云坐標(biāo)系統(tǒng)一，將各個(gè)視角點(diǎn)云PC進(jìn)行平移（0，0，0），將旋轉(zhuǎn)軸中心平移至Kinect坐標(biāo)系原點(diǎn)（0，0，0），然后將各個(gè)視角點(diǎn)云PC進(jìn)行旋轉(zhuǎn)操作，旋轉(zhuǎn)軸法向量旋轉(zhuǎn)至軸，如式（6）所示，最后根據(jù)各個(gè)視角實(shí)際旋臺(tái)角度，確定繞軸逆旋轉(zhuǎn)角度°，求得逆旋轉(zhuǎn)矩陣，如式（9）所示，各視角點(diǎn)云旋轉(zhuǎn)操作PC′×，求得坐標(biāo)系統(tǒng)一的點(diǎn)云PC″，其中初始角度點(diǎn)云1為參考點(diǎn)云，不需要進(jìn)行軸逆旋轉(zhuǎn)操作。第四步，為各視角點(diǎn)云PC″逐次進(jìn)行ICP配準(zhǔn)，即第一視角與相鄰的第二視角ICP精配準(zhǔn)，然后配準(zhǔn)結(jié)果與相鄰的第三視角ICP精配準(zhǔn)[25]，依次將所有視角點(diǎn)云進(jìn)行精配準(zhǔn)操作，得到植株三維點(diǎn)云模型。

注：Y1和R1分別為0°視角下黃色標(biāo)定貼和紅色標(biāo)定貼的中心坐標(biāo)，Y2和R2分別為180°視角下黃色標(biāo)定貼和紅色標(biāo)定貼的中心坐標(biāo)，M為旋轉(zhuǎn)軸中心坐標(biāo)，X，Y和Z分別為X，Y和Z軸向量，P為旋轉(zhuǎn)軸法向量，Rx*Rz為旋轉(zhuǎn)軸變換矩陣。

式中PC為第個(gè)視角點(diǎn)云，PC′為第個(gè)視角點(diǎn)云旋轉(zhuǎn)軸變換至軸后的點(diǎn)云；為旋轉(zhuǎn)軸在旋臺(tái)表面的中心坐標(biāo)；為繞軸旋轉(zhuǎn)矩陣；為繞軸旋轉(zhuǎn)矩陣；為繞軸旋轉(zhuǎn)矩陣；為各個(gè)視角點(diǎn)云相對(duì)于參考視角的旋轉(zhuǎn)角度；在本研究中以第一個(gè)采集視角為參考視角；（，，）為旋臺(tái)旋轉(zhuǎn)軸歸一化法向量。

根據(jù)1.2相位相關(guān)法得到配準(zhǔn)后的番茄植株多模態(tài)信息三維數(shù)組，在番茄植株三維點(diǎn)云重建過(guò)程，點(diǎn)云坐標(biāo)位移或旋轉(zhuǎn)等操作時(shí)，同時(shí)保存相應(yīng)位置的RGB信息和多波段光譜反射率信息，所以在植株三維點(diǎn)云模型重建完成時(shí)，各個(gè)空間坐標(biāo)具有對(duì)應(yīng)的RGB值和各個(gè)波段的光譜反射率值。

1.4 試驗(yàn)過(guò)程與評(píng)價(jià)指標(biāo)

為驗(yàn)證提出的多模態(tài)三維點(diǎn)云重建方法，選定番茄為測(cè)量對(duì)像，品種為粉冠一號(hào)，測(cè)量植株數(shù)量為30株。圖像采集方式：每個(gè)測(cè)量對(duì)象，Kinect傳感器采集4個(gè)視角RGB-D圖像，視角間隔為90°，4個(gè)視角（angle of view，AOV）分別用AOV1、AOV2、AOV3和AOV4表示；SOC710成像儀與Kinect傳感器同步采集4個(gè)視角的多光譜圖像，波段分別為466.93、564.91、696.32、722.94 nm（以番茄植株氮含量敏感特征波段為例）[6-7]。同時(shí)，采用Occipital公司的Structure sensor 3D掃描儀，人工掃描番茄植株三維點(diǎn)云。

通過(guò)上述相位相關(guān)法將SOC710多光譜圖像配準(zhǔn)至Kinect深度圖像區(qū)域，本研究采用歸一化灰度相似系數(shù)、配準(zhǔn)區(qū)域光譜重疊率、Kinect傳感器RGB圖像與SOC710成像儀RGB圖像的互信息值MI 3個(gè)參數(shù)[26]，客觀評(píng)價(jià)多模態(tài)圖像配準(zhǔn)質(zhì)量，計(jì)算公式如式（10～15）。本研究以掃描點(diǎn)云為依據(jù)，對(duì)重建三維點(diǎn)云特征點(diǎn)對(duì)齊預(yù)處理，根據(jù)Hausdorff距離集HD[27]，定量評(píng)價(jià)多光譜三維點(diǎn)云重建精度，如式（16），統(tǒng)計(jì)HD分布比例，并統(tǒng)計(jì)HD平均值HDavg、標(biāo)準(zhǔn)偏差HDstd和最大值HDmax三個(gè)參數(shù)，定量客觀評(píng)價(jià)三維點(diǎn)云重建精度。

式中為Kinect ROI配準(zhǔn)區(qū)域圖像；為SOC710配準(zhǔn)后圖像；(，)為圖像坐標(biāo)；為歸一化灰度相似系數(shù)；為配準(zhǔn)區(qū)域圖像行數(shù)；為配準(zhǔn)區(qū)域圖像列數(shù)；為ROI區(qū)域光譜重疊率，%；2為Kinect的ROI區(qū)域二值圖像；2為SOC710配準(zhǔn)后二值圖像；MI為圖像與MR的互信息值；()為圖像的信息熵；(MR)為圖像MR的信息熵；(，MR)為圖像和MR的聯(lián)合信息熵；p()為圖像在灰度級(jí)為時(shí)的概率；MR()為圖像在灰度級(jí)為時(shí)的概率；FMR(，)為圖像和MR在灰度級(jí)為和時(shí)的聯(lián)合概率；HD為重建點(diǎn)云與掃描點(diǎn)云最小距離集；RP為重建點(diǎn)集；MP為掃描點(diǎn)集；p為RP中的點(diǎn)；b為MP中的點(diǎn)。

2 結(jié)果與分析

2.1 相位相關(guān)法光譜反射率配準(zhǔn)與質(zhì)量評(píng)價(jià)

本研究根據(jù)相位相關(guān)法將多光譜反射率圖像配準(zhǔn)至Kinect深度圖像坐標(biāo)系，然后根據(jù)深度范圍篩選出番茄植株ROI區(qū)域（置空背景區(qū)域信息）。如圖4a和4b所示，分別為Kinect傳感器采集的植株ROI區(qū)域的灰度圖像和深度圖像（灰度值和深度值，如圖顏色欄所示，深度單位為mm）；如圖4c和4d所示，分別為SOC710高光譜成像儀采集的466.93 nm的反射率圖像和相位相關(guān)配準(zhǔn)后的反射率圖像，每個(gè)波段反射率圖像均采用相同相位相關(guān)變換參數(shù)，保持每個(gè)深度坐標(biāo)的多光譜反射率對(duì)應(yīng)；如圖4e、4f、4g和4h所示，分別為采用深度坐標(biāo)范圍篩選出植株ROI區(qū)域的466.93、564.91、696.32、722.94 nm的光譜反射率圖像（植株冠層ROI區(qū)域光譜反射率數(shù)值大小，如圖顏色欄所示）。相位相關(guān)配準(zhǔn)后，深度圖像每個(gè)坐標(biāo)具有RGB顏色信息和多波段光譜反射率信息。如圖4i所示，為配準(zhǔn)后的植株ROI區(qū)域多光譜灰度圖像與Kinect灰度圖像的差值圖像，并進(jìn)行歸一化處理（歸一化灰度差異大小，如圖顏色欄所示，數(shù)值越大代表灰度差異越大）。如圖4j所示，為配準(zhǔn)后的植株ROI區(qū)域多光譜灰度圖像與Kinect灰度圖像的二值交集圖像，采用黃色標(biāo)記出光譜反射率圖像與Kinect灰度圖像重疊區(qū)域，粉色標(biāo)記出未重疊區(qū)域。

圖4 相位相關(guān)法光譜反射率配準(zhǔn)結(jié)果

根據(jù)公式（10～15），計(jì)算Kinect傳感器和SOC710成像儀配準(zhǔn)后圖像間的歸一化灰度相似系數(shù)、配準(zhǔn)區(qū)域光譜重疊率、互信息值MI。

如圖5所示，為30株番茄的歸一化灰度相似系數(shù)。配準(zhǔn)質(zhì)量評(píng)價(jià)參數(shù)主要評(píng)價(jià)配準(zhǔn)后的圖像和Kinect圖像的灰度相似性，的范圍為0.853 7～0.946 5，的平均值為0.908 5，表明配準(zhǔn)后的圖像與Kinect圖像的灰度值非常相似，配準(zhǔn)后顏色對(duì)應(yīng)關(guān)系良好。因?yàn)槎嗖ǘ畏瓷渎蕡D像采用相同的變換參數(shù)，所以可以用評(píng)價(jià)反射率配準(zhǔn)質(zhì)量。本研究中產(chǎn)生灰度差異的原因主要是由SOC710傳感器與Kinect傳感器采集的圖像區(qū)域存在差異產(chǎn)生，如圖4所示，Kinect圖像區(qū)域大于SOC710成像區(qū)域?qū)е隆Ｓ捎谖覀冎饕P(guān)注植株冠層區(qū)域的反射率值，所以將大于SOC710成像區(qū)域的ROI區(qū)域反射率值置空。同時(shí)，在植株冠層葉面邊緣區(qū)域的灰度差異明顯，主要是由于SOC710配準(zhǔn)后圖像產(chǎn)生的形變導(dǎo)致。

如圖6所示，為30株番茄的ROI區(qū)域光譜重疊率。配準(zhǔn)質(zhì)量評(píng)價(jià)參數(shù)主要評(píng)價(jià)植株ROI區(qū)域的光譜覆蓋比例，的范圍為0.865 3～0.953 7，的平均值為0.920 6。ROI區(qū)域的植株冠層葉面全面覆蓋多光譜信息，同樣受到2個(gè)傳感器成像區(qū)域差異的影響，栽培盤下部沒(méi)有光譜反射率信息，這個(gè)問(wèn)題可以根據(jù)實(shí)際需要調(diào)整傳感器成像區(qū)域解決。

注：AOV1、AOV2、AOV3和AOV4分別為視角0°、90°、180°和270°，下同。

圖6 ROI區(qū)域光譜重疊率

如圖7所示，為SOC710高光譜儀采集的灰度圖像與Kinect傳感器采集的灰度圖像間的互信息值，配準(zhǔn)前和配準(zhǔn)后圖像間互信息值分別為MI_1和MI_2（植株4個(gè)視角的MI均值）。配準(zhǔn)質(zhì)量評(píng)價(jià)參數(shù)MI主要評(píng)價(jià)圖像相似度，統(tǒng)計(jì)數(shù)據(jù)表明：配準(zhǔn)前MI值范圍為1.071 3～1.143 3，均值為1.097 2；配準(zhǔn)后MI值范圍為1.165 2～1.236 9，均值為1.204 8，配準(zhǔn)后MI值平均提升了9.81%，表明配準(zhǔn)后圖像間相似度得到提高。

注：MI_1為配準(zhǔn)前圖像間的互信息值，MI_2配準(zhǔn)后圖像間的互信息值。

根據(jù)配準(zhǔn)質(zhì)量評(píng)價(jià)參數(shù)、和MI，相位相關(guān)法能夠?qū)⒍嗖ǘ喂庾V反射率配準(zhǔn)至Kinect深度坐標(biāo)中。由于Kinect傳感器受植株高度和寬幅影響，需要調(diào)整合適的測(cè)量距離，以保證足夠的測(cè)量精度，所以在確定Kinect傳感器測(cè)量位姿的基礎(chǔ)上，SOC710成像儀需要選擇合適的鏡頭參數(shù)，以滿足成像視角和距離的要求，保證兩套成像系統(tǒng)的測(cè)量區(qū)域合適，才能提高圖像配準(zhǔn)質(zhì)量。

2.2 番茄植株多模態(tài)三維點(diǎn)云重建與精度分析

通過(guò)相位相關(guān)法，得到各個(gè)視角下番茄植株的深度圖像、RGB圖像和配準(zhǔn)后的多波段光譜反射率圖像。根據(jù)1.3多視角RGB-D圖像三維重建方法，將深度圖像變換為三維點(diǎn)云圖，并進(jìn)行包圍盒選定ROI測(cè)量區(qū)域的三維點(diǎn)云，如圖8a、8b、8c和8d分別為AOV1、AOV2、AOV3和AOV4的三維點(diǎn)云圖，如圖8e為4個(gè)視角配準(zhǔn)后的三維點(diǎn)云圖。在配準(zhǔn)過(guò)程中，同時(shí)記錄每個(gè)三維點(diǎn)云坐標(biāo)的RGB值和多波段光譜反射率值，所以在多視角RGB-D三維點(diǎn)云重建完成時(shí)，得到RGB三維點(diǎn)云圖，如圖8f所示，以及各個(gè)波段的光譜反射率三維點(diǎn)云圖，如圖8g、8h、8i和8j分別為466.93、564.91、696.32和722.94 nm的光譜反射率三維點(diǎn)云圖。在本研究中未覆蓋到光譜反射值的三維坐標(biāo)中反射率值采取置空處理，如圖8g～8j所示，栽培盤體部分區(qū)域沒(méi)有反射值，但是植株冠層區(qū)域的點(diǎn)云坐標(biāo)均具有光譜反射率值，植株冠層點(diǎn)云的光譜反射率的數(shù)值大小，如圖顏色欄所示。

圖8 植株三維點(diǎn)云模型重建

為了驗(yàn)證本研究提出的多視角RGB-D三維點(diǎn)云重建方法，采用豪斯多夫距離集客觀評(píng)價(jià)三維點(diǎn)云重建精度[26]。如圖9所示，分5段統(tǒng)計(jì)距離集HD分布比例，分別為0 cm 1.0 cm，所占比例平均值分別為：36.49%、20.83%、21.07%、12.74%和8.87%。統(tǒng)計(jì)數(shù)據(jù)表明：重建點(diǎn)云與掃描點(diǎn)云的距離集HD小于0.6 cm的比例為78.39%，小于1.0 cm的比例為91.13%，僅8.87%的點(diǎn)云距離大于1.0 cm，表明多數(shù)重建三維點(diǎn)云坐標(biāo)的誤差小于0.6 cm，僅少量點(diǎn)云坐標(biāo)誤差偏離原來(lái)的坐標(biāo)位置。

同時(shí)，統(tǒng)計(jì)距離集HD性能參數(shù)：平均值HDavg、標(biāo)準(zhǔn)偏差HDstd和最大值HDmax。如圖10所示，HDavg范圍為0.23～0.59 cm，HDavg均值為0.37 cm；HDstd范圍為0.27～0.65 cm，HDstd均值為0.43 cm；HDmax范圍為2.75～5.90 cm，HDmax均值為4.15 cm。HDavg反映了重建點(diǎn)云整體的偏差距離，HDstd反映了重建點(diǎn)云偏差的離散程度，HDmax反映了重建點(diǎn)云的最大偏差距離，結(jié)果表明30株重建點(diǎn)云的HDavg均值為0.37 cm，表明重建的番茄三維點(diǎn)云精度比較高，提出的多視角三維點(diǎn)云重建方法，能夠應(yīng)用于番茄植株三維點(diǎn)云重建，但是仍然存在少量的噪點(diǎn)，主要由于植株為非剛性測(cè)量對(duì)象，在多視角重建時(shí)，植株莖稈和葉面的輕微搖晃將影響RGB-D數(shù)據(jù)的準(zhǔn)確性，對(duì)成像系統(tǒng)的數(shù)據(jù)采集控制要求非常高。

圖9 距離集HD分布比例

注：HDavg、HDstd和HDmax分別為HD距離集的平均值、標(biāo)準(zhǔn)偏差和最大值。

本研究提出的植株多模態(tài)三維重建方法，能夠適用于番茄植株多模態(tài)三維點(diǎn)云重建，但是不適用于非常細(xì)小植物三維重建（比如植物苗期）和莖稈非常柔軟的植物，因?yàn)槭艿終inect傳感器的精度限制，無(wú)法刻畫非常細(xì)小的植物莖稈，并且柔軟的植株莖稈在單軸旋轉(zhuǎn)時(shí)引起晃動(dòng)，將無(wú)法實(shí)現(xiàn)三維精確配準(zhǔn)。當(dāng)然，可以采用多視角同步采集方式，解決莖稈和葉面的晃動(dòng)引起的重建問(wèn)題，但是將極大的增加測(cè)量系統(tǒng)成本。

3 結(jié) 論

本研究采用相位相關(guān)原理實(shí)現(xiàn)二維多模態(tài)信息配準(zhǔn)，并建立多視角RGB-D圖像三維重建方法，實(shí)現(xiàn)番茄植株多模態(tài)三維重建，主要結(jié)論如下：

1）基于相位相關(guān)法將SOC710多光譜成像儀捕獲的多光譜反射率圖配準(zhǔn)至Kinect傳感器捕獲的RGB-D圖像坐標(biāo)系中，采用配準(zhǔn)區(qū)域光譜重疊率、歸一化灰度相似系數(shù)、互信息值MI三個(gè)指標(biāo)評(píng)價(jià)配準(zhǔn)質(zhì)量，結(jié)果表明：和的平均值分別為0.9206和0.9085，配準(zhǔn)后MI值平均提升了9.81 %，植株冠層多光譜反射率能夠準(zhǔn)確配準(zhǔn)至深度坐標(biāo)。

2）提出了一種基于Kinect測(cè)量位姿自主標(biāo)定的多視角RGB-D圖像三維重建方法，主要解決傳感器在不同測(cè)量位姿下多視角RGB-D圖像快速粗配準(zhǔn)問(wèn)題，采用豪斯多夫距離客觀評(píng)價(jià)三維點(diǎn)云重建精度，結(jié)果表明：重建點(diǎn)云與掃描點(diǎn)云的距離集HD小于0.6 cm的比例為78.39%，小于1.0 cm的比例為91.13%，30株番茄距離集均值HDavg的均值為0.37 cm，表明重建的番茄三維點(diǎn)云精度比較高，適用于溫室番茄植株三維重建。

3）提出的基于相位相關(guān)法的溫室植株多模態(tài)維重建方法，集成了傳統(tǒng)植株三維幾何形態(tài)測(cè)量系統(tǒng)和植株生理信息診斷系統(tǒng)，能夠在同一成像室完成植株外在形態(tài)和內(nèi)在生理信息診斷，為高通量植株表型測(cè)量提供精準(zhǔn)高效的測(cè)量方法，但在本研究中暫未討論植物形態(tài)信息和生理指標(biāo)的提取方法，后續(xù)研究將會(huì)著重解決該問(wèn)題，構(gòu)建植株表型提取方法，為該項(xiàng)技術(shù)推廣應(yīng)用提供便利。本研究提出的溫室番茄植株多模態(tài)三維重建系統(tǒng)，成本低、易于實(shí)現(xiàn)與推廣，具有良好的應(yīng)用前景。

[1] 何勇，彭繼宇，劉飛，等. 基于光譜和成像技術(shù)的作物養(yǎng)分生理信息快速檢測(cè)研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(3)：174－189.

He Yong, Peng Jiyu, Liu Fei, et al. Critical review of fast detection of crop nutrient and physiological information with spectral and imaging technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 174－189. (in Chinese with English abstract)

[2] 何勇，趙春江，吳迪，等. 作物-環(huán)境信息的快速獲取技術(shù)與傳感器儀器[J]. 中國(guó)科學(xué)：信息科學(xué)，2010，40(增刊)：1－20.

He Yong, Zhao Chunjiang, Wu Di, et al. Fast detection technique and sensor instruments for crop-environment information: A review[J]. Scientia Sinica: Informationis, 2010, 40(Supp.):1－20. (in Chinese with English abstract)

[3] 劉剛，司永勝，馮娟. 農(nóng)林作物三維重建方法研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(6)：38－46，19.

Liu Gang, Si Yongsheng, Feng Juan. 3D reconstruction of agriculture and forestry crops[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(6): 38－46, 19. (in Chinese with English abstract)

[4] 周濟(jì)，Tardieu F，Pridmore T，等. 植物表型組學(xué)：發(fā)展、現(xiàn)狀與挑戰(zhàn)[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2018，41(4)：580－588.

Zhou Ji, Tardieu F，Pridmore T, et al. Plant phenomics: history，present status and challenges[J]. Journal of Nanjing Agricultural University, 2018, 41(4): 580－588. (in Chinese with English abstract)

[5] 潘映紅. 論植物表型組和植物表型組學(xué)的概念與范疇[J]. 作物學(xué)報(bào)，2015，41(2)：175－186.

Pan Yinghong.Analysis of concepts and categories of plant phenome and phenomics[J]. Acta Agronomica Sinica, 2015, 41(2): 175－186. (in Chinese with English abstract)

[6] 劉紅玉，毛罕平，朱文靜，等. 基于高光譜的番茄氮磷鉀營(yíng)養(yǎng)水平快速診斷[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(增刊1)：212－220.

Liu Hongyu, Mao Hanping, Zhu Wenjing, et al. Rapid diagnosis of tomato N-P-K nutrition level based on hyperspectral technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(Supp.1): 212－220. (in Chinese with English abstract)

[7] 朱文靜，毛罕平，李青林，等. 偏振-高光譜多維光信息的番茄葉片營(yíng)養(yǎng)診斷[J]. 光譜學(xué)與光譜分析，2014，34(9)：2500－2505.

Zhu Wenjing, Mao Hanping, Li Qinglin, et al. Study on the polarized reflectance-hyperspectral information fusion technology of tomato leaves nutrient diagnoses[J]. Spectroscopy and Spectral Analysis, 2014, 34(9): 2500－2505. (in Chinese with English abstract)

[8] 孫紅，鄭濤，劉寧，等. 高光譜圖像檢測(cè)馬鈴薯植株葉綠素含量垂直分布[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(1)：149－156.

Sun Hong, Zheng Tao, Liu Ning, et al. Vertical distribution of chlorophyll in potato plants based on hyperspectral imaging[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(1): 149－156. (in Chinese with English abstract)

[9] 丁少聞，張小虎，于起峰，等. 非接觸式三維重建測(cè)量方法綜述[J]. 激光與光電子學(xué)進(jìn)展，2017，54(7)：070003.

Ding Shaowen, Zhang Xiaohu, Yu Qifeng, et al. Overview of non-contact 3D reconstruction measurement methods[J]. Laser & Optoelectronics progress, 2017, 54(7): 070003. (in Chinese with English abstract)

[10] 程曼，蔡振江，Ning Wang，等. 基于地面激光雷達(dá)的田間花生冠層高度測(cè)量系統(tǒng)研制[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(1)：180－187.

Cheng Man, Cai Zhenjiang, Ning Wang, et al. System design for peanut canopy height information acquisition based on LiDAR[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(1): 180－187. (in Chinese with English abstract)

[11] 郭慶華，吳芳芳，龐樹(shù)鑫，等. Crop 3D—基于激光雷達(dá)技術(shù)的作物高通量三維表型測(cè)量平臺(tái)[J]. 中國(guó)科學(xué)：生命科學(xué)，2016，46(10)：1210－1221.

Guo Qinghua, Wu Fangfang, Pang Shuxin, et al. Crop 3D: a platform based on LiDAR for 3D high-throughput crop phenotyping[J]. Scientia Sinica Vitae, 2016, 46(10): 1210－1221. (in Chinese with English abstract)

[12] 劉剛，張雪，宗澤，等. 基于深度信息的草莓三維重建技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(4)：160－165，172.

Liu Gang, Zhang Xue, Zong Ze, et al. 3D reconstruction of strawberry based on depth information[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(4): 160－165, 172. (in Chinese with English abstract)

[13] Li J, Tang L. Developing a low-cost 3D plant morphological traits characterization system[J]. Computers and Electronics in Agriculture, 2017, 143(12): 1－13.

[14] 張瑜，汪小旵，孫國(guó)祥，等. 基于激光視覺(jué)的溫室作物莖葉量測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(9)：254－259.

Zhang Yu, Wang Xiaochan, Sun Guoxiang, et al. Leaves and stems measurement of plants based on laser vision in greenhouses[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 254－259. (in Chinese with English abstract)

[15] 孫國(guó)祥，汪小旵，閆婷婷，等. 基于機(jī)器視覺(jué)的植物群體生長(zhǎng)參數(shù)反演方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(20)：187－195.

Sun Guoxiang, Wang Xiaochan, Yan Tingting, et al. Inversion method of flora growth parameters based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(20): 187－195. (in Chinese with English abstract)

[16] 王傳宇，郭新宇，吳升，等. 基于計(jì)算機(jī)視覺(jué)的玉米果穗三維重建方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(9)：274－279.

Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Three dimensional reconstruction of maize ear based on computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 274－279. (in Chinese with English abstract)

[17] Sylvain Jay, Gilles Rabatel, Xavier Hadoux, et al. In-field crop row phenotyping from 3D modeling performed using structure from motion[J]. Computers and Electronics in Agriculture, 2015, 110(1): 70－77.

[18] Han Tsunghan, Kuo Yanfu. Developing a system for three-dimensional quantification of root traits of rice seedlings[J]. Computers and Electronics in Agriculture, 2018, 152(9): 90－100.

[19] Kenta I, Itchoku K, Fumiki H. Three-dimensional monitoring of plant structural parameters and chlorophyll distribution[J]. Sensors, 2019, 19(2): 413.

[20] Zhang Jian, Li Yong, Xie Jing, et al. Research on optimal near-infrared band selection of chlorophyll (SPAD)3D distribution about rice plant[J]. Spectroscopy and Spectral Analysis, 2017, 37(12): 3749－3757.

[21] 劉晨，劉后標(biāo)，賈可，等. 基于相位相關(guān)法的實(shí)時(shí)模板定位方法[J]. 計(jì)算機(jī)應(yīng)用，2015，35(S1)：252－254.

Liu Chen, Liu Houbiao, Jia Ke, et al. Real-time and robust pattern localization for phase correlation[J]. Journal of Computer Applications, 2015, 35(S1): 252－254. (in Chinese with English abstract)

[22] Henke M, Junker A, Neumann K, et al. Automated alignment of multi-modal plant images using integrative phase correlation approach[J]. Frontiers in Plant Science, 2018, 9(10):1519.

[23] 劉波，朱偉興，紀(jì)濱，等. 基于射線輪廓點(diǎn)匹配的生豬紅外與可見(jiàn)光圖像自動(dòng)配準(zhǔn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(2)：153－160.

Liu Bo, Zhu Weixing, Ji Bin, et al. Automatic registration of IR and optical pig images based on contour match of radial line feature points[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(2): 153－160. (in Chinese with English abstract)

[24] 馮娟，劉剛，王圣偉，等. 采摘機(jī)器人果實(shí)識(shí)別的多源圖像配準(zhǔn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(3)：197－203.

Feng Juan, Liu Gang, Wang Shengwei, et al. Multi-source images registration for harvesting robot to recognize fruits[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(3): 197－203. (in Chinese with English abstract)

[25] Mai Chunyan, Zheng Lihua, Li Minzan. Rapid 3D reconstruction of fruit tree based on point cloud registration[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(Supp.2): 137－144.

[26] 蔣煜. 基于特征的多模態(tài)圖像自動(dòng)配準(zhǔn)算法研究[D]. 武漢：華中科技大學(xué)，2005.

Jiang Yu. Research on Feature-based Multimodal Automatic Image Registration[D]. Wuhan: Huazhong University of Science and Technology, 2005. (in Chinese with English abstract)

[27] 胡鵬程，郭焱，李保國(guó)，等. 基于多視角立體視覺(jué)的植株三維重建與精度評(píng)估[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(11)：209－214.

Hu Pengcheng, Guo Yan, Li Baoguo, et al. Three-dimensional reconstruction and its precision evaluation of plant architecture based on multiple view stereo method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(11): 209－214. (in Chinese with English abstract)

Multi-modal three-dimensional reconstruction of greenhouse tomato plants based on phase-correlation method

Sun Guoxiang1,2, Wang Xiaochan1,2, Liu Jingna1, Sun Ye1, Ding Yongqian1,2, Lu Wei1,2

(1.,,210031,; 2.,210031,)

In order to realize plant morphological measurement and physiological diagnosis, a multi-modal three-dimensional (3D) reconstruction method was proposed. This reconstruction method further laid the foundation for plant phenotypic measurement. Due to the complexity of 3D geometric morphologies, only two or two-and-a-half-dimensional images of greenhouse plants can be captured at a single angle of view (AOV) by the imaging sensors. However, 3D point cloud reconstruction of plants requires images captured at multiple AOVs. In addition, the 3D geometric morphologies of plants undergo significant changes during the full-growth-cycle and to acquire suitable 3D plant images, it is necessary to frequently adjust the sensor position. Therefore, sensor position and AOV directly affect the plant phenotyping efficiency. Developing an efficient and accurate multi-view 3D point cloud reconstruction method that meets the need for full-growth-cycle, high-throughput 3D reconstruction and phenotyping of greenhouse plants is therefore pivotal to the development of high-throughput plant phenotyping techniques. So a multi-modal three-dimensional reconstruction method of greenhouse tomato plants under different measurement positions and angles was proposed, and to solve the problem of multi-spectral reflectance mapping and multi-view point cloud 3D reconstruction, multi-spectral reflectance images were registered to RGB-D image coordinate system by phase-correlation method, and a multi-view RGB-D image 3D reconstruction method based on self-calibration of the Kinect sensor was established which realized the reconstruction of RGB 3D point cloud model and multi-spectral reflectance3D point cloud model of the plants. The two-dimensional multi-spectral image registration quality was evaluated objectively by the normalizing gray-scale similarity coefficient, the spectral overlap rate in the region of interest (ROI), and the mutual information valueand the Hausdorff distance HD was applied to objectively evaluate the reconstruction accuracy of the three-dimensional point cloud reconstruction of the plant. In total, 30 greenhouse tomato plants were used in this study with each plant reconstructed from four angles of view at angle intervals of 90 degrees. The obtained results showed that the average values ofandwere 0.920 6 and 0.908 5, respectively. After registration, the mutual information value increased by 9.81 % and the canopy multi-spectral images could be registered accurately to the depth coordinate system. The ratio of the HD distance set of reconstruction point cloud less than 0.6 cm was 78.39 %, the ratio of less than 1.0 cm was 91.13%, and the mean value of the tomato distance ensemble HDavgwas 0.37 cm, depicting that the tomato plant 3D point cloud model had high reconstruction accuracy and could be applied to multi-modal 3D reconstruction of greenhouse tomato plants. This research integrated the traditional 3D geometric morphology measurement system and plant physiological information diagnosis system, and as such the external morphology and internal physiological information of the plants could be measured in the same imaging room. It provides a precise and efficient measurement method for high-throughput plant phenotypic measurement, and is of great significance to the development of modern intelligent facility horticultural management and plant phenomics.

image reconstruction; three dimensional; stereo vision; phase correlation; multi-modal; multi-spectral; three-dimensional reconstruction; greenhouse tomato; plant phenotypic

孫國(guó)祥，汪小旵，劉景娜，孫 曄，丁永前，盧 偉. 基于相位相關(guān)的溫室番茄植株多模態(tài)三維重建方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(18)：134－142.doi：10.11975/j.issn.1002-6819.2019.18.017 http://www.tcsae.org

Sun Guoxiang, Wang Xiaochan, Liu Jingna, Sun Ye, Ding Yongqian, Lu Wei. Multi-modal three-dimensional reconstruction of greenhouse tomato plants based on phase-correlation method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 134－142. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.18.017 http://www.tcsae.org

2019-04-02

2019-08-17

江蘇省自然科學(xué)基金資助項(xiàng)目(BK20170727)；中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助（KYGX201703）；江蘇省自然科學(xué)基金資助項(xiàng)目（BK20181315）

孫國(guó)祥，副教授，博士，主要從事高通量植物表型測(cè)量研究。Email：sguoxiang@njau. edu.cn

10.11975/j.issn.1002-6819.2019.18.017

TP391.4

A

1002-6819(2019)-18-0134-09