基于機(jī)器視覺(jué)的農(nóng)作物植株器官分離方法

郭樹(shù)濤

（青島浩謙信息科技有限公司，山東 青島 266000）

目前植株的三維掃描與測(cè)量都是直接使用點(diǎn)云數(shù)據(jù)，利用圖像軟件建模，很少對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行分類識(shí)別，實(shí)現(xiàn)植物器官分離。根據(jù)相關(guān)學(xué)者的調(diào)研，迄今為止，尚未出現(xiàn)一種行之有效的植物點(diǎn)云數(shù)據(jù)分類方法。現(xiàn)有文獻(xiàn)就此問(wèn)題的分析主要集中于以下幾方面：分別以樹(shù)冠、枝干、地面為目標(biāo)的分類方法，主要適用于大范圍景物識(shí)別，無(wú)法實(shí)現(xiàn)單木精細(xì)植物器官分類；構(gòu)造散點(diǎn)空間分布特征，使用支持向量機(jī)（Support vector machine，SVM）對(duì)葡萄藤的植物結(jié)構(gòu)進(jìn)行了分類，但并沒(méi)有充分考慮葉面與枝干的幾何形態(tài)特性；結(jié)合葉面與枝干的幾何形態(tài)特點(diǎn)，考慮流形結(jié)構(gòu)特性，構(gòu)造局部切平面分布特征，從而組成多維融合特征，以期提高分類效果，但使用方法并沒(méi)有實(shí)現(xiàn)全自動(dòng)化枝葉分離，前期仍需人工標(biāo)記部分訓(xùn)練樣本，而且訓(xùn)練樣本的標(biāo)定在一定程度上受到人為因素制約。

本文在上述工作基礎(chǔ)上，基于多攝像機(jī)線結(jié)構(gòu)光集成的三維重建系統(tǒng)進(jìn)行農(nóng)作物植株重建，并基于重建點(diǎn)云進(jìn)行農(nóng)作物植株器官分離。文本方法具體流程如下：首先，將農(nóng)作物植株三維點(diǎn)云投影至二維平面形成投影圖像，并用農(nóng)作物圖像區(qū)域分割模型檢測(cè)二維圖像中農(nóng)作物植株莖干和葉片區(qū)域；其次，根據(jù)二維投影圖像與三維點(diǎn)云對(duì)應(yīng)關(guān)系獲取莖干和葉片的大致三維點(diǎn)云區(qū)域；最后，根據(jù)莖干點(diǎn)云區(qū)域和K均值聚類算法實(shí)現(xiàn)植株的器官分離。

1 材料與方法

1.1 試驗(yàn)系統(tǒng)介紹

基于多攝像機(jī)線結(jié)構(gòu)光集成的農(nóng)作物植株重建系統(tǒng)由3個(gè)CCD工業(yè)相機(jī)、3個(gè)濾光片、2個(gè)線性激光發(fā)射器、測(cè)試機(jī)架、測(cè)試平臺(tái)、一臺(tái)計(jì)算機(jī)組成，圖1所示為該系統(tǒng)局部。

圖1 農(nóng)作物植株重建系統(tǒng)（局部）

本文采用大恒圖像公司型號(hào)為MER-500-14GC-P的攝像機(jī)和型號(hào)為L(zhǎng)M3NCM的鏡頭，采用532nm波長(zhǎng)綠色光源的線性激光器。由于綠色葉片在紅光和藍(lán)光波段有吸收峰，所以我們選擇綠光激光器進(jìn)行激光掃描，且為了增強(qiáng)激光條紋的對(duì)比度，以獲得更高的精度，我們?cè)诿總€(gè)相機(jī)的鏡頭上加上了中心波長(zhǎng)為532nm的窄帶濾光片。

將線性激光器與攝像機(jī)固定為掃描探頭，相對(duì)位置始終保持不變，等間距分別固定安裝在機(jī)架3個(gè)位置。2臺(tái)激光器發(fā)出的線性激光保持在同一平面且平行于測(cè)試平臺(tái)，相機(jī)向下傾斜與激光器保持固定角度。機(jī)架與運(yùn)動(dòng)卡連接，步進(jìn)電機(jī)與運(yùn)動(dòng)卡連接，通過(guò)IabVIEW編程控制實(shí)現(xiàn)機(jī)架上下運(yùn)動(dòng)。

系統(tǒng)啟動(dòng)后，步進(jìn)電機(jī)控制機(jī)架和掃描探頭從上到下勻速進(jìn)行掃描時(shí)，線性激光器投射激光條紋至待測(cè)植株表面，3部攝像機(jī)通過(guò)信號(hào)發(fā)生器實(shí)現(xiàn)圖像同步采集，采集所得圖像數(shù)據(jù)通過(guò)網(wǎng)卡送入計(jì)算機(jī)進(jìn)行實(shí)時(shí)三維重建，待掃描探頭從上掃描至最下端時(shí)完成整個(gè)農(nóng)作物植株的三維重建與器官點(diǎn)云分離。

1.2 全局校準(zhǔn)

對(duì)于多攝像機(jī)的重建系統(tǒng)，單個(gè)攝像機(jī)坐標(biāo)系之間彼此獨(dú)立，因此需要利用全局校準(zhǔn)方法將每個(gè)攝像機(jī)的局部坐標(biāo)系統(tǒng)一到全局坐標(biāo)系下，即確定各個(gè)攝像機(jī)坐標(biāo)系到全局坐標(biāo)系的旋轉(zhuǎn)矩陣及平移矩陣。

本系統(tǒng)安裝了3組掃描探頭，利用攝像機(jī)標(biāo)定方法和線結(jié)構(gòu)光激光條紋圖像重建每個(gè)攝像頭視角下的植株三維點(diǎn)云。為了將獲取的三維點(diǎn)云能夠有機(jī)拼接起來(lái)，將1號(hào)攝像機(jī)坐標(biāo)系作為基準(zhǔn)坐標(biāo)系，然后將其他攝像機(jī)坐標(biāo)系全局校準(zhǔn)至基準(zhǔn)坐標(biāo)系下。全局校準(zhǔn)就是計(jì)算其他攝像機(jī)坐標(biāo)系到基準(zhǔn)坐標(biāo)系的旋轉(zhuǎn)平移矩陣。各攝像機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系為：

其中：Rn為兩個(gè)相機(jī)之間的3×3旋轉(zhuǎn)矩陣；Tn為兩個(gè)相機(jī)之間的3×1平移向量。

利用等式（1）通過(guò)計(jì)算兩兩攝像機(jī)之間的旋轉(zhuǎn)平移矩陣，確定所有的攝像機(jī)坐標(biāo)系到基準(zhǔn)坐標(biāo)系之間的旋轉(zhuǎn)平移矩陣，則可將各個(gè)相機(jī)下得到的三維點(diǎn)云數(shù)據(jù)進(jìn)行統(tǒng)一。

1.3 農(nóng)作物植株三維重建

1.3.1 農(nóng)作物植株三維點(diǎn)云獲取

采用基于光條骨架的灰度重心法提取光條中心，并利用每個(gè)攝像機(jī)標(biāo)定參數(shù)，則可獲取每個(gè)攝像機(jī)視角下的三維點(diǎn)云，然后利用全局校準(zhǔn)方法將所有三維點(diǎn)云調(diào)整至統(tǒng)一坐標(biāo)系下，完成三維點(diǎn)云的拼接，得到初始的植株三維點(diǎn)云。

農(nóng)作物植株掃描采集現(xiàn)場(chǎng)及獲取的點(diǎn)云結(jié)果如圖2所示，從圖中可以看出，系統(tǒng)能夠完好重建整個(gè)農(nóng)作物植株表面模型。

圖2 掃描工作現(xiàn)場(chǎng)及掃描點(diǎn)云數(shù)據(jù)

1.3.2 點(diǎn)云去噪

基于多攝像機(jī)線結(jié)構(gòu)光集成方法進(jìn)行圖像采集，利用全局校準(zhǔn)方法完成點(diǎn)云拼接，一定程度上會(huì)造成拼接部分有點(diǎn)云數(shù)據(jù)冗余問(wèn)題。為此，本文利用前人已經(jīng)給出的較好的解決方法，對(duì)已拼接完成的三維點(diǎn)云進(jìn)行內(nèi)部高頻點(diǎn)云去除。一方面避免后續(xù)三角構(gòu)網(wǎng)過(guò)程中出現(xiàn)錯(cuò)誤，提高了三維重建的精度；另一方面減少了三維點(diǎn)云的數(shù)據(jù)量，提高了運(yùn)算時(shí)間。點(diǎn)云去噪效果如圖3所示，從圖中可以看出，拼接部分的離散高頻點(diǎn)云變得精簡(jiǎn)有序。

圖3 點(diǎn)云去噪效果

1.4 農(nóng)作物植株器官分離

利用本系統(tǒng)掃描重建農(nóng)作物植株后，需要進(jìn)行農(nóng)作物植株器官點(diǎn)云分離。具體的農(nóng)作物植株器官點(diǎn)云分離方法如下：首先，將獲取的植株三維點(diǎn)云投影至YOZ平面，形成農(nóng)作物植株二維投影點(diǎn)，并利用三角構(gòu)網(wǎng)和光照處理構(gòu)建二維植株圖像；其次，利用農(nóng)作物植株圖像區(qū)域分割模型定位二維植株圖像的莖干和葉片區(qū)域；再次，利用三維點(diǎn)與投影點(diǎn)的投影關(guān)系得到莖干和葉片點(diǎn)云大致區(qū)域；最后，利用K均值聚類算法實(shí)現(xiàn)植物各器官點(diǎn)云分割。農(nóng)作物植株器官分離方法流程如圖4所示。

圖4 農(nóng)作物植株器官分離方法

1.4.1 圖像分割模型

（1）三維農(nóng)作物植株模型樣本收集

首先，收集50株不同生長(zhǎng)周期和形態(tài)的農(nóng)作物植株；其次，利用本系統(tǒng)分別對(duì)50株農(nóng)作物植株掃描重建；再次，分別以50株三維模型作為輸入，利用基于基因表達(dá)式編程的植物形態(tài)建模智能化方法對(duì)初始農(nóng)作物植株進(jìn)化100代并模擬出優(yōu)良個(gè)體農(nóng)作物植株三維模型，整個(gè)三維農(nóng)作物植株模擬模型數(shù)據(jù)量為3951個(gè)；最后，將50株初始三維模型和模擬完成的農(nóng)作物植株三維模型進(jìn)行收集，整個(gè)農(nóng)作物植株三維模型樣本共計(jì)4001個(gè)。

為了獲取更多樣本，對(duì)上述收集樣本全部對(duì)齊至全局校準(zhǔn)坐標(biāo)系下，然后在坐標(biāo)系下對(duì)每個(gè)農(nóng)作物植株模型進(jìn)行輕微擾動(dòng)5次，以達(dá)到樣本擴(kuò)充的目的。其中模型輕微擾動(dòng)是指以模型質(zhì)心為中心隨機(jī)旋轉(zhuǎn)、縮放和移動(dòng)，旋轉(zhuǎn)角度范圍是0-5°，縮放大小范圍是原始模型尺寸的0.9-1.1倍，移動(dòng)范圍0-0.1×L，L是整個(gè)模型包圍盒最短邊長(zhǎng)度。

所有樣本收集完畢后，共計(jì)20005個(gè)。將樣本分成兩部分，一部分為90%樣本，用于后續(xù)生成二維莖干區(qū)域的訓(xùn)練樣本，一部分為10%樣本，用于后續(xù)生成二維莖干區(qū)域檢測(cè)的測(cè)試樣本和最終器官分離的精度評(píng)估樣本。

本文基于基因表達(dá)式編程的農(nóng)作物植物形態(tài)建模智能化方法流程，如圖5所示。

圖5 基于基因表達(dá)式編程的農(nóng)作物植物形態(tài)建模智能化方法

對(duì)初始種群進(jìn)化100代后，得到的部分優(yōu)良個(gè)體如圖6b所示。從圖中可以看出，該算法能夠較真實(shí)地模擬農(nóng)作物植物的三維形態(tài)。

圖6 真實(shí)農(nóng)作物植株及部分仿真農(nóng)作物植株圖形

（2）樣本標(biāo)注

將所有三維模型的三維點(diǎn)云投影至全局?jǐn)z像機(jī)坐標(biāo)系的YOZ面，形成二維投影點(diǎn)，并對(duì)二維投影點(diǎn)進(jìn)行三角構(gòu)網(wǎng)和光照處理形成二維農(nóng)作物植株圖像；最后，利用labelme標(biāo)注工具對(duì)每一幅二維農(nóng)作物植株投影圖像的莖干區(qū)域和葉片區(qū)域進(jìn)行標(biāo)注。三維點(diǎn)云投影圖以及二維投影圖標(biāo)注效果，如圖7所示。

圖7 真實(shí)農(nóng)作物植株及部分仿真農(nóng)作物植株圖形

（3）二維莖葉檢測(cè)模型

本文采用Mask-RCNN深度學(xué)習(xí)方法進(jìn)行莖干區(qū)域檢測(cè)模型訓(xùn)練，其主要流程如下：首先，輸入農(nóng)作物莖干訓(xùn)練樣本和加載在COCO數(shù)據(jù)集上的預(yù)訓(xùn)練模型；其次，利用遷移學(xué)習(xí)方法進(jìn)行農(nóng)作物圖像莖葉區(qū)域分割模型微調(diào)。農(nóng)作物圖像區(qū)域分割模型訓(xùn)練流程，如圖8所示。

圖8 模型訓(xùn)練流程

1.4.2 三維器官分割

首先，將重建的農(nóng)作物植株三維模型投影至YOZ平面，利用三角構(gòu)網(wǎng)和光照處理構(gòu)建二維植株圖像；其次，根據(jù)準(zhǔn)備好的莖干檢測(cè)模型，進(jìn)行二維農(nóng)作物植株圖像區(qū)域分割；再次，利用檢測(cè)莖葉區(qū)域限制信息和二維點(diǎn)與三維點(diǎn)的投影關(guān)系，反向計(jì)算三維模型中植株莖干和葉片點(diǎn)云區(qū)域；最后，利用K均值聚類算法實(shí)現(xiàn)三維各個(gè)器官點(diǎn)云的分離，并對(duì)每個(gè)三維點(diǎn)分類標(biāo)記，標(biāo)記信息包括索引和顏色。如圖9所示。

圖9 器官點(diǎn)云分割及人工標(biāo)注

2 結(jié)果與分析

估計(jì)樣本生成過(guò)程如下：利用農(nóng)作物植株器官分離方法對(duì)每個(gè)評(píng)估樣本三維點(diǎn)云數(shù)據(jù)進(jìn)行測(cè)試，每個(gè)樹(shù)葉和枝干器官點(diǎn)云數(shù)據(jù)生成類別標(biāo)號(hào)，其可視化效果如圖9a所示。

真值樣本具體生成過(guò)程如下：首先，利用Cyclone軟件對(duì)農(nóng)作物植株模型評(píng)估樣本進(jìn)行人工切割；其次，對(duì)評(píng)估樣本的每個(gè)樹(shù)葉和枝干器官點(diǎn)云數(shù)據(jù)進(jìn)行類別標(biāo)號(hào)，并與估計(jì)樣本的器官點(diǎn)云索引號(hào)保持一致，如圖9b所示，本文評(píng)估器官分離精度的方法是采用點(diǎn)云分類準(zhǔn)確率來(lái)評(píng)判器官分離質(zhì)量。將估計(jì)樣本與真值樣本進(jìn)行比對(duì)，計(jì)算點(diǎn)云分類準(zhǔn)確率，用以評(píng)估器官分離質(zhì)量。

為方便統(tǒng)計(jì)，本文將一株農(nóng)作物植物器官點(diǎn)云分類正確率分為三類統(tǒng)計(jì)，第一類是所有葉片器官點(diǎn)云分類的平均正確率，第二類是莖干器官點(diǎn)云分類正確率，第三類是每株農(nóng)作物植物點(diǎn)云分類正確率，如圖10所示。

圖10 農(nóng)作物植株器官點(diǎn)云分類正確率

由試驗(yàn)測(cè)試結(jié)果可知，本文所提出的農(nóng)作物植株器官點(diǎn)云分離方法具有較好的處理效果，莖干器官點(diǎn)云和葉片器官點(diǎn)云分類準(zhǔn)確率都達(dá)到95%以上，每株農(nóng)作物植物器官點(diǎn)云分類準(zhǔn)確率達(dá)到94.7%以上。此外，從評(píng)估樣本測(cè)試精度曲線看出整個(gè)點(diǎn)云分類準(zhǔn)確率保持著穩(wěn)定趨勢(shì)。本文農(nóng)作物植株三維重建處理約為60s，農(nóng)作物器官點(diǎn)云分離的處理時(shí)間約為3s。

3 結(jié)論

針對(duì)農(nóng)作物植株器官表型參數(shù)快速測(cè)量的需求，本文提出一種基于農(nóng)作物植株三維點(diǎn)云的器官分離方法。首先，利用多攝像機(jī)線結(jié)構(gòu)光集成掃描重建農(nóng)作物植株的三維模型，并將三維模型投影生成二維投影圖像進(jìn)行莖干和葉片區(qū)域精細(xì)分割；其次，根據(jù)二維投影圖與三維點(diǎn)云對(duì)應(yīng)關(guān)系計(jì)算三維莖干和葉片分割區(qū)域；最后，根據(jù)點(diǎn)云聚類分析進(jìn)行器官點(diǎn)云分離。與目前各類點(diǎn)云數(shù)據(jù)分割方法相比，本文提出的方法能夠更為有效地對(duì)植物不同器官的點(diǎn)云數(shù)據(jù)進(jìn)行分割。

本文存在的不足之處：本文基于有監(jiān)督學(xué)習(xí)的莖干區(qū)域檢測(cè)方法，一方面，仍需人工標(biāo)記訓(xùn)練樣本，人工標(biāo)記的準(zhǔn)確與否會(huì)直接影響到分類器性能；另一方面，基于深度學(xué)習(xí)方法訓(xùn)練需要大量真實(shí)樣本，所以需要進(jìn)一步優(yōu)化模擬形態(tài)各異的農(nóng)作物植株三維模型。這都是后續(xù)研究中需要改進(jìn)和克服的問(wèn)題。