基于SegNet與三維點(diǎn)云聚類的大田楊樹(shù)苗葉片分割方法

胡春華 劉 炫 計(jì)銘杰 李羽江 李萍萍

(1.南京林業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院，南京 210037；2.南京林業(yè)大學(xué)生物與環(huán)境學(xué)院，南京 210037)

0 引言

為了更好地培育出優(yōu)質(zhì)的楊樹(shù)苗，對(duì)于楊樹(shù)苗的生長(zhǎng)狀態(tài)監(jiān)測(cè)具有較大的研究意義，楊樹(shù)苗葉能反映楊樹(shù)苗的生長(zhǎng)狀態(tài)，遠(yuǎn)程無(wú)接觸測(cè)量其表型特征對(duì)楊樹(shù)苗的生長(zhǎng)監(jiān)控具有重要意義。對(duì)于大田楊樹(shù)苗，為準(zhǔn)確測(cè)量楊樹(shù)葉表型特征參數(shù)，楊樹(shù)葉的準(zhǔn)確分割是前提。目前遠(yuǎn)程測(cè)量植物幾何表型參數(shù)的手段中，大多基于二維彩色圖像、基于RGB-D、基于飛行時(shí)間法(Time of flight，ToF)以及基于點(diǎn)云數(shù)據(jù)等。

雖然目前基于二維彩色圖像的植物葉分割方法較成熟[1]，但大多數(shù)基于顏色的檢測(cè)方法只有在圖像顏色特征明顯、圖像背景簡(jiǎn)單的情況下才能取得更好的效果。當(dāng)植物葉與背景的顏色相近以及葉重疊較多時(shí)，僅使用RGB圖像很難檢測(cè)單個(gè)植物葉。基于地面激光雷達(dá)在大田場(chǎng)景中采集植物[2-3]數(shù)據(jù)，該方法一般應(yīng)用于范圍較大的數(shù)據(jù)采集，價(jià)格昂貴。一些研究者采用基于SfM[4](Structure from motion)與MVS(Multi-view stereo)的三維重建方式用來(lái)獲取植物整體的三維數(shù)據(jù)[5-6]。ROSE等[6]使用SfM與MVS算法對(duì)番茄圖像進(jìn)行三維重建，計(jì)算番茄的葉面積。ITAKURA等[7]對(duì)重建的植物三維點(diǎn)云基于分水嶺算法來(lái)分割植物單個(gè)葉片，進(jìn)而測(cè)量每個(gè)葉片的面積與傾斜角。該方法一般需要從目標(biāo)周圍不同的角度拍攝圖像，生成的點(diǎn)云包含更完整、更密集的信息，但是三維重建的運(yùn)算過(guò)程需要消耗較長(zhǎng)的時(shí)間。BAO等[8]使用雙視圖立體三維重建，用于測(cè)量高粱的葉長(zhǎng)、葉角度等，并且分析了不同的立體重建算法之間的相關(guān)性。但是，這種傳感方式的立體重建算法較復(fù)雜。近些年，RGB-D相機(jī)價(jià)格便宜、體積小、使用方便、數(shù)據(jù)采集速度快，引入了三維空間信息能較好地解決重疊分割等難題，越來(lái)越多的研究者使用其獲取數(shù)據(jù)進(jìn)行植物表型研究。

經(jīng)典的植物葉片分割算法主要有基于顏色空間信息[9-10]，基于葉片點(diǎn)云空間信息來(lái)分割出單個(gè)葉片[11-14]。基于顏色空間信息葉片分割方法一般需要較為復(fù)雜的圖像處理過(guò)程。研究者通常利用葉片的顏色特征分割植物與背景。然后采用如基于邊緣檢測(cè)的方法、分水嶺算法或K-means等方法來(lái)分割葉片。經(jīng)典聚類算法K-means聚類算法[11]、Mean shift[12]以及密度聚類算法(Density-based spatial clustering of applications with noise，DBSCAN)[13]被用于植物單葉點(diǎn)云分割，這些算法針對(duì)復(fù)雜環(huán)境不容易識(shí)別出目標(biāo)，HU等[14]提出基于LCCP(Locally convex connected patches)與K-meas++點(diǎn)云枝葉分離算法分割樹(shù)的枝干與葉片，該算法基于點(diǎn)云區(qū)域分割算法與聚類算法混合能較好地分割枝葉，但是也不能識(shí)別出葉與枝。盡管研究者提出了許多的葉片分割方法，在處理具有復(fù)雜背景的圖像時(shí)，特別是背景與葉片顏色相同時(shí)，經(jīng)典的顏色特征不適用，點(diǎn)云聚類分割算法難以識(shí)別種類。

隨著大數(shù)據(jù)技術(shù)發(fā)展，以及計(jì)算機(jī)運(yùn)算能力的提高，利用深層次的卷積神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別物體的想法被驗(yàn)證。KRIZHEVSKY等[15]設(shè)計(jì)的深層次卷積神經(jīng)網(wǎng)絡(luò)AlexNet奪得ILSVRC的冠軍，性能大大超過(guò)傳統(tǒng)識(shí)別方法。由此，深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)領(lǐng)域產(chǎn)生了圖像分類、圖像分割、目標(biāo)檢測(cè)等任務(wù)。LONG等[16]提出了全卷積網(wǎng)絡(luò)(Fully convolutional networks，F(xiàn)CN)的思想，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像中每一個(gè)像素進(jìn)行類別判斷，引出了卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割研究領(lǐng)域。隨后，研究人員在醫(yī)學(xué)圖像分割、視覺(jué)導(dǎo)航等場(chǎng)景中利用深度學(xué)習(xí)技術(shù)開(kāi)展大量研究[17]。GIRSHICK等[18]提出了R-CNN，實(shí)現(xiàn)了利用深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)。之后，又對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行優(yōu)化，提出了Fast R-CNN[19]，提升了R-CNN的檢測(cè)速度與精度。REN等[20]在Fast R-CNN的基礎(chǔ)上提出了Faster R-CNN，進(jìn)一步優(yōu)化網(wǎng)絡(luò)性能。實(shí)例分割將以上任務(wù)集成化，具有速度快、提取特征深和魯棒性強(qiáng)的優(yōu)勢(shì)，因此該技術(shù)已經(jīng)在農(nóng)業(yè)研究中廣泛應(yīng)用[21-22]。其中應(yīng)用較多的方法為Mask R-CNN[23]，實(shí)現(xiàn)了以較高準(zhǔn)確度對(duì)圖像中每個(gè)物體進(jìn)行像素級(jí)分割，但是該算法在分割密集目標(biāo)時(shí)容易受到鄰近目標(biāo)的干擾，產(chǎn)生預(yù)測(cè)區(qū)域的重合，這會(huì)增大表型參數(shù)預(yù)測(cè)誤差。語(yǔ)義分割的目標(biāo)是對(duì)圖像中每一個(gè)像素進(jìn)行分類，與實(shí)例分割不同的是，該算法并沒(méi)有分離同一個(gè)類的實(shí)例，而是只考慮圖像中每個(gè)像素的類別。FCN去除了網(wǎng)絡(luò)任務(wù)中的全連接層，改為全卷積層，采用上采樣的方式將圖像還原到原始尺寸，分割圖像中容易丟失細(xì)節(jié)且邊緣模糊。BADRINARAYANAN等[24]提出了SegNet網(wǎng)絡(luò)模型，SegNet基于FCN，是對(duì)VGG16網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修改而得到的語(yǔ)義分割網(wǎng)絡(luò)，增強(qiáng)了圖像分割的效果，通過(guò)端到端、像素到像素的訓(xùn)練實(shí)現(xiàn)目標(biāo)分割。

本文采用RGB-D相機(jī)采集大田楊樹(shù)苗的彩色RGB圖像、深度數(shù)據(jù)以及RGB-D融合數(shù)據(jù)，針對(duì)融合數(shù)據(jù)采用語(yǔ)義分割算法SegNet對(duì)目標(biāo)區(qū)域進(jìn)行提取，并提出結(jié)合三維點(diǎn)云數(shù)據(jù)空間的幾何距離kd-tree法分割出單片楊樹(shù)葉。

1 數(shù)據(jù)采集

采集樣本為江蘇省泗洪縣陳?ài)琢謭?chǎng)大田種植的南林3804楊樹(shù)苗，生長(zhǎng)時(shí)間約80 d，數(shù)據(jù)采集時(shí)間為2020年7月21—25日。采集設(shè)備為Kinect V2相機(jī)，離地1.3 m左右，固定于相機(jī)三腳架上。因?yàn)樯疃认鄼C(jī)工作距離為0.5～4.5 m，深度相機(jī)無(wú)法采集到距離小于0.5 m的點(diǎn)，過(guò)近的點(diǎn)在深度數(shù)據(jù)中的值為0，顏色則會(huì)顯示為黑色，經(jīng)多次實(shí)驗(yàn)分析，工作距離為1.5～2.5 m效果較好，為更清晰地提取出重疊楊樹(shù)葉，盡可能使目標(biāo)在采集圖像中像素多，因此，本次采集樣本時(shí)相機(jī)距離楊樹(shù)苗1.5 m左右。采集的樣本圖像既包括高度密集種植的楊樹(shù)苗，也包括稀疏種植的楊樹(shù)苗。為獲得大量的樣本圖像，使用VC++編寫(xiě)采集圖像程序，編程環(huán)境為Visual Studio 2015。同時(shí)采集RGB、深度圖像以及RGB-D圖像，均為1 068組。由于彩色與深度相機(jī)的位置不同，拍攝的圖像不對(duì)齊。為了準(zhǔn)確提取楊樹(shù)葉與其幾何表型特征，首先將彩色圖與深度圖進(jìn)行匹配。圖1a為RGB原圖，分辨率為1 920像素×1 080像素，圖1b為深度圖像，圖1c為配準(zhǔn)后彩色圖像，分辨率均為512像素×424像素。

圖1 配準(zhǔn)前后的彩色圖像與深度圖像Fig.1 Color image and depth image before and after registration

2 基于SegNet與kd-tree楊樹(shù)苗葉片分割

本文使用語(yǔ)義分割先從配準(zhǔn)后的彩色圖像中檢測(cè)所有的葉片像素區(qū)域，然后將莖與葉從圖像中分離。為分割出單片楊樹(shù)葉，對(duì)分割出的葉區(qū)域進(jìn)行三維點(diǎn)云重構(gòu)，在三維點(diǎn)云空間，使用kd-tree聚類法來(lái)分割出單片樹(shù)葉。

2.1 SegNet 算法原理

SegNet是一種深度卷積神經(jīng)網(wǎng)絡(luò)，能夠提取深層和抽象的特征，具有較好的圖像分割性能。SegNet的組成包括編碼器和解碼器，最后是一個(gè)像素級(jí)的分類層，結(jié)構(gòu)如圖2所示。編碼器網(wǎng)絡(luò)由13個(gè)卷積層組成，對(duì)應(yīng)于VGG16網(wǎng)絡(luò)中的前13個(gè)卷積層。該算法拋棄傳統(tǒng)卷積網(wǎng)絡(luò)中常使用的全連接層，以便在編碼器輸出的最深處保留更高分辨率的特征映射，大大減少了SegNet編碼器網(wǎng)絡(luò)中的參數(shù)數(shù)量。每一個(gè)編碼器層都有一個(gè)相應(yīng)的解碼器層，因此解碼器網(wǎng)絡(luò)有13層。

圖2 SegNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of SegNet

編碼器網(wǎng)絡(luò)中的每個(gè)編碼器都與濾波器組進(jìn)行卷積，以生成特征圖。接著將特征圖批量標(biāo)準(zhǔn)化。然后，對(duì)特征圖上的每個(gè)元素使用線性整流函數(shù)(ReLU)。最后為寬度2×2的濾波器、步長(zhǎng)2的最大池化層。

編碼器處理結(jié)束后，解碼器將特征信息映射到原圖像，對(duì)每一個(gè)點(diǎn)進(jìn)行分類。在解碼器中，首先進(jìn)行上采樣，將最大池化縮小的圖像尺寸增大。然后用反卷積層增強(qiáng)特征映射。最終，解碼器的輸出被送入多分類的softmax分類器，獨(dú)立地產(chǎn)生每個(gè)像素的類別概率。

從圖3可以發(fā)現(xiàn)，對(duì)于包含多株楊樹(shù)苗的圖像，圖3a為配準(zhǔn)后的彩色圖像，通過(guò)SegNet算法能夠識(shí)別出大多數(shù)的葉片與莖。如圖3b所示，可以較好地將楊樹(shù)葉與莖區(qū)分開(kāi)。如圖3c所示，像素較為稠密的葉片大部分被保存了下來(lái)，少部分像素較為稀疏的葉片被識(shí)別成了背景。

圖3 SegNet對(duì)多株楊樹(shù)苗圖像的識(shí)別效果Fig.3 Leaf segmentation results for multiple poplar seedlings using SegNet

2.2 楊樹(shù)葉區(qū)域點(diǎn)云重構(gòu)算法

為了分割出單片楊樹(shù)葉，特別是重疊楊樹(shù)葉，本文將SegNet分割出的楊樹(shù)葉彩色圖像與深度圖像融合轉(zhuǎn)換為三維點(diǎn)云，再使用三維點(diǎn)云聚類方法進(jìn)行單葉分割。

利用深度相機(jī)的內(nèi)參將深度圖像轉(zhuǎn)換為三維點(diǎn)云的公式為

(1)

式中i——點(diǎn)云序號(hào)

N——點(diǎn)云數(shù)量

(xi,yi,zi)——像素i的三維坐標(biāo)

(ui,vi)——像素i在深度圖像坐標(biāo)系下的坐標(biāo)

D——深度圖像

(Ux,Uy)——紅外相機(jī)主點(diǎn)的像素坐標(biāo)

fx——紅外相機(jī)的X方向焦距

fy——紅外相機(jī)的Y方向焦距

2.3 基于kd-tree的楊樹(shù)葉單葉分割算法

基于SegNet檢測(cè)的楊樹(shù)葉像素區(qū)域并沒(méi)有對(duì)單葉進(jìn)行分割，所以本文采用點(diǎn)云聚類來(lái)分割單葉。為了進(jìn)行單葉聚類，首先用式(1)將圖像轉(zhuǎn)換為三維點(diǎn)云，然后使用歐幾里得kd-tree聚類算法來(lái)聚類。歐幾里得kd-tree聚類算法原理如下：

(1)為輸入點(diǎn)云數(shù)據(jù)集P創(chuàng)建一個(gè)kd-tree表示。

(2)建立一個(gè)空的集群C列表，需要檢查點(diǎn)隊(duì)列Q。

(4)當(dāng)所有pi∈P的點(diǎn)都處理完后，所有點(diǎn)都是點(diǎn)集群C列表的一部分，算法終止。

3 實(shí)驗(yàn)

將數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，作為深度學(xué)習(xí)的數(shù)據(jù)集。訓(xùn)練集共641組圖像，驗(yàn)證集共214組圖像，測(cè)試集共213組圖像。采用標(biāo)注軟件VIA(VGG image annotator)，該軟件基于網(wǎng)頁(yè)進(jìn)行標(biāo)注，對(duì)環(huán)境沒(méi)有較大的依賴，使用方便。程序運(yùn)行環(huán)境為Nvidia GTX 1080Ti GPU處理器，內(nèi)存為32GB RAM，操作系統(tǒng)為Ubuntu 18.04系統(tǒng)。

大田種植楊樹(shù)苗有的種植比較稀疏，有的種植比較密集。因此，為了驗(yàn)證分割方法對(duì)不同情況的有效性，本次實(shí)驗(yàn)進(jìn)行包含單株、多株楊樹(shù)苗的圖像的葉片分割效果測(cè)試，比較不同深度學(xué)習(xí)算法的分割效果。然后對(duì)語(yǔ)義分割檢測(cè)出的楊樹(shù)葉片像素點(diǎn)轉(zhuǎn)換到三維空間，采用三維點(diǎn)云kd-tree聚類算法進(jìn)行單葉分割。針對(duì)單葉分割的閾值設(shè)定問(wèn)題，進(jìn)行了多次實(shí)驗(yàn)，以選取合適的閾值參數(shù)。

3.1 性能分析

訓(xùn)練網(wǎng)絡(luò)選擇VGG16，訓(xùn)練使用sgdm隨機(jī)梯度下降法，動(dòng)量為0.9，學(xué)習(xí)率為0.001，最小批大小為2，訓(xùn)練次數(shù)設(shè)置為2 000。為了驗(yàn)證模型的性能，本文使用準(zhǔn)確率來(lái)評(píng)估分割性能，考慮分割結(jié)果中的正確點(diǎn)和錯(cuò)誤點(diǎn)，突出反映了重疊葉片的分割效果。利用交并比表示目標(biāo)的測(cè)量結(jié)果和目標(biāo)實(shí)際位置的重合度。SegNet模型檢測(cè)結(jié)果的準(zhǔn)確率與交并比如表1所示。由表1可知，SegNet模型分割的楊樹(shù)葉區(qū)域與莖區(qū)域效果均優(yōu)于經(jīng)典FCN模型。

表1 SegNet與FCN模型的檢測(cè)性能分析Tab.1 Detection performance of SegNet and FCN model %

3.2 單葉聚類閾值選取

圖4 不同閾值歐幾里得聚類算法對(duì)單株楊樹(shù)苗葉片的分割結(jié)果Fig.4 Leaf segmentation results of single poplar seedling using Euclidean clustering at different thresholds

圖5 不同閾值歐幾里得聚類算法對(duì)多楊樹(shù)苗葉片的分割結(jié)果Fig.5 Leaf segmentation results of multiple poplar seedlings using Euclidean clustering at different thresholds

經(jīng)過(guò)SegNet獲得的葉片區(qū)域需要采用kd-tree聚類算法分割出單個(gè)楊樹(shù)葉，由于點(diǎn)過(guò)于稀疏的葉片難以清晰地觀測(cè)到，為了保留能夠?qū)嶋H觀測(cè)到的葉片，去掉較小的葉片與噪點(diǎn)，設(shè)置過(guò)濾閾值為100，用于去除點(diǎn)數(shù)小于100的簇，保留點(diǎn)數(shù)大于100的簇。圖4、5為楊樹(shù)苗圖像進(jìn)行單葉分割的結(jié)果，可以發(fā)現(xiàn)，隨著閾值的增大，將距離相近的重疊葉片聚為同類的情況越來(lái)越多。除此以外，還出現(xiàn)了不同株楊樹(shù)苗葉片之間的重疊問(wèn)題。

由圖4、5可知，經(jīng)kd-tree聚類算法的處理，大部分的葉片都能利用距離分離，少部分的葉片由于本身的點(diǎn)云較稀疏，只識(shí)別了小塊區(qū)域，這種情況在閾值較小時(shí)更為明顯。閾值選擇過(guò)小時(shí)會(huì)造成過(guò)分割。閾值為7 mm時(shí)，如圖4a、5a能較好地區(qū)分開(kāi)單片葉，但是部分稀疏點(diǎn)云葉片未被保留。隨著閾值的增大，算法會(huì)將空間距離較近的葉片聚到一起，如圖4b所示，閾值為8 mm時(shí)，上側(cè)的2個(gè)葉片被聚為一類。閾值為9 mm時(shí)，算法將上側(cè)的3個(gè)葉片聚為一類，如圖4c所示。由圖5可以發(fā)現(xiàn)，隨著閾值的增大，將距離相近的重疊葉片聚為同類的情況越來(lái)越多。除此以外，還出現(xiàn)了不同株楊樹(shù)苗葉片之間的重疊問(wèn)題。然而閾值為8、9 mm時(shí)，能將左側(cè)點(diǎn)較稀疏的葉片整體保存下來(lái)，雖然導(dǎo)致了相鄰的葉片識(shí)別為同一葉片。閾值為8 mm時(shí)，如圖5b所示，該閾值下葉片沒(méi)有較多的過(guò)分割，也沒(méi)有將過(guò)多的相連葉片聚為同類，該閾值的聚類效果取得了綜合平衡。如果閾值選擇過(guò)大，則會(huì)造成聚類到大量的相連葉片，如圖5c所示，左側(cè)右側(cè)葉片均聚類為同一葉片。

為更好地選擇合適的閾值，對(duì)葉片分割準(zhǔn)確率與召回率進(jìn)行了進(jìn)一步分析。不同閾值對(duì)應(yīng)葉片分割效果如表2所示，閾值為7 mm時(shí)，獲得葉片準(zhǔn)確率與召回率較低，閾值為8 mm時(shí)，獲得的準(zhǔn)確率雖然比閾值9 mm時(shí)低，但召回率較高。綜合葉片分割顯示結(jié)果與葉片分割率分析，閾值8 mm對(duì)于單株與多株楊樹(shù)苗分割效果較好。

表2 不同閾值對(duì)應(yīng)的葉片分割效果Tab.2 Leaf segmentation performance at different thresholds %

4 結(jié)論

(1)為獲得葉片的三維點(diǎn)云數(shù)據(jù)，對(duì)相機(jī)進(jìn)行了標(biāo)定，并對(duì)采集的彩色圖像數(shù)據(jù)RGB與深度數(shù)據(jù)進(jìn)行了對(duì)齊處理，獲得RGB-D融合的數(shù)據(jù)。

(2)設(shè)計(jì)了適合葉片區(qū)域與樹(shù)干區(qū)域分割的SegNet網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)樣本區(qū)域進(jìn)行大量的訓(xùn)練，并與FCN進(jìn)行了對(duì)比分析，本文的SegNet模型對(duì)葉、莖檢測(cè)的準(zhǔn)確率分別為94.4%、97.5%，交并比分別為75.9%、67.9%，而FCN對(duì)葉、莖檢測(cè)的準(zhǔn)確率分別為86.9%、92.3%，交并比分別為61.7%、59.2%，結(jié)果表明本文設(shè)計(jì)的SegNet模型優(yōu)于FCN模型，適合楊樹(shù)枝葉區(qū)域分割。

(3)為獲得單個(gè)楊樹(shù)葉，對(duì)葉片區(qū)域進(jìn)行了三維點(diǎn)云重建，采用基于kd-tree的歐幾里得聚類算法分割出單個(gè)楊樹(shù)葉。為獲得準(zhǔn)確的距離分割閾值，分析了閾值為7、8、9 mm時(shí)的點(diǎn)云歐幾里得聚類算法對(duì)分割葉片效果的影響，表明閾值為8 mm時(shí)綜合效果最優(yōu)，能夠較多地分割出單個(gè)葉片，并且較少的出現(xiàn)過(guò)分割現(xiàn)象。