基于全卷積神經(jīng)網(wǎng)絡的植物葉片自動分割及表型解析*

王鶴樹，曹麗英

(吉林農(nóng)業(yè)大學信息技術學院，長春市，130118)

0 引言

植物是人類生存必不可少的物質(zhì)資源[1]。近年來，植物表型分析解決了諸多相關問題，而圖像分析系統(tǒng)被廣泛應用于表型分析的研究中[2]。基于圖像分析的方法通過分析植株的不同器官圖像來進行植物生長監(jiān)測、形態(tài)解析以及表型提取等測量，進一步對植物的性狀進行分析預測產(chǎn)量等[3]。針對不同的實驗設計和特殊的圖像采集場景，提出了各種成像和計算機視覺技術的需求，以求實現(xiàn)非破壞性的植物表型提取目的。

農(nóng)業(yè)學者們在植物圖像解析方面已經(jīng)進行了大量研究[4-7]，其中包括植物的病害識別、葉片檢測、葉片技術、葉片分割以及長勢監(jiān)測等[8]。現(xiàn)階段大多數(shù)相關工作數(shù)據(jù)來源都是在受控的實驗室環(huán)境、溫室或者田間進行采集的。吳煥麗等[9]基于改進的K-means圖像分割算法實現(xiàn)小麥等細葉作物的覆蓋度提取，計算覆蓋度準確率在90%以上，但是這種傳統(tǒng)圖像處理方法需要消耗大量人力和時間。Kumar等[10]提出一種基于圖像增強的葉片分割方法，實現(xiàn)了CVPPP數(shù)據(jù)集中擬南芥植株的葉片分割，其算法精度達到了95.4%，并且可以用于其他圓形葉片植物的分割，但其方法并不能實現(xiàn)大數(shù)據(jù)的批量化分割，還需要依靠人工交互手段作為輔助。Qian等[11]進行了玉米多光譜圖像的精準分割和葉綠素診斷，其提出的局部閾值處理分割算法分割玉米葉片精度達到95.59%，但是提取的光譜特征參數(shù)建模R2僅為0.596左右，參數(shù)提取精度并不理想。Chen等[12]提出一種基于機器視覺技術的模糊聚類和向量機分割玉米病害葉片圖像的病害識別方法，識別率在95%以上，但是這種方法泛化性不足，且多個環(huán)節(jié)涉及人工交互進行，使得病害識別效率不高。Goclawski等[13]通過神經(jīng)網(wǎng)絡對葫蘆葉片染色掃描圖像進行分割，進行了非生物脅迫的顏色性狀分析，然而他們的模型僅考慮應用了一種反向傳播網(wǎng)絡，并沒有將其提出的解決方案與其他神經(jīng)網(wǎng)絡模型進行對比，因此他們的網(wǎng)絡可能并不是最優(yōu)的體系結(jié)構(gòu)。Ma等[14]運用全卷積神經(jīng)網(wǎng)絡(FCN)實現(xiàn)水稻苗期田間圖像中幼苗和雜草的圖像分割，其提出的segnet方法平均準確率為92.7%，能夠有效地對稻田圖像中水稻幼苗、背景和雜草的像素進行分類。

通過對相關工作的分析，發(fā)現(xiàn)在葉片分割領域已有的研究中，分割效果大多取決于數(shù)據(jù)集質(zhì)量以及背景[15]、光照等環(huán)境因素的復雜程度[16]，且處理方法多是基于監(jiān)督學習或者傳統(tǒng)的人工分割手段，魯棒性不高也不能實現(xiàn)高通量地葉片分割。針對這些不足之處，本文提出一種基于全卷積神經(jīng)網(wǎng)絡的深度學習方法進行植物圖像的葉片分割，使用小樣本量訓練得到的模型即可實現(xiàn)植物葉片圖像高通量地分割效果，且模型具有很好的魯棒性。

1 材料與方法

1.1 數(shù)據(jù)集來源

本文所使用的植物圖像來自于CVPPP(Computer Vision Problems in Plant Phenotyping)數(shù)據(jù)集，該數(shù)據(jù)集由A1、A2、A3和A4四個文件夾組成。這是一個由CVPR會議公布的用于葉片分割挑戰(zhàn)的數(shù)據(jù)集，圖像使用7mp的佳能AD1000 Power-Shot相機拍攝，其中的植物圖像均由放置于花盆和托盤中的植物頂部圖像組成。其中A1、A2數(shù)據(jù)集圖像是擬南芥植株，A1數(shù)據(jù)集在白天每6 h獲取一次，持續(xù)3周，圖像的光照強度和背景環(huán)境都比較復雜；A2數(shù)據(jù)集在白天每20 min捕獲一次，持續(xù)7周，背景環(huán)境較為簡單，但是植株變化差異較大；A3數(shù)據(jù)集則由煙草植物圖像組成；A4數(shù)據(jù)集在出苗后每隔一天獲取一次，直到植株生長發(fā)育完全成熟，數(shù)據(jù)集中存在20株擬南芥完整生育期的頂視圖像。綜上所述，該數(shù)據(jù)集包含了不同種類植物圖像、同一植物的不同生長階段圖像以及植物群體和單獨植物圖像。數(shù)據(jù)集中的圖像在分辨率、場景復雜程度和光照強度等方面均存在差異，其具備復雜性和植物對象多樣性，因此該數(shù)據(jù)集在圖像分割方面存在一定挑戰(zhàn)性，研究結(jié)果也有很強的說服力。部分數(shù)據(jù)集中圖像如圖1所示。

圖1 CVPPP數(shù)據(jù)集中的部分圖像Fig.1 Selected images from the CVPPP dataset

1.2 分割網(wǎng)絡模型

本文的主要目的是運用深度學習技術實現(xiàn)端到端的圖像分割效果，因此選擇全卷積神經(jīng)網(wǎng)絡實現(xiàn)植物圖像的像素級分割。為了更好的實現(xiàn)圖像分割，并降低訓練成本，本文網(wǎng)絡模型結(jié)構(gòu)參考Olaf Ronneberger的U-net網(wǎng)絡模型[17]并加以改進優(yōu)化，調(diào)整了模型框架，修改訓練過程中的數(shù)據(jù)讀取方式并且對激活函數(shù)和損失函數(shù)進行優(yōu)化。改進后網(wǎng)絡模型不僅縮短了訓練時間節(jié)約訓練成本而且分割精度更高和效果更好。具體網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖2 模型整體結(jié)構(gòu)Fig.2 Integral structure of the model

網(wǎng)絡左面的前4層為傳統(tǒng)的卷積層典型結(jié)構(gòu)，通過逐漸縮減輸入數(shù)據(jù)的空間維度以提取高維特征，1～3層都由2個3×3的卷積層(conv)和1個最大池化層(maxpooling)組成，卷積核數(shù)量為32，64，128。位于底部的第4層有需要進行上采樣輸入，因此僅進行了2個3×3的卷積，卷積核數(shù)量為256。網(wǎng)絡的右半部分與左半部分呈中心對稱，右面的5～7層是反卷積層即向上卷積，每一層除了正常的卷積層用于還會加入上采樣。反卷積過程每一層的輸入除了與其對應的下采樣層輸出的局部特征外還有上一層上采樣獲取的深層次抽象特征，這些特征通過鏈接的方式實現(xiàn)融合，從而在保證圖像空間維度不變的情況下恢復了特征圖細節(jié)。最后一層使用1×1卷積將每個分量特征向量映射到所需要的分類中。除了最后一層，前面所有層都有加入BN(Batch Normalization)層，對網(wǎng)絡層的每一層的特征都做歸一化，使得每層的特征分布更加均勻，在提高模型收斂速度的同時又能夠提高模型的容錯能力。構(gòu)建的網(wǎng)絡參數(shù)進行了一定程度的減少，主要為了緩解硬件設備運行壓力，在保證分割效果情況下減少訓練時間。因為訓練樣本數(shù)量較少，所以適當?shù)募尤肓薲ropout層，防止網(wǎng)絡過擬合。網(wǎng)絡使用最大池化層進行下采樣，主要是考慮對邊緣特征的最大化識別利用。且在編譯模型的頂端加入優(yōu)化器使模型支持隨機梯度下降，支持動量參數(shù)等，通過衰減率來改變學習率，對于模型有一定的輔助優(yōu)化效果。

1.3 主要函數(shù)優(yōu)化

1.3.1 激活函數(shù)

圖像分割的本質(zhì)是對像素點進行逐一分類，而線性模型對于這樣的分類任務表達能力不足，因此引入激活函數(shù)加入非線性因素解決分類的問題，常用的激活函數(shù)有Sigmoid，ReLU，Leaky ReLU和Tanh等，其線性表達如圖3所示。

U-net模型的激活函數(shù)ReLU屬于線性整流函數(shù)，數(shù)學表達為

f(x)=max(0，x)

(1)

作為神經(jīng)網(wǎng)絡的激活函數(shù)，其定義了線性變換wTx+b之后的非線性輸出結(jié)果。從圖3中可以看出，這幾種激活函數(shù)在輸入值大于0的情況下輸出值相同，但是在輸入值為負值的情況下，ReLU不能激活神經(jīng)元。這種情況對于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡模型中前向傳播過程影響不大，但是在存在反向傳播的網(wǎng)絡中梯度會變?yōu)?，導致神經(jīng)元失活即所謂的dying ReLU problem。

因此需要一種在輸入值為負值時仍有輸出的激活函數(shù)，解決在輸入為負值的情況下反向傳播過程神經(jīng)元失活問題。從圖3中可以看出相對于ReLU函數(shù)，Leaky ReLU和Tanh函數(shù)在輸入為負值時都有輸出，而Leaky ReLU相比于Tanh函數(shù)其在負值輸出部分線性關系簡單，有利于模型的快速收斂。Leaky ReLU為帶泄露線性整流，當輸入值x為負的時候，其梯度為常數(shù)θ∈(0，1)，不會判定為0，正值與ReLU一致。選擇Leaky ReLU作為激活函數(shù)，在輸入為負值時仍有輸出的函數(shù)作為激活函數(shù)，這樣可以消除反向傳播中神經(jīng)元失活問題。其表達式為

(2)

對于模型的最后輸出層，選擇Sigmoid作為二分類的輸出層激活。Sigmoid可以將一個實數(shù)映射到(0，1)的區(qū)間，非常適合二分類。在特征比較復雜時效果比較好。神經(jīng)網(wǎng)絡的中間層不選擇使用，因為對于深層網(wǎng)絡，sigmoid函數(shù)反向傳播時，很容易就會出現(xiàn)梯度消失的情況(在Sigmoid接近飽和區(qū)時，變換太緩慢，導數(shù)趨于 0，這種情況會造成信息丟失)，從而無法完成深層網(wǎng)絡的訓練。所以選擇Sigmoid函數(shù)用于對神經(jīng)網(wǎng)絡輸出層的激活。其數(shù)學表達為

(3)

(a)Sigmoid

1.3.2 損失函數(shù)

對于本文需要解決的擬南芥植株分割這種二分類任務，無需用到復雜的多分類函數(shù)，模型中的損失函數(shù)是多分類交叉熵函數(shù)的一種特殊情況。當多分類中，類別只有兩類時，即0或者1，即為二分類，二分類也是一個邏輯回歸問題，也可以套用邏輯回歸的損失函數(shù)。為了配合最后一層sigmoid函數(shù)的輸出，選擇與二元交叉熵函數(shù)類似的損失函數(shù)，其數(shù)學表達式為

(4)

式中：x——像素點；

w(x)——權重圖；

log(pl(x)(x))——某一個類別中，像素x位置的經(jīng)過交叉熵計算只后得到的概率P的對數(shù)，pl(x)(x)的下標l(x)表示類別。

1.4 分割精度評估

將模型對數(shù)據(jù)集圖像的分割結(jié)果進行了評價，衡量指標選擇Mean Intersection over Union(MIoU)[18]和召回率r。在計算機視覺深度學習圖像分割領域中，MIoU值是一個衡量圖像分割精度的重要指標。MIoU可解釋為平均交并比，即在每個類別上計算IoU值。由于模型實現(xiàn)的是二分類任務，類別數(shù)量為1，在這種情況下IoU即為MIoU取值。而召回率r則表示覆蓋面的度量，度量有多個葉片像素被分割為白色像素。

在圖像中，將擬南芥葉片中的像素點標記為1，如果分割后的圖像中，該像素點仍然為1，則判定為true positive(TP)；如果分割后該像素點被判定為0，則判定為false positive(FP)。原始圖像中不屬于擬南芥葉片的像素點都標記為0，如果這樣的像素點被判定為1，則為false negative(FN)；如果這樣的像素點也被判定為0，則為true negative(TN)。模型實現(xiàn)的是單株植株冠層圖像的二值分割，因此TN情況不影響分割精度評估，暫不列入MIoU評估參數(shù)中。為了保證評估參數(shù)的魯棒性，在數(shù)據(jù)集測試分割圖像中隨機選取了30組數(shù)據(jù)TP、FP以及FN的均值作為對應時期的評估參數(shù)。此外召回率r，MIoU的計算公式如下。

(5)

(6)

除此之外，分割后的圖像還會按照像素精度與人工測量值進行相關性系數(shù)比較。

2 試驗結(jié)果與分析

2.1 模型分割效果

為了測試圖3中不同激活函數(shù)對模型分割結(jié)果的影響，在本文中，分割網(wǎng)絡模型被訓練多次，每次都設置不同的激活函數(shù)。模型是在Windows環(huán)境下的開源深度學習框架Tensorflow中搭建的，使用Intel Xeon(R)Gold 6148 CPU 2塊、256 GB RAM和NVIDIA Quadro P6000 GPU的PC上，訓練時間約為45 min。最終，使用不同激活函數(shù)模型的分割效果如圖4所示。

(a)原始圖像

如圖4所示，用于效果展示的測試集圖像包含不同葉片大小、不同光照條件以及不同品種植物葉片的分割效果，本文訓練的模型可以在不同光照條件下可以對擬南芥植株葉片進行分割，株型的大小也不影響模型的分割效果。在效果展示過程中也包含了A3數(shù)據(jù)集中的煙草葉片分割效果，證明該方法可以對不同光照條件，不同葉片大小以及不同品種植物的葉片進行分割，有較強的魯棒性。可以根據(jù)研究需求自行獲取圖像，制作數(shù)據(jù)集進行精準的表型提取等方面研究。

使用不同激活函數(shù)的模型分割試驗結(jié)果如表1所示，可以看出，以Leaky ReLU作為激活函數(shù)的模型分割效果最佳。該模型對于A1數(shù)據(jù)集圖像分割后的召回率r為0.94，MIoU為0.93；A2數(shù)據(jù)集的召回率r和MIoU分別為0.96和0.95。盡管A1，A2數(shù)據(jù)集的植株形態(tài)結(jié)構(gòu)以及光照條件都不同，但分割精度基本相同。A2數(shù)據(jù)集圖像的分割精度比A1高出2個百分點，可能是由于A2數(shù)據(jù)集中圖像質(zhì)量高于其他數(shù)據(jù)集，特征明顯，有利于模型識別。對于單張模型的分割時間相同，為1.2 s左右。

表1 不同激活函數(shù)在數(shù)據(jù)集中的分割精度Tab.1 Segmentation accuracy of different activation functions in the data set

2.2 形態(tài)特征提取

在分割后的圖像中，使用OpenCV提取了擬南芥植株的形狀特征。形態(tài)特征的描述主要分為兩類，一類是基于輪廓的形狀描述，重點描述目標區(qū)域邊界輪廓；另一類是基于區(qū)域的形狀描述，主要是通過區(qū)域面積、幾何矩、偏心率等描述目標區(qū)域形狀。本文首先計算圖像分割后各植株的最小外接圓、葉片中心點、植株邊界框以及植株輪廓等4個基本幾何特征，如圖5所示；然后依據(jù)這些基本特征進一步計算出植株的覆蓋度、邊界框面積、外接圓半徑和葉片數(shù)量等數(shù)字形態(tài)學特征，具體計算公式如下。

圖5 分割結(jié)果中表型參數(shù)提取Fig.5 Extraction of phenotypic parameters in segmentation results1.植株邊界框 2.植株輪廓 3.葉片中心點 4.最小外接圓

1)外接圓半徑R：在植株輪廓上，任意兩個像素點的最遠距離

R=max[dis(Ci，Cj)]/2

(7)

式中：Ci，Cj——植株輪廓上最遠距離的兩個像素點。

2)邊界框面積S：植株邊界框中長和寬的值相乘

S=L×H

(8)

式中：L——最小包圍盒中x方向的長度；

H——y方向長度。

植株邊界框指n個能把目標植株區(qū)域包括在內(nèi)的矩形中面積最小的矩形。

3)覆蓋度C：由于分割后的圖像是二值圖像，因此覆蓋度計算選擇像素法，即求出目標區(qū)域所占像素的總數(shù)目。

(9)

式中：k——x軸方向上像素個數(shù)；

l——y軸方向上像素個數(shù)。

像素法計算公式就是統(tǒng)計f(x，y)=1的像素點的個數(shù)。可以根據(jù)圖像的長、寬數(shù)值計算出每個像素點的面積，乘以分割后感興趣區(qū)域總的像素個數(shù)即可得到圖像中植株覆蓋度大小。

2.3 形態(tài)特征提取精度及長勢分析

為了評價模型的分割性能和表型參數(shù)提取的精度，在測試集中選取30張圖像，將這30張圖像使用本文模型進行分割。在分割結(jié)果中提取了覆蓋度、外接圓半徑、邊界框面積和周長等表型參數(shù)，與人工分割結(jié)果中提取的數(shù)值進行了相關性比較，比較結(jié)果如圖6所示。

(a)覆蓋度提取結(jié)果比較

從圖6可以看出模型的分割數(shù)值大多在人工分割值的上半部分分布，說明模型分割出的覆蓋度數(shù)值整體來說要小于分割結(jié)果。造成這種情況主要有兩種原因，一是因為模型中存在FP判定情況，葉片邊緣的像素點并沒有被正確判定[19]；同時，圖像中部分葉片上純在粘有土粒、過度曝光以及陰影等情況，影響了模型的識別。當然，也存在極少數(shù)模型分割結(jié)果大于人工分割結(jié)果的情況，這種情況大多是因為拍攝過程中，植株附近存在一些雜草，顏色與葉片相近，模型未能識別。在形態(tài)特征提取方面，模型的分割結(jié)果與人工分割結(jié)果提取的形態(tài)特征數(shù)值對比結(jié)果表明，提取的四種形態(tài)學特征參數(shù)R2均大于0.96，NRMSE小于10%，證明模型分割精度很高，可以進行進一步的表型提取工作。相比于吳煥麗等[9]的研究，本研究模型不但分割精度高于其改進的K-means算法，在覆蓋度提取方面具有一定優(yōu)勢。與Kumar等[10]的研究相比，本文模型可以實現(xiàn)批量化的圖像分割，節(jié)省大量人力資源。與Goclawski等[13]的方法相比，本文模型的魯棒性更強，適用于多種作物頂視圖像分割。且優(yōu)化過的U-net全卷積神經(jīng)網(wǎng)絡模型精度高于Ma等[14]研究中提及的FCN模型。

本文以覆蓋度為例，進行了植株的長勢分析，分析結(jié)果如圖7所示。

(a)A2數(shù)據(jù)集中10株不同的擬南芥植株覆蓋度

植被覆蓋度是指包括農(nóng)作物、灌木、喬木和雜草在內(nèi)的所有植物冠層、枝葉在其生長區(qū)域地面的垂直投影面積占研究統(tǒng)計區(qū)域面積的變分比[20-21]。數(shù)據(jù)集在處理過程中，進行過規(guī)范化裁剪，保證了背景面積大小一致。因此利用分割網(wǎng)絡分割出的圖像中葉片像素點占總像素點的比例，即為植株垂直投影面積占總背景面積的比例。將上述比例與總面積相乘，所得結(jié)果就是同等面積區(qū)域內(nèi)不同品種植株的覆蓋度大小。

從圖7分析結(jié)果可以看出，擬南芥和煙草等蓮座植物有著類似的生長趨勢，前期存在一定的緩慢發(fā)育期，到達一定天數(shù)后開始快速生長。擬南芥前五天的生長發(fā)育較為緩慢，第5天后開始快速生長，覆蓋度明顯增加。而煙草植株在第3天開始就進入快速生長時期。

3 結(jié)論

本文以U-net分割網(wǎng)絡為基礎，對模型結(jié)構(gòu)、激活函數(shù)和損失函數(shù)進行優(yōu)化調(diào)整，設計出新的全卷積網(wǎng)絡模型，實現(xiàn)了蓮座植物圖像的分割。

1)本文設計的分割網(wǎng)絡在測試集圖像中平均的分割精度達到了0.94，召回率為0.95。模型能夠準確的分割出植物葉片，可以顯著降低傳統(tǒng)手工方法的工作量，提高分割效率；在分割結(jié)果中提取的形態(tài)學特征參數(shù)與人工測量值高度相關(R2>0.96)，說明使用模型的分割結(jié)果進行形態(tài)特征提取滿足植物表型提取精度的需求，提取的表型特征參數(shù)可以用于植物的長勢分析研究。

2)本文的方法可以對溫室作物頂視圖像分割、表型提取以及評估定量表型性狀等方面做出了一定的貢獻，也為育種研究提供一種有價值的工具。