基于語義分割與實例分割的玉米莖稈截面參數測量方法

陳 燕 李 想 曹 勉 胡小春 王令強

(1.廣西大學計算機與電子信息學院, 南寧 530004;2.廣西多媒體通信與網絡技術重點實驗室, 南寧 530004;3.廣西財經學院大數據與人工智能學院, 南寧 530007; 4.廣西大學農學院, 南寧 530004)

0 引言

維管束為植物體輸送水分、無機鹽和有機物質,在“庫-源-流”系統中扮演“流”的重要角色[1]。玉米莖稈倒伏與莖稈微觀表型,如截面面積、截面不同區域的面積占比、維管束數量和各維管束面積等性狀密切相關[2]。機械組織比例等表型性狀影響莖稈的機械強度[3],從而影響作物的抗倒伏性能。由于大規模獲取莖稈截面微表型參數工作量大、效率低、測量指標有限,作物的倒伏研究主要局限在莖稈的形態學性狀和力學指標,而對莖稈的組織解剖學特征研究則較少[4]。

圖像分割就是把圖像分成若干個特定的、具有獨特性質的區域并提出感興趣目標的技術。圖像分割方法是對圖像中屬于特定類別的像素進行分類的過程。通過對圖像的分割,以充分理解圖像中的內容,便于對圖像各部分的關聯性進行分析。傳統的圖像分割方法基于灰度值的不連續和相似的性質,易受限于特定的圖像特征而欠缺泛化能力;基于深度學習的圖像分割技術是利用卷積神經網絡(Convolutional neural network,CNN)強大的特征提取能力來理解圖像中每個像素所代表的真實物體[5],從而具有較好的穩健性和適應性。基于深度學習的圖像分割有語義分割與實例分割,皆可在像素級別區分物體輪廓。TERAMOTO等[6]用基于U-net的語義分割方法識別溝槽剖面圖內的水稻根系分布。FETTER等[7]提出一種使用深度卷積神經網絡的系統來識別和統計銀杏顯微圖像中的氣孔,識別準確率達到98.1%,提供了針對作物微觀表型智能化研究范例。劉文波等[8]提出改進SOLO v2的實例分割方法對番茄葉部病害進行分割和識別,可保證算法的實時性和準確性。熊俊濤等[9]用Mask R-CNN對大豆葉片進行實例分割,平均分割準確率達到88.3%。文獻[10]列舉了深度學習在作物表型研究中具有代表性的工作,為作物表型的智能化識別提供了穩健的解決方案。

基于深度學習方法在特征提取方面的優勢明顯,無需對特征進行設計就可以實現對圖像特征的提取,但目前應用于作物微表型識別或組織解剖學特征的研究還很少。目前對作物莖稈微表型結構參數的獲取和分析普遍采用顯微鏡[11]或作物成像專用電子計算機斷層掃描(Computed tomography,CT)[12]獲得莖稈截面微表型圖像,再利用傳統圖像分割方法對圖像進行處理。徐勝勇等[13]使用基于OpenCV的濾波、邊緣檢測等操作,對各個組織結構進行獨立的閾值分割、拼接等操作,以此為基礎測量各種參數,并將各種參數、性狀特征進行統計分析。趙歡等[14]利用基于圖形學的區帶表型解析方法,可獲取莖稈不同節間相關表型的多項指標。但此類方法對圖像目標與背景色差弱或亮度差異小,存在氣泡、過曝或曝光不足時,所獲性狀參數易出現較大誤差。目前僅有文獻[15]和文獻[16]是基于CNN對作物微表型識別進行研究。WU等[15]利用作物CT成像并基于SegNet 架構的語義分割水稻莖稈微表型,用于提取水稻莖稈性狀特征參數。陳燕等[16]基于U-net架構的語義分割對普通光學顯微鏡成像的小麥莖稈截面的組織結構進行分割和量化,獲得小麥維管束和功能區域的表型參數,為獲取小麥莖稈的微表型參數提供了較為準確的方法。

雖然語義分割和實例分割都可在像素級別對物體進行分割,但是語義分割只能分割一類對象,導致無法區分同一類別之間的不同對象;而實例分割可針對特定物體的像素進行分類、直接分割出不同個體,從而可區分不同的實例個體。玉米莖稈截面的維管束分布密集,后期需要獲得每個維管束的質心、面積性狀參數等,除了要識別出維管束,還需區分他們的不同個體。文獻[16]提出的語義分割方法可以識別截面的維管束,但相鄰較近的個體易被識別為同一個維管束實例。

目前較為成熟的實例分割方法以Mask R-CNN[17]為代表,其分割目標通常為自然場景物體,適用于檢測數量少、物體形狀尺寸差異較大的目標。但玉米莖稈截面微表型參數的數量大、面積小且分布密集,已有的實例分割方法并不直接適用。而且,以Mask R-CNN為基礎的網絡普遍存在架構設置不適用、推理速度較慢、占用顯存較多的問題[17]。因此,本文選用具有復合擴張能力的EfficientDet[18]作為基礎網絡架構,增加掩膜分支以實現實例分割,通過減少輸出特征圖的尺度數量構造新的實例分割網絡Eiff-BiFPN,以提高推理速度、減少顯存的占用,從而實現對維管束的分割。文獻[16]對截面功能區域的分割是以MobileNet作為骨干網絡,但文中對小麥的截面只分為2個功能區域,識別難度較低,適合選用較為輕量型的MobileNet網絡。由于玉米莖稈截面需要分成表皮、周皮和髓區3個區域,而且不同功能區域之間還具有易混淆性,如果直接將文獻[16]的功能區域分割網絡用于玉米莖稈截面的功能區域分割,其準確率較低。因此本文選用提取特征能力更強的ResNet[19]作為骨干網絡,并與Unet[20]融合成為Res-Unet網絡模型用于玉米莖稈截面的功能區域分割。

1 數據集獲取與處理

1.1 數據集來源

數據集包含116份不同的玉米種質材料,由廣西農業科學院玉米研究所和廣西大學提供,品種有美玉27、天桂糯932、福華甜、CML161、CML171、Gui39722、Guizhao18421、PH6WC和昌7-2等,可代表溫帶和亞熱帶地區主要的玉米種質資源。各玉米品種在試驗田的種植密度每公頃約75 000株,行長3 m,行寬0.65 m,每行種植15株,水肥管理同大田生產。

玉米節間莖稈徒手切片,厚度0.2～0.5 mm,用5%間苯三酚(乙醇與水的體積比為95∶5)和濃鹽酸染色,染色時間2 min,steREO Discovery.V20體視顯微鏡拍照,放大倍數為6.7～15,圖像存儲格式為TIF,分辨率為1 790像素×1 370像素。共獲取圖像180幅,其中113幅來自不同種質材料的抽雄期莖稈自頂向下最后3個節間,其余67幅來自剩余3種樣本材料處于不同生長期的莖稈。因此,數據集中的圖像具有莖稈解剖特征的多樣性。

1.2 圖像標注

使用Labelme工具對每幅圖內維管束的輪廓和功能區域的輪廓進行標注,將玉米莖稈截面分為表皮區、周皮區、髓區3個區域,得到的標注圖樣例如圖1所示。為了全面地驗證模型效果,數據集按獨立同分布的原則劃分,選擇156幅作為訓練集,其余24幅樣本作為驗證集。

2 網絡結構設計

本文用于玉米截面分割的網絡模型由兩部分組成,第1部分用于功能區域分割,以ResNet作為基準網絡,并與Unet融合成Res-Unet網絡,用于檢測、分割表皮、周皮和髓區3個功能區域;第2部分用于維管束的分割,以EfficientNet為基準網絡,改變BiFPN的連接方式和層數,增加掩膜輸出分支,用于檢測、分割每個維管束實例。

2.1 功能區域分割網絡模型

功能區域分割用語義分割方法。選用ResNet作為骨干網絡,并與Unet融合成為Res-Unet網絡模型,用于分割截面的表皮區、周皮區和髓區。功能區分割網絡模型Res-Unet由解碼器和編碼器兩部分組成,網絡結構如圖2所示。輸入玉米莖稈截面樣本的彩色圖像,經過圖像預處理和圖像增強操作之后,通過編碼器ResNet對輸入圖像進行下采樣,獲取4種尺度分別為16×16×2 048、32×32×1 024、64×64×512、128×128×256的特征圖,經過特征融合與拼接后,輸出所有功能區域分割后的彩色掩膜。

圖2 功能區域分割網絡模型Fig.2 Architecture of function zone segmentation network

編碼器的基礎卷積塊由殘差模塊組成,使用恒等映射使卷積層在輸入特征的基礎上學習新的特征,再提取圖像的語義特征,如輪廓、邊緣、顏色等信息。解碼器對編碼器生成的特征圖進行拼接,再利用淺層網絡中的語義信息輔助位置信息對圖像進行分割,并將特征精確定位并映射到圖像上。為了減少冗余計算量,根據分割結果將樣本圖裁剪為該玉米莖稈截面的最小外接矩形截圖,作為第2部分模型的輸入。

2.2 維管束分割網絡模型

維管束分割采用實例分割方法,選用具有復合擴張能力的EfficientNet[21]作為基準網絡,在雙向特征金字塔BiFPN[18]結構中減少輸出特征圖的尺度數量,通過改變內部的連接方式以高效提取圖像特征,同時添加基于錨框的邊界框輸出分支(Box head)和類別輸出分支(Class head)兩部分,然后由檢測框(Proposal boxes)輸出到掩膜輸出分支(Mask head),構建基于目標檢測的實例分割網絡Eiff-BiFPN,具體結構如圖3所示。將圖像輸入基準網絡后,通過BiFPN獲得3種不同尺寸的特征圖,經過檢測輸出、分類輸出與分割輸出分支結構得到最后的維管束分割結果。

圖3 維管束分割網絡模型Fig.3 Architecture of vascular bundles segmentation network

2.2.1基準網絡

深度學習算法大都通過擴大網絡規模來提升網絡泛化能力,提高預測精度。擴大卷積網絡結構只對網絡的深度、寬度和分辨率參數進行微調。為了在有限的計算資源內獲得更高的精度,同時也為了減少調參的工作量,EfficientNet從網絡的深度d、寬度w(通道數)和輸入圖像的尺寸r(分辨率)3個維度上進行復合擴張。網絡深度、寬度和分辨率的縮放存在如下關系

(1)

式中dratio——網絡深度縮放系數

wratio——寬度縮放系數

rratio——分辨率縮放系數

φ——縮放系數

設定φ=1,通過網格搜索得到dratio、wratio和rratio的最優解,通過相應的d、w和r構造了最小網絡規模的最優模型B0[19]。φ越大,網絡的3個維度擴張越多,模型消耗的資源也越大,模型的精確度也越高,φ取值為1～7的整數。

2.2.2改進的BiFPN結構

特征圖金字塔(FPN)[22]可對經過骨干網絡后得到的不同尺寸的特征圖進行多尺度加權的特征提取與融合。BiFPN為雙向特征圖金字塔結構,除保持FPN自上而下和自下而上的連接外,增加了特征圖之間的跨層和跳躍連接。與FPN相比,BiFPN的特征提取能力更強,網絡參數更少,運行速度卻更快。

文獻[19]采用5層BiFPN結構,先將P5進行下采樣生成P6和P7,再將P3～P7共5層的特征圖進行融合。但由于P6和P7的尺寸只占原輸入的1/64與1/128,分辨率太小,在下采樣過程中容易丟失小目標的特征信息,P6和P7兩層不適用于針對維管束這類小目標的檢測任務,因此本文改變了原來的BiFPN結構及其內部的連接方式,只保留3層的BiFPN結構。具體結構如圖4所示,僅將P3～P5共3層的特征圖進行融合,使網絡更好地學習到小目標信息,提升維管束邊緣細節的分割效果。其中藍色箭頭和紅色箭頭為跨層連接,弧線形箭頭為跳躍連接。灰色虛線框是一個基本單元,左邊白色一列為各層的輸入,中間一列為跨層連接,右邊一列獲得輸入的雙向連接和同層的跳躍連接,同時右邊一列也作為下一個單元的輸入。此單元重復堆疊3次即構成一個完整的BiFPN結構,并輸出3幅尺寸為32×32×64、64×64×64、128×128×64的特征圖。

圖4 多層BiFPN結構對比Fig.4 Comparison of BiFPN structure with multiple-layers

2.2.3檢測輸出分支結構

檢測輸出分支采用基于錨定框的檢測方法,包括對應邊界框輸出頭(Box head)和類別輸出頭(Class head)兩部分(圖3)。以每個像素為中心生成9個錨框,錨框采用大、中、小3個不同的尺寸,分別為0.5、1、2;3個比例的策略分別為1、21/3、22/3。如特征圖的下采樣率為8,尺寸為32×32,則該特征圖共生成9×32×32個錨框。

經過BiFPN輸出的每一層特征圖分別輸入到對應邊界框輸出頭(Box head)和類別輸出頭(Class head)進行處理。Box head 輸出格式為[bs、a×4,h,w],Class head 輸出格式為[bs,a,h,w],其中bs是批量大小,a是特征圖中一個像素點錨定框的數量,h是特征圖的高。Box head的輸出為每個錨框對標注框的4個頂點回歸值,Class head的輸出則為每個錨框內是否包含維管束的分類結果。當判定錨框包含真實值時,將與標注邊界框重合50%以上的錨框標記為正例。

2.2.4分割輸出分支結構

經過檢測分支后,可獲得每個維管束的檢測框(Proposal boxes)(圖3),然后通過分割輸出分支(Mask head)分割出框內的維管束掩膜。分割輸出分支由3層卷積組成,將輸入的特征圖通道壓縮至3層,輸出檢測框區域像素的預測結果。在訓練過程中,使用標注框提取出相應特征圖內的像素,使用RoIAlign[17]將其全部統一對齊到固定尺寸之后,得到每個檢測框內的維管束輪廓掩膜。在推理過程中,選出置信度較高的檢測框,將框內的特征圖像素送入掩膜輸出分支,得到框內維管束輪廓掩膜,再將這些維管束掩膜根據檢測框的位置還原回原圖像,即可得到圖像的維管束實例分割掩膜圖像。

3 實驗

實驗硬件環境為B365M-POWER、32 GB內存、NVIDIA GeForce RTX 3090顯卡、24 GB顯存、操作系統為Ubuntu 7.5.0,編程語言為Python 3.8,深度學習框架為Pytorch 1.7.0。

3.1 數據增強

由于數據集中樣本數量較少,所以在訓練階段需要對原始數據集進行圖像增強處理,以提高訓練數據集內樣本的多樣性,增強網絡的泛化性能。在功能區域分割部分,使用隨機翻轉、高斯模糊、亮度對比度變化、自適應直方圖均衡等圖像增強操作。圖像增強處理后再做統一的歸一化操作,目的是移除圖像中相同部分,凸顯圖像特征。歸一化具體操作將圖像RGB三通道內所有像素各減去固定的均值,并除以標準差,將所有像素標準化處理。本文使用的均值和標準差均為ImageNet統計的均值和標準差,分別為[0.485, 0.456, 0.406]和[0.229, 0.224, 0.225]。

3.2 模型訓練

骨干網絡和特征提取部分的網絡權重可通過遷移學習將已在大規模數據集ImageNet上訓練好的網絡權重遷移過來,以提高網絡的收斂速度。整個網絡模型的下游解碼器和輸出分支部分,需要在訓練過程中對權重進行微調。

模型訓練中,功能區域分割網絡的訓練最大迭代次數設為100,批量大小為2,圖像縮放尺寸為512×512;維管束分割網絡訓練的最大迭代次數為200,批量大小為1,圖像縮放尺寸為1 024像素×1 024像素。

在預置錨框的設置上,采用的3種不同比例尺寸為20、21/3、22/3,3種不同長寬比為1∶1、1.25∶0.8、0.8∶1.25,即在特征圖的每一個像素上設置9個不同尺寸、不同長寬比的錨框。在3層BiFPN中,錨框最大邊長為95.2像素,最小邊長為9.6像素。

3.3 損失函數與優化器

損失函數用于度量預測值和真實值的差距,可衡量模型預測的好壞,在深度學習模型中起到決定網絡優化的作用。由于整個玉米莖稈橫截面的分割由2個相對獨立的網絡模型組成,對維管束分割是由檢測網絡架構增加掩膜分支構成,因此功能區域分割的Res-Unet需要一個損失函數,維管束分割網絡中不同的輸出分支需要不同的損失函數。

(1)功能區域分割網絡使用交叉熵損失函數Lce

Lce(yi,pi)=yilgpi+(1-yi)lg(1-pi)

(2)

式中yi、pi——第i個樣本的真實值和預測值

(2)在維管束分割網絡中,Class、Box和Mask 3個頭分支分別使用不同的損失函數,以評價每個頭分支的損失,最后再用3個損失函數的加權和作為維管束分割網絡總的損失,以評價整個維管束分割網絡的性能。

Class head選用適合于密集型物體檢測任務的焦點損失函數focal loss[22],表示為

(3)

式中α、γ——超參數,α∈(0,∞)

Lclass——焦點損失函數

調整參數α以解決前景框和背景框數量不均衡的問題;取γ∈(0,∞),調整γ以提高難區分實例的損失權重、降低簡單樣本的損失權重。

Box head選用帶參數的回歸損失函數Huber loss[23],表示為

(4)

式中Lbox——回歸損失函數

δ——閾值參數,表示真實值與預測值的偏差

當δ～0時,Huber loss會趨向于平均平方誤差MAE;當δ～∞,Huber loss會趨向于平均絕對誤差MSE。因此,Huber loss結合了MSE和MAE的優點,相比于最小二乘的線性回歸,可降低對異常點的敏感性。

Mask head選用二元交叉熵損失函數BCE loss,表示為

Lmask=-[yilgpi+(1-yi)lg(1-pi)]

(5)

在式(2)的基礎上,使用獨熱編碼計算出所有框對所有類別進行二分類概率的均值。

上述3個輸出頭分支的損失加權和作為維管束分割網絡的總體損失Lv,表示為

Lv=WclassLclass+WboxLbox+WmaskLmask

(6)

式中Wclass、Wbox、Wmask——Class、Box和Mask輸出頭的權重,取1、800、0.2

此外,選用對超參數不敏感的AdamW模型優化器,學習率動態調整器為ReduceLROnPlateau,使每個參數都具有動態學習率,初始學習率設置為10-3,當驗證集損失值在10個迭代周期內未下降時,將全局學習率縮小為原來的1/2。

3.4 網絡模型評價指標

3.4.1DICE系數

骰子系數(DICE coefficient)是一種集合相似度度量指標,用于表示2個樣本的相似程度[24]。取值范圍為0～1,其中1表示預測結果和實際結果完全重合,0表示預測結果和實際結果完全不相交,因此DICE系數越接近1表示網絡的性能越好。本文用DICE系數從玉米莖稈截面功能區域在像素級別上評價網絡模型的分割性能。

(7)

式中DICE——DICE系數,%

XTP——預測為正例的正例像素數

XFP——預測為負例的正例像素數

XFN——預測為負例的負例像素數

3.4.2平均精度

平均精度(AP)表示精確率-召回率(Precision-recall)曲線與坐標軸所圍面積。

由于使用單個指標評價目標檢測模型有一定的局限性,因此使用AP作為目標檢測和實例分割的評價指標。給定一個閾值t(一般取0.5～0.9)用于表示預測框與真實框的重復置信度。如果交并比(IOU)大于t,則預測樣本為正例。例如t取值為0.7,則AP70的度量值是表示預測框與真實框的重疊區域大于兩種區域并集面積的70%及以上,才能被判定為正例。因此t越大,對應的AP就越小,評價指標就越嚴格,預測樣本被認為是正例就越困難。一般情況下,t越小,對應的AP就越大。

3.4.3平均絕對誤差

平均絕對誤差(MAPE)是衡量預測準確性的統計指標。MAPE可避免誤差相互抵消,能準確反映實際預測誤差的大小。

3.5 實驗結果與分析

由于功能區域和維管束的分割分別由兩個獨立的網絡完成,因此在對實驗結果進行分析時也分別對2個不同的網絡模型及其性能進行評價分析。

使用本文方法對玉米莖稈截面功能區域和維管束的分割效果示例如圖5所示。圖5展示了4種具有代表性的不同品種或不同生長期的玉米莖稈截面分割結果。其中圖5b為對功能區域分割的結果,紅色為表皮區域,綠色為周皮區域,藍色為髓區區域;圖5c為對維管束分割的結果,圖中不同顏色的掩膜代表不同的維管束實例。

圖5 功能區分割與維管束分割結果Fig.5 Results of functional zone segmentation and vascular bundles segmentation

3.5.1功能區域分割網絡性能分析

先分析本文所設計的用于功能區域分割網絡Res-Unet的性能,再用DICE系數作為功能區域分割性能的評價指標,分析對表皮、周皮和髓區3個功能區域的分割性能。

3.5.1.1網絡模型性能分析

主要分析針對骨干網絡ResNet不同層數的構造對各功能區域分割的DICE系數,以選擇合適的層數搭建實用的Res-Unet網絡。

基于不同層數的Res-Unet模型對功能區域分割的DICE系數如表1所示。由表1可看出,當骨干網絡為ResNet18時對功能區域分割效果最好,3個區域的DICE都達到84%以上,平均DICE達到88.17%,其中髓區區域的DICE達到93.61%。其中,對表皮區域分割準確率略低的原因可能是部分切片較厚,用顯微鏡拍攝圖像的表皮邊緣出現陰影。此外,隨著骨干網絡層數增加,表1中各區域的DICE沒有明顯提升,這說明隨著網絡模型的深度增加,模型出現了過擬合現象。

表1 不同骨干網絡下的DICE對比Tab.1 Comparison of DICE under different backbones %

3.5.1.2與其他文獻方法對比分析

與文獻[16]方法進行對比,結果如表2所示。由表2可得,本文方法在功能區域上的分割性能整體優于文獻[16]的方法。

表2 DICE對比Tab.2 Comparison of DICE %

根據表3可知,本文方法所獲取的參數在MAPE上與文獻[16]相比有明顯降低,在功能區域平均面積上降低38.232個百分點。由于文獻[16]中有關功能區域劃分不一致,表皮區域面積雖然具有一定誤差,但尚在可接受范圍內,但是對于周皮區域面積與髓區區域面積的獲取上幾乎呈現出無法識別的狀態,與人工標注值誤差巨大。

表3 功能區分割網絡的平均絕對誤差對比Tab.3 Comparison of MAPE in function area segmentation network %

3.5.2維管束分割網絡性能分析

先分析本文所設計的用于維管束分割網絡Eiff-BiFPN的性能,再用AP作為評價指標分析維管束分割的性能。

3.5.2.1網絡模型性能分析

首先分析維管束分割在EfficientNet不同級別縮放系數的性能,再分析在不同層數BiFPN的性能,以選擇最合適的結構用于Eiff-BiFPN網絡分割維管束。

基于3層BiFPN使用不同縮放系數的EfficientNet訓練,維管束分割AP性能如表4所示。由表4可知,系數為B4的分割效果最好。

表4 不同骨干網絡的維管束分割網絡的AP (使用3層BiFPN)Tab.4 AP of vascular bundles segmentation network under different backbones (with three layers BiFPN) %

基于EfficientNet-B4,使用不同層數的BiFPN做訓練,維管束分割AP性能如表5所示。由表5可知,3層BiFPN的特征提取效果最好。

表5 不同BiFPN結構的維管束分割網絡的AP (以EfficientNet-B4為骨干網絡)Tab.5 AP of vascular bundles segmentation network under different of BiFPN (with EfficientNet-B4 as backbone) %

骨干網絡縮放系數越小、BiFPN特征圖層級越少,網絡越容易因為缺少充分利用數據而出現欠擬合的現象;骨干網絡縮放系數越大、BiFPN特征圖層級越多,網絡越容易因為訓練數據中的細節和噪聲而出現過擬合的現象。通過對比實驗分析,骨干網絡為EfficientNet-B4、使用3層BiFPN的網絡能夠獲得最好的分割結果。

3.5.2.2網絡模型預測結果可視化分析

為直觀體現維管束分割任務的效果,利用驗證集的24個樣本的維管束數量和維管束平均面積分析預測結果和原始標注的擬合程度,如圖6所示。從圖6a可見,兩個數值回歸到最小二乘法擬合直線上。圖6b為測試集中每個樣本的維管束平均標注面積和預測面積的曲線,從圖中可見,大部分樣本的預測值與標注值較為接近,部分甚至幾乎一致,但也有少部分差異較大,其中差異最大達到0.019 7 mm2,這與人工標注原始圖像存在一定誤差有關。

圖6 維管束數量與面積的預測結果Fig.6 Prediction results of vascular bundle number and area

3.5.2.3與其他文獻方法對比分析

選擇在維管束數量、維管束面積方面與文獻[16]的方法對比。由于玉米的莖稈截面微表型形態比小麥復雜,文獻[16]網絡模型無法對玉米莖稈截面微表型特征進行良好的訓練和擬合。根據表6可知,本文方法所獲取的參數在MAPE上與文獻[16]相比有明顯降低,在維管束數量和面積上分別降低16.268、1.768個百分點。

表6 維管束分割網絡的平均絕對誤差對比Tab.6 Comparison of MAPE in vascular bundle segmentation network %

從表7可見,在AP50∶70上本文方法更優,其中只有AP70值略低。

表7 AP值對比Tab.7 Comparison of AP %

在維管束的分割任務上,與應用最廣泛的實例分割網絡Mask R-CNN模型進行對比,比較的指標除了AP之外,還對存儲內存占用量和推理內存占用量兩方面進行比較,結果如表8所示。

表8 所需內存對比Tab.8 Comparison of memory

在存儲內存占用量和推理內存占用量方面,本文方法均比Mask R-CNN所需要的內存少。其中,Mask R-CNN推理單幅圖像占用的顯存就超過 24 GB,因此必須使用壓縮圖像算法才能完成維管束的分割任務。而本文方法在不使用壓縮算法處理的情況下,單幅圖像推理占用顯存僅為13 GB,節省50%。因此,即使是在推理階段,Mask R-CNN方法的實用性也較差。

4 結論

(1)在功能區域分割任務中,平均DICE達到88.17%;在維管束實例分割任務中,AP50達到88.78%,AP50∶70達到72.80%。

(2)與常用的實例分割網絡Mask R-CNN相比,本文方法在不同閾值下的AP指標表現更佳,且不需用壓縮算法即可完成推理,所需存儲內存占用量更少,獲取參數的平均絕對誤差更低。

(3)與文獻[16]相比,本文方法的功能區域分割網絡更適用于玉米莖稈,DICE系數更高;在維管束數量和面積上分別降低16.268、1.768個百分點,在功能區域平均面積上降低38.232個百分點。