基于空洞全卷積網絡的葉片分割算法

謝源，苗玉彬，張舒

（上海交通大學機械與動力工程學院，上海200240）

0 引言

表型是作物在生長發(fā)育過程中可觀測的外表特征，能夠反映植株的生長發(fā)育情況，表型監(jiān)測在水肥運籌，倒伏檢測，產量預測等領域具有重要的應用價值[1]。傳統(tǒng)的表型特征提取多通過操作者手工進行測量，工作繁瑣，準確性較低，且不同品種的作物沒有統(tǒng)一的測量標準[2]。隨著計算機視覺的發(fā)展，高精度、低成本、自動化的作物表型數(shù)據獲取技術逐漸受到關注。

在提取表型特征之前，需要對植株的主體進行分割，進而分析光譜、紋理或是形態(tài)特征。現(xiàn)有的分割算法主要分為傳統(tǒng)的圖像處理算法和深度學習算法。傳統(tǒng)算法主要通過閾值、邊緣、區(qū)域、圖論等方法統(tǒng)計像素點[3]間的差異并完成分類，例如，Liang等[4]處理了大豆的田間RGB圖像，利用Canny算子檢測葉邊緣并對葉片進行了分割與檢測，張建華等[5]則利用改進的分水嶺分割算法得到了棉花葉部的粘連病斑；深度學習算法則依賴卷積運算[6]自適應地提取特征，Ward等[7]將真實圖像與合成圖像同時用作模型的訓練數(shù)據，構建了Mask R-CNN網絡模型進行了葉片分割，在多個數(shù)據集上取得良好表現(xiàn)，Chen等[8]利用CNN進行葉片表面蚜蟲區(qū)域的分割檢測，分割結果與人類的專家標注具有較高的重疊度。

開放的田間環(huán)境下，復雜多變的光照條件以及土壤基質中的背景噪聲對分割算法的準確率與魯棒性提出了新的挑戰(zhàn)。其中，光照強度的變化使傳統(tǒng)算法中的模型參數(shù)難以選擇，通常需要根據具體的單張圖像特點進行變更[9]；背景噪聲則與分割主體具有相似特征，使得分割結果的邊緣產生割裂感，不夠平滑。基于上述背景，本文構建了多尺度的空洞全卷積網絡模型，利用卷積編碼圖像特征得到特征張量，再通過雙線性插值完成圖像的重建。為了恢復局部空間信息，在重建過程中融合了底層卷積的輸出；針對主體尺度變化的問題，利用不同擴張率的空洞卷積提升感受野，從而增強葉片分割場景下模型的泛化能力。

1 空洞全卷積網絡

1.1 編碼器-解碼器結構

常規(guī)深度卷積網絡主要用于單一分類任務，在大多數(shù)場景中，模型只需判斷圖片的類別。因此，網絡對圖像特征的提取是一個具體到抽象的過程，底層卷積輸出的尺寸較大，表征局部信息，高層卷積輸出的尺寸較小，表征全局信息。但是，圖像語義分割屬于密集預測，需要對每一個像素點進行判別，其輸出也不再是一維向量，而是與輸入分辨率相同的二維圖像。

為了完成像素級別的分類，全卷積網絡被設計為一個編碼器-解碼器結構，如圖1所示，其中，編碼器主要由卷積層與池化層組成，進行圖像特征提取。在不同的學習任務中，編碼器輸出的多維張量是一個蘊含特定語義信息的特征表示。解碼器則使用雙線性插值提高特征張量的分辨率，還原邊緣等局部信息，完成分割結果重建。

圖1 編碼器-解碼器結構

1.2 底層特征融合

原始的全卷積網絡是一個順序結構，層與層之間沒有耦合。在特征編碼的過程中，由于池化、帶步幅卷積的降采樣效果，實際圖像中的空間排列順序與細節(jié)特征是有所損失的。在語義分割任務中，類別與邊緣是重要的判斷信息，其中，類別作為全局特征包含在編碼器輸出的特征張量中。而邊緣、紋理則更多地由底層卷積表示，這類細粒度的信息對于像素級別的分類是至關重要的，可以解決邊緣模糊的問題。因此，可組合高層抽象語義信息與底層的細節(jié)信息，將底層卷積的輸出進行壓縮，然后與編碼器第一次上采樣的結果進行拼接，并將拼接結果應用于后續(xù)的圖像重建中。

綜上，本文抽取了第一層的卷積輸出特征I1與編碼器輸出結果進行融合，為了在融合過程中不損失空間信息，首先對特征張量進行雙線性插值的上采樣操作得到I2，使之與I1分辨率相同。然后，串聯(lián)拼接兩張圖像得到I3，后續(xù)的圖像重建操作在I3的基礎上展開，通過卷積與雙線性插值得到最終的分割結果。

圖2 底層卷積融合

1.3 空洞卷積

隨著植株的生長，葉片的區(qū)域不斷擴張，模型所要分割的主體不斷增大，特征的尺度也會發(fā)生變化。當模型參數(shù)固定時，其更適合于尺度相當?shù)膱D像輸入。另一方面，由于卷積核的大小遠小于圖片，其感受野是有限的，因此深度卷積網絡需要更深的模型結構來抽取全局信息。

空洞卷積是對傳統(tǒng)卷積的一種優(yōu)化，使用一個更大的稀疏矩陣來替代傳統(tǒng)的卷積核，從而增加卷積的感受野，在保證相同參數(shù)量的前提下，空洞卷積能夠包含更大的信息范圍。在空洞卷積核中，非零的權重是等間隔進行排列的，間隔的大小稱為擴張率r，非零的權重之間用零值進行填充，則其計算公式為：

圖3 展示了不同擴張率的空洞卷積核。其中，黑色圓點表示該位置權重不為0，其余位置的權重等于0。由圖可知，當擴張率線性增大時，空洞卷積的感受野以平方量級增大，當擴張率為1時，運算與原始卷積相同，感受野為9個像素點；當擴張率為2時，感受野為49個像素點；當擴張率為3時，感受野則達到121個像素點。

圖3 不同擴張率下的空洞卷積核

為了適應葉片分割主體中的尺度變化，本文在保持編碼器底層卷積結構不變的基礎上，在編碼器輸出特征張量的卷積運算中并行疊加了多層不同擴張率的空洞卷積，如圖4所示。擴張率為1的空洞卷積等同于傳統(tǒng)卷積操作，擴張率為2-4的空洞卷積則使得特征張量包含更多尺度的語義信息，相當于為解碼器的輸入增加了新的特征信息，從而提升分割的準確性。

圖4 空洞卷積的疊加輸出

1.4 損失函數(shù)

圖像的分割任務可以視作對圖像中的每一個像素完成一次分類任務。因此，模型的損失函數(shù)可以表示為圖像中所有像素的損失函數(shù)和。用交叉熵作為單個像素分類的損失函數(shù)，設輸入圖像尺寸為m×n，模型的損失函數(shù)可以表示為：

2 實驗驗證

2.1 數(shù)據集

為完成網絡訓練，本文首先按照192×192分辨率對圖像進行裁剪，并使用圖片標注工具，標注了300張圖像。相比于神經網絡的巨型參數(shù)量，上述標記過程所獲得的訓練集樣本較少，容易造成模型的過擬合，使得模型在測試集上出現(xiàn)較大的誤差。為了擴充訓練集的樣本數(shù)量，本文對上述標記結果進行了數(shù)據增強，使用的方法為旋轉、鏡面翻轉、疊加高斯噪聲，如圖5所示。

經過擴充的樣本集數(shù)量達到了1200張圖像，按照8:2的數(shù)量比例將樣本分為訓練集與測試集，訓練集大小為960，測試集大小為240。其中，訓練集用于優(yōu)化損失函數(shù)以及更新模型參數(shù)，測試集則不參與模型訓練，僅僅用于模型評估，可以更加準確地反映模型的性能指標。

2.2 訓練優(yōu)化

使用Adam優(yōu)化器進行模型訓練，優(yōu)化器參數(shù)設置為：矩估計指數(shù)衰減速率β1=0.9，β2=0.98，步長ε=10-3，數(shù)值穩(wěn)定參數(shù)δ=10-9，有偏一階矩與有偏二階矩的初始值s0=0，r0=0，模型訓練的損失函數(shù)與準確率曲線如圖6所示。

圖6模型訓練曲線

2.3 實驗數(shù)據分析

比較本文算法與基于圖論的GrabCut[10]交互式分割算法，原始全卷積網絡在不同主體尺度下的分割效果，部分不同主體尺度的分割示例如圖7所示。由圖可見，交互式的GrabCut算法由于操作者的經驗，區(qū)域與輪廓分割較為準確，但該算法無法準確地區(qū)分邊緣處與葉片特征相似的背景噪聲，因此，分割結果的邊緣含有較多的噪點，具有很強的割裂感，且整個流程需要操作者多次標記前景點與背景點，效率較低。神經網絡類模型輸出的結果更為平滑。其中，原始的全卷積網絡在不同尺度下的性能較為局限，在很多情況下，模型不能較好地還原葉片的形狀，在葉片的邊緣變化較大的時候，例如葉片頂端的內凹部分，模型通常會將部分背景區(qū)域識別為主體，從而增大誤差。而本文的模型在不同尺度下有著較為均衡的表現(xiàn)，能夠準確地分割出主體區(qū)域。但是對于圖像中的復雜局部，例如行3中兩片葉子的細小狹縫、行4中作物的葉柄，算法還無法完全準確判別，而該類錯誤也是分割模型中最大的誤差來源。

統(tǒng)計算法在測試集上的表現(xiàn)，不同模型在測試集上的評價指標如表1所示。設圖像一共有k個類別，pij表示像素點屬于類i但是被預測為類j的數(shù)量，則不同指標的定義如下：

像素精度（Pixel Accuracy,PA）：

均像素精度（Mean Pixel Accuracy，MPA）：

均交并比（Mean Intersection Over Union,MIOU）：

由表可知，本文算法相比于傳統(tǒng)的圖像處理算法與全卷積網絡在各項指標上均有較大地提升，PA值達到0.9735，在描述分類別的精度指標MPA時，本文算法的主體MPA值略高于背景MPA值，這表明算法在出現(xiàn)誤差時往往將背景像素點判別為主體。該項指標上，由于操作者可以對噪聲像素點進行標記，因此GrabCut算法的表現(xiàn)較為穩(wěn)定，而未經修改的全卷積網絡則波動較大。而在MIOU指標上，本文也達到0.9579，能夠滿足表型特征提取的需求。

圖7不同尺度主體的分割效果展示

表1 不同模型的評價指標

3 結語

為了提升葉片分割算法的精度與通用性，本文研究了全卷積網絡在圖像分割中的應用，針對于編碼器在提取特征的過程中細節(jié)損失的問題，本文在解碼器中融合底層卷積輸出，使得圖像重建過程能夠恢復更多的局部空間信息；針對于主體尺度變化的問題，本文在編碼器輸出中并聯(lián)了不同擴張率的空洞卷積，使模型能夠適應不同的主體特征尺度。實驗表明，本文模型相比傳統(tǒng)圖像分割方法，分割的邊緣更為平滑；相比于原始全卷積網絡，區(qū)域的識別更為準確。PA值達到0.9735，MIOU值達到0.9579，能夠對圖像進行準確地分割，滿足實際應用需求。