基于超像素特征向量的果樹冠層分割方法

張先潔 孫國祥 汪小旵 楊海慧 魏天翔

摘要： 針對無人機精確植保過程中，果樹冠層區域顏色特征和雜草相似度較高、難以分割等問題，采用基于超像素特征向量的果樹冠層分割方法，以消除不同雜草特征對樹冠分離的干擾，減小農藥噴霧區域，節省農藥使用量。通過分析無人機采集合成的樣本圖像在HSV彩色空間上色調與飽和度的分布情況，選取合適的閾值范圍，提取樣本圖像中包含果樹冠層與雜草的綠色區域，將提取的綠色區域RGB圖像轉換生成Lab和HSV彩色空間模型下的圖像，然后運用簡單的線性迭代聚類（Simple linear iterative clustering，SLIC）超像素分割算法將RGB圖像預設分割成250個超像素單元，結合超像素的分割信息與RGB圖像、Lab圖像、HSV圖像以及灰度圖，提取超像素單元的特征向量，隨機選取25%的超像素樣本的特征向量作為SVM分類器的訓練集，利用SVM分類器對所有樣本進行預測分類，實現果樹冠層與雜草分割。將基于超像素特征向量的方法和基于光譜閾值、K-means聚類的2種方法進行對比分析，結果顯示，基于超像素特征向量的方法在識別果樹冠層位置方面生產者精度為90.83%，在提取果樹冠層輪廓上F測度值為87.62%，總體分割性能優于后兩種方法。說明，基于超像素特征向量的方法能夠較為準確地分割果樹冠層與雜草，為實現無人機在果園中精確植保提供重要支撐。

關鍵詞： 無人機;植保;果樹冠層;雜草;超像素;分割

中圖分類號： TP242.6+2;S252+.3 文獻標識碼： A 文章編號： 1000-4440（2021）03-0724-07

Segmentation method of fruit tree canopy based on super pixel feature vector

ZHANG Xian-jie1， SUN Guo-xiang1， WANG Xiao-chan1，2， YANG Hai-hui1， WEI Tian-xiang1

（1.College of Engineering， Nanjing Agricultural University， Nanjing 210031， China;2.Laboratory of Modern Facility Agricultural Technology and Equipment Engineering in Jiangsu Province， Nanjing 210031， China）

Abstract： Aiming at the problem such as high similarity of color features between canopy area of fruit trees and weeds which are difficult to be segmented in the process of unmanned aerial vehicle （UAV） in precise plant protection， a canopy segmentation method based on super pixel feature vector was adopted to eliminate interference of different weed characteristics to crown separation， reduce the pesticide spray area and save pesticide usage. By analyzing the distribution of hue and saturation of sample images collected and synthesized by UAV in HSV color space， the appropriate threshold range was selected， the green area of the sample image including the canopy of fruit trees and weeds was extracted. The RGB image of the green area extracted was transformed to generate the image under Lab and HSV color space model， and simple linear iterative clustering （SLIC） super pixel segmentation algorithm was then used to divide the RGB image into 250 super pixel units by default. The feature vectors of super pixel unit was extracted by combining the segmentation information of super pixel with RGB image， Lab image， HSV image and gray scale image. Feature vectors of 25% super pixel samples were selected randomly as the training set of SVM classifier， SVM classifier was used in predicting and classifying all samples to realize the segmentation of fruit tree canopy and weeds. The method based on hyper pixel feature vector and methods based on spectral threshold and K-means clustering were compared. The results showed that， the producer accuracy of the method based on super pixel feature vector in recognizing position of fruit tree canopy was 90.83%， the F value for extracting contour of fruit tree canopy was 87.62%. The overall segmentation performance by the method based on hyper pixel feature vector was better than the latter two methods. It can be seen that， the method based on super pixel feature vector can segment fruit tree canopy and weeds accurately， which provides an important support for the realization of UAV in precise plant protection in the orchard.

Key words： unmanned aerial vehicle （UAV）;plant protection;canopy of fruit trees;weed;super pixel;segmentation

無人機噴藥相對于傳統的地面移動式噴藥可以忽視復雜的地形阻礙，同時無人機旋翼可以吹動樹冠，使農藥能更均勻垂直地覆蓋果樹冠層。近年來無人機載藥量不斷增加，采用無人機噴藥逐漸成為果園植保的一個重要方式[1-3]。由于果樹冠層與雜草等綠色植物在圖像中顏色特征差異較小，導致無人機對圖像中果樹冠層圖像分割的準確率較低，進而降低了無人機噴藥的準確率。采用有效的圖像分割方法準確分割圖像中果樹冠層是提高無人機噴藥的農藥利用率、實現果園中無人機精確植保的重要保障[4-7]。

針對圖像中作物冠層與雜草的分割，國內外學者進行了廣泛的研究[8-12]。目前大多數圖像中作物冠層與雜草分割的研究是基于深度學習的方法[13]，該類方法分割效果較好，但前期需要大量的人工標注作為深度學習樣本，應用成本較高。也有部分學者采用其他方法實現圖像中作物冠層與雜草分割[14-15]。Le等[16]通過結合局部二值算子與植物葉片輪廓特征提高了分割作物冠層與雜草的準確率，該方法對圖片中作物冠層與雜草輪廓細節的要求較高，應用場景主要為可近距離拍攝的盆栽植物冠層與雜草。程湞湞等[17]在單棵果樹的側拍圖像中，利用雜草的空間位置特征將圖片下方的雜草剔除，但該方法不適用于高空俯拍圖像中的果樹冠層與雜草分割。針對圖像中作物冠層與雜草的分割已經有了較多的研究，但針對高空俯拍圖像中果樹冠層與雜草分割的方法研究較少。

本研究提出一種基于超像素特征向量的果樹冠層分割方法，以超像素作為基本分類單元，增強圖像中果樹冠層單元與雜草單元的差異性，提取超像素的顏色特征與紋理特征組成超像素特征向量，采用基于小樣本機器學習方法的SVM（支持向量機）分類器，以較少的樣本標注實現果樹冠層與雜草分割。選取基于光譜閾值、K-means聚類的2種方法與基于超像素特征向量的方法進行對比，對3種方法識別果樹樹冠位置與提取果樹冠層輪廓的精度進行評價分析，驗證基于超像素特征向量的方法在果樹冠層與雜草分割上的性能。

1 材料與方法

1.1 果樹正射影像圖獲取與預處理

本研究以山東省煙臺市棲霞市官道鎮的某個蘋果園作為研究對象，蘋果樹樹齡為8～9年，果樹品種為煙富3。2019年10月12日，光照較好，風力1～2級以下，晴天，在10∶00-15∶00時使用Parrot無人機采集果樹冠層圖像，飛行高度為50 m，獲得了76張分辨率為4 608×3 456像素的高分辨率RGB圖像，使用Pix4Dmapper 4.1生成正射影像圖。采集果園圖像區域的長、寬分別為34 m、107 m，根據區域雜草干擾程度分為雜草干擾程度一般的地塊（A）與雜草干擾程度嚴重的地塊（B）。

圖像的預處理工作主要包含兩方面，一是對獲取到的圖像進行濾波處理，選取高斯濾波器對獲得的圖像進行濾波處理得到RGB圖像;二是對提取綠色區域后的圖像進行彩色空間轉換，將RGB圖像分別轉化為Lab圖像、HSV圖像。

1.2 果樹冠層分割流程

首先對樣本圖像在HSV彩色空間上進行分析，然后選取合適的閾值提取圖像中的綠色區域，采用SLIC超像素算法將預處理得到的綠色區域圖像分割成指定數量的超像素單元，結合超像素分割信息、RGB圖像、Lab圖像、HSV圖像及灰度圖，提取超像素的特征向量，以超像素特征向量作為依據訓練SVM分類器并對超像素分類，最后，采用形態學方法處理SVM分類結果，實現雜草干擾下的果樹冠層提取。

1.3 圖像中綠色區域的提取

從RGB圖像中提取果樹冠層，首先利用光譜特征上的差異分割綠色植物與背景。在針對光譜特征的數字圖像處理中常用的顏色模型有RGB、Lab和HSV等，其中HSV顏色模型符合人對顏色的感知心理。HSV顏色模型亮度分量與圖像的彩色信息無關，如果去除亮度分量，只考慮色調與飽和度分量反映的顏色信息，可以去除光照條件的影響，準確地從圖像中篩選出綠色像素區域。

采用人工標注的方法，將樣本圖片的像素分別標記為綠色區域像素與背景像素兩類，針對每類像素分別在色調和飽和度2個分量上的數量分布進行統計分析。圖1是對樣本圖像中綠色區域像素和背景區域像素在色調和飽和度2個分量上的統計分布結果。

由圖1可知，綠色區域與背景區域的飽和度分布差異不明顯;在色調分布上，背景區域的色調主要分布于0～0.15與0.80～1.00，綠色區域的色調主要分布在0.05～0.45。考慮到標注的綠色區域存在部分陰影像素，標注的背景區域中也存在未能全部標出的綠色像素，故選取0.10～0.45作為綠色區域的色調分布區間。以0.10～0.45作為閾值區間采用閾值法獲取綠色區域二值圖像，對二值圖像采用形態學處理后結合原RGB圖像獲得綠色區域RGB圖像。

1.4 果樹冠層的區域提取

考慮到果樹冠層與雜草在像素塊上的差異相對于單像素的差異較大，本研究采用超像素算法將RGB圖像預設分割為250個超像素，以超像素作為基本操作單元，降低冠層與雜草間的識別難度。單獨從光譜特征分析或單獨從紋理特征上分析雜草與果樹冠層的差異，較難得到比較明顯的差異，將光譜特征與紋理特征組合為1個組合特征，從組合特征角度分析雜草與果樹冠層的差異，由于人工分析組合特征上的差異難度較大，本研究選擇一種基于小樣本的機器學習方法訓練分類器，使用訓練得到的分類器對果樹冠層與雜草進行分類。

1.4.1 超像素特征向量提取 超像素算法是指將圖像分成指定數量大小、形狀不規則的超像素區域，每個超像素中的像素具有相似的顏色、亮度等特征。本研究采用Radhakrishna等[18]提出的基于梯度下降的SLIC算法，即簡單線性迭代聚類算法。SLIC算法中參數K值（即圖像預先設置分割的超像素個數）的大小設置影響對樹冠目標的分割效果。將SLIC算法分割后的樣本圖像中目標邊緣的難分類的超像素數量與超像素總數的比值記為樣本圖像的目標邊緣模糊率，通過分析K值與樣本圖像的目標邊緣模糊率之間的關系選取適當的K值。分別對70張樣本圖像進行如下操作，以獲得不同K值下樣本圖像的目標邊緣模糊率：

（1）選取的樣本圖像見圖2a，通過人工描繪選出樹冠目標區域，并將目標區域設置成白色，背景區域設置成黑色，保存為二值圖，如圖2b所示。

（2）將SLIC算法中的K值以50為間隔依次設置成50～400，對樣本圖像進行超像素分割，結合獲得的超像素邊緣與二值圖，獲得超像素邊緣二值圖，如圖2c所示，其中白線為分割出來的超像素邊緣。

（3）讀取超像素邊緣二值圖，依次計算每個超像素中白色像素（目標像素）與總像素數量的比值，比值大于60%，記為目標超像素;比值小于40%，記為背景超像素;比值為40%～60%，記為難分類超像素。

將所有樣本圖像的目標邊緣模糊率求平均得到不同K值下的目標邊緣模糊率，詳見表1。當K值小于250時，目標邊緣模糊率相對較大，且隨著K值增大，目標邊緣模糊率的下降幅度也較大;當K值超過250后，目標邊緣模糊率已經相對較小，且隨著K值的增大，目標邊緣模糊率的下降幅度也較小。綜合考慮邊緣模糊率和后期圖像處理的計算量等因素，本研究選擇K值為250，即每張樣本圖像預先設置分割為250個超像素。

選取合適的K值對樣本圖像進行超像素分割獲得樣本圖像的超像素分割信息后，將樣本圖像的超像素分割信息與樣本圖像分別在RGB、Lab、HSV彩色空間模型下的圖像以及灰度圖結合。提取超像素在RGB、HSV和Lab 3種彩色空間模型下共9個通道（R、G、B、H、S、I、L、a、b）的均值作為顏色特征分量;將灰度圖與超像素分割信息結合，統計并繪制超像素的灰度直方圖以獲得超像素的均值、標準差、平滑度以及一致性4個參數作為超像素紋理特征分量。將獲得的13個特征分量組成超像素的特征向量并歸一化保存，作為SVM分類器分類依據。

1.4.2 超像素分類 圖像中果樹冠層與雜草分類的目的是在保證目標分類準確性的基礎上盡可能減少人工操作的工作量，這就需要在訓練樣本盡可能少的情況下實現較為準確的目標分類。支持向量機（Support vector machine，SVM）作為一種基于小樣本的機器學習方法[19-21]，相對于已有方法表現出了更好的性能，本研究選用SVM分類器進行超像素的分類訓練與預測。

SVM分類器首先需要確定所選核函數，應用較常見的核函數有線性核函數、多項式核函數、徑向基（RBF）核函數和Sigmoid核函數4種，其中RBF核函數適用于多種情況[22]。采用RBF核函數進行SVM分類時，需要確定2個參數，即誤差懲罰因子（C）和核參數（γ），2個參數的選擇是影響SVM分類性能的關鍵因素。本研究采用網格搜索法確定誤差懲罰因子和核參數的最優組合。具體步驟如下：

（1）隨機選取25%的樣本圖像超像素的特征向量作為訓練樣本集，以所有樣本的超像素特征向量作為測試集。

（2）誤差懲罰因子從1到11以2為步長依次取值，核參數從0.001到100.000依次乘10取值，依次使用各種組合訓練SVM分類器，并對測試集進行預測，記錄預測準確率。

（3）為減弱單次訓練集隨機選擇帶來的差異性，步驟（1）和（2）重復3次，取3次結果的平均值作為最終結果，如表2所示。

如表2所示，核參數為0.010和0.100時，SVM分類準確率相對較高。在核參數不變的情況下，不同的誤差懲罰因子對應的SVM分類準確率相差不大。本研究選擇其中分類準確率最高的誤差懲罰因子和核參數（分別為3和0.100）的組合。

1.5 果樹冠層區域提取的評價方法

采用基于超像素特征向量的分割方法對所有樣本圖像進行分割并組合還原成2個地塊圖像，分別識別果樹冠層位置與提取果樹冠層輪廓，針對提取結果，分別從林分和單木2個尺度對果樹冠層位置識別和冠層輪廓提取進行精度驗證。

1.5.1 果樹冠層位置識別精度驗證方法 從林分尺度對果樹冠層位置識別精度的評價，用樹冠相對誤檢率（D）表示，即：

D=NNr-1（1）

式中，N為檢測出的樹冠數量;Nr為參考的樹冠數量。

從單木尺度對果樹冠層位置識別精度的評價，用基于N1∶1的用戶精度（U）和生產者精度（P）[23]表示，即

U=N1∶1Nall×100%（2）

P=N1∶1Nr×100%（3）

式中，Nall為全檢數，即檢測出的總樹冠數量，包括正確檢出、錯誤檢出以及過檢出數目之和;N1∶1為正檢數，即檢測出的樹冠位置在參考樹冠位置1 m緩沖區內的數量。

1.5.2 樹冠輪廓提取精度驗證方法 從林分尺度對樹冠輪廓提取精度的評價，用樹冠面積的相對誤差R表示，即

R=Sd-SrSr×100%（4）

式中，Sr為參考的樹冠總面積;Sd為檢測出來的樹冠總面積。

從單木尺度對樹冠輪廓提取精度的評價，選用F測度值作為評價標準。將分割得到的樹冠與人工描繪的參考樹冠作對比，若分割得到的樹冠與參考樹冠的重合面積與其中1個樹冠的比值大于0.5，則被認為是正確提取。樹冠提取的精確率（Ad）、樹冠提取的召回率（Ar）、F測度值的計算公式分別為

Ad=NcNd×100%（5）

Ar=NcNr×100%（6）

F=2ArAdAr+Ad×100%（7）

式中：Nc為正確提取樹冠的數量;Nd為提取樹冠的總數量;Nr為參考樹冠的總數量。

2 結果與分析

2.1 果樹冠層分割結果

2.1.1 基于超像素特征向量的分割結果 采用基于超像素特征向量的分割方法對樣本圖像進行分割，對分割后得到的圖像進行形態學孔洞填充以及小目標刪除，獲得二值圖像，通過二值圖像對原樣本圖像進行掩膜處理，得到最終的分割結果。從提取綠色區域到分割雜草與冠層區域的處理過程見圖3。圖3b為基于色調閾值提取的綠色區域，圖3c為基于超像素特征向量分割方法的分割結果。圖3b顯示，基于超像素特征向量的分割方法有效地區分果樹冠層與雜草，得到較為準確的冠層區域。利用圖3c對原圖進行掩膜處理，得到果樹冠層的分割結果（圖3d），對比圖3d與圖3a可以看出，基于超像素特征向量的分割方法能夠去除雜草干擾，實現果樹冠層的分割提取。

2.1.2 基于超像素特征向量、光譜閾值和K-means聚類3種方法的分割結果對比 為驗證基于超像素特征向量方法的分割性能，以人工描繪的二值圖為參考，選取基于光譜閾值、K-means聚類2種方法與基于超像素特征向量方法進行分割結果的對比。分別對雜草干擾程度一般的地塊（A）和雜草干擾程度嚴重的地塊（B）中的樣本圖像進行分割，分割結果如圖4所示。

由圖4可以看出，在雜草干擾程度一般的情況下，基于光譜閾值、K-means聚類的2種方法的分割結果存在較多顆粒狀和小面積的錯誤分割，基于超像素特征向量方法的分割效果與人工描繪的二值圖最接近;在雜草干擾程度嚴重的情況下，基于光譜閾值、K-means聚類2種方法的分割結果均出現了大面積的錯誤分割，基于超像素特征向量方法的分割結果提取的果樹輪廓與人工描繪的作為參考結果的果樹輪廓相似。

2.2 不同方法識別果樹冠層位置與提取果樹冠層輪廓的精度評價與分析

采用基于超像素特征向量、光譜閾值和K-means聚類3種方法分別處理雜草干擾程度一般的地塊（A）和雜草干擾程度嚴重的地塊（B）的樣本圖像，并將每種方法的處理結果整合，采用方法1.5提到的評價指標分別對不同方法得到的整合結果進行統計分析，結果如表3和表4所示。

在統計過程中發現，漏檢較多的情況下可能出現用戶精度偏大，漏檢與過檢同時較多的情況下可能出現相對誤檢率偏小，因此選用生產者精度作為識別果樹冠層位置精度的主要評價指標。由表3可知，基于超像素特征向量方法識別果樹冠層位置的生產者精度為90.83%，相比于基于光譜閾值、K-means聚類2種方法分別提高了10.98個、9.51個百分點，基于超像素特征向量方法的生產者精度與其他2種方法間差異顯著，表明基于超像素特征向量方法在識別果樹冠層位置的精度上優于其他2種分割方法。

由于基于光譜閾值方法的分割結果中存在較多的漏檢，導致該方法相對誤差為負，因此對3種方法的相對誤差絕對值進行比較。由表4可知，基于超像素特征向量方法提取果樹冠層輪廓的相對誤差為2.09%，F測度值為87.62%，相比基于光譜閾值、K-means聚類2種方法的相對誤差絕對值分別降低47.85個百分點、17.93個百分點，F測度值分別提高8.17個百分點、9.77個百分點， 基于超像素特征向量方法的相對誤差和F測度值與其他2種方法間差異顯著。其中在對地塊（A）與地塊（B）提取果樹冠層輪廓時，基于光譜閾值、K-means聚類2種方法的F測度值相差較大，基于超像素特征向量方法的F測度值相差較小。結果表明，基于超像素特征向量方法在提取果樹冠層輪廓上的精度優于其他2種方法。

3 結論

1）本研究提出一種基于超像素特征向量的果樹冠層分割方法。針對果園中無人機植保場景下，果樹冠層與雜草存在難以區分的情況，采用超像素作為圖像分割的基本操作單元，選用依賴較少標注樣本的SVM分類器實現果樹冠層與雜草分割。

2）選取相對誤檢率、生產者精度和用戶精度3個指標評價果樹冠層位置識別精度，選取相對誤差、F測度值2個指標評價果樹冠層輪廓提取精度。基于超像素特征向量方法的相對誤檢率為4.32%，生產者精度為90.83%，用戶精度為89.43%，相對誤差為2.09%，F測度值為87.62%。

3）將基于超像素特征向量的方法與基于光譜閾值、K-means聚類的2種方法作對比分析，結果表明，基于超像素特征向量的方法在果樹冠層分割上優于基于光譜閾值、K-means聚類的2種方法。

參考文獻：

[1] 何 勇，張艷超. 農用無人機現狀與發展趨勢[J].現代農機，2014（1）：1-5.

[2] 劉春鴿，趙麗偉. 我國植保無人機現狀及發展建議[J].農業工程技術，2018，38（12）：39-42.

[3] 婁尚易，薛新宇，顧 偉，等. 農用植保無人機的研究現狀及趨勢[J].農機化研究，2017，39（12）：1-6，31.

[4] 王大帥，張俊雄，李 偉，等. 植保無人機動態變量施藥系統設計與試驗[J].農業機械學報，2017，48（5）：86-93.

[5] 陳盛德，蘭玉彬，周志艷，等. 小型植保無人機噴霧參數對橘樹冠層霧滴沉積分布的影響[J].華南農業大學學報，2017，38（5）：97-102.

[6] 劉劍君，賈世通，杜新武，等. 無人機低空施藥技術發展現狀與趨勢[J].農業工程，2014，4（5）：10-14.

[7] 張云碩，史云天，董云哲，等. 農用植保無人機噴灑技術的研究[J].農業與技術，2015，35（21）：46-47.

[8] WU J T，YANG J G，YANG H，et al.Extracting apple tree crown information from remote imagery using deep learning[J]. Computers and Electronics in Agriculture，2020，174：105504.

[9] CSILLIK O， JOHN C，ROBERT J，et al. Identification of citrus trees from unmanned aerial vehicle imagery using convolutional neural networks[J].Drones， 2018，2（4）：39-54 .

[10]孫 俊，譚文軍，武小紅，等. 多通道深度可分離卷積模型實時識別復雜背景下甜菜與雜草[J].農業工程學報，2019，35（12）：184-190.

[11]王 璨，武新慧，李志偉. 基于卷積神經網絡提取多尺度分層特征識別玉米雜草[J].農業工程學報，2018，34（5）：144-151.

[12]BERGE T W，GOLDBERG S，KASPERSEN K，et al. Towards machine vision based site-specific weed management in cereals[J]. Computers and Electronics in Agriculture，2012，81：79-86.

[13]HAMUDA E，GLAVIN M，JONES E .A survey of image processing techniques for plant extraction and segmentation in the field[J]. Computers and Electronics in Agriculture，2016，125：184-199.

[14]BAI X D，CAO Z G，WANG Y，et al. Crop segmentation from images by morphology modeling in the CIE L*a*b* color space[J]. Computers and Electronics in Agriculture，2013，99：21-34.

[15]CAMILO P，LEONARDO S，NELSON V. Weed recognition by SVM texture feature classification in outdoor vegetable crop images[J]. Ingeniería e Investigación， 2017， 37（1）： 68-74.

[16]LE V，SELAM A，BENIAMIN A，et al. A novel method for detecting morphologically similar crops and weeds based on the combination of contour masks and filtered Local Binary Pattern operators[J]. Gigascience，2020，9（3） ：1-16.

[17]程湞湞，祁力鈞，程一帆，等. 基于M-LP特征加權聚類的果樹冠層圖像分割方法[J].農業機械學報，2020，51（4）：191-198，260.

[18]RADHAKRISHNA A，APPU S，KEVIN S，et al. SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Trans on Pattern Analysis and Machine Intelligence， 2012， 34（11）：2274-2282.

[19]劉俊偉，陳鵬飛，張東彥，等. 基于時序SentineI-2影像的梨樹縣作物種植結構[J].江蘇農業學報，2020，36（6）：1428-1436.

[20]董 松，徐曉輝，宋 濤，等. 基于過渡區研究的黃瓜病害識別方法[J].南方農業學報，2019，50（9）：2119-2126.

[21]王 振，張善文，王獻鋒. 基于改進全卷積神經網絡的黃瓜葉部病斑分割方法[J].江蘇農業學報，2019，35（5）：1054-1060.

[22]林升梁，劉 志. 基于RBF核函數的支持向量機參數選擇[J].浙江工業大學學報，2007，35（2）：163-167.

[23]陳崇成，李 旭，黃洪宇. 基于無人機影像匹配點云的苗圃單木冠層三維分割[J].農業機械學報，2018，49（2）：149-155，206.

（責任編輯：陳海霞）