基于改進語義分割模型的無人機多光譜圖像雜草分割

徐國欽 黃明鳳 黃建平

摘要：雜草與作物爭奪肥料、陽光等養分，從而影響作物生長，快速有效地清除雜草危害對提高作物的產量和品質具有重要意義。傳統的雜草防治方法常采取大面積噴灑除草劑等措施，無法滿足智慧農業的精細化管理要求，精確、可靠的雜草檢測是智能除草的關鍵。在卷積神經網絡模型PANet的基礎上進行改進，把原始特征提取網絡ResNet替換為DenseNet-12 采用FPA模塊提供像素級注意力信息，通過金字塔結構增加感受野。以無人機多光譜糖菜雜草圖像為研究對象，分別構建近紅外790 nm、紅色690 nm和歸一化植被指數NDVI的訓練數據集進行網絡訓練。發現PANet的訓練精度為97.38%，測試精度為93.41%;采用3通道（近紅外790 nm+紅色690 nm+NDVI）訓練的模型F1值最高為0.872。結果表明，該方法可以實現無人機多光譜圖像雜草的有效分割，可為農田雜草精確檢測和農作物生長狀況監測提供參考和借鑒。

關鍵詞：雜草;改進語義分割模型;無人機;多光譜;圖像分割;植被指數

中圖分類號：TP391.41 文獻標志碼： A

文章編號：1002-1302（2022）12-0212-08

收稿日期：2022-01-04

基金項目：黑龍江省自然科學基金（編號：TD2020C001）;中央高校基本科研業務費專項（編號：2572019CP19）。

作者簡介：徐國欽（1996—），男，遼寧鞍山人，碩士研究生，主要從事檢測技術與自動化裝置研究。E-mail：xuguoqin0609@163.com。

通信作者：黃建平，副教授，博士生導師，主要從事視覺檢測、圖像處理研究。E-mail：jphuang@nefu.edu.cn。

世界人口將在21世紀下半葉達到100億以上，世界人口快速增長對糧食農作物和資源的需求量越來越大[1];到21世紀中葉，自然資源的耗竭速度將是目前的3倍以上[2]。為了使農產品滿足人口不斷增長的需求，利用現代化技術手段實現農業產量和質量的最大化是有效的解決途徑。農田雜草與作物爭奪肥料、陽光等養分，從而影響作物的生長，快速有效地清除雜草危害對提高作物的產量和質量具有重要意義[3]。傳統的雜草防治方法主要包括耗時費力的人工除草、大面積農田噴灑除草劑的化學除草等，不能解決作物和雜草共生相互遮擋的問題，無法滿足智慧農業精細化管理的需求[4]（圖1）。隨著機器人和計算機技術的進步，采用圖像處理技術的智能農業機械裝備如田間除草機器人[5-6]等取得了快速的發展，能夠實現選擇性除草、特定點除草劑噴涂和智能機械鋤草等精準除草方式，可以有效降低農藥的危害，提高農產品的品質[7-9]。

精確、可靠的雜草檢測是智能除草的關鍵[10]。毛文華等利用苗期田間作物的位置特征，提出一種基于機器視覺的分割苗期田間雜草算法[11]。胡波等通過引入像素灰度級和鄰域灰度級構成二維直方圖，提出一種雜草彩色圖像分割算法，提高了雜草的識別率[12]。胡盈盈等采集玉米和雜草的光譜信息，篩選出有效特征波段并帶入到貝葉斯判別模型中，進而實現快速準確識別玉米田間雜草[13]。馬兆敏等提出一種基于BP神經網絡的雜草分割方法，該方法利用Bayes理論獲得顏色空間中非線性最優分割曲面，減小了分割誤差[14]。為進一步提高雜草的識別性能，鄧向武等提出基于植物葉片形狀、紋理及分形維數等多特征融合的雜草識別方法[15-17]。傳統的計算機視覺和圖像處理方法在雜草檢測和分割上取得了較好的效果，但農作物和雜草邊界存在一定的模糊性，給精準雜草檢測和分割帶來了挑戰。隨著機器學習的發展，基于數據驅動的深度學習技術被應用于植物物種分類、植物病蟲害檢測和雜草識別等農林鄰域[18-20]。深度學習方法利用空間和語義特征可以有效提高雜草識別和檢測的準確性。溫德圣提出基于Faster-RCNN模型的復雜特征雜草準確分類及定位方法，并與SSD、TOLOv3方法以及VGG16、VGG19、ResNet50、ResNet101這4種卷積模型進行對比，發現該方法具有更高的雜草識別率[21]。Sa等通過訓練密集語義分割模型SegNet實現了無人機多光譜圖像雜草的

準確分割[22]。姜紅花等采用基于Mask R-CNN的雜草檢測方法提高了田間復雜環境下雜草的分割精度，并利用該方法設計農藥變量噴灑裝置實現了農藥的精準噴灑[23]。孫俊等通過融合近紅外與可見光圖像構建多通道輸入并采用深度可分離卷積的方法，減少了環境對分割效果的影響，并提高了分割精度[24]。Khoshboresh-Masouleh等開發出一種輕量級的、端到端可訓練的無人機多光譜影像分割方法，實現了甜菜田間雜草的準確分割[25]。Su等提出一種基于隨機圖像裁剪和修補（RICAP）方法的新型數據增強框架，該框架能夠有效地用于語義分割任務的數據增強，可以解決作物和雜草分類過程中過度擬合的問題[26]。Zhang等提出一種結合改進Grabcut算法、自適應模糊動態k-means算法和稀疏表示分類（SRC）的雜草物種識別方法，該方法不需要人工交互，能自動分割背景并有效識別雜草種類[27]。本研究對語義分割模型PANet進行改進，并將其應用于無人機多光譜影像的雜草分割。利用無人機搭載多光譜傳感器在使用不同除草劑用量的田地上采集數據，其中包括只有雜草、只有作物和作物雜草混合3種類型的數據集。通過提取歸一化植被指數作為地面實況，利用不同輸入通道組合訓練3種模型，發現該方法可以有效提高雜草-作物多光譜圖像的分割效果。

1 數據和方法

1.1 數據采集與處理

本研究采用2017年瑞士蘇黎世聯邦理工大學采集的甜菜和雜草圖像作為數據集[22]，該數據集是在蘇黎世的農場使用無人機搭載多光譜相機實地高空俯視平行拍攝試驗區域的圖像，無人機選用DJI Mavic型號搭載SequoIa MultiSpectral四通道多光譜傳感器。試驗區域為40 m×40 m作物-雜草試驗田。將不同劑量的除草劑用于試驗區域，將試驗區劃分為3個部分：默認劑量最大區域只包含作物，中等劑量區域作物雜草混合生長，還有一片區域只有雜草。由于植物的邊界很難區分，需要某些領域的專業知識，所以作物-雜草圖像的手動標注極具難度。本數據集在植物專家指導下標注了132張作物、243張雜草、90張作物-雜草多光譜圖像，包含近紅外波段（790 nm）、紅色波段（660 nm）和NDVI圖像（圖2、表1）。其中，NDVI圖像來自對應的近紅外和紅色通道圖像。NDVI計算公式為，植被指數NDVI能夠清楚地反映土壤和植物之間的差異。數據集中所有圖像大小均為640像素×640像素。本研究在訓練模型時采用以下方法擴充訓練樣本數據集。第一，隨機裁剪。將輸入的圖像隨機裁剪掉相同的部分。第二，銳化增強算法。去除一些細小的干擾細節和圖像噪聲，比一般直接使用卷積銳化算子得到的圖像更可靠。第三，隨機翻轉。將圖像在豎直、水平方向翻轉。第四，隨機噪聲。在圖像中隨機加入少量的噪聲。該方法對防止過擬合較有效，會讓神經網絡不能擬合輸入圖像的所有特征。第五，調整圖像對比度與亮度。數據增強示例見圖3。D59F83FD-BB1A-4987-968D-15A933D7EE84

1.2 研究方法

本研究提出一種改進語義分割PANet模型的無人機多光譜影像雜草分割方法。將原始主干網絡深度殘差網絡ResNet替換為密集卷積網絡DenseNet，減少網絡參數量，提高特征利用效率。PANet將注意力機制和空間金字塔結構相結合，以實現提取準確而密集的特征并獲取像素標簽的功能。具體而言，PANet引入一個特征金字塔注意力模塊（Feature Pyramid Attention module），在高層的輸出上施加空間金字塔注意力結構，并結合全局池化策略來學習更好的特征表征。此外，利用每個解碼器層中的全局注意力上采樣模塊（Global Attention Upsample module）得到的全局上下文特征信息，作為低級別特征的指導，以此來篩選不同類別的定位細節。提高整個模型對特征圖空間信息的利用能力，從而提高圖像分割精度（圖4）。

1.2.1 密集卷積網絡DenseNet-121 本研究對PANet語義分割模型進行修改，把殘差網絡 ResNet-101替換為DenseNet-121作為主干網絡。

DenseNet-121網絡與ResNet101網絡結構對比見表2。DenseNet-121結構有121層網絡，每層之間密集相連，相比ResNet-101網絡前者每層學習得到的特征圖會作為輸入傳給后面所有層，這樣可以減少大部分計算量和參數量并提高網絡的效率。同時，該方法還使用復雜度低的淺層特征，能夠更好地解決樣本較少時容易產生過擬合的問題。

1.2.2 特征金字塔注意模塊FPA 特征金字塔注意（FPA）模塊通過實現類似特征金字塔網絡的“U”形結構，融合3種金字塔尺度下的特征（圖5）。為了更好地提取不同尺度下金字塔特征的上下文信息，本研究在金字塔結構中分別使用3×3、5×5、7×7 的卷積核。由于高層次特征圖的分辨率較小，因此使用較大的內核并不會帶來太多的計算負擔。金字塔結構逐步集成不同尺度下的特征信息，這樣可以更準確地結合相鄰尺度的上下文特征。經過1×1 卷積后，由卷積神經網絡所提取的原始特征通過金字塔注意力特征進行逐像素相乘。此外，還引入全局池化分支來聯結輸出的特征，這將進一步提高FPA模塊的性能。利用空間金字塔結構，FPA可以融合不同尺度的全局信息，對高級特征產生更好的像素級注意力。不同于PSPNet和ASPP模塊需要做通道降維，FPA是全局信息與原始特征做逐像素相乘，可以減少大部分計算量。

1.2.3 全局注意力上采樣模塊GAU 本研究采用全局注意力上采樣模塊（GAU）。通過全局池化過程將全局上下文信息作為低層特征的指導，來選擇類別的定位細節。具體而言，對低層次特征執行 3×3 的卷積操作，以減少卷積神經網絡特征圖的通道數。從高層次特征生成的全局上下文信息依次經過1×1卷積、批量歸一化和相關非線性處理，然后再與低層次特征相乘。最后，高層次特征與加權后的低層次特征相加并進行逐步上采樣過程。GAU模塊不僅能夠更有效地適應不同尺度下的特征映射，還能以簡單的方式為低層次的特征映射提供指導信息（圖6）。

2 結果與分析

2.1 試驗環境與模型參數

本試驗于2021年5月在東北林業大學進行。軟件環境為：Ubuntu 18.04 LTS 64位操作系統，基于Pytorch（1.4.0）開源深度學習框架并使用Python（Python 3.8）作為編程語言。硬件環境：處理器為IntelCore i7-9700k;計算機內存為16 GB;GPU型號為NVIDIA GeForce RTX 080Ti，11 GB顯存，使用CUDA Toolkit10.0和CUDN V7.6.5作為網絡模型訓練加速工具包。模型訓練采用動量為0.8的隨機梯度下降算法進行優化，初始學習率為0.00 權重衰減為0.00 以3幅圖像為1個批次進行100次完整迭代。使用交叉熵損失函數，類別損失權重分別為0.4、1.0、1.4作為類別平衡。由圖7可知，模型的訓練損失值和驗證損失值隨迭代次數增加逐漸降低，沒有出現欠擬合和過擬合以及梯度消失等問題。

2.2 量化評價指標

為了清晰準確地評估模型對雜草分割的效果，本研究使用像素準確率（pixel accuracy，PA）、精確率（precision）、召回率（recall）和F1值作為評價指標。其中：PA表示像素點分類的精度，用圖像中分類正確的像素點數量與像素點總數的百分比來表示，該值越大，說明模型效果越好;Precision是指分割出的雜草區域與實際雜草區域的符合程度;Recall是指正確分割雜草樣本數占總樣本數的百分比;F1值結合了精確率和召回率，能夠更加全面地反映雜草分割精度，F1值越大精度越好。各量化指標計算公式如下：

Precision=TPTP+FP;（1）

Recall=TPTP+FN;（2）

F1=2×TPN+TP-TN;（3）

PA=TP+TNTP+TN+FP+FN。（4）

式中：TP（true positive）表示真正例;TN（true negative）表示真反例;FN（false negative）表示假反例;FP（false positive）表示假正例;N表示樣本總數。本研究還使用AUC（area under the ROC curve）作為評價指標，AUC實際上就是ROC曲線下的面積，可以直觀反映分類器的分類效果。

2.3 討論

本研究對比深度學習中常見的特征提取網絡ResNet-18、ResNet-50、ResNet-101與DenseNet-121在測試集上的性能。準確率PA結果見圖8，可見本研究采用的DenseNet-121特征提取網絡精度最高，相比其他殘差網絡準確率都有小幅提升。D59F83FD-BB1A-4987-968D-15A933D7EE84

由圖9可知，模型的訓練精度隨迭代次數增加逐漸提高，對于模型的測試精度存在相同規律沒有出現欠擬合或過擬合以及梯度消失等問題。總體來看，模型的訓練精度和測試精度分別達到97.38%、93.41%。

采用改進PANet方法的不同輸入數據3個模型的F1值見圖10，其中黃色、綠色和紅色條形圖顯示不同數量輸入通道的性能指標，紅色條形3通道模型（近紅外+紅色+NDVI）效果比其他2通道好，對作物雜草分類的性能優于其他模型。由圖11可知，該分類器分類效果很好。

使用效果最好的三通道模型對無人機多光譜田間圖像進行預測，得到雜草圖像分割結果（圖12）。其中每行代表1個圖像示例，前3列為3通道輸入，第四列為標注的地面真值，第五列為分割結果。由圖12可知，本研究提出的模型能夠較好地分割雜草和作物，無明顯誤分和漏報現象。但仍可以看到極少數一些邊界區域有混合的情況，如圖12中分割結果第四行。這通常出現在農作物和雜草彼此包圍的時候，說明網絡不僅可以捕獲低層次的特征，如邊緣或強度，還可以捕獲物體的形狀和紋理。因此，復雜背景下對多目標區域的分割仍需進一步改進。

采用相同的數據集訓練DeepLab模型和SegNet模型與本研究方法進行對比，對比結果見圖13，可見本研究方法PANet的F1值比DeepLab和SegNet高。由圖14可知，其他2種網絡分割結果識別不完整、像元出現破碎形狀、有椒鹽現象產生。

3 結論

本研究采用改進的深度語義分割網絡PANet、多光譜圖像的光譜值特征和植被指數，對田間農作物雜草分割進行研究。發現近紅外波段+紅色波段+NDVI組合的模型分割效果最好，訓練精度為97.38%，測試精度為93.41%。經過3種模型比較，發現植被指數可以對田間農作物多光譜圖像雜草分割起到促進作用。利用多光譜圖像技術和改進后PANet卷積神經網絡可以在自然環境下實現田間農作物雜草的高精度分割。雖然本研究訓練了大量作物和雜草圖像的模型，但自然界存在不同類型的雜草和作物模型尚未訓練。下一步將構建作物、雜草更豐富的數據集，實現自然環境下雜草的智能準確識別，進而為田間作物雜草侵害程度研究提供技術支持。

參考文獻：

[1]梁 強. 人口與經濟、環境協調發展問題研究[D]. 大連：東北財經大學，2010：25-28.

[2]周天勇，田 博. 新形勢下我國人口與糧食安全戰略思考[J]. 中國經濟評論，2021（7）：36-40.

[3]強 勝.中國雜草生物學研究的新進展[J]. 雜草學報，2018，36（2）：1-9.

[4]張朝賢，錢益新，胡祥恩. 農田化學除草與可持續發展農業[J]. 農藥，1998，37（4）：8-12.

[5]陳子文，張春龍，李 南，等. 智能高效株間鋤草機器人研究進展與分析[J]. 農業工程學報，2015，31（5）：1-8.

[6]傅雷揚，李紹穩，張 樂，等. 田間除草機器人研究進展綜述[J]. 機器人，202 43（6）：751-768.

[7]劉成良，林洪振，李彥明，等. 農業裝備智能控制技術研究現狀與發展趨勢分析[J]. 農業機械學報，2020，51（1）：1-18.

[8]馬 旭，齊 龍，梁 柏，等. 水稻田間機械除草裝備與技術研究現狀及發展趨勢[J]. 農業工程學報，201 7（6）：162-168.

[9]權龍哲，肖云瀚，王建宇，等. 智能除草裝備苗草模式識別方法研究[J]. 東北農業大學學報，2018，49（9）：79-87.

[10]趙 博，王宗甲，周 鵬，等. 智能雜草識別系統的設計與試驗（英文）[J]. 農業工程學報，2012，28（增刊2）：184-187.

[11]毛文華，王一鳴，張小超. 基于機器視覺的苗期雜草實時分割算法[J]. 農業機械學報，2005，36（1）：83-86.

[12]胡 波，毛罕平，張艷誠. 基于二維直方圖的雜草圖像分割算法[J]. 農業機械學報，2007，38（4）：199-202.

[13]胡盈盈，王瑞燕，郭鵬濤，等. 基于近地光譜特征的玉米田間雜草識別研究[J]. 江蘇農業科學，2020，48（8）：242-246.

[14]馬兆敏，黃 玲，胡 波，等. 基于神經網絡的雜草圖像分割算法[J]. 計算機工程與應用，2009，45（24）：216-218.

[15]鄧向武，齊 龍，馬 旭，等. 基于多特征融合和深度置信網絡的稻田苗期雜草識別[J]. 農業工程學報，2018，34（14）：165-172.

[16]何東健，喬永亮，李 攀，等. 基于SVM-DS多特征融合的雜草識別[J]. 農業機械學報，2013，44（2）：182-187.

[17]趙川源，何東健，喬永亮. 基于多光譜圖像和數據挖掘的多特征雜草識別方法[J]. 農業工程學報，2013，29（2）：192-198.

[19]劉忠偉，戚大偉. 基于卷積神經網絡的樹種識別研究[J]. 森林工程，2020，36（1）：33-38.

[20]Liu J，Wang X W. Plant diseases and pests detection based on deep learning：a review[J]. Plant Methods，202 17（1）：22.

[21]溫德圣. 深度學習在復雜特征雜草識別中的研究與應用[D]. 烏魯木齊：新疆大學，2020：18-20.

[22]Sa I，Chen Z T，Popovic' M，et al. weedNet：dense semantic weed classification using multispectral images and MAV for smart farming[J]. IEEE Robotics and Automation Letters，2018，3（1）：588-595.

[23]姜紅花，張傳銀，張 昭，等. 基于Mask R-CNN的玉米田間雜草檢測方法[J]. 農業機械學報，2020，51（6）：220-228，247.

[24]孫 俊，譚文軍，武小紅，等. 多通道深度可分離卷積模型實時識別復雜背景下甜菜與雜草[J]. 農業工程學報，2019，35（12）：184-190.

[25]Khoshboresh-Masouleh M，Akhoondzadeh M. Improving weed segmentation in sugar beet fields using potentials of multispectral unmanned aerial vehicle images and lightweight deep learning[J]. Journal of Applied Remote Sensing，202 15：34510-034510.

[26]Su D，Kong H，Qiao Y L，et al. Data augmentation for deep learning based semantic segmentation and crop-weed classification in agricultural robotics[J]. Computers and Electronics in Agriculture，202 190：106418.

[27]Zhang S，Huang W，Wang Z.Combing modified grabcut，k-means clustering and sparse representation classification for weed recognition in wheat field-sciencedirect[J]. Neurocomputing，202 452：665-674.D59F83FD-BB1A-4987-968D-15A933D7EE84