基于雙注意力語義分割網絡的田間苗期玉米識別與分割

王 璨，武新慧，張燕青，王文俊

（山西農業大學農業工程學院，太谷 030801）

0 引言

除草是幼苗期作物田間管理的必要工作。為減少人工成本，當前大田除草作業以大面積噴灑除草劑為主[1-4]。這種化學防治方法易導致農業面源污染，影響田間土壤和水體環境，作物農藥殘留問題同樣無法避免[5-7]。另外，由于化學成分的使用限制，新除草劑的研發難以跟上雜草的抗藥性[8-9]。因此以減少除草劑使用為目標的除草農機裝備被廣泛研究[10-11]，主要工作方式有對靶噴藥、機械除草和電擊除草[12-14]等。在當前農業發展階段，以信息感知、自動導航、精準作業和智能管理為特點的各類智能農機裝備是組建無人農場的重要支撐[15]。智能田間除草設備要完成無人化的精準除草，必須以目標信息的智能精準感知為前提[16]，其所要解決的關鍵問題是實現田間作物和雜草的準確識別與分割。

作物雜草識別廣泛采用機器視覺的圖像識別方式[17-19]。在最新研究中，以基于深度學習的目標檢測方法為主，常用結構包括YOLOv3、Faster R-CNN和SSD等[20-24]。這類方法通過深度卷積神經網絡提取圖像特征，再通過不同手段確定包含單個作物植株或雜草目標的全部檢測框坐標及大小，并給出框內目標的所屬類別以及置信度，從而實現對圖像中各目標類別與位置的識別預測。作物雜草識別不同于果實識別和畜禽識別等其他農業圖像識別[25-26]，將其作為目標檢測任務來研究存在以下問題：1）圖像中待識別目標除作物外并不固定，這是由于雜草種類的多樣化以及位置分布的隨機性所決定的。目標檢測方法須檢測出作物和全部雜草才能達到識別效果。這就要求在數據集中對全部雜草目標進行標注且雜草種類應盡可能全面。2）人類視覺在進行作物與雜草識別時，只需確定哪些目標為作物即可判斷其余為雜草，雜草種類和數量并不重要。目標檢測方法若只對作物進行檢測，則由于作物形態的不規則，得到的檢測框中會包含較大面積背景，處于這部分背景內的雜草目標將不會被區分。3）在場景較為復雜的田間圖像中，作物與雜草間通常會出現不同程度的交疊現象，尤其在兩者距離很近或深入交疊的情況下，目標檢測方法所形成的作物與雜草檢測框也會出現大面積重疊，難以準確分割不同目標的區域邊界。

為解決上述問題，本文將作物雜草識別作為語義分割任務進行研究。基于深度學習的語義分割方法是當前計算機視覺領域實現場景完整理解的重要手段[27-28]，特點是能夠根據圖像內容對每個像素進行密集預測，推斷像素類別來完成細粒化推理[29-30]，具有相同標記類別的像素共同組成其所在目標區域，同目標檢測方法相比，不但能識別目標類別與位置，還可精確獲得目標的形態邊界，實現目標區域的精細分割。

基于此，本文提出基于雙注意力語義分割網絡的幼苗期田間玉米識別方法。首先建立幼苗期玉米語義分割模型，目標是玉米像素同其他所有像素的二分類，實現玉米區域的邊界分割。在確定玉米像素區域的基礎上，圖像中的其余綠色像素即可通過本文提出的圖像形態學處理方法判定為雜草，進而實現雜草的有效識別。本文方法有以下2個特點：1）該方法在識別過程中不需考慮雜草及其種類，可減少分類類別對識別精度的影響，降低圖像標注量。2）通過像素級的識別結合形態學處理，可準確識別玉米和雜草的形態區域，解決作物與雜草交疊時檢測框重疊帶來的檢測目標無法精確分割的問題。在復雜田間場景圖像數據集上對本文方法進行試驗，以期實現更精準的作物雜草識別與分割，為智能除草裝備研發提供技術支撐。

1 材料與方法

1.1 圖像采集

本研究以幼苗期玉米的田間場景為研究對象，采集圖像用于本文語義分割模型的訓練、調整和測試。

為保證樣本圖像的代表性與多樣性，綜合考慮環境差異、光線差異以及玉米幼苗不同生長階段確定采集方案。從多處不同的實際田間環境中采集圖像，地點分布于山西省晉中市太谷區內多個村莊的玉米田。一般情況下，玉米苗后除草劑的使用期在2～5葉期，因此選擇尚未進行人工除草或噴灑除草劑的地塊，在2～5葉期間進行3次圖像采集，每次圖像采集均在3個不同時間段下完成，代表實際應用時可能的作物生長階段以及光線條件。圖像采集設備為Mi 10Pro手機，采用垂直俯視方式拍攝，設備距地面高度在50～60 cm之間隨機變化，使獲取的圖像具有不同尺度。圖像的原始分辨率為2 266像素×2 266像素，保存為jpg格式。共采集幼苗期玉米田間圖像1 000張。

在所采集的大部分圖像中，玉米幼苗同雜草、土壤和秸稈等復雜背景共存，至少包含1個完整或局部的玉米目標。此外，圖像中玉米幼苗和雜草的相對分布位置完全隨機，涵蓋玉米雜草存在交疊的各類復雜情況，盡可能保證識別分割難度與實際應用情況相同。

1.2 數據集構建

將圖像分辨率調整為512像素×512像素，在保證語義分割效果的前提下加快模型推理速度。除此以外不進行任何圖像處理操作，旨在盡可能減少圖像輸入模型前的各種預處理環節，使模型學習并獲得從原始圖像進行分割的能力，保證分割過程簡單且有效。

采用labelme（v4.5.6）工具對全部圖像進行手工精確標注。標注模式為多邊形（Ploygons），僅對圖像中的玉米目標區域進行標注，其他區域全部歸為背景。生成的標簽圖像（Label）中玉米幼苗像素值為1，背景像素值為0，標記配色為玉米幼苗RGB=[128, 0, 0]，背景RGB= [0, 0, 0]，標簽以png格式保存。標注如圖1所示。

按照PASCAL VOC 2012格式制作數據集。考慮數據集的隨機均勻分布，按照70%、20%和10%的比例隨機打亂并劃分圖像，分別作為模型的訓練集（700幅）、驗證集（200幅）和測試集（100幅），各集合之間相互獨立，無重復圖像樣本。

1.3 語義分割網絡選擇

本研究選擇6種達到當前最高水平（State Of The Art，SOTA）的深度學習語義分割模型，DANet、PSANet、DeepLabv3+、ANN、GCNet以及ENCNet[31-36]。其中DANet通過自注意機制來自適應集成局部特征的全局上下文信息，提高場景分割任務中特征表達的判別能力；PSANet網絡從信息流的角度構建自適應的雙向注意力機制，對圖中目標的位置和類別信息較為敏感；DeepLabv3+在空洞全卷積網絡的基礎上引入編碼器-解碼器結構，融合多尺度特征信息，提升分割邊界的準確度；ANN采用非對稱的金字塔非局部模塊來替代傳統的非局部網絡，在保持分割性能的同時降低了計算復雜度；GCNet結合經典SENet與非局部網絡的結構優點，能夠對全局上下文關系有效建模，同時保持網絡的輕量化；ENCNet引入上下文編碼模塊捕獲全局語義信息，同時突出與場景相關聯的類別信息。基于本文所建立的幼苗期玉米語義分割數據集，在相同的平臺與配置下對6種網絡結構進行對比分析，根據網絡在訓練、驗證與測試中的綜合表現確定采用DANet網絡架構。

1.4 幼苗期玉米語義分割模型

雙重注意力網絡（Dual Attention Network，DANet）在經典FCN網絡的基礎上增加了2種注意力模塊，分別構建特征圖不同維度上的大范圍語義關系。雙重注意力機制的結合能夠生成更具判別能力的特征表達，從而取得更好的像素級推理效果。在DANet基礎上作進一步調整，建立具有準確性和快速性的幼苗期玉米語義分割模型。主要改進之處包括：主干網絡、注意力機制、模型架構和損失函數4部分。

1.4.1 主干網絡

主干網絡負責模型的特征提取任務，對于語義分割結果具有重要影響。研究表明，深層次的網絡結構能夠獲取更抽象的特征分層表達，具有更高的分割精度。

考慮圖像中幼苗期玉米與雜草的類間相似性和目標交疊問題，在語義分割上存在一定難度。為保證分割精度，本文采用ResNet-101作為主干網絡，并通過結構調整降低計算量。資料顯示在ResNet結構中，卷積的計算量與核的寬度或高度成二次方關系[37]，7×7卷積的計算量是3×3卷積的5.4倍。由此對ResNet-101作如圖2所示的調整：將網絡輸入干（Input Stem）中的7×7卷積替換為3個3×3卷積，其中第1及第2層卷積的輸出通道數均為32，步長s=2，最后1層卷積的輸出通道數為64；移除原網絡中的下采樣操作，并在最后2個殘差網絡塊中使用空洞卷積，使最終特征映射大小為輸入圖像的1/8，保留更多細節且不增加額外參數。調整后的主干網絡記為ResNet-101-C。

1.4.2 注意力機制

在特征圖的位置維度中引入遞歸交叉注意力（Recurrent Criss-Cross Attention，RCCA）機制，計算特征圖中每個像素與其所在十字路徑中像素的關系，通過2次循環間接獲得每個像素與全部像素的上下文信息，降低空間注意力圖的復雜度[38]，減少計算量。RCCA結構如圖3所示。

輸入特征圖F∈RC×H×W，分別經3個帶有1×1濾波器組的卷積層后生成3個特征圖F1、F2和F3∈RC×H×W（ RC×H×W表示特征矩陣的維度）。對于F1空間維度上的每一個位置p均可獲取向量F1pC∈R。同時提取F2中與p同行或同列位置所對應的向量組成集合Xp∈R(H+W-1)×C，其中第i個元素向量Xi,p∈RC。定義生成注意力矩陣元素的操作如下：

其中di,p表示F1p與Xi,p的相關度。計算i∈(1,…,H+W-1)和p∈(1,…,H×W)時的全部元素，再經Softmax層生成空間注意力圖A∈R(H+W-1)×(H×W)。同理，對F3空間維度中的每個位置p，可得向量F3p∈RC和集合Yp∈R(H+W-1)×C，其中Yp從F3提取。定義聚合操作如下：

其中Fp' 為輸出特征圖F'∈RC×W×H在位置p的特征向量，Ai,p是A在通道i和位置p處的標量值，Yi,p為Yp中第i個向量，Fp是F在位置p的特征向量。該操作根據空間注意力圖將上下文信息添加到特征圖中以增強像素級特征表達。以 'F作為輸入，再循環執行1次上述操作，最終輸出特征映射 ''F。由此得到所有像素的完整上下文信息并生成新特征。

在特征的通道維度上，采用通道注意力模塊（Channel Attention Module，CAM）構建各通道間的大范圍語義依賴關系，提高特征的可判別性，結構如圖4所示。

將輸入特征圖F∈RC×H×W重構為E∈RC×N。對E、ET應用矩陣乘法再經Softmax層生成通道注意力圖B∈RC×C：

其中bj,k表示第k通道對第j通道的影響，Ek、Ej為E的第k行和第j行。計算特征圖 '=EBE并變換維度為RC×H×W，經下式生成最終輸出特征圖E''∈RC×H×W：

1.4.3 模型結構

本文采用編碼器-解碼器（Encoder-Decoder）結構[39]建立幼苗期玉米語義分割模型，如圖5所示。

其中編碼器負責提取高層次語義特征，采用上文改進的ResNet-101-C作為主干網絡建立特征映射。解碼器部分為雙注意力頭（DA head），通過RCCA與CAM機制同步構建特征在空間與通道維度上的大范圍語義依賴關系，并通過多個帶有3×3濾波器組的卷積層逐步重構特征信息，以此獲得更強的目標邊緣判別能力。最后通過帶有卷積和雙線性插值上采樣的分割層生成預測結果。此外，本文在編碼器-解碼器的基礎上增加全卷積頭（FCN head）作為輔助器[40]，結合主干網絡低層特征進行優化，通過衡量分割結果指導低層特征的訓練。綜合高層特征重構與低層特征優化，提高模型的推理能力。

1.4.4 損失函數

為使模型各部分均達到最佳訓練效果，將損失函數分為4項：1）分割損失Lossseg，評估模型輸出與真實值（Ground Truth）之間的不一致程度，衡量模型整體推理能力；2）RCCA損失Lossrcca，評估單以RCCA模塊重構特征的預測結果與真實值的不一致程度，驅動RCCA學習特征空間維度的大范圍上下文信息；3）CAM損失Losscam，評估單以CAM重構特征的預測結果與真實值的不匹配，引導CAM構建特征通道間的語義依賴關系；4）輔助損失Lossaux，評估輔助器的預測結果與真實值的不一致程度，優化特征提取結果。

各項損失采用二元交叉熵（Binary Cross Entropy Loss，BCE）損失函數進行計算，相應的預測結果經過Sigmoid輸出后參與計算，以更好地適應二分類問題。模型的總體損失函數Loss為

1.5 模型訓練與測試

1.5.1 試驗平臺

試驗平臺主要硬件配置為：AMD R5 3600X CPU 主頻3.8 GHz，64 GB內存，Nvidia RTX 2080Ti GPU 顯存11 GB。運行環境為Ubuntu 20.04操作系統，Python 3.8.5版本語言，Pytorch 1.6深度學習框架，配備CUDA 10.2并行計算架構，cuDNN 8.0.4深層神經網絡GPU加速庫以及OpenCV 4.5.1計算機視覺庫。

1.5.2 訓練策略

使用遷移學習方法訓練模型。主干網絡先經ImageNet大型數據集進行預訓練，使特征提取網絡達到一個相對最優的參數空間。再將主干網絡連同解碼器、輔助器在本文數據集上進行微調（Fine-tune），從而達到對于特定場景更好的預測分割效果。

為避免小樣本量可能引起的模型過擬合與欠擬合問題，本文在數據輸入管道（Pipeline）中進行數據增強操作，包括尺寸變換、隨機裁剪、隨機翻轉和歸一化。訓練時通過增加迭代次數間接擴展數據量。綜合考慮計算資源與學習效率，設置每批次訓練圖像為2幅，迭代次數為20 000。

采用頭部學習率大于主干網絡學習率的學習策略，使模型更快收斂并保證性能穩定。優化方法采用隨機梯度下降（Stochastic Gradient Descent, SGD），初始學習率設為0.0025，動量因子（Momentum）為0.9，權重衰減系數（Decay）為0.0005。主干網絡學習率lr的更新計算方法如下：

其中lr0為初始學習率，iter為當前迭代次數，itermax為總迭代次數，學習率更新下限為10-5。在此基礎上，解碼器與輔助器的學習率均設為10×lr。

1.5.3 評價指標

為量化分析模型性能，本文采用語義分割的標準化評價指標衡量模型在驗證集與測試集的表現，主要包括平均交并比（Mean Intersection Over Union，mIoU）和平均像素識別準確率（Mean Pixel Accuracy，mPA）。

mIoU用于評價模型總體目標區域的分割準確度，是預測區域與真實區域在像素層面的交集和并集之比，反映兩者之間的重合程度，定義如式（7）所示。

其中TP表示預測正確的玉米像素數量，FP是將背景預測為玉米的像素數量，TN為預測正確的背景像素數量，FN是將玉米預測為背景的像素數量。

mPA表示2個預測類別的平均像素識別準確率，是評價模型像素預測精度的主要指標，表示全部類別中正確預測的像素平均比例，定義如式（8）所示。

上述各項指標的計算元素均通過被測圖像集中全部像素的混淆矩陣統計結果進行計算，在保證測試樣本量的條件下具備統計意義，可基本排除隨機因素影響。此外，采用每秒幀數（幀/s）評估模型的分割速度。

1.6 雜草識別與分割方法

在實現幼苗期玉米語義分割的基礎上，本文進一步以圖像形態學處理方法完成雜草識別與分割，流程如圖6所示。

首先通過歸一化的超綠特征法對圖像進行灰度化處理，增強圖像綠色區域并弱化背景。然后采用最大類間方差法（Otsu）對灰度圖像進行二值化，再經過面積濾波去除小噪聲干擾，獲得包含玉米幼苗和雜草目標的綠色區域與包含土壤、秸稈等其他非綠色區域的二值分割。同時，對本文語義分割模型所生成的玉米預測分割圖進行輕度膨脹以修正邊界，使分割完全覆蓋玉米幼苗區域。通過取反操作后和綠色區域二值分割圖進行與運算，消除綠色區域中的玉米目標，余下區域則可全部判定為雜草。最終得到雜草分割圖，標記配色RGB=[0, 128, 0]。

2 結果與分析

2.1 不同網絡架構性能對比

在相同的平臺配置條件下，建立DANet、PSANet、DeepLabv3+、ANN、GCNet和ENCNet，在幼苗期玉米語義分割數據集上進行訓練、驗證和測試。各網絡架構在訓練過程中的損失函數變化曲線如圖7所示。

由圖7可知，各網絡架構對于幼苗期玉米語義分割數據集均能達到良好的訓練過程。損失函數值的變化情況基本相同。在訓練初期損失快速降低，中期平穩小幅減少，后期基本趨于穩定，網絡收斂。最終迭代時，DANet的損失值最小，為0.023。

在訓練過程中，每2 000次迭代對網絡性能進行1次驗證。各網絡架構的驗證集表現如圖8所示。

由圖8可知，各網絡架構在訓練過程中的驗證集mIoU整體呈上升趨勢，說明網絡泛化性能均隨迭代逐漸增強。PSANet、DeepLabv3+和GCNet的mIoU存在較大波動，說明網絡訓練后并不能保證對于驗證集的區域分割效果，易出現過擬合導致泛化能力不穩定。ANN與DANet在中后期表現相似。約10 000次迭代后，DANet的驗證集mIoU基本保持線性上升，且始終大于其他網絡，完成最終迭代時為92.73%。DANet的mPA在約12 000次迭代后始終大于其他網絡，完成最終迭代時為96.88%。對比分析表明，DANet架構表現最佳，具有最高的mIoU和mPA，能夠保證良好的泛化能力。

對訓練后的各網絡架構在測試集上進行測試，結果如表1所示。

表1 不同網絡在測試集上的性能對比 Table 1 Performance comparison of different networks in test set

由表1可知，各網絡對測試集的整體性能和預測精度方面，DANet表現最佳，mIoU為92.80%，相對于PSANet、DeepLabv3+、ANN、GCNet和ENCNet分別提高1.90%、1.38%、0.52%、1.16%和0.34%，平均提高1.06%；mPA為94.66%，相對于PSANet、DeepLabv3+、ANN、GCNet和ENCNet分別提高1.61%、0.83%、0.39%、0.58%和0.72%，平均提高0.83%。在分割的快速性方面，不同網絡間差異較小，平均分割速率為15.18幀/s。要實現精確的像素級語義分割，網絡結構通常更為復雜，影響分割速度。DANet的雙注意力結構可有效提高網絡性能，但快速性處于平均水平。綜合分析各網絡架構的訓練、驗證和測試表現，選擇DANet作為原始網絡架構。

2.2 幼苗期玉米語義分割模型訓練效果

在DANet基礎上，改進并建立幼苗期玉米語義分割模型。按照設定策略進行訓練，學習效果如圖9所示。

由圖9可知，總體損失Loss通過學習快速降低，后平穩減少并最終達到收斂，說明改進損失函數所引入的Lossseg、Lossrcca、Losscam以及Lossaux能夠為總體損失提供有效的懲罰項且無額外干擾，涵蓋模型的各主要部分，使模型在整體上快速收斂。在訓練初期各損失項以極快的速度下降到較低水平，說明模型各部分能夠迅速進入全局最優解范圍。原因在于本文改進后的學習策略能夠使各網絡頭在優化過程中快速跳出局部最優解，中后期學習率衰減使損失值趨于平穩，保證訓練結果的穩定性。模型最終Loss值為0.046，其中衡量模型輸出性能的Lossseg值為0.013，比原始網絡架構的損失值約降低0.01。表明本文模型具有很好的收斂效果。

在訓練過程中，每2 000次迭代對本文模型進行1次驗證集測試。考察模型整體分割性能以及預測精度的變化情況，并與原始網絡表現進行對比，結果如圖10所示。

幼苗期玉米語義分割模型的平均交并比在整個訓練過程中均高于原始網絡，曲線變化趨勢基本保持一致。初次驗證時mIoU為91.75%，相對于原始網絡提高了1.92%。終止迭代時mIoU為93.98%，相對于原始網絡提高了1.35%，表明本文模型的總體性能在訓練過程中優于原始網絡，對于驗證集數據具有更好的區域分割表現。這是由于模型在雙重注意力基礎上進一步采用了編碼器-解碼器結構，通過分割結果優化不同尺度特征，進而達到更好的效果。

幼苗期玉米語義分割模型在初次驗證時mPA為94.64%，同原始網絡相比提高1.26%。訓練中期mPA出現低于原始網絡的現象，可能是由于引入遞歸交叉注意力所致。在構建特征空間維度的大范圍上下文關系時，特征圖中每一位置并未全部參與計算，而是通過2次交叉間接計算出全部像素間的上下文信息。雖有效降低了空間注意力圖的維度，但參數量的減少也導致部分像素識別精度降低，需更多迭代達到平衡。訓練后期本文模型的mPA均高于原始網絡，終止迭代時為97.48%，相對于原始網絡提高了0.62%。表明經過充分訓練的玉米語義分割模型在驗證集上的像素預測精度優于原始網絡，提升幅度較小。

綜合上述分析可知，幼苗期玉米語義分割模型的性能能夠通過學習獲得更大的提升，在整個訓練過程中，模型的總體表現優于原始網絡，說明相關改進可對模型產生良性影響，在整體分割性能方面有一定程度的提高，對于像素預測精度的提高較小。

2.3 幼苗期玉米語義分割模型測試

為考察幼苗期玉米語義分割模型的實際泛化能力，在訓練完成后通過測試集數據對模型進行測試，同時與原始網絡進行對比，結果如表2所示。

表2 幼苗期玉米語義分割模型的測試集測試結果 Table 2 Test results in test set of semantic segmentation model for seeding stage maize

由表2可知，本文模型在測試集上達到了更好的整體性能，mIoU為94.16%，相比于原始網絡提高1.47%，表明本文模型對于圖像中各類別區域的分割結果更準確，在目標整體預測性能方面具有更強的實際泛化能力。本文模型的mPA為95.68%，相比于原始網絡提高了1.08%，說明本文模型對于圖像中各類別像素的預測結果更準確，在像素識別的精確性上具有更好的實際泛化能力。在分割速率方面，本文模型可達15.9幀/s，相比于原始網絡提高了4.61%，在保證推理準確性的前提下快速性有所加強。上述結果表明，本文模型在保有原始網絡架構性能的基礎上，對于目標區域分割準確性、像素識別精度和分割快速性方面的表現均有所提升，具有更好的實際泛化能力。

2.4 幼苗期玉米識別與分割效果

基于幼苗期玉米語義分割模型對測試集圖像進行推理，考察復雜圖像背景中幼苗期玉米目標的識別與分割效果。將分割圖可視化在原始圖像上，對分割效果同原始圖像以及真實值進行對比，部分結果如圖11所示。

在圖11中，圖像1的原始圖像包含幼苗期玉米和與其形態差異較大的雜草，兩者的顏色較為相似且存在葉片深入交疊的情況。圖像2的原始圖像中包含葉片彎曲的幼苗期玉米，同玉米形態相似以及不相似的多種雜草。玉米和多個雜草目標間存在交疊，此外還帶有秸稈和枯枝等干擾目標。圖像3的原始圖像中包含較多同幼苗期玉米葉片形態相似的雜草，且與玉米葉片存在交疊。圖像4的原始圖像中包含3個幼苗期玉米目標，其中2個出現深度交疊現象，植株中心位置基本一致，并與另外1個目標間存在葉片交疊，背景帶有雜草和秸稈等干擾目標。圖像5的原始圖像中包含大量同幼苗期玉米形態相似的雜草以及其他種類的雜草目標。圖像6、圖像7和圖像8代表更為復雜的幼苗期玉米田間環境，原始圖像中存在大面積形態各異的雜草以及秸稈、枯枝和石塊等背景目標。其中圖像6包含3個大小不同的玉米目標，圖像7含有較大的玉米目標，圖像8則含有較小的玉米目標，均與雜草存在不同程度的交疊。

根據圖11中各圖像分割圖與真實值的對比可知，本文模型能夠對復雜田間圖像中的幼苗期玉米目標進行準確的識別與分割，其分割結果與真實值基本相同。主要差異體現在：模型對于同幼苗期玉米形態相似的雜草局部區域內像素存在一定幾率的錯誤預測，出現將背景像素識別為玉米的現象，導致分割圖的準確性降低。該類錯誤主要出現在背景更為復雜且包含大量同幼苗期玉米形態相似雜草的田間圖像中，如圖像5的分割圖中所示。而對于背景組成較為簡單的田間圖像，即使包含較多同幼苗期玉米形態相似的雜草，也不會出現這類錯誤識別和分割，如圖像2和圖像3的分割圖中所示。次要差異表現在：背景組成復雜的田間圖像中，模型對于幼苗期玉米葉片尖端和局部邊界像素可能產生少量的錯誤預測，出現將玉米像素識別為背景的現象，如圖像7和圖像8中所示。由于幼苗期玉米葉片邊界在田間圖像中所表現出的隨機性和不規則性，該類錯誤在語義分割中通常難以避免。雖然導致模型性能指標的降低，但只對幼苗期玉米分割的區域整體效果造成輕微影響，在雜草分割前可通過圖像形態學處理對這類錯誤進行修正。

2.5 雜草識別與分割效果

在本文模型所生成的玉米分割圖基礎上，根據1.6節方法實現幼苗期玉米復雜田間圖像中雜草區域的識別與分割，部分結果如圖12所示。

作物與雜草識別的難點在于，當圖像背景組成較為復雜或幼苗期玉米與雜草之間存在深入交疊時，準確的目標識別和精確的邊界分割難以實現，這是當前研究中常用的目標框檢測方法難以解決的關鍵性問題。由圖12可知，本文方法能夠在識別幼苗期玉米目標的基礎上有效識別出背景中的雜草區域，同時獲得兩者的區域邊界。通過對比原始圖像和雜草分割圖可以看出，對于復雜圖像背景，雜草區域的識別與分割結果較為準確，且玉米區域被完整的保留。對于圖中一些很小的雜草，仍然可以分割出其所在區域。因此在保證幼苗期玉米語義分割模型性能的前提下，該方法可實現有效的雜草識別與分割。

2.6 與其他作物雜草識別方法的對比

本文方法與當前作物雜草識別研究中常用的目標檢測類方法相比，其優勢主要體現在對目標交疊問題的處理以及識別目標類別的簡化，兩者在識別效果上的差異示例如圖13所示。

在圖13a中，不限定目標檢測方法，假設對于各目標均可達到完美識別，所生成的檢測框如圖中所示。可以看出，識別結果為雜草的檢測框2與識別結果為玉米幼苗的檢測框1在接近中心位置處幾乎完全重疊 。在這種情況下，目標檢測方法無法進一步分割目標區域，此時若對檢測框2中的雜草進行除草操作將不可避免的破壞玉米幼苗。若不對檢測框1所在區域進行除草，則與該區域存在交疊的檢測框3、4、5中的雜草將在不同程度上被保留。由圖13b可知，本文方法能夠從形態邊界上完整的識別并保留玉米目標，分割后的雜草區域同玉米幼苗區域之間不存在交疊，在除草過程中互不影響。因此本文方法可對大部分帶有目標交疊的復雜田間圖像進行處理，識別與分割的精細程度符合智能除草裝備的實際應用需求。此外，本文方法僅對玉米幼苗進行識別，而目標檢測方法須識別出作物和全部雜草才能達到識別效果。

本文方法同語義分割類方法相比，其優勢在于圖像標注量的減少，兩者在標簽上的差異示例如圖14所示。若要實現玉米與雜草識別，在訓練語義分割模型的數據集中必須對玉米幼苗和各種雜草目標進行人工標注，如圖14b中所示，包含的玉米和雜草目標均需描繪其形態邊界并加注類別標簽。本文方法所建模型僅對玉米幼苗進行識別，因此在構建數據集時只描繪玉米的形態區域并加注類別標簽，如圖14c所示。對比圖14b和圖14c可知，需要人工標注的區域數量有效減少。

經測算，對于本文數據集，標注玉米幼苗和雜草的單張圖像平均耗時約為3 min，而只標注玉米幼苗的單張圖像平均耗時約為1 min，標注量減少約2/3。

本文同彭明霞等[21]和孟慶寬等[23]的研究相比，充分考慮了目標交疊情況下的作物與雜草分割問題，能夠實現復雜田間圖像的精細化識別與分割；與Khan等[41]提出的作物與雜草分割方法相比，平均交并比提高了12.85%；與之前的研究[42]相比，平均像素識別準確率提高了2.43%，識別單張圖像耗時從0.72 s縮短為0.06 s。總體而言，本文方法在當前作物與雜草識別的相關研究中具有一定的優勢。

3 結 論

為解決復雜田間圖像中作物雜草交疊等現象所帶來的識別與分割困難問題，探索具有更強實用性的作物雜草識別新方法，本研究提出了基于雙重注意力語義分割網絡的田間幼苗期玉米識別方法，在識別目標的同時，獲得玉米與雜草的區域分割。

1）對6種語義分割網絡進行對比分析，確定模型的原始架構。結果表明，雙注意力網絡架構對于本文數據集的訓練、驗證和測試均具有最佳表現，能夠對幼苗期玉米田間圖像進行像素級的預測分割。在驗證集上，迭代終止時平均交并比mIoU和平均像素識別準確率mPA分別為92.73%和96.88%。在測試集上，mIoU和mPA分別為92.8%和94.66%，預測分割速率為15.2幀/s。

2）在原始網絡架構基礎上，根據本文改進方法建立幼苗期玉米語義分割模型，實現對圖像中玉米幼苗的有效識別與分割。主要改進包括主干網絡、注意力機制、模型組織結構、損失函數以及學習策略。驗證結果表明，在整個訓練過程中，模型的總體性能優于原始網絡。終止迭代時mIoU和mPA分別為93.98%和97.48%，相比于原網絡提高了1.35%和0.62%。測試結果表明，模型在區域分割準確性、像素識別預測精度和分割快速性方面均有所提升，具有更好的實際泛化能力。測試集mIoU、mPA分別為94.16%和95.68%，相比于原網絡分別提高了1.47%和1.08%，預測分割速率可達15.9幀/s，提高了4.61%。圖像分割結果表明，通過本文方法建立的玉米語義分割模型能夠對復雜田間圖像中的玉米目標進行準確識別與精細分割。

3）同現有識別方法相比，本文方法充分考慮了作物雜草交疊情況下的區域分割問題，將識別模型的分類目標從多分類減少為2分類，同時圖像標注量降低約2/3，同之前的研究相比，平均像素識別準確率提高了2.43%，識別單張圖像耗時縮短為0.06 s。不足之處在于識別與分割速度在同類研究中不具備明顯優勢，在今后的研究中將進一步改進模型結構，提高方法的實時性，同時進一步擴大作物種類，構建通用化的作物雜草識別方法，為智能化除草裝備提供支持。