基于改進YOLOv3的雜草檢測研究

馬紀穎，羅 星，王一早，王書哲

（1.沈陽化工大學 計算機科學與技術學院，遼寧 沈陽 110142；2.沈陽化工大學 遼寧省化工過程工業智能化技術重點實驗室，遼寧 沈陽 110142）

0 引 言

農作物的生長周期往往會伴隨著雜草的不斷生長。雜草生命力旺盛，會與農作物爭奪水分、陽光、生長空間，影響農作物的正常生長。當前化學除草方式是治理雜草的主要措施，但這類方法存在許多缺點，比如會造成農產品品質降低、不必要的土壤污染和勞動力成本的增加。考慮到上述除草技術的不足，高效實時的農業自動化雜草檢測研究具有很強的現實意義，有利于推動農業可持續發展[1]。

目前，目標檢測[2]分為基于傳統機器學習和深度學習兩種檢測方式。前者主要通過學習目標的顏色、紋理等特征信息，再對這些區域進行特征提取，最后通過使用分類器對目標進行分類識別。Bakhshipour 等人[3]利用圖像濾波提取顏色和區域特征，然后對場景中每個目標進行標記，提出一種基于區域的分類方法，包括敏感度、特異性、正預測值和負預測值。Deng 等人[4]通過提取雜草圖像的顏色、形狀和紋理特征，并對其進行歸一化處理以解決稻田中雜草單一特征識別精度低的問題。但傳統目標檢測算法依賴于圖像采集方式、預處理方法和特征圖提取質量，無法在復雜的自然場景中準確地執行定位分類任務。

基于深度學習的目標檢測算法主要分為兩階段和單階段目標檢測算法。兩階段目標檢測算法首先通過相關算法生成目標候選框；再通過卷積神經網絡從候選框中提取特征，用于目標分類和邊界框回歸。典型算法有：RCNN[5]、Fast RCNN[6]、Faster RCNN[7]等。單階段目標檢測算法對特征圖上每個位置目標直接進行分類和回歸。常見的算法有SSD[8]、YOLO[9]、YOLOv2[10]、YOLOv3[11]等。

很多算法都是基于主流算法進行改進的，如溫德圣[12]提出一種基于卷積神經網絡Faster-RCNN 的模型，首先對不同光照環境下的雜草圖像進行顏色遷移等預處理；再利用構建好的深度卷積神經網絡，對候選框區域進行優化，得到最終的網絡識別模型。馬巧梅等人[13]利用Inception-SE 結構使得網絡更加收斂，實現多尺度融合，提高檢測精度。劉丹等人[14]首先利用反卷積對深度特征圖進行擴展，再將注意力模塊嵌入到特征提取網絡中，重新分配通道權重，增強關鍵特征。

上述研究多采用更深的網絡提升模型的檢測精度，但未對小尺寸的作物與雜草進行研究。因大部分作物雜草具有分辨率低、語義信息不足等特點，卷積神經網絡中經過多次下采樣后特征圖不斷縮小，造成特征提取困難，導致部分小尺寸雜草出現漏檢現象。

為了進一步提高模型的檢測精度，本文提出基于改進的YOLOv3 的雜草檢測算法。首先在特征融合網絡中增加一個特征融合模塊FFM，然后替換原模型中的上采樣方式，最后向主干網絡的殘差塊中嵌入Coordinate Attention注意力機制。通過對比實驗表明，改進后的算法對小尺寸雜草的檢測精度有所提高。

1 YOLOv3 算法

YOLOv3 算法主干特征提取網絡DarkNet53 由若干個DBL 模塊和殘差塊構成，DBL 模塊由卷積層、批標準化層和Leaky ReLU 激活函數三部分組成。同時，YOLOv3 算法借鑒殘差網絡[15]和特征金字塔網絡[16]的思想，通過殘差塊的堆疊，在加深網絡深度的同時，緩解了數據在深層網絡訓練過程中出現的梯度消失和梯度爆炸的問題。同時使用特征金字塔網絡加強特征提取能力，采取了多尺度訓練，并最終產生尺度大小分別為13×13、26×26、52×52 的檢測頭，分別用于檢測大、中和小目標。YOLOv3 模型如圖1所示。

圖1 YOLOv3 模型

損失函數是評估模型性能好壞和穩定性的重要指標之一，損失值越小，代表模型的穩定性越好。YOLOv3 算法損失函數由三部分構成：置信度損失、分類損失和回歸損失。公式如下：

式中：s2為特征圖大小；B為初始候選框的數目；Cij和Pij分別為置信度和類別概率；xi、yi、wi、hi為模型的預測值；為人工標注的真實框的值；λcoord為加權系數；λnoobj為權重系數；Ijinoobj為第i個第j個網格是否負責該object，如果負責，則其值為1，否則為0；Cij為置信度預測值；為實際值，如果網格負責預測某個對象的取值，則其值為1，否則為0。

2 改進的YOLOv3 算法

在實際應用場景下，需要定期對雜草進行清理，因絕大部分雜草本身體積較小，只占不到整幅圖像的十分之一像素，分辨率較低，目標背景復雜，造成小尺度雜草檢測精度較低。本文通過改進YOLOv3 網絡結構，增加一個特征融合模塊，用新的上采樣方式替換原先的上采樣方式，最后在特征提取主干網絡中嵌入Coordinate Attention注意力機制，在不損失較多檢測速度的前提下，提出一個更加適合雜草檢測任務的改進算法。

2.1 改進YOLOv3 網絡結構

針對數據集中雜草所占尺寸較小，本文將模型輸入尺寸調整為448×448，增大模型輸入分辨率可以豐富圖像細節和提供精確的位置信息。在特征提取網絡中，當輸入特征圖分別經過8 倍、16 倍、32 倍下采樣并得到尺寸分別為56×56、28×28、14×14 的特征圖時，往往會丟失大量物體的特征信息，導致中小目標的檢測精度下降。為了提高中小目標檢測層的檢測精度，本文在28×28 和56×56 這兩個特征圖輸入預測層之前添加FFM（Feature Fusion Module），結構如圖2的虛線框所示。

圖2 FFM 模塊

在FFM 模塊中，對于尺度為56×56 的小目標檢測層，本文首先將Darknet53 中第二個殘差塊輸出的112×112 特征圖通入RFB（Receptive Field Block）模塊[17]，其目的是為了增大112×112 特征圖的感受野。因112×112 特征圖的感受野比56×56 特征圖的感受野小，如果直接進行融合將不利于檢測同一尺寸范圍內的目標。再將112×112 特征圖通過最大池化下采樣到56×56，將尺度為28×28 的特征圖通過2 倍上采樣到56×56。然后再進行Concat 操作，其中Concat 操作是指在通道維度上將兩個大小相同的特征圖進行結合，采用最大池化下采樣是為了解決雜草在不同復雜背景條件下，特征圖下采樣時的細節特征信息丟失問題，可以盡可能地保留更多信息傳遞給待融合特征圖。融合深層特征圖中保留更多關于小目標的語義信息的同時添加淺層更加豐富的小目標位置信息，提高小尺寸雜草的檢測精度；對于尺度為28×28 的中等目標檢測層，FFM 會將尺度為56×56 的特征圖通過最大池化下采樣到28×28，再將尺度為14×14 的特征圖通過2 倍上采樣到28×28，然后再與其進行Concat 操作，豐富中層特征圖的信息，提高中等尺寸雜草的檢測精度。經過實驗表明，在YOLOv3 模型中加入FFM，在犧牲少量檢測速度的前提下，提高了雜草檢測的精度。

2.2 上采樣模塊結構設計

原YOLOv3 模型中使用的上采樣方式為鄰近上采樣，在待求像素的四鄰像素中，將距離像素最近的鄰像素復制給待求像素。鄰近上采樣雖然計算量小，但是鋸齒狀比較明顯。縮小后的圖片會丟失較大的圖像信息，容易造成特征細節丟失。而雙線性插值上采樣分別在水平和垂直方向進行一次線性插值，綜合其他像素點的信息，但未考慮到各鄰點間灰度值變化率，導致圖像邊緣在一定程度上變得較為模糊，對細節特征的還原存在不足。反卷積是一種特殊的正向卷積，相比較鄰近上采樣和雙線性插值上采樣，反卷積具備學習能力，能夠通過參數學習，恢復卷積前后像素之間的對應關系，使低分辨率尺寸圖像還原到高分辨率尺寸圖像時，盡可能地保留原圖片細節特征。

針對原模型上采樣方式容易造成特征信息丟失的問題，本文提出了一種融合了雙線性插值上采樣和反卷積的殘差上采樣結構Ups。首先對輸入的特征圖分別進行雙線性插值上采樣和反卷積上采樣；將兩者輸出進行Concat 操作后，采用1×1 卷積核壓縮其通道數，將壓縮后的結果與殘差層進行Concat 操作；最后再通過1×1 的卷積核進行通道數調整得到最終輸出。用Ups 結構替換原網絡中的上采樣方式，雖然增加了計算復雜度，但能夠提高網絡模型的檢測精度。Ups結構如圖3所示。

圖3 Ups 上采樣

2.3 Coordinate Attention（CA）注意力機制

如圖4所示，Coordinate Attention 注意力機制不僅考慮了通道間的關系，同時也考慮了空間位置間的關系。捕獲跨通道信息、方向和空間位置的感知信息，幫助模型更加精確地識別和定位目標區域。

圖4 Coordinate Attention 注意力機制

大多數注意力機制通常按式（2）對坐標信息嵌入進行全局池化，由于它將全局編碼空間信息壓縮到通道中，導致難以保存位置信息。為了能夠捕獲更加精確的空間位置信息，CA 注意力機制將全局池化操作按照式（3）、（4）分別沿水平和垂直方向進行通道編碼。

上述兩種變換分別沿兩個空間方向聚合特征，與生成特征向量的其他注意力機制不同，其能夠獲取空間方向的相關性，并保存沿其他空間方向的準確位置信息，有助于網絡更準確地定位感興趣區域。得到兩組特征信息Zch和Zcw按公式（5）處理，式中σ為sigmoid 激活函數，F1為1×1 卷積。接著沿空間維數將f分解為兩個單獨的張量fh∈RC/r×H和fw∈RC/r×W，其中r為下采樣比例。再將兩個張量通過1×1卷積將通道數調整到與輸入通道數一致。

式中：gh和gw分別是經過通道調整后得到的一組注意力權重；Fh和Fw是1×1的卷積操作。Coordinate Attention模塊的輸出可以表述為：

為了使模型能夠更好地在復雜環境下學習雜草特征信息，本文將CA 注意力機制嵌入到主干網絡DarkNet53 中的殘差單元結構中，對通道進行重新標定，增強重要的通道信息，抑制信息量較少的通道信息，提高模型對細節信息的感知能力。更改后的殘差模塊如圖5所示，改進后的模型如圖6所示。

圖5 更改后的殘差模塊

圖6 改進后的模型

3 實驗與分析

3.1 實驗環境及參數設置

本文所有實驗均在同一環境下進行，實驗環境配置見表1所列。本文在模型的訓練過程中將batch_size 設置為4；優化器為SGD，momentum設置為0.9；epochs設置為150輪；初始學習率設置為0.005。

表1 實驗環境配置

3.2 實驗數據來源

本文實驗使用的數據集為文獻[18]中公開的作物雜草數據集。選擇自然環境下甜菜不同生長周期中伴隨的雜草為實驗對象，共1 500 張圖像。樣本數據集包含了甜菜在不同生長階段和土壤條件下的生長情況，真實地反映了自然環境下甜菜與雜草共生的情況。從中隨機抽取70%作為訓練集，剩余30%作為測試集。數據集部分圖片如圖7所示。

圖7 不同生長階段和土壤下甜菜雜草數據集

3.3 評價指標

（1）平均精確率（Average Precision,AP）

AP 被定義為以召回率R（Recall）為橫坐標、精度P（Precision）為縱坐標繪制的曲線。計算公式如下：

mAP 即平均準確率均值（mean Average Precision,mAP），是所有類別的 AP 值之和的平均值，用來衡量分類器對所有類別的分類精度。對于本文數據集只涉及到甜菜和雜草兩類目標，計算公式如下：

式中N的取值為2。

（2）F1 分數（F1 Score）

F1 分數是用于評價模型綜合性能的一個重要指標，計算公式如下：

（3）FPS 表示每秒內處理的圖片數量，是衡量速度的指標。

3.4 實驗結果分析

3.4.1 消融實驗

為了深入研究網絡結構中每個模塊對檢測精度的影響，本文在進行消融實驗時將各模塊逐一添加。消融實驗結果對比情況見表2所列，其中“√”表示使用該模塊。

表2 消融實驗結果對比

本文以YOLOv3 為基礎框架、DarkNet53 為特征提取網絡，進行消融實驗來驗證改進與添加模塊的有效性。采用IOU 取值為0.5 時甜菜與雜草的AP 值、mAP 值作為模型評價指標。從表2中可以看出，單模塊對比實驗中，添加FFM 對整體檢測準確度的影響較大，雜草的AP 值較原模型提升了2.86%。因小目標特征信息不明顯、分辨率低等問題導致細節信息難以學習，FFM 分別用于檢測小目標和中等目標，檢測層依次融合淺層豐富的位置信息和深層豐富的語義信息，能夠更好地保留細節特征信息，強化特征學習能力，進而解決因小尺寸雜草分辨率低、細節信息缺失造成的檢測精度低的問題。組合實驗時添加FFM 和新型上采樣的效果最好，在FFM 增強小目標細節特征學習能力的前提條件下，通過使用新的上采樣方式能夠有效地減少特征圖上采樣過程中細節特征丟失的問題。在將三個模塊全部添加后YOLOv3模型達到了最佳檢測性能，雜草的AP 值提高了3.74%，甜菜的AP 值提高了1.46%，mAP 提高了2.6%。可以看出整體改進后甜菜和雜草的檢測精度要優于單個或組合改進后的精度。

3.4.2 模型比較

本文分別將YOLOv3 模型與改進后的YOLOv3 模型在訓練集上進行訓練后，采用mAP 作為評價指標，實驗結果如圖8所示，橫軸為迭代次數epoch，縱軸為評估指標mAP值。圖中共有兩條曲線，分別代表改進前后的YOLOv3 模型訓練時mAP 值隨著迭代次數的增加而變化的情況。首先，在迭代100 輪后，本文提出的改進后模型的mAP 值逐漸趨于平穩，而原YOLOv3 模型的mAP 值變化相對比較劇烈。其次，從mAP 指標來看，在經過150 輪迭代后，本文提出的改進后YOLOv3 模型的mAP 值達到了86.75%，相對于YOLOv3模型mAP 值提高了2.6%。總體而言，在訓練過程中改進后的模型相比于原模型曲線更加趨于平緩。

圖8 模型mAP 值對比

為了進一步驗證改進后的模型性能，本文從測試集中選取兩組具有代表性的圖片進行測試，結果如圖9所示。其中圖9（a）為標準YOLOv3 網絡的檢測結果，圖9（b）為改進后網絡的檢測結果。從圖9中看出，當圖像中存在尺寸較小的雜草時，標準YOLOv3 模型只能檢測出尺寸較大的作物和雜草，無法檢測出細小雜草。原因是圖像中部分雜草像素較小、分辨率低且目標背景復雜，從而造成漏檢現象。本文改進后的模型通過加強上下文的語義信息加深網絡的學習能力，提升了小尺寸雜草的檢測精度。

圖9 小目標檢測結果對比

3.4.3 與其他目標檢測算法的對比實驗

本文為了驗證改進后模型的性能，將改進后的YOLOv3算法與其他主流目標檢測算法在本文數據集上進行了對比實驗。選取AP、mAP、FPS 和F1 作為算法的評價指標。結果見表3所列。

表3 不同目標檢測算法結果對比

從表3的對比實驗結果可知，改進后的YOLOv3 算法雜草AP 值達到75.56%，分別比Faster-RCNN、SSD、YOLOv2和YOLOv3 的雜草AP 值高18.44%、10.10%、7.14%、3.74%。本文提出的改進YOLOv3 算法F1 指標為86.56%，得分超過其他目標檢測算法。同時相比較于原YOLOv3 模型沒有損失過多的檢測速度，FPS 達到了58。改進后的算法既能滿足對雜草檢測的精度要求，也能滿足雜草檢測的實時性要求。

4 結 語

本文對原YOLOv3 算法的特征提取網絡進行了改進，提出了特征融合模塊FFM 和新的上采樣方式，并將Coordinate Attention 注意力機制嵌入到主干網絡殘差模塊中。在不損失較大檢測速度的前提下，本文模型的平均檢測精度比標準YOLOv3 模型提高了2.6%，對小尺寸作物和雜草具有較好的檢測精度。在今后的工作研究中模型輕量化是未來研究的重點方向，對模型進行壓縮，減少參數量，在不損失較多精度的前提下，提升網絡的檢測速度，進一步提升算法的性能。