基于多尺度注意力和深度可分離卷積的農田雜草檢測*

王建翠，惠巧娟，吳立國

(1. 銀川能源學院信息傳媒學院,銀川市,750100; 2. 銀川科技學院信息工程學院,銀川市,750021;3. 寧夏葡萄酒與防沙治沙職業技術學院,銀川市,750199; )

0 引言

農田雜草根除對作物質量、產量以及農業經濟的穩定至關重要。中國是糧食生產和消費大國,然而雜草因不受控制的迅速生長,導致農作物光、肥和水等資源極易短缺,嚴重影響作物的質量和產量。農田雜草帶來的經濟影響遍及世界,據“除草劑發展與推廣應用大會”指出,全世界一年因雜草導致農作物減產達年產量的11.8%,約8億人一年的儲備[1-2]。因此,研究出一種準確有效的農田雜草定位與檢測模型,對于提升農作物的產量和質量具有重要的意義。

傳統農業雜草根除主要借助化學藥品,雖然簡單直接,但缺乏針對性。此外,過度使用化學藥品將會導致環境污染,進而影響人類身體健康。因此,如何利用綠色手段根除雜草變得十分迫切。隨著深度學習技術的迅速發展[3-5],在玉米研究領域得到了廣泛的應用[6-9]。如亢潔等[10]提出了一種多尺度融合模塊和特征增強的雜草檢測模型,利用不同的擴張卷積來增大感受野,強化嵌入層的特征,提高模型識別性能。孫俊等[11]提出了一種空洞卷積結合全局池化的卷積神經網絡識別雜草算法,通過設置不同的膨脹系數來定位與識別雜草。李彧等[12]提出了一種基于全卷積神經網絡的玉米田間雜草識別算法,主要通過數據增強的方法擴增數據集,提升模型的檢測性能。溫德圣等[13]針對不同光照條件下雜草識別特征信息容易缺失的問題,提出了一種基于深度卷積神經網絡的雜草識別方法,通過在卷積神經網絡基礎上構建Inception V3分類器,根據比對待檢測物體與標準對照物之間的差異性,給出識別結果。樊湘鵬等[14]提出了一種基于Faster R-CNN的雜草識別方法,通過在不同田間場景下測試表明模型具有較高的魯棒性。

上述雜草識別算法雖然在特定場景中可以實現較好地檢測精度,且主要針對雜草單一生長的場景,對于雜草與農作物交叉生長的復雜場景,檢測性能不佳。此外,現有基于深度網絡的雜草檢測模型采用大量數據樣本進行訓練,時間開銷較大。針對上述問題,本文提出一種基于多尺度注意力與深度可分離卷積的農田雜草檢測算法,旨在提高雜草檢測的精度,推進深度學習在農業生產中的應用。

1 數據集構建與預處理

1.1 圖像采集

本文以農田中的雜草為研究對象,選取常見的12種雜草。分別為看麥娘、馬唐、狗尾草、菟絲子、刺兒菜、野燕麥、薺菜、車前草、千根草、狗牙根、馬齒莧和牛筋草。所有圖像均在農田大自然環境下采集,圖像采集設備為索尼FDR-AX60高清數碼相機,主要拍攝時間段為04:00～08:00、11:00～13:00、15:00～17:00和19:00～22:00,總共拍攝1 920張雜草圖片,每類雜草160幅,圖像分辨率為224像素×224像素的三通道彩色圖像,格式為JPEG,所采集的部分圖像如圖1所示。

圖1 部分樣本圖像

為了增強模型的泛化性和魯棒性,本文在相同的時間段采集了包含多種雜草的圖像,總共560張。并合并所有數據樣本,按照7∶3的比例劃分訓練樣本和測試樣本。最后,利用LabelImg軟件對采集的雜草圖像進行標注。

1.2 數據增強

深度網絡的高識別性能依賴于大量帶標注的訓練樣本,因此,為了豐富圖像包含的目標信息,對所采集的樣本進行數據增強。此處,采用裁剪、縮放、旋轉和亮度變化等方式將原始圖片擴增5倍,并僅對雜草數據集中的訓練集進行數據增強。以看麥娘與農作物交叉生長的圖片為例,展示擴增后的圖像,如圖2所示。

(a) 原始圖片

(b) 亮度增強

(c) 亮度減弱

圖2 圖像增強效果

2 模型設計

特征提取質量的高低直接影響下游雜草檢測任務的識別性能,本文充分考慮深度網絡在時間開銷和識別精度上的要求。在原始VGG-16網絡的基礎上,引入深度可分離卷積減少模型參數量,旨在降低模型的運行時間開銷;其次,為了提高雜草等目標物體的關注度和特征表征能力,利用注意力機制強化目標物體特征表達的魯棒性。

2.1 深度可分離卷積

圖3給出了傳統VGG-16模型的結構[15],包括13個卷積層、5個池化層、3個全連接層和1個分類層,雖然結構簡單,但參數量大,導致模型訓練時間過長,不利于實際應用對于實時性的要求[16]。因此,本文將標準卷積塊中的部分卷積層分解為深度卷積DC(Depthwise Convolution)和逐點卷積PC(Pointwise Convolution)[17],構造深度可分離卷積(Depthwise Separable Convolution,DSC)。在保持特征提取質量不變的情況下,降低模型對于硬件資源的高要求,從而提升模型訓練和推斷的速度,深度可分離卷積示意圖如圖3所示。

圖3 VGG-16結構

深度可分離卷積將標準卷積過程分解為多個等效的深度卷積和逐點卷積,深度可分離卷積神經網絡結構如圖4所示。通過在深度卷積部分分解濾波器來降低參數量,在識別性能變化可接受的范圍內盡可能通過減少模型參數量來降低模型的訓練時間開銷。

圖4 深度可分離卷積神經網絡結構

圖4中,首先將圖片Ii∈R3×h×w(h和w表示圖片的長和寬)經過一次卷積運算,沿通道方向生成若干張特征圖;然后,利用卷積核大小為Dk×Dk的多個卷積塊將特征圖沿著深度方向進行加權組合,得到輸入圖片在深度空間的特征映射;然后,在逐點卷積運算過程中,利用1×1的卷積核進行卷積濾波。因此,深度卷積和逐點卷積可以拼接成卷積核大小為Dk×Dk的標準卷積。其中,標準卷積運算過程中的參數量Csc由式(1) 計算可得。

Csc=Dk×Dk×M×N

(1)

式中:Dk——卷積核的大小;

M——輸入通道;

N——輸出通道。

深度卷積DC和逐點卷積PC組合的深度可分離卷積DSC計算過程中涉及的參數量由式(2)計算可得。

Cdsc=Dk×Dk×M+M×N

(2)

相比標準卷積的計算參數量Csc,深度可分離卷積的計算參數量Cdsc成本下降了r,計算如式(3)所示。

(3)

特別地,輸出通道N較大,因此式(3)中r的值約為1/Dk2。此處,采用卷積核大小為3×3,因此,相比傳統標準卷積的參數計算量,深度可分離卷積大約可以降低9倍。

2.2 注意力機制

人類在觀看事物時,并非第一時間接受整個物體,而是有選擇性地關注部分區域[18]。注意力機制最早應用在自然語言處理任務中,通過引入長距離上下文信息,有效解決了長距離依賴的問題[19]。近年來,被廣泛地應用到視覺任務中,通過建立空間上的長距離依賴,解決卷積核感受野局限的問題。此處,為了提高VGG-16 提取特征的表達能力,提高農田雜草的定位與識別的準確性,在利用深度可分離卷積改進的VGG-16 中引入通道注意力和空間注意力機制[20],構造一種多尺度注意力機制的卷積神經網絡(Multi-Scale Attention Convolution,MSAC),結構如圖5所示。

圖5 多尺度注意力卷積結構

1) 在改進后的網絡結構中,首先利用3×3、5×5、7×7的卷積核對原始輸入雜草圖片進行卷積運算,獲取不同尺度的特征圖,并將不同尺度下的特征進行融合;然后,按照原始VGG-16的數據流向對融合特征進行池化和卷積操作。

2) 在注意力機制中,沿通道和空間兩個維度進行深層次特征提取,并在此基礎上,引入全局特征,緩解因過度聚焦局部特征導致全局特征信息丟失的問題。其中,通道注意力和空間注意力特征圖可由式(4)和式(5)表示。

Fc=Mc(F)?F

(4)

Fs=Ms(Fc)?Fc

(5)

式中:Fc——通道注意力特征圖;

Fs——空間注意力特征圖;

Mc——通道注意力卷積;

Ms——空間注意力卷積;

?——哈達瑪運算;

F——多尺度融合特征經中間層卷積運算后的特征圖。

3) 在第4個卷積層之后,仍采用原始VGG-16的數據流向,映射特征圖到深度特征空間,獲取更豐富的高級語義信息。

3 結果與分析

3.1 試驗環境

試驗運行環境采用Linux系統,顯卡顯存為32 G的NVIDIA V100 GPU;采用PyTorch深度學習框架,Cuda環境為NVIDIA CUDA 11.0,Python 3.7。

綜合硬件設備,設定批處理大小為16,動量為0.9;設定初始化學習率為0.000 1,損失函數采用交叉熵損失。此外,為解決模型過擬合問題,引入Dropout隨機刪除部分神經元,本文Dropout取值0.5。

由圖6可知,本文模型訓練180次后損失逐漸趨于平穩,因此設定迭代輪次為180。

圖6 損失曲線

3.2 評價指標

采用精準率P、召回率R和F1-score為評價指標,具體計算如式(6)～式(8)所示。

(6)

(7)

(8)

式中:Tp——正確識別出的樣本數;

Fp——錯誤識別的樣本數;

Fn——未識別出的樣本數。

3.3 結果分析

為驗證本文模型的有效性,分別構造Yolov5、Faster R-CNN和本文模型,并進行對比分析,詳細結果如表1所示。

表1 識別結果對比Tab. 1 Identification and comparison results

可以看出,相比主流的Yolov5和Faster R-CNN模型,本文模型在精準率方面,分別提升2.35%和1.72%;在召回率方面,分別提升3.23%和1.36%;在F1方面,分別提升2.47%和0.90%;在時間開銷方面,分別降低61.74%和70.25%。

圖7給出了本文模型對于單一雜草生長場景中雜草檢測的可視化結果。

(a) 04:00～08:00

(b) 11:00～13:00

(c) 15:00～17:00

(d) 19:00～22:00

通過分析各階段結果可知,在11:00～13:00階段和15:00～17:00階段,由于光照充足,整體檢測效果較好,模型的平均精確率為0.938。雖然在04:00～08:00階段和19:00～22:00階段存在光照不足的問題,但模型平均檢測精確率仍可以達到0.928。綜上,在不同時間段,本文模型受天氣等自然環境的影響較小,驗證了本文模型具有較好的魯棒性。

圖8給出了本文模型對于雜草與農作物交叉生長環境下的檢測可視化結果。可以看出,在更具有挑戰性的復雜環境下,本文模型平均精確率可以達到0.934,能夠較好地區分雜草和農作物,檢測準確性較高。同時,不同階段的平均精確率差距較小,進一步驗證了本文模型具有較好的魯棒性。

(a) 04:00～08:00

(b) 11:00～13:00

(c) 15:00～17:00

(d) 19:00～22:00

圖9給出了本文模型、Yolov5和Faster R-CNN模型對于相同圖片的檢測可視化結果。

(a) YOLOV5

(b) Faster R-CNN

(c) 本文模型

可以看出,本文模型平均精確率為0.956,Yolov5模型的平均精確率為0.935,Faster R-CNN模型的平均精確率為0.93。本文模型識別精度高,優勢顯然。主要原因是本文模型采用多尺度注意力機制,在全局特征的基礎上,進一步細粒度的挖掘局部特征,強化輸入圖片映射到深度空間中的特征質量,進一步驗證了本文模型對于雜草定位與識別的有效性,對于農業雜草根除等具有重要的指導意義。

3.4 消融試驗

為探究深度可分離卷積和多尺度注意力機制對所提出模型性能提升的作用,分別設計不同的變體模型,并進行對比分析,如表2所示。從變體模型1和模型2可以看出,相比使用標準卷積來提取特征,深度可分離卷積可以降低66.21%的檢測時間開銷;從變體模型1和模型3可知,引入多尺度注意力機制后,模型的檢測精準率、召回率和F1分別達到94.71%、94.88%和93.86%。相比僅采用單一特征的檢測模型,利用多尺度特征分別可以提高2.87%、2.48%和2.09%的檢測精準率、召回率和F1。從變體模型2和模型4、模型3和模型4兩組試驗可以看出,引入多尺度注意力機制雖然導致檢測時間開銷增加了1.91%,但精準率、召回率和F1值效果提升顯著;引入深度可分離卷積模塊在保持精準率、召回率和F1值的基礎上,檢測時間開銷降低了207.72 ms,因此,可以忽略因增加部分模塊導致極小的性能損失。綜上,上述幾組對比試驗驗證了多尺度注意力機制和深度可分離卷積在本文模型性能提升扮演著重要的角色。

表2 消融試驗Tab. 2 Identification and comparison results

4 結論

針對傳統農田雜草模型對雜草識別與定位不精確的問題,提出一種基于多尺度注意力與深度可分離卷積的農田雜草檢測算法。

1) 所提出模型精準率為94.69%、召回率為94.88%、F1值為93.82%、檢測時間開銷為108.31 ms,優于經典對比模型的檢測性能,驗證了所提出模型對于農田雜草檢測的高效性。

2) 利用深度可分離卷積改進現有VGG-16主干網絡,檢測時間開銷降低了207.72 ms,有效緩解了模型時間開銷大的問題;此外,無論在單一雜草生長場景還是雜草與農作物交替生長的復雜場景中,多尺度注意力機制可以強化深度空間中農田雜草特征的表達能力,對模型的精準率、召回率和F1評價指標均具有積極作用。

3) 通過在多個雜草數據樣本中進行測試,驗證了本文模型的高效性。在農田荒地治理、雜草根除和農業機械化管理等任務中具有較高的實際應用價值。在未來的工作中,主要通過提高輸入圖片映射到深度空間中的特征表達能力,提高下游任務的泛化性能和魯棒性。