改進MobileViT 網絡識別輕量化田間雜草

楊森森，張 昊，興 陸，杜 勇

（東北農業大學電氣與信息學院,哈爾濱 150030）

0 引言

雜草繁殖速度快，生長周期短，會與早期生長階段的作物競爭光照、水分和營養物質，若不及時控制，會對作物的產量和品質造成嚴重影響[1]。化學除草是目前農戶使用最廣泛的除草方法[2]，但其作業精度無法保證，會導致除草劑的嚴重浪費和潛在的生態環境污染問題。此外，大劑量的農藥噴施會使部分雜草產生抗藥性，導致雜草難以被徹底清除[3-4]。因此，能夠精準噴施作業的自動除草系統成為研究的熱點[5]。基于計算機視覺技術的自動雜草識別方法能夠提供準確的田間雜草分布信息，是實現自動化精準除草作業的前提[6]。傳統的雜草自動識別方法主要依靠手工設計的形狀、紋理等特征，通過結合支持向量機、神經網絡等機器學習模型，取得了一定的效果[7-9]。由于人工設計的特征無法較好地表達雜草種類信息，這些方法只能在形態差異較大的數據樣本上表現良好，難以實際應用于識別準確率要求較高的田間除草作業。

卷積神經網絡已經在雜草識別上取得了較好的表現[10-11]。OLSEN 等構建了包含多類別雜草的DeepWeeds數據集，用于訓練InceptionV3 和ResNet-50 模型對雜草進行識別，最高準確率為95%[12]。AHMAD 等[13]評估了3 種流行模型的雜草識別性能，其中VGG-16 模型準確率最高，達到98.9%。趙輝等[14]在DenseNet 網絡基礎上引入了通道注意力機制與DropBlock 正則化模塊，在玉米幼苗和伴生雜草的數據集上平均準確率可達98.63%。王璨等[15]提出了一種基于雙重注意力語義分割網絡的玉米幼苗識別方法，并實現了玉米幼苗的精準分割，該模型的平均交并比和平均像素識別準確率分別達到了94.16%和95.68%。

上述基于深度學習的雜草識別方法識別精度良好，但模型參數和計算量較大，導致算法部署速度緩慢。因此部分工作者從模型輕量化的角度開展了相關研究。其中，孫俊等[16]通過多尺度特征融合，利用空洞卷積與全局池化對AlexNet 模型進行了改進，在大幅減少模型參數的同時保證了較高的雜草識別準確率；亢潔等[17]提出了一種基于輕量網絡MobileNet 的雜草檢測模型，采用多尺度融合模塊和通道注意力機制SENet 提升小目標檢測效果并進行特征增強。在保證了檢測精度的同時大幅提高了檢測速度。以上通過對網絡結構設計上的改進，使模型能夠實現精度與速度的平衡以滿足實際作業需求，但由于卷積得到的是局部性特征表達，其網絡結構難以同時學習到反映待識別主體形態與細節的全局性語義特征，從而造成外觀相似的不同雜草之間以及雜草與作物間的誤識。

近年來，視覺Transformer 在多個視覺任務中取得了超過卷積神經網絡的表現[18-21]。視覺Transformer 將自注意力機制直接應用于圖像塊序列從而捕獲圖像中的重要區域[22]，同卷積神經網絡相比能夠學習到更豐富的語義信息。得益于視覺Transformer 的優秀性能，其在農業領域也得到了廣泛關注。徐艷蕾等[23]將視覺Transformer和卷積網絡相結合，采用雙分支結構，分別提取全局特征和局部特征，實現了針對蘋果葉片的病害識別。也有學者將視覺Transformer 應用于雜草識別研究上。王璨等[24]提出了基于位移窗口Transformer 網絡的雜草識別方法，使用改進Swin transformer 作為主干網絡對交疊遮擋情況下的玉米和雜草目標進行識別，實現了玉米與雜草的精細分割。上述工作在識別準確率上均表現優秀，但由于自注意力機制的引入帶來了龐大的計算量以及模型對大規模訓練數據的需求，需要更長的訓練時間和更多的計算資源，且在實際部署時識別速度較慢，無法滿足田間雜草識別的實時性要求。

為解決上述問題，本研究提出了一種基于改進MobileViT 網絡的輕量化田間雜草識別方法。MobileViT是一種適用于移動設備的輕量級視覺Transformer[25]，其結合了CNN 與ViT 的優勢，通過自注意力機制將卷積學習到的局部語義信息建模成全局語義信息，從而能夠在更少計算量的條件下學習到足夠好的圖像特征。同時，由于MobileViT 中很好地融入了卷積的特性，其與ViT相比大幅減小了模型訓練時對數據量的需求，更加適用于數據規模相對較小的雜草識別問題。本研究通過卷積和MobileViT 模塊混合的結構學習雜草圖像中具有辨別細微差異能力的細粒度特征，以期待獲得高準確率與實時性的識別性能，為嵌入式實時系統中雜草識別方法的設計提供參考。

1 數據集

1.1 數據來源

本研究采用公共雜草數據集Corn Weed[26]進行模型訓練與評估，以驗證本研究提出的輕量化雜草識別方法的有效性。該數據集由玉米幼苗及其主要伴生雜草圖像組成，包括玉米幼苗及莎草、藜、刺兒菜、早熟禾共5 類5 998 張圖像。數據集中的作物與雜草樣本拍攝于不同的時間、光照與土壤環境下，均為農田環境下具有復雜背景的雜草圖像，部分玉米幼苗及雜草圖像樣本如圖1 所示。

圖1 Corn Weed 數據集中部分玉米與雜草圖像示例Fig.1 Example images of maize and weed on Corn Weed Dataset

從圖1 中可以看到，早熟禾、玉米幼苗、莎草的圖像樣本間存在較大形態相似性，這對準確區分這3 類的圖像樣本造成了一定的難度。

1.2 數據集劃分

將數據集中不同尺寸圖像的分辨率統一轉換為256×256×3 以適應模型的輸入大小。數據集的劃分遵循文獻[26]的設置，按照7:3 的比例劃分為訓練集和測試集，其中玉米、莎草、藜和刺兒菜的訓練集圖像數量為840 張，測試集圖像數量為360 張，早熟禾的訓練集和測試集圖像數量為839 和359 張。各個類別的樣本分布均衡且數目充足，能夠滿足模型訓練時對數據的需求，所以本研究未使用數據增強技術對雜草及玉米幼苗圖像數據進行擴充。

2 輕量化雜草識別方法

為了保證模型在輕量化的同時能夠準確地區分形態相似的雜草與玉米幼苗，本研究構建了一種基于改進MobileViT 網絡的輕量化雜草識別方法，該方法采用MobileViT 模塊和卷積混合結構作為雜草特征提取網絡，其中MobileViT 模塊包含自注意力機制，可建模雜草與玉米幼苗圖像中的長距離語義信息，以捕捉更具辨別力的細粒度特征。標準卷積和深度可分離卷積可在學習局部信息的同時對特征圖下采樣形成多尺度特征，然后使用ECA 模塊進一步加強對特征圖關鍵位置的關注，最終損失函數用于模型參數優化，分類層負責輸出雜草的預測類別。本文方法在對原始MobileViT 網絡進行參數調整的基礎上，引入了ECA 機制，以進一步提高模型的識別能力，從而更好地實現了識別精度與速度的平衡。

2.1 MobileViT 模塊

MobileViT 模塊使用標準卷積與Transformer 機制分別學習特征圖中局部與全局信息，是本研究提出的輕量化雜草識別方法的核心，其結構如圖2 所示。假設MobileViT 模塊的輸入特征圖X大小為H×W×C，（H為輸入特征圖的高度，W為輸入特征圖的寬度，C為輸入特征圖的通道數），3×3 大小的卷積核被用于建模特征圖中局部的空間信息，接下來1×1 大小的卷積將特征圖映射到更高的d維特征空間，以豐富卷積學習到的語義信息。

圖2 MobileViT block 結構圖Fig.2 MobileViT block structure diagram

經過兩次卷積操作后輸入特征圖X變換為大小相等的局部特征圖XL。然后將XL劃分為N個大小相等的圖像塊，每個圖像塊中包含P個像素，再將其展開為一組大小為P×N×d的特征序列XU，以學習特征圖中全局語義信息，其中P=w×h，N=(H×W)/P（w和h是預設好的圖像塊的寬度和高度，d是特征維度），XU中不同圖像塊間相同位置的像素點特征通過連續的L組Transformer 模塊處理得到全局特征序列XG：

XG是經過Transformer 模塊處理后得到的全局特征序列，大小為P×N×d，p是每個圖像塊中第p個位置的像素特征。不同于原始的視覺Transformer，MobileViT并未丟失圖像塊內部像素與圖像塊之間的位置信息，所以，計算自注意力時不需要位置編碼來添加位置信息，之后將XG折疊得到特征圖XF，XF的大小為H×W×d，其中H、W與X的H、W相等，以上的展開與折疊操作均通過Transpose 與Reshape 函數組合來實現。然后XF被1×1 大小的卷積映射到和MobileViT 模塊輸入特征圖X相同的維度C，此時XF的大小為H×W×C，可與輸入特征圖X并聯疊加成維度為2C的新特征圖，最后使用一個3×3 大小的卷積核融合并聯后的新特征圖，并將新特征圖維度映射回C。

MobileViT 模塊對全局信息學習的有效性如圖3 所示，圖中紅色像素點通過Transformer 與藍色像素點建立聯系，而藍色像素點已經通過卷積與周圍的臨近像素建立了聯系，因此，XU(p)可以代表卷積所覆蓋的3×3 大小區域的局部語義信息，XG(p)則編碼了不同圖像塊間第p個位置的全局語義信息，也就是說XG中每個像素均能對X中所有像素進行編碼，本研究設置h=w=2從而保證MobileViT 模塊的有效感受野能夠覆蓋空間分辨率為H×W的輸入特征圖。

圖3 MobileViT 模塊中像素點之間關系Fig.3 Relationship between pixel points in the MobileViT block

2.2 基于改進MobileViT 的特征提取網絡

本研究采用的雜草特征提取網絡基于原始的MobileViT 網絡結構，共包括5 個階段，如圖4 所示。算法輸入為RGB 三通道圖像。在階段1 部分，通過步長為4 的4×4 卷積將256×256×3 大小的輸入圖片下采樣地映射成64×64×16 大小的特征圖以便于后續計算，然后，一個ECA 模塊被用于特征圖增強；不同于原始MobileViT結構，本研究并未采用步長為2 的3×3 卷積，這是因為在圖像被映射為特征圖的階段中，更大的卷積核與卷積步長能更好地考慮到圖像中的冗余性[27]。本研究采用的ECA 模塊結構如圖5 所示，ECA 模塊通過對特征圖中不同通道的交互實現重要特征的加強。在階段2 中，先將特征圖送入到兩個疊加的MobileNetv2 模塊中，在進行下采樣的同時進一步提取特征，與階段1 相同，階段2同樣使用ECA 模塊增強下采樣后的特征圖。階段3 由多組MobileViT 模塊和下采樣的MobileNetv2 模塊構成，MobileViT 模塊負責在學習局部語義特征的同時捕捉到全局語義特征，MobileNetv2 模塊負責將特征圖下采樣并在通道上升維以形成多尺度的特征表達。階段4 和階段5 與階段3 功能上相同，但在MobileViT 模塊內部的參數設置與MobileNetv2 模塊數量上有所不同。基于改進MobileViT 的特征提取網絡內部參數如表1 所示。

表1 基于改進MobileViT 的特征提取網絡結構Table 1 Internal parameters of feature extraction network

圖4 基于改進MobileViT 網絡的輕量化雜草識別網絡結構圖Fig.4 Diagram of light-weighted weed recognition method based on improved MobileViT network

圖5 ECA 模塊結構圖Fig.5 Efficient channel attention(ECA) module structure diagram

2.3 分類層與損失函數

本研究使用了僅包含卷積、池化和全連接層的簡單分類層以區分不同類別的雜草。如圖4 中分類層與損失函數部分所示，首先，通過1×1 大小的卷積對輸入特征圖的通道數進行升維，隨后，使用全局平均值池化求得長度為384 的特征編碼，然后送入線性分類層進行最終分類。

交叉熵損失函數(Lcross)被用于本研究中輕量化雜草識別模型的參數優化，計算式如下：

式中V為訓練集中所有樣本的集合，Y為訓練集中所有樣本真實標簽的集合，n為數據集中樣本總數，p(vi)為訓練集中第i個樣本通過網絡得到的輸出。

2.4 試驗環境與超參數設置

本研究中所有網絡模型均在AI Studio 軟件環境下使用深度學習工具箱Paddle Paddle 進行訓練。硬件配置如下，內存大小100 GB，CPU 型號為Intel(R) Xeon(R) Gold 6 148 CPU @ 2.40 GHz，顯卡型號為NVIDIA Tesla V100，顯存為32 GB。模型訓練超參數設置如下，batch size 設置為64，訓練卷積神經網絡時優化器采用動量為0.9 的SGD，訓練本文方法和MobileViT 時優化器選用AdamW[28]，學習率均初始化為0.001，學習率變化策略為余弦退火，所有網絡模型訓練時最大迭代次數為50。

2.5 評價指標

本研究以識別準確率(Accuracy)、精確率(Precision)、召回率(Recall)、和F1 分數4 個評價指標[29]。為了衡量模型在實際部署時的性能，本研究還使用了推理時間毫秒(ms)作為評價指標，推理時間表示網絡模型在CPU上預測單張圖片所需要的時間。

3 結果與分析

3.1 不同模型雜草識別性能對比

為驗證本研究提出的輕量化雜草識別方法的性能優勢，本研究訓練了多個對比的卷積網絡模型，包括以往雜草識別研究中性能較好的VGG-16[30]、ResNet-50[31]、Dense-Net161[32]網絡模型，以及在輕量化圖像識別任務中表現出色的MobileNetv1[33]、MobileNetv2[34]、MobileNetv3[35]和ShuffleNet[36]網絡模型。對比試驗中所有卷積網絡模型均使用在ImageNet 數據集的預訓練模型上微調的方式進行訓練，本文方法由于較原始的MobileViT 做了部分改動，沒有可直接調用的預訓練模型，故采用模型參數隨機初始化的方式從頭訓練。選擇測試集中最高識別準確率對應輪次得到的模型作為最終模型，對比試驗結果如表2 所示。

表2 不同模型雜草識別結果對比Table 2 Comparison of weed recognition results using different models

從表2 中可以看到，對于類別間形態相似的雜草識別，通用卷積神經網絡的識別準確率明顯高于輕量化卷積神經網絡，而結合全局語義信息學習能力的本文方法識別效果要好于所有卷積神經網絡模型，本文方法在識別準確率、精準度、召回率和F1 分數上均為最高，識別準確率99.61%，較通用卷積網絡DenseNet-161 模型提高了約0.5 個百分點，較輕量化卷積網絡MobileNetv2 提高了1.78 個百分點，表明本文方法具有較大的雜草識別性能優勢。MobileNetv3 的識別準確率率僅為91.55%，遠不及MobileNetv2 的識別準確率，可能的原因是MobileNetv3 的結構是通過神經網絡架構在ImageNet 數據集上搜索得到的，并不適用于本研究的雜草識別任務。圖6 展示了不同雜草識別模型在測試集上識別結果的混淆矩陣，圖6a 為文獻[26]中GCN-ResNet-101 模型識別結果的混淆矩陣，圖6b 為本文方法識別結果的混淆矩陣。在圖6 中，對于玉米、莎草、早熟禾，本文方法的識別精度為99.44%、99.17%、99.72%，分別高于GCNResNet-101 模型2.34、1.97、1.52 個百分點，在形態差異較大的藜上，本文方法的精度更是達到了100%。得益于全局語義信息的加入，本文方法也明顯地降低了玉米幼苗、莎草和刺兒菜之間的識別錯誤率。以上結果表明本文方法能夠有效地學習到更具辨別能力的雜草細粒度特征，在區分自然場景下高相似度的作物與雜草上有更高的識別精度。

圖6 不同模型在Corn Weed 測試集上的混淆矩陣Fig.6 Confusion matrix of different models on Corn Weed test set

3.2 不同模型間雜草識別效率對比

雖然通用卷積神經網絡有良好的雜草識別精度，但由于其模型較為復雜且計算量龐大、并不適合部署在有實時性要求的田間雜草識別系統上；而輕量化卷積神經網絡的識別速度雖快，但是識別精度往往較低。本研究希望通過使用改進MobileViT 網絡來實現模型僅有較少參數的同時保持高的識別精度。為此，本文方法與主流卷積網絡的識別效率進行了對比，以驗證本文方法的有效性，結果如表2 所示。通過模型大小、準確率、推理時間的對比結果可以看到，本文方法有著和輕量化卷積神經網絡相近的識別速度，單張圖像推理時間僅為83 ms，能夠滿足除草作業的實時性要求，同時，該方法的準確率不僅高于具有其數倍模型大小與推理時間的DenseNet-161 通用卷積網絡，且遠高于MobileNetv2 輕量化網絡。本文方法通過卷積和Transformer 的巧妙結合，實現了識別精度與識別速度的權衡，能夠很好地應用于田間雜草識別。

3.3 本文方法與原始MobileViT 結構性能比較

考慮到MobileViT 的原始結構是針對ImageNet 數據集設計，直接遷移到本文任務上可能存在模型結構不適配的問題，為此，本研究對MobileViT 網絡進行了部分改進，在網絡的第一步卷積中采用了更大的步長與卷積核，并通過ECA 模塊加強對特征圖中重要信息的關注。MobileViT 的原始網絡根據網絡的規模和參數量的不同分為MobileViT-S、MobileViT-XS 和MobileViTXXS，本文方法與3 個原始版本的MobileViT 網絡的識別性能比較結果如表3 所示。在表3 中可以看到，本文方法與MobileViT-S 有著相似的識別準確率，但在單張圖像推理時間上明顯小于MobileViT-S，相較于MobileViT-XXS，本文方法在準確率上提高了0.39 個百分點，但由于本文方法參數設置是基于MobileViT-XS網絡的，因此推理時間略有增加。盡管如此，本文方法的推理速度仍足以滿足田間除草的實時性要求。

表3 本文方法與原始MobileViT 識別性能對比Table 3 Comparison of performance between our method and MobileViT

3.4 可視化分析

本文在Corn Weed 測試集每個類別中抽取一幅圖像，分別在MobileNetv2，DenseNet-161 與本文方法上使用梯度類激活映射方法[37]進行可視化分析。為了獲得更好的可視化結果，在生成激活熱力圖時僅使用了正確的標簽，對網絡模型最后一個卷積層輸出的特征圖求梯度以得到激活分布，并用熱力圖的形式將激活分布疊加在原圖片上呈現，可視化結果如圖7 所示。

圖7 不同識別方法的可視化結果Fig.7 Visualization results of different methods

從可視化結果中能夠看到，本文算法可以很好地關注到圖像中雜草與玉米幼苗所在區域，與對比的卷積神經網絡相比熱力圖覆蓋效果更加精準。本文方法對早熟禾、莎草和玉米圖像可視化效果中，葉片、莖稈等關鍵部分有著較高的激活值，這對區分形態相似的雜草與作物有著顯著幫助。同時，通過不同模型對藜的圖像可視化效果可以看到即使存在其他類別雜草的干擾，本文方法得到的整體熱力圖也能聚焦于藜所在的位置，而DenseNet-161 與MobileNetv2 未能準確覆蓋到目標區域。可視化結果表明，本研究提出的雜草識別方法能夠加強對重要雜草特征的提取，抑制對背景特征的提取，可以有效地解決農田環境下的雜草識別問題。

3.5 復雜田間環境下的識別驗證

本小節旨在驗證本文方法在實際農田環境下的預測效果，使用本文方法對具有復雜背景的圖像進行了識別以及試驗對比。在實際田間環境下存在著多種干擾因素，如背景干擾，光照不均等，因此除了識別模型本身，往往還需要對目標進行預定位。預定位可以使用傳統的圖像處理技術或增加子網絡結構來實現。本小節的試驗是在統一的植株目標預定位處理之后進行的。本研究的數據采集地點位于黑龍江省哈爾濱市的東北農業大學試驗田，采集時間為2022 年5 月，主要集中在上午10:00 和下午03:00 進行采集，以代表實際應用場景中植株在不同生長環境及光照條件下的狀態。為了更真實地模擬實際場景，拍攝時采用了不同的角度對植株進行拍攝，并且設備到植株的距離在20～60 cm 內隨機變化，以模擬實際作業時不同地形對數據采集的影響。采集類別包括早熟禾、藜、玉米、刺兒菜和莎草5 類。由于考慮到實際田間環境的復雜性，采集的數據涵蓋了不同天氣條件和作物生長環境，測試圖像選取包括葉片交疊、背景雜亂等復雜區域的自然場景圖像。在本方法中，待檢測圖像首先通過預定位模塊，將玉米和其余雜草框選出來，然后對預定位得到的植株，包括作物和雜草，分別使用不同的模型進行分類對比。圖8 中展示了部分樣本圖像的預定位結果和不同模型的預測概率。

圖8 本文方法實際田間識別效果預測圖Fig.8 Predicted performance of the proposed method for field recognition

從圖8 中可以看出，本文方法的預測概率普遍高于DenseNet-161 網絡模型。其中圖8a 和圖8b 中背景顏色均與待識別目標接近，本文方法不僅正確識別出目標，且對比DenseNet-161 網絡模型，在正確類別上的預測概率顯著提高。同時，得益于自注意力機制的引入，即使在背景與待識別目標外形接近且存在葉片重疊的情況下，本文方法也能準確識別目標，并提高正確預測概率，這對于識別形態差異較小的田間雜草具有重要意義。在其余圖像上，本文方法同樣擁有更好的預測結果。未來的研究工作可以包括自主拍攝、預定位和分類模型的集成和改進等方面，以進一步提高田間雜草識別的性能。

4 結論

為了在保證識別精度的前提下，提高實際田間環境中玉米與雜草識別的實時性，本研究提出了一種基于MobileViT 網絡的輕量化雜草識別方法，利用MobileViT網絡的全局信息學習能力可以捕捉到作物與雜草圖像中最具辨別力的區域。

1）在農田環境下，該方法對玉米植株及其4 類伴生雜草的識別準確率高達99.61%，對比表現最好的通用卷積網絡模型DenseNet-161，該方法的準確率提高了約0.5 個百分點，較輕量化卷積網絡模型MobileNetv2 準確率提高了1.78 個百分點。本文方法能夠準確地區分出形態較為相似的玉米幼苗與雜草，對比基于卷積神經網絡的現有雜草識別方法優勢顯著。

2）本文方法單幅圖像識別耗時僅為83 ms，能夠滿足實時性要求，相對于原始的MobileViT 結構，該方法在雜草識別精度和速度之間能夠更好地取得平衡。可為智能除草設備提供高效的雜草分布信息指導。

3）通過可視化分析可以看到本文方法很好地關注到了圖像中葉片、莖稈等關鍵部分，進一步驗證了該方法的有效性和可解釋性。本文工作也驗證了在復雜田間環境下使用改進MobileViT 網絡進行田間雜草識別的有效性，為真實農業場景下的雜草識別提供了可行方案。