基于多模態數據融合的小麥病蟲害檢測技術研究與應用

小麥是全球重要的糧食作物之一，在我國農業生產中占據著關鍵地位。然而，小麥在生長過程中極易受到多種病蟲害的侵襲，如小麥銹病、小麥赤霉病、蚜蟲等，這些病蟲害會嚴重影響小麥的生長發育，導致其產量和品質下降，給農業生產帶來較大損失。傳統的小麥病蟲害檢測方法主要依賴人工田間調查，該方法存在效率低、主觀性強、檢測范圍有限等缺點，難以滿足現代農業精準化、智能化的發展需求。

隨著信息技術的不斷發展，基于圖像和傳感器的檢測技術逐漸應用于小麥病蟲害檢測領域。單一模態數據，如可見光圖像、近紅外光譜等，雖然在一定程度上提高了檢測效率，但由于數據具有局限性，檢測精度仍有待提升。多模態數據融合技術通過整合多種來源、不同類型的數據，能夠充分發揮各模態數據的優勢，獲取更加豐富的信息，為小麥病蟲害檢測提供了新的思路和方法。因此，開展基于多模態數據融合的小麥病蟲害檢測技術研究，對于提高小麥病蟲害檢測的準確性和時效性、實現小麥病蟲害的精準防控具有重要的理論意義和實際應用價值。

一、多模態數據采集系統構建

（一）高光譜圖像數據采集

高光譜圖像能夠獲取小麥冠層在連續光譜范圍內的反射信息，包含豐富的物質成分和生理狀態信息，對于小麥病蟲害的早期診斷具有獨特優勢。該研究采用便攜式高光譜成像儀，在晴朗無風的天氣條件下，于9：00—11：00和14：00—16：00，對不同生長階段的小麥進行高光譜圖像采集。采集時，將成像儀固定在三腳架上，距離小麥冠層 1.5m ，確保采集的圖像能夠覆蓋一定面積的小麥區域。光譜采集范圍設置為 400～1000nm ，光譜分辨率為 3nm ，共獲取200個波段的高光譜圖像數據。

（二）無人機多光譜影像數據采集

無人機多光譜影像具有覆蓋范圍廣、獲取速度快、空間分辨率適中等優點，能夠實現對大面積小麥種植區域的快速監測。選用搭載多光譜相機的無人機，相機包含藍光（B）、綠光（G）、紅光（R）、近紅外（NIR）4個波段。在小麥生長關鍵時期，按照設定的飛行航線和高度（ 100m） ）進行飛行作業，采集無人機多光譜影像數據。通過地面控制點進行幾何校正和輻射定標，提高影像數據的精確度。

（三）環境傳感器數據采集

環境因素與小麥病蟲害的發生發展密切相關。該研究部署了溫濕度傳感器、光照強度傳感器、土壤濕度傳感器等環境傳感器，實時采集小麥種植區域的環境數據。傳感器安裝在小麥田間，距離地面 1.2m ，以獲取具有代表性的環境參數。每 30min 采集1次，記錄環境數據的變化情況。

（四）多模態數據同步與預處理

為實現多模態數據的有效融合，需要對采集到的高光譜圖像數據、無人機多光譜影像數據和環境傳感器數據進行同步和預處理。針對高光譜圖像數據，采用光譜平滑濾波和大氣校正等方法，去除噪聲和大氣干擾；針對無人機多光譜影像數據，進行幾何校正、正射校正和鑲嵌處理，生成標準的多光譜影像；針對環境傳感器數據，進行異常值剔除和歸一化處理。同時，根據時間和空間信息，對三種模態的數據進行匹配，構建多模態數據集。

二、多模態數據融合與特征提取

（一）多模態數據融合方法

本研究采用基于深度學習的多模態數據融合方法，結合早期融合、中期融合和晚期融合的優點，提出一種混合融合策略。早期融合是將高光譜圖像數據、無人機多光譜影像數據和環境傳感器數據在數據層進行融合，通過將不同模態的數據進行拼接，形成新的多模態數據矩陣；中期融合是在特征提取過程中進行融合，將不同模態數據經過特征提取后得到的特征向量進行融合；晚期融合是在決策層進行融合，將各個模態數據獨立訓練得到的模型預測結果進行融合。通過試驗對比，確定最佳的融合策略和融合參數。

（二）深度學習特征提取網絡

采用卷積神經網絡（CNN）作為特征提取的基礎網絡結構，結合多模態數據的特點，對網絡進行改進和優化。針對高光譜圖像數據，設計了三維卷積層，充分利用高光譜圖像的光譜維和空間維信息；針對無人機多光譜影像數據，采用多層卷積和池化操作，提取影像的空間特征；針對環境傳感器數據，通過全連接層將其映射到特征空間。然后，將不同模態提取的特征進行融合，輸入到分類器中進行病蟲害檢測。

為提高網絡的訓練效率和泛化能力，引入注意力機制，使網絡能夠更加關注對病蟲害檢測有重要意義的特征。同時，采用遷移學習的方法，利用在大規模圖像數據集上預訓練的模型參數初始化網絡，縮短網絡的訓練時間，減少其計算量。

三、小麥病蟲害檢測模型構建與訓練

（一）模型結構設計

基于改進的深度學習特征提取網絡和多模態數據融合方法，構建小麥病蟲害檢測模型 （如圖1所示）。該模型主要由多模態數據輸入層、特征提取層、融合層和分類輸出層構成。輸入層接收經過預處理的高光譜圖像數據、無人機多光譜影像數據和環境傳感器數據；特征提取層分別對不同模態的數據進行特征提?。蝗诤蠈訉⑻崛〉奶卣鬟M行融合；分類輸出層采用Softmax函數對融合后的特征進行分類，輸出小麥病蟲害的檢測結果，包括病蟲害的種類和嚴重程度。

（二）模型訓練與優化

采用標注好的多模態數據集對檢測模型進行訓練，在訓練過程中，使用隨機梯度下降（SGD）算法進行優化，并設置合適的學習率、批次大小及訓練輪數等參數。為避免模型過擬合，采用數據增強、Dropout等正則化方法。通過交叉驗證的方式調整模型的超參數，篩選出最優的模型結構和參數配置。同時，實時監控模型的訓練損失和驗證準確率，當驗證準確率不再提升時，停正訓練，最終得到小麥病蟲害檢測模型。

四、試驗設計與結果分析

（一）試驗設計

為驗證基于多模態數據融合的小麥病蟲害檢測技術的有效性，在河南省某小麥種植基地進行了田間試驗。試驗選取了不同品種、不同生長階段的小麥田塊，設置了健康小麥區域和感染不同病蟲害（小麥銹病、小麥黑穗病、蚜蟲）的區域（如圖2所示）。在試驗過程中，按照上述多模態數據采集方法，獲取高光譜圖像數據、無人機多光譜影像數據和環境傳感器數據，并進行預處理和標注。

將試驗數據集劃分為訓練集、驗證集和測試集。分別采用單一模態數據（高光譜圖像數據、無人機多光譜影像數據、環境傳感器數據）和多模態數據融合的方法，基于相同的深度學習網絡結構構建檢測模型，并進行訓練和測試。同時，與傳統基于機器學習的病蟲害檢測方法（支持向量機SVM、隨機森林RF）進行對比試驗。

（二）結果與分析

試驗結果表明，基于多模態數據融合的小麥病蟲害檢測模型在準確率、召回率和 F₁ 值等指標上均優于單一模態檢測模型和傳統機器學習檢測方法。

從表1中可以看出，多模態數據融合的檢測方法相較于單一模態檢測方法，準確率提升了 15%～20% ，能夠更準確地檢測出小麥病蟲害的種類和嚴重程度。通過對不同病蟲害檢測結果的分析發現，對于小麥銹病和小麥赤霉病等病害，多模態數據融合方法能夠利用高光譜圖像的光譜特征和無人機多光譜影像的空間特征，實現更精準的識別；對于蚜蟲等蟲害，環境傳感器數據提供的環境信息與圖像數據相結合，提高了檢測的可靠性。

同時，對模型的檢測時間進行了測試。結果表明，基于多模態數據融合的檢測模型在處理一幅高光譜圖像、無人機多光譜影像和環境傳感器數據時，平均檢測時間為 2.3s ，能夠滿足實時檢測的需求，適用于實際農業生產場景。

五、實際應用與推廣

（一）應用案例

將基于多模態數據融合的小麥病蟲害檢測技術應用于某大型小麥種植合作社的田間管理中。通過定期采集多模態數據，利用檢測模型對小麥病蟲害進行監測。在一次監測中，檢測模型及時發現了某地塊存在小麥銹病的早期癥狀，根據檢測結果，合作社及時采取了化學防治措施，有效控制了病蟲害的蔓延，避免了大面積的減產。據統計，通過應用該技術，該合作社小麥病蟲害的防治效率提高了 30% ，農藥使用量減少了 20% ，實現了經濟效益和生態效益的雙贏。

（二）推廣前景

基于多模態數據融合的小麥病蟲害檢測技術具有廣闊的推廣前景。該技術具有檢測準確率高、實時性強、操作簡便等優點，能夠為農業生產提供精準的病蟲害監測信息，幫助農民及時采取防治措施，降低生產成本，提高小麥的產量和質量。同時，隨著無人機技術、傳感器技術和人工智能技術的不斷發展，該技術的成本將逐漸降低，性能將不斷提升，有望在全國范圍內的小麥種植區域得到廣泛應用。此外，該技術的研究方法和思路還可以推廣應用到其他農作物的病蟲害檢測領域，為智慧農業的發展提供技術支持。

六、結語

相關部門研究了基于多模態數據融合的小麥病蟲害檢測技術，通過構建多模態數據采集系統，采用深度學習算法進行多模態數據融合與特征提取，建立了小麥病蟲害檢測模型，并在實際生產環境中進行了應用驗證。試驗結果表明，該技術能夠有效提高小麥病蟲害檢測的準確率和時效性，具有良好的應用效果和推廣前景。然而，本研究仍存在一些不足之處。一方面，試驗數據采集的規模有待進一步擴大，以提升模型在不同環境和條件下的泛化能力；另一方面，模型的計算復雜度較高，需要進一步優化算法和硬件設備，提高檢測效率。未來，研究將圍繞這些問題展開，通過收集更多的多模態數據，改進深度學習算法，探索輕量化模型結構，實現基于多模態數據融合的小麥病蟲害檢測技術的進一步完善，為小麥病蟲害的精準防控和智慧農業的發展提供更有力的技術保障。

作者簡介：董俊磊（1979—），男，河南駐馬店人，本科，講師，主要從事大數據、人工智能應用研究工作。

（責任編輯劉素芳）