煙草病蟲藥害智能識別基準數據集構建及三維注意力模型設計

馬俊紅，劉冬梅，李永亮，戶艷霞，盧燦華，蓋曉彤，姜寧，莫笑晗，麻莉娜，王揮華，王宇航，夏振遠*

1 云南省煙草農業科學研究院，昆明市圓通街33號 650021；

2 云南省煙草公司曲靖市公司，曲靖市官坡巷51號 655000；

3 云南省煙草公司保山市公司，保山市正陽北路186號 678000；

4 云南省煙草公司大理州公司，大理市鶴慶路71號 671000；

5 北京航空航天大學，北京市海淀區學院路37號 100191

我國煙草侵染性病害有68 種，害蟲有200 多種，其中危害較重且常發的主要有TMV 等病毒病、黑脛病、青枯病、赤星病、根結線蟲病以及煙蚜、煙青蟲等[1]。在煙草農業生產中，不僅病害、蟲害等情況十分常見，農藥混用不當、超范圍使用、農藥誤用等也會造成藥害情況的發生，給煙農帶來巨大經濟損失。病蟲藥害診斷是及時防治、減少損失的關鍵。傳統煙草病蟲藥害診斷方法主要依靠人工判斷，而煙農對專業診斷知識的掌握有限，經常導致防治措施不及時、不準確，直到災害蔓延面積較大時才引起相關技術人員的關注。因此，開展病蟲藥害圖像智能識別研究，實現精準的煙草病蟲藥害實時診斷，將大大提高煙農的診斷效率，減少損失，有助于提高煙葉產量和品質。

近年來，植物病蟲藥害智能識別問題已經逐漸引起專家學者的關注，許多針對植物病蟲藥害特征提取和分類的方法被先后提出。部分病蟲藥害的研究中通過手動[2-3]或半自動[4]的方式進行圖像特征提取，但這種方式往往需要考慮環境因素對特征的影響[5]。深度學習技術的發展使特征自動提取成為可能[6-7]，但當前公開數據集中的圖像通常在實驗可控環境下采集得到，與實際使用環境存在差異，相關研究表明，使用公開數據集訓練得到的模型在實際場景中應用時，識別精度出現大幅下降[8]。針對單一卷積神經網絡在農作物病害識別上分類準確率不高的問題，龔安等[9]提出了多個卷積神經網絡模型融合的方法，運用遷移學習固定底層模型參數并修改全連接層進行多模型訓練，采用堆疊（Stacking）方法融合多個預測向量，得到較好識別結果。為提高害蟲圖像識別的準確率，張苗輝等[10]提出了一種基于深度學習和稀疏表示的方法進行害蟲的檢測分類識別。為了解決深度學習模型訓練參數量過大的問題，Kouhalvandi L 等[11]將S 度量選擇高效全局優化算法（SMS-EGO）和直接法（DIRECT）應用于深度學習模型的訓練過程，有效提高病蟲害識別模型訓練效率，縮短模型迭代時間。針對煙草病蟲害的自動識別，劉迦南[12]提出一種利用模擬退火算法對棉鈴蟲和煙青蟲圖像原始特征空間進行優化降維，利用支持向量機SVM 作為分類工具對成蟲進行分類，該方法僅針對害蟲中的兩類四種成蟲進行分類，雖然準確率較高，但識別種類有限，在實際的應用場景具有一定的局限性。曾嬙[13]提出了一種基于區域的活動輪廓模型方法，采用sqf 函數進行演化用于提取煙葉頁面輪廓，采用高斯平滑Robert 交叉梯度銳化的方法增強病斑圖像邊界信息和紋理信息，利用Lab 顏色空間的形態學分割方法對病斑進行分割，通過對分割后的病斑圖像進行特征參量提取，根據特征參數值來對病害種類進行識別，該方法能夠較好地對煙葉病斑進行分割，但其模型不具有學習能力，泛化能力差，在實際應用過程中穩定性差。

因此，實現多種類的田間采集煙草病蟲藥害圖像精準識別仍是一個具有挑戰性的問題，不僅體現在部分類別的圖像特征高度相似、田間拍攝圖像內容復雜，常見煙草病害的發生部位、生長階段等也具有多樣性，使得單一種類的數據集規模難以滿足分類網絡訓練需求。為解決上述問題，本文通過基于煙草病蟲藥害圖像特征的深入分析構建了滿足深度學習研究需求的細粒度圖像數據集，并基于深度遷移學習技術和視覺注意力技術設計并實現了多重加權注意力模型，在煙草病蟲藥害圖像識別中體現了良好的識別精度和泛化性能。

1 材料與方法

1.1 實驗數據集構建

為了實現在復雜自然場景下對病蟲藥害進行識別，用相機和手機在煙草田間自然光照環境下拍攝獲取煙草病害、蟲害、藥害的田間照片。為保證機器學習效果，照片種類覆蓋云南煙草主要的病蟲藥害種類，體現不同時期的癥狀特征。依據煙草的苗期、團棵期、旺長期和成熟期四個生長階段，分別對發病的初期、中期和后期的煙葉及不同發育時期害蟲進行圖像采集。利用網絡爬蟲技術在網絡上下載煙葉病蟲藥害數據進行數據補充。除圖片數據外，還獲取了部分田間拍攝的視頻數據。

1.1.1 數據預處理

在實際數據采集過程中，通常需要對數據進行一定的預處理操作來提高數據的可用性。采用統計平均幀間差分強度，提取局部最大值的幀作為視頻的關鍵幀。對于拍攝過程中造成圖片曝光過度造成失真數據，首先加載彩色圖像進行歸一化后轉換為浮點型，然后利用gamma 函數對顏色空間進行非線性變換，將過曝圖片顏色空間從BGR 轉換為HLS 后，調整亮度值和飽和值實現對過曝圖片進行處理。在數據增強上，通過隨機裁剪的方式固定圖片尺寸，再利用插值算法調整到需要的尺寸大小，通過對圖像像素的空間位置做變換，對圖像進行鏡像處理實現水平、垂直、水平垂直鏡像翻轉操作，還通過以圖像畫面中心為基準點將圖像進行任意角度的旋轉變換，再對旋轉操作后的圖像取最大內接矩陣，消除旋轉圖像后造成的黑邊，實現數據增強。

1.1.2 數據類別劃分

針對特征相似度較高的病蟲藥害進行細粒度劃分，根據遷移學習的理論思路，把預訓練好的網絡模型遷移到細粒度分類識別任務中。將預訓練模型的網絡權值作為初始權值，通過對細粒度劃分的數據進行特征學習實現對網絡權值的微調，最終得到細粒度分類網絡模型。本文以煙草數據集可分為病害、害蟲、藥害、健康煙株類細粒度劃分數據集。

1.2 模型結構設計

由于煙草病蟲藥害圖像特征分布復雜，且難以通過數據標注為模型訓練提供強監督先驗信息，本文基于深度遷移學習技術與視覺注意力技術對模型結構進行設計，提出了三維加權注意力模型（Threedimensional Weighted Attention Model，TWAM），模型整體結構如圖1 所示。

圖1 TWAM 結構圖Fig. 1 The architecture of TAWM

模型主要通過主干網絡和三維注意力模塊（Three-dimensional Attention Module， TAM）兩 部分完成輸入圖像 的細粒度特征提取，其中主干網絡產生輸入圖像的初始特征圖 ，實現淺層特征提取，三維加權注意力模塊輸出初始特征圖的三維注意力權重 ，實現三維注意力約束學習，在此基礎上采用殘差學習技術，將應用于產生描述高層特征的三維加權特征圖 ，計算公式為：

最后通過全局平均池化層對特征圖進行壓縮，得到一維特征向量，最后添加全連接層完成特征向量與圖像類別向量之間的映射，輸出分類識別結果。

1.2.1 初始特征圖獲取

在ImageNet 等大型數據集上訓練好的深度卷積模型具有較好的特征提取能力，為了快速獲取田間拍攝的煙草病蟲藥害圖像特征，本文運用深度遷移學習技術，將在ImageNet 數據集訓練好的InceptionV3模型[14]作為主干網絡，進行淺層特征提取，得到輸入圖像的初始特征圖，作為后續高層特征計算的起點。在解決煙草病蟲藥害圖像分類識別問題時，InceptionV3 模型明顯優于其他經典卷積神經網絡模型，本文在后續章節將給出相關實驗數據。

為了使初始特征圖具有更強的圖像淺層特征描述能力，我們對初始特征圖在主干網絡中的提取位置進行了比較。根據InceptionV3 模型對原圖進行卷積得到三種尺寸像素特征圖，把這三種像素尺寸特征圖分別作為了初始特征圖，像素尺寸為35×35、17×17和8×8 等三種模型對比實驗，模型訓練與測試情況如表 1 所示。

表1 不同初始特征圖像素尺寸模型測試Tab. 1 Test accuracy of models with different initial feature image pixel sizes

圖2 初始特征圖提取算法流程圖Fig. 2 Flow chart of initial feature image extraction algorithm

1.2.2 三維注意力模塊

由于主干網絡產生的初始特征圖對輸入圖像的淺層特征具有良好表現能力，但對細粒度特征描述不足，本文設計了三維注意力模塊計算三維注意力權重，通過對淺層特征添加三維注意力約束產生描述豐富語義信息的高層特征，即三維加權特征圖。該模塊基于視覺注意力技術設計，在煙草病蟲藥害圖像難以通過數據標注提供強監督先驗信息的情況下，實現弱監督細粒度特征提取，其結構如圖3 所示。

圖3 三維注意力模塊結構圖Fig. 3 Structure chart of three-dimensional attention module

三維注意力模塊包含通道注意力分支和空間注意力分支，分別進行通道維和空間維的注意力權重學習，最終組合兩個分支的輸出結果產生三維注意力權重。其中通道維注意力權重采用通道域注意力機制，通過經典的SE（Squeeze-and-excitation）模塊[15]結構實現，空間維注意力權重通過編碼-解碼結構進行空間維掩碼計算，實現空間域注意力機制。

通道注意力分支采用SE 模塊[15]結構，將輸入特征圖的每個通道視為一個特征，由于每個特征對分類結果的貢獻不同，因此學習通道維注意力權重來表述各個特征在產生識別結果過程中的重要性，通過為每個特征賦予不同的權重，實現對重要特征給予更多注意力。首先通過全局平均池化層對通道內部信息進行壓縮，產生各通道的特征編碼，然后通過兩個連續的全連接層對編碼向量進行非線性計算，生成不同特征之間的重要性分布權重，即通道維注意力權重 。

空間維注意力分支采用卷積編碼——解碼結構，完成通道內部不同空間位置的注意力權重學習，通過為不同空間位置的特征元素添加注意力約束表達不同位置的重要性。在編碼階段，首先通過一個殘差單元對輸入特征圖進行卷積編碼，然后通過最大平均池化計算對特征圖進行降采樣，壓縮空間維特征元素，產生空間維全局信息關注編碼，然后通過對稱的升采樣和卷積計算結構，將編碼元素映射至原輸入空間，產生重構的注意力掩碼，作為輸入特征圖各位置元素點的注意力權重。為了使得到的權重矩陣精準表達空間維注意力，規避通道維影響，將空間維權重矩陣激活函數設置為：

其中，i代表輸入特征圖通道編號，c指通道內部的空間位置編號，使用標準化處理權重矩陣通道維的方法，消除其通道維的注意力語義，最后使用Sigmoid 函數將處理后的權重系數歸一化至[0, 1]空間，產生空間維權重WS。

最后，結合兩個分支產生的權重矩陣產生三維注意力權重 ，其計算方法如公式（3）所示。

2 實驗結果與分析

2.1 實驗數據

按1.1 所述方法獲取煙草病害蟲藥害及健康煙葉的圖像，篩除模糊、特征不明顯、光照不均衡、存在色差的圖片數據，然后再進行圖片分類，共收集照片130568 張，通過煙草病害和藥害癥狀、害蟲形態方法對數據進行清洗與分類。在煙草病蟲藥害數據分類中，完成數據清洗和人工分類的照片有52891 張，病害有效數據集為34258 張，包括真菌病害、細菌病害、病毒病、線蟲病害以及非侵染性病害；害蟲有效數據為11245 張，包括常見害蟲及有益昆蟲；藥害有效數據為5211 張；健康煙株有效數據為2177 張，包括健康整株、莖、稈、葉。具體分類的數量及種類如表2所示。

表2 煙草病蟲藥害數據集分類Tab. 2 Classification of dataset of tobacco diseases, pests, and phytotoxicity

此外，原始數據集中不同類別的數據量差異很大，采用裁剪、隨機旋轉、隨機翻轉、高斯噪聲等數據增強方法對訓練集進行擴展。實驗中每小類訓練數據量為250 張，通過控制實際使用的增強數據量來保持數據平衡，將數據量不足的小類補充至250 張。在實驗中，訓練集、驗證集與測試集的比例分別為81%、9%和10%，數據集由隨機劃分而得。其中，測試集是從原始數據集隨機劃分的由52 個類別數據聯合組成的合并集，不包括增強的派生數據，每類數據量相等，皆為25 張。

2.2 實驗設備與相關環境

本文需要搭建實驗環境，注意軟件版本號的對應，實驗環境才能搭建成功[16]。本次實驗機型為Lenovo-ThinkStation-P920，操作系統采用Ubuntu 系統[17]，使用TensorFlow1.13 框架[18]、CUDA[19]11.0 進行訓練。本文使用的軟硬件設備詳細配置信息見表3、表4 和表5。

表3 實驗使用顯卡信息表Tab. 3 Information of graphics card used in the experiment

表4 實驗主機硬件配置表Tab. 4 The host hardware configuration of the experiment

表5 操作系統平臺與應用軟件配置表Tab. 5 Operating system and application software configuration

2.3 實驗結果對比

為了對比驗證特征提取網絡效果的好壞，本實驗都采用預訓練模型后的遷移學習。首先訓練InceptionV3 網絡測試，每批次訓練70 張圖片。由圖4（a）可知，InceptionV3 準確率Top-1 為89%，比ResNet50 和VGG16 網絡準確率高，InceptionV3 具有最優的識別效果。

圖4 經典CNN 模型準確率和損失Fig. 4 Accuracy and loss of classic CNN model

為了充分利用InceptionV3 網絡結構的優勢，經過試驗對比8×8 和17×17 后，最終我們將17×17網格階段最終輸出的特征圖作為多重注意力模塊的初始特征圖。在數據集規模小的情況下，初始特征圖借助了預訓練模型較強的特征提取能力，在提升訓練速度的同時也在最大程度上保證了特征的有效性，為細粒度特征的分析提供了良好基礎。

在煙草病害數據集上實驗，初步評價了各種經典卷積神經網絡的學習能力，并選擇了合適的模型作為初始特征圖提供網絡。為了證明TAM 的重要性，實驗設計了單個注意單元的驗證實驗，并在煙草病害數據集上與現有的注意網絡進行了比較，說明該方法的優越性。在實驗中，實驗使用早期停止規則來保存優化模型，即在驗證集的精度在幾個階段后沒有提高時停止訓練。如圖4 和表6 中的數據表明，在煙草病害數據集上訓練的三個遷移學習模型中，InceptionV3比其他模型具有更高的測試精度。因此，基于遷移學習的InceptionV3 模型對于提高煙草病害識別模型的準確性和魯棒性具有重要作用。

表6 基礎CNN 測試準確率Tab. 6 Test accuracy of baseline CNN models

下面將TAM 與不同的注意力模塊進行比較，分別為通道域注意力模塊SEM（Squeese-and-Excitation Module）[15]和 混 合 注 意 力 模 塊RAM（Residual Attention Module）[16]，以證明其結構的有效性。實驗數據（表7）表明，與遷移學習模型相比，加入SEM后模型準確率提高了1.4%，加入TAM 后，模型準確率提高了1.91%，而在主干網絡基礎上疊加包含多個卷積單元的RAM 后出現了明顯過擬合現象。因此，TAM 不僅可以提高模型的細粒度特征提取能力，而且可以有效地防止過度擬合。

表7 不同注意模塊模型的準確性Tab. 7 The accuracy of different attention models

最后實驗將三維加權注意力模型（TWAM）與SE-InceptionV3 模型和剩余注意模型（RAM）進行了比較，以驗證其整體結構的有效性。由于數據特征分布復雜，類間差異較小，數據集存在特征維度高、數據量不足的問題。因此，從頭訓練的SENet 在不到30 個迭代就得到了最優模型，但在測試集上的識別精度大幅下降，出現了明顯過擬合現象。相比之下，混合注意力模型RAM 的穩定性更好，但得到的最優模型識別能力有限。如表8 和圖5 所示，在煙草病蟲藥害圖像識別研究中，TWAM 在識別精度和穩定性等方面都表現出了顯著優越性。

圖5 TWAM 準確率Fig. 5 The accuracy of TWAM

表8 TWAM 與基線模型比較Tab. 8 The comparison between the proposed TWAM method and the baseline model

在同等實驗環境下，對數據集按每批次訓練64張圖片，總共1800 步進行訓練，并將訓練結果通過TensorBoard 進行數據可視化展示。如圖6（a）所示，TWAM 準確率在訓練至1700 輪時驗證集準確率收斂至95.31%。與其他模型相比，TWAM 能夠快速收斂得到最優模型，表現出良好分類精度與泛化性能，見圖6（b）。除此之外，如表9 所示，TWAN 的精準度（Precision）和召回率（Recall）[20]都較高，說明TWAN 在具有較高準確率的同時具有較低的誤判率和遺漏率。

表9 TWAM 效果評價Tab. 9 Effectiveness evaluation of TWAM

圖6 TWAM 準確率和損失Fig. 6 The accuracy and loss of TWAM

3 結論

本文針對煙草病蟲藥害圖像進行研究，從數據采集和模型構建上提出如下解決方案。

1）基于煙草病蟲藥害圖像數據特征的統計與分析，對數據類別進行合理劃分，規范數據集構建流程，采用多種圖像處理技術解決數據質量不高、數量不足等問題，構建可供機器學習研究使用的煙草病蟲藥害圖像數據集。

2）針對煙草病蟲藥害圖像特征分布復雜、數據難以標注等問題，提出了基于深度遷移學習技術和視覺注意力機制的三維加權注意力模型。使用深度遷移學習技術解決特征維度過高問題，進行淺層特征提取，同時設計三維注意力模塊，學習通道維和空間維注意力約束，生成描述高層語義特征的三維加權特征圖，在弱監督情況下實現細粒度特征提取。

在本文構建的煙草病蟲藥害圖像數據集上，提出的三維加權注意力模型表現出了良好性能，不僅識別精度優于其他現有方法，魯棒性也較好?？紤]到所用數據均為手機拍攝，原始圖像素均較高，當前方法為控制模型計算量在進行特征提取前進行了壓縮處理，可能造成部分信息丟失，未來可在高像素圖像特征提取等方面進行深入研究，優化特征提取方法，進一步提高模型性能。

本文所提出的基于煙草病蟲藥害圖像數據集的三維加權注意力模型具有較強的實用性，可用于煙草病蟲藥害圖像智能識別系統，為煙農或不了解煙草病蟲害信息的相關人員提供精準、實時的病蟲藥害圖像智能識別，以便及時采取有效防治措施，減輕經濟損失。