基于Bi-LSTM與多尺度神經網絡模型的番茄病害識別

陳智超 汪國強 李飛 楊昭

摘要：番茄葉片病害的精準識別對農業領域未來的發展至關重要，農業研究人員逐漸使用深度學習的方法進行植物病害的精準檢測。然而對比以往的神經網絡可以發現，它們普遍缺少上下文信息的連續性以及全文信息的完整性。對此本研究提出了一種Bi-LSTM和多尺度卷積神經網絡相結合的模型，采用雙向長短期記憶網絡，可以更好地捕捉雙向信息的反饋，使上下文的信息更具有連續性，而所提出的多尺度卷積神經網絡既保證了全局信息的完整性，同時減少了細節信息的丟失，為了提高模型對病害特征的識別能力引入注意力模塊，從而使模型重點關注疾病的特征部分。從公開的PlantVillage數據集中選取番茄的9類疾病和健康的葉片作為研究對象，試驗結果在驗證集上得到最高分類準確率為98.16%，與其他幾個經典的CNN模型相比較，該模型的識別準確率優于其他的基礎模型，并且具有較好的穩定性。經過試驗驗證，該模型可以為番茄病害識別提供一種有效的解決方法。

關鍵詞：雙向長短期記憶網絡；多尺度；番茄；病害識別；注意力；Bi-LSTM

中圖分類號：S126；TP391.41 文獻標志碼：A

文章編號：1002-1302（2023）15-0194-09

基金項目：國家自然科學基金（編號：51607059）。

作者簡介：陳智超（1997—），男，黑龍江哈爾濱人，碩士，主要從事數字圖像處理研究。E-mail：1298664186@qq.com。

通信作者：汪國強，博士，教授，主要從事數字圖像處理研究。E-mail：wangguoqiang@hlju.edu.cn。

番茄作為世界上最受歡迎的蔬菜之一，它富含人們日常所需的微量元素，它的年產量高居世界首位，被許多國家廣泛種值，種植過程中的病害嚴重影響番茄的產量和收益［1］。最近一些科學研究表明，番茄產量正在逐步下降，主要原因就是沒有及時發現番茄葉片部位的病害并及時進行治療，例如早期葉片部位的病變并沒有充分引起大家的注意，隨著病害從葉片延伸到植物的根部，導致番茄年產量逐年下降，給農民造成嚴重的經濟損失［2］。因此及時且精準地識別番茄病害類型，并進行有效預防，有助于農戶種植番茄。在這個不斷變化的生態環境中，精確地檢測疾病并進行病害的有效識別對避免生態環境可能面臨的植物病害問題非常重要［3］。人類早期通過肉眼診斷植物病害，長期以來也是一項艱苦而徒勞的工作。采用傳統的機器學習算法如支持向量機、主成分分析方法，通過手工特征提取和分類器進行圖像的分類，但復雜的特征工程很大程度上影響了工作效率，他們往往局限于使用的數據集太小，并且分類器需要大量參數進行調整，得到的結果通常單一化，不具有代表性［4-5］。

近年來，研究人員針對植物分類任務提出了一系列方法。Albogamy等提出了一種利用帶有最大池化的批量歸一化層和Dropout層，并且開發了一種自動診斷輔助系統，批量歸一化有助于將神經網絡的輸入標準化［6］，最大池化層有助于減少空間卷積特征的大小，而Dropout層可以緩解模型訓練階段的過擬合問題，該模型在一個包含15種植物病害的公共數據集上進行了試驗，通過試驗得知模型在驗證集上的準確率為96.4%［6］。Abbas等提出了基于深度學習的番茄葉片檢測方法，利用條件生成對抗網絡生成番茄葉片的合成圖像，然后利用遷移學習在合成圖像和真實圖像上訓練DenseNet121模型，該模型同樣也在公共的PlantVillage數據集中選取番茄葉片進行了訓練，其10類的識別準確率達到了97.11%［7］。胡玲艷等對SqueezeNet結構進行改進，精簡其中的fire模塊，對Expend層的卷積核、網絡層數以及通道數進行調整，模型識別準確率達到97.29%［8］。馬宇等提出了基于ResNetXt50殘差網絡，將注意力機制嵌入殘差網路模塊提取特征，采用遷移學習預訓練參數的方式訓練網絡，其識別準確率達到98.4%［9］。謝圣橋等提出了一種基于遷移學習的技術，實現了葡萄葉部病害的精準分類，對葡萄病害識別達到了96%以上［10］。劉君等提出一種基于YOLO網絡番茄識別算法模型，對8類番茄疾病的平均識別準確率達到了85.09%［11］。熊夢園等基于ResNet模型與CBAM注意力模塊結合對4種玉米病害類型進行檢測與識別，其平均識別精度達到了97.5%［12］。

因此，在與以往的番茄病害識別工作中可以發現，研究者們往往考慮模型識別的準確率、模型參數大小與計算速度等特性，但卻忽略了對特征信息捕捉的重要性［13］。針對神經網絡在訓練過程中忽略了番茄葉片病害的坐標信息和全局的上下文信息，造成模型識別精度低的問題，采用Bi-LSTM與多尺度卷積神經網絡相結合的方法，同時引入CBAM注意力模塊，Bi-LSTM對病害特征進行雙向特征提取，多尺度神經網絡是將傳統神經網絡中前向輸出層與后向輸出層連接起來形成一個新的全連接層，可以有效地防止在卷積和池化操作期間造成的信息丟失，在保證全局信息完整性的同時記憶番茄病害的位置信息，減少上下文信息細節丟失的情況。

1 材料與方法

1.1 數據來源

本研究使用來自開源數據庫中PlantVillage的番茄數據集［14］。如圖1顯示，PlantVillage數據集中包含9個病害的類別和1個健康的類別。PlantVillage數據集中番茄葉片的類別分布如表1所示，同時為了加快收斂速度，將番茄葉片的所有圖像大小調整為128×128，按照80 ∶20的比例將番茄數據集劃分為訓練集與驗證集，其中訓練集用于模型的訓練，驗證集則用于模型的性能評估。

1.2 LSTM-MCNN模型搭建

本研究提出了名為LSTM-MCNN的一種端到端的深度學習網絡模型用于番茄葉片病害識別，它由Bi-LSTM、MCNN和CBAM三大模塊集成到一個統一的神經網絡中。在第1階段先對數據集進行灰度化預處理，灰度化圖像相比較RGB圖像可降低圖像處理計算量，改善運算效率，既保留了葉片的全局信息，也使葉片的健康部位與病害部位特征對比顯著［15］。提出了一種基于雙向長短期記憶網絡的模型，引入注意力機制捕捉病害特征信息，最后對灰度特征進行分類，Bi-LSTM模型可以更好地學習上下文的特征信息并記憶番茄病害的位置信息。第2部分提出了多尺度卷積神經網絡模型，采用淺卷積層和深卷積層相結合的方式進行分類，這是一種防止在卷積和池化操作期間丟失特征信息更好的處理方法［16］。將Bi-LSTM模型中的最后一個全連接層與所提出的多尺度卷積神經網絡中的最后一個全連接層結合，組合成一個新的全連接層，最后與softmax輸出函數結合，完整的框架如圖2所示。

1.2.1 Bi-LSTM作為提取灰度特征分類模型 眾所周知，RNN模型通常被用來處理序列數據，它可以在不同時間步的神經元之間進行周期性連接，由于它具有連接上下文信息的特性，已經被成功應用于序列分類［17］。但由于訓練傳統的RNN模型會產生長期依賴性的問題，通俗來說就是在反向傳播階段趨于消失和爆炸。而所采用的雙向長短期記憶網絡不僅可以緩解這個問題，同時能更好地捕捉雙向的信息依賴。如圖3所示，本研究采用的 Bi-LSTM 網絡，它是由前后2個LSTM構成，每個LSTM都引入了幾個門控結構來控制信息的記憶和遺忘，網絡的輸出是由2個LSTM隱藏層的狀態所決定［18］。雙向長短期記憶網絡既能記憶以往時間的特征信息，還可以捕獲未來時間的特征信息，因此它不僅可用于提取相鄰信息的上下文特征，還可以捕捉疾病的位置信息［19］。同時，在全連接層與輸出層中間添加了Dropout層以便減輕模型在訓練過程中產生的過擬合問題［20］。

對番茄病害圖像進行灰度化，同時得到輸入為128×128的圖片，在試驗中將時間步長和輸入維度都設置為128，將番茄病害圖片作為序列放入循環卷積神經網絡模塊，記憶番茄葉片病害位置信息，獲取病害區域內的上下文聯系信息。

當雙向長短期記憶網絡進行番茄病害特征序列分類任務時，前后向傳播的LSTM單元中的隱藏層計算過程如下所示。

引入Dropout層后在t時刻輸出結果如公式（3）所示。

式中：Bernl（q）為隨機刪除q比例神經元的概率。

1.2.2 多尺度卷積網絡提取RGB特征網絡模型 卷積層、池化層和全連接層是CNN的主要構成部分，組成的模型用來提取RGB特征進行訓練［21］。在先前的卷積神經網絡中，后一層神經元的輸出作為前一層神經元的輸入，并且與全連接層順次連接。然而，由于訓練集上包含了大量的數據，導致網絡的收斂速度非常緩慢，同時，由于傳統卷積神經網絡的池化層會使卷積特征對輸入的平移更具有不變性，隨著層的加深，特征空間極具減小，卷積層和池化層在訓練過程中會造成一定量的信息丟失，導致特征細節丟失。在實際的模型訓練中，需要花費很長的時間才能完成，并且訓練模型的泛化能力并不是很強。考慮到每張圖片的疾病往往有不同的側重點，它的特征可大可小，所以要盡可能地保證信息的完整性，對此本研究提出了一種新的神經網絡模型，與傳統首尾順次連接的神經網絡相比，所提出的多尺度卷積神經網絡模型如圖4所示，它結合多個卷積層-池化層的通道，在每個具有相同數量神經元的池化層之后加一個全連接層，再將幾個分散的全連接層融合到新的全連接層后，該模型在分類過程中保留了多個特征信息，使模型具有全局性。在此網絡中使用了非線性的ReLU函數，可以更好地學習數據中的復雜關系，讓網絡更容易訓練［22］。同時，在多尺度卷積神經網絡模型中采用了最大池化層，它可以縮減網絡中的特征信息和參數量，緩解了由于卷積層參數誤差造成的估計均值的偏移問題，使更多特征信息得到保留。經過幾個卷積層和池化層后，所提出的模型使用softmax函數進行分類預測。

1.2.3 注意力機制以及CBAM模型 注意力模型更多地應用于語音識別［23］、圖像識別［24］、自然語言處理［25］等，最近被廣泛應用在圖像識別的領域，也是識別中一個重要的手段，番茄葉片病害通常形狀各異，有的很明顯也有的細微，通過使用注意力機制可以著重提取作物病害的特征，是提高神經網絡識別性能的常見手段［26］。本研究所采用的2種注意力機制算法，第1種提出的注意力機制算法應用到Bi-LSTM模型中，所提出的注意力機制，它是聚集于局部信息的手段，例如，圖片的局部信息，隨著需求的改變，注意力所關注的領域就會發生變化，注意力機制的作用就是定位這些重點信息并抑制無用信息，其結果通常以概率或特征向量的形式分布，通俗的說就是讓神經網絡在做特定的任務時注意到它應該注意的地方。由于神經網絡是特征向量的傳遞，為了提高識別疾病的性能，實質就是改變不同番茄部位疾病的權重，相應地提高對應疾病的特征權重。將數據集進行灰度變換處理后，將一組圖片當成一個序列傳入到Bi-LSTM模型中，可以獲得時間步長和lstm units的輸出，將它當作每個特征節點，經過permute操作將其翻轉后其維度發生變換，再經過全連接層和softmax層。它的核心是通過全連接層計算每個時間步長的權值，通過permute操作翻轉其維度，它代表每個步長中每個特征的權重，最后結果與輸入相乘，相當于將每個步長的權重乘以它們的特征。

第2種在多尺度卷積神經網絡模型中引入CBAM模塊，如圖5所示，它的一個優勢就是靈活性很強，即插即用，著重于突出卷積網絡生成的重要特征，可以有效地提高農作物病害的識別準確率，直接應用在現有的網絡架構。CBAM主要用于神經網絡的輸出特征圖，它包含2個子模塊：通道注意力模塊和空間注意力模塊［27］。

如圖6所示，設輸入特征圖F的大小為h×w×c，其中w為特征圖的寬度，h為特征圖高度，c為特征圖通道數，通道注意力機制表示為

式中：σ代表Sigmoid函數；W1、W0分別代表2個卷積操作；Fcavg、Fcmax分別代表平均池化和最大池化。

通道注意力機制優勢在于利用了最大池化層和平均池化層，得到了2組相同的特征向量，通過池化后的特征圖由共享連接層進行變換，得到新的特征，最后，根據新特征將對應的元素相乘，得到空間注意力權重，最大池化考慮的是網絡訓練過程中哪一個像素反響最強烈，平均池化充分考慮了目標對象在特征圖上的程度信息。

如圖7所示，空間注意力機制重點關注空間部分的有用信息，并且抑制特征圖中的其他區域信息，它表示為

將通道結合在一起，其中f7×7代表7×7的卷積核，它是目標的空間特征提取器，對先前通道注意加權后的特征圖進行平均池化和最大池化，同時空間注意力模塊采用sigmoid激活函數將特征圖中的每個像素反映到0～1概率值上，最后，對2個池化操作的結果進行結合和卷積操作，將維數簡化為一個只有通道的空間注意力權重。一般來說，生成的特征圖中的不同位置將得到不同的權重，以增強目標信息。

2 結果與分析

2.1 試驗設施和評價指標

試驗的操作平臺是PyCharm，操作系統為Windows，所有試驗都是在Intel i7-11700K CPU和NVIDIA GTX-3060 GPU完成的，使用Python3.6編程語言，訓練環境為Anaconda3，使用Keras框架，tensorflow 2.5.0作為后端進行訓練。使用混淆矩陣、F1分數、準確率、召回率、精確性等評價指標評估本試驗深度學習模型的性能。

式中：TP代表真陽性；TN代表真陰性；FP代表假陽性；FN代表假陰性。

2.2 消融試驗

采用Adam優化器［28］，批量大小設置為64，對提出的模型進行3組消融試驗，分別驗證了LSTM-MCNN網絡中不同模塊以及添加注意力模塊的有效性，下面對這幾組消融試驗的結果進行分析［29］。

由于設置不同超參數會對模型的訓練速度及泛化能力產生一定的影響，為了確定模型的最佳學習率，一方面，第1組和第2組消融試驗分別使用0.001、0.000 1、0.000 05等3種不同的學習率進行了多次試驗，主要目的是分別驗證在有無注意力模塊的條件下，比較組成LSTM-MCNN各個模型的性能并且確定試驗的最優學習率。CNN模型代表原始的卷積神經網絡，MCNN模型代表在傳統的卷積神經網絡基礎上進行全連接層的多尺度變換，Bi-LSTM為雙向長短期記憶網絡，而LSTM-MCNN網絡模型由MCNN、Bi-LSTM、注意力模塊組成并統一到一個大的神經網絡框架。

第1組的消融試驗結果如表2所示，雖然從表2中可以得到Bi-LSTM在學習率為0.001的條件下識別精度要高于其他2組，但是從圖8中可以清楚地看到，在學習率為0.000 1時，其穩定性相比其他2組表現更好，收斂性優于其他2組學習率。第2組消融試驗在添加注意力模塊后結果如表3所示，CNN模型在學習率為0.001時識別準確率比其他2組學習率要高，雖然通過試驗可以發現CNN模型在學習率為0.000 1的識別精度略低于0.001，但同樣從圖8中可以清楚地看到學習率為0.000 1的模型收斂性明顯要高于其他2組，所以通過綜合比較消融試驗中各個模型的準確率，選擇將0.000 1作為本試驗的學習率。在2組消融試驗中，對大部分模型來說，從試驗準確率的角度來看，經過添加注意力模塊后，分類效果都有一定的提升，所設計的LSTM-MCNN模型引入注意力模塊后準確率提升了0.44百分點。第3次消融試驗，將試驗迭代次數提升至100次，在將學習率設置為0.000 1，同樣再一次驗證了LSTM-MCNN不同模塊的分類精度。由表4可以看出LSTM-MCNN在引入注意力模塊后，其準確率最終提高到了98.16%，LSTM-MCNN模型的驗證精度和損失值比較曲線如圖9所示。所提出的LSTM-MCNN模型在10分類的番茄數據集的分類性能如表5所示。圖10顯示使用了LSTM-MCNN模型的9種番茄葉片疾病和健康葉片的混淆矩陣。

2.3 與經典卷積神經網絡模型的可視化比較

在本次試驗中，比較了幾種經典的CNN模型，VGG16［30］、VGG19、 Alexnet［31］與筆者所在課題組所提出的模型進行比較。不同模型的分類結果如表6所示，試驗結果表明，與幾種CNN模型相比，所提出的LSTM-MCNN模型在識別番茄疾病方面表現最佳。Grad CAM用于顯示不同CNN模型的可視化結果［32］。番茄病害的識別結果如圖11所示，AlexNet模型的熱力圖對識別番茄葉片的疾病部分整體效果并不是特別突出，VGG16和VGG19的熱力圖大部分對于疾病部分的識別效果有一定的提升，但對細小的疾病和邊緣部分識別效果相對一般，而所提出的LSTM-MCNN模型不僅聚焦于葉片整體的特征，同時對細小、邊緣的病害部位也進行了關注，比其他CNN模型具有更高的識別精度。

3 討論

為了實現番茄病害的準確識別 在基于現有的農作物病害識別研究的基礎上，提出一種基于Bi-LSTM模型與多尺度神經網絡相結合的方法，將CBAM注意力模塊引入所提出的LSTM-MCNN網絡中，提高對番茄葉片病害的識別準確率。與AlexNet、VGG16、VGG19等3種經典的卷積神經網絡進行試驗比較，并對比評估了神經網絡模型在番茄病害識別中的性能。在以前的文獻中，馬宇等使用一個殘差模型來識別番茄病害，模型的識別準確率為96.4%［9］，殘差網絡的引入，緩解了神經網絡中深度增加帶來的梯度消失問題，但該模型忽略了雙向上下文信息反饋的重要性，本研究提出的模型相比馬宇等所設計的模型準確率提高了1.76百分點。謝圣橋等提出使用遷移學習［10］，雖然該模型的識別準確率比筆者所在課題組提出的模型高2%左右，但本研究中的一些疾病特征并不十分明顯，因此深度學習的模型應從頭開始訓練，給它主動適應和調整的空間，以保證模型的泛化能力。Abbas等使用C-GAN模型進行數據擴充，使模型的泛化能力得到保證，但是網絡的收斂性和穩定性卻很難保證［7］，從圖9中不難看出，LSTM-MCNN模型的收斂性和穩定性表現較好。熊夢園等提出的殘差網絡與CBAM模塊結合，雖然識別精度達到了97.5%，但其訓練網絡的迭代次數達到了500次［12］，而本研究僅僅迭代了100次就達到了相對較高的識別精度。本研究提出將CBAM注意力模塊、Bi-LSTM和MCNN模型整合到一個統一的網絡中，可以同時訓練網絡中的所有信息，確保病害區域內的上下文信息和全局信息的完整性。在此次比較分析中，發現所提出的LSTM-MCNN模型的最高識別準確率為98.16%，并且分別達到了97%的精確率、97%的召回率和97%的F1分數。

4 結論

番茄葉片病害的種類較多并且病害特征十分復雜，研究人員及時準確地檢測和分類番茄疾病對農業未來發展顯得至關重要，利用深度學習的方法可以幫助農業專家早期預防番茄葉片病害以免遭受進一步的損失。本研究提出了一種基于雙向長短期記憶網絡與多尺度卷積神經網絡相結合的模型，用于分類和識別番茄葉片部位的病害，根據番茄葉片的病害特點，第1部分，采用雙向長短期記憶網絡，挖掘番茄葉片病害區域內的上下文信息，同時記憶葉片病害的位置信息，第2部分，將卷積神經網絡中的淺卷積層和深卷積層相結合組成的多尺度卷積神經網絡使網絡在訓練過程中減少病害的細節信息丟失，保證全局信息的完整性，此外，該模型引入CBAM注意力模塊可以使模型更好地關注疾病特征，提高番茄病害的識別準確率。總體試驗結果表明，LSTM-MCNN模型在10分類任務上的識別準確率為98.16%，與其他的CNN模型相比較具有更高的識別準確率。植物病害的早期檢測是預防病害的關鍵，將深度學習與農作物病害相結合，可以打破傳統診斷方法的劣勢，是未來的主要發展方向，在農作物病害預防領域具有重要的應用價值，也為智慧農業檢測病害的發展提供了可靠的理論依據。與此同時，在未來工作中，神經網絡模型進行病害識別的重點不能僅局限于葉片部位的病害，還應該擴展到果實、莖、根部。此外，我們還應該擴大數據集的疾病種類，以此驗證該模型真實的準確性，建立更完善的模型。

參考文獻：

［1］Tm P，Pranathi A，Saiashritha K，et al. Tomato leaf disease detection using convolutional neural networks ［C］//2018 Eleventh International Conference on Contemporary Computing （IC3）. India：IEEE Computer Society，2018：1-5.

［2］譚海文，潘玲華，吳永瓊，等. 2019年桂林番茄病害發生情況調查初報［J］. 蔬菜，2021（12）：37-40.

［3］Savary S，Ficke A，Aubertot J-N，et al. Crop losses due to diseases and their implications for global food production losses and food security ［J］. Food Security，2012，4（4）：519-537.

［4］閻園園，陳 華，姜 波. 基于群智能算法分類模型的番茄病害識別 ［J］. 江蘇農業科學，2020，48（1）：219-224.

［5］Ioffe S，Szegedy C. Batch normalization：accelerating deep network training by reducing internal covariate shift［C］//Proceedings of the 32nd International Conference on Internarional Conference on Machine Learning. France：JMLR.org，2015：448-456.

［6］Albogamy R F. A deep convolutional neural network with batch normalization approach for plant disease detection ［J］. International Journal of Computer Science and Network Security，2021，21（9）：51-62.

［7］Abbas A，Jain S，Gour M，et al. Tomato plant disease detection using transfer learning with c-gan synthetic images ［J］. Computers and Electronics in Agriculture，2021，187：106279.

［8］胡玲艷，周 婷，許 巍，等. 面向番茄病害識別的改進型SqueezeNet輕量級模型 ［J］. 鄭州大學學報（理學版），2022，54（4）：71-77.

［9］馬 宇，單玉剛，袁 杰. 基于三通道注意力網絡的番茄葉部病害識別 ［J］. 科學技術與工程，2021，21（25）：10789-10795.

［10］謝圣橋，宋 健，湯修映，等. 基于遷移學習和殘差網絡的葡萄葉部病害識別 ［J］. 農機化研究，2023，45（8）：18-23，28.

［11］劉 君，王學偉. 基于YOLO的番茄病蟲害識別算法［J］. 中國瓜菜，2020，33（9）：18-22，38.

［12］熊夢園，詹 煒，桂連友，等. 基于ResNet模型的玉米葉片病害檢測與識別 ［J］. 江蘇農業科學，2023，51（8）：164-170.

［13］林建吾，張 欣，陳孝玉龍，等. 基于輕量化卷積神經網絡的番茄病害圖像識別 ［J］. 無線電工程，2022，52 （8）：1347-1353.

［14］Hughes D P，Salathe M. An open access repository of images on plant health to enable the development of mobile disease diagnostics ［J］. Computer Science，2015：11897587.

［15］Gonzalez R C. Digital image processing ［M］. 阮秋琦，譯. 3版. 北京：電子工業出版社，2013：154-173.

［16］Xu Y H，Zhang L P，Du B，et al. Spectral-spatial unified networks for hyperspectral image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing，2018，56（10）：5893-5909.

［17］Rumelhart D E，Hinton G E，Willialms R J. Learning representations by back-propagating errors ［J］. Nature，1986，323（6088）：533-536.

［18］Hochreiter S，Schmidhuber J. Long short-term memory ［J］. Neural Computation，1997，9（8）：1735-1780.

［19］孫文杰. 基于深度學習的桃樹葉部病害圖像識別研究 ［D］. 泰安：山東農業大學，2022：20-28.

［20］Hinton G E，Srivastava N，Krizhevsky A，et al. Improving neural networks by preventing co-adaptation of feature detectors ［J］. arXiv，2012：1207.0580.

［21］Jameel S M，Gilal A R，Rizvi S S H，et al. Practical implications and challenges of multispectral image analysis［C］//3rd International Conference on Computing，Mathematics and Engineering Technologies （iCoMET）. Pakistan：IEEE，2020：1-5.

［22］Agarap A. Deep learning using rectified linear units （relu） ［J］. arXiv，2018：1803.08375.

［23］甘 宏. 一種基于注意力機制的語音情感識別算法研究 ［J］. 江西科學，2022，40（4）：758-761.

［24］黃乾峰，董 琴，韋 靜. 改進MobileNetV2算法的番茄葉片病害種類識別 ［J］. 計算機系統應用，2023，32（1）：385-391.

［25］馮志偉，丁曉梅. 自然語言處理中的神經網絡模型 ［J］. 當代外語研究，2022（4）：98-110.

［26］張 寧，吳華瑞，韓 笑，等. 基于多尺度和注意力機制的番茄病害識別方法 ［J］. 浙江農業學報，2021，33（7）：1329-1338.

［27］Woo S，Park J，Lee J-Y，et al. CBAM：convolutional block attention module ［C］//Proceedings of the Europeean conference on computer vision （ECCV）. Germany：Springer，2018：3-19.

［28］Kingma D，Ba J. Adam：a method for stochastic optimization ［J］. arXiv，2014：1412.6980.

［29］Kyeong-Beom P，Yeol L J. SwinE-net：hybrid deep learning approach to novel polyp segmentation using convolutional neural network and swin transformer ［J］. Journal of Computational Design and Engineering，2022，9（2）：616-632.

［30］Simonyan K，Zisserman A. Very deep convolutional networks for large-scale image recognition ［J］. arXiv，2014：1409.1556.

［31］Krizhevsky A，Sutskever I，Hinton G. Imagenet classification with deep convolutional neural networks ［J］. Communications of the ACM，2017，60（6）：84-90.

［32］Selvaraju R R，Cogswell M，Das A，et al. Grad-cam：visual explanations from deep networks via gradient-based localization ［C］//2017 IEEE International Conference on Computer Vision. Italy：IEEE，2017：618-626.