999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于改進MobileNet v3的蘋果葉片病害識別研究

2024-12-31 00:00:00李豫晉沈陸明何少芳余文強滕明洪
江蘇農業科學 2024年12期
關鍵詞:深度學習

摘要:為解決移動端和嵌入式設備中蘋果葉片病害識別準確率不高、效率低下的問題,提出了一種新的基于MobileNet v3網絡的分類模型,以實現更加高效和準確的蘋果葉片病害識別。首先通過數據增廣方法增強數據集,按照9 ∶1的比例劃分訓練集和驗證集;然后在MobileNet v3網絡核心倒殘差結構的升維部分引入全維動態卷積,以加強對不同維度注意力權重的學習,從而增強網絡的擬合能力;最后在降維部分引入修改后的ConvNext Block模塊,減少信息損失并增加全局感受野。采用PyTorch作為分類網絡的深度學習框架,使用交叉熵損失函數作為分類任務的損失函數,Adam作為優化器,通過多組對比試驗可知,MobileNet v1、MobileNet v2、ResNet34、MobileNet v3以及改進后的MobileNet v3 ODConvNext網絡的準確率分別為94.5%、95.7%、97.2%、96.9%及97.5%。可見,MobileNet v3 ODConvNet網絡擁有最高的Top-1準確率,相較于MobileNet v3網絡和結構更為復雜的ResNet34網絡分別提升了0.6、0.3百分點;在運算頻率方面,相對于MobileNet v3網絡僅增加了1.00×106次/s,并且僅為ResNet34網絡參數量的11.84%。因此,該試驗結果證明了改進后的MobileNet v3 ODConvNext模型具有更加輕量級和更高準確率的優點,滿足在移動端真實場景下進行蘋果葉片病害識別的要求,有助于蘋果葉片病害的防治工作。

關鍵詞:蘋果葉片;病害識別;MobileNet v3;全維動態卷積;ConvNext;深度學習

中圖分類號:S436.611.1;TP391.41 文獻標志碼:A

文章編號:1002-1302(2024)12-0224-08

農業經濟在我國經濟體系中具有重要的地位和戰略意義。蘋果作為一種廣泛種植的水果,具備較高的營養價值和經濟潛力,已成為農民實現經濟增長的關鍵途徑之一,對于推動農業經濟的高質量發展發揮著積極的作用。大量調研表明,在蘋果的生長期間葉部極易遭受病害從而減產[1-2],在蘋果生長過程中葉片的主要病害包括斑點落葉病、灰斑病、花葉病、銹斑病以及褐斑病等,這些病害對蘋果的產量和營養價值產生不同程度的損害[3]。若能實現對上述蘋果葉片病害的準確識別和及時防控,將顯著減輕葉片病害在蘋果生長過程中的危害,進一步降農民的經濟損失,因此對于蘋果病害的精準識別具有重要意義[4]。

植物病害的復雜多樣性使得精確分割病斑和提取病害特征面臨較大挑戰[5]。但是隨著人工智能領域的快速發展,將神經網絡與農業相結合的實踐日益興起[6-8],為精準識別植物病害以及農業智能化提供了可靠的技術支撐[9-10],促進了植物健康監測、病害防控和農業智能化發展。姜紅花等基于ResNet18網絡,增加了通道與空間注意力機制分支,加強了網絡對于病害特征的提取能力,較ResNet18和VGG16等主流網絡有較大提升[11];周宏威等在基于遷移學習的方法上,分別對比了VGG16、ResNet50和Inception v3這3種網絡結構的試驗結果,得出“遷移學習方法能夠明顯提升模型收斂速度和準確率”的結論[12];鮑文霞等在VGG16網絡的基礎上進行遷移學習,并在瓶頸層后增加了選擇性核模塊,可以更精準地捕獲細微的病變[13];張云龍等利用改進的mean-shift圖像分割算法以及病害的顏色特征差直方圖提取分類特征,最后使用支持向量機進行病害識別,并取得了較好的效果[14];劉小玲等基于MobileNeXt網絡,引入協調注意力機制,并結合Inception與Ghost模塊,提升了病害識別的精度[15]。相關研究多基于MobileNet v2和MobileNeXt網絡進行分析和改進,但對于利用最新的、更輕量級且準確性更高的MobileNet v3網絡實現移動端精準快速識別蘋果病害的研究較少。

傳統的卷積神經網絡由于內存需求大、識別速度慢、識別精度不高,面對蘋果葉片病害的多樣性和相似性較高的問題,無法在移動端精準快速識別病害。為滿足實際場景中對病害識別準確性和移動端實時性的高要求,本研究基于MobileNet系列中最新的MobileNet v3輕量化網絡,對蘋果葉片病害進行了識別和分類。在原有網絡的基礎上進行了改進,使該網絡能夠在戶外真實場景中滿足果農的需求,提高在移動端對蘋果葉片病害實時識別效率,以便果農能夠迅速采取措施,降低損失。

1 試驗數據集

1.1 數據來源

本研究采用西北農林科技大學提供的蘋果葉片病害公開數據集作為數據來源,該數據集涵蓋了蘋果葉片病害的主要類別,包括花葉病、銹斑病、斑點落葉病、灰斑病和褐斑病。數據集中的圖像拍攝于室內和室外環境,涵蓋了不同光照度的時間段。圖像背景復雜多樣,具有一定的干擾性,能夠較真實地還原實際場景。本試驗中所有圖片均為224像素×224像素的彩色圖像,圖1展示了不同類別的病害圖像樣例。

1.2 數據增廣

盡管卷積神經網絡在提取病害圖像特征上表現出較高的準確性,但由于網絡參數龐大,導致訓練所需樣本數量巨大,而現實環境中獲取大量病害葉片圖像具有一定困難。為增強模型的泛化能力和魯棒性,本研究通過透視變換、仿射變換、裁剪、旋轉等擴展算法對數據集中的圖像進行數據增廣。經過數據增廣處理后,數據集總計包含 52 754 張圖像,按照9 ∶1的比例劃分為訓練集和驗證集(表1)。

2 網絡結構

2.1 MobileNet v3模型特點

MobileNet是由Google團隊于2017年提出的一種輕量級網絡,在該領域具有重要的代表性。迄今為止,MobileNet已經經歷了3個版本的演進,分別是MobileNet v1[16]、MobileNet v2[17]和MobileNet v3[18]。這些版本先后引入了深度可分離卷積(depthwise separable convolution)、倒殘差結構(inverted residual)和注意力機制(squeez excitation)等模塊,從而提高了模型的推理速度和識別準確率。與上一代的MobileNet v2相比,MobileNet v3在提高識別準確率的同時,還降低了15%的延遲。目前,該網絡已經成為移動端和嵌入式設備中卷積神經網絡部署的代表性模型之一。

2.1.1 深度可分離卷積

MobileNet v1首次引入了深度可分離卷積的概念,并將其應用于整個網絡結構中。這種深度可分離卷積能夠替代傳統的卷積操作,大幅減少模型參數并提升網絡速度,同時保持較高的準確率。

深度可分離卷積主要包括2個關鍵步驟:深度卷積(depthwise conv,DW)和點卷積(pointwise conv,PW)。在傳統卷積(圖2-a)中,卷積核的通道數與輸入特征矩陣的通道數相同,通過傳統卷積運算后得到特征矩陣的通道數由卷積核的數量決定。而在深度可分離卷積(圖2-b)中,輸入特征矩陣(假設該矩陣通道數為M、大小為m)首先經過通道數為1、大小為m的深度卷積,然后再經過通道數為M、大小為1的點卷積,得到與經過傳統卷積后相同大小和通道數的特征矩陣。傳統卷積與深度可分離卷積(DW+PW)的計算量對比如下:

式中:M為輸入特征矩陣的通道數;N為輸出特征矩陣的通道數;DK表示卷積核的大小;DF表示特征矩陣的寬高。

在大多數卷積神經網絡結構中,常使用3×3大小的卷積核[19]對應到公式中,即DK=3,帶入公式(3)中推導可得深度可分離卷積與傳統卷積的比值為1/N+1/9,由于輸出特征矩陣的通道數(N)通常較大,所以理論上傳統卷積在參數計算量上是深度可分離卷積的8~9倍,這證明深度可分離卷積極大地減少了計算量和參數運算量。

2.1.2 倒殘差結構

為解決深度卷積特征提取效率不高、結構相對簡單等問題,MobileNet v2引入了倒殘差結構。殘差結構首先在ResNet[19]中提出,其思想是:將特征矩陣先通過1個1×1大小的卷積進行降維操作,隨后通過1個3×3的卷積進行特征提取,再通過1個1×1大小的卷積進行升維操作,并在步距為1且輸入特征矩陣和輸出特征矩陣的通道數相同時進行捷徑分支連接操作,具體如圖3-a所示。然而,在MobileNet v1中,深度卷積的group數本身與輸入特征矩陣的通道數相同,如果再進行先降維再升維的操作,將進一步降低可學習的特征數量。因此,MobileNet v2引入了倒殘差結構,采用逆向思路:先進行升維操作,然后使用深度卷積提取特征,最后進行降維操作,同時保持原有的捷徑分支拼接操作(圖3-b)。通過這種方式,在不減少特征提取數量的情況下,充分利用殘差結構的優勢。

2.1.3 注意力機制

注意力機制的本質是將注意力集中在感興趣的區域,以便充分學習該區域的特征,從而提高模型的準確性[20]。注意力機制有多種類型,在MobileNet v3中引入SE(squeeze-and-excitation)通道注意力機制。該機制的原理是:將通道為C、大小為H×W的特征矩陣X進行全局平均池化,轉化為大小為1×1、通道數為C的向量。隨后,該向量經過2個具有不同維度的全連接層FC,并分別經過ReLU和Sigmoid激活函數,得到不同通道的權重值。最后,將這些權重值與原始特征[HJ0]矩陣相乘,得到經過通道注意[HJ]力激勵后的特征矩陣X~。具體的流程如圖4所示。該機制能夠使模型更加關注重要的特征,提升模型的識別性能。

2.2 全維動態卷積

動態卷積(CondConv)相較于傳統的靜態卷積,具備為每個樣例學習特定卷積核參數的能力。動態卷積不僅能保持高效的推理過程,還能夠動態擴充模型的容量[21]。動態卷積的計算過程可以通過公式(4)來表示,在該公式中,每個α參數是通過梯度下降學習得到的,根據輸入特征矩陣的大小,動態卷積能夠動態地擴展experts[表示為公式(4)中的W]的數量,構建出不同的卷積核,最后將卷積核通過ROUTE FN注意力函數進行權重計算。相比于增加卷積核自身大小的計算方式,這種方式更加高效。

y=(αω1⊙αf1⊙αc1⊙αs1⊙W1+…+αωm⊙αfn⊙αcn⊙αsn⊙αWn)×x。(4)

式中:αω1表示W1的關注標量;αfi、αci和αsi表示3個新引入的關注點;x表示多頭注意模塊。

然而,CondConv僅對卷積核數維度賦予了動態屬性,而忽略了其他3個維度:空間維度、輸入通道維度和輸出通道維度。為解決這一現狀,研究者們提出了全維動態卷積(omni-dimensional dynamic convolution)[22]。全維動態卷積在并行策略的基礎上引入了全新的多維注意力機制,該機制能夠在任意卷積層的內核空間中學習4個維度:空間維度、輸入通道維度、輸出通道維度和卷積核維度,這4個維度對應圖5-a、圖5-b、圖5-c、圖5-d,此外,這4種維度的學習是互補的,因此全維動態卷積能夠對多個維度進行注意力學習,從而在全文中捕獲更加豐富的信息。

2.3 ConvNext Block

自從Transformer[23]在CV領域取得重大突破后,越來越多的研究關注于Transformer架構,這給卷積神經網絡帶來了巨大的挑戰。為了充分挖掘卷積神經網絡的潛力,研究者們對Transformer設計進行全面學習,提出了ConvNext[24]網絡。ConvNext在現有卷積神經網絡的設計和架構基礎上,經過設計和組合,在相同的FLOPS(運算頻率,次/s)條件下,實現了比Swin Transformer更快的推理速度和更高的準確率,從而證明卷積神經網絡在當前仍然具有競爭力。

其中,ConvNext Block是最核心的設計之一,它采用了7×7大小的深度可分離卷積來替代傳統的3×3卷積,以增加全局感受野。在升維和降維的過程中,將RELU激活函數替換為Transformer中更為流行的GELU激活函數,歸一化操作由BN變為LN,使用了更少的歸一化層,并對特征矩陣的深度進行可學習比例的縮放。最后,將縮放后的特征矩陣與原始特征矩陣相加,得到新的輸出特征矩陣。然而,ConvNext Block中的升維和降維操作與MobileNet v3中的倒殘差結構功能重復,如果使用原始的ConvNext Block會使模型增加4~5倍的參數量,顯然背離了本試驗的目標,因此本研究對ConvNext Block進行了修改,去除了原模塊中的升維和降維操作,僅僅保留深度可分離卷積和GELU激活函數。修改后的ConvNext Block結構詳見圖6。

3 結果與分析

3.1 試驗環境

硬件環境:CPU為Intel CoreTM i5-10400F CPU @ 2.90 GHz,GPU型號為GTX 1660 SUPER,顯存11 GB,RAM為32 GB。軟件環境:PyTorch 1.8.2,CUDA 10.1,Python 3.6,操作系統為Ubuntu 18.04。

本試驗于2023年7月在湖南農業大學信息與智能科學技術學院人工智能實驗室進行。試驗中采用交叉熵損失函數作為分類任務的損失函數,該損失函數用于衡量真實概率分布與預測概率分布之間的差異。交叉熵損失函數是一種常見的、用于多類別分類任務的損失函數,其計算方式建立在Softmax歸一化輸出的基礎上。首先,對所有類別的輸出進行Softmax歸一化處理,確保每個類別的預測概率都落在0~1之間,同時所有類別的概率之和為1。然后,使用交叉熵損失函數來衡量真實概率分布和預測概率分布之間的差異,使得模型能夠更加準確地擬合訓練數據。交叉熵損失函數的表達式如下:

式中:n表示所要分類的總類別數;p(xi)表示該樣本所屬類別的真實概率;q(xi)則表示該樣本所屬類別的預測概率。通過最小化交叉熵損失函數,模型能夠更好地學習到有效的特征表示,從而提高分類準確率。

訓練過程遵循被廣泛接受的深度學習訓練方法,將批處理大小(batch size)設為32,模型迭代訓練50個輪次,將輸入圖像統一調整至224像素×224像素大小。使用Adam作為優化器,這是一種自適應學習率的優化算法,在訓練前期使用較大學習率快速收斂并找到一個較優的損失函數區域,在訓練后期使用較小學習率精確找到損失函數最小值,從而達到在訓練過程中根據每個參數的歷史梯度自適應調整學習率的目的。

3.2 評估指標

本試驗主要基于Top-1準確率、精確率(precision,P)、召回率(recall,R)和特異度(specificity,S)等關鍵指標進行綜合分析,以客觀評估模型效果,并利用混淆矩陣的可視化方式,直觀地對模型的分類結果進一步分析。其中,準確率表示模型在所有樣本中預測正確的樣本所占的比例;精確率表示模型在預測為正樣本的樣本中實際為正樣本的比例;召回率表示在所有的正樣本中,模型能夠預測正確的正樣本所占的比例;特異度表示在實際為負樣本中,模型能夠預測為負樣本的比例。

3.3 試驗結果與分析

MobileNet v3網絡在倒殘差結構的層數方面具有較高的靈活性,根據倒殘差結構所堆疊層數的不同,劃分為MobileNet v3 Small和MobileNet v3 Large這2種規模不同的模型,為了減少訓練所需資源并突顯網絡的可比較性,本研究選擇MobileNet v3 Small作為基礎網絡與其他改進的模型進行對比試驗。

3.3.1 MobileNet v3與其他網絡對比

為驗證MobileNet v3網絡在蘋果葉片病害識別方面的能力,通過擴充試驗數量,并對比更多的網絡模型,以確保本研究的科學性和準確性。本研究選取MobileNet v1、MobileNet v2和ResNet34等網絡進行對比試驗。從對比后的結果(表2)可以看出,MobileNet v2在FLOPS(1 s的浮點運算次數)和Top-1準確率方面優于MobileNet v1,而MobileNet v3 Small在這2個方面均優于MobileNet v1和MobileNet v2,這體現了MobileNet v3網絡在MobileNet網絡系列中的卓越性能。雖然ResNet34在Top-1準確率方面相比MobileNet v3 Small高出0.3百分點,但其計算復雜度幾乎是MobileNet v3的14倍。除此之外,還進一步評估了MobileNet v3 Large與ResNet34的性能差異,結果顯示,不僅MobileNet v3 Large的Top-1準確率比ResNet34高出0.3百分點,其計算復雜度還僅為ResNet34的19.7%。這一結果進一步證明,MobileNet v3無論是在MobileNet網絡系列中還是相較于傳統的ResNet34,都具有更大的優勢。

3.3.2 MobileNet v3引入全維動態卷積

為進一步提升MobileNet v3的準確率,還在本研究中拓展了一些新的設計思路,并對多個關鍵指標進行詳細評估。本對比試驗中主要的設計思路是:在MobileNet v3網絡的倒殘差結構中,將升維部分的普通卷積替換為全維動態卷積。在不增加新卷積層的條件下,保留了深度可分離卷積的參數量優勢。此外,還對模型的訓練時間和計算復雜度進行了充分考量。雖然引入全維動態卷積在一定程度上增加了可學習參數量,但這也顯著增強了網絡的擬合能力,使其在性能提升與計算成本之間達到較好的平衡,能更加適應復雜多變的數據特征。通過這樣的設計,在升維過程中可以不只局限于網絡通道的擴展,還能夠對不同維度進行注意力權重的學習,從而進一步提升模型的性能。

改進后訓練的結果如表3所示,改進后的模型MobileNet v3 ODConv準確率提升至97.4%,相較于原始的MobileNet v3模型提升了0.5百分點,并在Top-1準確率、召回率指標上都取得了明顯提升,這表明全維動態卷積在升維的過程中對多個維度的學習起到了關鍵作用,從而有效提升了模型整體的準確率。

3.3.3 MobileNet v3引入ConvNext Block

為更加深入挖掘MobileNet v3網絡中倒殘差結構的潛力,通過引入修改后的ConvNext Block來替代倒殘差結構中的降維部分, 本設計旨在最大程度地減少降維過程中的信息損失,并更充分地保留在上一步的深度可分離卷積中學習到的有效參數。為驗證提出的MobileNet v3 ConvNext網絡的有效性,進行對比試驗。結果表明,MobileNet v3 ConvNext在各項指標上均取得了明顯提升,并且Top-1準確率達到了97.2%,與傳統的MobileNet v3相比提升了0.3百分點(表4)。此外,值得一提的是,盡管在所有的倒殘差結構中都引入了改進后的ConvNext Block,但MobileNet v3 ConvNext的學習參數增加幅度相當小,這也進一步證明了本設計思路的高效性和經濟性。

3.3.4 MobileNet v3引入全維動態卷積和ConvNext Block

通過上述一系列試驗可以發現,全維動態卷積和ConvNext Block的引入對于MobileNet v3網絡的準確性有著顯著的積極影響,這2種方法的引入在倒殘差結構中的升維和降維部分都展現出了獨特的優勢。考慮到這一點,可以進一步探索這2種改進方法在提高MobileNet v3網絡準確率方面的協同效應。為充分挖掘全維動態卷積和ConvNext Block的潛力,將這2種改進同時引入MobileNet v3網絡的倒殘差結構中。改進后的MobileNet v3 ODConvNext模型成功取得了最高的準確率,高達97.5%。相較于傳統的MobileNet v3 Small,實現了0.6百分點的大幅提升(表5)。改進后的MobileNet v3 ODConvNext模型不僅在準確率方面表現優異,并且在對比試驗中也明顯優于其他單一改進方法的模型。具體來說,它明顯優于只引入全維動態卷積的MobileNet v3 ODConv模型和只引入修改后的ConvNext Block的MobileNet v3 ConvNext模型,這再次證明了本試驗探索方向的合理性和有效性。考慮到改進后MobileNet v3 ODConvNext模型的優異表現,決定將其作為改進后的最終模型,同時對該模型訓練過程中的準確率和損失值變化曲線進行了詳盡的記錄和分析,并使用混淆矩陣以直觀展現其在各類別上的分類性能,具體內容如圖7所示。

4 討論與結論

針對移動端實時識別蘋果葉片病害在現實場景中所面臨的困難,本研究在MobileNet v3網絡的基礎上引入了全維動態卷積和ConvNext Block,對網絡的核心模塊倒殘差結構進行了改進,這些改進措施能夠更精確地實現對5種蘋果葉片病害的識別。改進后的模型MobileNet v3 ODConvNext相比于MobileNet v3 Small在Top-1準確率、精確率上分別提升了0.6、0.5百分點,同時該改進僅增加了1.00×106次/s的參數量,證明了全維動態卷積和ConvNext Block的可用性和改進的有效性。然而,在試驗過程中也注意到模型訓練所需時間較長,并且識別準確率還有進一步提升的空間。因此,后續將繼續優化網絡的訓練流程,收集更多的數據以提高識別準確率,并增強網絡的魯棒性,以更好地滿足農業生產的實際需求,為智能化農業發展作出貢獻,持續努力推動相關研究的進展。

參考文獻:

[1] Gavhale M K R,Gawande P U. An overview of the research on plant leaves disease detection using image processing techniques[J]. IOSR Journal of Computer Engineering,2014,16(1):10-16.

[2]Kulkarni A H,Ashwin P R K. Applying image processing technique to detect plant diseases[J]. International Journal of Modern Engineering Research,2012,2 (5):3661-3664.

[3]王樹桐,王亞南,曹克強. 近年我國重要蘋果病害發生概況及研究進展[J]. 植物保護,2018,44(5):13-25,50.

[4]李保華,王彩霞,董向麗. 我國蘋果主要病害研究進展與病害防治中的問題[J]. 植物保護,2013,39(5):46-54.

[5]Dubey S R,Jalal A S. Apple disease classification using color,texture and shape features from images[J]. Signal,Image and Video Processing,2016,10(5):819-826.

[6]Hinton G E,Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science,2006,313(5786):504-507.

[7]le Cun Y,Bottou L,Bengio Y,et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE,1998,86(11):2278-2324.

[8]le Cun Y,Boser B,Denker J S,et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation,1989,1(4):541-551.

[9]杜岳峰,傅生輝,毛恩榮,等." 農業機械智能化設計技術發展現狀與展望[J]. 農業機械學報,2019,50(9):1-17.

[10]鄭文鐘. 國內外智能化農業機械裝備發展現狀[J]. 現代農機,2015(6):4-8.

[11]姜紅花,楊祥海,丁睿柔,等." 基于改進ResNet18的蘋果葉部病害多分類算法研究[J]. 農業機械學報,2023,54(4):295-303.

[12]周宏威,沈恒宇,袁新佩,等." 基于遷移學習的蘋果樹葉片病蟲害識別方法研究[J]. 中國農機化學報,2021,42(11):151-158.

[13]鮑文霞,吳 剛,胡根生,等." 基于改進卷積神經網絡的蘋果葉部病害識別[J]. 安徽大學學報(自然科學版),2021,45(1):53-59.

[14]張云龍,袁 浩,張晴晴,等." 基于顏色特征和差直方圖的蘋果葉部病害識別方法[J]. 江蘇農業科學,2017,45(14):171-174.

[15]劉小玲,崔艷榮. 基于改進輕量化網絡MobileNeXt的蘋果葉片病害識別方法[J]. 江蘇農業科學,2023,51(10):185-193.

[16]Sandler M,Howard A G,Zhu M L,et al. Inverted residuals and linear bottlenecks:mobile networks for classification,detection and segmentation[J]. CVPR,2018(6):4510-4520.

[17]Sandler M,Howard A,Zhu M L,et al. MobileNet v2:inverted ]residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake,2018:4510-4520.

[18]Howard A,Sandler M,Chen B,et al. Searching for MobileNet v3[C]//2019 IEEE/CVF International Conference on Computer Vision. Seoul,2019:1314-1324.

[19]He K M,Zhang X Y,Ren S Q,et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas,2016:770-778.

[20]張宸嘉,朱 磊,俞 璐. 卷積神經網絡中的注意力機制綜述[J]. 計算機工程與應用,2021,57(20):64-72.

[21]Yang B,Bender G,Le Q V,et al. Condconv:conditionally parameterized convolutions for efficient inference[J]. Advances in Neural Information Processing Systems,2019,32.

[21]Yang B,Bender G,Le Q V,et al. CondConv:conditionally parameterized convolutions for efficient inference[EB/OL]. (2019-04-10)[2023-08-01].http://arxiv.org/abs/1904.04971.

[22]Li C,Zhou A J,Yao A B. Omni-dimensional dynamic convolution[EB/OL]. (2022-09-16)[203-08-01].http://arxiv.org/abs/2209.07947.

[23]Vaswani A,Shazeer N,Parmar N,et al. Attention is all you need[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach,2017:6000-6010.

[24]Liu Z,Mao H Z,Wu C Y,et al. A ConvNet for the 2020s[EB/OL]. (2022-01-10)[2023-08-01].http://arxiv.org/abs/2201.03545.

收稿日期:2023-08-02

基金項目:湖南省自然科學基金(編號:2023JJ30304)。

作者簡介:李豫晉(1998—),男,山西太原人,碩士研究生,主要從事農業信息技術研究。E-mail:531904940@qq.com。

通信作者:沈陸明,博士,教授,主要從事分形幾何及其應用研究。E-mail:lum_s@126.com。

猜你喜歡
深度學習
從合坐走向合學:淺議新學習模式的構建
面向大數據遠程開放實驗平臺構建研究
基于自動智能分類器的圖書館亂架圖書檢測
搭建深度學習的三級階梯
有體驗的學習才是有意義的學習
電子商務中基于深度學習的虛假交易識別研究
現代情報(2016年10期)2016-12-15 11:50:53
利用網絡技術促進學生深度學習的幾大策略
考試周刊(2016年94期)2016-12-12 12:15:04
MOOC與翻轉課堂融合的深度學習場域建構
大數據技術在反恐怖主義中的應用展望
深度學習算法應用于巖石圖像處理的可行性研究
軟件導刊(2016年9期)2016-11-07 22:20:49
主站蜘蛛池模板: 在线99视频| 国产成人欧美| www欧美在线观看| 操操操综合网| 国产一区二区影院| 在线欧美国产| 91久久偷偷做嫩草影院精品| 久久伊人色| 日韩欧美中文字幕在线精品| 久久夜色精品| 91精品国产一区自在线拍| 国产成人综合久久精品尤物| 一级毛片免费播放视频| 中文字幕人妻无码系列第三区| 91麻豆国产精品91久久久| 成人午夜久久| 欧美日韩资源| 国产高潮流白浆视频| 国产流白浆视频| 亚洲av无码专区久久蜜芽| 欧美成人免费一区在线播放| a国产精品| 黄色福利在线| 爱做久久久久久| 久久婷婷六月| 久久久久88色偷偷| 一本大道香蕉久中文在线播放| 欧美、日韩、国产综合一区| 天堂va亚洲va欧美va国产 | 制服丝袜国产精品| 国产黑丝视频在线观看| 亚洲视频免费在线看| 国产精女同一区二区三区久| 香蕉久久国产超碰青草| 亚洲免费黄色网| 国产色图在线观看| 久久久久久高潮白浆| 国产精品成人免费视频99| 国产精品免费福利久久播放| 精品欧美一区二区三区久久久| 亚洲第一综合天堂另类专| 亚欧成人无码AV在线播放| 色综合久久88色综合天天提莫 | 无码内射在线| 夜夜高潮夜夜爽国产伦精品| 亚洲日本在线免费观看| 欧美另类第一页| 国产美女无遮挡免费视频网站 | 亚洲av无码牛牛影视在线二区| 欧美伦理一区| 亚洲欧美一区二区三区图片| 国产高清毛片| 人妻无码一区二区视频| 久久久波多野结衣av一区二区| 国产网站免费观看| 日韩AV无码一区| 三区在线视频| h视频在线观看网站| 99热国产这里只有精品无卡顿" | 久久久久九九精品影院| av性天堂网| 欧美一级99在线观看国产| 国产一区二区三区免费| 污污网站在线观看| 日本欧美视频在线观看| 中文字幕色站| 全部免费特黄特色大片视频| 国产高清无码麻豆精品| 亚洲第一黄片大全| 久久美女精品| 亚洲精品无码AV电影在线播放| 国产麻豆精品手机在线观看| 国产二级毛片| 国产日本视频91| 国产网友愉拍精品| 久久美女精品| 88国产经典欧美一区二区三区| 日韩在线欧美在线| 露脸真实国语乱在线观看| 97精品国产高清久久久久蜜芽| 亚洲中文精品人人永久免费| 中文国产成人精品久久一|