基于有效通道注意力的遙感圖像場景分類

屈震，李堃婷，馮志璽

（西安電子科技大學 人工智能學院，西安 710071）（?通信作者電子郵箱zxfeng@xidian.edu.cn）

基于有效通道注意力的遙感圖像場景分類

屈震，李堃婷，馮志璽*

（西安電子科技大學 人工智能學院，西安 710071）（?通信作者電子郵箱zxfeng@xidian.edu.cn）

針對基于人工設計特征的方法不能提取高層次遙感圖像信息以及以往利用VGGNet、ResNet等卷積神經網絡（CNN）無法關注到遙感圖像中顯著分類特征的問題，提出了一種基于有效通道注意力（ECA）機制的遙感圖像場景分類新模型——ECA-ResNeXt-8-SVM。為了建立高效模型，一方面，設計了嵌入ECA模塊的深度特征提取網絡ECA-ResNeXt-8，通過端到端的學習使網絡更關注分類特征明顯的通道；另一方面，利用支持向量機（SVM）代替全連接層作為已提取到的深度特征的分類器，從而進一步提高模型的分類準確率與泛化能力。該模型在實驗數據集UC Merced Land-Use上的分類準確率達到95.81%，相較于使用SE-ResNeXt50與ResNeXt50網絡，分別提高了6%與18%，且在分類準確率為75%時所提模型的訓練時間比上述兩個網絡分別減少了82%與81%。實驗結果表明，所提模型能夠有效地減少模型的收斂時間并提升遙感圖像場景分類的準確率。

遙感圖像場景分類；有效通道注意力機制；支持向量機；深度學習；卷積神經網絡

0 引言

隨著成像傳感器和數據即時存儲技術的快速提高，遙感技術得到快速發展［1-3］，監測能力的進步和遙感平臺數量的增加使人們能夠獲得大量不同空間、光譜和時間分辨率［4］的地球表面地理圖像。高分辨率遙感圖像場景分類是指對遙感圖像所表達的場景進行理解，并將其標注為特定的語義類別，它在自然災害監測、城市規劃、土地資源管理等［5-7］領域有著重要的意義。

與普通圖像相比，高分辨率遙感圖像具有的主要特點是不同場景類別相似性大，而相同場景類別也存在著一定的視覺差異性，因此如何使模型能夠關注到圖像中類別可區分性更明顯的特征成為遙感圖像分類任務的主要挑戰之一。早期基于人工設計特征對遙感圖像場景進行分類的方法主要是基于圖像的底層特征，如：顏色［8］、紋理［9］和尺度不變特征［10］。此外，還有基于中層特征提取的有限元方法，如：視覺詞袋模型［11］與字典學習機［12］等。然而，這些方法只關注相對簡單的低級特征，不能完全捕捉到遙感圖像所包含的豐富信息。卷積神經網絡（Convolutional Neural Network， CNN）能夠自動進行分層特征的提取，通過端到端的學習提取到圖像的高層語義信息［13］，目前在遙感圖像分類領域取得了顯著效果，但是仍然存在著無法關注到圖像重點區域以及網絡收斂速度慢的問題。Hu等［14］提出的通道注意力機制雖然起到了一定的關注重點圖像特征的作用，但是通過降維來學習使得網絡收斂更慢，分類性能也無法得到很大提升。

針對以上問題，本文提出了一種基于有效通道注意力（Efficient Channel Attention， ECA）機制的遙感圖像場景分類新模型——ECA-ResNeXt-8-SVM。相較于ResNet等經典的CNN，該模型具有以下特性：1）能夠無降維地捕捉跨通道信息，相對抑制不同場景類別遙感圖像中的相似特征，關注類別可區分性更加明顯的圖像特征；2）收斂時間更短，能夠有效提高遙感圖像場景分類的準確率。

1 相關工作

基于人工設計特征的方法分類準確率提高非常有限，而且無法提取到遙感圖像更深層次的語義特征。CNN是深度神經網絡中的一種，Penatti等［15］首次將CNN應用于遙感圖像場景分類，并利用遷移學習的思想取得了很好的分類效果；Cheng等［16］利用CNN對遙感圖像數據集進行分類，并和傳統的基于顏色和紋理特征的分類方法比較，提出了使用CNN對遙感圖像進行分類，其準確率高于傳統方法；李玉峰等［17］在傳統的CNN分類模型中加入基于Network in Network思想的Inception結構，從而提高了遙感圖像場景分類的準確率；Xie等［18］提出了一種無尺度的遙感場景分類方法，以解決預處理卷積神經網絡的微調過程通常會丟棄場景中關鍵信息的問題；王鑫等［19］提出了將CNN三種高層特征通過串聯融合來對遙感圖像場景進行分類，使得最終融合后的特征信息更加豐富；Li等［20］融合了在ImageNet上預先訓練的CNN模型不同層的特征，以進一步提高分類準確率；孟佳佳等［21］通過搭建深度殘差神經網絡（ResNet）對高光譜遙感數據進行分類，基于殘差學習的思想解決了深層網絡中梯度彌散和精度下降的問題，在遙感圖像場景分類任務上效果顯著；Xie等［22］在ResNet網絡的基礎上進一步提出了ResNeXt，該網絡通過設計特殊的子模塊拓撲結構可以在不增加模型復雜度的前提下提高分類的準確率，同時減少了超參數的數量。然而普通的CNN并不能很好地關注到圖像中類別可區分性明顯的特征，以至于分類的準確率無法進一步提高。

注意力機制已被廣泛用于遙感目標檢測［23］、遙感圖像分割［24-25］和遙感場景分類［26-29］。Wang等［26］首次將注意力機制應用于遙感場景分類中并提出用于場景分類的注意力遞歸卷積網絡（Attention Recurrent Convolutional Network，ARCNet），ARCNet能夠自適應地選擇一系列關注區域，對這些區域依次處理以提高模型的特征提取能力；Wang等［27］提出了基于注意力的加權方案并稱之為集成卷積注意（Convolutional Attention Ensemble， CAE），CAE利用CNN提取特征的能力來增強集成分類器的性能并應用于遙感圖像分類任務；邊小勇等［28］提出了將尺度注意力機制嵌入到CNN中以解決遙感圖像存在多個小對象和背景的復雜分類問題；Hu等［14］通過引入通道域注意力機制，采用壓縮和激勵（Squeeze and Excitation， SE）的思想對一個通道內的信息直接全局平均池化（Global Average Pooling， GAP），從而忽略每一個通道內的局部信息，使得提取的高層次特征更加豐富。以上注意力機制應用于CNN中往往會使得模型過于復雜，在提升模型分類準確率的同時加重了計算的負擔，使網絡收斂更慢。

針對上述問題，本文在Wang等［30］的啟發下提出了一種將ECA模塊嵌入到深度卷積神經網絡的遙感圖像場景分類新模型ECA-ResNeXt-8-SVM，以達到在提升模型分類準確率的同時加快網絡收斂的目的。本文的主要工作如下：1）提出了ECA-ResNeXt-8深度特征提取網絡，通過在CNN中引入ECA機制來提升網絡對重要特征的提取能力；2）利用支持向量機（Support Vector Machine， SVM）代替全連接層作為特征分類器，進一步提升模型的分類性能。通過實驗對比不同的深度特征提取網絡對遙感圖像的特征提取能力，驗證了本文提出的ECA-ResNeXt-8網絡相較于傳統CNN的優點。通過實驗對比不同以CNN提取到的特征作為輸入的分類器，驗證了本文選擇SVM來構成遙感圖像場景分類模型ECA-ResNeXt-8-SVM的合理性。

2 模型描述及實現

本章主要介紹了基于ECA機制的遙感圖像場景分類模型ECA-ResNeXt-8-SVM，該模型的框架如圖1所示。在已有的工作中有學者提出了SE-ResNet網絡，證明了將注意力機制與殘差神經網絡相結合可以在場景分類上取得很好的效果。本文參照SE-ResNet網絡的思想將ECA模塊應用于殘差神經網絡結構，并利用分組卷積的思想對ResNet進行改進，通過添加相同結構的分支來增加ResNet網絡的寬度。如圖1所示，本文首先設計了ECA-ResNeXt-8深度卷積神經網絡作為遙感圖像的特征提取器，從而使模型更加關注類別可區分性更加明顯的特征，接著將SVM作為特征分類器對遙感圖像場景進行分類，進一步提高模型的非線性映射能力。

2.1 深度特征提取網絡

2.1.1 注意力機制在遙感場景分類中的應用

在遙感圖像中，一般只有某一部分區域的圖像特征對判斷圖像屬于哪一個類別很重要，而其他不相關的部分特征可能同時屬于另一個類別，二者同時存在往往會使算法混淆。計算機視覺中的注意力機制能夠讓網絡擁有注意力，即更加關注類別可區分性更加明顯的特征而在一定程度上抑制類間相似性很大的特征，從而提升網絡的特征學習能力。

圖2取自遙感圖像中的棒球場類別，其主要可以分為投手區、內野與外野三個區域。可以看到，對于該類別遙感場景來說內野中的菱形區域應該是計算機重點關注的特征，即類別可區分性更加明顯，而外野以及投手區中的草地包含許多雜亂的信息，甚至可能是屬于其他場景類別的特征。

圖1 ECA-ResNeXt-8-SVM模型整體框架Fig. 1 Overall framework of ECA-ResNeXt-8-SVM model

圖2 棒球場遙感圖像Fig. 2 Remote sensing image of baseball diamond

Hu等［14］提出的通道注意力機制最早應用于SENet，它雖然可以通過全連接層降維來降低模型的復雜度，卻破壞了權值與通道之間的直接對應關系，而ECA模塊可以通過一維卷積替代全連接層來實現無降維的局部跨通道交互，在減少模型參數量的同時提高了分類準確率。

2.1.2 ECA機制

ECA模塊結構如圖3所示，假設包括卷積在內的任意一種特征變換表示為，其中，，，首先通過擠壓操作，利用全局平均池化將全局信息壓縮到一個通道描述符中，通過收縮特征中的空間維數來產生統計量，的第個元素可以表示為：

圖3 ECA模塊結構Fig. 3 Structure of ECA module

式（2）避免了不同通道之間完全獨立，在實現局部跨通道交互的同時保證了效率和有效性，的權重僅通過考慮與其個相鄰元素之間的相互作用來計算：

為更進一步展現網絡加深過程中通道的權重與提取到特征之間的對應關系，本文分別提取圖1網絡中①、②、③位置經過ECA模塊后最大與最小權重的特征圖如圖4所示。其中對應的通道權重分別為0.47、0.54、0.96，對應的權重分別為0.35、0.34、0.63。可以看出，隨著網絡深度的增加（），深度卷積神經網絡能提取到更具有表征能力的特征，低層（）網絡提取到的特征很直觀，而高層（）提取到的特征則更加抽象；對于權重不同的通道（或，或，），可以看出權重越大的通道越能提取出類別可區分性更加明顯的特征，而權重較小的通道提取到的大多是無關或類間相似性大的特征。

圖4 不同權重下不同層輸出的特征圖Fig. 4 Feature maps output by different layers under different weights

2.1.3 ECA-ResNeXt-8深度特征提取網絡

與普通殘差神經網絡（ResNet）相比，ResNeXt在其基礎上增加了基數（cardinality）的概念，即增加ResNet網絡的寬度，將殘差模塊并聯為一個整體，同時使每一個分支的結構相同，這樣可以保證在更少的網絡層數下獲得更高的準確率。本文借鑒ResNeXt增加網絡寬度的思想設計了ResNeXt-8作為深度特征提取網絡的主要模塊，并提出了將ECA模塊與ResNeXt-8相結合以便使網絡能夠關注到遙感圖像中類別可區分性明顯的區域，提升網絡的分類性能。本文設計的ResNeXt-8遙感圖像特征提取模塊如圖5所示。

圖5 ResNeXt-8模塊Fig. 5 ResNeXt-8 module

本文共使用了9個ResNeXt-8模塊串聯堆疊，并在每個ResNeXt-8模塊之后嵌入ECA模塊以捕獲通道之間的相互依賴關系，進而提升網絡對重要特征提取的能力。將式（9）中的輸出特征代入式（1）與式（7）即可得經過ECA模塊后每一個通道的對應權重：

為了有效避免深層網絡的退化問題，引入殘差的思想對每一個通道進行加權并與原始的輸入特征相加：

本文深度特征提取網絡共有29層，輸入遙感圖像經過第一層的卷積與池化進行降維與特征的初步提取，接著依次通過三個不同輸出通道數的模塊組（group），其中group1、group2、group3輸出的通道數分別為64、128、256，每一個group包含如圖1所示的三個block。通過深度卷積神經網絡對每一個ECA模塊中的通道權重進行端到端的學習，并利用學習到的權重對經過ResNeXt-8模塊后的通道進行加權。這種方式不僅能使網絡關注到更重要的特征，加快網絡收斂，而且能夠提升分類準確率與模型的魯棒性。本文將在實驗中對模型的魯棒性進行論證。

在深度卷積神經網絡中嵌入ECA模塊可以在不同深度下適應網絡的需求。正如圖4所示，在淺層網絡中該模塊可以通過激發信息特征來提高提取到的較低層特征的質量，在深層網絡中該模塊作用越來越明顯，提取到的特征越來越與類別強相關。

2.1.4 模型訓練與反向傳播

本文在深度特征提取網絡ECA-ResNeXt-8中使用全連接層作為訓練過程中的分類器，設輸入的第張遙感圖像經過網絡最后一層全局平均池化操作之后的特征表示為，在經過全連接層之后輸出的特征為，其中表示輸出的特征維度，表示場景類數，對應關系為：。代表權重矩陣，如式（12）所示：

進一步使用交叉熵損失函數計算網絡的誤差，如式（13）所示：

圖6 ECA-ResNeXt-8網絡結構Fig. 6 Structure of ECA-ResNeXt-8 network

2.2 具有CNN特征的SVM分類器

本質上全連接層是一種多項式形式的線性映射，因此分類能力有限，而SVM作為目前比較成熟的機器學習分類算法，可以借助核函數進行空間的非線性映射，在高維空間中構造決策函數來實現線性可分。本文首先將訓練好的CNN中最后一層全連接層刪除，然后將訓練集與測試集中的遙感圖像分別輸入預先訓練好的深度特征提取網絡ECA-ResNeXt-8中，每張圖片對應輸出維度為（1，256）的新特征。最后將新特征作為SVM的輸入數據進行后續訓練和測試。

選取“1-v-1（one against one）”的方法將二分類SVM推廣到多分類，即對類的遙感數據，分別選取第類數據和第類數據，共構造個分類器，最后使用投票法，將分類器判決類別最多的結果作為輸入遙感圖像最終預測的場景類別。

3 實驗與結果分析

3.1 實驗數據集與環境設置

本文在Linux系統下進行實驗驗證，實驗環境是基于 Linux的tensorflow機器學習框架，采用GPU進行加速訓練，其型號為NVIDIA Tesla V100，顯存為16 GB。

本文實驗中使用的遙感圖像場景分類領域中的數據集為UC Merced Land-Use［5］，它是一個被用于研究21級土地利用圖像的遙感數據集，被用于全國各地的城市地區。此數據集公共領域圖像的像素分辨率為304.8 mm，圖像大小為，包含21個類別的場景圖像共計2 100張，其中每個類別100張。

3.2 實驗過程

首先對數據集進行劃分以訓練深度特征提取網絡，其中將90%的數據（每類場景90張圖片）作為訓練集、其余10%的數據（每類場景10張圖片）作為測試集檢驗模型的魯棒性，另外在訓練集中單獨為每類場景劃分10張圖片作為驗證集來對網絡中的超參數進行優化。本文通過兩個階段的訓練來提升網絡對遙感圖像的特征提取能力，并對訓練過程中根據驗證集多次實驗下的收斂性能來對訓練周期和學習率等超參數進行調整。設置第一階段訓練周期為100，初始學習率為0.001 5，使用動量（Momentum）優化器來進行反向傳播訓練，每30個訓練周期將學習率變為原來的0.1倍，這一階段訓練主要使網絡能夠更快地收斂。在第二個階段設置訓練周期為100，初始學習率為0.001，使用Adam優化器來進行反向傳播訓練以達到自適應調整學習率的目的。在此階段主要是對網絡中的參數進行微調以使得網絡趨于穩定，同時進一步加強網絡對遙感圖像特征的提取能力。

其次，將訓練集中除去驗證集的圖像（每類場景80張圖片）輸入預訓練好的深度特征提取網絡，提取輸入全連接層的特征用于SVM訓練，并采用高斯核函數將數據映射到高維空間以實現線性可分。本文使用10折交叉驗證與網格搜索的方法來確定超參數與的取值，搜索得到最優的超參數取值組合為：。

以同樣方法提取測試集中的圖像特征并輸入訓練好的SVM。由于是多分類問題，實驗中使用“1-v-1”的方法對測試集中的遙感圖像場景類別進行預測，并計算分類的準確率與混淆矩陣。

3.3 結果分析

隨著深度神經網絡層數的增加，不同層輸出的圖像越來越抽象，這意味著卷積核提取到的特征也越來越復雜，但同時用于該圖像場景類別分類的主要特征越來越明顯，在輸出的特征圖上表現為對應區域呈現高亮狀態。為了更清晰地展現訓練過程中網絡參數的更新以及深度特征提取網絡對原始圖像特征的提取效果，本文提取神經網絡中group3（圖1所示）之后權重最大的通道對應的特征圖，并以飛機場和棒球場為例展現跟隨網絡過程的訓練，測試集分類準確率不同時特征圖的變化情況如圖7所示，其中圖7（a）、（b）中最左邊分別為選取飛機場與棒球場的原始遙感圖像，右邊分別為當測試集分類準確率到達46%、60%、80%、93%時提取到的原始遙感圖像經過網絡之后的特征圖。

由圖7可以清晰地看出，經過group3中ECA模塊后的特征圖更加抽象，不再關注原始圖像的紋理與顏色等一些低級特征，而是更接近于實際的任務場景。在準確率為93%時，明顯提取到了飛機與棒球場內野等圖像特征，符合人們對于分類的視覺感知。此外，CNN自身端到端的學習可以使網絡提取分類特征的能力變強。

圖7 不同準確率下的特征圖Fig. 7 Feature maps under different accuracies

3.4 不同深度特征提取網絡對比

為驗證ECA-ResNeXt-8網絡結構對遙感圖像進行特征提取的優勢，本文選用VGGNet16［31］、ResNet50［32］、ResNeXt50［21］、SE-ResNeXt50［14］四種已公認的在圖像分類領域取得良好效果的深度神經網絡進行對比，并以測試集準確率作為特征提取能力衡量的標準，計算式如式（22）所示：

圖8 不同網絡模型性能對比Fig. 8 Performance comparison of different network models

由圖8可知，本文提出的ECA-ResNeXt-8網絡在測試集上分類準確率達到了最高，而且在第50個周期時就已經達到了收斂。ResNeXt50網絡在沒有加入ECA模塊的情況下分類性能并不如ECA-ResNeXt-8。ResNet50雖然在測試集上的分類準確率達到了80%，但是訓練時間大幅度增加，網絡收斂較慢。VGGNet16作為傳統堆疊式深度神經網絡的代表，由于并沒有引入類似殘差模塊的結構，導致網絡在前期就過擬合，測試集上的分類準確率在60%左右。通過對比不同網絡訓練過程中測試集準確率隨時間的變化情況，可以看出本文提出的深度特征提取網絡具有以下優點：1）初始準確率高，收斂更快；2）在測試集上的分類準確率更高，模型的推廣能力更強；3）訓練波動更小，對特征的提取能力更強，不易產生過擬合現象。

為了更進一步比較不同深度特征提取網絡的性能，本文統計了不同網絡在UC Merced Land-Use數據集上的平均準確率、網絡的參數量、每周期平均耗時和在測試集準確率達到75%時所花費的訓練時間，結果如表1所示。

表1 不同網絡的不同指標結果對比Tab. 1 Result comparison of different indicators of different networks

由表1可知，ECA-ResNeXt-8作為特征提取網絡（以全連接層作為分類器）時，其在測試集上的分類準確率達到93.86%，相較于ResNeXt50提高了近16%，相較于同樣使用注意力機制的網絡SE-ResNeXt50提高了近4%，這表明本文網絡的特征提取能力以及魯棒性優于對比的其他網絡。值得說明的是本文提出的特征提取網絡只有29層，但是性能卻優于其他網絡，參數量也較低。本文網絡在實驗平臺下每周期平均耗時為10.28 s，相較于使用SE-ResNeXt50與ResNeXt50網絡分類，在測試集準確率達到75%時所用時間分別減少了82%與81%，可見本文網絡收斂更快。進一步分析可知，本文提出的深度特征提取網絡將ECA模塊與ResNeXt并聯殘差網絡兩者的思想進行了結合，使得網絡既能通過局部跨通道交互來關注到重要的特征，又能利用并聯殘差的思想增加網絡的寬度而并非深度，從而在提升分類準確率的同時減少了模型收斂的時間。

3.5 不同分類器對比

為了提高模型分類的準確率，本文進一步將ECA-ResNeXt-8網絡提取的特征作為不同分類器的輸入進行實驗對比，分別選用K近鄰（K-Nearest Neighbor， KNN）［33］、隨機森林（Random Forest）［34］、樸素貝葉斯（Naive Bayes）［35］和SVM算法思想設計分類器。在UC Merced Land-Use數據集上測試并得到平均準確率與最后一層的平均訓練時間，具體結果如表2所示。

表2 不同分類器下的性能對比Tab. 2 Performance comparison under different classifiers

通過測試集平均準確率與最后一層平均訓練時間這兩個指標對不同的分類器進行比較，可以發現將ECA-ResNeXt-8網絡提取的特征作為SVM輸入時，分類準確率達到95.81%，相較于使用原始的全連接層提高了近2%，另外也可以發現相較于使用SE-ResNeXt50與ResNeXt50網絡分類，其準確率分別提高了6%與18%。而使用KNN、Random Forest或Naive Bayes作為分類器會使模型的分類性能下降，表明這三種分類器并不適合于本文提出的模型。由以上分析可知，本文提出的模型具有較好的遙感圖像場景分類性能。

進一步對使用SVM作為分類器的分類結果以混淆矩陣的形式可視化，如圖9所示。混淆矩陣的橫軸表示遙感圖像的預測標簽值，縱軸表示每類遙感圖像的真實標簽值，對角線上的數值代表每一類圖像中被正確分類的數量，顏色越深代表該場景類別分類的準確率越高。可以看出，標簽為4的場景類別的錯誤率最高，該類代表的是建筑物（buildings）類別，它被錯分為稠密住宅區（dense residential）的概率較高，其原因在于這兩種場景類別特征重疊以及相似的部分最多，因此本文建立的模型還需要在相似場景類別分類任務上做進一步的提升。

圖9 UC Merced Land-Use數據集分類混淆矩陣Fig. 9 Classification confusion matrix of UC Merced Land-Use dataset

3.6 模型魯棒性測試

為驗證本文模型在遙感場景分類應用上的可擴展性和魯棒性，將模型在其他遙感場景分類數據集上進行測試并計算平均準確率（訓練方法同3.2節）。本文選取文獻［36］提供的遙感圖像數據集進行實驗，其中包含KSA（Kingdom of Saud Arabia）、AID（Aerial Image Datasets）、Optimal-31、WHU-RS19和RSSCN7這5個不同的遙感圖像數據集，其圖像大小都已被預處理為，以便減少訓練時間并保證數據集輸入的一致性，測試結果如表3所示。

表3 所提模型在不同數據集上的測試結果Tab. 3 Test results of proposed model on different datasets

由表3結果可知，本文提出的模型可以適用于不同的遙感圖像數據集且在測試集上的分類準確率均達到了90%以上，這表明該模型具有一定的魯棒性，可以適用于不同的遙感圖像場景分類任務。

4 結語

本文提出了一種將ECA模塊與ResNeXt-8相結合作為深度特征提取網絡，并進一步使用SVM代替全連接層作為CNN特征分類器來提升遙感圖像場景分類能力的模型。ECA機制通過局部跨通道交互可以對不同通道的特征圖根據其分類特征的重要程度賦予一定的權重，使網絡能夠更進一步提取到類別可區分性更明顯的特征。ResNeXt-8中引入并聯的殘差模塊，使得網絡在相同的參數量下能夠使用更少的網絡層數達到更優的性能。通過比較特征提取網絡與分類器在UC Merced Land-Use遙感圖像數據集上的分類性能，驗證了本文提出的ECA-ResNeXt-8-SVM遙感圖像場景分類模型的有效性。但是該模型仍然存在一定的局限性，比如對過于相似的場景識別率較低。但是優化方法為在通道注意力機制基礎上引入空間域注意力機制，這樣會顯著增加模型的復雜度，需進一步研究改善。

[1] SINGH A. Review article digital change detection techniques using remotely-sensed data ［J］. International Journal of Remote Sensing，1989， 10（6）： 989-1003.

[2] CHENG G， HAN J W， LU X Q. Remote sensing image scene classification： benchmark and state of the art ［J］. Proceedings of the IEEE， 2017， 105（10）： 1865-1883.

[3] CHENG G， XIE X X， HAN J W， et al. Remote sensing image scene classification meets deep learning： challenges， methods， benchmarks， and opportunities ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2020， 13： 3735-3756.

[4] ROGAN J， CHEN D M. Remote sensing technology for mapping and monitoring land-cover and land-use change ［J］. Progress in Planning， 2004， 61（4）： 301-325.

[5] YANG Y， NEWSAM S. Bag-of-visual-words and spatial extensions for land-use classification ［C］// Proceedings of the 2010 18th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems. New York： ACM， 2010： 270-279.

[6] CHERIYADAT A M. Unsupervised feature learning for aerial scene classification ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2014， 52（1）： 439-451.

[7] ZHANG H， SONG H J， YU B C. Application of hyper spectral remote sensing for urban forestry monitoring in natural disaster zones ［C］// Proceedings of the 2011 International Conference on Computer and Management. Piscataway： IEEE，2011： 1-4.

[8] SWAIN M J， BALLARD D H. Color indexing ［J］. International Journal of Computer Vision， 1991， 7（1）： 11-32.

[9] BHAGAVATHY S， MANJUNATH B S. Modeling and detection of geospatial objects using texture motifs ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2006， 44（12）： 3706-3715.

[10] YANG Y， NEWSAM S. Comparing SIFT descriptors and Gabor texture features for classification of remote sensed imagery ［C］// Proceedings of the 2008 15th IEEE International Conference on Image Processing. Piscataway： IEEE， 2008： 1852-1855.

[11] FAN J Y， CHEN T， LU S J. Unsupervised feature learning for land-use scene recognition ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2017， 55（4）： 2250-2261.

[12] TU B， ZHANG X F， KANG X D， et al. Hyperspectral image classification via fusing correlation coefficient and joint sparse representation ［J］. IEEE Geoscience and Remote Sensing Letters， 2018， 15（3）： 340-344.

[13] LI H T， GU H Y， HAN Y S， et al. Object-oriented classification of high-resolution remote sensing imagery based on an improved colour structure code and a support vector machine ［J］. International Journal of Remote Sensing，2010， 31（6）： 1453-1470.

[14] HU J， SHEN L， SUN G. Squeeze-and-excitation networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141

[15] PENATTI O A B， NOGUEIRA K， DOS SANTOS J A. Do deep features generalize from everyday objects to remote sensing and aerial scenes domains？ ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2015： 44-51.

[16] CHENG G， YANG C Y， YAO X W， et al. When deep learning meets metric learning： remote sensing image scene classification via learning discriminative CNNs ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2018， 56（5）： 2811-2821.

[17] 李玉峰，林輝.基于CNN的多光譜遙感圖像地物覆蓋分類［J］.微處理機，2019，40（1）：43-48.（LI Y F， LIN H. Multi-spectral remote sensing image classification of ground coverage based on CNN ［J］. Microprocessors， 2019， 40（1）： 43-48.）

[18] XIE J， HE N J， FANG L Y， et al. Scale-free convolutional neural network for remote sensing scene classification ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（9）： 6916-6928.

[19] 王鑫，李可，徐明君，等.改進的基于深度學習的遙感圖像分類算法［J］.計算機應用，2019，39（2）：382-387.（WANG X， LI K， XU M J， et al. Improved remote sensing image classification algorithm based on deep learning ［J］. Journal of Computer Applications， 2019，39（2）： 382-387.）

[20] LI E Z， XIA J S， DU P J， et al. Integrating multilayer features of convolutional neural networks for remote sensing scene classification ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2017， 55（10）： 5653-5665.

[21] 孟佳佳，王弢.基于深度殘差網絡的遙感數據分類［J］.數字技術與應用，2019，37（1）：99-101.（MENG J J， WANG T. Remote sensing data classification based on deep residual network ［J］. Digital Technology and Application， 2019， 37（1）： 99-101.）

[22] XIE S N， GIRSHICK R， DOLLáR P， et al. Aggregated residual transformations for deep neural networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5987-5995.

[23] ZHANG G J， LU S J， ZHANG W. CAD-Net： a context-aware detection network for objects in remote sensing imagery ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（12）： 10015-10024.

[24] SU Y Z， WU Y J， WANG M， et al. Semantic segmentation of high resolution remote sensing image based on batch-attention mechanism ［C］// Proceedings of 2019 IEEE International Geoscience and Remote Sensing Symposium. Piscataway：IEEE， 2019： 3856-3859.

[25] QI X Q， LI K Q， LIU P K， et al. Deep attention and multi-scale networks for accurate remote sensing image segmentation ［J］. IEEE Access，2020， 8： 146627-146639.

[26] WANG Q， LIU S T， CHANUSSOT J， et al. Scene classification with recurrent attention of VHR remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（2）： 1155-1167.

[27] WANG H N， MIAO Y Q， WANG H R， et al. Convolutional attention in ensemble with knowledge transferred for remote sensing image classification ［J］. IEEE Geoscience and Remote Sensing Letters， 2019， 16（4）： 643-647.

[28] 邊小勇，費雄君，穆楠.基于尺度注意力網絡的遙感圖像場景分類［J］.計算機應用，2020，40（3）：872-877.（BIAN X Y， FEI X J，MU N. Remote sensing image scene classification based on scale-attention network ［J］. Journal of Computer Applications， 2020， 40（3）： 872-877.）

[29] ZHANG C， WANG Q， LI X L. A multi-task architecture for remote sensing by joint scene classification and image quality assessment ［C］// Proceedings of 2019 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE， 2019： 10055-10058.

[30] WANG Q L， WU B G， ZHU P F， et al. ECA-Net： efficient channel attention for deep convolutional neural networks ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：11531-11539.

[31] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition ［EB/OL］. ［2021-02-15］.https：//arxiv.org/pdf/1409.1556.pdf.

[32] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2016： 770-778.

[33] ZHANG M L， ZHOU Z H. ML-KNN： a lazy learning approach to multi-label learning ［J］. Pattern Recognition， 2007， 40（7）： 2038-2048.

[34] PAL M. Random forest classifier for remote sensing classification ［J］. International Journal of Remote Sensing， 2005， 26（1）： 217-222.

[35] RISH I. An empirical study of the naive Bayes classifier ［J］. Journal of Universal Computer Science， 2001， 1（2）：127.

[36] ALHICHRI H S. Remote sensing datasets ［DS/OL］. ［2020-12-01］. http：//alhichri.36bit.com/research.html.

Remote sensing image scene classification based on effective channel attention

QU Zhen， LI Kunting，FENG Zhixi*

（School of Artificial Intelligence，Xidian University，Xi’an Shaanxi710071，China）

The methods based on artificially designed features cannot extract high-level information from remote sensing images and previously used Convolutional Neural Network （CNN） such as VGGNet and ResNet cannot focus on distinguishable classification features in remote sensing images. In order to solve the problems， a novel method called ECA-ResNeXt-8-SVM was proposed based on Effective Channel Attention （ECA） mechanism for remote sensing image scene classification. In order to build an effective model， a deep feature extraction network called ECA-ResNeXt-8 embedded with the ECA module was designed， and the end-to-end learning was used to make network lay emphasis on channels with distinguishable classification features. At the same time， Support Vector Machine （SVM） was utilized to replace the fully connected layer as the classifier of the extracted deep features， which helped to improve the classification accuracy and generalization ability of model. On the experimental dataset UC Merced Land-Use， the classification accuracy of the proposed model reaches 95.81%， which is increased by 6% and 18% compared to SE-ResNeXt50 and ResNeXt50 networks respectively. When the classification accuracy is 75%， the proposed model has the training time reduced by 82% and 81% compared to the two above networks respectively. Experimental results show that the proposed model can reduce the convergence time of model effectively and improve the classification accuracy for remote sensing image scene.

remote sensing image scene classification; Efficient Channel Attention (ECA) mechanism; Support Vector Machine (SVM); deep learning; Convolutional Neural Network (CNN)

TP309.7

A

1001-9081（2022）05-1431-09

10.11772/j.issn.1001-9081.2021030464

2021?03?26；

2021?07?16；

2021?07?16。

國家自然科學基金資助項目（61836009，61906145）。

屈震（2000—），男，陜西榆林人，主要研究方向：機器學習、遙感圖像處理； 李堃婷（2000—），女，遼寧昌圖人，主要研究方向：機器學習、遙感圖像處理； 馮志璽（1989—），男，甘肅武威人，副教授，博士，CCF會員，主要研究方向：智能信號與圖像處理。

This work is partially supported by National Natural Science Foundation of China （61836009，61906145）.

QU Zhen， born in 2000. His research interests include machine learning， remote sensing image processing.

LI Kunting， born in 2000. Her research interests include machine learning， remote sensing image processing.

FENG Zhixi， born in 1989， Ph. D.， associate professor. His research interests include intelligent signal and image processing.