基于多尺度卷積融合的高光譜圖像分類網絡

摘要：針對高光譜圖像分類中多尺度特征提取能力薄弱以及光譜—空間特征融合機制不夠靈活等問題，文章提出一種基于多尺度卷積融合的高光譜圖像分類網絡。該模型設計了新穎的多尺度卷積融合模塊，通過雙分支異構結構有效解耦光譜特征并構建層次化空間特征提取器，從而實現對高光譜圖像的高效光譜—空間聯合建模。在IndianPines、PaviaUniversity和Houston2013三種經典開源數據集上的實驗結果表明，與五種基線方法相比，所提模型顯著增強了多尺度特征的表征能力，并展現出更優的高光譜圖像分類效果。

關鍵詞：高光譜圖像分類；多尺度特征融合；光譜—空間聯合建模

中圖分類號：TP391文獻標識碼：A

文章編號：1009-3044（2025）20-0026-05

0引言

高光譜圖像（HyperspectralImage，HSI）是一種包含數百個連續窄波段光譜信息的遙感數據，具有“圖譜合一”的特點，能夠同時提供豐富的光譜特征和空間結構信息。作為遙感地物分類與目標檢測研究的核心任務，高光譜圖像分類在農業監測、環境調查、軍事偵察等領域具有重要應用價值。

然而，高光譜遙感圖像固有的光譜維度高冗余性、空間分辨率有限以及混合像元普遍存在等特性，使得傳統基于手工特征提取的機器學習分類方法（如決策樹等）在應對光譜變異性和復雜空間結構時面臨挑戰[1]。受限于淺層模型的表征能力，傳統機器學習方法難以充分挖掘高光譜數據中的深層非線性特征和空間上下文關聯。

近年來，深度學習的發展推動了卷積神經網絡（CNN）在HSI分類中的應用，顯著提升了光譜與空間信息的聯合建模能力，并在該領域得到了廣泛驗證。Chen等[2]首次在HSI分類領域引入深度學習，采用無監督深度特征學習模型SAE（StackedAutoencoder）分別提取光譜與空間特征，生成光譜—空間特征以提升分類精度。

在高光譜遙感圖像中，普遍存在“同物異譜”（即同種地物因光照、大氣等因素影響而呈現不同光譜特征）和“異物同譜”（即不同地物具有相似光譜特征）的現象。在此情形下，單純依靠光譜信息，精準識別地物類型極為困難。因此，為了實現高精度的地物分類，聯合提取并利用HSI的空間與光譜特征至關重要。基于這一需求，研究者開始采用三維卷積神經網絡（3D-CNN）模型同步提取HSI的空間與光譜特征。

例如，Chen等[3]提出了一種基于CNN的正則化深度特征提取方法用于HSI分類，通過構建1D、2D、3DCNN分別提取光譜、空間和光譜—空間特征，結果顯示該方法在多個HSI數據集上取得了優異表現。Li等[4]進一步提出3D卷積神經網絡（3D-CNN）框架，能夠更高效地提取光譜—空間組合特征，在參數量控制、過擬合抑制及訓練難度等方面具備優勢，且在多個真實數據集上分類性能均優于SAE、DBN和2D-CNN等方法。Meng等[5]提出的全密集多尺度融合網絡（FDMFN）通過在各卷積層間建立密集跨層連接，實現了多級光譜—空間特征的深度復用與自適應融合。

綜上所述，HSI數據面臨光譜維度冗余、空間細節及全局上下文復雜等挑戰，傳統分類手段難以挖掘其深層特征，導致分類精度受限。盡管現有基于卷積神經網絡與注意力機制的HSI分類方法，能夠實現端到端特征學習，但多尺度特征融合的不充分及復雜場景下的適應性問題依然突出。本文的核心貢獻如下：

1）針對HSI分類中的關鍵難題，設計了多尺度卷積融合模塊，通過不同尺度的膨脹深度可分離卷積協同作用，實現全局上下文與局部細節的層次化建模，強化光譜—空間特征的聯合表達能力。

2）提出光譜—空間特征的拼接融合策略，有效突破傳統單尺度卷積模型的局部性限制，并提升了復雜場景下對“同物異譜”“異物同譜”等地物的判別能力。

3）在IndianPines、PaviaUniversity和Houston2013等公開HSI數據集上開展對比實驗，結果表明所提方法在分類精度、抗噪聲魯棒性等方面顯著優于主流算法，進一步驗證了多尺度特征融合策略的有效性和優越性。

1多尺度卷積融合模塊

針對高光譜圖像光譜維度冗余性強、空間細節與全局上下文關聯復雜的核心挑戰，本節將詳細介紹所提出的多尺度卷積融合模塊（Multi-ScaleBlock，MSB）的設計。

現有方法主要存在對多尺度空間特征提取能力不足、傳統單尺度卷積難以捕捉霧霾、陰影等干擾下局部細節等局限性。為此，本文設計了多尺度卷積融合模塊（MSB），如圖1所示，旨在通過增強多尺度特征表征能力與提升特征融合靈活性，以解決上述問題。

在高光譜圖像分類任務中，多尺度卷積融合模塊通過光譜—空間聯合建模，實現多尺度特征提取與長程上下文感知，有效應對高光譜數據中“同物異譜”與“異物同譜”帶來的分類挑戰。本節將從模塊架構、核心組件及融合策略三方面闡述其設計原理。

針對高光譜輸入特征圖x∈?H×W×C，采用光譜維度批歸一化（SpectralBatchNormalization）進行標準化處理：x=BatchNorm（x），以消除光譜通道間的分布差異，增強模型對光照變化及傳感器噪聲的魯棒性，加速模型訓練的收斂，防止過擬合并改善模型的泛化能力。

本模塊采用雙分支異構結構實現光譜—空間特征的協同提取：光譜特征解耦分支通過逐點卷積（PointwiseConvolution，PWConv）對輸入高光譜數據進行光譜維度的線性變換，將原始C個光譜通道映射為K個鑒別性特征通道。該設計通過通道重組，有效解耦了光譜與空間的耦合特征，增強了模型對“異物同譜”現象的辨別能力。

多尺度空間建模分支則采用三級膨脹深度可分離卷積（Depth-WiseDilatedConvolution，DWDConv）構建層次化特征提取器，具體見公式（1）～（3）：

首先，公式（1）對光譜特征解耦分支通過逐點卷積運算，對輸入光譜特征x進行維度初步特征變換，得到中間特征x1，實現對光譜維度信息的解耦與初步重組；其次，公式（2）以x1為輸入，采用常規卷積操作，其卷積核尺寸為5×5，進一步在空間維度挖掘特征，生成新特征x2，強化空間基礎表征；最后，公式（3）通過不同感受野尺寸的膨脹深度可分離卷積計算，將多尺度膨脹深度可分離卷積運算結果進行拼接，得到融合特征x3。具體而言，全局特征提取層使用7×7膨脹深度可分離卷積，膨脹率為3，等效感受野為19×19，其大感受野特性可建模類似自注意力機制的長程空間依賴，適用于捕獲大范圍地物分布規律；中尺度特征提取層采用5×5膨脹深度可分離卷積，膨脹率為3，等效感受野為13×13，重點提取農田斑塊、建筑群等中等尺度目標的幾何結構特征；局部特征增強層配置3×3膨脹深度可分離卷積，膨脹率為3，等效感受野為7×7，用于捕捉葉片紋理、道路邊緣等精細空間特征。

本模塊采用多尺度特征融合與輕量化映射相結合的設計策略。具體實現見公式（4）：針對融合后的光譜—空間特征x3，第一層由逐點卷積配合GELU激活函數組成，通過非線性變換實現跨通道特征交互；第二層再次采用逐點卷積運算，將經非線性變換后的特征維度壓縮回與原始高光譜輸入特征x維度相同的規模，旨在在保持特征表達能力的同時降低計算復雜度。最終，引入殘差連接機制，將原始高光譜輸入特征x與上述兩層逐點卷積及激活處理后的特征進行殘差連接，得到最終輸出y。這一設計可有效整合不同尺度的特征信息，實現更加全面、多維的HSI上下文特征建模。

總的來說，本節設計的多尺度協同架構通過對原始光譜維度信息的解耦、全局上下文建模與局部細節增強的有機結合，在特征層面構建了光譜聯合空間的完整表征體系。此外，多尺度卷積融合模塊通過不同尺寸的膨脹深度可分離卷積核實現像素級長程建模，突破了傳統卷積的局部性限制。其多尺度并行結構能夠適應高光譜圖像中地物目標尺度差異大的特性，兼顧全局上下文與局部細節，從而為光譜—空間聯合分類提供了強大的特征表征基礎。

2實驗結果與分析

本章首先介紹實驗所采用的3個代表性高光譜遙感數據集及具體的實驗參數設置。隨后，將展示本文所提MSB模型的實驗結果，并將其在3個數據集上與多種經典及先進的高光譜圖像分類方法進行分析比較。

2.1實驗環境及數據集

本實驗在配置為Corei713700KF、128GBRAM、NVIDIA3090GPU的服務器平臺上進行訓練。主要實驗環境為CUDA11.1、Python3.8、Torch1.8.2。本文選擇Adam優化器作為初始優化器，初始學習率設置為1e?3。批量訓練時，每個小批量的尺寸設為64，每個數據集均進行100個訓練輪次。

為驗證所提方法的性能，本文選取了3個經典的HSI數據集開展實驗，分別為IndianPines、PaviaUni?versity和Houston2013數據集。3個數據集的詳細類別及訓練—測試集劃分見表1。

IndianPines數據集：該經典數據集采集于1992年，由機載可見光/紅外成像光譜儀（AVIRIS）在美國印第安納州西北部地區完成拍攝。未經矯正的原始數據中包含220個波段，光譜范圍為0.4～2.5μm。該數據集空間尺寸為145×145像素，空間分辨率達20米，涵蓋16種土地覆蓋類別。實驗時去除20個吸水波段與噪聲波段（去除104～108、150～163、220波段），選取剩余200個波段進行分析。

PaviaUniversity數據集：該數據集在2001年，借助反射光學系統成像光譜儀（ROSIS）于意大利北部帕維亞大學區域完成采集。原始數據涵蓋115個光譜波段，光譜范圍為0.43～0.86μm。影像尺寸為610×340像素，空間分辨率1.3米，涉及9種土地覆蓋類別。實驗時去除12個噪聲波段，采用剩余103個波段數據。

Houston2013數據集：由美國休斯頓大學高光譜圖像分析小組及美國國家科學基金會資助的機載激光測繪中心（NCALM）合作提供。數據集涵蓋144個光譜波段，光譜范圍為0.38～1.05μm，影像尺寸為349×1905像素，空間分辨率2.5米，共包含15類地物。每個數據集均劃分為訓練集與測試集，其中In?dianPines的10%用于訓練和Houston，PaviaUniversity2013數據集隨機選取總樣本數數據集則隨機選取總樣本數的5%用于訓練。為定量評估所提方法及對比方法的性能，本文采用三項整體評估指標：總體精度（OverallAccuracy，OA）、平均精度（AverageAccu?racy，AA）和Kappa系數（Kappa）。此外，還報告了各地物類別的分類精度。各指標數值越大，表明分類效果越好。

2.2實驗結果對比

為驗證所提模型的有效性，本文選取了多種代表性高光譜分類方法進行對比實驗，包括：支持向量機（SVM）、EMAP[6]、一維卷積神經網絡（1-D-CNN）[7]、二維卷積神經網絡（2-D-CNN）[8]、三維卷積神經網絡（3-D-CNN）以及本文提出的MSB方法。

SVM：分類任務選用徑向基核函數（RBF），通過在核寬度系數γ=[2?3，2?2，...，2?]和懲罰系數C=[10?2，10?1，...，10?]范圍內進行交叉驗證，確定超參數γ和C的最優參數組合。

EMAP：主成分數量設為3，選取區域面積a、慣性矩i和標準差std三種屬性輪廓。分別設置屬性尺度：區域面積a為[100，500，1000，5000]，慣性矩i為[0.2，0.3，0.4，0.5]，標準差std為[20，30，40，50]，分類器參數同SVM。

1-D-CNN：網絡結構由5個加權層組成，依次為輸入層、卷積層、最大池化層、全連接層和輸出層。卷積層含20個一維卷積核，輸出維度為128，頂層接soft?max函數。

2-D-CNN：包含3個二維卷積塊、兩個線性層。每個二維卷積塊由二維卷積層、批量歸一化（BatchNormalization，BN）層和ReLU激活函數構成，卷積層分別包含8、16和32個3×3尺寸的二維卷積核。

3-D-CNN：包含3個三維卷積塊和兩個線性層。每個卷積塊由三維卷積層、BN層和ReLU激活函數組成，卷積層分別包含8、16和32個3×3×3尺寸的三維卷積核。

為確保對比的公平性，所有方法均采用與表1相同的訓練集與測試集劃分及實驗流程。

表2至表4分別列出了上述各方法在IndianPines、PaviaUniversity和Houston2013數據集上的總體精度（OA）、平均精度（AA）、Kappa系數及各類別分類精度。從表2至表4可以看出，本文方法相較于其他方法在所有數據集上均獲得了最高的OA、AA和Kappa結果。值得注意的是，本文方法在IndianPines數據集的“Grass-pasture-mowed”類、“Soybean-mintill”類以及Houston2013數據集中的Road類和High?way類的識別精度表現弱于3D-CNN模型。這可能是由于本文方法在高光譜圖像的局部細節捕捉及特定地物幾何結構建模方面，多尺度感受野在處理極端尺度差異或線性地物時，存在特征表征不夠精細化的局限，導致在某些類別的小樣本或規則幾何形態識別中，出現局部分類邊界模糊或樣本錯分的情況。然而，本文提出的方法通過雙分支異構結構實現了光譜特征解耦與全局空間特征提取的有機結合，并結合多尺度膨脹深度可分離卷積運算，最終實現了HSI的光譜解耦與多尺度特征融合，能夠在整體上更全面地捕捉光譜—空間聯合特征，有效應對“同物異譜”“異物同譜”等復雜分類場景，其總體效果仍保持最優。

圖2～圖4分別展示了各對比方法在IndianPines類圖。、PaviaUniversity其中，各圖（a）為真實的分類標簽圖和Houston2013數據集上的分，從（b）到（g）依次代表SVM、EMAP、1D-CNN、2D-CNN、3D-CNN以及本文提出的MSB模型的分類結果圖。

通過可視化對比可見，本文提出的MSB模型的分類圖最接近真實地物圖。其中，SVM、EMAP和1D CNN等方法在三個數據集上的分類圖中噪聲分布更為密集，這種可視化差異側面反映出上述模型在處理高光譜圖像數據時，對復雜地物類型的判別能力明顯不足，分類性能表現較弱。以IndianPines數據集為例，在對比方法中，“Corn-notill”類（圖2的藍色區域部分）容易被誤分成“Soybean-mintill”類（圖2的粉色區域部分），而本文方法有效改善了藍色區域的識別精度。對于PaviaUniversity數據集，各對比方法針對“Baresoil”類（圖3的棕色區域部分）類別的識別精度不佳，在識別結果中顯示出大量綠色雜斑，而MSB模型分類圖中該類別區域純凈、邊緣清晰。圖4針對Houston法依舊保持了最佳的總體類別識別精度和邊界完整2013數據集的不同類別識別結果中，本文方性，進一步驗證了分類性能。MSB模型通過多級膨脹卷積實現全局上下文與局部細節的多尺度特征融合，在MSB模塊內部計算中引入了多個尺度的計算，在多尺度特征建模和光譜—空間動態融合方面顯著提升，是實現高精度分類的核心機制。

3結束語

本文針對高光譜圖像分類任務中多尺度特征提取不足、光譜—空間特征融合機制僵化等問題，提出了一種基于多尺度卷積融合的高光譜分類網絡模型。該模型通過多尺度卷積融合模塊實現光譜—空間聯合建模，利用雙分支異構結構增強多尺度特征提取能力。實驗表明，MSB相較于傳統方法，在總體分類精度（OA）上有了大幅提升，并表現出較強的魯棒性和泛化能力。未來工作將探索更高效的光譜—空間特征解耦方法，并研究如何將MSB擴展到多模態遙感數據分類任務中，以進一步提升模型的泛化能力。

參考文獻：

[1]HEARSTMA，DUMAISST，OSUNAEchines[J].IEEEIntelligentSystems，etal.Supportvectorma?andTheirApplications，1998，13（4）：18-28.

[2]CHENYS，LINZH，ZHAOX，etal.Deeplearning-basedclassificationofhyperspectraldata[J].IEEEJour?nalofSelectedTopicsinAppliedEarthObservationsandRemoteSensing，2014，7（6）：2094-2107.

[3]CHENYS，JIANGHL，LICY，etal.Deepfeatureextractionandclas?sificationofhyperspectralimagesbasedonconvolutionalneuralnet?works[J].IEEETransactionsonGeoscienceandRemoteSensing，2016，54（10）：6232-6251.

[4]LIY，ZHANGHK，SHENQ.Spec?tral–spatialclassificationofhy?perspectralimagerywith3Dconvo?lutionalneuralnetwork[J].RemoteSensing，2017，9（1）：67.

[5]MENGZ，LILL，JIAOLC，etal.Fullydensemultiscalefusionnetworkforhyperspectralimageclassification[J].RemoteSens?ing，2019，11（22）：2718.

[6]DALLAMURAM，VILLAA，BENEDIKTSSONJA，etal.Classi?ficaattributeprofilesandindependentcomponentanalysistionofhyperspectralimagesbyusingextendedmorphological[J].IEEEGeoscienceandRemoteSensingLetters，2011，8（3）：542-546.

[7]HUW，HUANGYY，WEIL，etal.Deepconvolutionalneuralnet?worksforhyperspectralimageclassification[J].JournalofSen?sors，2015，2015（1）：258619.

[8]ZHAOWZ，DUSH.Spectral–spatialfeatureextractionforhy?perspectralimageclassificationdeeplearningapproach[J].IEEETransactionsonGeoscience：adimensionreductionandandRemoteSensing，2016，54（8）：4544-4554.

【通聯編輯：唐一東】