成都平原彭州地區耕地信息的SegFormer-PAS模型提取

關鍵詞：耕地提取；深度學習；SegFormer；極化自注意力機制；高分二號影像

耕地信息是精確農業、糧食安全分析、產量預測以及土地利用/土地覆蓋等領域的重要基礎數據，準確、快速地進行耕地提取具有重要的意義[1].耕地和其他植被覆蓋類型（如草地、林地）在光譜反射特性上較為相似，且耕地對象的多樣性以及易混淆性也給耕地提取任務帶來了巨大挑戰，如何準確高效地對耕地進行監測與提取成為一個亟須解決的問題.

早期采取人工提取耕地的方式不僅統計結果差異大，耗時耗力，效率低下，且不具有實用性.隨著遙感技術的發展，衛星遙感圖像為耕地地塊等地物要素的提取提供了數據基礎，遙感圖像在耕地地塊提取中得到了廣泛應用.有學者利用中低分辨率的衛星遙感數據進行耕地信息提取，包括Sentinel-2（30米）[2]和Landsat系列衛星數據[3].然而，由于早期的遙感影像分辨率較低，不能準確提取出小區域耕地的信息.高分辨率衛星影像的快速發展，如GF-1、RapidEye，以及更高分辨率的GF-2、GeoEye-1、QuickBird-2和WorldView-1等衛星影像，它們提供了更加詳盡的地表信息，有助于對耕地信息進行精細化提取.基于衛星遙感影像進行耕地地塊提取的算法主要包括傳統的機器學習和深度學習.機器學習方法是遙感影像自動分類和提取廣泛應用的方法，傳統的機器學習方法，例如支持向量機[4-5]、最大似然法[6]、決策樹[7]、隨機森林[8]、人工神經網絡等，需要人工設置參數和優選特征，隱藏層通常為1-2層，只能提取淺層的特征，因此對于包含復雜地物信息的高分遙感影像，傳統機器學習方法無法準確提取出耕地地塊.

近年來，深度學習在計算機視覺領域取得了巨大進展，深度學習模型被廣泛應用于不同類型的圖像處理任務，包括圖像分類、目標檢測和語義分割[9].越來越多的學者將深度學習模型應用于遙感影像耕地提取上.李倩楠以高分一號及高分二號融合的2m分辨率數據為數據源，采用MPSPNet和UNet網絡模型應用于山東省的耕地精細自動化提取，在區/縣尺度的耕地提取上性能優于傳統的面向對象的分類方法，但對特征較為復雜的區域識別效果較差[10].Xie等人引入殘差學習（RL）和通道注意力機制（CAM），利用改進的HRRS-U-Net模型識別耕地范圍并明確定位耕地邊界[11].Wu等基于無人機數據和深度學習算法，考慮了農田大小、耕作模式、光譜特征和研究區域的地形，進行耕地地塊提取與制圖方法[12].目前，使用深度學習方法在耕地提取方面取得了一定的成就，但在遙感圖像中，耕地的特征相較于建筑物、道路、水體等更不明顯，尤其在與周圍環境相似度高的情況下，耕地地塊提取仍然存在挑戰，導致這些網絡在耕地提取的應用效果并未達到理想水平.

盡管深度學習技術在遙感圖像上的耕地地塊提取任務中已被證實具有可行性，但典型的語義分割算法在大范圍耕地提取的能力方面仍顯不足，為此，本文基于改進的SegFormer模型在成都平原彭州地區的耕地數據集上進行實驗，選取SegFormer模型為基線，并在此基礎上引入極化自注意力機制（Polar?izedSelf-Attention，PSA），以更好關注上下文全局語義信息，同時采用反卷積替換傳統的上采樣方式，將改進后的模型命名為SegFormer-PAS，進行成都平原彭州地區耕地地塊的提取，以檢驗模型對耕地地塊提取的準確性、效率和自動化程度.

1 耕地提取網絡

1.1 SegFormer網絡

SegFormer[13]是一個基于Transformer的簡單、輕量、高效的語義分割網絡.它由一個層次化的Trans?former（MiT）編碼器和一個輕量化多層感知器（MLP）解碼器組成.

編碼器部分由4個串行的TransformerBlocks組成，每次經過一個TransformerBlocks，特征圖的空間分辨率減半.TransformerBlocks由3部分組成，分別是重疊切片融合（OverlappedPatchMerging，OPM）、高效多頭自注意力（EfficientMultiheadSelf-Attention，EMSA）層、混合前饋（Mix-FFN）層.OPM對輸入圖片分割成重疊的切片進行特征提取和下采樣，這可以保持圖像區域之間的局部連續性；然后將OPM提取的特征輸入到Mix-FFN層中，在Mix-FFN中，首先通過一個1×1的卷積壓縮特征通道，以減少參數量和計算復雜度，然后應用一個3×3的卷積來保持特征圖的空間尺寸不變，并且通過零填充避免了位置信息的泄漏；最后，通過另一個1×1的卷積擴展特征通道，輸出前饋到下一個層或輸出.SegFormer的解碼器主要由一個多層感知機（MLP）組成，先將編碼器不同尺度的特征圖進行線性變換和雙線性插值上采樣，然后將特征圖轉換為預測的類別分數圖.Seg?Former設計了一系列MiT（B0-B5）主干網路來提取語義分割任務的多尺度特征.本研究采取尺度最小、實時性最好的MiT-B0作為主干，其超參數如表1所示.

1.2 SegFormer-PAS網絡

在原有SegFormer網絡中，為確保邊界區域的準確性，改進的SegFormer網絡在MLP之后引入極化自注意力機制（PolarizedSelf-Attention，PSA）[14].PSA模塊通過對特征進行動態重校準，強化了模型對于重要特征的關注，并且對全局信息的整合，使得每個像素的輸出不僅僅依賴于局部鄰域，從而增強了模型的上下文感知能力.SegFormer網絡的解碼器的上采樣部分采用雙線性插值，導致特征細節的丟失，改進后的SegFormer-PAS網絡采用具有學習能力的反卷積，可學習最適合耕地提取任務的上采樣核，更好地重建耕地地塊的細節信息，從而提高網絡提取耕地地塊提取的精度.SegFormer-PAS語義分割網絡模型整體如圖1所示.

PSA是一種在自注意力機制上的擴展，可進一步提高模型對于重要特征的感知能力，并減少計算復雜度.遙感圖像背景較為復雜，引入PSA可以使模型更加關注耕地相關的特征，在處理復雜背景圖像時具有更強的魯棒性，從而提高模型分割的準確度.在PSA模塊中，通過引入通道極化自注意力（ChannelPolarizedSelf-Attention，CPSA）和空間極化自注意力（SpatialPolarizedSelf-Attention，SPSA）這兩個分模塊分別處理通道維度和空間維度的自注意力，可以全面提升特征的表達能力，使得模型能夠更加精確地捕捉和利用圖像中的信息.PSA模塊的結構如圖2所示.

圖2（a）為CPSA分模塊示意圖，首先通過2個1×1卷積將輸入特征轉換為Q和V，其中Q的通道被完全壓縮，而V的通道維度為C2，用Softmax對Q的信息進行了增強，隨后將增強后的Q與V進行矩陣乘法運算，后接1×1卷積，并通過LayerNorm層將通道維度還原.最后通過Sigmoid函數使得輸出的通道注意力中的所有元素保持在區間（0，1）.最終將通道注意力與輸入特征相乘，得到輸出特征.通道極化自注意力機制的計算公式如式（1）：

圖2（b）為SPSA分模塊示意圖，先通過2個1×1卷積將輸入特征轉換為Q和V，利用全局平均池化對Q進行壓縮，并經過Softmax函數進行增強，隨后將增強后的Q與V進行矩陣乘法運算，然后用Re?shape操作和Sigmoid函數，將所有的參數都保持在0-1之間，得到空間注意力.最終將空間注意力與輸入特征相乘，得到輸出特征.空間極化自注意力機制的計算公式如下：

式中：WV、WQ分別為2種1×1卷積；FGP代表全局平均池化；FSM為Softmax函數；為矩陣乘法.

2 耕地提取實驗

2.1 實驗數據

本研究采用影像數據來自高分應用綜合信息服務平臺，篩選覆蓋研究區域GF-2微云（云量＜5%）的衛星影像.高分二號（GF-2）衛星搭載兩臺高分辨率1m全色相機和4m分辨率多光譜相機，具有亞米級空間分辨率，全色波段的波譜范圍為0.45～0.9μm，多光譜分別有藍、綠、紅、近紅外4個波段.研究區位于東經103°10'至103°40'、北緯30°54'至31°26'（圖3），面積1420km2，耕地面積約50860hm2.

首先，對已獲取的全色影像和多光譜影像進行輻射和幾何校正，并進行影像融合，提高空間分辨率同時保留光譜信息.接著將影像分割成512×512像素瓦片，隨后，利用LabelMe對影像進行真彩色影像進行語義標注，形成符合PascalVOC2007格式的數據集，最終得到1750標注影像，劃分為訓練集、驗證集和測試集的比例為8∶1∶1.為提高模型的魯棒性，實驗采取多種數據增強的方式，如水平、垂直翻轉、旋轉、添加高斯噪聲等，對訓練數據進行增廣.

2.2 實驗設置

計算機操作系統為Windows10，CPU為Intel?CoreTMi9-13900kf，GPU為NVIDIAGeForceRTX4090、顯存24GB.實驗中的算法都是基于PyTorch深度學習框架，使用Python3.9在操作系統上編程.在該實驗基礎上，設計了幾組實驗進行對比，均采取相同的實驗設置.實驗過程主要包括數據處理、模型訓練和模型測試3部分.訓練過程中采取遷移學習[15]的思想，使用模型在大型數據集上的預訓練權重進行遷移學習，采用Adam[16]作為優化器以加快模型的收斂.將網絡訓練的初始學習率設為0.0001，動量因子設為0.9，batch-size設為8，共迭代100次.

2.3 損失函數與評價指標

損失函數用于衡量預測值和真實值之間的擬合度，不斷優化模型，從而最小化模型損失以得到最優的模型預測結果.對于遙感影像而言，耕地和非耕地地塊的比例存在不平衡現象，這種現象在山區和城市地區尤為明顯，為提高語義分割模型對耕地地塊提取的準確性，本文采用Diceloss[17]作為損失函數進行模型訓練，計算公式如下：

式中，D代表Dice系數，用于評估兩個樣本相似性的度，LD代表Diceloss損失函數，pi為第i個像素的預測概率值，gi為第i個像素的真實值，N為圖像中像素的總數.

為評價耕地地塊的提取精度，并于其他算法進行比較，實驗選取交并比（IoU）、召回率（Recall）、精確率（Precision）和F1分數（F1score）作為衡量實驗結果的評價指標，指標定義如下：

式中，I、R、P和F1分別代表IoU、Reacll、Precision和F1分數，其中TP（Truepositive）為正確檢測出的耕地地塊像元數；TN（Truenegative）為正確檢測出的非耕地地塊像元數；FP（FalsePositive）為錯誤檢測出的耕地地塊像元數；FN（Falsenegative）為錯誤檢測出的非耕地地塊像元數.

3 實驗結果與分析

為驗證本文改進的SegFormer模型在耕地提取中的有效性，將提取結果與經典的語義分割模型UNet[18]、Unet++[19]、DeeplabV3+[20]和HRNet[21]進行對比.表2是各網絡模型在耕地地塊測試數據集上的性能.其中本文提出的SegFormer-PSA模型的IoU為90.18%，Recall為91.86%，Precision為90.86%，F1score為91.26%，IoU較其他網絡提高0.83%～5.95%，Recall較其他網絡提升了1.73%～2.01%.UNet網絡的Precision最高（91.34%），其次是HRNet網絡（91.31%），但U-Net網絡的IoU最低，較SegFormer-PSA模型低5.6%.SegFormer-PSA模型的F1scroce較其他模型提高了0.96%～3.99%，表明本文改進的SegFormer模型具有更優越的性能.圖4為SegFormer模型與SegFormer-PSA模型的訓練損失函數圖。

為了進行可視化顯示，列舉了5種方法在耕地地塊測試數據集上的部分提取結果，可視化結果如圖5所示.

由圖5可見，SegFormer-PSA耕地區域的邊界清晰，與非耕地區域的分離度高，能夠有效的區分耕地的邊界，誤判和遺漏較少.U-Net網絡在耕地區域的識別上也表現不錯，但與SegFormer-PSA相比，邊界處理略顯粗糙，有更多的碎片化現象，尤其是在復雜的背景中.SegFormer在耕地提取上比U-Net和Unet++有更好的表現，它的耕地區域界定較為清晰，但在某些復雜地區的識別仍有不足，Unet++存在大量的錯提與漏提現象，提取結果最差，HRNet在簡單背景下提取效果較好，表現出較好的邊界識別，但在復雜背景下則存在一些誤識和遺漏.

為了驗證本文SegFormer-PSA模型提取耕地地塊的有效性，在相同的環境配置下，引入的極化自注意力機制與經典的3種注意力機制EfficientChannelAttention（ECA）[22]、ConvolutionBlockAttentionMod?ule（CBAM）[23]和SqueezeandExcitation（SE）[24]進行對比實驗，實驗結果的定量描述見表3.

由表3可知，SegFormer-PSA表現最優，這可能是PSA（極化自注意力）機制更有效地聚焦和增強了對耕地特征的學習，其次為SegFormer-ECA，SegfoFmer-CBAM的性能稍遜；在這四種模型中，SegFormer-SE的性能最低，這表明SE注意力機制在耕地提取任務上不如其他機制有效.在IoU上，SegFormer-PSA相較SegFormer-SE差距最大，約5.40%；在Precision上，SegFormer-PSA相較SegFormer-SE差距最大，約5.40%；在F1score上，SegFormer-PSA相較SegFormer-SE差距最大，約7.64%.

4 結語

本研究基于SegFormer網絡分割模型，并融入極化自注意力機制（PolarizedSelf-Attention，PSA），在編碼器部分采用反卷積替代雙線性插值，提出一種改進的SegFormer-PAS模型.為驗證本文模型的有效性，將其應用于成都平原附近彭州地區耕地數據集中進行訓練，并于U-Net、Unet++、與HRNet這3種經典語義分割模型對比，SegFormer-PAS網絡模型提取耕地地塊的交并比、召回率、精確率、F1score達到了90.18%、91.86%、90.86%和91.26%，較其他經典分割網絡效果更好.本研究對比驗證了所融入的極化自注意力機制（PolarizedSelf-Attention，PSA）的有效性，對多個經典的注意力機制模塊進行對比實驗，結果表明SegFormer-PAS網絡所嵌入模塊具有更好的性能.本研究探索的方法為高分辨率遙感影像耕地信息的準確提取提供了重要的理論支持.盡管如此，在未來研究中，將集成更多的耕地特征來提高耕地信息提取的精度和魯棒性，例如耕地的光譜特征、紋理特征、時序特征等，將這些特征整合到深度學習框架中，以強化網絡對耕地地塊的提取能力.