基于改進Swin-Unet的遙感圖像分割方法

摘 要：針對遙感圖像數據本身存在分辨率高、背景復雜和光照不均等特性導致邊界分割不連續、目標錯分漏分以及存在孔洞等問題，提出了一種基于改進Ｓｗｉｎ-Ｕｎｅｔ 的遙感圖像分割方法。在編碼器末端引入空洞空間金字塔池化（ＡｔｒｏｕｓＳｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ，ＡＳＰＰ） 模塊，用于捕獲多尺度特征，增強網絡獲取不同尺度的能力，充分提取上下文信息；將解碼器端的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 替換為殘差Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，不僅保留了原始信息，又能夠緩解模型出現梯度彌散現象；在跳躍連接中引入殘差注意力機制，可以讓模型更加關注特征圖中的重要特征信息，抑制無效信息，從而提高模型分割的準確率。在自建數據集上進行實驗，結果表明，改進后的網絡平均交并比（ｍｅａｎ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ，ｍＩｏＵ） 達到了８０． ５５％ ，提高了４． １３ 個百分點，證明改進后的網絡可以有效提高遙感圖像分割的精度。

關鍵詞：遙感圖像；語義分割；ＳｗｉｎＵｎｅｔ；空洞空間金字塔池化；殘差注意力機制

中圖分類號：ＴＰ７５１ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０５－１２１７－０９

０ 引言

遙感圖像包含豐富的地物特征信息［１］，通過遙感圖像分割技術，可以幫助人們自動提取出關鍵信息，為合理分析和利用土地資源提供應用指導，已廣泛應用于軍事、農業、城市規劃、自然災害監測、道路分析和森林植被等各個領域。然而，由于遙感圖像的分辨率高、紋理信息豐富、同物異譜和異物同譜現象明顯［２］，給遙感圖像分割帶來了很大挑戰。

近年來，越來越多的學者針對如何提高遙感圖像分割精度的問題展開了研究［３］。閾值分割算法通過選取合適的閾值來實現目標和背景的分離，算法難度小、實現簡單，能夠實現圖像的快速分割［４］，但對噪聲比較敏感［５］，不適用于復雜場景下的遙感圖像分割。聚類分割算法具有分割速度快、拓展性強、無監督、高效等特性［６］，但初始聚類中心和聚類數量難以確定，對噪聲也較為敏感［７］。支持向量機（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）方法可以排除大量冗余樣本，具有較好的魯棒性［８］，但耗時較長，并且只能用于小型數據集，對空間的信息利用率不高［９］。閾值、聚類和ＳＶＭ 分割方法屬于傳統圖像分割方法，對于復雜的遙感圖像來說，傳統分割方法時間效率低、分割的精度并不能滿足實際需要。Ｕｎｅｔ是由Ｒｏｎｎｅｂｅｒｇｅｒ 等［１０］提出的一種對稱的編碼－解碼結構，它可以融合淺層和深層次的語義信息［１１］，并且簡單靈活，可以在較小的數據集上獲得良好的分割效果［１２］，但仍會由于空間和細節信息的丟失而導致邊緣分割模糊［１３］。深度學習方法可以更深層次地提取遙感圖像的特征，但不能充分利用遙感圖像豐富的上下文信息，仍然會存在細節丟失、邊界模糊等問題。

將Ｕ 型網絡與Ｔｒａｎｓｆｏｒｍｅｒ 結合已經成為近２ 年來的研究熱點之一［１４］。Ｓｗｉｎ-Ｕｎｅｔ［１５］是一種以Ｔｒａｎｓｆｏｒｍｅｒ 為骨干網絡的Ｕ 型網絡，它可以利用Ｔｒａｎｓｆｏｒｍｅｒ 來彌補Ｕｎｅｔ 本身在捕獲長距離依賴上的缺陷。Ｇａｏ 等［１６］改進了Ｓｗｉｎ-Ｕｎｅｔ 以解決糖尿病視網膜病變黃斑水腫區域分割不準確的問題，結果表明，改進后的網絡不僅提高了視網膜黃斑水腫的整體語義分割精度，還進一步提高了多尺度、多區域水腫區域的語義分割效果。張文康［１７］針對云區域識別精度低的問題，采用了Ｓｗｉｎ-Ｕｎｅｔ 模型對云圖進行識別，結果表明，該模型可以從遙感圖像中提取更多的語義信息，獲得更好的識別效果，雖然云的邊緣和細節仍存在一定的誤差，但整體上提高了對云圖的識別精度。Ｙａｏ 等［１８］針對遙感圖像同物異譜和同譜異物問題，提出將改進后的Ｓｗｉｎ-Ｕｎｅｔ 模型作為一個純Ｔｒａｎｓｆｏｒｍｅｒ 模型和新的預處理方式。實驗結果證明，該模型能夠更有效地提升遙感圖像分割的精度，相比于傳統模型更有優勢。然而，Ｓｗｉｎ-Ｕｎｅｔ 提取的遙感圖像仍然存在邊緣模糊、目標漏分等問題。

針對遙感圖像背景復雜、分辨率高導致遙感圖像的分割結果不理想的問題，本文設計了一種基于改進Ｓｗｉｎ-Ｕｎｅｔ 圖像分割算法。本文的主要貢獻如下：① 標注新的遙感數據集，并進行數據增強等一系列預處理操作；② 在編碼器末端引入空洞空間金字塔池化，充分提取多尺度遙感圖像特征，增大感受野；③ 將殘差思想引入解碼器端的Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ，防止模型出現過擬合現象；④ 在跳躍連接中引入殘差注意力機制，增強重要特征，抑制不重要特征。

１ 基于改進Ｓｗｉｎ-Ｕｎｅｔ 的遙感圖像分割網絡

１． １ 網絡結構

本文在Ｓｗｉｎ-Ｕｎｅｔ 的基礎上加以改進來實現遙感圖像分割，改進Ｓｗｉｎ-Ｕｎｅｔ 網絡結構如圖１ 所示。改進后的Ｓｗｉｎ-Ｕｎｅｔ 網絡包括編碼器、解碼器和跳躍連接３ 個部分。在編碼器部分，輸入圖像先通過圖像分塊處理（Ｐａｔｃｈ Ｐａｒｔｉｔｉｏｎ）操作，將輸入圖像劃分為一個個大小相等的分塊，再通過線性嵌入（Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ）改變每個分塊的通道數目。將這些分塊輸入多個Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 和圖像塊合并層（Ｐａｔｃｈ Ｍｅｒｇｉｎｇ）中，在編碼器的末端引入空洞空間金字塔池化（Ａｔｒｏｕｓ Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ，ＡＳＰＰ）模塊，用于提取不同尺度信息，增大感受野，提取更多細節信息。其中，Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ可以提取圖像特征，Ｐａｔｃｈ Ｍｅｒｇｉｎｇ 操作的主要作用是下采樣，可以將特征圖的長寬變為原來的一半，同時通道數增加為原來的２ 倍。解碼器部分包括了多個殘差Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ 模塊（Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ）和圖像塊擴展層（Ｐａｔｃｈ Ｅｘｐａｎｄｉｎｇ）。Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 中引入了殘差思想，可以有效防止模型出現過擬合現象，提升模型的泛化能力。Ｐａｔｃｈ Ｅｘｐａｎｄｉｎｇ 的主要作用是上采樣，可以將特征圖的長寬變為原來的２ 倍，通道數減半。最后一個Ｐａｔｃｈ Ｅｘｐａｎｄｉｎｇ 將特征圖的長寬變為原來的４ 倍，通道數不變，最后經過一個線性映射得到最終的遙感圖像分割結果。在跳躍連接部分，將編碼器端的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 與解碼器端的Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓ-ｆｏｒｍｅｒ Ｂｌｏｃｋ 進行跨層連接，彌補了信息的丟失，同時在跳躍連接中加入了殘差通道注意力模塊（Ｒｅｓ-ＳＥ Ｂｌｏｃｋ），可以關注特征圖中重要的信息，抑制不重要的信息，以提升圖像的分割精度。

１． ２ ＡＳＰＰ

圖像分割網絡大多是基于編碼器－解碼器的結構，在通過下采樣擴大感受野、上采樣恢復至原圖的過程中，很容易丟失一些重要的語義特征信息，并且未能充分考慮上下文信息，往往會造成很大的精度損失。ＡＳＰＰ 模塊是由Ｃｈｅｎ 等［１９］在ＤｅｅｐＬａｂ Ｖ２ 中首次提出的，它可以利用不同膨脹率的空洞卷積并行捕獲圖像的不同尺度特征，獲得不同的感受野特征，并將其進行融合，充分考慮了上下文信息，同時提高了網絡對細節特征的提取能力。

ＡＳＰＰ 模塊主要包括５ 條分支，第１ 條分支為１ 個１×１ 的卷積，第２、３、４ 條分支為空洞率分別為３、６、１２ 的３×３ 空洞卷積，第５ 條分支為全局平均池化（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ，ＧＡＰ）。其中，空洞卷積可以在不增加模型參數量的同時，增大特征圖的感受野［２０］。最后通過雙線性差值將圖像還原至原始圖像大小。ＡＳＰＰ 模塊如圖２ 所示。本文在ＳｗｉｎＵｎｅｔ 編碼器的末端加入ＡＳＰＰ 模塊，可以充分提取多尺度信息，增大感受野，同時也有助于解碼器恢復細節信息。

１． ３ Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ

隨著深度學習網絡模型層數的不斷增加，網絡模型很容易出現過擬合和網絡退化的問題，進一步限制了網絡模型精度的提升。為了解決這一問題，Ｈｅ 等［２１］提出了ＲｅｓＮｅｔ 模型，它通過一條有向快捷連接，將輸入直接越層連接到輸出，在不增加參數量的前提下，有效緩解了網絡出現梯度彌散的現象，同時捕獲了更加豐富的語義特征，提高了圖像識別的精度。

受到ＲｅｓＮｅｔ 的啟發，本文將殘差思想引入ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，用一條快捷連接，連接ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 的頭尾，通過恒等映射來防止網絡模型出現梯度消失的現象。本文將成對帶有Ｗｉｎｄｏｗ Ｍｕｌｔｉ-Ｈｅａｄ Ｓｅｌｆ Ａｔｔｅｎｔｉｏｎ （Ｗ-ＭＳＡ）和ＳｈｉｆｔＷｉｎｄｏｗｓ Ｍｕｌｔｉ-Ｈｅａｄ Ｓｅｌｆ-Ａｔｔｅｎｔｉｏｎ（ＳＷ-ＭＳＡ）的模塊作為一個Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ 結構如圖３ 所示。實驗中發現，將解碼器端的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 替換為Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ 后，可以有效提高模型對遙感圖像分割的準確率。

１． ４ 殘差注意力機制

跳躍連接能夠通過將編碼器端的低層次特征與解碼器端的高層次特征進行拼接，進一步彌補信息的丟失。然而，低層次特征中包含大量冗余的信息，同時缺少特定的語義信息，可能會影響遙感圖像分割的精度。為此，本文將殘差注意力機制引入跳躍連接中，可以強化重要的特征區域，減弱冗余的特征區域，從而提高遙感圖像分割的準確率。

注意力機制［２２］是在２０１７ 年提出的，它的基本思路是從特征通道角度入手，增強重要的特征通道信息，弱化不重要的特征通道信息。壓縮與激勵（Ｓｑｕｅｅｚｅ ＆ Ｅｘｃｉｔａｔｉｏｎ，ＳＥ）模塊主要包括壓縮和激勵兩部分。壓縮（Ｓｑｕｅｅｚｅ）部分將特征圖進行ＧＡＰ操作，生成１×１×Ｃ 的向量；激勵（Ｅｘｃｉｔａｔｉｏｎ）部分使用２ 個全連接層來得到每個特征通道的通道權重，最后進行Ｓｃａｌｅ 操作，將得到的權重與原有的特征圖進行相乘，得到最后的輸出結果。

殘差注意力機制首先對Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ輸出特征圖進行Ｒｅｓｈａｐｅ 操作，將其從Ｌ×Ｃ 形狀改變為Ｈ×Ｗ×Ｃ 形狀。接著，對特征圖進行ＧＡＰ、全連接等一系列操作，并將得到的特征圖通過Ｓｃａｌｅ 操作與原特征圖相乘；然后，通過一條快捷連接將改變形狀后的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 直接與Ｓｃａｌｅ 操作后得到的特征圖相加，得到新的特征圖；最后，再通過Ｒｅｓｈａｐｅ 操作，將其從Ｈ×Ｗ ×Ｃ 形狀重新恢復為Ｌ×Ｃ 形狀大小。殘差注意力機制既沒有增加模型的參數量，又保留了原始信息，同時也防止模型出現過擬合問題。殘差注意力機制結構如圖４ 所示。

２ 實驗

２． １ 數據集制作及預處理

ＷＨＵ-ＲＳ１９ 數據集［２３］是從Ｇｏｏｇｌｅ Ｅａｒｔｈ 中提取的遙感影像圖像，包含機場、沙灘、橋梁、沙漠、農田和足球場等１９ 個場景類別，每一類大約有５０ 張圖像，共計１ ００５ 張圖像，每張圖像尺寸為６００ ｐｉｘｅｌ×６００ ｐｉｘｅｌ。由于受尺度、方向和照明等因素影響，該數據集更為復雜。

ＲＳＣ１１ 數據集［２４］是中科院于２０１６ 年發布的開源高分辨率遙感影像，涵蓋了美國多個城市的影像圖片，包含了港口、居民區、鐵路、立交橋、儲罐、密林和疏林等１１ 個類別，圖像尺寸為５１２ ｐｉｘｅｌ ×５１２ ｐｉｘｅｌ，每一類大約有１００ 張圖像，整個數據集總共有１ ２３２ 張圖像。

本文從ＷＨＵ-ＲＳ１９ 和ＲＳＣ１１ 數據集內篩選出了一些具有明顯特征的類別，去除了相似、重復和單一背景的類別，形成遙感圖像分類數據集。通過使用Ｐｙｔｈｏｎ 腳本，將數據集內所有圖像的后綴名修改為ｐｎｇ 并調整圖像大小為５１２ ｐｉｘｅｌ × ５１２ ｐｉｘｅｌ。然而，由于遙感圖像分類數據集屬于圖像分類數據集，缺乏語義分割標簽，因此需要Ｌａｂｅｌｍｅ 手動標注圖像，生成遙感圖像分割數據集。標注完成后，通過“ｌａｂｅｌｍｅ２ｖｏｃ”腳本將標注完成后所生成的ｊｓｏｎ 文件批量轉換為語義分割數據集，并將語義分割數據集內的ＲＧＢ 彩色標簽轉換為對應的單通道數字標簽。最后采用水平翻轉、垂直翻轉、對比度增強、旋轉和添加噪聲等一系列數據增強方法，最終得到的遙感圖像分割數據集總共有３ ５２８ 張圖像，其中選取３ ０００ 張作為訓練集，５２８ 張作為測試集。原圖片與標注圖片（部分數據集）展示如圖５ 所示。

２． ２ 實驗環境

本文的實驗環境基于Ｕｂｕｎｔｕ １８． ０４ 系統，采用的深度學習框架為Ｐｙｔｏｒｃｈ。實驗所用的ＧＰＵ 為單卡的ＮＶＩＤＩＡ ＲＴＸ＿３０９０，ＣＵＤＡ 的版本為１１． ７。預訓練權重使用在ＩｍａｇｅＮｅｔ 數據集上預先訓練好的ｓｗｉｎ＿ｔｉｎｙ＿ｐａｔｃｈ４＿ｗｉｎｄｏｗ７＿２２４． ｐｔｈ 權重，初始學習率為０． ０１，動量為０． ９，優化算法為隨機梯度下降（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）方法。訓練模型的ｅｐｏｃｈ 設置為３００ 個，ｂａｔｃｈ ｓｉｚｅ 大小為１２，窗口大小為８。

２． ３ 損失函數

本文使用的損失函數為經典的交叉熵損失（Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ Ｌｏｓｓ，ＣＥ Ｌｏｓｓ）和骰子損失（ＤｉｃｅＬｏｓｓ）相結合的損失函數。二者結合的損失函數公式為：

Ｌｏｓｓ（ｙ，ｙｐｒｅｄ ） ＝ ０． ４Ｌｏｓｓｃｅ（ｙ，ｙｐｒｅｄ ）＋ ０． ６ＬｏｓｓＤｉｃｅ（ｙ，ｙｐｒｅｄ ），（１）

ＣＥ Ｌｏｓｓ 是經典的語義分割中常用的損失函數，可以很好地優化類間距離，同時還可以緩解ＤｉｃｅＬｏｓｓ 訓練造成的震蕩問題，其公式為：

由于遙感圖像的前景與背景之間存在不平衡的問題，Ｄｉｃｅ Ｌｏｓｓ 可以減輕復雜背景對分割結果的影響，衡量前景與背景之間的重疊部分，很好地解決部分圖像中前景所占比例較小的問題，用來計算真實值和預測值之間的相似度，其公式為：

式中：ｎ 為遙感圖像分割的類別數。

２． ４ 評價指標

為了驗證改進網絡的有效性，本文采用平均交并比（ｍｅａｎ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ，ｍＩｏＵ）、總體準確率（Ｏｖｅｒａｌｌ Ａｃｃｕｒａｃｙ，ＯＡ）和平均像素精度（ｍｅａｎＰｉｘｅｌ Ａｃｃｕｒａｃｙ，ｍＰＡ）作為評價指標來評估模型對遙感圖像的分割效果，具體計算公式如下：

式中：ｋ 表示遙感圖像分割的類別數（不包含背景），ｐｉｉ 表示真正例，即實際為類別ｉ 且被正確地預測為類別ｉ 的像素數量；ｐｉｊ 表示假正例，即實際為類別ｉ卻被錯誤地預測為類別ｊ 的像素數量；ｐｊｉ 表示假負例，即實際為類別ｊ 卻被錯誤地預測為ｉ 的像素數量。

３ 實驗結果與分析

３． １ 消融實驗結果與分析

為了驗證所引入模塊的有效性，本文依次將Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ、殘差注意力機制以及ＡＳＰＰ 疊加到基線模型中進行消融實驗，并通過評價指標結果評估每個模塊對模型性能的影響效果。消融實驗評估結果對比如表１ 所示。其中，Ｒｅｓ＿ＳＥ表示殘差注意力機制，Ｒｅｓ ＿ Ｓｗｉｎ 表示Ｒｅｓ-ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，ＡＳＰＰ 表示空洞空間金字塔池化。

從表１ 可以看出，引入Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ 后，相較于基線模型，模型的ｍＩｏＵ 提升了１． １２ 個百分點。在此基礎上，進一步添加殘差注意力機制，ｍＩｏＵ 提高了１． ９３ 個百分點，最后引入ＡＳＰＰ 模塊，模型的ｍＩｏＵ、ＯＡ 和ｍＰＡ 分別提高了４． １３、１． ７６、５． ５ 個百分點，進一步驗證了本文所提的３ 個模塊均可以有效提升遙感圖像分割的精度。

為了更直觀地比較各個模塊對分割結果的影響，本文對消融實驗結果進行了可視化，消融實驗分割結果對比如圖６ 所示。從圖６ 可以看出，原始的Ｓｗｉｎ-Ｕｎｅｔ 模型存在著明顯的漏分和錯分問題，但隨著Ｒｅｓ＿Ｓｗｉｎ、Ｒｅｓ＿ＳＥ 和ＡＳＰＰ 等模塊的逐步引入，目標輪廓變得更加準確和清晰，模型的分割效果與真實標簽更加接近，目標誤分、漏分的現象也有所減少，這充分證明了本文所提模型能夠有效地改善遙感圖像分割的結果。

３． ２ 模型對比實驗結果與分析

為了驗證本文所提模型的優越性，本文分別將測試圖片輸入到訓練好的Ｕｎｅｔ、ＳｅｇＮｅｔ、ＤｅｅｐｌａｂＶ３ ＋、Ｓｗｉｎ-Ｕｎｅｔ 以及本文所提模型中進行對比實驗，并隨機選擇了幾張預測圖像進行了可視化，模型對比實驗分割結果如圖７ 所示。模型對比實驗除了改變網絡模型外，其余實驗條件均保持一致，包括數據集、數據增強方式等。

從圖７ 可以看出，Ｕｎｅｔ 能夠基本還原物體輪廓，但存在較多噪聲和多分類識別錯誤現象；相比之下，ＳｅｇＮｅｔ 表現有所提升，噪聲和誤分類現象得到一定改善；ＤｅｅｐｌａｂＶ３ ＋能夠識別更大的區域，噪聲也有所減少，但在邊緣輪廓識別方面仍有待提高；Ｓｗｉｎ-Ｕｎｅｔ 能夠準確識別目標物體，但仍存在未被識別和錯誤識別的像素；而本文所提模型更接近真實標簽，能夠準確分割出更為精細的遙感目標，顯著改善了目標錯分和漏分現象，分割效果最佳。

為了客觀評估不同方法對遙感圖像分割效果的影響，本文通過３ 個評價指標來對不同方法進行定量評估。各個方法的模型對比實驗結果如表２ 所示。

由表２ 可知，本文所提的模型在各項評價指標中均取得了較大的提升。本文模型的ｍＩｏＵ 為８０． ５５％ ，相比于其他模型分別提高了１０． ５４％ 、６． ２３％ 、６． ７３％和４． １３％ ；ＯＡ 為９１． ８９％ ，比其他模型分別提升了６． ６％ 、４． ９１％ 、４． ４２％ 和１． ７６％ ；ｍＰＡ 為９０． ３６％ ，分別提升了１０． ９６％ 、８． ６２％ 、７． ９２％ 和５． ５％ ，提升效果顯著。由此可以證明，本文提出的模型分割效果最好，驗證了融合多尺度提取更細節的特征、引入殘差減少過擬合、引入殘差注意力機制關注重要特征的有效性，優化了遙感圖像分割的效果。

４ 結束語

本文提出了一種基于改進Ｓｗｉｎ-Ｕｎｅｔ 的遙感圖像分割方法，并用于自建的遙感圖像分割數據集，以解決遙感圖像分割邊界模糊、目標漏分等問題。在原有Ｓｗｉｎ-Ｕｎｅｔ 的基礎上，引入ＡＳＰＰ 模塊，融合不同尺度遙感圖像特征，增大感受野；使用Ｒｅｓ-ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，不僅保留了原始特征信息，還有效防止了模型出現過擬合問題；在跳躍連接中引入殘差注意力機制，增強重要特征信息，弱化冗余背景特征信息。實驗結果表明，改進后的Ｓｗｉｎ-Ｕｎｅｔ 網絡分割結果與真實標簽更為接近，相比于其他模型，分割效果均有所提升，證明了本文所提模型的優越性和有效性。雖然本文所提方法取得了較好的提升效果，但Ｓｗｉｎ-Ｕｎｅｔ 模型復雜度較高。未來將進一步優化Ｓｗｉｎ-Ｕｎｅｔ 網絡，降低其復雜度，并設計更加輕量化的網絡模型。

參考文獻

［１］ ＷＵ Ｚ Ｈ，ＧＡＯ Ｙ Ｍ，ＬＩ Ｌ，ｅｔ ａｌ． Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆＨｉｇｈｒｅｓｏｌｕｔｉｏｎ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ ｗｉｔｈ Ａｄａｐｔｉｖｅ Ｔｈｒｅｓｈｏｌｄ［Ｊ］． ＣｏｎｎｅｃｔｉｏｎＳｃｉｅｎｃｅ，２０１８，３１（２）：１６９－１８４．

［２］ ＷＡＮＧ Ｃ，ＸＵ Ｗ，ＰＥＩ Ｘ Ｆ，ｅｔ ａｌ． Ａｎ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｍｕｌｔｉｓｃａｌｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ａｕｔｏｍａｔｅｄ Ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ ［Ｊ］． Ａｒａｂｉａｎ Ｊｏｕｒｎａｌ ｏｆ Ｇｅｏｓｃｉｅｎｃｅｓ，２０１６，９（１５）：１－１０．

［３］ ＪＩＡＮＧ Ｂ Ｄ，ＡＮ Ｘ Ｙ，ＸＵ Ｓ Ｆ，ｅｔ ａｌ． Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｍａｇｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ：Ａ Ｒｅｖｉｅｗ Ｔｈｒｏｕｇｈ Ｄｅｅｐ ＬｅａｒｎｉｎｇＴｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ［Ｊ ］．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｉｎｄｉａｎ Ｓｏｃｉｅｔｙ ｏｆ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０２３，５１：１８６５－１８７８．

［４］ 黃旭，張世義，李軍． 圖像分割技術研究綜述［Ｊ］． 裝備機械，２０２１（２）：６－９．

［５］ 閔蕾，高昆，李維，等． 光學遙感圖像分割技術綜述［Ｊ］． 航天返回與遙感，２０２０，４１（６）：１－１３．

［６］ 何瀚志，朱紅，王競． 基于聚類分析的醫學圖像分割綜述［Ｊ］． 中國科技信息，２０１７（１５）：４３．

［７］ 王怡，涂宇，羅斐，等． 彩色圖像分割方法綜述［Ｊ］． 電腦知識與技術，２０２０，１６（２３）：１８３－１８４．

［８］ ＬＵ Ｗ Ｚ，ＬＩＡＮＧ Ｌ Ｘ，ＷＵ Ｘ Ｓ，ｅｔ ａｌ． Ａｎ Ａｄａｐｔｉｖｅ Ｍｕｌｔｉｓｃａｌｅ Ｆｕｓｉｏｎ Ｎｅｔｗｏｒｋ Ｂａｓｅｄ ｏｎ Ｒｅｇｉｏｎａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅｓ ［Ｊ ］． ＩＥＥＥ Ａｃｃｅｓｓ，２０２０，８：１０７８０２－１０７８１３．

［９］ ＺＨＡＮＧ Ｌ Ｂ，ＬＩ Ａ Ｘ，ＬＩ Ｘ Ｗ，ｅｔ ａｌ． Ｒｅｍｏｔｅ ＳｅｎｓｉｎｇＩｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｂａｓｅｄ ｏｎ ａｎ Ｉｍｐｒｏｖｅｄ ２Ｄ ＧｒａｄｉｅｎｔＨｉｓｔｏｇｒａｍ ａｎｄ ＭＭＡＤ Ｍｏｄｅｌ［Ｊ］． ＩＥＥＥ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄＲｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｌｅｔｔｅｒｓ，２０１５，１２（１）：５８－６２．

［１０］ ＲＯＮＮＥＢＥＲＧＥＲ Ｏ，ＦＩＳＣＨＥＲ Ｐ，ＢＲＯＸ Ｔ． ＵＮｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒａｓｓｉｓｔｅｄ ＩｎｔｅｒｖｅｎｔｉｏｎＭＩＧＧＩ ２０１５． Ｍｕｎｉｃｈ：Ｓｐｒｉｎｇｅｒ，２０１５：２３４－２４１．

［１１］ ＺＨＡＮＧ Ｚ Ｘ，ＬＩＵ Ｑ Ｊ，ＷＡＮＧ Ｙ Ｈ． Ｒｏａｄ Ｅｘｔｒａｃｔｉｏｎ ｂｙＤｅｅｐ Ｒｅｓｉｄｕａｌ ＵＮｅｔ［Ｊ］． ＩＥＥＥ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ ＲｅｍｏｔｅＳｅｎｓｉｎｇ Ｌｅｔｔｅｒｓ，２０１８，１５（５）：７４９－７５３．

［１２］ ＳＵ Ｚ Ｂ，ＬＩ Ｗ，ＭＡ Ｚ，ｅｔ ａｌ． Ａｎ Ｉｍｐｒｏｖｅｄ ＵＮｅｔ Ｍｅｔｈｏｄｆｏｒ ｔｈｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅｓ［Ｊ］． Ａｐｐｌｉｅｄ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０２２，５２（３）：３２７６－３２８８．

［１３］ 黃杰，蔣豐． 遙感影像中建筑物的Ｕｎｅｔ 分割改進［Ｊ］．計算機系統應用，２０２１，３０（１０）：３１９－３２４．

［１４］ 傅勵瑤，尹夢曉，楊鋒． 基于Ｔｒａｎｓｆｏｒｍｅｒ 的Ｕ 型醫學圖像分割網絡綜述［Ｊ］． 計算機應用，２０２３，４３ （５ ）：１５８４－１５９５．

［１５］ ＣＡＯ Ｈ，ＷＡＮＧ Ｙ Ｙ，ＣＨＥＮ Ｊ，ｅｔ ａｌ． ＳｗｉｎＵｎｅｔ：ＵｎｅｔｌｉｋｅＰｕｒｅ Ｔｒａｎｓｆｏｒｍｅｒ ｆｏｒ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥Ｃｏｍｐｕｔｅｒ ＶｉｓｉｏｎＥＣＣＶ ２０２２ Ｗｏｒｋｓｈｏｐｓ． Ｔｅｌ Ａｖｉｖ：Ｓｐｒｉｎｇｅｒ，２０２２：２０５－２１８．

［１６］ ＧＡＯ Ｚ Ｊ，ＣＨＥＮ Ｌ． Ｒｅｓｅａｒｃｈ ｏｎ Ｓｅｍａｎｔｉｃ ＳｅｇｍｅｎｔａｔｉｏｎＭｅｔｈｏｄ ｏｆ Ｍａｃｕｌａｒ Ｅｄｅｍａ ｉｎ Ｒｅｔｉｎａｌ ＯＣＴ Ｉｍａｇｅｓ Ｂａｓｅｄ ｏｎＩｍｐｒｏｖｅｄ ＳｗｉｎＵｎｅｔ［Ｊ］． Ｅｌｅｃｔｒｏｎｉｃｓ，２０２２，１１（１５）：２２９４．

［１７］ 張文康． 基于ＳｗｉｎＵｎｅｔ 的云分割算法的研究［Ｊ］． 儀器儀表用戶，２０２２，２９（４）：５－９．

［１８］ ＹＡＯ Ｊ Ｙ，ＪＩＮ Ｓ Ｇ． Ｍｕｌｔｉｃａｔｅｇｏｒｙ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆＳｅｎｔｉｎｅｌ２ Ｉｍａｇｅｓ Ｂａｓｅｄ ｏｎ ｔｈｅ Ｓｗｉｎ ＵＮｅｔ Ｍｅｔｈｏｄ［Ｊ］．Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０２２，１４（１４）：３３８２．

［１９］ ＣＨＥＮ Ｌ Ｃ，ＰＡＰＡＮＤＲＥＯＵ Ｇ，ＳＣＨＲＯＦＦ Ｆ，ｅｔ ａｌ． Ｒｅｔｈｉｎｋｉｎｇ Ａｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ［ＥＢ／ ＯＬ］． （２０１７ －１２ －０５）［２０２３ －０６ －０６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １７０６． ０５５８７．

［２０］ 姚慶安，張鑫，劉力鳴，等． 融合注意力機制和多尺度特征的圖像語義分割［Ｊ］． 吉林大學學報（理學版），２０２２，６０（６）：１３８３－１３９０．

［２１］ ＨＥ Ｋ Ｍ，ＺＨＡＮＧ Ｘ Ｙ，ＲＥＮ Ｓ Ｑ，ｅｔ ａｌ． Ｄｅｅｐ ＲｅｓｉｄｕａｌＬｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＲＲ）． Ｌａｓ Ｖｅｇａｓ：ＩＥＥＥ，２０１６：７７０－７７８．

［２２］ ＨＵ Ｊ，ＳＨＥＮ Ｌ，ＳＵＮ Ｇ． ＳｑｕｅｅｚｅａｎｄＥｘｃｉｔａｔｉｏｎ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１８ ＩＥＥＥ ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ：ＩＥＥＥ，２０１８：７１３２－７１４１．

［２３］ ＳＨＥＮＧ Ｇ Ｆ，ＹＡＮＧ Ｗ，ＸＵ Ｔ，ｅｔ ａｌ． Ｈｉｇｈｒｅｓｏｌｕｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｃｅｎｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇ ａ Ｓｐａｒｓｅ Ｃｏｄｉｎｇ ＢａｓｅｄＭｕｌｔｉｐｌｅ Ｆｅａｔｕｒｅ Ｃｏｍｂｉｎａｔｉｏｎ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆＲｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０１２，３３（８）：２３９５－２４１２．

［２４］ ＺＨＡＯ Ｌ Ｊ，ＴＡＮＧ Ｐ，ＨＵＯ Ｌ Ｚ． Ｆｅａｔｕｒｅ Ｓｉｇｎｉｆｉｃａｎｃｅｂａｓｅｄ Ｍｕｌｔｉｂａｇｏｆｖｉｓｕａｌｗｏｒｄｓ Ｍｏｄｅｌ ｆｏｒ Ｒｅｍｏｔｅ ＳｅｎｓｉｎｇＩｍａｇｅ Ｓｃｅｎｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ ＲｅｍｏｔｅＳｅｎｓｉｎｇ，２０１６，１０（３）：０３５００４．

作者簡介

張 越 女，（１９９８—），碩士研究生。主要研究方向：圖像處理、計算機視覺。

王 遜 女，（１９７３—），碩士，副教授。主要研究方向：數據挖掘、軟件工程、機器學習。