基于多尺度指導的遙感影像建筑物提取網絡

摘 要：從遙感影像中提取建筑物是計算機視覺領域的一項基本任務。近年來，基于深度學習的方法已成為遙感影像中自動提取建筑物的主流方法。由于建筑物結構復雜、尺度多樣等特點，從遙感影像中準確高效地提取建筑物仍然是一個挑戰。針對建筑物尺度多樣導致在提取過程中無法同時兼顧小型和大型建筑物的問題，提出一種基于多尺度指導的遙感影像建筑物提取網絡。通過４ 條路徑分別提取小尺度、大尺度以及其他尺度特征，通過基于交互的尺度指導模塊和可選擇核（Ｓｅｌｅｃｔｉｖｅ Ｋｅｒｎｅｌ，ＳＫ） 卷積模塊分別對特征進行指導和優化特征，融合不同路徑提取的特征預測建筑物信息。分別在ＷＨＵ數據集和ｉｎｒｉａ 數據集上評估提出網絡的有效性， 對比實驗結果表明， 所提出的網絡在ＷＨＵ 數據集上的交并比（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ，ＩｏＵ） 較網絡ＳｅｇＮｅｔ、ＥＮｅｔ、ＭＭＢ-Ｎｅｔ、Ｒｅｆｉｎｅ-ＵＮｅｔ、ＭＡＰ-Ｎｅｔ 分別提高２． ３７％ 、１． ４８％ 、１． ０５％ 、０． ８３％ 、０． ５９％ ，在ｉｎｒｉａ 數據集上ＩｏＵ 較其他網絡分別提高３． ６５％ 、４． ９３％ 、２． ４２％ 、１． ８２％ 、１． ２１％ 。結果顯示，所提出的網絡是一種有效、提取結果完整性更高、魯棒性更強的目標提取網絡。

關鍵詞：深度學習；遙感影像；建筑物提取；多尺度指導

中圖分類號：ＴＰ７５１ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０７－１６９４－０８

０ 引言

建筑物是城市遙感影像中人工物體的主要內容，與人類活動息息相關。有效地提取建筑物對城市規劃、發展、建設以及地理數據庫更新等發揮著重要作用。隨著遙感技術的發展，遙感影像分辨率越來越高，獲得的目標更加清晰，相關研究也不斷增加。

近年來，針對遙感影像建筑物提取，人們提出大量的方法，主要分為２ 類：一類為基于傳統的方法，如基于紋理和基于閾值的方法［１－４］，通常需要手動處理和選擇特征。但這種方法提取效果較差，而且非常低效，需要耗費過多人力和物力。另一類為基于深度學習的方法。隨著卷積神經網絡（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）［５－７］到全卷積神經網絡（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ，ＦＣＮ）［８－１０］的演變，基于深度學習的語義分割方法開始被提出并收獲了較好的結果。隨后，其變體也由于具有良好的性能而受到廣泛認可，如編碼器－ 解碼器結構［１１－１２］。為了充分發揮深度學習的優勢，Ｑｉｕ 等［１３］利用空洞空間卷積池化金字塔（Ａｔｒｏｕｓ ＳｐａｔｉａｌＰｙｒａｍｉｄ Ｐｏｏｌｉｎｇ，ＡＳＰＰ）和改進的深度可分離卷積提取建筑物的多尺度特征；Ｚｈｕ 等［１４］采用多條路徑分別提取不同分辨率的特征以提取建筑物的多尺度信息。楊棟杰等［１５］利用通道注意力和多尺度特征融合注意力提高建筑物提取的性能。盡管這些方法提高了建筑物提取的精度，但是對于建筑物的多尺度信息提取不夠充分，同時會引入大量冗余信息。

因此設計了一個基于多尺度指導的建筑物提取網絡，通過路徑間相互指導分別提取小尺度、大尺度以及其他尺度的建筑物信息。同時，利用可選擇核（Ｓｅｌｅｃｔｉｖｅ Ｋｅｒｎｅｌ，ＳＫ）卷積模塊優化提取特定尺度下的多尺度信息，有效提高了建筑物提取的精度和效率，使遙感影像下建筑物提取結果更加可靠和高效。

１ 方法

１． １ 多尺度指導建筑物提取網絡

針對高分辨率遙感影像建筑物提取提出一種多尺度指導方法，如圖１ 所示，該網絡包含４ 條路徑Ｌ１ 、Ｌ２ 、Ｌ３ 、Ｌ４ ，分別提取小尺度、大尺度和其他尺度的建筑物信息。通過多條路徑不僅可以保留建筑物的細節特征，還提取了建筑物的語義特征，同時具有較大的感受野。然后將多條路徑提取的建筑物特征進行融合，通過上采樣恢復到輸入分辨率大小，獲得最終的預測圖。

通過輸入Ｉ，分辨率大小為２５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ×３ 的通道，得到每條路徑上的特征圖Ｆ１ 、Ｆ２ 、Ｆ３ 、Ｆ４ ，分別為１２８ ｐｉｘｅｌ×１２８ ｐｉｘｅｌ×６４ 通道、６４ ｐｉｘｅｌ×６４ ｐｉｘｅｌ×１２８ 通道、３２ ｐｉｘｅｌ × ３２ ｐｉｘｅｌ × ２５６ 通道、１６ ｐｉｘｅｌ ×１６ ｐｉｘｅｌ×５１２ 通道。對于同一條路徑上的特征圖，分辨率大小和通道數保持一致。分辨率較大的特征圖具有更多的細節特征，但是感受野較小；分辨率較小的特征圖感受野更廣闊，但是丟失較多的細節特征。鑒于此，將Ｌ１ 路徑用于提取小尺度建筑物，Ｌ４路徑用于提取大尺度建筑物，Ｌ２ 、Ｌ３ 兩條路徑共同提取其他尺度建筑物。在特征提取階段，通過輸入模塊將Ｉ 轉化為大小１２８ ｐｉｘｅｌ×１２８ ｐｉｘｅｌ×６４ 通道的特征圖，用于減少訓練的參數。利用卷積塊提取特征，每個卷積塊包括４ 個卷積核３×３ 卷積層。在分路徑階段，使用平行模塊保留原始路徑信息，下采樣模塊生成新路徑信息。基礎塊細節如圖２ 所示，其中輸入模塊包括２ 個３×３ 卷積層和一個最大池化層，經過第一個卷積層，將大小為２５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ×３通道的輸入通道數調整為６４，第二層卷積輸出大小保持不變，最后經過最大池化層，特征圖大小變為１２８ ｐｉｘｅｌ×１２８ ｐｉｘｅｌ×６４ 通道；下采樣模塊包括一個最大池化層和一個１ ×１ 卷積層，經過最大池化層，特征圖大小變為原來的一半，然后通過１×１ 卷積將通道數調整為輸入的２ 倍；平行模塊由一個３×３ 卷積層構成，通過此模塊生成的特征圖與輸入特征圖的大小和通道數一致；其中每個模塊中的卷積層后均包含一個ＲｅＬＵ 激活函數和ＢＮ 層。

特征提取后，將Ｌ２ 、Ｌ３ 路徑提取的特征圖進行融合得到路徑Ｌ２３ ，融合過程如下：

Ｌ２３ ＝ ＢＲ（（Ｃｏｎｖ１ ×１（Ｃａｔ（Ｌ２ ，Ｕｐ（Ｌ３ ）））））， （１）

式中：Ｕｐ 表示２ 倍上采樣，Ｃａｔ 表示通道維度上的拼接函數，Ｃｏｎｖ１×１ 表示１×１ 的卷積層，ＢＲ 表示ＢＮ 層和ＲｅＬＵ 層。然后通過指導模塊，Ｌ１ 路徑指導Ｌ４ 路徑特征圖的生成；Ｌ１ 路徑和Ｌ４ 路徑共同指導Ｌ２３ 路徑特征圖的生成。使得Ｌ１ 、Ｌ２３ 、Ｌ４ 能夠分別捕獲到小尺度建筑物信息、其他尺度建筑物信息、大尺度建筑物信息。

由于不同路徑間特征圖分辨率不同，因此指導模塊包括２ 個過程：自上而下指導和自下而上指導。自上而下指導過程表示將指導特征圖分辨率下采樣到被指導特征圖分辨率大小進行指導，由圖１ 中自上而下指導模塊表示；自下而上指導過程表示將被指導特征圖上采樣到指導特征圖分辨率大小然后被指導，由圖１ 中自下而上指導模塊表示。前者用于增強被指導特征圖對應尺度的特征信息，后者為被指導特征彌補細節信息，同時將對應路徑的特征圖恢復到被指導特征圖分辨率大小。指導過程如下：

Ｌ ＾４ ＝ Ｇｕｉｄｅ（Ｄｏｗｎ（Ｌ１ ），Ｌ４ ）， （２）

Ｌ～４ ＝ Ｇｕｉｄｅ（Ｌ１ ，Ｕｐ（Ｌ４ ））， （３）

式中：Ｇｕｉｄｅ 表示指導模塊，具體結構在１． ２ 節介紹；Ｄｏｗｎ 表示下采樣，Ｕｐ 表示上采樣。式（２）表示自上而下指導過程，式（３）表示自下而上指導過程。

自上而下過程指導完成后，使用ＳＫ 卷積模塊優化指導后的特征圖，然后進行自下而上指導過程，同樣指導結束后利用ＳＫ 卷積模塊優化特征圖，ＳＫ卷積模塊的細節在１． ３ 節展示。優化完成后，利用Ａｄｄ 函數直接將３ 個提取不同尺度的特征圖融合，最后通過上采樣和Ｓｉｇｍｏｉｄ 操作得到最終預測圖，大小為２５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ×１ 通道。

１． ２ 基于交互的尺度指導模塊

文獻［１６］提出的尺度指導模塊，獨立提取了不同尺度的信息。然而，該模塊在指導過程中忽視了不同尺度物體存在重疊性，導致被指導特征對應尺度信息部分被抑制，進而無法有效提取對應尺度建筑物信息。如小尺度特征圖中包含大尺度特征的部分信息，在指導大尺度特征圖生成過程中，會抑制大尺度特征圖中的這些特征，因此指導結果不理想。針對該問題，本文提出了一個基于交互的尺度指導模塊。該模塊在尺度指導模塊的基礎上，充分利用指導特征與被指導特征的交互信息。在小尺度特征指導大尺度特征時，利用大尺度特征抑制小尺度特征中提取的少量大型建筑物區域，增強小型建筑物區域；將增強后的小尺度特征進一步指導大尺度特征，得到指導后的特征尺度針對性更強，包含對應尺度的建筑物信息更全面。具體結構如圖３ 所示。

圖３（ａ）中輸入為小尺度特征Ｆｓ 和大尺度特征Ｆｂ，通過一個１ ×１ 卷積層和Ｓｉｇｍｏｉｄ 激活函數得到二值圖Ｓ１、Ｂ１，通過式（４）得到Ｂ。首先，將Ｂ１ 進行１－Ｂ１ 操作，使作為權重圖的Ｂ２ 對于大尺度特征具有更小的激活值；其次將Ｂ２ 與Ｓ１ 逐元素相乘，得到的權重圖Ｓ 對大尺度特征信息給予更低的關注，而對小尺度特征信息具有更高的關注；最后，將優化的權重圖Ｓ 與Ｂ１ 逐元素相乘，分別增強和抑制Ｂ１中小型建筑物特征信息和大型建筑物特征信息，生成對大尺度特征信息關注更多的權重圖Ｂ。其中Ｍｕｌ 函數表示直接相乘。

在特征提取過程中，淺層特征由于具有更多的細節信息，適用于提取小尺度特征信息；深層特征由于具有更大的感受野，可以提取大尺度建筑物信息；而對于其他尺度建筑物信息，使用中間２ 層提取。因此，在指導其他尺度特征生成時，利用大尺度特征和小尺度特征共同指導，故圖３（ｂ）中輸入為３ 個特征圖，分別為小尺度特征Ｆｓ、大尺度特征Ｆｂ 和其他尺度特征Ｆｍ 。首先將小尺度特征圖和大尺度特征圖拼接到一起，通過１ ×１ 卷積和Ｓｉｇｍｏｉｄ 激活函數得到權重圖Ｂｓ１，其他過程和圖３（ａ）中相似，具體實現如下：

Ｂ ＝ Ｍｕｌ（Ｂ１，１ － Ｍｕｌ（Ｓ１，１ － Ｂ１））， （４）

Ｍ ＝ Ｍｕｌ（Ｍ１，１ － Ｍｕｌ（Ｂｓ１，１ － Ｍ１））。（５）

１． ３ ＳＫ 卷積模塊

在本文網絡中引入ＳＫ 卷積模塊，用于優化各條路徑提取的建筑物特征。該模塊最初在文獻［１７］中提出，不僅可以自主選擇感受野，同時可以提取多尺度特征。具體結構如圖４ 所示，包括分離、融合和選擇３ 個步驟。首先通過空洞率分別為１、２的２ 個３×３ 卷積將特征圖分離；然后將分離后的特征直接相加融合，經過全局平均池化和全連接層后通道數變為輸入通道數的２ 倍；接著利用Ｓｏｆｔｍａｘ 函數，如圖４ 中黃色部分，將相同通道計算對應的權重，得到２ 個相同通道互補的權重向量；最后將互補的權重向量分別作用于分離過程生成的２ 個特征圖，相加得到最終的特征圖。

本文網絡通過ＳＫ 卷積模塊優化特征信息，經過尺度指導模塊后，各條路徑提取的特征圖具有不同的尺度。不同路徑的特征圖通過ＳＫ 卷積模塊自主選擇感受野，同時也提取了相應路徑下的多尺度信息。文中在每一個指導模塊之后均使用ＳＫ 卷積模塊進行優化，因此，每條路徑包括２ 個ＳＫ 卷積模塊。

２ 實驗

２． １ 實驗數據

為了驗證本文模型的有效性，選取ＷＨＵ 數據集［１８］和ｉｎｒｉａ 數據集［１９］進行訓練和測試。ＷＨＵ 數據集來自武漢大學ＧＰＣＶ 團隊，采用航空數據集作為實驗數據；ｉｎｒｉａ 數據集包括５ 個不同區域的數據，不同區域之間建筑物特點各異，可以有效評估模型的泛化能力。

在訓練階段，由于資源設備有限，將訓練數據分割為２５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ 大小，然后將分割后數據中沒有建筑物的影像和標簽去除，得到最終訓練數據。

２． ２ 評價指標

針對模型預測的結果，采用精確率（Ｐｒｅｃｉｓｉｏｎ）、召回率（Ｒｅｃａｌｌ）、Ｆ１ 分數（Ｆ１）、交并比（Ｉｎｔｅｒｓｅｃｔｉｏｎｏｖｅｒ Ｕｎｉｏｎ，ＩｏＵ）作為評價指標。計算如下：

Ｐｒｅｃｉｓｉｏｎ ＝ ＴＰ/ＴＰ ＋ ＦＰ， （６）

Ｒｅｃａｌｌ ＝ ＴＰ/ＴＰ ＋ ＦＮ， （７）

Ｆ１ ＝ ２ × Ｐｒｅｃｉｓｉｏｎ × Ｒｅｃａｌｌ/Ｐｒｅｃｉｓｉｏｎ ＋ Ｒｅｃａｌｌ ， （８）

ＩｏＵ ＝ ＴＰ/ＴＰ ＋ ＦＰ ＋ ＦＮ， （９）

式中：ＴＰ 表示預測結果和標簽均為建筑物；ＦＰ 表示預測結果為非建筑物，標簽為建筑物；ＴＮ 表示預測結果和標簽為非建筑物；ＦＮ 表示預測結果為建筑物，標簽為非建筑物。

遙感影像下建筑物提取屬于二分類問題，提取類別為建筑物和非建筑物２ 類。針對模型，實驗以ＰｙＴｏｒｃｈ 為框架，在ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＲＴＸ ３０６０ 設備上構建模型。訓練過程中，超參數迭代次數設置為２００，初始學習率為０． ０００ １，Ｂａｔｃｈ Ｓｉｚｅ 為４，驗證集上Ｂａｔｃｈ Ｓｉｚｅ 為２，采用多步長Ｍｕｌｔｉ-ＳｔｅｐＬＲ 動態調整網絡更新學習率，通過Ａｄａｍ 優化器迭代優化損失函數。采用文獻［２０］中的損失函數評價預測結果和真實值之間的差異，具體如式（１０）所示：

Ｌ（ｐｒｅｄｉｃｔ，ｌａｂｅｌ） ＝ α１ ＢＣＥ（ｐｒｅｄｉｃｔ，ｌａｂｅｌ）＋α２ Ｄｉｃｅ（ｐｒｅｄｉｃｔ，ｌａｂｅｌ）， （１０）

式中：α１ 、α２ 為超參數，分別取值０． ８、０． ２。

２． ３ 實驗結果

在ＷＨＵ 數據集和ｉｎｒｉａ 數據集上將模型和多個語義分割網絡進行對比實驗，其中包括語義分割模型ＳｅｇＮｅｔ、ＥＮｅｔ［２１］以及近２ 年建筑物提取領域提出的模型ＭＭＢ-Ｎｅｔ［２２］、Ｒｅｆｉｎｅ-ＵＮｅｔ 和ＭＡＰ-Ｎｅｔ。

２． ３． １ ＷＨＵ 數據集實驗結果

使用在ＷＨＵ 訓練集上訓練好的模型對測試集進行預測，輸入大小為５１２ ｐｉｘｅｌ×５１２ ｐｉｘｅｌ×３ 通道，輸出為建筑物提取預測圖。實驗中所有的網絡均在相同的設備以及超參數下進行，部分預測結果如圖５ 所示。

本文提出的基于多尺度指導的建筑物提取網絡模型采用多路徑結構，利用改進的指導模塊，減少路徑提取特征圖的冗余信息，指引每條路徑提取相應尺度的建筑物信息。然后通過ＳＫ 卷積模塊優化對應尺度的特征，使提取的特征不僅可以自由選擇感受野，也擁有豐富的多尺度信息。通過圖５ 可以發現，第一行中藍色框部分顯示本文提出的模型提取的小型建筑物邊界更光滑，與標簽匹配度更高；第三行中藍色框部分表明本文模型提取的大型建筑物較ＭＭＢ-Ｎｅｔ、Ｒｅｆｉｎｅ-ＵＮｅｔ 完整性更高，提取的邊界較模型ＳｅｇＮｅｔ、ＥＮｅｔ 與ＭＡＰ-Ｎｅｔ 更完整；第二行和第四行中紅色框表明對于影像中形狀變化較大的建筑物，本文模型提取結果邊界更完善。綜合表明，在ＷＨＵ 建筑物數據集上效果優于其他模型，提出的方法具有更多的細節信息，連續性較好，而且小型建筑物遺漏更少。該模型可以有效提取遙感影像下的建筑物，建筑物提取精度定性分析如表１ 所示。

由表１ 可以看出，本文網絡提取結果在Ｆ１ 上比其他５ 個網絡分別提高１． ３１％ 、０． ８２％ 、０． ５８％ 、０． ４６％ 、０． ３２％ ，ＩｏＵ 分別提高２． ３７％ 、１． ４８％ 、１． ０５％ 、０． ８３％ 、０． ５９％ ，與可視化結果一致，本文網絡綜合性能較其他對比網絡更優。

２． ３． ２ ｉｎｒｉａ 數據集實驗結果

使用在ｉｎｒｉａ 數據集上訓練好的模型對測試集進行預測，輸入大小為５１２ ｐｉｘｅｌ×５１２ ｐｉｘｅｌ×３ 通道，輸出為建筑物預測圖。可視化結果如圖６ 所示。其中包括５ 個區域ａｕｓｔｉｎ、ｃｈｉｃａｇｏ、ｋｉｔｓａｐ、ｔｙｒｏｌ 和ｖｉｅｎｎａ 的影像，分別對應每一行。５ 個區域的建筑物特點各異，ａｕｓｔｉｎ 和ｃｈｉｃａｇｏ 區域建筑物分布均勻，ｃｈｉｃａｇｏ 區域建筑物呈列排布，ｔｙｒｏｌ 區域建筑物大小變化較大分布無規律，ｖｉｅｎｎａ 區域建筑物形狀變化較大。圖中第一行、第三行和第四行紅色框部分表明，對于規則的建筑物，本文網絡提取的建筑物輪廓更清楚和光滑；而第五行紅色框中對于復雜的建筑物，本文網絡預測結果更接近標簽形狀。

綜合表明，對比網絡提取結果完整性較差，本文網絡提取結果更準確。在ｉｎｒｉａ 數據集上，所提網絡與其他對比網絡的定量實驗結果如表２ 所示。

由表２ 可以看出，本文提出的網絡在４ 個評價指標上均優于對比網絡。對比結果顯示本文網絡的Ｆ１ 比其他５ 個網絡分別提高２． ５５％ 、３． ４％ 、１． ７６％ 、１． ３７％ 、０． ９８％ ，ＩｏＵ 分別提高３． ６５％ 、４． ９３％ 、２． ４２％ 、１． ８２％ 、１． ２１％ 。結果顯示，本文提出的方法和其他５ 種網絡相比性能更佳，魯棒性更強。

２． ３． ３ 消融實驗結果

自上而下指導模塊和自下而上指導模塊分別通過分辨率向下兼容和向上兼容指導特定尺度特征生成；ＳＫ 卷積模塊通過優化指導后特征，從而提升網絡特征提取能力。本節通過在ＷＨＵ 數據集上進行消融實驗驗證上述３ 個模塊對模型性能影響，結果如表３ 所示。

①自上而下指導模塊。該模塊通過指導特征圖下采樣對被指導特征圖進行指導，增強相關尺度特征信息，抑制不相關尺度特征信息。采用相同的訓練集、驗證集、測試集和訓練參數驗證該模塊性能。在ＷＨＵ 數據集上的驗證結果如表３ 第二行所示，與第一行相比，精確率和召回率均有提升，ＩｏＵ 提高０． ２８％ 。結果表明，自上而下指導模塊有助于建筑物的分割，對于建筑物誤檢更少。

②自下而上指導模塊。該模塊通過被指導特征圖上采樣后被指導特征圖指導，可以彌補被指導特征圖下采樣后丟失的細節信息。驗證結果如表３ 第四行和第五行所示，通過比較第一行和第四行，ＩｏＵ提高０． ２４％ ，精確率和召回率均有提升，而精確率提升幅度更大。第二行和第五行相比，ＩｏＵ 提升０． ３８％ ，精確率同樣提升空間更大。實驗結果表明，自下而上指導模塊恢復更多的空間細節，提高了建筑物分割的完整性。

③ＳＫ 卷積模塊。ＳＫ 卷積模塊為不同的卷積核分配相應的權重，達到控制感受野和優化特征的目的。表３ 的第三行和第六行驗證該模塊的有效性，通過比較第二行和第三行，ＩｏＵ 提升０． ３３％ ，比較第五行和第六行，ＩｏＵ 提升０． ２３％ 。綜合表明，ＳＫ 卷積模塊進一步優化了指導后的特征圖，從而提升建筑物檢測表現。

通過以上消融實驗可以發現，本文提出的自上而下指導模塊、自下而上指導模塊以及ＳＫ 卷積模塊對于網絡表達能力和提取性能都至關重要。通過２ 個不同過程的指導以及指導后的優化，能有效提升建筑物提取能力。

３ 結束語

針對高分辨率遙感影像建筑物提取中大型建筑物完整性較低、小型建筑物容易丟失等問題，本文提出了基于多尺度指導的建筑物提取網絡。網絡包括４ 條路徑，分別用于提取不同尺度的建筑物信息，通過指導模塊和ＳＫ 卷積模塊生成３ 類特征圖。淺層路徑用于提取小尺度特征，深層路徑用于提取大尺度特征，中間２ 條路徑提取其他尺度特征。通過融合以及上采樣多條路徑生成的特征圖得到最終預測圖，不僅在分割大型建筑物時具有更高的完整性，同時建筑物漏檢誤檢更少。通過對比實驗，在ＷＨＵ數據集和ｉｎｒｉａ 數據集上，本文提出的網絡均優于其他５ 種網絡，表明此網絡性能更好，泛化能力更強；進行的消融實驗表明各模塊對于網絡性能的提升至關重要，共同促進網絡提取建筑物能力。但是本文網絡還需進一步改進，提升分割建筑物邊界的能力，后續將朝著此方向努力。

參考文獻

［１］ ＣＯＴＥ Ｍ，ＳＡＥＥＤＩ Ｐ． Ａｕｔｏｍａｔｉｃ Ｒｏｏｆｔｏｐ Ｅｘｔｒａｃｔｉｏｎ ｉｎＮａｄｉｒ Ａｅｒｉａｌ Ｉｍａｇｅｒｙ ｏｆ Ｓｕｂｕｒｂａｎ Ｒｅｇｉｏｎｓ Ｕｓｉｎｇ Ｃｏｒｎｅｒｓａｎｄ Ｖａｒｉａｔｉｏｎａｌ Ｌｅｖｅｌ Ｓｅｔ Ｅｖｏｌｕｔｉｏｎ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓｏｎ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０１３，５１（１）：３１３－３２８.

［２］ ＬＩ Ｅ，ＦＥＭＩＡＮＩ Ｊ，ＸＵ Ｓ Ｂ，ｅｔ ａｌ． Ｒｏｂｕｓｔ ＲｏｏｆｔｏｐＥｘｔｒａｃｔｉｏｎ ｆｒｏｍ Ｖｉｓｉｂｌｅ Ｂａｎｄ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｈｉｇｈｅｒ ＯｒｄｅｒＣＲＦ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ ＲｅｍｏｔｅＳｅｎｓｉｎｇ，２０１５，５３（８）：４４８３－４４９５．

［３］ ＺＨＯＮＧ Ｓ，ＨＵＡＮＧ Ｊ，ＸＩＥ Ｗ． Ａ Ｎｅｗ Ｍｅｔｈｏｄ ｏｆ ＢｕｉｌｄｉｎｇＤｅｔｅｃｔｉｏｎ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ａｅｒｉａｌ Ｐｈｏｔｏｇｒａｐｈ［Ｃ］∥２００８ ９ｔｈＩｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ． Ｂｅｉｊｉｎｇ：ＩＥＥＥ，２００８：１２１９－１２２２．

［４］ 李治，隋正偉，傅俏燕，等． 基于形態學序列和多源先驗信息的城市建筑物高分遙感提取［Ｊ］． 遙感學報，２０２３，２７（４）：９９８－１００８．

［５］ ＨＥ Ｋ Ｍ，ＺＨＡＮＧ Ｘ Ｙ，ＲＥＮ Ｓ Ｑ，ｅｔ ａｌ． Ｄｅｅｐ ＲｅｓｉｄｕａｌＬｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｌａｓ Ｖｅｇａｓ：ＩＥＥＥ，２０１６：７７０－７７８．

［６］ ＫＲＩＺＨＥＶＳＫＹ Ａ，ＳＵＴＳＫＥＶＥＲ Ｉ，ＨＩＮＴＯＮ Ｇ Ｅ． ＩｍａｇｅＮｅｔＣｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ［Ｊ］． Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，２０１７，６０（６）：８４－９０．

［７］ ＳＺＥＧＥＤＹ Ｃ，ＬＩＵ Ｗ，ＪＩＡ Ｙ Ｑ，ｅｔ ａｌ． Ｇｏｉｎｇ Ｄｅｅｐｅｒ ｗｉｔｈＣｏｎｖｏｌｕｔｉｏｎｓ［Ｃ］∥ ２０１５ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｂｏｓｔｏｎ：ＩＥＥＥ，２０１５：１－９．

［８］ ＣＨＥＮ Ｌ Ｃ，ＰＡＰＡＮＤＲＥＯＵ Ｇ，ＳＣＨＲＯＦＦ Ｆ，ｅｔ ａｌ．Ｒｅｔｈｉｎｋｉｎｇ Ａｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ［ＥＢ／ ＯＬ］． （２０１７－１２－０５）［２０２３－０６－１１］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ／ ａｂｓ／ １７０６． ０５５８７．

［９］ ＬＯＮＧ Ｊ，ＳＨＥＬＨＡＭＥＲ Ｅ，ＤＡＲＲＥＬＬ Ｔ． Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｂｏｓｔｏｎ：ＩＥＥＥ，２０１５：３４３１－３４４０．

［１０］ ＲＯＮＮＥＢＥＲＧＥＲ Ｏ，ＦＩＳＣＨＥＲ Ｐ，ＢＲＯＸ Ｔ． ＵＮｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒａｓｓｉｓｔｅｄ ＩｎｔｅｒｖｅｎｔｉｏｎＭＩＣＣＡＩ ２０１５． Ｍｕｎｉｃｈ：Ｓｐｒｉｎｇｅｒ，２０１５：２３４－２４１．

［１１］ ＢＡＤＲＩＮＡＲＡＹＡＮＡＮ Ｖ，ＫＥＮＤＡＬＬ Ａ，ＣＩＰＯＬＬＡ Ｒ． ＳｅｇＮｅｔ：Ａ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＥｎｃｏｄｅｒＤｅｃｏｄｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒＩｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰａｔｔｅｒｎＡｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０１７，３９（１２）：２４８１－２４９５．

［１２］ ＣＨＥＮ Ｌ Ｃ，ＺＨＵ Ｙ Ｋ，ＰＡＰＡＮＤＲＥＯＵ Ｇ，ｅｔ ａｌ． ＥｎｃｏｄｅｒＤｅｃｏｄｅｒ ｗｉｔｈ Ａｔｒｏｕｓ Ｓｅｐａｒａｂｌｅ Ｃｏｎｖｏｌｕｔｉｏｎ ｆｏｒ ＳｅｍａｎｔｉｃＩｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＥＣＣＶ）． Ｍｕｎｉｃｈ：Ｓｐｒｉｎｇｅｒ，２０１８：８３３－８５１．

［１３］ ＱＩＵ Ｗ Ｙ，ＧＵ Ｌ Ｊ，ＧＡＯ Ｆ，ｅｔ ａｌ． Ｂｕｉｌｄｉｎｇ Ｅｘｔｒａｃｔｉｏｎ ｆｒｏｍＶｅｒｙ Ｈｉｇｈｒｅｓｏｌｕｔｉｏｎ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅｓ Ｕｓｉｎｇ ＲｅｆｉｎｅＵＮｅｔ［Ｊ］． ＩＥＥＥ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｌｅｔｔｅｒｓ，２０２３，２０：６００２９０５．

［１４］ ＺＨＵ Ｑ，ＬＩＡＯ Ｃ，ＨＵ Ｈ，ｅｔ ａｌ． ＭＡＰＮｅｔ：ＭｕｌｔｉｐｌｅＡｔｔｅｎｄｉｎｇ Ｐａｔｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｂｕｉｌｄｉｎｇ Ｆｏｏｔｐｒｉｎｔ Ｅｘｔｒａｃｔｉｏｎ ｆｒｏｍ Ｒｅｍｏｔｅ Ｓｅｎｓｅｄ Ｉｍａｇｅｒｙ ［Ｊ ］． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０２１，５９（７）：６１６９－６１８１．

［１５］ 楊棟杰，高賢君，冉樹浩，等． 基于多重多尺度融合注意力網絡的建筑物提取［Ｊ］． 浙江大學學報（工學版），２０２２，５６（１０）：１９２４－１９３４．

［１６］ ＨＡＮＧ Ｒ Ｌ，ＹＡＮＧ Ｐ，ＺＨＯＵ Ｆ，ｅｔ ａｌ． ＭｕｌｔｉｓｃａｌｅＰｒｏｇｒｅｓｓｉｖｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｎｅｔｗｏｒｋ ｆｏｒ Ｈｉｇｈｒｅｓｏｌｕｔｉｏｎ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅｒｙ ［Ｊ ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＧｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０２２，６０：５４１２０１２．

［１７］ ＬＩ Ｘ，ＷＡＮＧ Ｗ Ｈ，ＨＵ Ｘ Ｌ，ｅｔ ａｌ． Ｓｅｌｅｃｔｉｖｅ ＫｅｒｎｅｌＮｅｔｗｏｒｋｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｌｏｎｇ Ｂｅａｃｈ：ＩＥＥＥ，２０１９：５１０－５１９．

［１８］ ＪＩ Ｓ Ｐ，ＷＥＩ Ｓ Ｑ，ＬＵ Ｍ． Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒＭｕｌｔｉｓｏｕｒｃｅ Ｂｕｉｌｄｉｎｇ Ｅｘｔｒａｃｔｉｏｎ ｆｒｏｍ ａｎ Ｏｐｅｎ Ａｅｒｉａｌ ａｎｄＳａｔｅｌｌｉｔｅ Ｉｍａｇｅｒｙ Ｄａｔａ Ｓｅｔ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０１９，５７（１）：５７４－５８６．

［１９］ ＭＡＧＧＩＯＲＩ Ｅ，ＴＡＲＡＢＡＬＫＡ Ｙ，ＣＨＡＲＰＩＡＴ Ｇ，ｅｔ ａｌ． ＣａｎＳｅｍａｎｔｉｃ Ｌａｂｅｌｉｎｇ Ｍｅｔｈｏｄｓ Ｇｅｎｅｒａｌｉｚｅ ｔｏ Ａｎｙ Ｃｉｔｙ？ＴｈｅＩｎｒｉａ Ａｅｒｉａｌ Ｉｍａｇｅ Ｌａｂｅｌｉｎｇ Ｂｅｎｃｈｍａｒｋ［Ｃ］∥２０１７ ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｓｙｍｐｏｓｉｕｍ（ＩＧＡＲＳＳ）． Ｆｏｒｔ Ｗｏｒｔｈ：ＩＥＥＥ，２０１７：３２２６－３２２９．

［２０］ ＪＡＤＯＮ Ｓ． Ａ Ｓｕｒｖｅｙ ｏｆ Ｌｏｓｓ Ｆｕｎｃｔｉｏｎｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥２０２０ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｐｕｔａｔｉｏｎａｌＩｎｔｅｌｌｉｇｅｎｃｅ ｉｎ Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｂｉｏｌｏｇｙ（ＣＩＢＣＢ）． Ｖｉａ ｄｅｌ Ｍａｒ：ＩＥＥＥ，２０２０：１－７．

［２１］ ＰＡＳＺＫＥ Ａ，ＣＨＡＵＲＡＳＩＡ Ａ，ＫＩＭ Ｓ，ｅｔ ａｌ． ＥＮｅｔ：Ａ ＤｅｅｐＮｅｕｒａｌ Ｎｅｔｗｏｒｋ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｒｅａｌｔｉｍｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ［ＥＢ ／ ＯＬ］． （２０１６ － ０６ － ０７）［２０２３ － ０６ － １１］．ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ／ １６０６． ０２１４７．

［２２］ ＺＨＡＮＧ Ｈ，ＺＨＥＮＧ Ｘ Ｃ，ＺＨＥＮＧ Ｎ Ｓ，ｅｔ ａｌ． Ａ Ｍｕｌｔｉｓｃａｌｅａｎｄ Ｍｕｌｔｉｐａｔｈ Ｎｅｔｗｏｒｋ ｗｉｔｈ Ｂｏｕｎｄａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ ｆｏｒＢｕｉｌｄｉｎｇ Ｆｏｏｔｐｒｉｎｔ Ｅｘｔｒａｃｔｉｏｎ ｆｒｏｍ Ｒｅｍｏｔｅｌｙ ＳｅｎｓｅｄＩｍａｇｅｒｙ［Ｊ］． ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｅｌｅｃｔｅｄ Ｔｏｐｉｃｓ ｉｎ ＡｐｐｌｉｅｄＥａｒｔｈ Ｏｂｓｅｒｖａｔｉｏｎｓ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０２２，１５：８８５６－８８６９．

作者簡介

宋寶貴 男，（２０００—），碩士研究生。主要研究方向：深度學習、遙感影像建筑物提取。

石衛超 男，（１９９９—），碩士研究生。主要研究方向：深度學習、遙感影像變化檢測。

余 快 女，（１９９９—），碩士研究生。主要研究方向：深度學習、遙感影像建筑物提取。

基金項目：國家自然科學基金青年項目（４１９０１３４１）