并行路徑與強注意力機制遙感圖像建筑物分割

楊堅華，張浩，花海洋

（1.中國科學院光電信息處理重點實驗室，遼寧 沈陽 110016；2.中國科學院 沈陽自動化研究所，遼寧 沈陽 110016；3.中國科學院機器人與智能制造創新研究院，遼寧 沈陽 110169；4.中國科學院大學，北京 100049）

1 引言

隨著遙感衛星技術的不斷發展，遙感數據隨之受到了越來越多的關注，在許多領域都得到了廣泛應用。例如在軍事領域上被應用于地面目標的識別、在國土資源領域上被應用于環境變化等方面。其中城市區域是遙感數據中應用較為廣泛的部分，建筑物作為城市區域的主要元素，對遙感影像中建筑的分割，有助于人口居住變化分析、目標建筑檢測及城市規劃等。由于建筑物與非建筑物之間的差異較小，且建筑物之間存在尺度大小變化較大、建筑物陰影與建筑物邊緣難以區分、建筑物遮擋、建筑之間密集度較大等問題，因此如何提高建筑物的分割精度是一個重要難點。

當前提取遙感影像中建筑的方法可以大致分為兩類：傳統的圖像處理方法和基于深度學習的方法。傳統的圖像處理方法提取遙感影像中建筑，往往是利用遙感圖像本身的光譜、幾何形狀、紋理等［1-3］特征來組合，設計合理的特征值，通過閾值或機器學習的方法對建筑及背景進行分類，提取建筑。文獻［4］通過滑動窗口進行計算地物的特征，提取后的特征圖通過擬合分類算法進行預測每個窗口內的地物類別信息，進而從分類后的遙感圖像中進行對建筑的提取。此方法提取建筑的效率較高，但精度方面仍有較大的改善空間。文獻［5］通過對光學圖像、地理信息系統及數字地表模型3 個數據源進行結合，以此來區分非建筑物和建筑物，多源數據大大提高了建筑物提取的魯棒性，但是多源數據相較于單一來源的遙感圖像，獲取成本較高。

相較于傳統提取遙感影像中建筑的方法，深度學習主要通過其網絡模型自動去學習建筑與非建筑之間的深層次特征，對其進行分類提取建筑。MFDC-ResNet［6］以ResNet 為基礎，通過結合空間金字塔模型及空洞卷積，獲取建筑不同尺度的特征并進行融合，其分割效果相較于ResNet表現更好。全局局部一體化D-LinkNet［7］通過改進條件隨機場，增加了網絡對全局局部細節的感知，避免了傳統條件隨機場丟失邊界信息的情況，并且通過局部的邊緣分割先驗，增強建筑邊緣提取的準確度。CU-Net［8］在FCN 的基礎上增加了多重約束來增強多尺度特征表示，增加多重約束后網絡在建筑物分割方面比FCN 表現更好。SiU-Net［9］針對多尺度輸入設計了兩個權重共享的分支，通過此方法可以有效提高分割精度，在大型建筑物分割方面尤為突出，但其計算復雜度將會大大增加。SRI-Net［10］基于ResNet101 進行修改，提出空間殘差模塊生成多尺度特征并進行融合，網絡通過融合高分辨率的特征，保留了較多的局部細節信息，能有效提高網絡性能。EU-Net［11］提出了深度空間金字塔結構，這個結構通過提取多尺度特征增加了對多尺度建筑的提取及邊緣定位的精度。并且網絡中采用了focal loss 損失函數，有效提高了訓練的穩定性。HRNetv2［12］采用多路徑方式提取不同尺度的建筑特征，通過中間不斷融合不同尺度信息，增加單一路徑中的多尺度信息，提高了分割的準確性。

上述模型在遙感圖像建筑物分割領域表現較好，但其在遙感影像中建筑之間尺度變化較大時，由于其對建筑物多尺度特征提取不充分，往往只對其中尺度居中的建筑物分割較為精確，對像素占比超過訓練圖像1/5 以上的大型建筑分割不夠完整、對像素占比小于訓練圖像的1/100 的小型建筑邊緣分割不夠精細。且當建筑物被其他非建筑物遮擋時，無法準確分割出被建筑被遮擋的部分，而建筑物陰影也易被分割為建筑。針對上述問題，提出了一種基于并行多尺度加強注意力機制的語義分割網絡提取目標建筑物的輪廓。提出的模型以ResNet 為基礎網絡，采用多路徑同時提取不同范圍的建筑物特征，適應不同尺度建筑物的特征提取，以減少建筑物之間尺度變化較大的影響。在多路徑提取不同尺度特征后，引入路徑之間強關聯性注意力機制，對弱特征進行增強，抑制建筑物被遮擋的影響，增強建筑物與建筑物陰影之間的區分度。并在融合后的單尺度特征中加入空間池化金字塔結構，減少提取建筑物內部空洞的產生，提升分割的性能。

2 并行路徑與強注意力機制網絡PPA-Net

2.1 并行路徑網絡

當前獲取高分辨率特征圖的方法主要有兩種：（1）編碼器-解編碼器網絡：由網絡（例如ResNet）輸出的低分辨率特征圖上采樣獲得高分辨率特征圖，或從可選的中間層中等分辨率特征圖上采樣并反卷積獲得高分辨率特征圖，如Hourglass，SegNet［13］，DeconvNet［14］，U-Net［15］，編碼器-解碼器（encoder-decoder）等。即通過對下采樣后獲取的特征圖進行上采樣來獲得高分辨特征圖；（2）并行多路徑網絡：主路徑對高分辨率特征直接卷積不進行下采樣保持高分辨率，并通過并行路徑下采樣獲取低分辨率特征圖，提取多尺度信息，例如HRNetv2。

第一種網絡由于對高分辨率特征存在下采樣操作，導致后續恢復高分辨率過程中可能出現邊緣定位不清晰，而第二種網絡在主路徑中并未對高分辨率特征圖進行下采樣，邊緣定位相對較好，因此本文基于HRNetv2 網絡進行改進，采用并行路徑網絡得到多尺度信息，以減少下采樣過程中細節信息的損失。

2.2 并行路徑與強注意力機制網絡

基于編碼器-解編碼器的網絡在編碼器階段由于過度下采樣操作損失了較多的空間細節信息，盡管解編碼器階段可能通過融合淺層特征圖進行空間細節信息恢復，但融合的淺層特征具備的空間細節信息屬于低級特征，與高級特征一同進行特征提取效果可能較差，最終導致建筑物邊緣細節定位不夠精確?？紤]到建筑物分割對邊緣定位要求較高，相較于編碼器-解編碼器類型的網絡，多路徑網絡在保留較多空間細節信息的同時，能夠提取多尺度信息，較為適合遙感影像中建筑物分割領域。

本文所提的并行路徑與強注意力機制網絡首先通過兩個階段逐步生成三個并行路徑，以ResNet 殘差思想為基礎組成卷積塊提取網絡特征，每個路徑中的特征空間分辨率皆為定值，當路徑分為三個后，在對各個路徑卷積的同時，也進行互相融合，聚合各個路徑中不同尺度的信息。然后引入強注意力機制，從多條路徑中自適應的學習各個路徑特征的重要程度，以提高多尺度特征融合的效果。隨后進行金字塔空間池化操作［16］，增強特征的全局信息，減少建筑物內部孔洞的產生。

本文提出的PPA-Net（Parallel Path Attention Net）主要包括以下兩部分：

（1）并行多路徑網絡，用于提取多尺度高級語義特征，同時保留空間細節信息，且在提取高級語義特征的同時路徑之間互相融合，加強各個路徑包含的信息，有助于分割尺度變化較大的遙感影像建筑物；

（2）在并行網絡提取末端，加入路徑之間強相關的多尺度注意力機制，使網絡更加注重于建筑物的特征及尺度信息，有助于建筑物尺度識別及抑制建筑物遮擋、陰影等影響。在注意力機制后加入金字塔空間池化結構，抑制干擾特征，減少建筑物分割結果內部出現孔洞的現象。網絡結構如圖1 所示。

圖1 PPA-Net 網絡結構圖Fig.1 PPA-Net network structure

2.3 多路徑及特征融合機制

多路徑特征提取網絡相較于基于編碼器-解編碼器的網絡，由于路徑的增多網絡的參數量相較于同樣深度的編碼器-解編碼器網絡，會產生明顯提升。因此所提模型仍采取了一定的最大值池化下采樣，以減少網絡的復雜度。由于模型只對原輸入圖像進行了1/4 下采樣，損失的定位信息較少，因此相較于編碼器-解編碼器網絡對邊緣定位精度影響較低。在多路徑提取特征的同時，卷積只提取了單個尺度的信息，缺失了其他尺度的信息，因此在提取過程中加強各個路徑之間的融合，能夠有效增加對各個尺度信息的提取。所提模型的并行路徑為3 個，提取尺度分為1，1/2，1/4，經過并行路徑之間的相互融合，提取的尺度更加細分，對建筑的識別效果也更好。其中多路徑融合過程如圖2 所示。

2.4 強尺度注意力機制及金字塔空間池化

從不同路徑提取的特征圖具有不同的空間分辨率，通過注意力機制對不同路徑特征聚合需要對低空間分辨率的特征圖進行上采樣恢復空間分辨率。如圖3 所示，低分辨率特征通過線性插值將特征上采樣至原始圖像的1/4，再通過3×3 卷積將特征轉化為64 通道，并建立相鄰路徑之間的注意力機制，對相鄰路徑特征進行逐層融合。

圖2 多路徑融合機制Fig.2 Multi-path fusion mechanism

圖3 強注意力機制Fig.3 Strong attention mechanism

從圖3 可以看出，注意力機制首先通過卷積學習得到最小尺度的空間注意力權重，再根據這個權重，對其進行處理，得到一個相關的權重，將其注入到相鄰的并行路徑中去，形成相鄰并行尺度之間空間注意力的強相關。最終實現對目標建筑的尺度自適應識別分割，且能有效增強網絡對陰影及建筑相似物的識別能力，減少建筑物遮擋的影響。本文所提強注意力機制基于傳統空間注意力機制改進，相較于傳統多路徑空間注意力機制，強注意力機制結合并行路徑中多尺度特征互補特性，路徑之間所學注意力權重圖相加和為1，以本文三個并行路徑為例具體描述為：最小分辨率路徑所學注意力權重圖為A，中間路徑所學注意力權重圖為B，則最終中間路徑權重圖為（1-A）×B，最高分辨率路徑注意力權重圖可由另外并行路徑權重圖得到為（1-A）×（1-B）。并行路徑之間注意力權重圖相加和為1，可以更好地控制空間注意力的學習趨勢。因為圖像中每個像素的尺度是固定的，多尺度信息必然有所側重而不存在每個尺度信息重要程度一樣，而本文所提強注意力機制中某一尺度注意力權重越大，其相鄰尺度注意力權重必然會越小，可以更好區分多尺度信息的重要程度，進而提高像素尺度信息識別。

其中Conv 結構與atten 結構相似，區別在于最后atten 結構輸出結果為單通道，Conv 結果輸出為多通道，這樣可以盡可能使得兩個結構提取出的特征屬于同一水平深度特征，權重圖可以更好地表示對應位置特征的重要性。其結構如圖4所示。

為了獲得完整性更好的建筑物分割結果，在網絡末端加入金字塔空間池化模塊，以增強特征的全局相關性。其中金字塔空間池化模塊主要由4 個具有不同大小的最大值池化層組成，這些最大值池化層根據建筑物尺寸進行設計，以提取建筑物的全局特征。通過池化層得到的特征圖與原始特征圖進行級聯以實現全局空間增強。在網絡末端增加金字塔空間池化模塊可以避免全局信息在網絡提取過程中被抑制，能更好地提高建筑物的分割完整性，減少建筑物內部孔洞的產生。金字塔空間池化結構如圖5 所示。

圖4 Conv 結構示意圖Fig.4 Schematic diagram of Conv structure

圖5 金字塔空間池化模塊Fig.5 Pyramid space pooling module

3 實驗設置與結果

3.1 實驗數據及實驗平臺

本文研究是基于TensorFlow 框架，在具有12 GB 顯存的單個2080Ti GPU 上進行的。網絡訓練采用Adam 優化器，設置初始學習率為0.001，并 將beta1 和beta2 設置為默認 值，batch_size 設置為4，迭代次數為80 次。通過對數據集進行隨機旋轉及翻轉操作進行數據集擴充。對比模型為 ResUNet-a［15］，PSPNet［17］，ResNet101［18］，HRNetv2 和SCAttNet［19］。

因為涉及到像素級二分類，所以采用sigmiod 交叉熵函數作為損失函數，計算方式如公式（1）所示：

其中：代表當前像素的真實值，y代表當前像素的預測值，Loss為損失量。

實驗數據集選 擇WHU 建筑數據集［9］及Massachusetts Buildings 數據集［20］，兩個數據集都為已標注數據集。其中WHU 數據集樣本來自新西蘭土地信息服務網站，數據集有約22 000個獨立建筑，圖像分辨率為0.3 m。圖像為RGB遙感影像，每個圖像尺寸為512×512 pix。數據集共有8 188 個圖像，其中訓練數據集為4 736個圖像，驗證集為1 036 個圖像，測試集為2 416個圖像。

Massachusetts Buildings 數據集由波士頓地區的151 個遙感圖像組成，每張遙感圖像的像素為1 500×1 500，覆蓋面積為2.25 km2。其中訓練集包括137 個圖像，測試集包括10 個圖像，驗證集為4 個圖像。相較于WHU 數據集，Massachusetts Buildings 數據集陰影干擾及建筑物密集程度較高，Massachusetts Buildings 中每個512×512 輸入圖像中建筑物個數普遍存在200 個左右，WHU 數據集中則大多只存在40 個左右，且Massachusetts Buildings 數據集中多數建筑存在陰影干擾，且陰影面積占建筑面積接近1/3 影響較大，WHU 數據集中陰影干擾較少，難以判斷網絡在陰影干擾條件下的分割效果。因此采用Massachusetts Buildings 數據集可以驗證本文算法在不同場景下的性能。WHU 數據集與Massachusetts Buildings 數據集部分區域對比如圖6所示。

圖6 WHU 數據集與Massachusetts Buildings數據集對比Fig.6 Comparison of WHU dataset and Massachusetts Buildings dataset

3.2 分割性能評價指標

本文采用精確率（precision），召回率（recall），F1-score 和平均交并比（MIoU）像素級度量指標來評估PPA-Net 和其他不同方法的性能，具體公式如下：

其中：TP指對正樣本的正確預測，FN指對正樣本的錯誤預測，TN指對負樣本的正確預測，FP指對負樣本的錯誤預測。precision表示預測為正樣本的數據中預測正確的樣本數量比例，recall表示總正樣本中預測正確的樣本數量比例，F1-score是precision和recall的調和平均值，可以更好的反映模型的分割性能，IoU表示預測為正樣本的數據及標簽中正樣本數據的交集除以兩個數據集的并集，MIoU為總數據集的平均IoU。

3.3 模型對比試驗結果分析

在WHU 數據集上，本文模型與其他對比模型的分割結果對比如圖7 所示。

從圖7 可以看出，第一個場景中，在建筑物被附近植被部分遮擋的情況下，本文算法相較于其他算法，對被遮擋部分的建筑物分割效果較好，能夠有效抑制建筑物遮擋的影響。第二個場景中，本文算法相較于其他算法，在小型建筑之間的間隙識別中具有更好的性能，其他算法則將相鄰建筑之間的背景識別為了建筑。第三個場景中，本文算法精確識別出了邊緣的小型建筑，而其他算法則識別不全或識別不出。第四個場景中，本文算法對大型建筑邊緣分割較為精確，且大型建筑內部不存在孔洞。從圖7 整體的結果可以看出，HRNetv2 由于在并行多路徑提取特征后只是簡單的將多尺度特征級聯到一起，沒有很好地結合多尺度特征，導致分割結果并不好。ResUNet-a 模型以U-Net 為基礎架構，基于殘差連接的思想提出Resunet-a 模塊增加網絡深度及多尺度信息，但其仍將編碼器對應階段的特征復制融合到解碼器中相應階段中，引入了淺層特征中的大量噪聲，最終導致分割效果較差。ResNet模型網絡層數較深，能夠提取到深層的語義特征，但由于下采樣操作導致信息的缺失，最終導致分割邊緣精度的下降。PSPNet 模型基于ResNet50，引入金字塔結構，但只是簡單地提取了多尺度的信息，對多尺度信息融合較為簡單，導致分割結果并不好。SCAttNet 模型以Seg-Net 為基礎網絡，在網絡上采樣恢復分辨率前加入空間注意力及通道注意力模塊以提高分割精度，但其模型仍存在下采樣過程中損失過多細節信息的問題。相較于這些算法，PPA-Net 在提取多尺度特征之后，采用強相關多尺度注意力機制，很好地融合了多尺度信息，在這之后采用金字塔空間池化結構，增強網絡分割建筑邊緣的精確度和孔洞的減少，在建筑物被遮擋及建筑物之間尺度變化較大的情況下，分割效果較好。

圖7 在WHU 數據集分割結果對比Fig.7 Comparison of segmentation results in WHU datasets

表1 給出了各個模型對WHU 數據集分割的指標對比，其中參數量及計算量以百萬為單位（Million，M）。

表1 在WHU 數據集分割指標對比Tab.1 Comparison of segmentation indicators in WHU dataset

從表1 中不同算法再WHU 數據集上所，分割后的結果的定量分析可以看出，本文所提模型PPA-Net 在MIoU，Recall 及F1-score 表現皆為最優，而在指標Precision 上并不是最優，表明本文所提模型在整體分割性能上是要優于其他算法，但在預測結果為建筑部分的準確率仍有待提高，仍需降低其誤分類概率。從參數量及計算量可以看出，由于本文所提模型PPA-Net 是基于HRNetv2 進行了改進的，對比HRNetv2 本文所提模型參數量及計算量皆有所下降，且分割性能得到了一定提高。

在Massachusetts Buildings 數據集上，本文模型與其他對比模型的分割結果如圖8所示。

圖8 在Massachusetts Buildings 數據集分割結果對比Fig.8 Comparison of segmentation results in Massachusetts Buildings dataset

從圖8 中，第一個場景的分割結果可以看出，ResUNet-a 對大型建筑分割非常差，缺失了一大部分建筑，ResNet101 和PSPNet 則未識別出兩個建筑物之間的間隙，HRNetv2 和SCAttNet 則對叉形建筑存在誤分割現象，相對而言本文所提模型PPA-Net 在兩個建筑之間間隔較小時，可以準確分割出其間隙，且未對叉形建筑內部非建筑物產生誤分割現象。從第二個場景的分割結果可以看出，在方框區域內，PPA-Net 對小型建筑及大型建筑分割效果較好，對其邊緣定位較為精確，而HRNetv2 未分割出一部分三角形建筑，其他對比模型則對小型建筑分割效果較差，邊緣定位不夠準確。從第三個場景的分割結果可以看出，方框區域內的建筑物屬于圈型建筑，其內部存在陰影的干擾，對比的模型對建筑內部分割較差，存在嚴重的誤分割現象，而本文所提PPANet 在陰影干擾下對建筑內部分割較好。從數據集Massachusetts Buildings 的分割結果來看，本文算法對陰影抗干擾性較強，且能在密集型建筑物中準確分割出其邊緣。

表2 給出了各個模型對Massachusetts Buildings 數據集分割指標的對比。

表2 在Massachusetts Buildings 數據集分割指標對比Tab.2 Comparison of segmentation indicators in Massachusetts Buildings dataset

從表2 指標對比可以看出，本文模型相較于對比模型在各個指標上都有較大提升，MIoU 指標相較于ResUNet-a 提升1.46%，分割性能更佳，通過兩個數據集的指標提升對比，可以發現PPA-Net 在建筑物密集且陰影干擾較多的數據集上表現更好。

3.4 與其他現有模型對比

本部分將所提模型與目前一些較新的建筑物分割模型進行對比，由于相關論文代碼并未開源，因此在WHU 數據集上的性能指標直接采用相應文章的結果，對比如表3 所示。SRI-Net［10］采用修改后的ResNet-101 編碼器生成多級特征，以空洞卷積拓寬感受野，并提出空間殘差初始（SRI）模塊以融合多尺度信息。DE-Net［21］以編碼解編碼為主要架構，在下采樣過程中采用最大池化層及跨部卷積級聯，并用密集型上采樣卷積獲得建筑分割結果。DS-Net［22］采用深層次監督子網絡對模型的多尺度輸出進行監督學習，并采用多尺度注意力模塊對多尺度信息進行融合輸出分割結果。AGEDNet［23］以修改后的ResNet-50 為基礎網絡，加入空間注意力及空間金字塔池化模塊以提高建筑物分割精度。RBUNet［24］在編碼部分加入了自注意力模塊以提高模型對顯著區域的關注度，在解編碼部分采用多個大型卷積進行上采樣以加強模型解編碼能力。由表3 中數據可以看出，本文所提模型在MIoU，Recall 及F1-score 指標中均優于所比較的建筑物分割模型。

表3 與現有模型在WHU 數據集上對比Tab.3 Comparison with existing models on the WHU dataset

3.5 模型消融實驗分析

為了分析強注意力機制和金字塔空間池化模塊對分割精度的影響，本文對整體模型在WHU 及Massachusetts Buildings 數據集上進行消融學習實驗。首先，本文在沒有添加任何模塊的基礎模型（baseline）上進行實驗，然后在基礎模型上增加強注意力機制模塊（baseline+A）進行實驗，最后在基礎模型上增加金字塔空間池化模塊（baseline+P）進行實驗。在WHU 及mass build 數據集上的分割指標對比如表4 所示，部分區域分割結果對比如圖9 所示。

表4 消融實驗指標對比Tab.4 Comparison of ablation experimental indexes

圖9 消融實驗分割結果對比Fig.9 Comparison of ablation experiment segmentation results

由表4 的數據對比可以看出，baseline 加入強注意力機制模塊及金字塔空間池化模塊能夠有效提高建筑分割的準確度，其中金字塔空間池化模塊的增加對模型的計算量及參數量增加較少，但其分割性能上提升也不多，強注意力機制模塊對模型的計算量及參數量增加較多，模型的分割性能上提升也較為明顯?？偟膩碚f，金字塔空間池化模塊及強注意力機制模塊能夠有效提高模型分割精度，且兩個模塊存在一定的互補關系，整體網絡相較于增加單個模塊分割性能更優。

由圖9 的分割結果對比可以看出，場景一方框區域內，當建筑被植被遮擋較多時，增加了強注意力機制模塊的模型相較于未增加強注意力機制模塊的模型能夠識別出更多被遮擋的建筑，分割效果更好。在場景二的方框區域內，當模型未增加金字塔空間池化模塊時，對大型建筑分割內部存在孔洞現象，增加金字塔空間池化模塊后能夠有效抑制孔洞現象的產生。在場景三的方框區域內，建筑存在被陰影干擾的現象，增加了強注意力機制模塊的模型在建筑與陰影相交邊界的分割效果更好，能夠有效增加對陰影的抗干擾作用。由消融實驗對比結果可以看出，強注意力機制模塊能夠有效增加模型在建筑遮擋、陰影干擾現象中的分割精度，金字塔空間池化模塊能夠有效抑制模型對大型建筑分割時內部孔洞的出現。

4 結論

對遙感影像中的建筑物提取，本文提出一個并行多路徑網絡，在多路徑提取特征的過程中對并行路徑特征進行融合，加強各個路徑之間的多尺度信息；在多路徑提取的最后階段，加入強相關注意力機制，融合各個路徑的特征，增強特征之間信息的互補，對特征進行有效加強，提升網絡在建筑物被遮擋及建筑物陰影干擾下的分割性能。在最后階段加入金字塔空間池化結構，減少建筑內部孔洞的產生，并提高建筑分割的精確度。實驗證明，本文所提的模型在遙感影像中對建筑分割效果較好，相較于對比的算法，在WHU 數據集及Massachusetts Buildings數據集上IoU 指標，F1-score，Recall 指標都是最好的，但在WHU 數據集上Precision 不是最優的，說明預測中將背景誤認為建筑較高，且邊緣并不是很精確，是下一步改進的方向，后續也可將此網絡改進推廣到遙感圖像其他元素的分割中。