融合注意力機制的建筑物提取方法

劉德祥，張海榮，承達瑜，彭正濤，趙安周

(1.中國礦業大學 環境與測繪學院，江蘇 徐州 221116；2.河北工程大學 礦業與測繪工程學院，河北 邯鄲 056038)

0 引言

高分辨率的地球觀測技術提供了大量的高分辨率遙感圖像，可以精細地描述各種地理空間對象，例如建筑物、水系、道路等[1]。建筑物是城市基礎地理信息的重要組成部分，從高分辨率遙感圖像中自動提取建筑物對城市管理、規劃和監測有非常大的幫助[2]。傳統的建筑物提取方法主要依賴于人工設計的特征如長度、邊緣、紋理、陰影、光譜等，這種憑經驗設計的特征一般只適用于特定的數據，魯棒性較差[3]。因此，研究高魯棒性和高效建筑物提取方法非常有必要。隨著深度學習的不斷成熟，卷積神經網絡逐漸應用到建筑物提取，并且取得了不錯的效果[4-6]。目前，比較流行的建筑物提取方法多是采用基于全卷積神經網絡FCN的語義分割方法[7]。U-Net、SegNet、PSPNet、Deeplab系列等[8-13]作為FCN的經典變體，在建筑物提取領域也得到廣泛應用。季順平等[14]提出了一種改進U-Net的建筑物提取方法SU-Net，將U-Net解碼部分的多尺度預測結果拼接，使得最終的預測圖匯聚了多個尺度的信息，一定程度上解決了因目標尺度大小不一帶來的提取困難的問題。張浩然等[15]將U-Net與條件隨機場(conditional random field，CRF)結合實現遙感影像中建筑物提取，將條件隨機場作為一種后處理方法優化U-Net的提取結果。張春森等[16]提出了一種改進SegNet的建筑物提取方法，融合PSPNet中的金字塔池化模塊捕獲多尺度特征。Shao等[17]提出了一種建筑物殘差修正網絡(building residual refine network，BRRNet)，首先在預測模塊使用不同膨脹率的膨脹卷積捕獲多尺度特征，接著將預測模塊的輸出作為殘差優化模塊的輸入進一步優化真實值與預測值之間的殘差，有效地提高了建筑物提取的準確性。王俊強等[18]將Deeplabv3+與條件隨機場結合用于遙感影像典型要素提取。上述方法，一類是通過優化特征提取方式如在網絡中加入膨脹卷積或空間金字塔池化模塊提高模型精度；另一類是通過后處理方式如條件隨機場、圖像形態學等方法進一步優化提取結果。然而，基于空間金字塔的方法以非自適應方式聚合上下文信息，且所有尺度的特征都采用同類上下文信息，不能滿足不同像素需要、不同上下文依賴的要求；基于膨脹卷積的方法在保證參數量不變的情況下雖然可以獲得更大范圍的特征信息，但實際上無法獲取密集的上下文信息。后處理方法在一定程度上能對提取結果進一步優化從而提高提取精度，但該類方法更多地受限于優化前的提取結果。

針對上述問題，本文提出了一種融合注意力機制的建筑物提取網絡(residual dilated attention network，RSDANet)。該方法采用深度學習中經典的Encoder-Decoder結構，在Encoder中，設計了一個多級的殘差連接塊(residual dilated block，RSD Block)，多級殘差連接可以將特征學習問題轉移到學習殘差映射的殘差映射，這比原始殘差映射更容易學習[19]。在RSD Block模塊特征提取后，加入兩個特征金字塔模塊(feature pyramid networks，FPN)，特征金字塔對每一種尺度的特征進行特征提取和融合，實現多尺度的特征表示，并且每種尺度的特征都具有較密集的語義信息。考慮到遙感影像細節信息繁多，需要進一步提取高層特征圖中對象之間的相互關系，提出一種注意力機制(weighted-convolutional block attention module，W-CBAM)，該注意力機制以全局上下文信息作為約束條件抑制或增強特征。在Decoder中，使用跳躍連接將語義信息更豐富的高層特征圖與空間信息更豐富的低層特征圖逐步融合，充分的利用空間和語義信息，使提取結果更細致。

1 RSDANet建筑物提取方法

RSDANet是一個基于編碼器-解碼器(Encoder-Decoder)結構的建筑物提取網絡，其總體結構如圖1所示。該網絡主要由殘差網絡、空洞卷積、深度可分離卷積、注意力機制等組成。在Encoder中，首先，經過四層RSD Block初步提取特征，在RSD Block中，取消池化采用步長為2的卷積層來壓縮特征圖；其次，為了使每種尺度的特征達到多尺度的特征表達，在RSD Block后加入一個雙向的特征金字塔模塊；最后，將特征金字塔處理后的特征通過注意力機制W-CBAM進行自適應的特征抑制或增強。在Decoder中，通過Skip-Connection逐步將語義信息豐富的低分辨率特征與空間信息更豐富的高分辨率特征融合，最后恢復到原圖大小。

1.1 RSD Block

本文提出了一種多級殘差連接塊RSD Block，該結構包括兩個殘差單元和三個殘差連接，具體結構如圖2所示。第一個殘差單元與He等[20]提出的殘差網絡ResNet結構相同，由2個3*3的卷積層串聯，外接一個殘差連接，并在每個卷積層后加入批量歸一化Batch Normalization和RELU激活函數。由于普通卷積感受野較小，局部特征的提取效果較好，為了提取更大范圍的特征，在第二個殘差單元中采用空洞率為2的空洞卷積。由于使用雙重殘差結構，模型過大、參數過多，為了進一步減少參數量，提高網絡的速度，在第二個殘差單元中將深度可分離卷積和空洞卷積結合，使用空洞率為2的深度可分離卷積。最后，在兩個殘差單元外接一個殘差連接。另外，RSD Block中去掉池化層，設置卷積步長為2完成特征下采樣。RSD Block中使用了兩種不同的殘差單元，可充分利用局部特征和局部特征周圍的上下文信息。

注：?拼接；⊕逐像素相加(Add)；?逐像素相乘；α*Fcs+0.5*d4,其中α為可訓練權重；Fcs為增強或仰制后的特征；r1、r2、r3、r4,d1、d2、d3、d4為卷積得到的特征；u1、u2、u3、u4,o1、o2、o3、o4為上采樣得到的特征；c4、s4分別為通道注意力和空間注意力提取得到的特征。圖1 RSDANet結構圖

圖2 RSD Block結構圖

1.2 雙向FPN

在經過四層步長為2的RSD Block初步的特征提取后可以得到四個不同尺度的特征r1、r2、r3、r4，為了進一步將不同尺度特征融合，設計了一個簡單雙向的FPN結構，該結構如圖3所示，依次進行自上而下的Up-FPN和自下而上的Down-FPN，實現多尺度特征融合。Up-FPN首先對r4進行卷積得到特征u4，u4通過上采樣與r3融合得到特征u3，u3按照同樣方法得到特征u2、u1。Down-FPN則是對u1進行卷積得到特征d1，d1下采樣與u2融合得到特征d2，最后依次得到特征d3、d4。經過雙向FPN處理后，特征金字塔對每一種尺度的特征圖進行特征提取，使得每種尺度的特征圖能夠產生多尺度的特征表示，并且所有尺度的特征圖都具有較強的語義信息。

圖3 雙向FPN結構圖

1.3 W-CBAM

通過RSD Block以及雙向FPN對輸入數據進行特征提取，可以得到包含豐富語義信息的多尺度特征。為了進一步提取高級特征圖中對象之間的相互關系，提出了一個W-CBAM模塊以自適應的方式抑制或增強特征，該模塊結構如圖4所示。該結構結合了卷積注意力模塊(convolutional block attention module，CBAM)[21]和Dual Attention[22]，在CBAM的基礎上加入Dual Attention的融合方式，即給定一個初始值為0的可訓練權重α，在網絡訓練過程中逐漸調節權重，權重為0時，相當于不進行注意力機制。W-CBAM由通道注意力和空間注意力構成。首先，通道注意力使用全局平均池化、最大池化將d4∈Rw×h×c空間維度的特征聚合到通道維度得到特征Fcm∈R1×1×c、Fca∈R1×1×c。其次，使用兩個全連接層對聚合后的兩種特征Fcm、Fca進一步提取，將處理后的特征通過逐像素相加方法融合，融合后得到特征e4∈R1×1×c，e4可視作通道維度的全局上下文信息，通過全局上下文信息與輸入特征逐像素相乘來抑制或增強特征得到特征Fcs∈Rw×h×c。再次，賦予Fcs一個初始值為0權重α并與d4使用逐像素相加方法融合，得到特征c4∈Rw×h×c，此時d4的值取一半；空間注意力則從空間維度出發，將d4∈Rw×h×c通道維度的特征聚合到空間維度得到Fsm∈Rw×h×1、Fsa∈Rw×h×1，聚合方式與通道注意力相同，分別取平均和最大值。然后，將聚合后的特征拼接得到新的特征f4∈Rw×h×2，使用5×5大小的卷積核對f4特征提取和通道壓縮得到特征g4∈Rw×h×1，該特征可看作空間維度的全局上下文信息，相似地，將其與d4逐像素相乘得到Fcs∈Rw×h×c，賦予Fcs一個初始值為0權重α并與d4融合，得到s4∈Rw×h×c，此時d4的值取一半。最后，將空間注意力和通道注意力處理后得到的特征c4、s4逐像素相加，由于d4參與兩次逐像素相加運算，故取一半。多尺度特征經過全局上下文信息作為約束條件進一步處理，可以有效地增強或抑制特征，使得遙感影像中建筑物和背景更好被區分。

注：本圖圖注詳見圖1及上文。圖4 W-CBAM結構圖

1.4 Decoder

特征解碼器模塊用于恢復編碼器提取的語義特征，生成與輸入數據大小相同的預測圖。在解碼器中，使用雙線性上采樣和卷積結合的方式放大特征圖。而在編碼器部分，由于遙感影像通過卷積操作不斷下采樣，分辨率被壓縮到非常小，損失了很多的空間位置信息，不利于精確的預測圖生成。為了解決這個問題，本文借鑒U-Net的處理方法，通過Skip-Connection把低層的特征圖融合起來，通過融合特征分辨率較高、層數淺、含有豐富空間信息的特征，更利于生成精細的預測圖。

2 實驗結果

2.1 實驗數據與訓練方法

選取某區域的高分二號遙感影像作為數據源驗證本文算法，將標注好的數據按256像素×256像素大小分割得到2 000張圖片作為訓練數據集，記作GF2-TrainSet，部分訓練數據如圖5所示，上半部分圖片為遙感影像，下半部分圖片為標注結果。從剩余的遙感影像中截取一塊影像并分割得到2 700張遙感影像作為測試數據集，記作GF2-TestSet。

圖5 訓練數據

為了使模型有較好的魯棒性，對訓練數據做隨機裁剪、擴充、旋轉、翻轉、濾波等操作擴充樣本，數據增強結果如圖6所示。

圖6 圖像增強結果

本次訓練分為兩個階段，使用常用的交叉熵損失函數和Adam優化器。第一個階段使用學習率為0.001進行初步訓練；第二個階段降低學習率為0.000 1微調模型。具體訓練超參數見表1。算法實現使用Tensorflow+Keras深度學習框架，在GPU(Tesla T4)提供的運算環境下完成訓練，訓練過程中的準確率(accuracy)和損失(loss)如圖7所示。

表1 訓練超參數

圖7 訓練損失和準確率曲線

2.2 精度評定指標

為了更好地驗證本文算法的分割效果，實驗采用語義分割中常用的像素準確率(pixel accuracy，PA)、像素平均交并比(mean intersect over union，MIoU)作為精度評定指標[23]。在介紹上述指標時，先要了解混淆矩陣，如表2所示，它是一種特定的矩陣用來呈現算法性能，其每一列代表預測值，每一行代表真實值。

表2 混淆矩陣

其中,TP表示真正類，即樣本的屬性為正類，預測結果也為正類；FN表示假正類，即樣本的屬性為正類，預測結果為負類；FP表示假負類，即樣本的屬性為負類，預測結果為正類；FN表示真負類，即樣本的屬性為負類，預測結果也為負類。像素準確率PA的計算如式(1)所示，像素平均交并比MIoU的計算如式(2)所示。

(1)

(2)

2.3 結果分析

使用2.1節介紹的超參數訓練，網絡收斂后得到建筑物提取模型。使用該模型在測試數據集GF2-TestSet測試得到的整體結果如圖8所示，可以看出提取結果與真實值高度重合。

圖8 RSDANet提取結果

為了進一步驗證本文算法，本文同時和U-Net、Deeplabv3+算法對比，各算法在測試數據集GF2-TestSet上的精度評價指標如表3所示。從表3可以看出，RSDANet算法精度最高，而U-Net參數量最多，提取速度最慢，Deeplabv3+使用MoblieNetV2作為特征提取網絡時，雖然很大程度上減少了參數量，提高了建筑物提取速度，但在測試集GF2-TestSet的提取效果卻最差；在使用Xception65作為特征提取網絡時，Deeplabv3+方法在測試集上MIoU提高了4.75%，同時PA提高了0.79%。本文方法相比于Xception65+Deeplabv3+方法，不僅MIoU提高了2.24%，PA提高0.31%，算法的參數數量也有所減少，兼顧了精度和速度。

表3 不同算法的精度評定指標對比

不同算法的部分提取結果如圖9所示。從圖9的提取結果可以看出，相對于U-Net、Deeplabv3+等算法，本文方法的誤檢、漏檢都有相應的減少，提取結果更接近于真實值，基本上能提取出所有的建筑物目標。

圖9 不同算法提取結果對比

為了驗證W-CBAM的有效性，本文同樣做了相應的驗證，即去掉RSDANet中的W-CBAM模塊以及在U-Net中加入W-CBAM模塊進行對比，對比結果如表4所示。從表4可以看出，無論是U-Net還是RSDNet方法，在加入W-CBAM注意力模塊后，PA、MIoU指標均有提高，說明W-CBAM模塊的有效性。

表4 W-CBAM驗證結果

3 結束語

本文提出的融合注意力機制的建筑物提取網絡模型實現了以自適應的方式進一步約束遙感影像特征，可以有效解決遙感影像中因細節信息復雜導致的特征提取困難、分割精度低等問題。同時，該注意力機制與其他語義分割算法如U--Net、Deeplab等結合也十分方便。為了獲得更豐富、更大范圍的上下文語義信息，設計了一個多殘差連接塊RSD Block，在普通的殘差結構之后增加了一個帶有空洞卷積的殘差結構，借助空洞卷積，可以增大感受野，使卷積核映射的特征范圍更大。除此之外，模型中還加入了雙向的特征金字塔結構用于捕獲多尺度信息，提高模型的泛化能力。實驗結果表明，該方法在建筑物提取方面有不錯的表現。不過，模型的邊緣檢測精度仍有待提高，下一步將重點研究加入建筑物的邊緣約束條件，并將其擴展至本文方法。同時，希望可以在該方法的基礎上擴展，實現遙感影像中其他地物目標的提取。