多尺度特征融合空洞卷積ResNet遙感圖像建筑物分割

徐勝軍，歐陽樸衍*，郭學源，Taha Muthar Khan，段中興

(1.西安建筑科技大學 信息與控制工程學院，陜西 西安 710055；2.清華大學建筑設計院有限公司，北京 100084)

1 引 言

建筑物作為城市區域的重要特征，是占主體地位的地物目標，遙感圖像建筑物的分割在重要目標的識別及定位、國防安全和掌握建筑物實時位置等方面都有著重要研究意義和應用價值。但是由于不同時相遙感圖像受角度、光照、季節等因素的影響，同時也會受到建筑物周圍背景，如道路、樹木及其他地物陰影等的干擾，使得遙感圖像建筑物的分割成為高分辨率遙感圖像分割中最具挑戰性的任務之一。

在遙感圖像建筑物語義分割中，傳統方法通過人工或機器學習方法[1-4]獲取梯度、灰度值、紋理信息等圖像特征實現對特定目標的分割，主要包括基于閾值基于邊緣和基于區域的分割方法。ANDRES 等[1]提出一種基于K-means算法的閾值確定方法對遙感圖像進行分割，利用K-means分類來指導遙感圖像的分割過程。Wang等[2]在遙感圖像閾值分割的基礎上，融合邊緣提取的方法得到遙感圖像分割物的邊緣信息，最終對目標區域實現分割。Deng等[3]引入區域合并的方法來解決遙感圖像過分割問題，運用基于區域面積加權的區域相似度準則解決區域合并中過分割的問題實現對遙感圖像的分割。Zhao等[4]提出了一種基于灰度共生矩陣豐富邊緣區域提取的圖像去模糊方法，將區域特征信息與圖像邊緣信息結合，從模糊圖像中提取高頻信從而提升圖像分割精度。這些傳統方法在提取遙感圖像建筑物特征信息時受到空間相關性弱、多閾值選擇限制和邊緣信息不連續等因素影響較大，分割結果欠佳[5]。

近年來，利用深度學習[6-20]實現遙感圖像建筑物語義分割得到了廣泛關注。相比傳統方法，基于深度學習的方法可以針對具體的遙感圖像建筑物分割問題自動學習合適的特征表示，其分割的實質是建立圖像到分割目標之間的復雜映射模型。Krizhevsky等[6]提出AlexNet模型，利用深度神經網絡對圖像進行分類。Simonyan等[7]基于VGG模型，通過反復堆疊 3×3的卷積核和2×2最大池化層，不斷加深網絡結構來提升性能。但是隨著網絡的加深，出現訓練集準確率下降，錯誤率上升的現象。He等[8]提出深度殘差網絡ResNet(Residual Neural Network，ResNet)，解決了網絡模型的退化問題，利用更深層的網絡提取更復雜的特征。在卷積神經網絡中，很多經典網絡被應用于遙感圖像的語義分割。YE等[9]使用一種基于卷積神經網絡的融合算法網絡[10]對傳統融合方法中人工制定融合規則的缺點加以改進，利用網絡模型將出入圖像輸出具有端到端特性的融合圖像，通過訓練數據自適應學習強魯棒融合函數從而加強分割效果。ZHU等[11]利用SegNet[12]與圖像形態學結合來消除遙感圖像噪聲，減少誤判從而提升遙感圖像的分割精度。Yang等[13]在SegNet基礎上利用解碼器模塊將低分辨率映射特征傳遞到高分辨率映射特征，對高維特征進行低維提取，達到對遙感圖像提取和分割的目的。Piramanayagam[14]等采用完全卷積神經網絡(Fully Convolutional Networks，FCN)框架對多傳感器圖像進行像素級分類，將提取的特征經過全卷積后進行融合實現遙感圖像的分類。Saito等[15]結合卷積層與全連接層組合成的深度神經網絡模型實現遙感圖像建筑物與道路的分割。Bittner等[16]利用VGG深度神經網絡訓練建筑物邊緣距離特征信息，建立能量損失函數模型來分割遙感圖像建筑物。Jiao等[17]提出一種基于全連接條件隨機場深度多尺度模型來實現高光譜遙感圖像的分割。Xu等[18]提出一種全卷積網絡模型FCN，去掉下采樣層，將多元信息在輸入端進行融合來實現遙感圖像小目標的分割。但是上述方法在遙感圖像的建筑物分割中，提取的固定大小的建筑物特征信息對一些較小尺寸的建筑物經常無法實現精細化分割，甚至出現漏檢的問題。另外遙感圖像建筑物的分割常受到復雜場景中道路、樹木及建筑物之間距離等因素的影響，建筑物的分割邊界容易與其他物體邊界融合使得難以提取并精確分割。

針對上述問題，提出了一種基于多尺度特征融合的空洞卷積ResNet(Multiscale-feature fusion Dilated Convolution ResNet，MFDC-ResNet)模型，提出模型選用ResNet模型作為基礎網絡，引入空洞卷積方法提取更大范圍的建筑物特征，然后利用4鄰域加權特征算子增強空洞卷積中心點對特征的提取能力，最終將不同尺度的多個遙感圖像建筑物特征融合來提升及分割精度。

2 Resnet深度殘差網絡

2.1 ResNet基本結構

令X={x1，x2，…，xN}表示遙感圖像，其中xi表示任意像素，N為像素總數；Z={z1，z2，…，zN}表示遙感圖像建筑物分割結果。基于深度學習方法對遙感建筑物圖像分割的實質是建立遙感圖像與分割結果之間的映射關系f(·)：

Z=f(X，ω)，

(1)

式中ω為神經網絡中的權重。

遙感圖像具有高維性、強背景干擾以及建筑物復雜多變等特征，淺層網絡難以有效建立起遙感圖像與分割結果之間的映射關系f(·)。深度殘差神經網絡ResNet在深度神經網絡中增加殘差網絡，通過學習多個網絡層輸入、輸出之間的殘差，簡化學習目標同時保護信息的完整性，解決了網絡層數增多時由于誤差增高、梯度消失而導致訓練結果變差的現象。ResNet101基礎模型分別用1×1，3×3，1×1的卷積堆疊，其網絡整體模型如圖1所示。

圖1 ResNet101網絡結構Fig.1 ResNet101 network structure

2.2 ResNet基礎殘差模塊

ResNet基礎殘差模塊主要有2種，圖2(a)是常規模塊，由兩個64×64通道的3×3卷積組成，輸入和輸出均為64通道。圖2(b)是瓶頸模塊，通過一個1×1卷積將256維通道降維到64維通道，最后再通過一個1×1卷積恢復到256維通道。殘差模塊輸入輸出映射關系fc(·)為：

fc(X，ω)=H(X)-X，

(2)

式中：H(X)表示網絡輸入X的期望輸出；H(X)-X表示網絡輸出和輸入的殘差。

(a)常規模塊(a)Residual block

(b)瓶頸模塊(b)Bottleneck圖2 基礎殘差模塊Fig.2 Basic residual module

由殘差模塊框架可知，在訓練模型輸出端引入樣本的前饋通道構成閉環，把網絡的恒等映射函數H(X)=X訓練轉換為一個殘差函數fc(X，ω)=H(X)-X的訓練，從而使得深度神經網絡的權值收斂更加有效。

3 多尺度特征融合的空洞卷積Resnet

模型

由于遙感圖像中建筑物尺寸大小不一，利用固定大小的建筑物特征常無法對一些較小尺寸的建筑物實現精細化分割，甚至出現漏檢的問題，另外遙感圖像建筑物的分割常受到復雜場景中道路、樹木及建筑物之間距離等因素的影響，導致建筑物與其他物體邊界相互混淆。針對此問題，本文提出了一種基于多尺度特征融合的空洞卷積Resnet模型(MFDC-ResNet)。提出的MFDC-ResNet模型由空洞卷積特征提取、多尺度特征融合和特征解碼3個模塊組成。基礎網絡為ResNet101，分別運用不同擴張率的空洞卷積自動提取遙感圖像中建筑物X的特征信息，在不損失所提取圖像特征信息的基礎上增加特征提取的感受野，獲取比ResNet基礎網絡更大范圍的建筑物特征信息；其次將提取的不同層次特征信息Y送入多尺度特征提取模塊輸出，將多層次的特征信息Y(m)和對應的多個上下文信息C(m)由深到淺從多個層次融合并逐層輸出特征A(m)，融合時保持輸出步幅下采樣的倍數不變；最終由ResNet101模塊的特征解碼恢復圖像原始分辨率，輸出遙感圖像建筑物分割結果Z。提出MFDC-ResNet模型框架如圖3所示。

圖3 MFDC-ResNet模型框架Fig.3 MFDC-ResNet model frame

3.1 改進的ResNet基礎模塊

為了避免卷積輸出可能存在的負值對ReLU激活層輸出的弱化，增強深層網絡訓練過程中的圖像特征信息，在ResNet101基礎殘差模塊的基礎上，將BN(Batch Normalization)層和ReLU(Rectified Linear Unit)激活層放置于卷積層之前，改進后ResNet基本模塊結構如圖4所示。

圖4 改進的ResNet基本模塊Fig.4 Improved ResNet basic module

BN層通過規范化的方式，使激活函數輸入在可以激活的區域，輸入的變化可以反應損失函數的變化，產生較大梯度以避免梯度消失，從而加快訓練中網絡收斂速度和學習速率。BN層的實現過程如算法1所示：

算法1 批量規范化(BN)Step1: 獲取容量為m的當前批次訓練樣本:X={x1,x2,…,xm};Step2:計算均值μδ:μδ←1m∑mi=1xi;Step3: 計算方差σ2δ:σ2δ←1m∑mi=1(xi- μδ)2;Step4: 樣本規范化:^x←xi- μδσ2δ+ε;Step5: 尺度變換規范化輸出:yi←γ^xi+β≡BNγ,β(xi),其中^xi為標注化參數,γ和β為需要學習的參數,δ為小批量數據的值。

ReLU激活函數的作用是擬合訓練數據，單側抑制的特點可以使得ResNet基本模塊具有稀疏激活的作用。ReLU激活函數定義如式(3)：

f(x)=max(0，x)，

(3)

式中max(·)表示在輸入為負值時輸出為0，神經元不會被激活。

3.2 空洞卷積結構

在將遙感圖像輸入深度神經網絡過程中，對圖像進行連續卷積和池化或者其他下采樣操作整合多尺度上下文信息，這樣在降低圖像尺寸的同時增大感受野，會損失一些分辨率，使得一些圖像細節信息無法重建。針對以上問題，在ResNet中利用空洞卷積在不做池化操作損失特征信息的情況下增大感受野，每個卷積輸出包含比普通卷積更大范圍的特征信息，利于獲取遙感圖像中建筑物特征的全局信息。

空洞卷積向卷積層引入了一個“擴張率(Dilation Rate，DR)”的新參數，該參數定義了卷積核處理數據時各值的間距。設置不同擴張率時，感受野會不同，從而能夠獲取遙感圖像多尺度特征信息。實驗中，根據遙感圖像的原始尺寸來相應設定深度神經網絡中空洞卷積所提取的特征圖的大小，進而設定空洞卷積擴張率。本文設定擴張率參數分別為Rate=6，Rate=12，Rate=18，通過不同擴張率的卷積獲取多個尺度的建筑物特征信息，卷積內剩余點的權重均為0。空洞卷積結構如圖5所示。

圖5 空洞卷積結構Fig.5 Dilated convolution structure

在遙感圖像中，建筑物往往隨機分布在圖像任意位置，且其形狀變化大，利用空洞卷積提取特征時擴張率逐漸增大，而卷積中心點的特征權重會逐漸減弱。因此在利用空洞卷積提取建筑物特征時，在增強感受野的同時需要增強卷積核中心點的對圖像特征信息的描述能力。為解決這一問題，本文提出一種融合局部空間特征信息卷積核中心點提取方法來加強擴張率Rate=18時空洞卷積中心點對特征信息的描述能力。提出方法是在提取特征時將卷積核中心點及其4鄰域點作為有效點一同提取特征。對于一個3×3卷積核，輸出特征時將卷積核4個頂角的特征參數用0取代，將卷積輸出作為中心點的特征信息。提出的卷積核中心點提取方法如圖6所示。

圖6 卷積核中心點改進后提取方式Fig.6 Improved extraction method of convolution kernel center point

在中心點C0及其4鄰域點Cn(n=1，2，3，4)構成的3×3卷積中，利用局部區域空間特征信息提取新的中心點權重特征Y。中心點及鄰域的卷積過程如圖7所示。

其中輸入圖像向量為X={x1，x2，…，xN}，輸出特征Y={y1，y2，…，y9}，卷積過程表示為：

X*C=Y，

(4)

圖7 中心點及鄰域卷積過程

3.3 多尺度特征融合結構

利用深度神經網絡分割建筑物時，池化和其下采樣會導致建筑物邊緣信息丟失現象。空間金字塔池化對不同分辨率的特征圖進行池化，而不同尺度的上下文信息有助于獲得完整的建筑物邊界信息。因此基于空間金字塔池化在深度神經網絡模型中建立多尺度特征融合結構，去掉傳統深度神經網絡中的池化或者其他下采樣步驟，在不丟失分辨率的條件下更容易對建筑物目標定位。

表1 多尺度特征融合輸出Tab.1 Multiscale-feature fusion output

提出的多尺度特征融合結構分別采用3種不同采樣率的3×3卷積核獲取多尺度特征信息。但是當采樣率接近映射特征時，3×3的卷積核不能有效捕捉局部細節信息，因而采用1×1的卷積濾波器，利用濾波器中心點來提取遙感圖像建筑物邊緣較小的細節信息。多尺度特征融合結構如圖8所示。

圖8 多尺度特征融合結構Fig.8 Multiscale feature fusion structure

空間金字塔結構包含1×1和采樣率分別為6，12，18的空洞卷積，輸出通道的數量為256，最后包含一個BN層。在遙感圖像建筑物的多尺度信息融合時，采用不同采樣率的空洞卷積保持輸出步幅下采樣的倍數為8，將空洞卷積提取的多層次特征信息經過空間金字塔模塊處理的信息進行融合。提取特征時第m層的輸出為：

Y(m)=W(m)×X(m)+b(m)，

(5)

式中：第m層的卷積輸入為X(m)，輸出為Y(m)，權重參數為b(m)。空洞卷積輸出的各級特征Y(m)和對應的上下文特征C(m)經空間金字塔模塊由深到淺從多個層次融合各級特征A(m)，最終運用ResNet101中特征解碼模塊恢復圖像原有分辨率，輸出分割結果Z。多尺度特征融合的輸出如表1所示。

4 實驗結果及分析

4.1 實驗數據集及實驗平臺參數設置

實驗平臺搭載Inter Xeon E5 2650處理器，32 G內存，2個NVIDIA TitanV Volta 12 G顯卡(GPU處理單元)；深度學習框架采用pytorch-1.0.2，以及Nvidia公司CUDA8.0的GPU運算平臺以及cuDNN6.0深度學習GPU加速庫。實驗數據集采用WHU Building change detection dataset數據集。數據集樣本來自新西蘭土地信息服務網站，數據集有約22 000個獨立建筑。圖像的原始分辨率為0.075 m。為了便于訓練，將大部分的建筑物航空影像地面分辨率減低至0.3 m，并將原始圖片裁剪成像素大小為512×512的8 189張遙感圖像建筑物圖片，其中4 736張作為訓練集，1 036張作為驗證集，2 416張作為測試集。

為了驗證提出MFDC-ResNet模型的有效性，在實驗中將VGG[7]，ResNet[8]，ResNetCRF[21]與提出模型進行定性與定量對比評價。對比模型VGG，ResNet，ResNetCRF和MFDC-ResNet等網絡模型的初始化權值均來自在ImageNet數據集上的預訓練模型。其他參數初始值為0。MFDC-ResNet模型通過隨機梯度下降法對模型訓練，基準學習率為0.002 0，總迭代次數為250 000，每迭代5 000次學習率減少0.1倍，訓練過程中每次訓練包括1次前向傳播和1次反向傳播，前向傳播過程預測結果，反向傳播過程更新權重參數。

4.2 分割性能指標

為了量化分析分割結果，采用平均交并比(mean Intersection over Union， mIoU)和召回率(Recall Rate，Recall)對結果進行評價分割。本實驗中在建筑物類別上計算mIoU，可以準確地評價建筑物的分割精度，其計算方法如式(6)表示：

(6)

式中：k表示分割類別數目，nii表示實際類別為i而預測結果為j的像素點數，ti表示第i類的像素點總數，pi表示第i類預測結果的總像素數。

將Recall作為評價指標可以評價分割為建筑物的像素點與真實標注的建筑物像素點的比率，表征在不考慮遙感圖像背景的前提下建筑物的分割精度，其計算方法如下表示：

(7)

式中：Bseg表示遙感圖像分割中建筑物與標注結果相比分割正確的像素點數，Iunseg表示遙感圖像分割中建筑物與標注結果相比未正確分割的像素點數。

為了對比提出模型的有效性，分別采用基于VGG[6]，ResNet[7]，ResNetCRF[21]等方法對遙感圖像建筑物進行分割實驗。不同模型mIoU訓練過程和Recall訓對比分別如圖9和圖10(下圖橫坐標為迭代次數，單位：千次；縱坐標分別為評價指標mIoU和Recall精度)。由4種對比模型訓練過程可以看出，提出MFDC-ResNet 模型的平均交并比(mIoU)和召回率(Recall)曲線均高于VGG，ResNet，ResNetCRF的mIoU，Recall曲線。提出模型的mIoU，Recall隨著訓練數據集的增加精度逐漸增高，分別收斂在0.820和0.882附近，不同模型分割性能評價指標對比如表2所示。由表2可知，和VGG，ResNet及ResNetCRF3種模型相比，提出的MFDC-ResNet模型的mIoU、Recall性能評價指標有明顯提升，可以有效提升遙感圖像建筑物的分割精度。

圖9 mIoU訓練過程Fig.9 mIoU training process

圖10 Recall訓練過程Fig.10 Recall rate training process

表2 分割性能評價指標Tab.2 Segmentation performance evaluation index

4.3 不同模型分割結果分析

不同模型的分割結果對比如圖11所示，其中(a)列為分辨率512×512的遙感圖像，(b)列為建筑物標記真實值圖像，(c)列為VGG模型分割結果，(d)列為ResNet模型分割結果。(e)列為ResNetCRF模型分割結果，(f)列為MFDC-ResNet模型分割結果。

(a)Input

(b)Ground truth

(c)VGG

(d)ResNet

由實驗結果可以發現，基于VGG模型的分割方法存在明顯誤分割現象，特別是對于相鄰的建筑物出現許多建筑物粘連的情況，基于ResNet模型的分割結果與VGG模型相比有了一定提升，粘連現象不明顯，但是分割結果仍然欠佳；基于ResNetCRF模型，由于CRF層有效利用了多特征和上下文信息提升了建筑物分割結果，但在建筑物邊緣信息上分割準確性不高；提出的MFDC-ResNet與其它幾種對比模型相比建筑物邊緣清晰平滑，明顯減少對樹木道路等干擾物誤分割的情況，對于不規則建筑物也有較好的分割效果，有效減少因建筑物距離較近而導致分割邊界模糊的情況，分割結果明顯優于VGG，ResNet，ResNetCRF模型。

4.4 干擾因素對比實驗結果分析

對比實驗所用的遙感圖像數據集中包含了不同尺寸大小的建筑物和復雜場景下含有道路、樹木等干擾的建筑物以及距離相距較近的建筑物等，為了驗證提出MFDC-ResNet模型對不同干擾因素的抗干擾能力，分別對不同場景下遙感圖像進行分割實驗，并對實驗結果進行對比分析。

4.4.1 復雜道路條件下分割結果分析

圖12為包含復雜道路信息的遙感圖像分割結果對比。由4種深度神經網絡模型分割結果可知，4種模型均可以實現建筑物的分割，其中VGG模型受道路影響較大，存在一些道路誤分割情況，ResNet可以確定建筑物的大致位置，但建筑物邊緣信息不夠準確，在遙感圖像中對較窄道路有誤分割情況，與ResNet相比，ResNetCRF對建筑物邊界提取效果有所提升，但仍存在對道路誤分割情況；提出MFDC-ResNet 模型受到遙感圖像中道路的干擾較小，能夠較好提取建筑物的完整邊緣信息。由表3定量分析對比可知，提出MFDC-ResNet 模型分割精度高于其他3種模型。

(a)Input

(b)Ground truth

(c)VGG

(d)ResNet

(e)ResNetCRF

(f)MFDC-ResNet圖12 復雜道路條件下建筑物分割Fig.12 Building segmentation under complex road conditions

表3 復雜道路條件下分割性能對比Tab.3 Comparison of segmentation performance under complex road conditions

4.4.2 建筑物距離較近條件下分割結果分析

圖13為包含著多個距離較近建筑物的遙感圖像分割對比。由分割結果可以看出，VGG模型受建筑物之間距離相近的干擾較大，分割結果中許多距離較近的建筑物未能得到清晰分割，ResNet和ResNetCRF分割結果有一定提升，但是仍存在多處相鄰建筑物相粘連的情況，無法從中完整提取單個的建筑物邊界信息。提出MFDC-ResNet 模型分割精度高，可以有效克服建筑物之間距離相近的干擾，實現對建筑物邊緣的完整提取。由表4定量分析對比可知，提出MFDC-ResNet 模型分割精度高于其他3種模型。

(a)Input

(b)Ground truth

(c)VGG

(d)ResNet

(e)ResNetCRF

(f)MFDC-ResNet圖13 建筑物距離相隔較近條件下建筑物分割

表4 建筑物距離相隔較近條件下分割性能對比

4.4.3 樹木及建筑物陰影較多條件下分割結果分析

圖14為包含樹木和建筑物的陰影干擾的遙感圖像建筑物分割對比。由對比分割結果可知，VGG模型在提取建筑物邊緣信息時與真值差別較，ResNet和ResNetCRF在對建筑物的邊緣特征提取時受陰影的影響較大，所提取的建筑物邊緣與所標記的建筑物相比對陰影部分存在明顯的誤分割現象，且存在將遙感圖像中的樹木誤識為建筑物進行分割的現象。提出MFDC-ResNet 模型可以克服建筑物陰影的干擾對建筑物邊緣提取，且有效克服樹木和建筑物陰影等干擾源的影響，能有效提取遙感圖像中的建筑物邊緣信息，特別是在對遙感圖像中不規則建筑物的邊緣特征的提取結果明顯優于ResNet和ResNetCRF的分割結果。由表5定量分析對比可知，提出MFDC-ResNet 模型分割精度高于其他3種模型。

(a)Input

(b)Ground truth

(c)VGG

(d)ResNet

(e)ResNetCRF

(f)MFDC-ResNet圖14 樹木及建筑物陰影較多條件下建筑物分割Fig.14 Building segmentation under the condition of more trees and building shadows

表5 樹木及建筑物陰影較多條件下分割性能對比Tab.5 Comparison of segmentation performance of trees and buildings with more shadows

5 結 論

針對傳統建筑物提取方法難以有效描述遙感圖像細節特征而導致復雜場景下道路、樹木及建筑物之間分割邊界不清晰等問題，提出一種基于多尺度特征融合空洞卷積ResNet(MFDC-ResNet)遙感圖像建筑物分割模型。提出的MFDC-ResNet 模型包括空洞卷積特征提取、多尺度特征融合和特征解碼3個模塊。空洞卷積特征提取模塊改進了空洞卷積中心點特征的提取方式，增強感受野的同時增強了卷積核中心點的對遙感圖像特征信息的描述能力。多尺度特征融合模塊在多個層次的特征圖上獲取的更大范圍的遙感圖像建筑物上下文信息，可以有效克服遙感圖像中道路、樹木、建筑物陰影，建筑物不規則及建筑物距離相隔較近等因素的干擾，提升遙感圖像中建筑物的分割精度。在WHU Building change detection dataset遙感圖像建筑物數據集的分割實驗中，提出MFDC-ResNet 模型的平均交并比mIoU達到0.820，召回率Recall達到0.882，與ResNet相比，分別提升了0.066 和0.063，驗證了提出模型的有效性。