融合分形幾何特征Resnet遙感圖像建筑物分割

徐勝軍，張若暄*，孟月波，劉光輝，韓九強

（1.西安建筑科技大學 信息與控制工程學院，陜西 西安 710055；2.西安市建筑制造智動化技術重點實驗室，陜西 西安 710055；3.西安交通大學 電子與信息學部，陜西 西安 710049）

1 引 言

近年來，遙感圖像建筑物分割作為遙感圖像分析中的關鍵問題之一受到了廣泛關注。建筑物作為城鄉區域占主體地位的地物目標，精確的建筑物分布信息對于監測城市地區的變化、城市規劃和人口估計等科學研究具有重要意義［1］。然而與遙感圖像中水體和森林等自然景物相比，建筑物常受到光照、季節、角度和邊界不清晰以及背景信息復雜等強干擾的影響，這些干擾給遙感圖像建筑物的準確分割帶來了很大挑戰。

傳統的遙感圖像建筑物分割方法主要以人工或機器學習方法獲取的淺層特征作為圖像分割的依據。Andres等［2］采用多閾值相結合的方法對于單一目標進行分類分割，提出了一種基于閾值的建筑物多框架協同分割方法。Lakshmi等［3］利用微分算子進行邊緣檢測，設計了一種基于邊緣檢測進行圖像分割的方法。Adams等［4］通過選取種子點集，并與周圍相似的像素進行合并，不斷更新迭代直到滿足條件為止，進行基于種子生長區域的圖像分割。李靜［5］基于歸一化轉動慣量（Normalized Moment of Inertia，NMI）特征的超像素塊相似性度量對遙感圖像進行分割，降低了超像素對噪聲的敏感性，提高了影像分割的精度。雖然傳統方法取得了一定的分割效果，但由于其只能提取到圖像的淺層特征，沒有考慮圖像的深層語義特征，難以對蘊含大量語義信息的遙感圖像建筑物進行有效分割，因而阻礙了傳統方法在遙感建筑物分割領域的大規模應用。

深度學習能夠有效提取圖像中的深層特征，充分利用遙感圖像中的語義信息。這類算法通過神經網絡自主學習圖像特征，建立圖像與分割目標之間復雜的映射模型，可以實現端對端、像素對像素的語義分割，在遙感圖像分割領域受到廣泛關注［6-14］。Zheng等［15］將U-Net模型應用于遙感圖像分割中，實現端到端的遙感圖像像素級語義分割。Hosseinpoor等［16］對U-Net進 行 了 改進，加入特征嵌入融合（Embedding Feature Fu?sion，EFF）模塊，用于增強低級與高級特征的融合，在提取復雜建筑物方面取得了較好效果。Ren等［17］在U-Net模型中引入Dropout以減少過擬合，并且引入AC-Net增強特征提取能力，有效提高了模型準確率。陳欣等［18］針對復雜背景下遙感小目標的檢測問題，在原SSD算法中引入通道注意力模塊，通過構建權重參數空間，將注意力集中在關注目標區域的通道，有效降低了背景干擾。Bao等［19］基于Deeplab V3+使用輕量級網絡Mobile net V3提取特征，然后使用空洞金字塔結構擴展感受野，最后采用雙線性插值法對輸出特征圖像進行上采樣得到像素級預測分割圖，取得了良好的分割效果。Pan等［20］針對邊緣像素易被誤分割問題，提出一種漸進式邊緣引導網絡（PEG-Net），利用檢測模塊（Edge Detection Mod?ule，EDM）和引導模塊（Guidance Module，GM）對特征空間進行重構，通過重新學習易出錯的邊緣像素提高分割模型的判別能力。Pan等［21］注意到上采樣重建過程中小區域變化難以檢測等問題，設計了一個密集連接的特征融合網絡（DCFF-Net），通過兩個VGG流架構差異提取網絡，在融合過程引入注意力，有效彌補了池化操作造成的高分辨率位置信息丟失。

隨著深度學習網絡深度的增加，在卷積網絡的訓練過程中易出現梯度過多或消失的情況，導致訓練無法正常進行。為了解決這一問題，He等［22］提出深度殘差網絡（Resnet），通過在卷積層中加入殘差學習單元，能有效緩解網絡訓練問題。王宇等［23］利用Resnet學習建筑物特征并建立高維強非線性分割模型，通過條件隨機場的成對勢函數調節各像素點之間的關聯關系，構成全連接條件隨機場對分割結果進行調節，有效提升分割精度。徐勝軍等［24］在Resnet的基礎上中引入空洞卷積增大特征提取的感受野，以捕捉更豐富的多尺度細節特征，這種方法不僅提高了分割精度，而且有效克服了道路、樹木等因素的干擾，得到了較清晰的建筑物邊界。Zhao等［25］將注意力機制應用于通用ASPP模塊以提高模型性能，對Resnet網絡進行了細化調整，同時引入CNN模型中的池化層（Pooling layers in CNN models，PIC）模塊將高級特征與低級特征進行融合，能夠有效地捕獲多尺度信息。

基于深度學習網絡的遙感圖像建筑物的準確分割依賴于對建筑物圖像特征信息的有效表達，然而建筑物由于光照、季節、角度和邊界不清晰等數據本身存在的干擾，導致深度學習網絡難以真正學習到其本質邊緣特征，因此常造成遙感建筑物圖像分割邊緣的模糊。分形維數（Fractal Dimension）作為刻畫分形集合性質的維數，不僅可以反映圖像的空間結構信息，而且能定量描述圖像的復雜性［26］。遙感圖像中，樹木、河流、草地等自然景物具有強分形，而建筑物、道路等人造物體具有弱分形。受此啟發，提出了一種融合分形幾何特征Resnet遙感圖像建筑物的分割模型，根據遙感圖像中不同物體的分形特征先驗知識，利用分形先驗知識增強深度學習網絡對不同物體圖像特征的描述能力，從而提升對建筑物和復雜背景邊界的分割精度。所提模型由編碼和解碼兩部分組成，編碼部分引入融合分形先驗的空洞空間金字塔池化模塊，通過分形維數獲得目標鄰域的分形特征，增強了Resnet網絡的幾何特征描述能力；解碼部分引入深度可分離卷積注意力融合機制，融合編碼層特征，得到豐富語義信息的特征圖。實驗結果表明，本模型具有良好的細節分辨率，能夠更加有效、準確地提取遙感圖像中的建筑物目標。

2 相關基礎理論

2.1 分形維數

2.1.1分形維數概念

圖像的紋理是所有物體表面共有的一種內在特征，分形維數可以有效表達圖像的紋理特征［27］，這種紋理特征反映了圖像中同質現象的視覺特征，且不依賴于圖像顏色或亮度變化。相關研究表明［28］，分形維數直觀上與物體表面的粗糙程度相吻合，本質刻畫了圖像像素鄰域灰度空間分布的規律。由于自然物體和人工物體的圖像在分形維數存在差異使得基于分形理論的圖像分析成為可能。因此，分形維數作為一種刻畫圖像表面特征的重要參數，是描述分形特征的定量指標，也是描述分形圖像自相似的不確定特點的一個重要的參數。

2.1.2分形維數計算方法

分形維數存在多種計算方法，其中差分盒維數法（Differential Box Counting，DBC）［29］具有計算量小、計算精度高等優點，廣泛應用于分形維數的計算。DBC方法的計算過程如下：

令X表示一幅大小為W×W的遙感圖像，基于分形理論，通常可以將遙感圖像X劃分為大小w×w×G的立方體網格，其中w×w表示劃分的立方體網格的長和寬，G表示遙感圖像像素的灰度級。在立方體網格中進行盒子劃分，劃分盒子高度為h=w×G/W，計算分割尺度為r=w/W。對每個網格從底層向上編號，找出最大灰度值和最小灰度值所在盒子編號作差，則可求出該網格差分盒子數nr，對nr求和可得總盒子數Nr。最終用最小二乘法對多組log(Nr)和log(1/r)進行線性擬合，擬合直線的斜率即為圖像X的分形維數D。

2.2 Resnet101網絡

建筑物遙感圖像具有高維性、強背景干擾等特征，淺層網絡提取的淺層特征在傳播過程中信息丟失嚴重，因而常導致遙感圖像分割出現誤分割現象。深度殘差神經網絡（Resnet）［22］在網絡中引入了殘差模塊（Residual module），通過學習多個網絡層輸入、輸出之間的殘差，既保留了淺層特征在傳播過程中的完整性，又有效提高了位置信息的利用率，解決了網絡層數加深帶來的梯度消失和精度下降的問題。所采用的Resnet101網絡共由四個大的殘差模塊（Residual module）組成，四個Residual module中分別由3、4、23、3個小的殘差塊組成。另外在網絡的最前端由1個7×7的卷積層和maxpool層組成，最后端為平均池化層。Resnet101網絡及其殘差模塊如圖1所示。

圖1 Resnet101網絡及其殘差模塊Fig.1 Resnet101 network and residual module

圖1（a）表示Resnet101的網絡結構，圖1（b）表示其殘差模塊，該模塊在核尺寸為1×1的兩個卷積層之間連接3×3卷積層，這種架構設計稱為瓶頸設計（Bottle Neck，BN），與兩層3×3卷積層的殘差塊相比，在幾乎不造成信息損失的同時有效降低了參數量和計算量。

3 融合分形特征的Resnet網絡模型

由于遙感圖像中建筑物尺寸大小不一，Resnet網絡利用固定大小的建筑物特征無法對一些較小尺寸的建筑物實現精細化分割，甚至出現漏分割的問題，另外由于建筑物遙感圖像中存在復雜多樣的自然背景和環境噪聲，這些干擾因素導致深度學習網絡難以真正學習到其本質邊緣特征，因此常造成建筑物圖像邊緣分割不清。針對此問題，基于分形能夠有效描述圖像幾何特征的特點，利用分形維數描述圖像像素鄰域灰度空間分布，建立遙感圖像中不同物體的分形特征先驗知識，并結合通道注意力機制，提出了一種融合分形特征的Resnet網絡模型用于遙感圖像建筑物分割，提出的網絡利用分形先驗知識增強深度學習網絡對不同物體圖像特征的描述能力，從而提升對建筑物和復雜背景邊界的分割精度。提出網絡的整體結構如圖2所示。

所提出的模型整體結構分為編碼器和解碼器兩大部分。編碼器部分以Resnet101為主干網絡捕獲遙感圖像特征，通過在四個殘差層后引入提出的融合分形先驗的空洞空間金字塔池化模塊（Fractal Dimension in Atrous Spatial Pyramid Pooling，FD-ASPP），利用遙感圖像不同對象的分形先驗知識增強網絡對不同遙感物體圖像特征的辨別能力。解碼部分設置了4次上采樣，可以將遙感圖像特征圖的分辨率還原為輸入圖像大小。每次上采樣之后，高層次特征圖（網絡的上采樣層）跳躍連接相同尺寸的低層次特征圖（網絡的前4個Block層），使用深度可分離卷積注意力機制（Deeply Separable Convolution At?tention Fusion，DSCAF）進行特征融合。經過3次融合的特征圖，保留了更深層次的語義信息。最后通過輸出層將特征圖的像素進行二分類，獲得分割結果。

圖2 網絡整體結構Fig.2 Overall structure of the proposed network

3.1 融合分形先驗的空洞空間金字塔池化模塊

空洞空間金字塔池化（Atrous Spatial Pyra?mid Pooling，ASPP）在遙感圖像分割任務能較好提取遙感圖像特征，但對于復雜背景下的建筑物遙感圖像而言，由于多尺度感受野隨著膨脹率的增加，使得模型捕獲細節信息特征能力受到限制，因此導致遙感圖像建筑物分割時邊緣分割效果易受干擾因素影響。分形特征能夠增強深度學習網絡的對不同物體圖像特征的描述能力，從而提升對建筑物和復雜背景邊界的分割精度。因此，提出一種融合分形先驗的空洞空間金字塔池化模塊，具體結構如圖3所示。

DeeplabV3中原有的ASPP模塊包含4個空洞率為（1，6，12，18）的并行支路，由于具有不同尺度的感受野，因此可以獲取多個尺度的目標信息。然而這種空洞率參數選擇方案會產生網格效應［29］，導致空洞卷積會損失信息的連續性，部分信息被人為忽略。為改善這種狀況，該模塊采用沒有最小公倍數的混合空洞率的空洞卷積，將空洞率設置為（3，5，11，15），使采樣能夠覆蓋到每個像素點。

圖3 融合分形先驗的空間金字塔池化模塊Fig.3 Fractal dimension in atrous spatial pyramid pooling

FD-ASPP包含多個分支，每個卷積分支中包含兩個并行塊，分別為DBC分形維數子塊和空洞卷積子塊。DBC分形維數子塊提取遙感圖像特征的幾何特征信息，空洞卷積子塊提取遙感圖像的多層次特征信息，然后將兩個子塊分別提取的多層次特征信息和分形幾何特征信息進行融合，得到新的融合特征作為該分支的輸出。最終將FD-ASPP中多個分支的輸出融合特征信息進行拼接，再用1×1的卷積將通道數恢復為與原特征圖相同的通道數，即可得到融合分形先驗的多尺度特征。

所提的FD-ASPP模塊通過多尺度空洞卷積可以實現較高的學習效率，利用擴大感受野的方式提取多尺度的遙感圖像特征，融合不同尺度的特征信息提升模型對細節特征的表達能力；為進一步提取更具分辨力的先驗特征信息，通過引入分形特征增強了ASPP網絡對遙感圖像不同對象的幾何特征描述能力，不僅能抑制建筑物附近的道路、樹木、陰影等因素的干擾，而且為遙感圖像建筑物的分割提供了更具辨別力的幾何特征信息。

3.2 分形特征提取

遙感圖像特征提取的質量對于基于深度學習網絡建筑物分割精度至關重要。待分割區域的邊緣幾何特征描述不充分常導致網絡對遙感圖像建筑物的分割精度不高。分形維數作為一種有效的紋理度量方法用于遙感圖像分割能夠有效提升深度學習網絡的幾何特征描述能力。由于遙感圖像具有分辨率高，數據量大的特點，傳統的DBC算法［30］較為簡單，在提取遙感圖像幾何特征時常表現出精度不足的問題。傳統DBC對整張特征圖或固定大小的網格求取分形維數，而本文改進算法以每個像素點為中心進行局部區域劃分，并計算每個像素點所在局部區域的分形維數，記為該像素點的分形維數，最終得到輸入圖像的分形維數矩陣。

改進的DBC算法步驟如表1所示，遙感圖像的分形特征提取過程如圖4所示。

一般來說，自然圖像的幾何結構越復雜，其圖像的紋理特征越豐富。如圖4所示，p點所在圖像區域較為粗糙，而q點所在區域較為光滑，因此p點的分形維數大于q點。也就是說，p點的紋理特征比q點更為豐富，而分形維數的比較也正好說明了這一點。因此，分形維數的大小可以用來表達不同區域的遙感景物特征及其特征分布。

表1 改進的DBC算法步驟Tab.1 Improved DBC algorithm steps

圖4 分形特征提取過程Fig.4 Fractal feature extraction process

3.3 分形特征融合

為使FD-ASPP模塊中各分支的兩個子塊提取到的特征圖能夠匹配，需要設置尺度參數使兩個子塊在同一尺度下提取遙感圖像的局部區域特征信息。因此，設定算法1的基于改進DBC的分形維數算法的滑動窗口參數ω與不同空洞率的空洞卷積核參數σ滿足如下關系：

其中：n為卷積核大小，r為空洞卷積采樣率。

為了將ASPP和FD兩個子塊分別提取的深度特征和分形特征進行有效融合，在每個分支的兩個子塊之后增加了一個特征融合層。在特征融合層中采用add特征融合操作，特征融合公式如下：

由式（2）可知，所提FD-ASPP在獲取更深層信息的同時增加了分形特征，有效彌補了ASPP模塊對遙感圖像深度特征細節信息表達的不足，提取的分形特征對于遙感圖像不同物體的幾何本質特征表達更具分辨力，因此提出的FDASPP模塊不僅增強了對細節特征的描述能力，而且為建筑物分割提供了更具辨別力的幾何特征。

FD-ASPP的參數設置及特征融合輸出如表2所 示，表 中，表 示 第n個FD-ASPP的輸出。

表2 參數設置及特征FD-ASPP輸出Tab.2 Parameter settings and FD-ASPP output

3.4 解碼器

高層次特征圖具備更豐富的遙感圖像語義信息，而低層次特征圖的細節信息更為豐富，包含了更多位置性信息。由于解碼階段的高層次特征圖通過直接上采樣還原，會丟失很多細節位置特征。為了保留更多的遙感圖像細節特征，常采用高層次特征圖與低層次特征圖融合的策略，獲取更加豐富的遙感圖像語義信息和位置細節信息。針對此問題，提出一種深度可分離卷積注意力融合（Deeply Separable Convolution Atten?tion Fusion，DSCAF）機制，這種機制通過利用高層次特征圖的注意力信息，指導低層次特征圖與高層次特征圖的融合，通過Sigmoid分類得到最終的分割結果。

LANet網絡［31］中通道注意力機制中采用的全局平均池化操作對于特征圖每個位置賦予了相同的權重，這種平均池化的策略在某種程度上加強了非重要特征，而抑制了重要特征。為了根據特征的重要程度賦予特征圖每個位置可學習權重，提出的DSCAF融合機制利用深度可分離卷積操作替代全局平均池化，在實現了全局池化功能的同時賦予了特征圖每個位置可學習的權重，其結構如圖5所示。

圖5 深度可分離卷積注意力融合模塊Fig.5 Deeply separable convolution attention fusion module

DSCAF模塊首先將高層次的特征圖H利用深度可分離卷積進行維度壓縮，將輸入的H進行深度卷積，H∈RC×M×M，每個通道利用一個大小為K×K的卷積核進行卷積操作。當K=M時，得到C×1×1大小的類別信息特征圖f1，f1∈RC×1×1，然后在f1之后設置一個全連接層，其計算見公式（4），δ為每個特征通道生成權重，表征特征通道間的相關性。利用激活函數Sigmoid對δ×f1進行運算，將特征映射到0和1之間，表示通道重要程度，輸出為特征圖f2，f2∈RC×1×1。

低層次特征圖L∈RC×M×M，將經過特征選擇后的特征圖f2逐通道對低層次特征圖L進行加權，完成對特征圖L在通道維度上的重標定，再與特征圖H進行融合得到具有更豐富語義信息的特征圖f3。計算過程如公式（4）所示：

其中：Fscale(L，f2)表示低層次特征圖L與f2進行對應通道相乘，⊕表示特征融合操作。

解碼器部分基于所提出的DSCAF機制，將經過轉置卷積進行上采樣恢復后的高層次特征圖H和低層次特征圖L利用DSCAF機制進行特征融合，網絡通過3層不同尺度的注意力機制進行融合，最后的輸出不僅包含了遙感圖像中豐富的高級語義信息，而且捕獲了空間細節位置信息，因此所提的網絡有效減少了建筑物邊緣像素的誤分割現象，提升了建筑物整體分割的準確率。

3.5 損失函數

遙感建筑物提取問題可看作是對像素的二分類問題，通常此類問題采用二分類交叉熵損失函數。yt表示真實標簽類別，yp表示預測為該類別的概率值，則將二分類的交叉熵損失函數定義為：

4 實驗和結果分析

4.1 實驗數據集及實驗平臺參數設置

實驗在Ubuntu系統下進行，GPU型號為NVIDIA GeForce RTX 2080Ti，環 境 配 置 為CUDA10.2+Python3.6.9+Py-Torch1.6。 實驗采用WHU Building Dataset數據集［32］，該數據集由8 189張大小為512×512像素的超高分辨率（0.3 m/pixel）包含有約22 000座獨立建筑的圖像構成。數據集按照訓練集（4 736張）、驗證集（1 036張）和測試集（5 416張）進行劃分。

模型初始學習率設置為1×10-3，訓練的ep?och為100，batch size為8。對于所提的融合分形先驗的Resnet遙感圖像建筑物分割網絡，訓練過程各項指標如圖6所示，可以看出網絡訓練在初期損失下降較快，訓練到50次左右時損失下降曲線趨于平穩，最終收斂在0.2左右，說明所提網絡參數的訓練結果較為理想。

圖6 網絡訓練過程中損失下降曲線圖Fig.6 Graph of loss decline during network training

4.2 分割性能指標

本次實驗采用精準率（Precision）、召回率（Recall）、F1分數（F1-score）和均交并比（mIoU）等指標作為衡量模型分割效果，首先定義建筑物為正樣本，非建筑物為負樣本，預測正確為真，否則為假，各類指標計算公式如下：

精準率（Precision，P）表示在所有被預測為正的樣本中實際為正的樣本概率，如式（6）所示。

召回率（Recall，R）表示在樣本中實際為建筑物的像素點被預測為屬于建筑物的概率，如式（7）所示。

F1分數（F1-score，SF1）是精準率與召回率的平衡點，讓兩者同時達到最高點，如式（8）所示。

均交并比（mIoU，mIOU）表示正樣本交并比和負樣本交并比的平均值，如式（9）所示。

其中，TP表示為預測為建筑物，且標簽為建筑物的像素點個數；TN表示為預測為非建筑物，且標簽值為非建筑物的像素點數；FP表示為預測為建筑物，但標簽為非建筑物的像素點個數；FN表示為預測為非建筑物，但標簽為建筑物的像素點個數。

4.3 實驗結果分析

為了對比所提模型有效性，與FCN［6］，Seg?net［7］，Deeplab V3［8］，U-net［9］，SETR［10］，AlignSeg［11］等模型進行對比實驗，實驗對比結果如圖7所示，其中（a）列為分辨率512×512的遙感圖像，（b）列為建筑物Ground truth圖像，（c）列為FCN網絡的分割結果，（d）列為Segnet網絡的分割結果，（e）列為Deeplab V3網絡的分割結果，（f）列為U-net網絡的分割結果，（g）列為SETR網絡的分割結果，（h）列為AlignSeg網絡的分割結果，（i）為所提模型分割結果。為了更清晰對比不同網絡的分割結果，在圖中用紅線圍出區域為分割細節對比和錯分及漏分情況。

圖7 建筑物提取局部結果對比Fig.7 Comparison of local results for building extraction

由圖7分割結果圖中能夠看出，FCN網絡分割的建筑物誤分、漏分較多，如圖7（c）中所示，第一行小型建筑物被誤分為背景，第四行的大型建筑物上方缺失。這種誤分割主要是因為FCN網絡利用上采樣將融合后的特征圖直接還原到輸入圖像大小，造成特征信息丟失現象，導致FCN網絡的表達能力較弱。圖7（d）中，Segnet網絡利用了編解碼結構，將最大池化指數轉移至解碼器中，改善了分割分辨率，盡管能將大多數建筑物從背景中分離出來，但邊緣分割效果不好，且有一些細節丟失的現象。圖7（e）中，同樣使用了ASPP結構來改進Resnet的Deeplab V3網 絡，由于缺乏幾何的細節特征，對建筑物邊緣分割效果不佳，如第一行小型建筑分割中出現了粘連現象，第三行圖中大型建筑物上方邊緣平滑性較差。圖7（f）中，U-Net網絡對建筑物分割效果相對較好，其通過在上采樣過程中，跳躍連接相同尺寸的特征圖并進行特征融合。由于其利用的2倍上采樣倍數小，特征保留相對比較豐富，對小型建筑分割效果不錯，建筑物輪廓也能夠基本分割出來，但也存在一些錯分現象如圖7（f）中第5行大型建筑物右側集裝箱錯分為建筑物。圖7（g）中SETR使用transformer作為編碼器來替代原來的堆疊卷積進行特征提取的方式，保持了輸入和輸出的空間分辨率不變，同時還能夠有效的捕獲全局的上下文信息，對細小建筑物分割表現較好，但是建筑物的邊緣分割效果不佳。圖7（h）AlignSeg利用特征對齊分割網，采用一種簡單的可學習插值策略來學習像素的變換偏移量，可以有效緩解多分辨率特征聚合導致的特征錯位問題，得到了較好的邊緣分割效果。圖7（i）為所提模型分割結果，從第一行和第二行分割結果圖中能夠看出，所提模型在樹木背景干擾下仍能有效分割小型建筑物的邊緣，具有較強的抗干擾能力。由于受到道路的干擾，幾個經典網絡模型在第四行的大型建筑物上均未能完整分割，而所提模型實現了較為準確的分割且邊緣完整度更高，使丟失細節信息的現象得到了有效緩解。所有對比模型的分割結果中，所提模型在建筑物邊緣分割效果表現最好，預測結果也更為接近Ground truth圖。因此，所提模型不僅獲得了更好的分割準確率，而且在建筑物的邊緣獲得更好的效果。

所提的融合分形先驗的Resnet網絡模型由于增加了FD-ASPP模塊，因此更有效利用了不同尺度特征和分形特征信息，提升了建筑物邊緣信息上分割準確性；提出的模型與其它幾種對比模型相比，建筑物分割的邊緣較為清晰平滑，明顯減少了樹木、道路、陰影等干擾下的誤分割和建筑物之間距離較近而導致建筑物粘連的情況，分割結果優于FCN，Segnet，Deeplab V3，U-net，SETR和AlignSeg模型。對比實驗的定量性能指標如表3所示。

表3 WHU Building Dataset數據集性能對比Tab.3 WHU Building Dataset performance comparison

表中Params表示參數量，能夠衡量模型的空 間 復 雜 度；FLOPs（Floating-point Operations）表示浮點運算次數，能夠衡量模型的時間復雜度。與6種主流分割模型相比，所提模型由于增加了FD-ASPP和DSCAF模塊，導致網絡的訓練參數量較大。此外，所提模型的Flops值為95.56 G，與其他模型相比，計算量并未增加太多。分割精度方面，與FCN，Segnet，Deeplab V3，U-Net，SETR和AlignSeg網絡模型相比，所提 模 型 在Precision、Recall、F1-score和mIoU等評價指標上分別達到了94.48%，94.62%，94.55%和94.15%。因此，所提模型雖然在復雜度上有所增加，但有效提升了分割精度。

為了進一步對比所提的FD-ASPP加入網絡的個數對遙感建筑物圖像分割任務的有效性，量化分析了不同FD-ASPP的數量對分割指標的影響，對比將該模塊加入殘差網絡不同層的輸出后的模型分割性能，并在WHU數據集上進行了測試。可以看出，相比原始的Resnet101，提出的FD-ASPP在WHU數據集上使網絡的召回率（Recall），平均交并比（mIoU）均有了不同程度的提升。從實驗的比較結果中可以看出，在每層后都加入該模塊相比于單層加入該模塊來說，分割效果更好，當Resnet101在Layer1至Layer4中均加入FD-ASPP模塊時，其各項指標均達到了最優。具體實驗結果見表4。

表4 FD-ASPP不同層對分割指標的影響Tab.4 Influence of different layers of FD-ASPP on segmentation index

4.4 消融實驗

為了驗證所提模型及其各個模塊對遙感建筑物圖像分割任務的有效性，進行了消融實驗對比，并在WHU數據集上進行測試。所提模型是以Resnet101為特征提取網絡，通過轉置卷積進行特征恢復，故選取該網絡結構作為Baseline網絡。FD-ASPP代表融合分形先驗的空洞空間金字塔池化模塊，DSCAF代表深度可分離卷積注意力融合機制。對比結果如表5所示。

表5 WHU Building Dataset模塊消融研究Tab.5 Ablation of void convolutional modules in the WHU Building Dataset

從實驗結果可以看到，Baseline的Precision，Recall和mIoU的結果分別為91.41%，92.43%和91.27%；添加FD-ASPP模塊后，三個指標分別提高了1.85%，1.60%，2.53%；添加DSCAF機制后三個指標比Baseline分別提高了1.48%，1.13%，1.95%；最后將FD-ASPP和DSCAF都添加到Baseline中，使用所提的網絡模型，與Baseline相比，三個指標分別提升了3.07%，2.19%，2.88%。

4.5 不同場景下對比實驗結果分析

為了進一步證明所提模型在不同場景遙感圖像中對建筑物分割提取的性能，分別針對建筑物遙感圖像中存在的道路、樹木、陰影等干擾進行對比實驗分析。對比實驗分別采用FCN［6］，

Segnet［7］，Deeplab V3［8］，U-Net［9］，SETR［10］，AlignSeg［11］和所提模型作為分割網絡進行訓練測試，并對結果進行對比分析。其分割結果如圖8~10所示。

圖8 道路干擾條件下建筑物提取局部分割Fig.8 Local segmentation of building extraction under road interference conditions

圖8為包含道路信息干擾的遙感圖像分割結果對比，從圖中可以發現，基于FCN，Segnet，Deeplab V3，U-Net，SETR和AlignSeg等模型的建筑物分割結果中均出現了建筑物粘連的現象。并且由于建筑物常和道路比較接近，且均是人工場景，因此在復雜道路的干擾下，建筑物出現了錯誤分割的情況。所提出的FD-ASPP模塊有效提取了不同分割對象的分形特征，為網絡提供了更具分辨力的信息，受道路的干擾較小，可較好提取建筑物的邊緣。

圖9為樹木干擾情況下的遙感圖像建筑物分割對比。由圖中可知，FCN，Segnet，Deeplab V3，U-Net，SETR和AlignSeg等 模 型 在 提 取 建筑物邊緣特征時易受樹木和林帶的影響，建筑物邊緣存在明顯的誤分割現象，不能識別出被樹木部分遮擋的建筑物。所提模型受到樹木的干擾較小，可較好提取建筑物的邊緣信息。

圖9 樹木林帶干擾條件建筑物提取局部分割結果Fig.9 Building extraction local segmentation results under trees interference conditions

圖10為陰影干擾下的遙感圖像分割結果對比。由圖中可知，建筑物右側均有陰影。Segnet，U-net在受陰影干擾時，邊緣均不能實現精細化分割，FCN整體受陰影干擾較小，但邊緣分割效果也不盡人意。如圖10（g）、圖10（h）所示，SETR，AlignSeg模型雖然取得了較好的分割結果，但是在圖中標記區域，兩個對比模型對建筑物局部區域出現了誤分割現象。而所提模型在該區域具有準確的分割結果。因此，和對比模型相比，所提模型可更加完整地識別建筑物主體，分割出較平滑邊緣輪廓，能有效克服陰影的干擾，可以較為準確的分割建筑物。不同場景下對比實驗結果分析如表6所示。

圖10 陰影干擾下建筑物提取局部分割結果Fig.10 Local segmentation results of buildings extracted under shadow interference

表6 不同場景下對比實驗結果分析Tab.6 Comparative experimental results in different sce?narios

5 結 論

由于遙感影像建筑物與背景特征的區分度較低導致傳統的深度語義分割網絡分割邊界不清晰等問題，提出一種融合分形幾何特征的Resnet的遙感圖像建筑物分割模型。所提模型在編解碼結構的基礎上，基于Resnet主干網絡將分形幾何特征融入特征圖深度信息用于遙感影像的建筑物特征提取，并在解碼階段運用深度可分離卷積注意力機制借助高層信息指導底層信息進行特征融合。在WHU Building Dataset遙感圖像建筑物數據集的分割實驗的結果表明，所提 模 型 的Precision、Recall、F1-score以 及mIoU等評價指標上分別達到了94.48%，94.62%，94.55%和94.15%。提出的網絡模型不僅有效克服了道路、樹木、陰影等因素的干擾，具有更好的建筑物分割效果，而且得到了較清晰的建筑物邊界。