基于不同骨架的語義分割網絡的建筑物提取

收稿日期：2023-07-14

DOI：10.19850/j.cnki.2096-4706.2024.03.033

摘" 要：采用高分辨率遙感影像進行建筑物提取，會出現提取的建筑物邊緣線條缺失和錯提問題，采用骨架代替編碼器卷積層，可以在一定程度上解決這些問題。文章采用三種不同的骨架對DeeplabV3+和UNet深度學習網絡進行改進。用WHU和Inria數據集進行驗證，結果表明：引入三種骨架后的改進網絡相對于無權重DeeplabV3+，在WHU數據集上精度分別提高了0.49%、1.52%和0.87%；UNet網絡精度分別提高了1.15%、3.24%和3.13%。在Inria數據上可以得到同樣的結論，在一定程度上解決了邊線缺失和漏提問題。

關鍵詞：高分辨率遙感影像；建筑物提取；MobilenetV2；InceptionV3；深度學習

中圖分類號：TP18；TP751" 文獻標識碼：A" 文章編號：2096-4706（2024）03-0154-06

Building Extraction Based on Semantic Segmentation Networks with Different Skeletons

WANG Zheng， LIU Chao

（School of Spatial Information and Surveying and Mapping Engineering， Anhui University of Science and Technology，

Huainan" 232001， China）

Abstract： Using high-resolution remote sensing images for building extraction may result in missing and incorrect extraction of building edge lines. Replacing encoder convolutional layers with skeletons can solve these problems to some extent. This paper uses three different skeletons to improve DeeplabV3+ and UNet Deep Learning networks. Using the WHU and Inria datasets for verification， the results show that the improved network with the introduction of three skeletons improves accuracy by 0.49%， 1.52%， and 0.87% compared to DeeplabV3+ on the WHU dataset， respectively. The accuracy of UNet network improves by 1.15%， 3.24%， and 3.13%， respectively. The same conclusion can be drawn on the Inria data， which solves the problems of missing and miss extraction of edge lines to some extent.

Keywords： high-resolution remote sensing image; building extraction; MobilenetV2; InceptionV3; Deep Learning

0" 引" 言

建筑物信息是城市數字化、建筑物變化檢測、違法建筑檢測、城市監測防范的重要內容。隨著遙感技術的快速崛起，遙感影像空間分辨率的提高，地物信息更加明顯，幾何形狀輪廓、紋理信息分辨度進一步提高[1，2]，使對建筑物進行更加有效的提取成為可能。

與傳統人工目視方法相比，機器學習的方法在效率上得到了提升。傳統的機器學習方法主要分為以下三類：一是基于不同尺度的多重分類法和陰影輔助法[3]；二是基于邊界特點變化來確定邊緣的邊緣點檢測算法[4]；三是基于建筑物形態進行提取[5，6]的方法，即通過像素與目標對象的雙向映射，從而構建形態學圖像進行下一步建筑物的提取。相較于傳統機器學習，基于深度學習的方法可以自主地學習所需特征的信息，同時，隨著計算機視覺技術的發展，語義分割在計算機視覺方面的表現越來越佳，在圖像信息提取中得到了很好的應用[7]，使得更多更深層次的網絡如FCN [8]、SegNet [9]、UNet [10]、VGG [11]等在建筑物信息識別與提取方面得到應用。

針對在遙感影像建筑物信息提取中出現的建筑物邊緣線條缺失和錯提問題，Mnih等[12]將深度學習與建筑物處理技術條件隨機場相結合，不僅有效提高了提取精度，而且對建筑物的邊緣信息缺失問題有了一定程度的改善。劉文濤等[13]通過對FCN網絡進行微調，建筑物屋頂提取精度達到92.39%。劉浩等[14]通過對UNet網絡增添激活函數層，使建筑物提取精度達到94.72%。但由于該結構比較基礎，只是一種簡單的端到端結構，對于建筑物復雜的情況難以提取，存在漏檢、誤提現象。朱淑鑫等[15]提出在ResNet中加入注意力機制來提高對建筑物特征像素值的正確分類，使網絡擬合優化效果更佳。

本文將對高分辨率影像進行信息提取，針對提取建筑物的邊緣線條缺失和漏提現象，分別用UNet和DeeplabV3+兩種網絡進行組合提取建筑物，引入三種不同骨架的深度學習特征模塊MobilenetV2、InceptionV3和Resnet50來改進UNet和DeeplabV3+這兩種典型網絡，并進行實驗比較分析，以期為相關建筑物提取研究提供參考。

1" 研究方法

1.1" 基本網絡

本文首先對DeeplabV3+和UNet網絡模型的編碼器進行骨架替代，然后分別用改進后的網絡模型進行建筑物提取。對于實驗的原理以DeeplabV3+網絡為例進行簡單介紹，其網絡結構及使用的InceptionV3骨干網絡如圖1所示。

1.2" 三種骨架結構

MobilenetV2是一種輕量級網絡，其通過倒殘差網絡來調解網絡的大小，與之前的殘差網絡先用1×1卷積降維然后再升維不同，在MobilenetV2中是先升維再降維。總的來說，殘差網絡是先卷積，再上采樣。MobilenetV2采用線性瓶頸結構和反向殘差結構，以此來快速訓練達到收斂，且計算的參數量減少。在此結構中，采用低維1×1卷積進行升維，并利用1×1卷積進行降維。同時為了降低損失在提取建筑物信息過程中的特征權重，在深度卷積過程中利用ReLU6進行降維。如圖2是簡單的模型結構圖。

圖2" MobilenetV2網絡示意圖

在Inception網絡模型架構中，常用3×3和5×5卷積網絡進行提取特征，本文引入1×1卷積來細化特征提取，用來限制輸入信道的數量，除此，可以進一步通過信道數的減少來減低訓練成本。選取InceptionV3網絡架構進行骨架替換，三個子模塊分別如圖3（a）（b）（c）所示。

Resnet50骨架模型是一種殘差結構，可以加速卷積神經網絡訓練過程，主要原理是在網絡上下結構中加入直接連接結構。之前的網絡結構是進行每一層的卷積權重處理，而加入殘差結構可以將前面的信息直接傳入后面的連接層中，殘差結構如圖4所示。

圖4" 殘差結構

1.3" 骨架改進后的網絡介紹

本文以DeeplabV3+模型與InceptionV3骨架為例來介紹網絡整合過程，DeeplabV3+主要采用編碼與解碼結構，編碼器首先采用一種Inception模塊分別分3個步驟進行特征信息提取，之后進行空洞卷積操作。

空洞卷積模塊由不同空洞卷積與池化結構組成，從多維度對建筑物進行特征提取，能夠有效地改善提取效果。空洞卷積由不同空洞率6、12、18與1×1卷積組合而成，可以從不同尺度進行提取，如從1×1卷積可以較好地提取較小建筑尺寸，不同空洞可以擴大感受野，然后將各個尺寸提取的特征進行連接處理，再通過4倍上采樣處理，進行解碼器實驗，將解碼器、編碼器二者結果結合在一起，進行融合處理后與之前在InceptionV3骨架下經過1×1卷積處理的信息進行特征融合，最后經過3×3卷積與全連接層處理得到所需的建筑物特征信息。

1.4" 評價指標

一般使用交并比、F1得分率、精確度OA來進行結果評價。計算式為：

（1）

（2）

（3）

式中：mIoU表示平均交并比，n表示類別，n+1表示加上了背景類，P表示總體精確，TP表示正確判斷為建筑物實際也為建筑物像素；FP是把背景像素識別為建筑物像素；FN表示為錯把建筑物像素判斷為背景像素；FP代表的是預測為建筑物而實際為背景的像素。

2" 實驗結果與分析

2.1" 實驗數據

WHU數據集：該數據集擁有22萬多個獨立建筑物組成，這些建筑物從空間分辨率為0.075 m、覆蓋范圍為450 m2的新西蘭克賴斯特徹奇航空圖像中提取，此地區地物種類豐富。數據集將大部分航空圖像降至0.3 m空間分辨率，并將其按照一定重疊方式裁剪成為512像素× 512像素大小的8 188個無重疊圖塊，其中用于訓練的圖像有6 110張、驗證的圖像有1 036張、測試的圖像有1 036張。

Inria數據集：該數據集圖像涵蓋了不同的城市住區，其中包括美國的奧斯汀等5個不同風格的地區。本文通過裁剪將5 000×5 000的原始圖像轉化為512×512大小的圖片，選取8 610張圖片進行訓練，2 109張用于測試。

2.2" 實驗條件設置

本文所用的實驗框架為PyTorch；GPU內存：12 GB；顯卡：NVIDIA GeForce GTX 2060；主機內存：64 GB；操作系統：Windows 10，64位；所用的語言是Python 3.7。超參數設置如下：設定一個批次大小8，迭代次數為100輪次，使用SGD優化器來降低損失，momentum設置為0.9，權重開始設置為0，損失函數設置為dice系數與二分類交叉熵損失函數相結合，激活函數為ReLU，學習率開始為0.001，在訓練過程中通過不斷調整學習率來抑制過程中的大幅度震蕩，以優化模型訓練。

2.3" 實驗結果與分析

2.3.1" WHU航空影像上訓練模型

利用WHU航空數據集進行不同骨架訓練，對比MobilenetV2、InceptionV3、Resnet50三種網絡結構，再對UNet與DeeplabV3+進行模型訓練。圖5和圖6是DeeplabV3+與UNet對比實驗結果圖（M代表MobilenetV2，I代表InceptionV3，R代表Resnet50）。表1是不同骨架模型精度在WHU測試數據的分析。

從圖5、圖6結果圖可以看出，總體上各個網絡架構大多可以識別出建筑物所在位置；不同骨架對于同一網絡的提取效果不同。從DeeplabV3+網絡提取的效果圖來看，三種骨架與DeeplabV3+網絡結合的效果圖比單個無權重DeeplabV3+網絡的提取效果好，其中InceptionV3骨架網絡提取的精度最高，提取的完整度最高，其次是Resnet50骨架網絡，最后是MobilenetV2骨架網絡。從圖5第一行紅色矩形框中的結果看，MobilenetV2骨架網絡提取存在斷續的現象，Resnet50骨架網絡提取結果存在多提取、誤提取現象。對于一些中小型建筑物來說，InceptionV3與DeeplabV3+結合可以較好地從影像中提取建筑物的信息，從圖5第二行紅色框中可以明顯看出，從精細化指標來看，InceptionV3骨架的精度最高，達到96.38%，相對于其他兩種骨架最高，交并比中InceptionV3架構最高達到90.81%，F1達到92.85%。

從UNet網絡提取的效果來看，通過與標簽建筑物信息對比可以看出提取的建筑物的面積較完整，規則化的程度更高。其中InceptionV3骨架網絡與UNet網絡結合的效果最好。對于漏提的建筑物，InceptionV3可以在一定程度上減少錯提與誤提，從圖6第二行的提取效果來看，InceptionV3對于錯提建筑物改善并不太明顯，但較其他兩種骨架網絡較好。對比在DeeplabV3+模型下的提取結果，InceptionV3+UNet提取的邊界、范圍、完整性都比InceptionV3與DeeplabV3+網絡提取的效果要佳，精度提升了1.18%，mIoU提升1.05%，F1提高了2.64%，對于Resnet50骨架而言，網絡架構最深，效果也是較好，原因可能是隨著深度的增加會有一定的取舍。

表1" 不同骨架模型精度在WHU測試數據分析表

Network P mIoU F1

MobilenetV2+DeeplabV3+ 0.953 5 0.892 5 0.911 6

InceptionV3+DeeplabV3+ 0.963 8 0.908 1 0.928 5

Resnet50+DeeplabV3+ 0.957 3 0.891 6 0.924 3

DeeplabV3+ 0.948 6 0.842 4 0.908 6

MobilenetV2+UNet 0.964 7 0.898 4 0.938 5

Inceptionv+UNet 0.975 6 0.918 6 0.955 4

Resnet50+UNet 0.974 5 0.914 8 0.951 0

UNet 0.953 2 0.848 6 0.913 6

2.3.2" 在Inria航空影像上驗證結果

相對于WHU數據集，Inria數據集影像的建筑物環境較復雜，主要存在的提取難題是建筑物受陰影的遮擋，一些不規則建筑物難以識別，還有一些密集型建筑物很難精準識別。

從DeeplabV3+提取的效果看，InceptionV3與DeeplabV3+提取的效果最佳，Resnet50骨架網絡效果也相當，MobilenetV2骨架網絡最差。從標注的紅色畫框可以看出中，MobilenetV2與Resnet50骨架存在漏提與提取邊界不完整的現象，InceptionV3+DeeplabV3+效果不錯。由圖7看出，InceptionV3與DeeplabV3+結合效果受陰影遮擋效果最小，可以提取出每個建筑物的大小，而其他兩個建筑物的提取都受樹木遮擋的影響致使少提或者漏提。從表2可以了解到，InceptionV3與DeeplabV3+的精度與交并比最高分別為95.69%和84.16%，且InceptionV3與DeeplabV3+的F1指標最高，而MobilenetV2、Resnet50骨架分別與DeeplabV3+組合在提取中效果不好，可能是錯把建筑物識別為背景。

從UNet網絡提取效果來看，建筑物提取信息較完整，建筑物的規則化程度更高。InceptionV3骨架網絡與UNet網絡結合的效果在一定程度上最好，錯提建筑物信息較少，Resnet50骨架網絡次之，MobilenetV2骨架網絡最差。從UNet提取的效果圖8看，都存在把畫框上方的與房屋相似的物體錯識別為建筑物的問題。

3" 結" 論

本文使用不同骨架的語義分割模型進行建筑物的提取，并用三種不同的普通卷積模塊MobilenetV2、InceptionV3和Resnet50分別在WHU和Inria航空數據集上與無權重DeeplabV3+、UNet網絡架構組合進行建筑物提取，通過對比分析可知，不同骨架對同一模型的提取效果是不同的，從三種骨架的效果圖以及對應的提取精度指標可以看出，在WHU與Inria數據、DeeplabV3+模型上，InceptionV3骨干的提取效果最好，其中精度最高，達到96.38%，平均交并比中最高達到90.81%，F1達到92.85%；在UNet網絡可以得到相同的結論。

參考文獻：

[1] 范榮雙，陳洋，徐啟恒，等.基于深度學習的高分辨率遙感影像建筑物提取方法 [J].測繪學報，2019，48（1）：34-41.

[2] 張慶云，趙冬.高空間分辨率遙感影像建筑物提取方法綜述 [J].測繪與空間地理信息，2015，38（4）：74-78.

[3] LIN J W，WANG K，ZHANG Z P，et al. A method of building information extraction based on mathematical morphology and multiscale [C]//Proceedings Volume 9808，International Conference on Intelligent Earth Observing and Applications.SPIE.，2015：98082S[2023-06-16].https：//doi.org/10.1117/12.2207657.

[4] HAO L C，ZHANG Y，CAO Z M，et al. A building edge extraction method based on dual-scale classification with decision fusion for satellite image [C]//Proceedings Volume 10764，Earth Observing Systems XXIII.SPIE，2018：107641Z[2023-06-16].https：//doi.org/10.1117/12.2320398.

[5] 林祥國，張繼賢.面向對象的形態學建筑物指數及其高分辨率遙感影像建筑物提取應用 [J].測繪學報，2017，46（6）：724-733.

[6] 呂道雙，林娜，張小青.面向對象的多尺度多特征高分遙感影像建筑物提取 [J].北京測繪，2019，33（2）：191-195.

[7] JIN Y W，XU W B，ZHANG C，et al. Boundary-Aware Refined Network for Automatic Building Extraction in Very High-Resolution Urban Aerial Images [J/OL].Remote Sensing，2021，13（4）：692[2023-06-20].https：//doi.org/10.3390/rs13040692.

[8] LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：3431-3440.

[9] 張哲晗，方薇，杜麗麗，等.基于編碼-解碼卷積神經網絡的遙感圖像語義分割 [J].光學學報，2020，40（3）：46-55.

[10] 任欣磊，王陽萍，楊景玉，等.基于改進U-net的遙感影像建筑物提取 [J].激光與光電子學進展，2019，56（22）：195-202.

[11] 司龍偉.基于深度學習的高空間分辨率遙感影像建筑物自動提取方法研究 [D].焦作：河南理工大學，2020.

[12] MNIH V，KAVUKCUOGLU K，SILVER D，et al. Playing Atari with Deep Reinforcement Learning [J/OL].arXiv：1312.5602 [cs.LG].[2023-06-20].https：//arxiv.org/abs/1312.5602.

[13] 劉文濤，李世華，覃馭楚.基于全卷積神經網絡的建筑物屋頂自動提取 [J].地球信息科學學報，2018，20（11）：1562-1570.

[14] 劉浩，駱劍承，黃波，等.基于特征壓縮激活Unet網絡的建筑物提取 [J].地球信息科學學報，2019，21（11）：1779-1789.

[15] 朱淑鑫，周子俊，顧興健，等.基于RCF網絡的遙感圖像場景分類研究 [J].激光與光電子學進展，2021，58（14）：76-86.

作者簡介：王正（1998—），男，漢族，安徽滁州人，碩士研究生在讀，研究方向：攝影測量與遙感技術；通訊作者：劉超（1985.02—），男，漢族，陜西蒲城人，副教授，美國東密歇根大學訪問學者，博士/博士后，研究方向：GNSS+多傳感器的災害監測理論與方法、GNSS精密定位技術、城市潛在違法建筑的遙感檢測技術、礦山測量與系統平臺研發等。