利用邊界校正網絡提取建筑物輪廓

胡敏，況潤元，陳增輝，劉靜

(江西理工大學，江西 贛州 341000)

0 引言

建筑物屋頂輪廓的自動提取是遙感在土地類型利用分析以及地圖自動更新和生成等應用領域中一個長期存在的問題[1]。近年來，基于成像傳感器和其操作平臺的快速發展，高分辨率遙感圖像的可利用性快速發展使得該問題日益突出[2]。由于顏色、亮度和紋理條件的復雜性，使得從包含各類地物影像中提取建筑物屋頂更為復雜，因此適合采用先構建建筑物屋頂，再由分割生成屋頂輪廓[3]。在數據源上有基于圖像數據[4]、點云數據[5]和圖像點云組合數據[6]3類。分割算法上可分為閾值分割法[7-8]、圖像分割法[9-11]、神經網絡分割法[12]。其中，基于神經網絡算法根據地面真實數據進行模式學習，再將結果模型應用于新圖像，可以根據地表真實數據進行調整[13]。但其僅通過人工描繪[14]從圖像中提取特征，利用各種分類器進行分類[15]，需進行大量反復實驗，耗費勞力且缺乏泛化能力。而卷積神經網絡[16]通過利用卷積，子采樣和全連接自動提取特征并執行分類[17]，且特征提取直接基于數據中學習，具有更高的泛化能力和精度[18]。

LSVRC-2010大賽中采用了卷積神經網絡算法的AlexNet以壓倒性優勢獲勝，且對數據進行開源的優勢[19]，使得基于卷積神經網絡算法已成為眾多計算機視覺任務(如圖像分類、物體檢測和圖像分割等)中的基礎算法[20]。但由于其極高的內存成本和低計算效率，使得全卷積網絡引起了更多的關注[20]。FCN對圖像采用像素級的分類，接受任意尺寸的輸入圖像，并采用反卷積層對最后一個卷積層的feature map進行上采樣， 使其恢復與輸入圖像同尺寸，保留原始空間信息，上采樣時進行逐像素分類[21]，降低了內存成本和參數數量，提升處理效率[22]。但在上采樣過程中依然會引起部分邊緣信息丟失，使得FCN的預測結果通常具有邊緣模糊和一定的精度限制。

為克服全卷積網絡模型的局限性，語義分割網絡[23]將傳統的上采樣操作替換為非采樣。反卷積網絡[24]引入新的反卷積層產生上采樣結果，解決部分由上采樣操作引起的信息丟失。U-net[25]和特征金字塔網絡[26]，采用跳躍式連接以產生輸出；多約束全卷積網絡[27]利用多約束防止偏差。但此類算法僅專注于以信息保留替換雙線性上采樣(如語義分割網絡和反卷積網絡)，或通過添加跳躍層利用隱藏層特征(如U-net和多約束全卷積網絡)，其在生成預測區域值時僅采用了局部特征，忽略了形狀信息和線性關系等全局信息，使得建筑物多邊形各點間和多邊形各直線間的信息被忽略。在數據獲取過程亦存在建筑物被周圍植被遮擋和建筑物間相互遮擋等情況，此時使得模型對于邊界識別的預測值與真實值之間的差距越來越大。

針對此類問題，本文提出了一種利用局部和全局邊界信息，以實現更好的屋頂分割和更準確的輪廓提取的深度卷積神經網絡模型，稱為邊界校正網絡(boundary regulated network，BR-net)模型。并在武漢大學的開源數據庫(WHU)[28]中的航空影像和衛星影像數據集上進行實驗，證明了所提出的BR-net模型的有效性。

1 實驗方法

1.1 研究方法

經典的FCN模型采用全卷積層執行輸入到輸出間的像素到像素的轉換，并通過刪除全連接層，以減少模型的參數量，提高模型性能。基于全卷積網絡的改進模型通過利用非抽樣(語義分割網絡)、反卷積(反卷積網絡)、跳躍鏈接(U-net)和多約束(多約束全卷積網絡)等方式來提高模型性能，但其每個像素的預測值也是僅基于局部信息(如3×3或5×5)內的特征進行結果預測的，依舊無法利用建筑的邊界全局信息。同時在圖像獲取時，會產生大量噪聲數據(建筑物間遮擋，植被遮擋等)誤差。若網絡模型僅通過周圍像素之間的差異進行圖像分割，則導致建筑物的邊界等信息被浪費。為克服此類局限，本文所提出的BR-net模型采用多任務學習進行分割和輪廓提取，以充分利用圖像的局部和全局信息。在訓練階段，優化器用以確保分割和輪廓提取預測結果與相應的建筑物標簽數據保持一致。在每次迭代期間，建筑物的邊界信息可以限制和調節參數更新，將防止映射模式偏向周圍像素的分割。模型由2個部分組成：優化的U-net型全卷積神經網絡為共享后端、生成分割和輪廓提取的雙預測框架(圖1)。共享后端由4個下采樣層、一個中央轉換層和4個上采樣層組成。中央層為一個內核數為384的3×3的卷積層，后接LeakyReLU激活函數和BN層，在下采樣層間的第二BN層和上采樣層間的相應上采樣層之間采用跳躍連接。卷積運算是通過內核執行的逐元素乘法，內核的大小決定了接收領域的范圍。與整數線性單位(ReLU)相比，它將所有小于0的值設置為0，輸出由Leaky ReLU[29]激活函數處理，其中，α的值設置為0.1。采用最大值池化對中間層特征的高度和寬度進行二次采樣；同時選取雙線性上采樣和跳躍連接，使輸入和輸出的圖像大小保持一致；最后選擇sigmoid激活函數生成分割預測結果。通過網絡訓練和交叉驗證，以優化并確定超參數學習率和迭代次數，再根據由優化的超參數訓練得到的網絡模型對測試集進行測試，最終生成測試集的建筑物結果。模型的初始輸入參數為512像素×512像素的RGB圖像。

1)下采樣層中，h、w和d分別代表輸入的高度、寬度和深度；y表示用于卷積的內核數。含2個卷積層、2個LeakyReLU激活函數、2個BN層和一個最大池化層。對于每個輸入，下行層會生成寬度和高度減半的輸出。4個層中的內核數分別為[24、48、96、192]。

2)上采樣層中，h、w和d分別代表輸入的高度、寬度和深度；Y和y分別表示下行層中相應BN層的尺寸和用于卷積運算的內核數。含一個雙線性上采樣層、一個跳躍連接層和3個卷積層，后接LeakyReLU激活函數和BN層。上行層將輸入的寬度和高度加倍。4個層中的內核數分別為[192、96、48、24]。

圖1 技術路線

共享后端的輸出是具有與輸入圖像一致寬度和高度的3D矩陣。將單個1×1卷積核跟sigmoid激活函數應用于輸出分割結果圖的預測。類似采用具有S形激活函數的單個3×3卷積核用于生成建筑物輪廓。然后選取預測值和相應的地面真值之間的二元交叉熵[29]對分割損失和輪廓損失進行計算。計算每項損失的表達如式(1)所示。

(1)

式中：h和w表示預測結果的高度和寬度(y)及相應的地表真實值(g)；yi，j的值為像素類別預測結果的概率值。BR-net的總損失結果的表達如式(2)所示。

lossfinal=(1-α)×lossseg+α×lossbou

(2)

式中：α為邊界損失的權重(lossbou)。本次實驗中，α的值設為0.5。在每次迭代中，當Adam優化器將最終損失最小化時，BR-net模型學習得到對應的映射模式,其可根據單個輸入產生分割和輪廓的預測。

1.2 評價指標

為了充分反映邊界校正全卷積網絡對于樣本的分割性能，選取提取結果的準確率(accuracy)、精確率(precision)、召回率(recall)、F1、Kappa系數以及平均交并比(mean intersection-over-union， mIoU)6類指標來衡量提取結果的精度。mIoU即目標區域和預測區域之間的重合度，也就是用來表示某類標簽(ground truth，GT)的像素集合和預測(prediction，P)結果像素集合之間的交集比上并集。

6類指標的表達如式(3)～式(8)所示。

(3)

(4)

(5)

(6)

(7)

(8)

式中：TP為正確分類的像元數量；FN為漏分類的像元數量；FP為過分類的像元數量；TN為誤分類的像元數量；P0為總體分類精度；Pe為真實像元與分類像元的積之和除以總像元數目的平方。計算IoU時，進一步轉換如式(9)所示。

(9)

IoU的取值范圍在0到1之間，值越大說明預測效果越好，當GT和P完全重合的時候為最大值1。平均交并比mIoU如式(10)所示。

(10)

式中：m表示數據標簽類別個數；iIoU表示第i個類別的交并比。

同時，為了最直觀地反映改進后該網絡模型的性能，所有指標均采用未經任何數學形態學后處理[30]的情況下進行計算。

2 實驗結果與分析

2.1 數據源

本文使用的數據來自WHU數據庫，該數據庫分成航空建筑物數據庫和衛星建筑物數據庫。航空影像數據來自新西蘭克賴斯特徹奇市(Christchurch)，涵蓋22萬棟形式各異的建筑，地面分辨率0.075 m，后期將數據下采樣到0.3 m。衛星影像數據包含來自不同衛星傳感器(ZY-3、Ikonos、WorldView系列等)、不同分辨率(0.3～2.3 m),包括亞洲、歐洲、北美洲、南美洲和非洲5大洲的不同城市，共含3.4萬棟建筑物。圖2和圖3分別展示了航空影像數據集和衛星影像數據集的部分樣例，其中原圖和標簽數據均采用WHU數據集。同時，根據數據集中的標簽集，采用Python編程進行Sobel濾波，得到所有建筑物頂的外部輪廓即邊界數據，以充分利用建筑物頂多邊形的全局信息，即點間的方位關系與線間的角度關系。

圖2 航拍影像數據集示例

圖3 衛星影像數據集示例

所有數據的大小均調整為512像素×512像素。本文主要將數據分成航空影像數據集、衛星影像數據集，進行網絡模型訓練。各類數據集中均采用70%數據作為訓練集，20%的數據作為驗證集，10%的數據作為測試集。表1為WHU數據庫與其他國際開源數據庫的對比。

表1 WHU數據庫與其他國際開源數據庫的總體比較[28]

2.2 驗證分析

本文采用經典的U-net模型為基礎模型與BR-net模型結果進行橫向比較，使用相同的數據集與處理平臺進行建筑物頂提取。從建筑物頂輪廓提取結果的定性判別中對照圖4(其中，綠色對應代表區為true positive(TP)；藍色對應代表區為false negative(FN)；紅色對應代表區為false positive(FP)；白色對應代表區為true negative(TN))。可見，無論是在航空影像數據集還是在衛星影像數據集基礎上的輪廓提取結果，BR-net模型均明顯優于傳統U-net模型的提取結果。從建筑物的屋頂輪廓上看，改進后的BR-net模型所提取的建筑物頂輪廓，與基準屋頂的輪廓吻合度明顯更優(圖5)，特別是在建筑物頂的直角拐角處，采用傳統U-net模型的提取結果大部分出現了過度分類的情況，主要因為在網絡中沒有加入邊界校正全卷積網絡的誤差限制條件；同時，在負樣本(沒有建筑物但存在其他地類圖像)中，U-net模型將具有高亮反射區域的部分道路提取為建筑物，存在明顯誤差，總體表現在：較為大型的建筑物上，U-net模型的提取結果區域對于地表真實區域過大；在較小型密集建筑物區域，U-net模型提取的建筑物區域對于地表真實區域過小。

圖4 航空影像建筑物頂提取結果對比

圖5 衛星影像建筑物頂提取結果

定量提取的建筑物頂結果(表2)顯示了航空影像和衛星影像測試區域在U-net模型和BR-net模型間的6類提取精度比較。在總體精度上，BR-net模型的精度結果均明顯優于U-net模型。其中，2類模型在衛星影像和航空影像2類影像的精度差異上，衛星影像數據集上的精度差異較低。在準確率、精確率、召回率、F1、Kappa系數以及平均交并比上，BR-net的總體精度分別提升了8.95%、16.01%、25.23%、23.42%、26.89%和33.57%，且在6類精度中BR-net模型的建筑物提取精度均達到89%以上。

表2 建筑物頂提取結果精度對比

3 結束語

本文提出了一種新的邊界校正全卷積網絡模型，用于精確進行屋頂分割預測，并基于WHU影像數據集進行建筑物輪廓提取。所提出的BR-net模型能夠基于RGB圖像進行建筑物的自動分割預測和輪廓提取。采用WHU數據集上的航空影像數據和衛星影像數據，分別對改進后的網絡進行了6類精度評估。BR-net模型憑借其獨特的邊界限制條件和誤差調節設計，比經典的U-net模型得到了更高的精度提取結果。與U-net模型相比，在對航空影像和衛星影像建筑物頂提取精度中的mIoU精度及Kappa系數分別提高了(0.478、0.193)和(0.362、0.174)。在今后研究中，將進一步探尋更優化的網絡架構，力求以更低的計算成本實現更好的網絡模型計算性能。