多尺度空洞卷積金字塔網絡建筑物提取

張春森，劉恒恒，葛英偉，史 書，張 覓

(1.西安科技大學 測繪科學與技術學院，陜西 西安 710054；2.武漢大學 遙感信息工程學院，湖北 武漢 430079)

0 引 言

建筑物作為城市的主體之一，其空間分布可以有效幫助判斷該地區城鎮化水平，并且對于城市規劃、違章建筑監測等方面具有重要的意義。隨著遙感影像技術的迅猛發展，高分辨率遙感影像數據不斷涌現，基于高分辨率遙感影像的建筑物提取成為了學者們研究的熱點，并取得了大量的研究成果。

遙感影像建筑物提取方法主要利用建筑物的光譜特征、形狀特征、紋理特征、上下文特征、陰影特征、局部特征(直線與邊緣角點)等[1]。游永發等利用建筑物光譜特征、形狀特征與上下文特征結合面向對象與形態學建筑物指數提取建筑物，但其受人工設計特征影響較大，與建筑物紋理、形狀接近的易錯分，亮度、對比度低的及稀疏、尺寸大的易漏分[2]；冉樹浩等利用建筑物形狀特征與陰影特征提取建筑物，但陰影交錯重疊的區域會對結果產生影響[3]；朱俊杰等利用建筑物幾何特征與光譜特征結合圖像分割提取建筑物，但目前已有的圖像分割算法本就面臨著過分割和欠分割的問題[4]；賀曉璐等將引入紅色邊緣波段規則面向對象方法提取建筑物信息的結果與基于樣本面向對象方法提取建筑物信息的結果進行融合來提取建筑物[5]；林祥國等將直角點和直角邊2種特征融合提取建筑物[6]；呂鳳華等根據高分遙感影像不同尺度下特征表現不同提出了多層次特征建筑物提取方法[7]。

近年來，深度學習技術飛速發展，相比傳統方法，深度學習方法可以自動提取影像目標的特征，避免了人工設計特征的繁瑣，且傳統方法通過人工設計特征帶來的一些弊端也得以避免[8-9]。FCN作為深度學習中語義分割的經典之作，盡管FCN存在著語義信息丟失、缺乏像素之間關聯性研究等問題，但其將編碼-解碼的結構用于圖像語義分割，為后續圖像語義分割網絡的研究有著極大的貢獻[10]。SegNet采用了編碼-解碼的結構，相比FCN的改進之處有上采樣過程中用反池化替代反卷積，使得參數量下降，加快了模型的訓練速度，且在反池化過程中使用下采樣最大池化過程的位置信息，保證了高頻信息的完整性，但是在對較低分辨率的特征圖進行反池化時，會忽略鄰近像素之間的信息[11-12]。U-Net網絡是基于FCN的一種語義分割網絡，相比FCN的改進之處有，FCN通過特征逐點相加進行特征融合，只是單一尺度的特征融合，而U-Net是通過特征通道拼接進行特征融合，融合了不同尺度的特征，同時使用跳躍連接使得特征更加精細[13]。劉浩等選取U-Net為基礎模型，在編碼過程使用特征壓縮激活模塊使網絡學習特征的能力增強，解碼過程復用編碼過程相應尺度的特征以恢復空間信息，實現特征壓縮建筑物的提取[14]；王舒洋等使用深度編解碼網絡提取建筑物的低階語義特征，使用多項式核對深度網絡中間特征圖進行高階描述，將低階特征與高階描述級聯實現融合高階信息的建筑物提取[15]；陳凱強等基于編解碼網絡CNN實現建筑物的提取，并使用FoVE方法減輕建筑物邊緣提取精度不高現象[16]；惠健等將U-Net作為基礎模型，加入Xception模型并結合多任務學習方法來進行建筑物的實例分割[17]；崔衛紅等選取VGG16網絡作為基礎模型，對原始影像不同尺度下采樣，獲取不同尺度的特征，并將不同尺度的特征進行相加合并，同時上采樣過程用全卷積替換全連接層，實現多尺度全卷積網絡建筑物的提取[18]。

在U-Net基礎上改進網絡模型，加入空洞卷積擴大感受野，使得每個卷積輸出包含比普通卷積更大范圍的特征信息，利于獲取遙感圖像中建筑物特征的全局信息。并加入金字塔池化層結合U-Net跳躍連接結構來融入更多尺度的特征以獲取高分辨率全局整體信息及低分辨率局部細節信息，以實現建筑物的精提取。

1 網絡及算法

1.1 U-Net卷積神經網絡

U-Net是全卷積神經網絡FCN的一種變體，最早應用于醫學圖像細胞壁的分割。其網絡結構對稱，形似字母“U”而得名U-Net。U-Net采用了編碼-解碼的結構，并在此基礎上加入了跳躍連接，編碼過程通過卷積池化提取圖像特征同時丟失了位置信息，而在解碼過程恢復位置信息，跳躍連接通過特征維度拼接進行特征融合可以獲取多尺度特征(圖1)。

圖1 U-Net基本結構

1.2 空洞卷積(dilated convolution)

在將遙感圖像輸入卷積神經網絡過程中，對圖像進行連續卷積和池化或者其他下采樣操作整合多尺度上下文信息，這樣在降低圖像尺寸的同時增大感受野，會損失一些分辨率，使得一些圖像細節信息無法重建。針對以上問題，在U-Net中利用空洞卷積增大感受野，每個卷積輸出包含比普通卷積更大范圍的特征信息，利于獲取遙感圖像中建筑物特征的全局信息[19]。

空洞卷積向卷積層引入了一個“擴張率(dilation rate)”的新參數，該參數定義了卷積核處理數據時各值的間距。設置不同擴張率時，感受野會不同，從而能夠獲取遙感影像多尺度特征信息。實驗中，根據遙感圖像的原始尺寸來設定相應卷積神經網絡中空洞卷積所提取的特征圖的大小，進而設定空洞卷積擴張率。空洞卷積如圖2所示。

圖2 空洞卷積

1.3 金字塔池化模型(pyramid pooling model，PPM)

由于U-Net獲取多尺度是通過特征維度拼接進行特征融合實現的，因此其尺度有一定的局限性，因此文中將金字塔池化與U-Net跳躍連接結合起來，實現更廣意義上的多尺度特征提取[20]。

金字塔池化將輸入特征圖經過多種不同尺度的池化得到不同尺度的特征圖，經過1×1卷積后特征維度壓縮為原先的1/N(N表示金字塔的層級)，然后上采樣之后恢復至輸入特征圖尺寸，在通道上與輸入特征圖拼接形成多尺度特征的融合。由于金字塔池化模塊由不同尺度的池化層組成，分辨率高的池化由于其感受野大，因此可以獲取全局整體信息，分辨率低的池化，由于其感受野小，感受野受到限制，無法獲取全局整體信息，但可以獲取局部細節信息，將其進行融合后，可以獲取影像的多尺度信息。金字塔模型如圖3所示。

圖3 金字塔池化模塊

1.4 空洞卷積金字塔網絡結構

空洞卷積金字塔網絡結構如圖4所示，主要分為編碼(左)-解碼(右)以及中間的金字塔池化和跳躍連接。編碼是提取影像特征的過程，網絡輸入512×512 RGB影像，經過4次下采樣，每次下采前經過一個普通卷積層、一個擴張率為2的空洞卷積層，下采樣采用最大池化，每個卷積層后接BN層及RELU激活函數，在第4次下采樣后添加Dropout正則化防止過擬合[21-22]。解碼過程對應編碼過程進行4次上采樣，上采樣通過轉置卷積逐層恢復圖像至原圖像大小。金字塔池化將輸入特征圖經過4種不同尺度的平均池化得到1×1，2×2，4×4，8×8等4種尺度的特征圖，經過1×1卷積后特征維度壓縮為原先的1/4，然后上采樣恢復至輸入特征圖尺寸，在維度上與輸入特征圖拼接。跳躍連接結構將金字塔池化拼接的特征圖與解碼階段的特征圖特征進行特征維度拼接結合實現多尺度特征融合，在對不同尺寸的建筑物提取上相比于單一尺度的網絡具有更好的效果。

圖4 空洞卷積金字塔網絡

1.5 評價指標

文中選取語義分割常用的4個評價指標(交并比IoU，準確率Precision，召回率Recall，F1分數)來評價文中方法的精度，計算公式見式(1)～式(4)。

(1)

(2)

(3)

(4)

式中TP為真實值是正例，模型預測為正例的數量；TN為真實值是負例，模型預測為負例的數量；FP為真實值是負例，模型預測為正例的數量；FN為真實值是正例，模型預測為負例的數量。

2 實驗與分析

2.1 實驗數據

文中實驗使用武漢大學季順平教授團隊提供的開源建筑物數據集—WHU建筑物數據集中的航空影像數據集，其覆蓋新西蘭Christchurch市450 km2，包含22萬棟形態不一的建筑物，空間分辨率為0.075 m[23]，部分影像如圖5所示。

將影像裁剪成適合網絡輸入的512×512子圖，并分為60%訓練集、20%驗證集和20%測試集，得到1 096張訓練影像，365張驗證影像，366張測試影像。為了增強網絡的魯棒性，降低模型對某些屬性的依賴，提升模型的泛化能力，因此需要對訓練集進行數據增強。對訓練集影像進行旋轉、翻轉、模糊處理、添加隨機噪聲和伽馬變換等數據增強操作，將訓練集增加到了5 480張數據。數據增強后的結果如圖6所示。

2.2 實驗結果與分析

實驗均基于Windows下的Tensorflow框架，Python編程語言實現，硬件環境CPU Intel(R)Xeon(R)E5-2630 v4，顯卡為NVIDIA Quadro M4000 8G內存。采用Adam優化器初始學習率為10-4，最低學習率不低于10-5，優化超參數為β1=0.9，β2=0.999，δ=10-8，迭代次數設為10次，模型訓練結果如圖7所示。

為驗證空洞卷積金字塔網絡的有效性，與最大似然法、支持向量機法等傳統方法對比[24-25]。從圖8(c)、(d)可以看出，最大似然法和支持向量機法提取建筑物的邊界模糊，且存在“椒鹽”現象，明顯將路及其它與建筑物光譜相近的地物判別為建筑物，存在嚴重的錯誤。從圖8(j)可以看出，空洞卷積金字塔網絡提取建筑物的邊界清晰、完整，且未存在誤判現象。

將空洞卷積金字塔網絡與經典的深度學習方法對比，包括FCN-32s，FCN-16s，FCN-8s，SegNet，U-Net。從圖8(e)(f)(g)可以看出，FCN-32s，FCN-16s，FCN-8s算法提取的建筑物結果很粗糙。從圖8(h)可以看出，SegNet算法提取的建筑物邊界不清晰。從圖8(i)可以看出，U-Net算法提取建筑物邊界相比SegNet清晰，但存在少量“椒鹽”現象。從圖8(j)可以看出，空洞卷積金字塔網絡相比其它深度學習算法提取建筑物的邊界更加清晰、平滑、完整。且從圖8中可以看出，其他方法在小尺寸建筑物上容易出現漏檢，大尺寸建筑物提取不完整，而空洞卷積金字塔網絡對不同尺寸建筑物均可以完整的提取，說明空洞卷積金字塔網絡在對不同尺度建筑物的提取上具有更好的效果。

圖8 深度學習算法結果對比

為定量評價文中方法的有效性，統計深度學習方法方法的準確率、召回率、F1分數和交并比。

從表1可以看出，空洞卷積金字塔網絡在交并比、準確率、召回率、F1分數與其它深度學習方法相比，空洞卷積金字塔網絡是最優的。相比于FCN-32s，FCN-16s，FCN-8s，SegNet、U-Net，空洞卷積金字塔網絡交并比、準確率、召回率及F1分數都有很大的提升，證明了空洞卷積金字塔網絡的有效性。

表1 深度學習算法精度評定

2.3 泛化能力驗證

通過大量實驗對比發現，空洞卷積金字塔網絡在WHU建筑物數據集上表現優秀，為了充分驗證空洞卷積金字塔網絡的泛化能力，采用Inria數據集[26]進行驗證，其中訓練集1 000張512×512影像，驗證集和測試集都為200張512×512影像。

表2 泛化實驗提取結果精度評定

從提取結果可以看出，空洞卷積金字塔網絡的泛化能力優秀，無論是大型建筑物還是小型建筑物都能被很好的提取。

圖9 空洞卷積金字塔網絡在Inria數據集提取結果

3 結 論

1)加入空洞卷積擴大感受野，使得每個卷積輸出包含比普通卷積更大范圍的特征信息，利于獲取遙感圖像中建筑物特征的全局信息。并加入金字塔池化層結合U-Net跳躍連接結構來融入更多尺度的特征以獲取高分辨率全局整體信息及低分辨率局部細節信息，以實現建筑物的精提取。在WHU建筑物數據集進行建筑物的提取，結果表明，空洞卷積金字塔網絡相比以往傳統方法和深度學習方法建筑物提取的精度有所上升，且在對不同尺度建筑物的提取上均具有更好的效果。

2)通過Inria數據集一方面驗證了空洞卷積金字塔網絡的泛化能力，另一方面驗證了無論是大型建筑物還是小型建筑物文中方法均表現優異。

3)空洞卷積金字塔網絡在建筑物提取上表現優異，但在其它經典地物(道路、水體、耕地等)提取的表現上有待進一步探索。