一種改進DeepLabV3+網絡的高分辨率遙感影像道路提取方法

葛小三，曹偉

(1.河南理工大學 自然資源部礦山時空信息與生態修復重點實驗室，河南 焦作 454000；2.河南理工大學 測繪與國土信息工程學院，河南 焦作 454000)

0 引言

道路提取一直是高分辨率遙感數據應用領域的研究熱點之一，在多個領域有著廣泛的應用，如智慧交通網絡建設、無人駕駛自動導航、城市道路規劃等。當前，隨著出行方式的多樣化，人們對基礎地理信息的更新速度和準確性提出了更高的要求[1]。

對于遙感影像上的道路提取，由于道路材料多樣、光照差異、建筑物遮擋等因素干擾，道路自動提取與路網的構建研究仍具有很大的挑戰性。目前道路提取的方法可以分為傳統道路提取方法和基于深度學習的道路提取方法[2]。傳統的方法通常利用手工設計的特征進行道路提取，又可以進一步分為基于像元的道路提取和面向對象的方法。基于像元的方法主要通過分析像素的光譜信息來提取道路，如光譜分析法[3]、閾值分割法[4]和邊緣檢測法[5]。這一類方法對圖像清晰、背景簡單的遙感影像中提取簡單的路網有一定作用，但缺乏特征的空間背景和紋理結構等信息，并伴隨著大量的椒鹽噪聲，需要大量的后處理工作來修整提取的道路[6]。面向對象的提取方法中，則以道路為對象，建立信息模型，具有很好的抗噪性和適用性，對比基于像元的方法，精度有所提高，如分水嶺分割算法[7]、區域增長算法[8]、基于支持向量機[9]的算法。雖然這些方法的提取性能有所提高，但容易對空間上相鄰、結構特征相似的像素進行誤分類。同時，分類規則設計較為復雜，提取的準確性有待提高[10]。總之，傳統的方法在泛化能力上往往受到限制。

與傳統方法不同的是，深度學習能夠從深層的特征中學習更加復雜抽象多層次的特征來分析與處理數據[11]。2013年，Li等[12]將深度學習方法首先應用到道路提取，并建立了相應的大規模數據集——Massachusetts roads 數據集。自此之后，多位學者針對道路的提取進行了研究，如劉笑等[13]提出的基于全卷積神經網絡的方法；Cheng等[14]提出一種級聯的端到端的卷積神經網絡；Xin等[15]結合密集連接方式和U-Net，提出一種DenseUNet模型；Panboonyuen等[16]提出一種結合ELU(exponential linear unit)激活單元的SegNet網絡模型。上述方法一般可以提取出較為完整的道路區域，但提取的道路邊界模糊且道路斷裂現象嚴重。

針對現有的道路提取方法普遍注重區域精度而邊界質量缺失考慮的問題，本文提出一種基于DeepLabV3+網絡的高分辨率遙感影像道路自動提取方法。該方法結合編解碼器與多孔空間金字塔池，能夠準確實現道路的邊界提取并有效緩解道路斷裂現象。為了驗證該方法的有效性，在Massachusetts roads 數據集上進行實驗，并與其他常見語義分割模型進行對比分析。

1 DeepLabV3+網絡提取道路的方法

1.1 DeepLabV3+網絡結構

DeepLabV3+采用基于全卷積神經網絡的編解碼器結構，將DeepLabV3模型作為編碼器。在道路提取過程中，先由深度卷積層初步提取道路特征，結合空間金字塔池化后的道路特征，最后進行上采樣實現道路分割。用于道路提取的DeepLabV3+模型如圖1所示。

圖1 用于道路提取的DeepLabV3+模型結構

為了解決池化帶來的道路結構信息丟失問題，DeepLabV3+模型采用了一種有效的多孔空間金字塔池化，該結構包含三個平行的空洞卷積，擴張率分別為6、12、18，提供了一個更大的感受野，有助于捕獲道路結構的上下文信息。空洞卷積原理如圖2所示。空洞卷積可以在不增加參數的情況下擴大接受野，保證速度的情況下提高了道路提取精度，并且可以控制神經網絡特征響應的空間分辨率。為了減弱道路不規則性對網絡結構性能的影響，本文通過調整空洞卷積的擴張率和采取可形變卷積核的方法設計改進了ASPP結構。

圖2 空洞卷積示意圖

DeepLabV3+在編碼部分引入了深度可分離卷積的思想，減少了參數的數量，同時提高了運行速度與分類性能。使用Concat方法對ASPP輸出的多尺度空間信息進行特征拼接，并使用1×1大小的卷積增加編碼結構的非線性，最后編碼器輸出一個總特征圖，比輸入圖像小16倍。解碼器部分主要是對特征圖進行上采樣，恢復道路的細節與邊界信息。首先對編碼器輸出的特征圖進行雙線性上采樣4倍，然后與編碼器中具有相同空間分辨率的低級特征進行Concat連接，接著用3×3的卷積核融合組合后的特征信息，最后用4倍雙線性上采樣操作對融合后的特征圖進行逐層細化，實現道路的語義分割。編解碼器結構如圖3所示。

1.2 樣本制作

本文使用的數據集為Massachusetts roads數據集，是目前為止最大的遙感影像道路數據集，數據集涵蓋1 108張24位真彩色tiff圖像，大小為1 500像素×1 500像素，空間分辨率為1 m。標簽影像中每個像素被劃分為道路或背景，道路像素值為1，背景值為0。因標簽影像中存在不同程度的缺失，本文選取500張較為準確的標簽影像及其對應的地面影像用于實驗。將每張影像及其標簽影像裁剪成406像素×406像素，將其按照7∶2∶1的比例劃分為訓練集、測試機和驗證集。為了增強模型的魯棒性，將樣本訓練集通過隨機水平或垂直旋轉進行數據增強。

1.3 損失函數

道路提取是區分道路與背景的二值分類問題，數據集中只包含道路與背景信息。除此之外，這兩類數據在數據集中所占比例也不同。標注后的圖像中道路像素遠遠少于背景像素，因此在分類任務中正樣本與負樣本存在不平衡的現象[17]。

損失函數的作用是估量預測值與真實值之間的差異程度，可以減少或避免正類和負類數目不平衡的問題。二元交叉熵損失函數(binary cross entropy，BCE)在構建深度學習模型中得到了廣泛的應用，但二元交叉熵損失函數對每個像素進行類預測時，對每個像素的損失賦予了相同的權重，因此，當正負樣本數差距過大時，損失函數的效果會變差。使用DICE(dice coefficient)可以避免這一問題。DICE本質上度量了預測值與真實值的重疊程度，索引范圍從0到1，其中“1”表示完全重疊區域，“0”表示沒有重疊區域。DICE損失函數側重于標簽與預測的一致性，與側重于所有像素的擬合水平的交叉熵損失函數相比，這對于正負不平衡樣本表現更好。然而，DICE損失函數對噪聲仍然很敏感，可能會忽略邊界信息，導致邊界分割不佳。因此，本文將BCE與DICE結合作為損失函數，不僅解決樣本分布不平衡的問題，也提高了道路邊界提取效果。損失函數如式(1)所示。

Loss=αL1+βL2

(1)

式中：L1和L2分別表示BCE和DICE；α、β為BCE和DICE所占的權重。由于DICE的損失梯度大于BCE的損失梯度，在β>α的前提下，可通過實驗得到最佳權重比[18]。

1.4 主干網絡

DeepLabV3+模型可以用于改進的Xception或者用于移動設備計算高效的MobileNetV2。

Szegedy等[19]在2014年提出Inception新型網絡模塊，核心思想是將一個規則卷積分解成獨立的順序操作塊(先通道卷積，再空間卷積)，使其擁有更少的可訓練參數和更快的計算速度，而對學習深層特征的能力幾乎沒有影響。Chollet[20]將Inception的風格發揮到極致，提出了完全建立在深層可分離卷積的Xception架構。為了解決DeepLabV3+模型中的分割任務，Chen等[21]使用改進的Xception模型作為主干網絡特征提取器。該模型使用一個更深的異常模塊，其中所有最大池化操作都由深度可分離卷積代替；在每個深度卷積之后，進行批歸一化處理與ReLU操作。Xception網絡模型如圖4所示。

圖4 Xception模型結構

MobileNetV2的提出是為了解決網絡模型訓練過程中參數量過于龐大、硬件訓練不足等問題。它的核心是使用深度可分離卷積來減少計算量。特別地，引入了反向殘差與線性瓶頸概念，在標準殘差塊中，先利用1×1卷積層壓縮特征圖通道，然后在低維通道應用3×3卷積層提取特征，最后使用1×1卷積層擴張特征通道。在反向殘差中，則發生相反的情況，先利用1×1卷積層擴張特征通道，然后在高維通道應用3×3卷積層提取特征，最后利用1×1卷積層壓縮通道，將所得特征映射到新的通道空間。在這兩種情況下，反向殘差的存儲效率會顯著提高[22]。MobileNetV2的網絡結構如表1所示，殘差結構如圖5所示。

表1 MobileNetV2網絡結構

圖5 MobileNetV2 殘差結構

1.5 評價指標

在道路分類任務中，使用精確率(precision)、召回率(recall)和F1分數(F1-score)來評估DeepLabV3+模型與其他主流語義分割模型。特征計算示意表如表2所示。

表2 特征計算示意表

表2中，TP(true positive)表示成功預測為道路的像素數量；TN(true negative)表示成功預測為背景的像素數量；FN(false negative)表示被分類為背景的道路像素數量；FP(false positive)表示被預測為道路的背景像素數量。

2 實驗結果與分析

2.1 損失函數超參數實驗

將不同權重比的Loss進行對比實驗。固定β=1調整α的取值，L2和L1權重比分別按照1∶1、1∶2、1∶3、1∶4、1∶5五種比例設定，在100張測試集上進行實驗，以F1分數作為性能評價指標。實驗結果如圖6所示。

圖6 損失函數在不同權重下的道路提取結果

從圖中可以看出，當L2和L1的權重比為1∶3時，道路分割結果最佳；當比值為1∶1時，道路分割斷裂明顯，道路邊界提取模糊。五種超參數權重比的性能對比如表3所示。

表3 損失函數在不同權重下的性能對比

2.2 不同網絡主干實驗對比

將改進的Xception和MobileNetV2分別作為DeepLabV3+模型的主干網絡進行道路提取，圖7直觀地比較了兩個主干網絡的道路分割結果。這兩種結構在道路提取中都取得了較好的結果，如表4所示。在精確度、召回率和F1分數方面，使用Xception的DeepLabV3+模型分別達到82.22%、81.61%、81.91%；MobileNetV2則表現得更好，精確度為83.56%，召回率為86.76%，F1分數為85.12%。實際上，Xception涉及的參數大約是MobileNetV2的20倍，當用于訓練的標記數據的數量與待估計參數的數量不匹配時，網絡的泛化效果較差。因此，如果有更多的影像數據參與網絡訓練，道路提取的結果可以得到顯著的改善。

圖7 不同主干網絡提取道路結果

表4 不同主干網絡提取道路實驗精度評價 %

除了質量評估，本文還對兩種主干網絡訓練參數、訓練時間、預測時間進行對比。實驗所用硬件配置為：i7-7700k CPU、32 G RAM、GTX1080Ti GPU。實驗結果如表5所示，可以看出，MobileNetV2需要的訓練和預測時間更少，幾乎是Xception的一半。由于其深度以及更多的參數數量，Xception主干的計算要求更高。

表5 不同主干網絡計算復雜性

2.3 不同網絡模型對比

為了驗證本文提出的道路提取模型的有效性，選取U-Net、PSPNet、SegNet、FCN四種常見的語義分割模型與基于MobileNetV2主干網絡的DeepLabV3+模型進行對比驗證。各方法的道路分割結果如圖8所示，總體分割精度如表6所示。

如圖8所示，FCN模型表現較差，其忽略了高分辨率的特征圖導致邊緣信息的丟失，使得道路提取完整性較差且存在部分噪聲點。PSPNet是基于FCN的多尺度網絡，使用帶有空洞卷積的殘差網絡ResNet作為特征提取，能獲得豐富的道路特征信息，雖然道路漏提取較少，但道路斷裂現象明顯。U-Net 網絡采用編解碼器結構，提高了網絡分類精度，但其主要用于醫學影像的處理，并不適合于復雜遙感影像道路提取，提取結果存在少量噪聲點且道路斷裂現象明顯。SegNet特征提取部分采用VGG16模型，用池化過程的位置信息替代反卷積操作，并移除了全連接層，大幅降低模型體量，但SegNet對于小尺寸目標提取的準確度較低，使得道路漏提取較多。本文使用的基于MobileNetV2主干網絡的DeepLabV3+，將編解碼器與多孔金字塔池化相結合，不僅模型體量小，且能提取多尺度信息，細化分割結果，保持道路提取的完整性與連通性，在道路邊界上的提取結果優于其他網絡模型。

表6 不同網絡提取道路實驗精度評價 %

實驗結果表明，四種常見語義分割模型的F1分數比較接近，而基于MobileNetV2主干網絡的DeepLabV3+模型的F1分數優于其他四種網絡模型，充分表明了本文方法的有效性。

3 結束語

針對現有方法在提取道路時存在道路邊界模糊問題，本文提出了一種基于MobileNetV2主干網絡的DeepLabV3+網絡道路提取模型，旨在更高效、快速、完整地從高分辨率遙感圖像中提取道路。該網絡以MobileNetV2網絡為主干，利用多孔金字塔池化提取多尺度信息，對豐富的上下文信息進行編碼；采用簡單有效的解碼器模塊恢復道路邊界；將深度可分離卷積應用到金字塔池化與解碼模塊，使模型更快更穩定。本文將BCE與DICE結合作為損失函數，并選擇最佳權重比對網絡的訓練進行實時地監督。實驗結果表明，該模型具有更好的性能，所提取的道路結構更加完整，道路邊界更加清晰，在綜合評價指標F1分數上較其他語義分割模型有所改進。因此，本文所提出的方法在高分辨率遙感影像道路提取任務中有著廣泛的應用前景。