改進U-Net網絡的遙感影像道路提取方法研究

宋廷強，劉童心，宗 達，蔣曉旭，黃騰杰，范海生

1.青島科技大學 信息科學技術學院，山東 青島266000

2.珠海歐比特宇航科技股份有限公司，廣東 珠海519000

從遙感圖像中提取道路信息在智慧城市規劃、交通管理等眾多地理信息應用中發揮重要作用。目前獲取遙感數據的成本越來越低，各個遙感平臺通過多種傳感器設備，獲得所需的海量遙感數據，如：高分數據、高光譜數據、雷達數據等，人類觀測、探索到的地球信息更實時、更全面。隨著深度學習技術在實際生產生活中的廣泛應用，利用其對遙感數據中目標地物信息進行提取研究有著非同尋常的意義。

近些年，學者們對遙感影像中道路目標的提取進行了一系列研究。分別使用自適應全局閾值配合形態學方法[1]、面向對象方法[2]、高斯馬爾可夫隨機場結合支持向量機算法[3]、人工神經網絡算法[4]等。不可否認，上述方法在一定應用場景下取得可觀的效果，但部分較好結果建立在人工反復實驗調整閾值參數等一系列耗時耗力且存在主觀性的基礎上，在目前一些大規模數據應用上受限，且分割精度和效率無法達到目前需求。

卷積神經網絡憑借卓越的特征學習能力，在圖像語義分割問題中取得較好效果。本文通過改進語義分割算法，從而實現道路目標與背景信息二分類。當前廣泛使用的語義分割網絡以Long 等[5]提出FCN 為代表，通過使用卷積層替換全連接層，輸出保留上下文空間特征的圖像，實現圖像像素級別端到端的預測。基于FCN架構，Zhong等[6]使用FCN-4s模型進行道路目標提取，并通過使用跳躍連接結構復用淺層的特征信息，在Massachusetts Roads測試集上召回率達到66%。Wei等[7]搭建RSRCNN 網絡進行道路目標提取，但該網絡編碼部分采用VGG16 預訓練模型，對輸入數據進行4 次下采樣，縮小為原來1/32，存在特征圖細節還原較為粗糙問題。為了解決這個問題，Panboonyuen等[8]在SegNet網絡[9]上引入池化索引，編碼器部分使用池化層進行下采樣時記錄最大池化的索引（位置），在解碼器中調用相應的索引信息進行上采樣，減小最大池化造成的位置信息丟失的影響；U-Net模型[10]則在FCN的基礎上添加了更多的跳躍連接，在解碼階段復用編碼階段的低層特征，從而能夠更好地利用紋理信息。但是相對于一般場景來說，遙感影像存在紋理特征復雜的特點，為提高分類精度，現有研究通常基于兩個方向。一方面通過增加網絡層數，訓練更深的神經網絡來提取深層次的的語義信息。其中，Wang等[11]提出了一種結合殘差單元和U-Net架構的編碼-解碼結構網絡，在Massachusetts Roads 數據集上取得良好效果。Zhang 等采用DenseNet 結構構建多條回路連接，該模型可以適應不同大小的目標，并且有效地在高分辨率影像中提取道路[12]，但是顯著增加了網絡的參數量，導致訓練耗時長。另一方面采用結合更高效模塊提高網絡的特征提取能力。Li 等人[13]結合注意力機制和空間金字塔模塊，提出了金字塔注意力網絡實現目標特征信息的增強。此外，遙感影像中的道路目標具有尺度多變的特點，而U-Net的卷積堆疊的編碼器并不利于應對多尺度目標，DeepLabV3網絡[14]中提出的ASPP 模塊，其利用不同空洞率的空洞卷積捕獲多尺度語義信息的思想，對于進行遙感影像道路提取時如何有效利用背景和領域空間信息的問題上具有借鑒意義。

本文的主要創新點如下：提出引入注意力機制和ASPP 模型的AS-Unet 網絡架構，應用于遙感影像道路目標分割。第一，在編碼器即特征提取網絡中加入通道注意力機制對特征信息進行選擇。在解碼器中采用空間注意力機制對不同空間道路特征的相關性建模，提高模型分割性能。第二，在編碼器中加入了改進的ASPP模型，即在每個并行空洞卷積操作后加入1×1 網絡，更好地以不同的膨脹率來捕獲多尺度道路特征。

1 研究方法

1.1 原始U-Net體系結構

高度對稱的編解碼網絡U-Net 體系結構如圖1 所示，由編碼網絡和解碼網絡兩部分組成。

圖1 原始U-Net體系框架

編碼網絡的每個下采樣階段使用兩個相同的卷積層堆疊方式進行特征提取，每個卷積層后使用Relu函數激活，而后采用大小為2×2的最大池化操作對特征圖下采樣。解碼網絡逐步恢復特征圖至輸入圖像尺寸，每個上采樣階段堆疊兩個卷積層，并且每個階段級聯編碼網絡中對應層次的特征圖，從而復用低層次語義信息。

1.2 AS-Unet網絡架構

本文AS-Unet 網絡架構以1.1 節U-Net 網絡為基準模型進行改進，網絡結構由兩部分組成，架構如圖2所示。

圖2 AS-Unet網絡結構圖

第一部分為編碼網絡，每層網絡中的卷積塊之后加入通道注意力機制。在空間維度上分別采用基于全局的平均池化和最大池化操作。通過一系列全連接層之后逐通道融合特征信息，最終得到對應的通道權重值。在通道維度上加強有用的道路特征，并抑制無效且復雜多樣的背景特征，進而提高網絡模型計算效率。對于編碼網絡最后一層，卷積層之后的特征圖中含有豐富的空間語義信息，將特征圖輸入改進ASPP模塊中，經過不同擴張率的空洞卷積后輸入1×1網絡，旨在不同尺度上對圖像特征進行描述。保證了編碼網絡在低層提取關聯性高的道路輪廓細節特征，實現目標的精細分割定位；高層階段得到有用的特征信息，提高圖像中道路識別精度。

第二部分為解碼網絡，每層上采樣模塊最后加入空間注意力機制。在通道維度上分別使用全局平均池化和全局最大池化網絡，得到通道上的全局特征。將特征圖通過維度方向拼接的方式進行特征融合，最后，經過卷積操作后獲得對應的空間權重值。旨在幫助上采樣層有效恢復道路目標空間信息，且一定程度上提升網絡對被樹木、陰影等遮擋的道路的分割能力，從而在恢復至原圖分辨率時能得到準確率更高的分割結果。

1.2.1 嵌入通道注意力模塊

本文中將通道注意力模塊嵌入到編碼器部分，結構如圖3 所示。特征圖X經過編碼部分特征提取網絡得到大小H×W×C特征圖U=[u1,u2,…,uc]，而后將其輸入通道注意力模型中，分別進行全局平均池化和全局最大池化操作得到，輸入信息在通道維度上進行融合，生成2個大小1×1×C的輸出；第二步設置兩層全連接網絡，第一層神經元個數為C/γ，γ代表衰減率，通過γ控制參數量及注意力強度，本文中γ=8，即尺寸大小?1×1×C/8，使用relu函數激活。第二層神經元個數為C，旨在得到與輸入通道數對應的長度為C的向量，此時向量中每個元素即全連接層每個神經元的輸出，可以代表不同通道的重要程度。之后將兩個平行分支的輸出進行融合并使用sigmoid 函數激活，為原始輸入的每個特征通道生成唯一的權重值。最后，將學習到的權重與原始輸入特征圖進行逐通道維度相乘，得到帶有權重注意力的輸出特征圖U'，則U'中具有更大的感受野和更清晰的語義信息。

圖3 通道注意力網絡結構圖

此網絡具體計算過程為：

式中，U'為最終得到不同權重值的特征圖，MC(U)表示通道注意力模塊對輸入特征圖U進行上述處理得到通道不同權重的過程，其定義如下：

此處σ代表sigmoid激活函數，W0∈?C/8×C,W1∈?C×C/8,W0、W1為圖2兩個平行分支中全連接層全連接網絡對應權重值，圖中亦可看出W0后使用relu激活函數。

1.2.2 嵌入空間注意力模塊

本文網絡在解碼器部分加入空間注意力模塊，進一步關注像素位置信息，選取有效的道路細節特征，其網絡結構如圖4所示。

圖4 空間注意力網絡結構圖

圖4 中將大小為H×W×C的特征圖F，分別輸入全局最大池化和全局平均池化網絡中，在通道維度上進行全局信息壓縮，得到大小為H×W×1 特征圖。融合后使用7×7卷積核進行特征學習，獲得通道數為1的特征圖，之后采用Sigmoid層計算出注意力權重，結果與原輸入特征圖逐像素相乘，得到最終加權處理后的特征圖F'即：

式中，F'為最終得到不同權重值的特征圖，MS(F)表示空間注意力網絡對輸入特征圖F進行上述處理后得到不同權重的過程且MS(F)∈RH×W，定義如下：

式中，σ表示sigmoid激活函數，f7×7表示7×7的卷積操作。

1.2.3 嵌入改進的ASPP模塊

何凱明等[15]提出空間金字塔池化模塊，使得包含全連接層的卷積網絡能接受任意大小的圖片作為輸入。但由于在最大池化或平均池化之類池化層操作過程中，降低了圖像空間分辨率，并導致部分空間信息的丟失，致使后續不能很好地恢復圖像原始像素信息。Yu等人[16]研究表明，空洞卷積能夠有效增加神經元的感受野，加入不同擴張率的空洞卷積，在不損失圖像空間分辨率基礎上，關注了更廣范圍特征信息。對于遙感影像中每一個像素點i、空洞卷積輸入x、長度為K的過濾器ω[k]，網絡輸出y，計算公式如下[17]：

其中，r代表決定輸入圖片采樣步長的擴張比率，通過賦予比率r不同數值，改變過濾器感受野。

基于此本文對ASPP網絡進行改進，模型結構如圖5所示：圖5（a）表示，本文的ASPP模塊由四個平行卷積構成，分別為1個1×1卷積塊和3個3×3的空洞卷積，擴張率分別設置為3、5、7。其中3個并行空洞卷積后加入1×1卷積塊、批處理歸一化層和relu激活函數，旨在降低通道至統一維數，且通過加深網絡深度增加非線性特征，以捕獲目標多尺度特征和更多細節信息。最后，采用級聯運算融合特征，獲得圖像的局部特征在不同尺度上的描述。

圖5 改進的ASPP網絡模塊結構圖

圖（5）（b）表示，通過全局平均池化產生圖像級別特征集，使所有分支的最終特征被雙線型上采樣至輸入尺寸，之后進行級聯操作并輸入大小為1×1 卷積網絡層中，生成特征圖后饋送到后續網絡部分。

2 實驗結果與分析

2.1 實驗環境

本文實驗基于64 位Ubuntu 16.04 系統，使用Keras和Tensorflow深度學習框架搭建模型，CPU為Intel Xeon Silver 4114，GPU為NVIDIA GeForce Titan Xp（12GB）×4。

2.2 數據集及預處理

2.2.1 Massachusetts道路數據集

其一數據集是地面分辨率1 m/像素的Massachusetts遙感道路數據集[18]，由1 171張大小為1 500×1 500、覆蓋美國馬薩諸塞州超過2 600 km2的遙感圖像組成。1 108張遙感影像及其對應標注影像作為訓練集，49張遙感影像及其對應標注影像作為測試集，14張遙感影像及其對應標注影像作為驗證集。在網絡訓練過程中需要一定數據量支撐，且部分訓練樣本存在數據缺失問題，故選擇通過數據增強方式進行樣本擴充。通過旋轉90°、180°、270°；水平、垂直鏡像翻轉方式進行五次擴充，每種方式后都進行隨機HSV和隨機resize變換，其中HSV隨機范圍為H(-15,15)、S(-20,20)、V(-30,30) ；resize為上下左右隨機縮放15%，并隨機偏移放置，最終得到原始樣本六倍數量，總共6 648 張的訓練數據集。最后以512為步長，重疊區域為256對訓練樣本裁剪，制作生成可訓練的遙感道路數據集，訓練數據集中部分圖像及標簽如圖6所示。

圖6 通過旋轉和鏡像翻轉增強的訓練集示例

2.2.2 DeepGlobe道路數據集

DeepGlobe衛星道路數據集[19]由尺寸為1 024×1 024、地面分辨率0.5 m/像素的圖像組成，每張圖像包含三通道信息（Red、Green、Blue）。數據集包含6 226張訓練樣本及其相對應標簽，將其隨機劃分成5 000 張訓練集，326 張驗證集和900 張測試集，對訓練集、驗證集以512為步長進行裁剪，得到尺寸為512×512 的重疊區域為256的圖像數據，最終用來全圖預測的測試集尺寸不做任何變化。數據集中部分圖像如圖7所示。

圖7 部分遙感道路圖像及其標簽圖

2.3 網絡參數設置

訓練過程中實驗參數設置分別為：每批次輸入大小為8；本文實驗使用Adam優化算法，相比SGD，RMSprop和AdaGrad 優化器，其使模型更快收斂到性能最優，使用Adam[20]中默認參數，其中學習率設為0.001，指數衰減率β1=0.9，β2=0.999，常數設置ε=10-8，若在5輪訓練中損失函數沒有下降，學習率下降為原來0.1倍，學習率最小值為1.0×10-10；選擇Lovasz-Softmax loss 函數[21]在模型反向傳播過程中，更新網絡參數；訓練迭代次數為100次。

2.4 評價指標

對遙感影像中的道路數據提取，即語義分割中進行像素級別二分類問題，其中道路像素為正樣本，背景信息表示負樣本，故所有預測結果可分為四類，即：True Positive（TP）表示正確分類的道路像素數量；True Negative（TN）表示背景像素被正確分類的數量；False Positive（FP）代表背景像素誤分為道路像素的數量；False Negative（FN）代表道路像素誤分為背景的數量。

基于上述指標值，本文使用語義分割中普遍使用的評估指標，分別為：精確率（Precision）、召回率（Recall）、F-measure值(F1)和平均交并比（IoU），其計算公式如下所示：

準確率為被正確分類為道路的像素占所有預測為道路像素的比率，召回率評估的是被正確分類為道路的像素占所有實際標注為正樣本即道路的比例，選用F1即準確率和召回率兩指標的調和平均數，尋找兩者之間平衡點，顯然F1 值越高，效果越好。此外平均交并比作為總體度量標準，其還考慮到道路像素錯分為背景類別現象，使得評估更全面。

2.5 AS-Unet網絡實驗結果和分析

本節討論消融實驗搭建的網絡和本文AS-Unet 網絡，在Massachusetts道路數據集和DeepGlobe道路數據集上的實驗結果和分析。

2.5.1 Massachusetts道路數據提取結果

對Massachusetts道路數據上訓練的模型，使用測試集進行預測時輸入圖像的原始尺寸即1 500×1 500，輸出結果為經過全連接條件隨機場優化的預測二值圖，實驗中所有對比網絡在相同運行環境下且參數設置一致，部分預測結果如圖8 所示，從左到右依次為測試原圖、Baseline U-net、Unet-SAM、Unet-CAM、A-Unet、AS-Unet。

圖8 網絡在Massachusetts測試集上分割效果圖

圖8 展示了四幅道路背景復雜度各異的遙感影像原圖、Baseline U-net、Unet-SAM、Unet-CAM、A-Unet、和本文網絡測試結果圖。其中，Unet-CAM、Unet-SAM、A-Unet 網絡，分別為在基準網絡U-Net 基礎上，本文精心搭建的僅編碼器加入通道注意力的網絡、僅解碼器加入空間注意力的網絡和編碼器加入通道注意力網絡同時解碼器加入空間注意力的網絡。通過預測圖中紅色框區域可以看出，本文網絡在Massachusetts道路測試集上效果優于其他對比模型，在上述四景圖具體表現為：被兩旁樹木不同程度遮擋情況下，影像中部分長度面積較小的道路預測不完整及錯分現象得到改善，可以分割出相對高質量預測道路圖；長度面積相對大的道路出現中斷情況有所改進，預測道路目標更完整、更準確，得到可觀的結果。

基于上文提到的語義分割網絡評估指標，本節在Massachusetts 道路數據集上進行訓練模型泛化能力的評價比較，結果如表1所示。

表1 模型在Massachusetts roads測試集上的比較

表1分別列出了本文模型以及搭建各個對比網絡，在測試數據集上多次實驗得到的平均結果值，從評價指標來看，本文提出模型在各項指標上面都明顯優于Baseline U-net，Baseline U-net模型基于經典的VGG16結構，結果可代表模型提取道路的一般水平，對比易見，本文網絡的準確率、召回率、F1 值較U-Net 分別提高0.034、0.026、0.031；而且，對比表1 中Unet-SAM、Unet-CAM、A-Unet 網絡，顯然在三項指標上本文AS-Unet 網絡的結果均略勝一籌，優于對比模型。

2.5.2 DeepGlobe道路數據提取結果

用DeepGlobe道路數據上訓練得到的模型，對選取的測試集圖像進行道路目標預測，輸入測試集圖像的原始尺寸即1 024×1 024，輸出為經過全連接條件隨機場優化的預測二值圖，實驗中所有對比網絡在相同運行環境下且參數設置一致，部分預測結果如圖9 所示，從左到右依次為測試圖、Baseline U-net、Unet-SAM、Unet-CAM、A-Unet、AS-Unet。

圖9 中第一列展示了六幅不同背景下的遙感影像原圖；第二列和最后一列分別為Baseline U-net 網絡及其本文提出模型預測效果圖，三、四、五列分別為Unet-SAM、Unet-CAM、A-Unet 模型預測結果。由圖中標注紅色框區域可以看出，本文提出模型在DeepGlobe道路測試集上的預測結果，相較于U-Net網絡分割結果圖更理想，最終提取的不同大小道路目標的完整度更高。從圖中的對比可看出，其具體在以下幾種情況下得到了明顯改善：道路被樹木或其陰影、汽車、建筑物部分遮擋或者完全遮擋時，以及部分道路與周圍黃土極為相似時。從而減少了模型對道路漏分錯分的情況，使得最終輸出的結果邊緣更加平滑，提取更準確。

圖9 網絡在DeepGlobe道路測試集上分割效果圖

基于上文提到的語義分割網絡評估指標，本節在DeepGlobe 道路數據集上進行模型泛化能力的評價比較，結果如表2所示。

表2 模型在DeepGlobe roads測試集上的表現比較

表2列出本文網絡模型在DeepGlobe道路測試數據集上的平均準確率、平均召回率、平均F1 及平均交并比，與基準U-Net 網絡比較，本文所提分割模型在前述四個指標上分別提升0.043、0.032、0.037、0.038。本文AS-Unet模型對比精心搭建Unet-SAM、Unet-CAM和AUnet網絡，其在各項指標上表現較好，IoU值相對較高，從而可以更準確地從遙感影像中分割出道路目標。

2.6 AS-Unet模型與其他模型的比較

本節討論AS-Unet模型與現有模型在Massachusetts和DeepGlobe兩個道路數據集上的分割結果對比。

2.6.1 Massachusetts roads數據集

AS-Unet 網絡及相關文獻中模型在Massachusetts roads 測試集上的精準率、召回率、F1 值對比值如表3所示。

表3 模型在Massachusetts roads測試集上的比較

從表3可以得出，本文改進模型在準確率、F1 值指標上明顯優于對比網絡，與為防止丟失太多道路細節信息，搭建的較淺層編解碼網絡DCED 相比，召回率略低0.007，但是本文方法Precision 提升了0.029，F1-score提高了0.013。可見由于上述對比算法均未從特征的篩選和多尺度方面考慮，網絡分割性能略差于本文ASUnet模型。

2.6.2 DeepGlobe Road Extraction數據集

本文模型和目前常用語義分割框架在DeepGlobe roads測試集上進行各項指標值對比，結果如表4所示。

表4 模型在DeepGlobe roads測試集上的表現比較

由表4 所示，本文的Precision、Recall、F1 值和IoU最高，分別為0.776、0.772、0.773 和0.612。四項指標值均高于網絡FCN-8s 和FCN-4s，相比SegNet 網絡，本文方法F1 值提高了0.036，IoU提高了0.037。由于本文在編解網絡中加入通道、空間注意力機制對特征進行加權處理，和ASPP捕獲多尺度上下文信息，改善道路目標小細節提取，共同提高模型泛化能力，提升圖像分割性能。

3 結束語

本文對遙感影像中道路目標的提取進行研究，旨在提高分割準確率、獲得更準確的分割結果，基于U-Net網絡設計了高度對稱、簡潔的編解碼網絡AS-Unet。其中加入通道注意力機制提高模型在通道維度上提取細節特征的能力；考慮到不同尺度上道路特征表征，網絡中集成ASPP模塊，同時也起到提高分類精度作用；加入空間注意力機制使模型在空間維度上建模，較好獲取目標區域位置關系信息和細節信息，從而提升模型在復雜場景中對道路目標提取的能力。所提出網絡在Massachusetts 道路數據集和DeepGlobe 道路數據集上取得不錯的效果，相比基準網絡U-Net 預測結果中出現的錯分、漏分現象，本文模型的預測結果得到明顯改善，輸出圖像中的不同尺度道路目標相對完整且準確。但是本文網絡還需進一步改進，以準確提取不同場景下更為復雜多樣的道路數據，在保證準確率的同時做到模型參數量更少、效果更實時。同時下一步可基于目前理論體系相對比較完善的傳統道路提取原理，結合深度學習方法進行遙感影像道路提取方面的探索與研究。