用于道路提取的結構特征優化方法

廖婧琳，何 青

（長沙理工大學電氣與信息工程學院，長沙 410114）

0 引言

隨著科技發展，目前可獲取到大量的高分辨率衛星地圖，為遙感圖像下的道路提取提供了重要的數據源。與低分辨率的衛星地圖相比，高分辨率的衛星地圖具有更好的光譜和紋理特征，使得提取更精確的道路成為可能［1］。在現代社會中，道路作為國家基礎地理信息的一部分具有關鍵性作用。道路提取是車輛導航、自動駕駛［2］、城市規劃［3］、災難救援［4］、智慧城市建設和地理信息系統更新［5］等應用的必要前提。道路提取方法可分為基于像素、面向對象和深度學習的方法。基于像素的方法主要利用不同的波段特征，可以提取具有簡單背景的衛星圖像中的道路［6］。基于對象的方法將道路對象作為一個整體來識別，具有良好的抗噪聲性和適用性［7］。然而，由于高分辨率衛星地圖具有較豐富的光譜特征和比例更大的幾何特征，傳統的道路提取方法缺乏對復雜道路多樣性特征的考慮，難以提取完整、連續的道路。

近年來，深度學習的發展極大地推動了道路提取的進展［8］。完全卷積神經網絡FCN［9］疊加多個卷積層和匯集層以逐漸擴大網絡的接收域，這更有利于道路信息的提取［10］。U-Net［11］已被用于有效提取道路信息，將不同級別的特征地圖連接起來［12］。使用編碼器-解碼器架［13］構通過高級特征獲得道路提取的粗定位，并通過包含空間結構細節的低級特征細化邊界［14］。

但以往的道路提取工作存在以下問題:由于建筑物和樹木的陰影、不同的成像條件以及道路光譜與其他特征的相似性，提取的道路網絡往往產生支離破碎的路段。在以往的研究中，大多忽略了整個輸入圖像的道路結構特性，對于較為復雜、多道路區域的情況，難以產生完整的道路結果。

綜上可得，必須要結合道路目標的結構特性來改進模型，道路提取任務需要捕獲多尺度上下文，捕獲長期依賴關系的方法包括：擴張卷積，旨在擴大CNN 的接受域，而不引入額外的參數；金字塔池化，總結圖像的全局線索。然而，這些方法存在共同的限制：都使用了普通的N×N卷積核對狹長道路特征進行建模，這使得在提取道路的過程中，由于道路目標呈細長、帶狀結構，從而使用傳統的大正方形池窗口來進行池化操作不可避免地引入很多不相關的上下文。

本研究引入了條紋池化模塊（strip pooling module，SPM）來改善道路提取中的不連續性問題，同時利用遙感影像數據特征，提出了一種新的融合方法，和一個級聯的多尺度注意增強模塊（cascade multi-scale attention enhancement,CMSAE）的SPM-Unet網絡。

1 SPM-Unet網絡

本文提出的SPM-Unet 是基于U-Net 網絡結構改進的，網絡主要由編碼器、解碼器組成，是個高度對稱的網絡，網絡結構如圖1所示。

圖1 SPM-Unet結構

SPM-Unet 編碼器采用VGG16 進行特征提取，針對道路狹長窄小的結構特點，本文提出使用條紋池化模塊SPM 代替普通的下采樣以提取到更多有用的道路細節信息。該模塊能精確縮小池化區域，在捕獲遠距離道路區域信息的同時又關注道路局部細節信息。U-Net 網絡通過級聯不同層次的特征圖，重新利用低層次的語義信息。盡管U-Net在下采樣時增加了感受野范圍，但也存在損失一些細小道路目標信息的問題。因此，在使用U-Net進行道路提取時存在局限性。為了聚合連續道路的空間細節和語義信息，本文提出一個多尺度注意增強模塊，將其置于編碼-解碼中間。

1.1 帶狀池化

首先，平均池化操作如下:設x∈RH×W為二維輸入張量，其中H和W分別為空間高度和空間寬度。形式上，平均池操作可以寫為

其中平均池化操作在0 ≤i0＜H0和0 ≤j0＜W0的范圍內，y的每個空間位置對應一個大小為H×W的池窗口。然而，在處理不規則形狀的對象時，采用平均池化操作可能會引入許多與目標無關的區域，如圖2所示。

圖2 平均池化和帶狀池化

為了緩解平均池化操作不可避免地包含許多不相關的區域的問題，本文提出了“條形池化”，主要是使用一個條形池化窗口沿著水平或垂直維度執行池化操作，如圖2第一行所示。在數學上，給定二維張量x∈RH×W，在條形池中，需要一個空間范圍(H,1)或(1,W)。與二維平均池不同，提出的條形池平均了一行或一列中的所有特征值。因此，水平條形池后的輸出yh∈RH可寫為

同理，垂直條形池后的輸出yv∈RW可寫為

給定水平和垂直條形池層，由于長而窄的形狀，很容易在離散分布的區域之間建立長距離依賴關系，并用帶狀形狀編碼區域。同時，除了在其他維度上側重于捕獲局部細節外，這些特性還使得我們提出的條形池不同于依賴于方形核的傳統空間池。

1.2 條帶池化模塊

在本小節中，介紹了如何通過條形池化操作來幫助骨干網捕獲長期上下文。本文提出了一種新的條帶池模塊（SPM），利用水平和垂直條帶池操作收集來自不同空間維度的長距離上下文。圖3 展示了本文提出的SPM。設x∈RC×H×W是一個輸入張量，其中C表示通道數。首先，我們將輸入數據分成兩個平行的路徑，每個路徑包含一個條形池層，其中有水平和垂直方向。

圖3 條形池化模塊SPM示意圖

一個內核尺寸為3 的一維卷積層，用于調節當前位置及其鄰近特征。給出了yh∈RC×H，yv∈RC×W，為了得到一個包含更多有用的全局先驗的輸出z∈RC×H×W，我們首先將yh和yw組合成如下形式，得到y∈RC×H×W：

然后，將輸出z計算為

其中：Scale(·,·)指的是元素的相乘，σ是S形函數，f是1 × 1 的卷積。公式（4）和（5）中，允許輸出張量中的每個位置與輸入張量中的各個位置建立關系。例如，在圖3 中，輸出張量中以黑色格子為界的正方形連接到所有具有與其相同的水平或垂直坐標的位置。因此，通過多次重復聚合過程，就能在整個上下文中構建遠程依賴關系。受益于元素乘法操作，本文提出的SPM 也可以被視為一種注意機制，可以直接應用于任何預先訓練的骨干網絡，而無需從頭開始訓練它們。與全局平均池相比，條形池化關注的是較長但較窄的局部范圍，而不是整個特征映射，從而避免了建立大多數不必要的連接，這與基于注意力機制的模塊［15］不同，后者需要大量計算來建立每對位置之間的關系。本文提出的SPM 是輕量級的，可以很容易地嵌入到任何構建塊中，以提高捕獲長距離空間依賴性和利用通道間依賴性的能力。

1.3 級聯多尺度注意增強模塊

首先，針對固定長度編碼矢量產生的瓶頸問題提出了注意機制［16］，其中解碼器對輸入提供的信息受到局限。級聯多尺度注意增強模塊利用編碼器隱狀態的加權和，靈活地將解碼器的注意力集中在輸入序列的最相關部分，極大地提高了序列模型的性能。近年來，級聯多注意增強模塊已成功地應用于圖像處理，特別是語義分割領域，顯著提高了遙感圖像處理的性能。在圖像處理應用中，注意機制主要分為空間注意和通道注意。空間注意的目的是通過空間像素逐像素的相似性計算來獲取長距離相關性，而通道注意主要是通過計算信道級別的相關性來為每個特征信道賦權。

如圖1 所示，有五個尺度的特征提取的VGG16 預訓練骨干。從淺層提取的高分辨率特征保持了大量的空間細節，從深層卷積層提取的低分辨率特征含有豐富的語義特征，但空間信息丟失。在遙感影像中，道路通常表現為狹長的線性結構，由于道路寬度的限制，道路橫斷面上的像素很少。因此我們只利用三個尺度的高分辨率特征，更好地保存了必要的道路空間信息，如圖4 所示。為了擴大接收域，提取更廣泛的連續路徑，引入了ASPP 模塊，以獲得更多的全局特征。同時引入空間注意（SA）層來捕捉道路的長距離相似性，提高道路特征的一致性，特別是對于狹窄的道路。在解碼階段，通過跳躍連接對增強后的多尺度特征進行融合，同時利用信道注意（CA）層對上采樣階段的多尺度特征進行信道級濾波，獲得語義豐富、空間細節準確的聚合特征。

圖4 級聯多尺度注意增強模塊示意圖

在遙感圖像中，由于道路狹窄且連續，微小的道路易受到鄰近背景像素的干擾，導致提取出不連續的道路信息。通過引入空間注意機制來捕捉道路的長距離相關性，增強了道路區域的語義特征，顯著提高了狹窄道路的連續性。此外，語義分割網絡的解碼器通過空間加法或通道級聯的跳躍連接對特征進行融合，增強語義特征的能力。在此基礎上引入通道注意機制，實現了不同尺度特征的自適應融合，優化了特征的空間細節和語義信息，從而增強了道路表示的特征。

2 實驗結果與分析

2.1 實驗環境

為驗證本文所提出的SPM-Unet 模型的有效性，本文基于馬薩諸塞州道路數據集（massachusetts roads）［8］進行實驗。實驗基于PyTorch 框架設計，在ubuntu22.04系統進行實驗，硬件設施主要包括Intel（R）xeon（R）w-2150B CPU@3.00 GHz，內存為32 GB，使用一塊顯存為24 的NVIDIA GeForce Rtx 3090 GPU進行加速。

2.2 數據集及預處理

采用Massachusetts Roads 作為訓練數據。標簽圖為二值圖，道路像素值為1，非道路像素值為0。考慮到Massachusetts Roads 存在部分缺失、不完整的問題，手工篩選出853 張圖片。為了有效增加訓練樣本數據，我們采取了以下步驟：首先，對原始遙感影像和相應的標簽進行了90°的旋轉，然后進行了隨機的水平和垂直平移操作。這樣，獲得了4110 張大小為1500×1500 像素的樣本子影像。接下來，將這些樣本以9∶1 的比例分成3699 張用于訓練和411 張用于驗證。這些圖像被輸入到提出的網絡中進行訓練。在模型訓練過程中，采用了Adam 優化器，學習率設置為0.00001，訓練集和驗證集的批處理樣本大小均設置為4，并且總共進行了50 輪迭代。在每一輪訓練結束后，我們都在驗證集上計算一次損失。

2.3 評價指標

為評定模型提取結果的好壞，引入了召回率（Recall）、精度（Precision）、交并比（IoU）、準確度（ACC）［17-18］四個指標對提取后的道路數據進行評定。其中精度（Precision）表示模型能夠正確預測的道路與真實道路的像素之比；召回率（Recall）代表真實道路中預測正確的百分比；交并比（IoU）用來度量圖像的預測結果與真實標簽的重疊程度；準確度（ACC）是所有預測中預測正確的比例。如式（6）～（9）所示。

式中：TP表示將道路像素預測為真的數量，TN表示將非道路像素預測為假的數量，FP表示將非道路像素預測為道路像素的數量，FN表示將道路像素預測為非道路像素的數量。

2.4 SPM-Unet網絡實驗結果和分析

本文在Massachusetts Roads 上進行了分析，使用了SPM-Unet 網絡以及進行了消融實驗得到的網絡模型。實驗中采用了相同的環境和參數設置，確保了公平比較。對于在Massachusetts Roads 上訓練完成的模型，在測試集上進行了預測，輸入圖像的尺寸與訓練集圖像保持一致，都是1500×1500像素大小。預測結果如圖5所示。

表1 各算法評價指標對比（%）

圖5 各類算法道路提取結果對比

3 結語

本文的研究是基于Massachusetts Roads 數據局提取道路信息，考慮道路目標的結構特點，為了提高分割精度并獲得連續道路信息，基于U-Net 網絡設計了一種高度對稱的解碼-編碼器網絡，命名為SPM-Unet。本文的研究結論如下：

（1）通過引入條紋池化模塊，可以限制池化操作的范圍，從而有效地捕獲長距離的依賴關系，并專注于局部細節信息。

（2）考慮道路尺度信息的多樣化，加入了級聯的多尺度注意增強模塊，在一定程度上解決了現有方法中不連續道路提取和鋸齒狀邊界識別的問題，并且聚合連續道路的空間細節和語義信息。

（3）與原始U-Net 網絡相比，本文網絡在道路提取方面表現出明顯的改善，避免了明顯的漏分和斷裂現象，能夠生成輸出影像中的多尺度道路目標，使其顯得更加完整和連續。與其他現有的語義分割模型相比，本文提出的模型在精確率、召回率、平均交并比和準確度這四個評價指標上表現出色。這表明本文方法適用于處理地物背景復雜的遙感影像中的道路提取任務。