基于HRNet的高分辨率遙感影像道路提取方法

陳雪梅, 劉志恒,*, 周綏平, 余 航, 劉彥明

(1. 西安電子科技大學空間科學與技術學院, 陜西 西安 710126; 2. 自然資源部礦山地質災害成災機理與防控重點實驗室, 陜西 西安 710054)

0 引 言

隨著遙感技術和分辨率的快速發展和提高, 道路信息被視為遙感領域不可或缺的一個方面,在測繪、救災、軍事等領域有重要用途[1-2]。因此,如何從高分辨率遙感影像中自動、快速地提取高精度的道路信息是一個重要的挑戰[3-4]。遙感道路分割模型目前面臨的主要難點有:① 遙感圖像的光譜信息有限[5],致使道路與具有相似光譜特征的其他特征(如停車場或建筑物)難以區分,這可能會導致道路提取過程中的錯誤。② 道路信息復雜,易受周圍地物和天氣的影響,難以從遙感圖像中準確提取道路信息[6],導致預測效果較差。

目前,道路提取方法通常分為傳統和深度學習兩種方法[7]。基于傳統的方法主要有模板匹配法[8-9]、知識驅動法[10-11]和面向對象法[12-13]等。文獻[14]使用Kullback-Leibler散度作為相似性度量的模板匹配自動跟蹤道路,能夠自動、準確、快速地從高分辨率遙感圖像中提取道路信息。文獻[15]提出基于自適應形態學的知識驅動遙感圖像道路提取方法,來實現道路提取的完整性。文獻[16]基于高分三號衛星,采用面向對象法,利用光譜特征、形狀特征等信息實現提取道路的邊界平整。雖然傳統的道路提取方法是有效的,但也有一些缺點,例如模板匹配法需要創建模板,非常耗時并且由于光照、比例等的變化,導致結果準確度不高;知識驅動法依賴于先驗知識的指導,不適用于未知數據并會受到現有知識數量的限制;面向對象法側重于檢測和分割單個對象,對于復雜、混亂的對象邊界難以準確分離。

基于深度學習的道路提取方法[17-19]靈活、準確并且高效。其中,一類方法基于編解碼結構,例如U-Net[20]、嵌套UNet(nested UNet, UNet++)[21],大多是利用部分收縮的路線來捕捉上下文。另一類方法基于空洞卷積結構,例如金字塔場景解析網絡(pyramid scene parsing network, PSPNet)[22]和DeeplabV3+[23]使用擴張卷積來增加感受野的分割網絡。然而,上述網絡容易導致邊界和小目標附近空間細節丟失,而且淺層網絡無法有效地區分不同特征。為解決上述問題,研究人員提出了不同的道路分割網絡模型。文獻[24]提出改進DeeplabV3+的高分辨率遙感影像道路提取模型,原始的主干網絡Xception被替換為MobileNetV2[25],模型提取效率得到了提升。文獻[26]開發了一種基于預測訓練卷積和空洞卷積的神經網絡(linknet with pre-trained encoder and dilated convolution, D-LinkNet)和注意力機制的圖像分割算法,有助于提高上采樣時子模塊的利用率。盡管這些方法提高了道路提取的準確性和效率,但在道路提取方面仍然存在著如下挑戰:① 在深度學習前向傳播中,重復的最大池化層[27]會降低特征圖的分辨率,導致詳細的道路信息丟失。② 由于像素的感受野不同,不同深度的卷積層產生的特征圖含有不同大小的特征信息。不同尺度上特征的整合值得進一步研究,以提高道路提取的準確性。

本文提出了改進高分辨網絡(high-resolution net, HRNet)[28]在高分辨率遙感上進行道路分割的應用。HRNet可以在整個過程中保持高分辨率表示,并通過反復交換平行流中的信息來執行迭代式多分辨率融合。本文對HRNet進行改進,通過將淺層特征與深層特征融合,經過非局部塊[29],再進行上采樣,使輸出結果既擁有淺層次的空間細節信息,也擁有深層次的語義信息,優化了輸出結構,并提高了分割的精度。

1 HRNet改進方法

1.1 HRNet介紹

傳統的深度學習模型在對特征層進行上采樣之前對各層進行下采樣,以恢復各層的大小直至初始值。然而,這增加了模型的復雜性和計算機操作。HRNet的并行連接也可以通過重復整合同級、多級特征來進行多尺度特征整合操作。

HRNet V1[30]最初用于人類姿勢檢測,通過融合不同分辨率分支來保留高分辨率圖像并增強高分辨率表示。但是,HRNet V1只輸出最高分辨率的卷積,而HRNet V2[28]集成了所有并行卷積,以支持高分辨率的表達。HRNet V2的這種擴展將原來的3分辨率表示形式增加到4分辨率,從而增強了特征表示形式,如圖1所示。這種調整在語義分割和人臉關鍵點檢測等視覺任務中有非常重要的作用。

圖1 HRNet V2的網絡結構Fig.1 Network structure of HRNet V2

1.2 HRNet的改進

本文對原有的HRNet進行了兩個方面的改進:① 在特征提取過程中,融合分辨率相同的特征圖,將淺層特征包含的空間信息傳遞給深層特征;② 利用非局部塊處理分割模型網絡輸出的不同分辨率特征圖。

(1) 特征圖的拼接。HRNet使用并行連接將高分辨率子網鏈接到低分辨率子網,在網絡特征提取中,雖然添加了不同分辨率特征之間的交互,但網絡層數多致使輸出層含有的空間位置和細節信息減少。子網在轉換結構前會產生不同尺寸的特征圖。在這些子網產生的特征圖中,本文將尺寸相同的特征圖進行拼接的方式包含以下優點:① 不同層的特征通常包含有關圖像的不同信息。淺層特征通常包含有關圖像的細節信息,而深層特征則包含有關圖像的更高層次的結構信息。② 淺層特征對于精確地定位圖像中的小對象和邊界具有非常重要的作用,但很難識別圖像中的大型連通區域。深層特征能更好地識別大型連通區域,但對細節的感知有限,難以準確地定位邊界。將淺層特征與深層特征融合,可以提供更全面的信息,從而提高圖像分割的準確性和精度。③ 將淺層特征與深層特征相結合,可以提高模型的泛化能力。因為淺層特征和深層特征都包含有關圖像的不同信息,所以將其融合可以使模型更好地適應不同的圖像。

(2) 非局部塊的使用。非局部塊是一種常用的深度學習模塊,其結構如圖2所示。其中,T、H、W和數字分別表示批大小、高度、寬度和通道數。非局部塊的工作原理是對于每個輸入數據,通過1×1卷積壓縮通道數,得到θ,φ,g特征,將φ對應的特征圖張量進行轉置操作,將該結果與θ對應的特征圖進行矩陣乘法,獲得親和矩陣,計算與所有其他位置的關聯性。親和矩陣經過Softmax操作,得到注意力權重。最后,將該自注意力權重乘以g對應的特征圖張量,再經過另一個1×1卷積擴展為輸出通道大小,并與網絡的輸入進行殘差運算,獲得模塊輸出。

圖2 非局部信息統計注意力模塊Fig.2 Block of non-local information statistics attention module

與另一種常用的基于通道和空間的卷積塊注意力模塊(convolutional block attention module, CBAM)[31]相比,CBAM模塊的優點在于其通過對每個位置的注意力權重進行通道級和空間級調整,使網絡更加靈活。因此,CBAM更適用于需要對通道和空間位置進行分別注意的任務。非局部塊考慮每個像素與其他像素之間的關系,提高模型對圖像細節的捕捉能力。非局部塊更容易識別出物體的輪廓以及與背景的界限,并且提高模型的預測準確度。

改進的網絡如圖3所示,該網絡將淺層特征和深層特征充分利用,可以提高模型的準確性。增加非局部塊后,網絡可以計算不同分辨率特征圖的每個位置與特征圖整體的關聯性,幫助網絡更好地理解圖像的全局結構和語義。

圖3 本文設計的網絡結構Fig.3 Network structure designed by this paper

1.3 損失函數

損失函數是用來衡量預測值與真實值之間的差異的一種函數,是深度學習模型的核心部分[32]。因此,選擇合適的損失函數對于模型的訓練和性能而言都很重要。為了保留道路更多的細節特征,本文模型的損失函數使用包括交叉熵損失函數[33]和Dice Loss[34]損失函數的混合損失函數。

交叉熵損失函數被廣泛用于分類任務,并且由于分割是像素級分類,可以有效地度量真實值與預測值之間的距離,其定義如下所示:

LCE=-[(yt)ln(yp)+(1-yt)ln(1-yp)]

(1)

Dice Loss損失函數是基于區域的損失函數,即給定像素的損失不僅依賴于像素本身的預測值,還依賴于其他像素的預測值。因此,Dice Loss損失函數在正樣本和負樣本之間存在顯著不平衡的情況下(如道路數據集)表現非常好。Dice Loss損失函數的定義如下所示:

(2)

基于上述分析,本文模型使用的混合損失函數如下所示:

(3)

式(1)～式(3)中:yt是真實值;yp是預測值;r為大于0的超參數,用作損失函數的權重因子;本文r取0.5,以降低損失函數值并減少錯誤懲罰。

2 實驗分析與討論

2.1 實驗設置

本文在CHN6-CUG道路數據集[35]上進行實驗,以評估改進的HRNet的性能。CHN6-CUG包含4 511張分辨率為512像素×512像素大小的圖像,其中3 247張用于模型訓練,812張用于模型驗證,452張用于測試以及結果評估,圖像分辨率為50 cm/pixel。所有的實驗都在NVIDIA RTX3090 GPU服務器上運行。圖像的數據增強包含水平翻轉、隨機高斯模糊和圖像標準化。

本文使用的評估算法包括U-Net、全卷積網絡(fully convolutional network, FCN)[36]、PSPNet、DeeplabV3+、D-LinkNet50[37]和HRNet。所有提到的網絡都遵循相同的訓練策略。本研究使用均方根傳播(root mean square prop, RMSprop)[38]優化算法,批大小設置為8,迭代訓練為200個epoch,動量為0.9,權重衰減為5e-4。初始學習率為0.001,學習率使用poly策略進行動態調整。

實驗選取的評價標準包括召回率(Recall)、精確率(Precision)、均交并比(mean intersection over union, MIoU)和F1分數,其計算分別如下所示:

(4)

(5)

(6)

(7)

式中:TP為真陽性;TN為真陰性;FP為假陽性;FN為假陰性。陽性和陰性分別代表道路和背景。

2.2 實驗結果分析

(1) 消融實驗

為驗證本文所提出的改進HRNet中各模塊的有效性,比較了HRNet、剔除非局部塊的本文方法與本文方法的性能。如表1所示,剔除非局部塊的本文方法比HRNet在Recall、MIoU和F1性能上分別提高了1.44%、3.97%和0.35%,表明本文方法在HRNet結構上增加了跳躍連接,增強了特征的重用,促進了特征傳播。使用非局部塊的本文方法比剔除該模塊的本文方法在Recall、Precision、MIoU和F1上分別提高了1.02%、1.29%、1.66%和0.44%,說明非局部塊有效增強了網絡通道之間像素相關性的信息交流,提高了道路分割精度。

表1 消融實驗的評價指標對比Table 1 Comparison of evaluation indexes of ablation experiment %

(2) 對比實驗

為了綜合評價改進后的HRNet模型的分割性能,選擇了U-Net、FCN、DeeplabV3+、PSPNet、D-LinkNet、HRNet進行比較,并利用測試集對訓練后的模型進行性能測試。本文改進的HRNet和其他網絡分割結果的能力評估比較如表2和圖4所示。本文改進的HRNet在Recall、MIoU、F1分數性能提升比例取得最高,分別達到了97.26%、84.91%、97.25%,與原始HRNet相比分別提高了2.46%、5.63%、0.79%。以上結果表明,本文改進的HRNet有助于提高道路分割的準確性。

表2 不同模型的道路分割評價指標對比Table 2 Comparison of road segmentation evaluation indexes of different models %

圖4 不同模型的道路分割評價指標對比直方圖Fig.4 Comparison histogram of road segmentation evaluation indexes of different models

本文方法與對比模型的道路分割結果如圖5所示,由黃色方框指出的分割部分可以明顯觀察到本文方法實現的高分辨率遙感影像道路分割邊緣具有更清晰、更準確、道路細節保留程度更高的特點。相比之下,其他分割方法,例如D-LinkNet,易受到類似道路目標像素(土地)的干擾,從而導致分割效果差。同樣,其他語義分割網絡表現出道路的不連貫特性,出現錯分和漏分現象。實驗結果表明,本文提出的改進HRNet并結合非局部塊的分割網絡模型,能夠捕獲更廣泛的道路特征,從而獲得更完整的分割結果。即使圖像中存在大小和形狀不同的道路像素,本文方法也可以生成包含連續線性道路的分割預測圖。因此,本文方法對道路分割產生了最為有效的結果,并且保留了更完整的目標像素。

圖5 本文方法模型與對比模型的道路分割結果圖Fig.5 Road segmentation results of the method model in this paper and the comparison model

(3) 模型復雜度分析

本文方法與本文對比模型的復雜度比較如表3所示,其網絡的輸入數據大小為(1,3,512,512),預測時間為單張圖像的平均道路預測時間。由表3可知,HRNet的參數量(9.64 MB)、計算量(18.66 GFLOPs)最小,這是由于HRNet并行了多個分辨率的分支,并保持特征圖的高空間分辨率,同時與傳統網絡相比,減少了需要多層才能達到相同分辨率的參數數量。本文方法的參數量(12.38 MB)、計算量(60.46 GFLOPs)、預測時間(0.46 s)與其他對比模型相比都較小。D-LinkNet50的編碼器基于ResNet50架構,并且使用了擴張卷積來增大感受野,因此其參數量(217.65 MB)、計算量(120.39 GFLOPs)、預測時間(0.78 s)與其他模型相比都是最大的。

表3 不同模型的復雜度對比Table 3 Comparison of complexity of different models

3 結 論

針對現有語義分割算法在高分辨率遙感圖像道路分割中存在的道路不連續、細節丟失、陰影誤分類等局限性,本文提出一種改進的HRNet新方法,并引入非局部塊。該方法針對遙感道路分割背景復雜、目標遮擋高、道路目標像元少等特點進行了研究。具體而言,該方法通過融合HRNet中具有相同分辨率的子網輸出和輸出層結果,增加深層特征圖的感知域,補充了語義和空間信息,提高了圖像特征的魯棒性。非局部塊的引入幫助網絡識別出了不同像素之間的關系,提升了圖像道路特征像素的恢復能力。在高分辨率遙感道路數據集CHN6-CUG上進行了評估,并與同類方法進行比較,表明該方法在道路分割方面具有顯著優勢。該方法也可以推廣應用至來自不同來源的遙感數據的其他類型目標分割。