融合注意力機制及DenseASPP改進的DeeplabV3+遙感圖像分割方法

周羿,劉德兒

(江西理工大學 土木與測繪工程學院,江西 贛州 341000)

0 引言

近年來,隨著遙感技術的快速發展,遙感影像的分辨率不斷提高,高分遙感影像所能夠表達的地表信息越來越精細,對遙感圖像語義信息的提取方法也從目視解譯的方法到傳統的邊緣監測、閾值、區域的分割方法,再到機器學習的支持向量機(support vector machine,SVM)、隨機森林(random forest,RF)、馬爾科夫隨機場MRF,及boosting等方法[1]。遙感圖像中場景復雜,同一場景下,地物分布以及形狀不規則,同一物體尺度大小不一致,地物之間相互遮擋,復雜的背景下存在陰影遮擋,以及高分辨率遙感影像存在地物類別復雜,出現 “同物異譜、同譜異物”[2]“類內差異大、類間差異小”的特點[3]。因為以上算法自身存在局限性,只能夠提取遙感圖像的淺層特征,不能夠充分提取其高維的特征。利用傳統的方法,在高分辨率遙感圖像語義分割中,存在精度上限低、魯棒性差、分類時地物間容易混淆、不能很好地反映建筑物的空間連續性等空間特征等缺點。由于以上原因,以上方法已經不再適合作為高分辨率遙感影像的分割手段。

如今使用深度學習對高分辨率遙感圖像進行圖像分類及語義分割已經成為主流方法。其特點在于,其卷積神經網絡中具有很強的特征提取能力以及空間層次結構的學習能力,可以很好地利用高分辨率遙感影像的空間特征以及光譜特征。目前國內外學者也利用深度學習對高分辨率遙感圖像進行了一系列研究,取得了良好的效果。目前使用深度學習對遙感影像分割的比較常用的方法包括使用FCN[4]、U-Net[5]、SegNet[6]、DeeplabV3+[7]等網絡,以及在這些網絡的基礎上改進的網絡。

其中,Rui等[8]使用空洞卷積替換FCN中的標準卷積,同時利用圖論的分割方法及選擇性搜索的方法做數據增強,最后使用了CRF作為后處理方法,來細化分割邊界。

何值蒙等[9]針對遙感圖像中建筑物提取存在邊緣模糊、細節丟失,以及轉角圓滑等問題,在U-Net網絡的基礎上,提出了基于空洞卷積的增強型U-Net(enhanced U-Net,E-Unet),即在原始的架構中添加空洞卷積、跳躍連接,以及Dropout模塊。同時在預處理中,將原始影像進行直方圖均衡化、邊緣檢測(高斯雙邊濾波)、波段間比值后與原始圖像一起轉換為多波段的張量輸入神經網絡。通過改進,得到了一種有更強細節保留能力及抗噪能力的模型,提取精度也明顯提高。

目前,現有的方法取得了一定的成果,但仍有提升的空間。由于遙感場景中,目標多尺度問題廣泛存在,受到郭新等[10]的啟發,在擁有multi-scale結構的網絡上進一步引入多尺度結構進行訓練能夠更好地提升網絡性能。考慮到捕獲長距離依賴關系對于深度神經網絡至關重要,而遙感影像中,長距離依賴需要非常大感受野才能捕獲,不管是時域還是空域,使用卷積運算只能捕獲局部領域信息,因此本文在網絡中添加金字塔拆分注意力模塊[11](pyramid split attention,PSA),通過金字塔結構獲得更多的多尺度信息,并且幫助網絡關注關鍵信息的同時建立長距離依賴關系。由于ASPP在使用較大空洞率時,空洞卷積可能出現效率低或失效等情況,為了避免空洞卷積出現效率低或是失效的情況,我們通過使用DenseASPP替換ASPP。本文提出改進的DeeplabV3+高分辨率遙感圖像語義分割算法,該方法結合了PSA模塊、編解碼器與密集空洞金字塔池化[12],提供了一種有著更大感受野,能夠有效地幫助網絡在特征提取階段提供更密集的特征金字塔層,獲得更多的多尺度上下文信息,產生更好的像素級注意力。為了驗證改進后的算法效果,使用了Vaihingen和WHDLD數據集進行驗證,并與其他模型進行對比。

1 金字塔拆分注意力模塊及DenseASPP的DeeplabV3+網絡

1.1 DeeplabV3+網絡結構

DeeplabV3+網絡是基于DeeplabV3網絡模型的一種改進,其主要特點是一種融合編解碼器與空間空洞金字塔池化模塊的結構。DeeplabV3+的第一個特點是使用編解碼器結構,在編碼器中,首先,將原始圖像通過一個特征提取網絡,分別得到原始圖像的深層特征以及淺層特征;其次,將深層特征傳入到ASPP模塊中。在解碼器中,使用通過ASPP模塊后輸出的特征經過上采樣后與一次卷積運算后的淺層特征拼接,經過卷積和上采樣后得到最終的特征圖。DeeplabV3+的第二個特點是使用ASPP模塊,該模塊包括一個1×1卷積核,3個3×3卷積核,空洞率分別為6、12、18的空洞卷積,1個全局平均池化層。ASPP模塊由以上卷積層并行組成,每個不同大小空洞率提取的特征單獨處理,最終融合得到輸出,輸出的結果是多尺度的物體信息。一般卷積為了擴大感受野,需要使用較大的卷積核或者更大的步長,這樣會導致計算量過大,或者損失分辨率,而ASPP模塊由空洞卷積(atrous convolution)組成,在擴大感受野的同時,不會使分辨率降低太多,也不需要太大的計算量。

1.2 金字塔拆分注意力模塊

面對自然界繁雜的消息,人們通過注意力來篩選重要的信息,避免大腦過負荷。在深度學習中,為了從復雜的信息中提取更有價值的信息,人們通過引入注意力機制,給關鍵的信息添加更大的權重,分配更多的運算資源。SE-Net(squeeze-and-excitation networks)[13]僅使用了通道注意力,忽略了空間信息的重要性。對于遙感圖像,空間關系是其中十分重要的一個部分,因此在DeeplabV3+中加入金字塔拆分注意力模塊,可以從更精細的層次上提取遙感圖像的多尺度空間信息,并建立一種長距離的通道依賴關系。

SE模塊如圖2所示。SE模塊于2017年被提出,之后許多注意力機制都借鑒其思想,提出了各種改進。其主要步驟分為3步。第一步為特征壓縮階段,將大小為H×W×C的特征圖通過全局平均池化的方法得到每個通道的大小為1×1×C的全局特征。第二步使用sigmoid激活函數來重新定標,其目的是學習各個通道之間的權重關系,通過計算不同通道的權重,得到1×1×C的權重。最后將權重與特征圖相乘,在遙感圖像的分割中,對于不同種類的分割,可以達到提升有用的特征并抑制對當前任務用處不大的特征的效果。

大學教師相對于中小學教師具有較高的文化修養，在某一專項領域也有一定的獨特見解.大多數大學的足球教師擁有較高的實踐能力.

圖2 SE模塊結構

金字塔拆分注意力模塊總流程如圖3所示。首先將H×W×C的特征向量利用SPC模塊分成S塊,通過金字塔結構得到通道方面的多尺度特征Fi,將由Fi合并之后的特征圖U通過SE模塊計算得到多尺度特征圖通道注意力權重Zi,這樣可以使PSA模塊融合不同尺度的上下文信息,并為高級特征圖產生更好的像素級注意力。接著,為了實現局部和全局通道注意力之間的交互,將softmax用于多尺度特征圖通道注意力權重的重新校準,最后得到的結果ATTi既包含了空間上的位置信息又含有通道中的注意力權重。最后將重新校準的權重與特征圖相乘,得到最終結果。在遙感圖像語義分割中,使用PSA模塊,可以將多尺度的空間信息與跨通道注意力整合,使得最后的結果既可以在更細粒度的級別提取多尺度空間信息,又可以建立一種更長距離的通道間的依賴關系。

圖3 金字塔拆分注意力模塊總流程

1.3 DenseASPP

DeeplabV3+在模型中通過使用ASPP,在圖像的特征提取時獲得了更大的感受野,同時保證了特征圖的空間分辨率。該模塊使用多個空洞率大小不同的卷積層,構建了不同感受野的卷積核,從而得到多尺度特征信息。但是在遙感圖像的語義分割中,ASPP同樣也有一個缺點,即使用高分辨率的圖像提取特征,通常需要更大的感受野,因此ASPP必須使用具有足夠大空洞率的空洞卷積來擴大感受野。但是在進行卷積運算時,由于空洞卷積的特性,其每次只選取少量的像素點運算,因此會丟失掉大量的信息,并且隨著空洞率的增加,空洞卷積效率也會隨之降低甚至不起作用。

針對此問題,本文將DeeplabV3+模型中的ASPP模塊替換成了DenseASPP模塊,得到了一種能夠兼顧更大的感受野以及獲得更多的尺度特征的模型,可以更加適合高分辨率遙感圖像的語義分割。

DenseASPP通過級聯方式來組織擴張卷積層,每個卷積層的輸出與輸入特征圖和來自較低層的所有輸出連接起來,并將連接起來的特征圖送入下一層。由此,可以得到多擴張率、多尺度的特征。相較于ASPP模塊,該模型的擴張卷積通過跳躍連接共享信息,使得輸出有著更密集的特征金字塔,即卷積中涉及的像素更多,存在的漏洞更小,以及具有更大的感受野。

本文構建的網絡結構如圖4所示,在使用ResNet101[14]作為特征提取網絡的DeeplabV3+的基礎上添加了PSA模塊及將ASPP更改為DenseASPP模塊的模型。

圖4 本文網絡結構

2 實驗與結果分析

2.1 改進效果對比

本文進行的實驗均使用Pytorch框架,其中Vaihingen數據集共包括33幅遙感影像,共標注了6種地物,將數據集按照8∶2劃分訓練集和驗證集,其中訓練集26幅,驗證集7幅。為了減小計算機顯存,提高效率,將原始圖像按256×256的尺寸進行裁剪,裁剪后共得到訓練集2 224個,測試集614個。WHDLD數據集[15-16]共4 940張圖片,其中標注了6種地物,使用3 950張作為訓練集,990張作為驗證集。為了防止過擬合,增加樣本多樣性,在訓練過程中使用了亮度增強,隨機旋轉等方法做數據增強。

實驗中,損失函數設置為交叉熵損失函數,實驗時,選擇的優化器為adam優化器,初始學習率設置為0.001,使用間隔調整學習率的策略,每訓練5次,學習率下降為之前的0.8。

改進前以及改進后的實驗精度如表1所示。從表中可以看出,在原始的DeeplabV3+網絡中,無論是分別添加PSA注意力模塊,或者是將ASPP模塊更改為DenseASPP模塊,都能有效地提高模型的分割效果,最后改進的模型添加PSA模塊以及DenseASPP模塊,相較于原模型,在 MIoU以及F1分數等指標方面都有了一定程度的提升。改進后模型相較于原模型的預測結果的提升如表1所示。之后,從各模型對高分辨率遙感影像的預測結果,也可以看出預測效果的提升,具體實驗結果如圖5所示。

表1 DeeplabV3+及其改進模型精度對比(Vaihingen數據集) %

圖5 模型改進前后實驗結果對比

從圖5中可以看出,相較于模型,在添加PSA模塊之后,模型在分割中,對于每個類的識別更加精確,而原模型識別效果較差的小物體的識別效果也有了提升,相較于原模型的同類地物有了更高的識別率。這是因為在添加PSA模塊之后,通過通道注意力機制,對于每個不同的類別的高級語義特征重新賦予權重,通過權重的添加,一些準確率低的地區可以更加準確地被劃分到原來的類,因此能夠更加清楚地識別出每個類別之間地物的區別,增加模型準確性。

而本文改進的模型在以上二者之上,綜合了其中兩個模型的優點。相較于原模型,在類與類之間的混淆率明顯降低,可以精確地區分每個類別之間的差異,同時對于類之間的識別也更加精確,可以準確識別出每個類地物的詳細信息。

2.2 不同模型對比

通過本文提出方法與其他模型的實驗效果進行對比,可以看出本文提出的方法具有一定的優勢,具體對比如表2、表3所示。相較于其他模型,所提出方法的MIoU、F1分數都有了一定的提高。相較于原始模型,Vaihingen數據集中MIoU提高了2.8%,F1分數提高了2.1%;WHDLD模型中MIoU提升了0.9%,F1分數提高了0.73%。具體預測結果的區別如圖6及圖7所示。

表2 本文提出方法與其他模型精度對比(Vaihingen數據集)

表3 本文提出方法與其他模型精度對比(WHDLD數據集)

圖6 不同模型結果對比(Vaihingen數據集)

圖7 不同模型結果對比(WHDLD數據集)

通過實驗結果可以發現,FCN在物體分割時有著一定效果,能夠大概識別出各類物體,但是錯分率較高,各類之間的混淆較多,同時對建筑物的分割常出現漏分或錯分的情況。U-Net對于物體的邊界輪廓信息分割得較好,但是同類之間的分割不夠精確,不同種類混淆程度較高、錯誤率較高,同樣不符合空間地物分布邏輯。SegNet識別大規模分布的物體(如建筑)的效果較好,但是在分割細節上表現得十分粗糙,物體的邊界也不夠細膩,出現的噪點較多。未改進的DeeplabV3+模型,相對于前幾個模型分類效果更佳,但是在不同種類物體的邊緣處分類效果不佳。本文提出的方法相對于以上幾個模型,能夠更加精確地區分每個地物類別,對于同類地物分類更加精確詳細,同時分割的結果更符合地學邏輯,也沒有其他模型的噪點較多的缺點,不同種類物體之間邊緣的提取更加精確。

3 結束語

本文針對遙感圖像的語義分割,提出了一種基于DeeplabV3+模型的改進模型,在DeeplabV3+模型的基礎增加了金字塔拆分注意力模塊,同時將DeeplabV3+模型中的ASPP模塊更改為了DenseASPP模塊,得到了一種在語義分割上表現更加優異的模型。該模型在編碼器階段,通過金字塔拆分注意力模塊,使得高級特征圖有了更好的像素級注意力及更細粒度級別的多尺度空間信息。通過使用DenseASPP模塊,使模型能夠考慮更多像素,兼顧更大的感受野以及獲得更多的尺度特征,同時解決了空洞率增加導致卷積失效的問題。相較于原模型以及其他常用的語義分割模型(FCN、U-Net、SegNet),該模型有著更加高的準確率。

但是新模型仍有以下問題需要解決。首先是陰影對分割的結果影響仍然存在,在陰影嚴重的區域,模型不能很好地識別出地物的種類;其次是受到圖像本身的限制,二維圖像不能很好地體現出物體本身的高度特性,導致模型不能很好地識別樹木與較矮的灌木之間的差異;最后是各類物體的邊緣與真實情況之間仍存在一定的差異。