基于改進DeepLabV3p的遙感圖像中小目標分割方法

金芊芊,羅 建,張曉倩,楊 梅,李 楊

(西華師范大學電子信息工程學院,四川南充 637009)

0 引言

簡單來說,遙感圖像就是人們利用各類飛行器(包括無人飛機、航空衛星等)遠距離對地觀測所拍攝記錄下來的圖像,可以幫助我們實現對地觀測的各項數據的分析。遙感圖像的獲取方式使其具有目標復雜多變、目標形態差異巨大、目標邊緣不清晰等特征,因此在提高其分割精度和準確度時會遇到很多困難[1-2]。Maggiori 等[3]使用FCN[4]全卷積神經網絡來提取遙感圖像的地面特征,相比于傳統網絡有較好的表現。Li 等[5]在U-Net[6]基礎上添加不對稱卷積塊提高了網絡提取特征的能力。Zhao 等[7]提出的金字塔場景分析網絡(PSPNet),應用金字塔池化模塊獲取更多的全局信息。Chen 等[8]提出的DeepLabV3p 模型,使用可以擴充感受野的空洞卷積,減少網絡中的池化操作,保留特征層的細節信息,還提出了ASPP(atros spatial pyramid pooling)來提取不同尺度的信息,較大提升了模型的效果。DeepLabV3p 是當前較為流行的遙感圖像分割算法之一。楊蜀秦等[9]在DeepLabV3p中添加多頭自注意力機制來捕獲無人機小麥倒伏圖像中的倒伏特征;黃聰等[10]在DeepLabV3p 中引入坐標注意力機制,并且采用聯級特征融合的方法來更好地利用圖像的語義特征信息。以上研究雖然對Deep-LabV3p 提出一定的改進,但是提升的效果有限,仍然難以提高對遙感圖像中小目標的分割精度和準確度。

綜上,找到一種更有效地綜合利用多尺度信息、捕捉細節信息的方式,是提高遙感圖像分割精度的關鍵之一。因此,本文使用DeepLabV3p 作為基礎網絡模型,并對其做了以下改進:(1)提出一種多級感受野融合的ASPP 結構(ASPP with multi-level receptive field fusion,Rff-ASPP),獲取更多感受野信息;(2)使用SE注意力機制[11]來聚焦目標區域提取全局信息,提高分割效率;(3)使用由CrossEntropyLoss 和LovaszSoftmax-Loss 損失函數[12]構成的混合損失函數替代原有的CrossEntropyLoss,克服樣本不均衡問題;(4)引入全連接條件隨機場進行圖像后處理,將神經網絡輸出的預測圖做進一步處理,最終得到細節分割得更加出色的輸出結果。

1 模型與改進

1.1 DeepLabV3p 模型

DeepLabV3p 是DeepLab 系列語義分割網絡模型的最新版本,是由DeepLabV1[13]、DeepLabV2[14]、DeepLabV3[15]發展而來。它的整體結構是encoder-decoder 結構,使用先前的DeepLabV3 作為encoder,然后在后面添加一個簡單高效的decoder 來進行不同尺度信息的融合。Encoder 把Restnet101 作為骨干網絡進行特征的初步提取,然后將初步提取的特征層送進ASPP模塊進行加強特征提取,ASPP 通過不同大小采樣率的空洞卷積來提取不同感受野的信息,最后拼接在一起得到加強特征層。Decoder 將骨干網絡提取出來的低層特征和經過編碼器處理的加強特征做進一步的特征融合,將不同尺度的細節信息和語義信息更好地結合在一起,減少了信息的流失,最后再通過兩次3×3 的卷積對特征進行細化,通過4 倍上采樣恢復圖像尺寸得到輸出,DeepLabV3p 結構如圖1所示。

圖1 DeepLabV3p 模型結構圖

1.2 改進的模型:RSC-DeepLabV3p

為提高DeepLabV3p 模型對遙感圖像中小目標的分割效果,本文在多個方面對模型進行改進,提出一種改進的圖像分割模型——RSC-DeepLabV3p。Deep-LabV3p 的編碼部分由Restnet101 骨干網絡和ASPP 組成,為提高模型對多尺度信息的利用,對ASPP 模塊進行改進,提出一種新的多級感受野融合的ASPP 結構。Rff-ASPP 將ASPP 中通過不同采樣率卷積獲得的5 個特征層,從上往下依次通過contact 函數進行融合,使其在獲得不同感受野信息的同時也實現了信息的共享,得到更大范圍的感受野。在解碼部分,添加SE 注意力機制來聚焦目標區域,用來更好地提取全局信息,提高分割效率。

對損失函數也進行了優化,使用加權的CrossEntropyLoss 和LovaszSoftmaxLoss 損失函數相結合替代原有的多分類交叉熵損失函數。LovaszSoftmax 損失函數適用于樣本不均衡的數據集,并且對于小目標比較友好,與其他損失函數一起加權使用時效果較好。為優化從改進DeepLabV3P 卷積神經網絡得到的預測圖,引入全連接條件隨機場進行細分,不僅可以提高模型分割后的結果,而且算法復雜度也較低,RSC-Deep-LabV3p 模型結構如圖2所示。

圖2 RSC-DeepLabV3p 模型結構圖

1.3 SE 注意力機制

SE 注意力機制主要是仿照人類的眼睛對圖像重要信息的“聚焦”,只是“聚焦”的是特征層中重要的通道特征。在模型訓練過程中,SE 模塊通過自適應學習找出比較重要的通道特征,并且賦予其更大的權重,使模型對目標特征進行關注。這不僅可以節省計算量,還保證其在各種網絡架構中的通用性。其結構如圖3所示。

圖3 SE 注意力機制結構圖

SE 注意力的實現主要有以下3 個步驟:

(1)Squeeze:對獲取到的多個特征圖進行全局平均池化,把每個通道的特征壓縮為一個數來表示,獲取到每個通道的全局信息。其表達式:

式中,H為特征圖的高,W為特征圖的寬,c為特征通道數。

(2)Excitation:通過兩個全連接層和一個sigmoid激活函數,實現權重的學習,從而找出比較重要的特征信息,減少對其他信息的關注。其表達式:

s=Fex(z,W)=σ(g(z,W))=σ(W2ReLU(W1z))

式中,σ代表sigmoid 激活函數,W1、W2代表兩個全連接層。

(3)Reweight:將前面所得的權重賦值到各特征圖,即將學習的權重與各個通道的原始特征相乘。其表達式:

式中,s代表學習到的權重信息,u為原始特征圖。

SE 注意力機制最終能實現通道特征的增強,并且不改變其大小。因此,SE 注意力機制能夠提高模型的精度,并且不改變特征圖的大小。這樣,在網絡中添加SE 模塊不用添加參數或者改變結構,SE 常被用在各種網絡模型中。本文方法將SE 注意力模塊添加到decoder 中層卷積之前,提高了模型對于全局特征的提取能力。

1.4 改進ASPP

ASPP 由多個不同采樣率的空洞卷積并行卷積然后拼接組成,目的是為進一步提取多尺度信息。ASPP頂部使用1×1 的卷積提取特征層,第二、三、四層則使用采樣率為6、12、18 的空洞卷積進行采樣,提取具有不同大小的感受野的特征層,最后一層使用全局平均池化,目的是提取全局信息;然后,通過contact 函數拼接在一起;最后,通過1×1 的卷積調整特征層的形狀。

本文的多級感受野融合的ASPP 結構是在FPN[16]的啟發下提出的,FPN 是2017年提出的一種網絡。FPN 提出了一種新的想法,就是將通過下采樣獲得的高層特征進行上采樣然后與低層特征逐層相連接,并且在每一層都進行預測,這樣就使得低層特征圖得到了更充分的利用。改進ASPP 的結構為沿著ASPP 模塊從上往下的方向,首先對最頂層進行一個1×1 的卷積,然后通過contact 函數將該特征層和相鄰特征層拼接在一起,接著對拼接后的特征層重復剛才的操作,直到最后的池化層。這樣就實現了不同感受野的特征層的信息共享,提高對感受野的利用。改進后的ASPP結構如圖4所示。

圖4 改進的ASPP(Rff-ASPP)

1.5 優化損失函數

損失函數是用來對模型訓練效果好壞進行評判的方法,其值越小,模型訓練效果就越好。遙感圖像包含的目標又多又雜,并且類別十分不均衡,DeepLabV3p模型原有的多分類交叉熵損失函數雖然可以處理多分類分割問題,但是對于遙感圖像這種背景像素所占比例較大且中小目標較多的圖像,訓練效果較差。

為了達到更好的分割效果,將CrossEntropyLoss 和LovaszSoftmaxLoss 損失函數加權結合來訓練改進后的DeepLabV3p 網絡模型。Berman 等[12]提出LovaszSoftmaxLoss 用于樣本不均衡的數據集,并且對于小目標比較友好,但是使用該損失函數優化時主要針對的是image-level mIoU,適用于微調的過程。因此LovaszSoftmaxLoss 與其他損失函數一起加權使用時效果更優。

多分類交叉熵損失函數計算公式如下:

Softmax 函數公式:

Jaccard 索引,即IOU 值,圖像語義分割中常使用IOU 作為評價指標,計算公式:

LovaszSoftmaxLoss 的作者使用Jaccard 索引作為損失函數,因此最終的LovaszSoftmaxLoss 表達式:

式中,y*為真實值,為預測值。

最終的損失函數為CrossEntropyLoss 和LovaszSoftmaxLoss 加權結合的混合損失函數,因此最終表達式:

式中,a、b為權重,a+b=1。

1.6 全連接條件隨機場

全連接條件隨機場CRFs 能夠對模型預測的分割結果做進一步的處理,以改善分割圖像中的邊緣模糊問題[17]。一張圖片由很多個像素點組成,CRFs 做的工作就是找出原始圖片中各個像素點的位置信息以及顏色信息,結合改進DeepLabV3p 模型的預測概率分布圖來計算像素點歸類概率,然后進行推理,找出每個像素最可能的類,推理次數不同,優化效果也就不同。其推理流程如圖5所示。

圖5 CRFs 流程圖

全連接條件隨機場符合吉布斯分布,如下:

式中,x是觀測值,E(X|I)是能量函數,該能量函數由一元勢函數ψu(xi)和二元勢函數ψp(xi,yi)構成,如下:

一元勢函數ψu(xi)通過模型輸出的預測圖計算像素點i的類別為xi的概率,二元勢函數ψp(xi,yi)則是通過原圖中像素點的顏色值、像素點間的距離等來判斷兩個像素之間的關系,全連接條件隨機場中的二元勢函數計算每一個像素點和其他所有像素點之間的關系。通過推理,使得E(x)能量值越小,則最終相似像素點為相同類別的概率就越大。通過反復迭代最小化能量函數,可以得到最終的后處理結果。

本文將原始特征圖與模型輸出的預測圖放入全連接隨機場進行實驗,進行一元勢和二元勢,然后通過設定推理次數來確定優化次數。利用全連接條件隨機場對模型輸出的預測圖進行6 次推理,推理后的對比結果如圖6所示。由圖6 可以看出,前3 次推理取得的效果較好,后3 次由于過度推理,受顏色信息影響過大,反而優化效果不好。因此,本文選擇使用3 次推理的CRFs 全連接條件隨機場對模型預測圖進行優化。

圖6 原圖與不同推理次數優化圖對比

2 實驗結果與討論

2.1 數據集與實驗環境

使用DLRSD 數據集,該數據集是武漢大學基于UCMerced_LandUse 數據集標注的,包括17 個類別,共2100 張圖片,且大小均為256×256,其中包括建筑物、飛機、船、汽車、樹木等中小目標類別。按照7 ∶2 ∶1將數據集劃分為訓練集、驗證集以及測試集,其中對訓練集采用縮放、隨機裁剪、隨機水平翻轉、歸一化等數據預處理操作。

本文實驗均在百度的AI Studio 平臺進行,選用PaddlePaddle 2.3.0 框架,選用硬件環境如表1所示。

表1 實驗的硬件環境

使用SGD 優化算法,PolynomialDccay 學習策略,實驗的各項參數如表2所示。

表2 實驗的訓練參數

2.2 實驗評價指標

使用mIoU(交并比)、Dice(相似系數)、Kappa 系數、ACC(準確率)作為模型性能的評價指標。這幾個值越大,則模型的性能越好。各指標的計算公式如下:

式中,k表示類別,k+1 表示加上背景類,tp表示預測值屬于該類別并且真實值也屬于該類別的像素點數目,fn表示預測是此類別但是真實類別是另一種的像素點數目,fp表示預測為其他類別而真實值屬于此類別的像素點數目;A表示預測圖,M表示真實標簽圖;po為分類器的準確率,pe為隨機分類器的準確率;N表示總的像素點數目。

2.3 實驗結果

2.3.1 對比實驗結果與分析

基礎DeepLabV3p 與改進后的DeepLabV3p 在驗證集上的mIoU 值和在訓練集上的loss 值曲線如圖7所示,藍色線代表本文提出的RSC-DeepLabV3p 模型,黃色線代表DeepLabV3p 模型。損失值隨著迭代次數增加而降低,mIoU 值隨之增加,當訓練到1000 個Iters時,mIoU 值與loss 值均開始收斂。改進后的Deep-LabV3p 不僅在損失值和mIoU 值曲線的收斂速度上表現更好,并且最終的損失值更低,mIoU 值更高。

圖7 改進前后DeepLabV3p 的損失函數和mIoU 值曲線

為進一步證明改進的DeepLabV3p 模型的確在遙感圖像中小目標的分割上表現優秀,對當前常用的一些分割網絡如U-Net、FCN、PSPNet 也進行對比實驗,實驗環境、數據集、訓練參數等實驗條件均一致,實驗結果如表3所示。由表3 可知,Deeplabv3p 模型在DLRSD數據集上的綜合表現均優于其他模型,而本文改進的DeepLabV3p 模型在各方面表現都優于Deep-LabV3p 模型,mIoU 為73.22%、準確率為86.48%、Kappa 系數為84.44%、dice 為82.03%,其中mIoU 和dice 較基礎模型DeeplabV3p 提高了3.78%、2.58%。說明本文改進的方法分割效果較好,有利于遙感圖像中小目標的分割。

表3 不同網絡模型評估對比 單位:%

為更直觀地體現改進模型的性能,分別使用不同模型進行推理,并對其中部分結果進行可視化分析。圖8 的4 組圖片是各模型分別對包含飛機、住宅、港口等目標的遙感圖像進行分割的結果。可以看出,與UNet、FCN 等相比,DeepLabV3p 模型在分割輪廓上表現更好。如圖8(a)所示,DeepLabV3p 完整地分割出了港口上每一艘船的輪廓,其中穿插的道路的分割形狀也比較完整,而U-Net、FCN 分割邊緣十分粗糙,FCN只能分割出船只的大體位置,且部分道路分割不完整;與DeepLabV3p 相比,RSC-DeepLabV3p 則表現更好,本文模型在船只和道路的細節上分割得更加清楚,每一艘船中間間隔的道路也能夠分割出來,整體表現最好。

2.3.2 消融實驗結果及分析

為驗證改進模塊的有效性,分別添加改進模塊逐個進行實驗,以驗證多級感受野融合的ASPP、Mixed-Loss、SE 模塊對模型性能的提升效果。由表4 的實驗結果可知,各改進方案對模型性能均有提升。改進ASPP,能夠提高不同感受野的利用率,mIoU 較原模型提高了2.12%;添加SE 模塊,提高了模型在通道上的信息的聚焦,mIoU 較原模型提高了1.75%;使用MixedLoss,模型收斂速度加快,改善了樣本不均衡的問題,mIoU 較原模型提高了2.26%。每添加一個改進模塊,模型的總體性能都有所提高,最終結合所有改進模塊的模型表現最好,mIoU 較基礎模型提高3.78%。

表4 消融實驗

3 結論

通過對比實驗發現,當前常用的語義分割模型在遙感圖像中小目標的分割上還存在不足,比如邊緣分割模糊,細節分割不到位等,不利于各項遙感工作的開展。本文針對這一問題,使用在遙感圖像分割中表現較好的DeepLabV3p 模型作為基礎模型,對其進行多方面的改進,得出以下結論:

(1)改進的多級感受野融合ASPP 能夠進一步對不同采樣率卷積出來的特征層進行感受野融合,更大程度發揮了ASPP 模塊的作用。

(2)在解碼器添加SE 注意力機制能夠使模型對通道信息中的目標信息更加專注,減少了其他通道信息對訓練的干擾。

(3)使用加權的混合損失函數(LovaszSoftmaxLoss和CrossEntropyLoss),結合二者的長處,樣本不均衡問題得到了改善。

(4)全連接條件隨機場對模型預測圖進行精細化處理,可以改善物體分割邊緣粗糙的問題。

(5)融合以上的改進方案能夠更大程度提高模型的性能,為遙感圖像中小目標分割的邊緣不清晰、細節不準確的問題提供了一種解決方案,本文模型最終mIoU 提高3.78%。

當然,因為網絡模型的訓練過程十分復雜并且缺乏可解釋性,本文的研究還不夠深入,在后續工作中將重點研究如何在不增加復雜計算量的情況下實現更高精度的分割。在進行CRFs 圖像后處理時發現,推理次數較少時,優化效果不夠明顯,推理次數較多時又容易受到顏色信息的影響,因此后續還將對圖像后處理算法進行研究和優化。