一種改進的高分辨率遙感圖像語義分割模型?

沈旭東，樓 平?，雷英棟，朱立妙，吳湘蓮

(1.嘉興職業技術學院，浙江 嘉興 314036；2.同濟大學浙江學院，浙江 嘉興 314051)

遙感圖像語義分割是指對圖像中對每個區域的像素標簽進行語義上的分類，它對地表空間信息的提取、城市土地資源管理、環境監測和自然資源保護等方面都起到十分重要的作用。隨著遙感技術的發展，獲取高分辨率遙感圖像在國內已經得到廣泛的應用[1]，這給城市土地信息的提取提供了很好的資源基礎，傳統的方法使用手動的方式對遙感圖像信息進行標注，會花費大量的時間和人力，因此構建一種自動的高分辨率遙感圖像語義分割方法具有重要的作用。和傳統的計算機視覺圖像不同，遙感圖像一般可獲得的數量比較少，而且一個圖像中會包含很多的物體，比如:道路、建筑物、植被、高樹木、汽車等。另外，建筑物有不同的大小，汽車相比其他物體很小，植被和高樹木只是在高度上有區別，這些問題都給基于標簽的圖像語義分割增加了很大的困難。

近年來，隨著深度學習技術的發展，為了解決圖像語義分割的難點，很多學者在圖像語義分割上做了很多研究，2015 年全卷積神經網絡[2](Fully Convolutional Networks，FCN)的提出為圖像語義分割提供了全新的基礎模型，采用“編碼解碼”的結構，實現了端到端的分割方法，比起其他模型有了很大的改進。本文針對高分辨率遙感圖像的特點，在該結構的基礎上設計了一種改進的端到端網絡模型，在編碼階段使用遙感圖像中具有三維特征的紅外雷達(IRRG)和具有一維特征的數字表面模型(nDSM)作為輸入[3]，如圖1 所示，采用resnet[4]預訓練網絡作為特征提取網絡，設計了一種注意力補償模塊(Attention Complementary Block，ACB)網絡結構，將IRRG 和nDSM 雙輸入特征做融合，加強了特征提取的效果。為了有效獲取全局信息，我們在特征提取的最后一個階段，構建了一個帶有空洞卷積的空間金字塔結構[5](Atrous Spatial Pyramid Pooling，ASPP)網絡模塊，采用具有不同空洞率的空洞卷積網絡，增大了卷積感受野，進一步提高了網絡模型對于全局信息的獲取。在解碼階段，我們設計了一種通道注意力增強模塊(Channel Attention Enhance Block，CAEB)、空間注意力增強模塊(Spatial Attention Enhance Block，SAEB)兩種空間網絡結構，采用CAEB 和SAEB 串接的方式對深層特征和淺層特征進行特征融合，再使用上采樣結構減小通道數量，增加圖像的尺寸，最后使用1×1 卷積得到需要的輸出圖像。

本文主要做的工作有以下幾個方面:

(1)傳統的圖像語義分割算法大都是使用三維圖像作為輸入，進行圖像的預測，很多遙感圖像語義分割的研究論文中，有提到對遙感圖像和nDSM 圖像同時輸入，但是融合的方法很少有詳細描述，本文結合IRRG 和nDSM 的圖像特征，設計了一種ACB注意力模型結構，對兩個圖像的特征進行提取，并在不同的特征層上進行融合，提高了特征提取的效果。

(2)由于遙感圖像上物體結構復雜多樣，本文借鑒DeeplabV3＋[5]網絡模型中的ASPP 網絡結構，對網絡參數進行改進，重新調整空洞卷積的空洞率，取得不錯的效果。

(3)設計了CAEB、SAEB 兩種空間網絡結構，使用CAEB 和SAEB 串接的方式對深層特征和淺層特征進行融合，再進行上采樣，增強了不同層圖像特征全局信息的融合。

1 網絡設計方法

1.1 基礎特征提取網絡

在設計語義分割網絡時，基礎網絡設計是很重要的一部分，由于條件的限制，高分辨率遙感圖像在進行訓練時，很難獲得海量遙感圖像數據集，一般情況下只有幾張或者幾十張，在這樣少量的數據集上提取特征，采用具有預訓練的圖像分類模型是不錯的選擇，本文選用resnet50 作為圖像特征提取模型，因為它是在網絡中增加殘差網絡的方法，解決了網絡深度到一定程度，誤差升高，效果變差，梯度消失現象越明顯，使得網絡反向傳播求最小損失難以實現，網絡模型框圖如圖2 所示。實現上，由于圖像輸入的數據有兩部分，分別是IRRG 圖像和nDSM 圖像，以256×256 大小的圖像為例，IRRG 圖像的大小為(3，256，256)，nDSM 圖像的大小為(1，256，256)，無法直接輸入到resnet50 網絡模型中，本文中將網絡模型分為兩個分支，一個分支處理IRRG 圖像信息，一個分支處理nDSM 圖像信息，由于默認的resnet50 模型為三通道輸入，需要將nDSM 圖像分支模型輸入通道改為1。其次由于我們需要在深層網絡之后使用ASPP 多尺度模塊進行全局信息的提取，而resnet50 最后特征的輸出只有(2056，8，8)，尺寸太小，因此在第四層網絡設計中，我們修改了卷積步長使得最后一層特征的輸出大小為(2056，16，16)，經過修改后resnet50 總的框架如表1 所示。

圖2 網絡模型框圖

表1 基于resnet50 的基礎特征提取網絡框架

1.2 ACB 注意力模塊

由前面分析，我們知道圖像的輸入信息有兩部分組成，分別是IRRG 圖像和nDSM 圖像，為了能從這兩部分圖像中有選擇地獲取有用的信息，我們設計了一個注意力模塊[6]，使得網絡能夠更加關注圖像中有用信息的區域。設計方法如下:假設輸入圖像特征A＝[A1，…，Ac]∈?C×H×W，其中Ai表示每個像素點在全部通道上的點集合，C表示通道數量，H，W表示特征圖像的高度和寬度，對F使用全局平均池化操作，得到輸出Z，Z∈?C×1×1，公式如下:

其次，使用通道數不變的1×1 卷積操作，目的是為了對像素相關的類通道做強化，對像素不相關的類通道做抑制處理[7]，從而給每個通道以合適的權值，然后使用Sigmod 激活函數激活卷積結果，通過訓練可以得到針對每一個通道的最佳權值V∈?C×1×1，范圍為0～1 之間，最后使用F×V得到輸出結果，表達式可以寫為公式:

式中:U為一個分支的輸出結果，W1代表1×1 卷積，fs為Sigmod 激活函數，×為矩陣對應元素相乘。

將IRRG 圖像和nDSM 圖像依次獨立采用上述模型進行特征的提取，并在每一層對提取的特征圖進行融合，以特征層1 為例，得到的可視化結果(總共512 通道取0～8 通道)，如圖3 所示。

圖3 IRRG 圖像和nDSM 圖像融合特征圖

1.3 CAEB 和SREB 注意力模塊

為了有效地完成遙感圖像中不同物體之間的區分，特別是一些從圖中看很相近的物體，比如:“矮植被”和“樹木”通常是很難區分的，并且對于不同大小的汽車有時也很難區分，為了提高像素級識別特征表示的辨別能力，我們在深層特征和淺層特征融合的過程中采用了空間位置注意力和通道注意力兩個網絡的串接融合。

對于空間位置注意力模塊，我們使用注意力機制，通過計算像素所在位置每個通道上的加權累計，得到每個像素可更新的權值比例，其大小由相應的兩個位置之間的特征相似程度來決定，從而使得空間任意兩個像素之間的依賴關系得以表示，通過空間位置注意力網絡后，兩個位置之間的關系程度和空間位置上的距離無關。網絡具體實現如圖4 所示，實現方法如下:

圖4 空間位置注意力模塊

(1)假設輸入圖像特征A∈?C×H×W；

(2)通過兩個1× 1 卷積后，得到兩個新的特征A和B，{A，B}∈?C×H×W；

(3)將A和B兩個特征變型操作為?C×(HW)，其中HW為H×W；

(4)然后用A的轉置乘上B，再對結果使用softmax 求取每個像素的注意力權值，得到S∈?(HW)×(HW)，其中Sji表示第i個位置和第j個位置像素的注意力權值，即兩個位置的相關程度。

(5)再通過1× 1 卷積后，得到新的特征C，{C}∈?C×H×W，并變型為?C×(HW)，然后對S和變型后的C′對應元素相乘，最后再與輸入特征相加得到輸出E∈?C×H×W，表達式如下，

SREB 注意力模塊基本原理同ACB 注意力模塊，網絡具體實現如圖5 所示。

圖5 通道注意力模塊

2 實驗方案設計

2.1 數據集描述

選取的數據集為Vaihingen 數據集[8]，該數據集采集自航攝飛機拍攝的標準航空遙感影像，由33 幅高分辨率航空影像組成，涵蓋1.38 km2城市的面積，圖像平均尺寸大小為2 494× 2 064，每張圖像具有3 個波段，分別為紅外、紅色和綠色波段，nDSM圖像表征的是地面上物體的高度數據，作為補充數據輸入，在這33 張圖中，其中有16 張圖片是有人工標注的，我們選12 張圖片作為訓練集，4 張圖片作為驗證集，數據集的信息如表2 所示。

表2 Vaihingen 數據集實驗方案

2.2 數據增強方法

一般情況下，高分辨率遙感圖像單張圖像的尺寸都比較大，無法直接輸入到深度學習網絡中去，而且大部分高分辨率遙感圖像只提供非常有限的數據量，比如，Vaihingen 數據集只提供16 張大小為2 494×2 064 帶標簽的完整圖像，雖然很多深度學習語義分割模型能輸入任意尺寸的圖像，但是由于GPU 內存的限制和圖像數量的原因，一次輸入這么大的圖像顯然是不合適的，我們需要對圖像進行隨機裁剪，訓練時我們在原始圖像的基礎上，隨機把圖像裁剪為256×256 大小，并對圖像進行0°、90°、180°、270°、水平和垂直6 個方向的隨機旋轉，在實現的過程中圖像的裁剪和訓練沒有分開，這樣可以保證每次隨機到的圖像都可以不一樣，如果先裁剪好再訓練，每次訓練的數據集就不會變，會影響最后的訓練準確度。驗證時，我們采用重疊覆蓋的方法，把圖像裁剪為256×256 大小，如圖6 所示，設置x方向步長和y方向步長，對預測圖像進行裁剪，這樣可以提高整張圖片最終預測的準確度。

圖6 驗證時圖像裁剪方法

2.3 損失函數及訓練細節

(1)損失函數設計

在語義分割領域，通用的損失函數一般選擇交叉熵損失函數CEloss，定義如下:

式中:N表示批處理的大小表示每個標簽樣本的概率，表示相應標簽類別的編碼。針對數據集中大目標類別(比如道路和建筑物等)的像素點數量占據絕對優勢，不同類別的像素點數據分布不均衡，因此高分辨率遙感圖像存在樣本類不平衡的問題，式(2)損失函數計算的是所有像素的總和，不能很好地處理類不平衡問題[9]，我們采用對不同類別的損失進行加權，計算每個類別的權重，頻率越高的權重越小，帶權重的交叉熵損失函數定義如下:

(2)訓練細節

在進行設計時，我們的程序使用Pytorch 框架進行設計，實驗所用圖像工作站配置為:8 核CPU，內存32G，TeslaV100 GPU，顯存16G，操作系統Ubuntu 16.04，優化器采用隨機梯度法，參數設置:lr ＝0.01，momentum ＝0.9，weight＿decay ＝1e-4，迭代次數50000，批處理大小16，為了評估網絡的性能，我們使用全局準確率(OA)，均交并比(mIOU)來進行比較，對于兩個數據集我們都使用不帶邊界腐蝕的標注圖進行性能指標測試，評價函數如下:

TP表示“正樣例被分類成正樣例”像素，FP表示“負樣例被分類成正樣例”像素，FN表示“正樣例被分類成負樣例”像素，N表示總的像素值。

2.4 實驗結果分析

我們采用FCN－ 8S、Unet[10]、Segnet[11]、DeeplabV3＋四種不同的語義分割網絡進行對比分析，從表3 數據可以看出，我們設計網絡在均交并比(mIOU)和準確率(OA)上都有了一定程度的提高，和基礎網絡FCN－8S 相比，我們的網絡在mIOU 上提高了5.1%，在OA 上提高了3%，證明我們的網絡添加了基于注意力機制的多尺度融合模型是有效的，對于類不平衡的優化設計，我們采用了帶權重的交叉熵損失函數，我們的模型在小物體的識別上也有了一定的提高，比如，汽車類別的IOU 達到了73.06%，在相似物體的識別上也比其他的模型表現要好，比如建筑物比較大而且顏色不一致時，比較難識別，經常會出現中間缺失像素的現象，我們的模型建筑物類別IOU 的比例達到了90.78%，而且從預測圖中看識別比較完整。

表3 Vaihingen 數據集對比測試數據

由圖7 可知，很多的物體是比較相近的，比如一個建筑物在被識別的時候就分散開了，中間夾著很多其他的像素，或者樹木和矮植被兩種物體，比較難被區分開，這是因為各種其他的模型不能很好地使用全局的上下文信息，導致某個像素在識別的時候只考慮了周圍有限的一些像素信息，從而使得信息的識別不是很完整，我們在模型中添加的注意力機制模型和多尺度模型在很大程度上可以改進這些問題。

圖7 Vaihingen 裁剪圖測試對比

我們對所有的256×256 圖像進行了重疊覆蓋拼接的預測，拼接后測試對比結果如圖8 所示，經測試該方法比單獨拼接在最終的準確率上要高1～1.5%左右，在最終結果中可以去除大部分預測錯誤的小點，從整體的預測效果上看，我們模型的預測結果在物體的完整性和預測的準確性上都要比其他的模型表現好。

圖8 Vaihingen 30 號圖拼接后整圖測試對比

3 結束語

通過對遙感圖像的分析，我們設計了一種新的針對高分辨率遙感圖像端到端的網絡模型，對IRRG圖像和nDSM 圖像進行融合輸入，并在模型的設計中引入了空間注意力模塊和多尺度模塊，從最終的預測性能看，該模型比其他幾種流行的語義分割網絡模型預測效果要好，但是在相近物體的識別上還是存在一些問題，比如矮植被的識別沒有凸顯出很大的優勢，需要在以后的設計中進一步改進。