基于輕量級U型網(wǎng)絡(luò)的遙感影像分割方法研究*

張 月 張 棟 趙偉強 杜曉剛 雷 濤

（1.陜西科技大學(xué)電子信息與人工智能學(xué)院 西安 710021）（2.陜西科技大學(xué)陜西省人工智能聯(lián)合實驗室 西安 710021）（3.中電科西北集團有限公司西安分公司 西安 710065）

1 引言

遙感技術(shù)通過遠程傳感器檢測從地球反射的能量來收集數(shù)據(jù)，以獲取有關(guān)物體或區(qū)域的信息，近年來，遙感圖像中所蘊含的語義信息越來越豐富得益于遙感技術(shù)的迅速發(fā)展，同時基于遙感影像的圖像分割技術(shù)也逐漸成為地理大數(shù)據(jù)更新的關(guān)鍵［1］。遙感圖像分割有著廣泛的應(yīng)用范圍，涉及資源勘探、災(zāi)后評估、環(huán)境監(jiān)測、地物分類分析等方面，尤其是在軍事戰(zhàn)爭模擬方面，從遙感圖像中分割出的語義信息，對于真實戰(zhàn)場地形的快速生成、環(huán)境的快速搭建有著極其重要的作用。因此如何針對遙感圖像進行快速而準確的語義分割，提取出重要的語義信息，并進行后期應(yīng)用和開發(fā)，是一項重要的研究。

近幾年來深度學(xué)習(xí)的飛速發(fā)展，讓圖像分割技術(shù)又邁進了一個新時代［2～4］。圖像分割技術(shù)在深度學(xué)習(xí)領(lǐng)域的應(yīng)用主要是依靠卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，全卷積神經(jīng)網(wǎng)絡(luò)（Full Convolutional Neural Network，F(xiàn)CN）是最早的分割網(wǎng)絡(luò)，它是基于卷積神經(jīng)網(wǎng)絡(luò)由Long等提出的［5］，全卷積神經(jīng)網(wǎng)絡(luò)是后續(xù)許多分割網(wǎng)絡(luò)的基石。例如2015年Olaf Ronneberger等基于全卷積神經(jīng)網(wǎng)絡(luò)的思想提出了U形網(wǎng)絡(luò)（U Shape Network，U-Net）［6］架構(gòu)，U-Net網(wǎng)絡(luò)的提出獲得了諸多學(xué)者的高度關(guān)注，U-Net網(wǎng)絡(luò)是一種經(jīng)典的編碼-解碼網(wǎng)絡(luò)，在小數(shù)據(jù)集分割任務(wù)中性能出色，目前U-Net網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用于醫(yī)學(xué)及遙感等領(lǐng)域。之后陸續(xù)有了更多的語義分割網(wǎng)絡(luò)被人們提出，如SegNet［7］、PSPNet［8］、Deeplab［9］等，但是目前人們對遙感影像分割的研究大多數(shù)還是基于U-Net網(wǎng)絡(luò)，例如Wang等提出了一種基于U-Net網(wǎng)絡(luò)的特征融合方法，該方法使用膨脹卷積獲取更多的全局特征，從而提升圖像分割模型整合多尺度信息的能力，實驗結(jié)果表明改進后的網(wǎng)絡(luò)模型對遙感圖像有較好的分割效果［10］。Lyu等提出了一種基于改進型U-Net網(wǎng)絡(luò)的高分辨率遙感影像建筑物提取方法，該方法將空洞卷積加入到原始網(wǎng)絡(luò)中，利用不同尺度的空洞卷積對網(wǎng)絡(luò)編碼部分進行多尺度特征提取與特征融合，實驗結(jié)果表明該方法具有良好的魯棒性和精度，能從影像中準確地提取建筑物［11］。上述網(wǎng)絡(luò)都是以提取更多的信息特征為手段來提升遙感影像的分割精度，忽略了淺層特征信息的冗余，因此網(wǎng)絡(luò)的特征學(xué)習(xí)能力一般。同時這些網(wǎng)絡(luò)為了追求更高的分割精度往往會消耗巨大的內(nèi)存，依賴于性能較高的硬件設(shè)備，不利于網(wǎng)絡(luò)在移動端的部署，因此輕量化也成了許多學(xué)者的研究方向［12］。

針對上述問題，本文提出了一種輕量級U型網(wǎng)絡(luò)（Lightweight U-Net，LU-Net）。本文在經(jīng)典的分割網(wǎng)絡(luò)U-Net上進行改進。我們在網(wǎng)絡(luò)的跳躍連接部分添加注意力機制模塊，讓網(wǎng)絡(luò)學(xué)習(xí)到很多有用的知識，減少無關(guān)信息的影響，同時將網(wǎng)絡(luò)中的常規(guī)卷積全部用深度可分離卷積代替，減少網(wǎng)絡(luò)參數(shù)量，在保證分割精度的同時實現(xiàn)網(wǎng)絡(luò)輕量化。在ISPRS Vaihingen 2D Semantic Labeling Dataset數(shù)據(jù)集上進行了實驗，結(jié)果表明我們提出的網(wǎng)絡(luò)不僅在分割精度上有所提升，同時在內(nèi)存和計算開銷上也明顯降低。

2 U-Net網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示，它是一種經(jīng)典的編解碼結(jié)構(gòu)。網(wǎng)絡(luò)的編碼部分主要是對輸入圖像進行特征信息提取，解碼部分主要是對編碼部分輸出的特征圖進行上采樣，還原特征圖尺寸。由于整個網(wǎng)絡(luò)結(jié)構(gòu)呈現(xiàn)U型結(jié)構(gòu)，所以稱其為U-Net網(wǎng)絡(luò)。

圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

在網(wǎng)絡(luò)編碼部分，每進行兩次卷積操作，就對特征圖進行一次下采樣，編碼部分總共進行了四次下采樣，相當于下采樣了16倍；解碼部分，每進行兩次卷積操作，就進行一次上采樣，與編碼部分對稱，解碼部分進行了4次上采樣，可以將特征圖恢復(fù)成與輸入相同尺寸。從網(wǎng)絡(luò)結(jié)構(gòu)圖可以看出，U-Net網(wǎng)絡(luò)主要進行了跳躍連接操作，網(wǎng)絡(luò)將編碼部分每層的輸出都與解碼部分上采樣之后得到的特征圖進行拼接融合，使用維度拼接的特征融合方法可以補全圖像的邊界信息，提高網(wǎng)絡(luò)對圖像邊緣信息檢測的精度。

3 LU-Net

LU-Net的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。原始的U-Net網(wǎng)絡(luò)只是單純的把同層的下采樣層的特征直接連接到上采樣層中，添加注意力機制模塊之后，對下采樣層同層和上采樣層上一層的特征圖進行處理后再和上采樣后的特征圖進行連接，同時將網(wǎng)絡(luò)中的普通卷積全部替換成深度可分離卷積（注意力機制模塊中的卷積不進行改變）。

圖2 LU-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

3.1 注意力機制模塊

在U-Net網(wǎng)絡(luò)中，跳躍連接是為了避免在解碼部分丟失大量的空間精確細節(jié)信息，但是由于網(wǎng)絡(luò)剛開始提取的淺層特征有很多的冗余信息或者說剛開始提取的特征信息并不是很有效，這些相似的淺層特征信息不應(yīng)該被重復(fù)提取。因此針對此問題，本文將注意力機制添加到網(wǎng)絡(luò)的解碼部分［13］，該機制網(wǎng)絡(luò)學(xué)習(xí)時，能夠抑制背景像素的干擾，增加網(wǎng)絡(luò)學(xué)習(xí)與目標區(qū)域有關(guān)的部分，即讓網(wǎng)絡(luò)集中注意力學(xué)到更加有用的信息。

注意力機制的內(nèi)部原理如圖3所示，該模塊有兩個輸入，一是網(wǎng)絡(luò)每次下采樣得到的特征圖g(Fg×Hg×Wg)，另一個是上采樣之前輸出的特征圖xl(Fi×Hx×Wx)，兩者首先經(jīng)過1×1卷積運算分別得到，然后將得到的結(jié)果進行相加再通過ReLU激活函數(shù)得到隨后再次進行1×1卷積運算并通過Sigmoid激活函數(shù)和上采樣最終得到注意力系數(shù)，即

圖3 注意力機制內(nèi)部原理圖

其中，F(xiàn)g、Fi分別表示第g、i層的特征圖數(shù)量，、為權(quán)重，bg、bψ代表偏置項，ψ代表大小為1×1的卷積核。

3.2 深度可分離卷積模塊

普通卷積是一組卷積核與輸入特征圖進行卷積運算得到最后的輸出，而深度可分離卷積的本質(zhì)是分組卷積［14］，它將普通的卷積分解成深度卷積和1×1逐點卷積。深度卷積是對輸入圖像的每個通道應(yīng)用一個固定大小卷積核用于學(xué)習(xí)每個通道的空間特征，1×1逐點卷積則是學(xué)習(xí)圖像中每個像素點的特征信息，進行通道信息融合。

圖4是普通卷積分解成深度可分離卷積的過程，圖4（a）是普通卷積，圖4（b）是深度卷積，圖4（c）是逐點卷積。圖中假設(shè)卷積核的大小為DK×DK，輸入的特征圖的大小為DF×DF，M和N分別表示輸入特征圖與輸出特征圖的通道數(shù)，普通卷積的參數(shù)量和計算量分別如式（3）與式（4）所示。

圖4 普通卷積分解成深度可分離卷積過程圖示

深度卷積的參數(shù)量與計算量分別如式（5）與式（6）所示。

逐點卷積的參數(shù)量與計算量分別如式（7）與式（8）所示。

故深度可分離卷積的總體參數(shù)量與計算量分別為式（9）與式（10）所示。

相比于傳統(tǒng)卷積，深度可分離卷積的參數(shù)量與計算量均減少了：

通過計算發(fā)現(xiàn)深度可分離卷積可以有效降低網(wǎng)絡(luò)參數(shù)量，本次實驗使用深度可分離卷積代替U-Net網(wǎng)絡(luò)中的常規(guī)卷積，減少模型參數(shù)量，實現(xiàn)網(wǎng)絡(luò)輕量化，并且又在每一層卷積之后加入批歸一化［15］，防止過擬合，提高模型的魯棒性。具體操作如圖5所示。

圖5 深度可分離卷積替換常規(guī)卷積操作

4 實驗結(jié)果分析

4.1 實驗環(huán)境

本次實驗環(huán)境為處理器Intel（R）Xeon（R）CPU E5-1620 v4@3.50GHz，顯卡NVIDIA GeForce GTX 1080，內(nèi)存64GB，Windows64位系統(tǒng)；GPU加速庫為CUDA 11.0；深度學(xué)習(xí)框架為PyTorch，版本：torch 1.7.1；開發(fā)環(huán)境為PyCharm，版本：2019.3.3；編程語言為Python 3.7；可視化工具為TensorboardX 2.4；python庫NumPy 1.19.5。

4.2 數(shù)據(jù)集建立

本次實驗選取ISPRS Vaihingen 2D Semantic Labeling Dataset遙感影像數(shù)據(jù)集［16］，此數(shù)據(jù)集是在德國的Vaihingen上空距離地面9cm拍攝的。該數(shù)據(jù)集官方提供了16張影像的真實標簽數(shù)據(jù)用于模型的訓(xùn)練、驗證與測試。本次實驗將遙感影像數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集，選擇13張影像作為訓(xùn)練集，再從13張訓(xùn)練集里面選擇3張作為驗證集，剩余3張作為測試集。

原始的遙感影像尺寸較大，且數(shù)量較少，我們對數(shù)據(jù)集進行隨機裁剪，裁剪成10000張256×256大小的訓(xùn)練集、2000張256×256大小的驗證集，2000張256×256大小的測試集。同時為了確保數(shù)據(jù)集能夠訓(xùn)練出有效的網(wǎng)絡(luò)模型，使其具有魯棒性，對訓(xùn)練集和驗證集進行隨機角度旋轉(zhuǎn)、翻轉(zhuǎn)、伽馬變換以及添加噪聲等數(shù)據(jù)增強的方式增強數(shù)據(jù)集。經(jīng)過對原始遙感影像進行預(yù)處理操作，最終形成了10000張原圖和對應(yīng)標簽構(gòu)成的訓(xùn)練集、2000張原圖和對應(yīng)標簽構(gòu)成的驗證集和2000張原圖和對應(yīng)標簽構(gòu)成的測試集，至此實驗所需數(shù)據(jù)集建立完成。

圖6 原圖與標簽圖進行預(yù)處理后的訓(xùn)練集圖像（部分）

4.3 評價指標

為了定量評估模型在遙感影像中進行分割的效果，引入兩個分割評價指標，分別為平均交并比（MIoU）和準確率Accuracy，計算形式如下：

圖像分割的目標通常有很多類別，因此我們需要把每個分類得出的分數(shù)進行平均計算，得到Mean IoU，即MIoU。假設(shè)有k+1類（0...k），0通常表示背景類，則平均交并比（MIoU）的計算公式如式13所示。

其中k+1為圖像中總的類別數(shù)，IoU為每個類別的交并比。

其中，TP代表樣本為正，預(yù)測結(jié)果為正；FP代表樣本為負，預(yù)測結(jié)果為正；FN代表樣本為正，預(yù)測結(jié)果為負；TN代表樣本為負，預(yù)測為負。

4.4 實驗?zāi)Ｐ陀?xùn)練

本次實驗選用交叉熵損失函數(shù)（Cross Entropy loss function）和Adam優(yōu)化器來對網(wǎng)絡(luò)模型進行前向傳播以及參數(shù)更新，超參數(shù)批數(shù)量（Batch）設(shè)置為2，迭代次數(shù)（Epoch）為200，學(xué)習(xí)率（Learning Rate）為0.0001，最終loss逐漸收斂，如圖7所示，從圖中可以看出，LU-Net網(wǎng)絡(luò)的收斂速度明顯快于U-Net網(wǎng)絡(luò)，證明了加入注意機制模塊后可以有效地加快網(wǎng)絡(luò)的學(xué)習(xí)速度。

圖7 loss曲線對比圖

4.5 實驗結(jié)果分析

為了驗證本文提出的深度學(xué)習(xí)網(wǎng)絡(luò)模型在遙感圖像分割任務(wù)中的有效性，將實驗結(jié)果與U-Net網(wǎng)絡(luò)模型進行分割結(jié)果對比，實驗中使用相同的訓(xùn)練樣本和驗證樣本，結(jié)果如表1所示。

表1 不同分割模型性能指標對比

表1展示了不同分割模型的性能，從結(jié)果可以看出LU-Net網(wǎng)絡(luò)模型在驗證集上的MIoU達到了69.85%，準確率達到了82.92%，相比于U-Net網(wǎng)絡(luò)模型的MIoU提高了2.81%，準確率提升了0.94%；同時，LU-Net網(wǎng)絡(luò)模型參數(shù)量僅有9.835M，計算量僅有26.028GFlops，相比于U-Net網(wǎng)絡(luò)模型參數(shù)量減小了68.32%，計算量減小了52.45%。實驗結(jié)果表明LU-Net網(wǎng)絡(luò)模型無論是在分割精度和準確率上，還是模型大小和計算量上，都遠遠優(yōu)于U-Net網(wǎng)絡(luò)模型。

為了更加直觀地反映出LU-Net網(wǎng)絡(luò)模型的分割效果，本文選取小區(qū)域的圖像進行可視化。如圖8所示，從圖中可以看出，LU-Net網(wǎng)絡(luò)的分割效果明顯優(yōu)于U-Net網(wǎng)絡(luò)，表明網(wǎng)絡(luò)的注意力機制模塊可以讓網(wǎng)絡(luò)很好地學(xué)習(xí)有用的知識，同時抑制背景信息，提升分割精度。

圖8 不同分割網(wǎng)絡(luò)下的結(jié)果圖對比

5 結(jié)語

本文設(shè)計了一種新的用于遙感影像分割的輕量化網(wǎng)絡(luò)——LU-Net。本文在首先在網(wǎng)絡(luò)的跳躍連接部分添加注意力機制模塊，減少網(wǎng)絡(luò)的信息冗余，提高網(wǎng)絡(luò)的學(xué)習(xí)能力，其次，為了加快網(wǎng)絡(luò)計算速度，消耗較少資源，本文使用深度可分離卷積代替常規(guī)卷積以減少網(wǎng)絡(luò)參數(shù)量，實現(xiàn)網(wǎng)絡(luò)輕量化，在保證網(wǎng)絡(luò)對遙感影像分割精度的同時提升網(wǎng)絡(luò)的泛化能力。實驗結(jié)果表明，LU-Net的網(wǎng)絡(luò)模型參數(shù)量明顯減少，同時分割精度相比于U-Net網(wǎng)絡(luò)有一定的提升。但是整個網(wǎng)絡(luò)結(jié)構(gòu)尚有很大的改進空間，在一些更為細致的分割目標上還存在問題，未來重點將對網(wǎng)絡(luò)架構(gòu)進行優(yōu)化，進一步提升分割精度和速度。