GCAT-U-Net嵌入全局坐標注意力機制的遙感地塊分割網(wǎng)絡

蘇 耀，于 濂，周 偉

(1.北京師范大學 數(shù)學科學學院，北京 100875；2.北京師范大學 互聯(lián)網(wǎng)教育智能技術及應用國家工程實驗室，北京 100875)

0 引言

耕地的數(shù)量和質量是保持農(nóng)業(yè)可持續(xù)發(fā)展的關鍵，利用高分辨率的衛(wèi)星遙感影像[1]可以識別并獲取耕地區(qū)域，準確的耕地分布能夠為國家決策部門提供重要支撐。隨著遙感技術的迅速發(fā)展，現(xiàn)如今遙感圖像以及相關技術的應用越來越廣泛[2-4]，耕地面積的統(tǒng)計提取、農(nóng)作物識別以及地塊識別等圖像語義分割技術，對促進農(nóng)業(yè)發(fā)展有重要的科研意義和經(jīng)濟價值。

學者們針對遙感地塊語義分割這一實際問題進行了一系列的研究，提出了很多種方法。有基于邊緣、形態(tài)學、區(qū)域、隨機場等傳統(tǒng)圖像分割特征的方法，例如：使用形態(tài)學中自適應全局閾值配合方法[5]、高斯馬爾可夫隨機場結合支持向量機算法[6]等。很顯然，上述傳統(tǒng)語義分割方法，在特定規(guī)模的數(shù)據(jù)上有著良好的效果，但其依賴于專家知識、人工參數(shù)選取以及大量重復性實驗等先驗知識，對于大規(guī)模的數(shù)據(jù)來說，隨著特征復雜程度的提高，會有一定的限制，相較于深度學習方法，其在準確率、精度、以及效率上尚存在著差距。

在深度學習領域，卷積神經(jīng)網(wǎng)絡憑借其獨特的自主學習能力以及處理大數(shù)據(jù)集的優(yōu)勢，在語義分割中展現(xiàn)了強大的潛力。當前廣泛使用的語義分割網(wǎng)絡主要有：Long等人提出來的全連接層替代卷積層，保留圖像上下文空間特征，并且是圖像像素端到端預測的FCN網(wǎng)絡模型[7]；Badrinarayanan等人在繼承了FCN網(wǎng)絡模型的思想的同時，進一步提出了SegNet網(wǎng)絡模型，該模型去掉了全連接層并且在編碼器(Encoder)信息和解碼器(Decoder)信息之間采用直接連接的方式，保留了數(shù)據(jù)結構中大量有用的特征信息，使得網(wǎng)絡在訓練過程以及精準度上都有了提升[8]；Chaurasia等人同樣在基于編碼-解碼結構網(wǎng)絡上，通過改進特征融合方式，在解碼階段融合編碼階段的數(shù)據(jù)特征信息，提出了LinkNet網(wǎng)絡模型，獲得了更為精細的實驗效果[9];Ronneberger等人同樣在FCN的基礎上使用對稱的編碼器和解碼器以及添加跳躍連接提出了U-Net網(wǎng)絡模型，其主要意義在于解碼階段重復利用了編碼階段的數(shù)據(jù)的特征信息，因此對于數(shù)據(jù)特征的紋理信息能夠更好的利用[10];Oktay等人將注意力機制引入到了U-Net網(wǎng)絡中，其在編碼器和解碼器特征進行跳躍連接的地方，引入了一個門控制信號，旨在控制不同特征的重要性，對于U-Net網(wǎng)絡的檢測精度進行了提升[11]；Zhou等人在U-Net網(wǎng)絡中使用了嵌套密集跳躍連接來替代原來的跳躍連接,提出了U-Net++網(wǎng)絡模型，在減小了編碼階段特征圖和解碼階段特征圖的語義鴻溝的同時，增加了U-Net的網(wǎng)絡性能[12]。

相對于一般場景特征來說，遙感影像具有數(shù)據(jù)量大、范圍廣的特點[13]，其綜合反映了某一時段內(nèi)某一地區(qū)的各種地物的形態(tài)和分布，包括：地質、地貌、土壤、植被、水文、人工建筑物等，因此遙感影像存在紋理特征復雜、邊緣信息繁瑣、背景特征豐富的特點。隨著遙感影像空間分辨率的提高，在信息更加豐富的同時，帶來的還有更多的數(shù)據(jù)干擾的問題，例如：房屋、樹木等，其幾何形狀以及結構內(nèi)容具有同一性或結構性，給土地的細化分類，帶來了更多的挑戰(zhàn)。為了更好地處理遙感影像數(shù)據(jù)，本文在U-Net網(wǎng)絡結構中引入注意力機制。實驗結果表明注意力機制的加入，能夠有效提升語義分割的精確度以及地塊邊緣的清晰度。

本文的主要創(chuàng)新點如下：

1)針對地塊語義分割這一現(xiàn)實問題，結合網(wǎng)絡結構中通道以及數(shù)據(jù)位置等特征的研究，本文在U-Net的網(wǎng)絡架構基礎上嵌入通道注意力機制和坐標注意力機制，用于提高地塊分割網(wǎng)絡性能，證明了U-Net網(wǎng)絡在遙感地塊分割中的實用性，以及注意力機制的加入，能夠有效提升語義分割的精確度以及地塊邊緣的清晰度；

2)關注網(wǎng)絡特征提取中對于特征自身重要性以及特征位置信息的提取，既考慮全局信息，又考慮坐標信息，創(chuàng)新的提出綜合考慮全局信息以及其位置信息的全局坐標注意力機制，進一步提高了模型性能，相較于同類注意力機制的嵌入，提高了分割準確性，并且對于邊界的分割也更為清晰。

1 U-Net網(wǎng)絡體系結構及注意力機制

1.1 U-Net網(wǎng)絡體系結構

U-Net網(wǎng)絡是2015年Ronneberger等人提出來的用于醫(yī)學圖像處理的網(wǎng)絡，是圖像分割領域著名的深度學習網(wǎng)絡模型[10]。該模型主要使用卷積壓縮和擴展的編碼-解碼結構和跳級連接，實現(xiàn)了對語義信息以及圖像信息進行融合的特征提取。由于其對稱的兩個路徑形似U型結構而命名為“U-Net”。

U-Net網(wǎng)絡模型結構如圖1所示,該模型是一端到端的網(wǎng)絡模型，由左半邊的捕獲上下文信息的壓縮通道(Encoder)和右半邊的擴展通道(Decoder)以及連接壓縮通道和擴展通道的跳躍連接組成。從模型結構來分析，主要分為3個部分：下采樣，上采樣和跳躍連接。左半部分即Encoder，每個下采樣結構由兩個3×3的卷積層，卷積層后使用ReLU函數(shù)激活，然后使用2×2的步長為2的最大池化操作組成，每經(jīng)過一次下采樣，通道數(shù)翻倍；右半部分Decoder，每個上采樣結構由一個2×2的上采樣卷積層，每個卷積層后使用ReLU函數(shù)激活后與對應的Encoder層的輸出特征圖結果相加之后進行2個3×3的卷積層，最后進行ReLU函數(shù)激活組成，其中上采樣將特征通道的數(shù)量減半。在最后一層，使用1×1的卷積，將輸出映射到所需的類別數(shù)。網(wǎng)絡中的卷積皆采用valid的填充方式，主要是用來保證結果都是在沒有缺失的上下文特征中得到的，且網(wǎng)絡中通過中間的跳躍連接，將在網(wǎng)絡壓縮階段所產(chǎn)生的淺層次特征圖與擴張階段所產(chǎn)生的深層次特征圖相結合，根據(jù)所獲取的特征圖進行地塊語義的預測分割。

圖1 U-Net網(wǎng)絡體系結構

1.2 注意力機制

注意力模型在當下已經(jīng)成為神經(jīng)網(wǎng)絡中優(yōu)化網(wǎng)絡的一個重要研究方向，很多研究者都頗為關注[14-16]。在非大幅度增加模型復雜程度的基礎上，注意力機制通過參數(shù)調整，加強網(wǎng)絡對于數(shù)據(jù)中重要特征的關注度，抑制數(shù)據(jù)中的背景特征，以提高模型預測結果的分割精度，尤其對細節(jié)處的提升，有較為明顯的優(yōu)勢。

在遙感圖像中，地塊的分布是錯綜復雜的，不僅要考慮部分的遮擋，例如大樹、房屋等，還要考慮田間道路等細微處的分割，因此引入注意力機制，能夠有利于細化分割。本文提出了一種全局坐標注意力機制，對U-Net網(wǎng)絡進行了優(yōu)化改進。

1.2.1 通道注意力機制(SE, squeeze-and-excitation channel attention mechanism)

遙感圖像在U-Net網(wǎng)絡的卷積操作的過程中，不同的特征通道對于最后的圖像分割也會存在不同的影響，原有的U-Net網(wǎng)絡，是直接采用相加拼接的方式進行特征的融合，忽略了不同特征通道的權重，不利于在最后的分割結果中某些重要特征通道的信息增強。因此考慮特征通道之間的關系，提出了通道注意力機制[17]，該機制是通過對特征圖中各通道間對于輸出結果的影響的要性來進行的分析計算，這有利于增強特征圖中重要通道的影響，提高U-Net網(wǎng)絡對最終圖像分割的精準度。

如圖2所示，通道注意力機制是一種先壓縮再擴張的模型。具體來說，給定輸入特征X，假設原始特征圖的維度為H×W×C，其中H是高度(Height)，W是寬度(Width)，C是通道數(shù)(Channel)。壓縮部分是將H×W×C壓縮為1×1×C，相當于把H×W壓縮成一維，實際中一般使用全局平均池化來實現(xiàn)，并不使用其他的池化方式，因為每個通道的特征圖最后會池化為一個值，在這種情況下，全局平均池化更能代表其整體的特征。H×W壓縮成一維后，相當于這一維參數(shù)獲得了之前H×W全局的視野，感受區(qū)域更廣，將特征通道數(shù)據(jù)進行壓縮變成1×1×C后，加入一個FC全連接層(Fully Connected)，進行降維操作，其目的在于擴大感受野的同時，降低計算量。之后通過ReLU激活，再接一個FC全連接層完成升維操作，升維后的向量通過Sigmoid激活，變成C維向量，所代表的是每個通道的重要性。在得到不同通道的重要性大小后再乘(激勵)到之前的特征圖對應通道上。通道注意力機制有著復雜度低、新增參數(shù)和計算量小的優(yōu)勢。

圖2 通道注意力機制結構

1.2.2 坐標注意力機制(CAT,coordinate attention mechanism)

通道注意力機制僅僅考慮了卷積之后不同特征通道之間的權重分配，雖然它能夠有效反映通道間相關性，但卻忽視了位置信息的問題，因此應考慮在不同的通道特征圖中位置對于輸出結果的影響，坐標注意力機制可以將位置信息嵌入到通道注意力中，通過融入水平與垂直不同方向的注意力機制，以捕獲特征位置的依賴關系[18]。

所提位置注意力機制模塊的結構如圖3所示，相較于通道注意力機制，其將全局池化拆分成了兩個特征編碼操作，具體來說，給定輸入特征X，假設其維度為H×W×C，采用兩個池化核(H,1)、(1,W)對每個通道沿著水平與垂直坐標進行編碼，描述如下：

圖3 坐標注意力機制結構

(1)

(2)

通過這兩個變換可以沿著兩個空間方向集成特征，并生成與該方向相關的特征圖。這兩種變換使得所提注意力模塊可以更好地捕獲位置依賴性，有助于進行更精確的目標定位。結合上一步所提取的特征，首先對其進行拼接，這一步是為了保障兩個方向的輸出擁有一致的量綱，將拼接之后的特征數(shù)據(jù)送入到共享1×1卷積F1并得到:

f=δ(F1([zh,zw]))

(3)

最后將f沿著空間維度拆分為兩個獨立張量fh∈RR/r×H，fw∈RC/r×W，采并用兩個額外的1×1卷積Fh，F(xiàn)w對其進行分離為和X相同維度的張量。

gh=σ(Fh(fh))

(4)

gw=σ(Fw(fw))

(5)

接下來，對輸出進行擴展用以作為注意力權重，并作用于輸入得到該注意力模塊的最后輸出：

(6)

位置注意力機制本質是能夠在卷積后的通道圖上，結合其所處的位置信息，提取所有像素的顯著特征。對于輸出的特征圖來說，其建立了特征像素和位置之間的關聯(lián)信息，在對于邊界點以及細節(jié)處等微小的地方，網(wǎng)絡的分割能力有顯著提高。

1.2.3 全局坐標注意力機制(GCAT, global coordinate attention mechanism)

上述兩個注意力機制，分別考慮了卷積之后的特征圖不同通道之間以及各個通道特征圖中不同位置之間的關系之后提出的注意力機制。在此基礎之上，本文不僅考慮不同位置之間的影響，同時還考慮全局信息對于輸出特征圖的影響，提出了全局坐標注意力機制，將進一步關注特征圖中每一特征自身對于整體特征的重要性及其所處位置信息對于輸出結果的重要性，這對于地塊語義分割來說能夠提高其特征選取效率，細化選取有效的地塊語義分割特征。

圖4 全局坐標注意力機制結構

所提出的注意力機制模塊如圖4所示，主要分為兩個部分：第一部分同于上述坐標注意力機制，通過變換沿著水平與垂直兩個空間方向集成特征，生成方向相關特征圖。

(7)

第二部分融入特征圖自身對于輸出的影響，將輸入特征圖送入到共享1×1卷積，之后進行標準化操作，最后采用額外的1×1卷積以及Sigmoid激活，輸出結果為與X相同維度的張量。

yn=σ(F1(σ(F1(xc(i,j)))))

(8)

該注意力機制模塊最終輸出為與輸入得到與X相同維度的張量Y。

Y=yn+yc

(9)

經(jīng)過這兩種變換使得所提全局注意力機制模塊不僅可以捕獲到位置依賴性，而且考慮其自身對于輸出的作用，在有助于進行更精確的目標定位同時，細化輸出，加強了重要特征的提取。

2 模型構建

2.1 模型結構

本文對U-Net網(wǎng)絡進行了改進，改進后的網(wǎng)絡設計如圖5所示。

圖5 注意力機制嵌入位置

本文在一個標準的U-Net架構上，嵌入不同的注意力機制。綜合考量U-Net的網(wǎng)絡結構，為充分利用其對于圖像的多個尺度的特征提取，因此考慮跳躍連接之后對結合了網(wǎng)絡壓縮階段所產(chǎn)生的淺層次特征圖與擴張階段所產(chǎn)生的深層次特征圖的特征進行注意力機制改進。這樣做，不僅有利于改進模型對于粗略的特征圖的上下文信息提取，有利于突出顯示最終需要的特征類別和位置，并且對于感受野的捕捉有促進作用。從結果輸出來分析，這4個位置進行注意力機制嵌入，也有利于其突出跳躍連接傳遞的顯著特征，相較于壓縮階段嵌入來說，更加貼近輸出特征圖，對于結果的改進更為直接。此外，相關注意力機制的嵌入可以讓網(wǎng)絡更加關注其卷積層間的信息、特征圖的位置信息以及自身信息。

結合圖5的注意力機制嵌入方式以及SE通道注意力機制、CAT坐標注意力機制、GCAT全局坐標注意力機制，我們設計了SE-U-Net 通道注意力機制嵌入網(wǎng)絡、CAT-U-Net 坐標注意力機制嵌入網(wǎng)以及GCAT-U-Net全局坐標注意力機制嵌入網(wǎng)絡。

2.2 參數(shù)設置

在訓練過程中，每次實驗參數(shù)設置相同，batch size每批次輸入大小為8，訓練迭代次數(shù)為100次，訓練圖像每張大小為480像素*480像素，實驗使用 Adam 優(yōu)化算法，使用 Adam中默認參數(shù)[19]，其中學習率設為 0.001，指數(shù)衰減率0.9，調整學習率為間隔調整學習率(Step LR)。

2.3 損失函數(shù)

將損失函數(shù)設計為CELoss和DiceLoss二者的加權和，考慮Dice系數(shù)為評價指標引導模型進行更好的訓練。

損失函數(shù)：

loss=loss(xi,yi)+s

(10)

其中：xi表示樣本i的預測概率；yi表示樣本i的真實標簽，取值為0或1；wi表示樣本i的權重：

loss(xi,yi)=-wi[yilogxi+(1-yi)log(1-xi)]

(11)

Dice系數(shù)差異函數(shù)(Dice loss)，是一種集合相似度度量函數(shù)，通常用于計算兩個樣本的相似度(值范圍為[0,1])，公式如下:

(12)

|X|和|Y|分別表示X圖片真實標注的標簽和Y網(wǎng)絡預測的結果標簽的元素個數(shù)。其中，分子中的系數(shù)2，是因為分母存在重復計算X和Y之間的共同元素的原因。

2.4 評價指標

本文主要研究的是遙感地塊語義分割，因此使用語義分割中普遍使用的準確率度量：像素準確率(PA，pixel accuracy)、平均像素準確率(MPA， mean pixel accuracy)、平均IOU(MIOU，mean intersection over union)和加權平均IOU(FWIoU，frequency weighted intersection over union)。

3 實驗結果與分析

3.1 數(shù)據(jù)獲取與處理

GID數(shù)據(jù)集[20]是武漢大學的開源高分影像數(shù)據(jù)集，它是利用高分2號(GF-2)衛(wèi)星影像構建的大規(guī)模土地覆蓋數(shù)據(jù)集，該數(shù)據(jù)集覆蓋范圍大，分布范圍廣，空間分辨率高，優(yōu)于先前的土地覆蓋數(shù)據(jù)集。因為本實驗專注于地塊提取，所以利用其精細分類集，精細分類集包含有：工業(yè)用地、城市住宅、農(nóng)村住宅、交通用地、灌溉地、水田、旱地、河、湖、池塘等15個類別。

在精細分類遙感數(shù)據(jù)集中，挑選了一副土地占有率為56.7%的7 200像素*6 800像素的高分辨率遙感圖像。通過對標注數(shù)據(jù)的二值化，得到訓練所需的地面真值標簽，其中1為地塊類別，0為其他類別。隨著所設計的網(wǎng)絡的深度、寬度的不斷增加，網(wǎng)絡模型的參數(shù)量都是數(shù)以百計的，因此需要大量的圖像數(shù)據(jù)進行訓練以得到更好的模型，而實際情況中數(shù)據(jù)并沒有那么多，為了更好的提取圖像特征，使用以下方法對圖像訓練集進行豐富。在獲得 batch 數(shù)據(jù)之后，對這個batch的數(shù)據(jù)進行了數(shù)據(jù)增強，主要方法手段有：旋轉90°、旋轉180°、旋轉270°、翻轉、光照調整、模糊操作、增加噪聲等方式，將訓練數(shù)據(jù)集擴充到3 000張，其中訓練集與測試集比例為7∶3。一方面，它增加了訓練的數(shù)據(jù)量，提高了模型的泛化能力；另一方面，它增加噪聲數(shù)據(jù)，提升了模型的魯棒性。

3.2 結果與討論

本節(jié)討論U-Net網(wǎng)絡在嵌入不同注意力機制，在GID實驗數(shù)據(jù)集上的實驗結果和分析。

實驗所有模型的輸入圖像尺寸為480像素*480像素,輸出圖像為 480像素*480像素大小的預測標簽圖。部分分割結果對比如圖6，依次為：原圖、Ground Truth以及U-Net、SE-U-Net、CAT-U-Net和GCAT-U-Net的預測結果。

圖6 網(wǎng)絡在 GID測試集上分割效果圖

其中，SE-U-Net、CAT-U-Net分別為：單獨嵌入通道注意力機制、坐標注意機制的U-Net網(wǎng)絡，GCAT-U-Net為本文設計的針對問題研究提出來的全局坐標注意力機制改進網(wǎng)絡。所有對比網(wǎng)路在相同環(huán)境下運行，且損失函數(shù)、數(shù)據(jù)預處理以及參數(shù)設置等方面均保持一致。

從預測圖中可以看出，U-Net模型的預測結果與真實標注label相差較大，而將通道注意力機制嵌入之后的SE-U-Net模型預測的計算結果則有了明顯提升，進一步嵌入坐標注意力機制的CAT-U-Net模型預測結果在SE-U-Net的基礎上有了更進一步的提高。相較于前兩種注意力機制來說，本文提出的全局坐標注意力機制嵌入的GCAT-U-Net模型則對于預測結果的精確度提升效果最好。如圖8，在每個預測圖的圓框內(nèi)，只有本文設計的GCAT-U-Net模型的預測結果分類較為準確，其余模型，有明顯的將地塊類別錯分為其余類別的問題。另外，從圖8中的每個預測圖的方框中可以看出，GCAT-U-Net模型的預測結果相較于CAT-U-Net模型的預測結果邊界分割更清晰，分類更為準確；而SE-U-Net模型的預測結果，有明顯的將地塊類別錯分為其余類別的問題。由此說明注意力機制可以明顯提高遙感地塊語義分割與提取的精度，所得到的分割邊界也更為清晰。

不同注意力機制嵌入的U-Net語義分割網(wǎng)絡模型在驗證數(shù)據(jù)集上的基于分割準確率評價指標的結果分析如表1所示。通過對表進行分析，基于語義分割評價指標PA，與U-Net進行對比，SE-U-Net提升了1.43%，CAT-U-Net提升了1.83% ，GCAT-U-Net提升了2.05%；而在評價指標MIoU上，SE-U-Net提升了2.58%，CAT-U-Net提升了3.35% ，GCAT-U-Net提升了3.72%，可以發(fā)現(xiàn)，本文所提出的全局坐標注意力機制，在各個評價指標上，相較于其他注意力機制來說取得了顯著的提升，對于圖像的分割，也取得了較高的分割精度。

表1 模型在GID測試集上的比較

4 結束語

本文是關注遙感地塊語義分割中對于U-NET網(wǎng)絡的注意力機制改進，旨在提高細節(jié)處遙感圖像的分割，提高分割的準確率。針對U-Net網(wǎng)絡的特性，在前人研究的通道注意力機制以及坐標注意力機制的基礎上，創(chuàng)新性的提出了全局坐標注意力機制，提高了遙感地塊語義分割的準確度。全局坐標注意力機制改進的U-Net網(wǎng)絡模型，相比較于單一嵌入通道注意力機制、坐標注意力機制的U-Net網(wǎng)絡，在武漢大學GID數(shù)據(jù)集上，從不同的指標來看，都有了很大的改進，尤其對于一些原始網(wǎng)絡中的錯分、漏分和邊緣粗糙等問題來說，輸出結果均有所改善。但還有很多可提升的空間，例如：增加網(wǎng)絡的泛化性以及魯棒性；降低模型復雜程度、參數(shù)數(shù)量、運行時間等。在接下來的研究中，可以考慮多尺度模型設計，以及其他改進方式，例如transform等，在利用好深度學習網(wǎng)絡模型的同時，嘗試融入當下理論體系相對較完善的傳統(tǒng)語義分割理論，增加模型的可解釋性，更深層次的增進遙感地塊語義分割的探索與研究。