多注意力機制網絡衛星圖像分割算法

丁 成，翁理國，，夏 旻，崔逸塵，錢俊豪，劉 佳

1.南京信息工程大學 江蘇省大數據分析技術重點實驗室，南京210044

2.南京信息工程大學 江蘇省大氣環境與裝備技術協同創新中心，南京210044

湖泊蘊藏著豐富的自然資源，并且是可更新資源[1]，合理的開發可以給人們帶來豐富的資源。近些年湖泊面積縮小的問題比較突兀，對湖泊資源監測，以保護湖泊資源的完整。將遙感影像技術應用在湖泊分割中，可以實現高精度的湖泊資源監測。

在衛星圖像的分割領域中，湖泊分割已經有了相應的研究，大致可以分為兩大類：傳統方法和深度學習方法。

傳統方法通常是指水體指數閾值分割，王碧晴等[2]提出了一種基于歸一化水體指數和圖像分割技術相結合的高原湖泊提取方法，充分利用了圖像的光譜信息和空間結構信息，彌補了單一的水體指數方法產生的錯分、漏分、細碎對象較多等現象；Guo 等[3]提出了一種新的加權歸一化差分水體指數，應用于湖泊的提取，可以從TM圖像中提取高精度水體；Elsahabi等[4]探索了一種AHDL 水面提取技術，將不同水體進行分類，實現了不同水面提取技術。傳統方法能夠有效地提取出水體表面信息，但是在高背景復雜度情況下，提取到的水體會存在噪點和誤分的問題。

深度學習分割方法是由Long等[5]提出全卷積（FCN）分割網絡興起的，實現了像素級別的分割。U-Net是由Ronneberger等[6]提出的一種繼承于FCN的改進方法，是比FCN更精確的語義分割網絡。Zhang等[7]將深度學習應用在遙感圖像分割中，采用卷積網絡提取遙感圖像的光譜和紋理特征，深層卷積網絡能夠提取到遙感圖像更多的特征；許玥等[8]提出了一種基于改進的U-Net 網絡架構與全連接條件隨機場的圖像分割算法，能夠提取高背景復雜度的遙感圖像特征；蘇健民等[9]提出的基于UNet 的高分辨率遙感圖像語義分割方法，實現了端到端的像素級語義分割。深度學習語義分割方法[10]，通過深層卷積能夠提取高背景復雜度遙感圖像的語義信息特征，減少了分割噪點，但是存在著半島、小島和湖泊細小支流的邊緣信息提取丟失問題。

針對深度學習的語義分割法，在衛星圖像分割中對半島、小島、湖泊細小支流的邊緣信息提取丟失問題，本文提出了多注意力機制（MA-Net）網絡衛星圖像分割算法。該分割模型框架是端到端的對稱結構，由編碼和解碼兩部分組成。編碼部分使用改進的VGG16[11]網絡提取衛星圖像的紋理特征，解碼部分引入全局平均池化注意力融合機制（GPA），融合編碼層特征，得到豐富語義信息的特征圖，在網絡的輸出端加入注意力機制模塊（Attention），注重湖泊的邊緣信息特征提取，幫助提取出半島、小島和湖泊細小支流。

經過實驗，該模型能夠有效提取半島、小島、湖泊細小支流的邊緣信息，并且分割指標優于經典分割模型。

1 多注意力機制網絡分割模型

1.1 分割模型框架

本文提出的MA-Net衛星圖像分割算法的框架是端到端的對稱式結構，由編碼和解碼兩個部分組成，分割模型框架如圖1所示。

圖1 多注意力機制分割模型框架

左半部分編碼，采用改進的VGG16網絡提取特征，由5個Block組成的深度卷積網絡可以有效地提取衛星圖像的紋理特征。右半部分解碼，設置了4 次上采樣，經過4次反卷積上采樣[12]（Upsample）可以將特征圖的分辨率還原成輸入圖像大小。每次上采樣之后，高等級特征圖（網絡的上采樣層）跳躍連接相同尺寸的低等級特征圖（網絡的前4個Block層），使用GPA機制融合，并且融合之后進行卷積加深處理。經過4次特征圖的融合，使得提取的語義信息更加豐富。最后在網絡的輸出端加入Attention 模塊，對湖泊邊緣信息提取更充分，能夠有效分割出半島、小島和湖泊細小支流。

1.2 改進的VGG16網絡

改進的VGG16網絡是借鑒了批量標準化[13]和Relu激活[14]的思路，在每個滑動卷積[11]之后依次添加批量標準化和Relu激活。

滑動卷積用于特征提取，在網絡的特征圖上從左至右、自上而下依次滑動窗口，對特征圖進行特征提取。設置滑動卷積的卷積核為3×3、步長為1。前向傳播見公式（1）：

式中，Xl、Yl、Wl均是矩陣向量，Xl表示第l 層輸入，Wl表示第l 層權重，Conv2D 表示2維卷積，Yl表示第l 層輸出。

批量標準化（BN）通常設置在滑動卷積之后，原因是在神經網絡訓練過程中，經過滑動卷積特征提取，網絡參數分布會發生變化。隨著網絡層次的加深，參數分布的影響會被放大，使網絡訓練過程慢。批量標準化將每層網絡參數標準化，使得每層的訓練參數獲得相同分布，可以加快訓練過程。在神經網絡反向傳播時梯度幾乎為0的神經元，批量標準化可以將這些特征重新建立分布，使其重新獲得梯度，防止梯度消失的問題。復合函數計算見公式（2）：

式中，m 表示網絡一次訓練的批量數，xi表示一個批量中第i 個特征圖，μβ表示一個批量中特征圖的平均值，表示一個批量中特征圖的方差，表示標準化的值，γ 和β 是可學習得到的參數，最終批量標準化的輸出服從均值β、方差γ2的正態分布，yi是得到的批量標準化的輸出。

Relu激活函數通常設置在BN 層之后，對特征進行激活，保留有效的特征和抑制無用特征，一定程度上減少了網絡參數量。Relu激活函數是非線性函數，對輸入小于等于0 的值，則置0 抑制；對輸入大于等于0 的值，則?(x)=x 激活該值。使一部分神經元輸出為0，得到的網絡具有稀疏性，可以使網絡的表達能力更強。前向傳播見公式（3）：

Block塊的前向傳播見公式（4）：

式中，xl-1表示第l-1 層的輸出，同時也是第l 層的輸入，? 表示滑動卷積，? 表示批量標準化層，σ 表示Relu激活函數，yl表示Block的輸出。

前4 個Block 塊之后都會進行最大池化[15]，最大池化能夠消除非極大值，降低計算復雜度。最大池化層采用的卷積核大小為2×2、步長為2。每次最大池化會將特征圖縮小一倍。輸入512×512×3 大小的圖像，經過4次最大池化后，Block5 輸出32×32×512 大小的特征圖，尺寸為原圖像的1/16。

改進后的VGG16網絡相比原VGG16網絡，減少了16 000的參數量，可以縮減網絡訓練時間。批量標準化的引入，解決了網絡中間層參數分布變化的問題，使網絡中間層參數服從于相同的分布，有利于網絡訓練和收斂。批量標準化的示意圖見圖2，圖2（a）表示未經過批量標準化的參數分布，分布不集中，圖2（b）表示經過批量標準化的參數分布，經過批量標準化之后，參數分布比較集中，有利于網絡的訓練。Relu 激活函數的引入，會將一些參數置0，使網絡具有稀疏性和更好的表達能力。

1.3 解碼結構

圖2 批量標準化的參數對比

解碼部分是在Block5的輸出端，由于編碼網絡將輸入圖像轉化成原圖像的1/16，所以解碼網絡需要上采樣還原特征圖。上采樣設置反卷積的卷積核為2×2、步長為2，每次反卷積會將特征圖還原為兩倍大。設置了4次上采樣，逐層還原圖像信息，最終使得輸出圖像與輸入圖像大小相一致。上采樣之后使用GPA融合機制跳躍連接編碼層相同尺寸的特征圖進行融合。GPA 融合機制將高等級特征圖的全局信息壓縮成一個實數，用包含高等級特征圖全局感受野的實數，指導低等級特征圖特征學習，再將高、低等級特征圖融合，融合特征后使用卷積核為3×3、步長為1 滑動卷積加深處理，得到高分辨率的湖泊分割特征圖。最后在網絡的輸出端加入Attention 模塊，使網絡參數注重湖泊的邊緣信息提取，幫助分割出半島、小島和湖泊細小支流。

1.3.1 全局平均池化注意力（GPA）融合機制

GPA 融合機制主要啟發于Hu 等[16]提出的Squeezeand-excitation-networks，在通道維度上添加全局注意力信息。分割網絡具有共同點，都是由編碼和解碼兩部分組成。編碼部分用于提取圖像的紋理特征，解碼部分用于還原特征圖。如果解碼部分的高等級特征圖直接上采樣還原，會丟失很多細節特征。為了保留更多的細節特征，將高等級特征圖與低等級特征圖融合，得到豐富的語義信息。所以本文提出的GPA融合機制是添加在高等級特征和低等級特征之間[17]。融合過程中高等級特征圖在通道維度上具有注意力信息，用注意力信息指導低等級特征圖與高等級特征圖融合。GPA 特征融合之后得到高分辨率的特征圖，比高等級特征圖和低等級特征圖直接融合得到的特征圖所具有的特征更豐富。

在分割網絡中，低等級特征圖包含了豐富的位置信息，而高等級特征圖更多的是類別信息。GPA具體實現過程是將高等級特征圖在通道維度上全局平均池化，二維特征圖會被壓縮變成一個實數，這個實數具有高等級特征圖全局感受野。進而把該值作為注意力信息與低等級特征圖相乘，指導低等級特征圖中的位置信息還原類別，得到包含類別信息的低等級特征圖。最后將生成的低等級特征圖和高等級特征圖進行相加特征融合，得到語義信息更豐富的特征圖。包含豐富語義信息的特征圖，在湖泊分割中，對像素級別的分類精確度更高，可以準確地分類出湖泊和陸地，減少了漏分和誤分。

GPA 融合機制的結構如圖3 所示。首先將高等級的特征圖(H)的每個通道都進行全局平均池化，得到1×1×n（n 為通道數）大小的類別信息特征圖(f1)，f1特征圖具有H 特征圖各通道上類別信息的全局感受野。計算見公式（5）：

式中，f1 是全局平均池化的輸出，m 表示特征圖的尺寸，aij表示特征圖上橫坐標i、縱坐標j 的值。

圖3 全局平均池化注意力融合機制

然后在f1 之后連接一個全連接層，全連接計算見公式（6），通過參數w 來為每個特征通道生成權重，參數w 被學習用來顯式地建模特征通道間的相關性。在w×f1 之后設置一個Sigmoid激活函數(σ)，將特征映射到0和1之間，用作表示通道重要程度，激活函數的輸出為f2。

接著將經過特征選擇后的f2 特征圖，通過乘法逐通道加權到低等級特征圖(L)上，完成在通道維度上對原始L 特征圖的重標定，使得L 特征圖也具備了H 特征圖類別信息的全局感受野，得到豐富語義信息的f3特征圖。計算見公式（7）：

最后將f3 特征圖與H 特征圖進行特征融合，采用特征圖相加的方法（計算見公式（8）），得到了具有豐富語義信息的特征圖f4。

本文在高等級特征圖和具有相同大小的低等級特征圖之間連接GPA融合機制，網絡通過4層不同尺度的注意力機制特征融合，最后輸出的特征圖包含了豐富的語義信息，可以幫助恢復到高分辨率空間位置信息和類別信息，對湖泊的整體分割準確率有一定提升，減少了湖泊漏分和誤分。

1.3.2 基于注意力機制（Attention）的邊緣信息提取

雖然經過了4 層不同尺度的GPA 特征融合，但是半島、小島和湖泊細小支流不能被有效提取出來。由Li 等[17]提出的Pyramid attention network for semantic segmentation 啟發，在網絡最后一層特征圖后引入了注意力機制模塊，用于提取半島、小島和湖泊的細小支流[18]。

Attention模塊結構見圖4。網絡的最后一層特征圖(Q)包含了豐富的位置和類別語義信息，對Q 特征圖在通道維度上進行Softmax[19]回歸，Softmax回歸的功能是將特征值歸一化成概率值，計算得到輸出P。

圖4 注意力機制模塊結構

本文中對512×512×2 大小的Q 特征圖在2 維的通道維度上進行Softmax 回歸，計算每個通道的概率值。計算過程見公式（9）：

式中，n 為所求概率的類別數（即通道數，本文設置n=2），gi表示第i 個通道特征圖的數值，P(Si)為求得的概率值。

將Softmax 回歸得到的輸出P(Si)作為注意力信息與原特征圖Q 對應相乘（見公式（10）），最后得到包含概率置信度的特征圖f 用于網絡最后的輸出。Attention模塊對概率值較大位置的特征值會增加特征置信度，對概率值較小位置的特征值會產生抑制作用（如該特征值的P(Si)概率值無限接近于1，則會保留該特征值；若該特征值的P(Si)概率值無限接近于0，則會對該特征值產生抑制）。

在湖泊分割中，區分湖泊和陸地主要是在湖泊的邊緣處。在網絡最后一個特征圖加入了Attention模塊，會對網絡中的權重參數產生變化。網絡學習的特征會更多地將權重分配在湖泊的邊緣，湖泊邊緣特征用于判斷屬于湖泊還是陸地。圖5是對網絡權重的熱圖可視化，對比了加入Attention 和未加入Attention 對權重分配的影響。其中圖5（a）顯示的是未加入Attention的熱圖，在處理湖泊邊緣信息上，黃色注意力信息較少，表示權重分配少；圖5（b）顯示的是加入了Attention的熱圖，在湖泊和陸地的邊界處黃色注意力信息明顯增多，表示網絡較多的注意力在湖泊的邊緣，更有益于細致分割湖泊。

圖5 注意力信息權重熱圖可視化對比

2 實驗分析

2.1 數據集與實驗參數

本次實驗的數據集來源于資源衛星1號，下載了自2010年至2018年包含湖泊的衛星云圖，選取無云遮擋、薄云遮擋、陸地積雪和冰面覆蓋的衛星圖總共2 010張。首先在原圖上裁剪出分辨率為512×512 大小的湖泊圖片，然后利用Labelme工具制作分割標簽圖，生成單通道的標簽圖片（見圖6），白色表示湖泊，黑色表示陸地。

圖6 數據集標簽

由于資源衛星數據有限，在制作完標簽后進行了數據增強。設置了隨機角度旋轉、隨機水平和上下平移、縮放圖片等參數，共生成3 890張圖片用于訓練，200張圖片用于評估，200張圖片用于測試。

本文實驗所涉及的代碼均是基于Keras 實現的，使用顯卡GTX 1080ti加速網絡訓練。采用了隨機梯度下降優化器，以0.001的學習速率迭代60次后收斂。

2.2 評估指標

因為本文中是二分類，所以使用的是二分類比較有代表性的二值交叉熵[20]作為網絡訓練優化的損失函數。公式（11）中yi表示真實值，y?i表示預測值。

本文選取召回率(Recall)和平均交并比(Miou)作為評價指標來衡量分割性能。

召回率是指模型正確預測的正樣本占數據集中所有正樣本的比例。計算見公式（12）：

式中，TP 表示實際為正樣本預測為正樣本，FN 表示實際為正樣本預測負樣本。

平均交并比是衡量圖像分割精度的重要指標。交并比是計算真實集合和預測集合的交集與并集之比。在每個類上計算交并比，然后求和取平均值，得到平均交并比。計算見公式（13）：

式中，k 表示類別數，targeti表示類別i 真實集合，predicti表示類別i 預測集合。

2.3 實驗仿真對比

本文實驗對比，選用了FCN_8S、U-Net 兩個網絡。經過實驗，本文所提出的MA-Net算法可以實現高分辨率的湖泊分割，彌補了其他深度學習算法對湖泊邊緣信息提取丟失問題。為了證明本文提出的GPA融合機制和Attention模塊的有效性，進行了消融實驗。將Attention模塊單獨加入網絡的模型命名為MA-Net1；將GPA 融合機制單獨加入網絡的模型命名為MA-Net2；將GPA融合機制和Attention 模塊均引入網絡的模型命名為MA-Net。分割效果如圖7 所示，其中（a）為采集的原始衛星圖像，（b）為原始衛星圖像所對應的標簽，（c）為FCN_8S的實驗效果圖，（d）為U-Net的實驗效果圖，（e）為MA-Net1 的實驗效果圖，（f）為MA-Net2 的實驗效果圖，（g）為MA-Net的實驗效果圖。

圖7 不同網絡分割效果

由圖7 中可以看出，FCN_8S 網絡分割的湖泊和陸地誤分較多，如第一行的半島、第二行的小島都被誤分為湖泊，第三行的細小支流被誤分為陸地。原因是FCN_8S 網絡的上采樣，直接將融合過的特征圖8 倍上采樣還原成輸入圖像大小，會使很多特征信息丟失，導致網絡表達能力較弱。U-Net網絡分割效果相比FCN_8S網絡有所提升，通過逐層的2倍上采樣還原特征圖到輸入圖像大小，在上采樣過程中，跳躍連接相同尺寸的特征圖，進行特征融合。由于上采樣倍數小，特征保留比較豐富，對第一行的半島和第二行的小島能分割出一小部分，第三行的內湖的輪廓基本分割出來。MA-Net1對湖泊邊緣特征注意力增多，有利于半島、小島和細小支流的分割。第一行的半島能基本分割出來，第二行的小島比U-Net分割完整一些，第三行的細小支流能夠提取出來。MA-Net2 通過GPA 融合機制融合高、低等級特征圖得到豐富的語義信息，使第一行的半島和第二行的小島能夠基本提取出來。MA-Net 結合了GPA 融合特征得到豐富的語義信息和Attention 模塊對湖泊邊緣特征提取充分，可以將半島和小島分割精細，湖泊細小支流也可以精確分割出來。

在真實湖泊分割應用場景下，會存在如云遮擋、陸地積雪和冰面覆蓋等復雜場景。本文設置了類似復雜場景用于測試。在復雜場景下的湖泊分割效果見圖7中的第四行和第五行，第四行的圖（a）是采集的陸地積雪和薄云遮擋的衛星圖像，第五行的圖（a）是采集的冰面覆蓋的衛星圖像。由分割效果圖看出，第四行陸地積雪，在FCN_8S 和U-Net 網絡中會存在大面積誤判為湖泊的情況，MA-Net1、MA-Net2和MA-Net三個網絡的陸地積雪分割噪點逐漸降低，MA-Net網絡幾乎沒有噪點；薄云遮擋部分，所有的模型都能夠分割準確。第五行冰面覆蓋，FCN_8S網絡的部分陸地會被誤分為湖泊，湖泊的分割也存在著噪點。U-Net 網絡湖泊輪廓部分較FCN_8S 網絡有改善，但是湖泊的分割噪點較多。MA-Net1和MA-Net2網絡能夠降低湖泊分割的噪點，但是與本文提出的MA-Net網絡相比，MA-Net分割效果更好，MA-Net幾乎沒有噪點。由此可見本文提出的MA-Net衛星圖像分割方法，在復雜場景下具有抗干擾性，能夠達到理想的分割效果。

經過對比測試，本文提出的MA-Net 衛星圖像分割算法，在分割指標上召回率達到了98.56%、平均交并比達到了96.52%。分割指標均優于現有算法，相比于FCN_8S 召回率提升了2.91 個百分點、平均交并比提升了4 個百分點；相比于U-Net 召回率提升了2.17 個百分點、平均交并比提升了2.32個百分點。具體實驗對比結果見表1。其中MA-Net3是在MA-Net網絡基礎上將編碼部分替換為原始VGG16 網絡，取得了98.21%的召回率和96.13%的平均交并比，分割指標略低于改進的VGG16 編碼網絡，驗證了改進的VGG16 網絡特征提取效果會有提升。

表1 實驗結果對比 %

本文實現了GPA 融合機制的數量對分割指標影響的量化分析。具體實驗結果見表2。整個網絡中設置了4 次上采樣，表中的GPA 個數1 是指第1 次上采樣后加入GPA，GPA 個數2 是指第1 次和第2 次上采樣后加入GPA，GPA 個數3 和4 依此類推。由表2 的實驗數據結果得，GPA融合機制的個數越多，網絡性能越好。4層不同尺度的GPA融合機制，相比單個GPA融合機制，平均交并比提升了1.06個百分點。

表2 GPA融合機制數量對分割指標的影響%

2.4 模型通用性測試

City Scapes數據集[21]是由奔馳主推，提供在駕駛領域進行圖像分割的數據集。本文為了驗證提出的MANet 分割模型通用性，在該數據集上進行了驗證。同時選用FCN_8S、U-Net網絡與本文所提出的MA-Net作對比實驗。經過實驗，本文所提出的MA-Net平均交并比達到了62.67%，優于FCN_8S 和U-Net 分割模型，驗證了本文提出的分割模型具有通用性。City Scapes 數據集測試結果見表3。

表3 City Scapes數據集測試結果 %

3 結語

本文針對深度學習的語義分割法，在衛星圖像分割中對半島、小島、湖泊細小支流的邊緣信息提取丟失問題，提出了多注意力機制網絡衛星圖像分割算法，彌補了邊緣信息提取丟失問題。實驗結果表明，提出的MA-Net利用GPA融合機制，首先將高等級特征圖的全局信息壓縮成一個實數，利用具有全局感受野的實數指導低等級特征參數學習，接著通過高、低等級特征圖的融合，使得特征圖的語義信息更加豐富，最后在網絡的輸出端加入了Attention模塊，使得湖泊邊緣信息提取充分，有效分割出半島、小島和湖泊細小支流，但是邊緣拐角細節部分的分割有待提升。利用深度學習進行遙感衛星圖像的湖泊分割還處于初始階段，仍然有一些不足，有待進一步改進。主要有以下方面：（1）湖泊分割精度上還有待提升，對湖泊邊緣信息的分割還可以更精細；（2）本文主要采集的是少云、無云遮擋的衛星圖像數據，場景復雜度不高。因此接下來的研究中，需要增加對以上問題改進。針對湖泊分割精度不是非常高，分析原因可能是數據樣本不夠多、網絡輸入圖像尺寸不夠大，導致網絡學習的特征不豐富，通過增加衛星圖像樣本數量和采用1 024×1 024 大尺寸代替512×512 輸入網絡進行實驗，以便提高湖泊衛星圖像分割精度；對樣本的場景復雜度來說，可以增加濃云遮擋湖泊、多背景的實驗數據，以提升算法的抗干擾能力。