融合兩種空間光譜分辨率影像的語義分割網絡

盧儒，范沖

(中南大學 地球科學與信息物理學院，長沙 410083)

0 引言

遙感圖像的語義分割是目前遙感領域的研究熱點之一，其在地物分類信息方面的準確可靠性能合理規劃土地利用布局，輔助政府決策。遙感影像分類是采用某種特定的算法提取和分析影像中的特征，進而實現圖像在像素級別的地類識別。隨著衛星遙感技術的快速發展，遙感影像逐漸呈現高空間、時間、光譜分辨率的特點，處理和解譯遙感影像的方法隨之快速發展。基于計算機模式識別的傳統遙感圖像分類算法已較為成熟且得到了廣泛的應用，例如，監督分類算法中最大似然法[1]、支持向量機[2](support vector machines，SVM)、決策樹[3]等，非監督分類算法中的K-means均值算法[4]、迭代自組織的數據分析法[5](iterative selforganizing data analysis techniques algorithm，ISODATA)等。但這些淺層學習算法的計算單元較少，學習和表達特征的能力不強，導致最終分類結果的可靠性較低。

目前，深度學習在圖像識別領域取得了突破性的進展，尤其是在圖像語義分割領域較傳統算法更具優勢。2012年，著名卷積神經網絡模型AlexNet[6]以遠優于支持向量機的性能，奪得了ImageNet圖像識別比賽的冠軍。之后，卷積神經網絡在圖像分類領域迅速崛起，VggNet、ResNet[7]、Xception[8]、MobileNet、shuffleNet[9]等一系列分類性能更佳的卷積神經網絡模型相繼問世。2014年，Long 等[10]提出了全卷積神經網絡(fully convolutional networks，FCN)，去除了傳統卷積神經網絡(convolutional neural networks，CNN)分類網絡的全連接層，揭開了全卷積神經網絡進行像素級圖像分類的序幕。同年，Chen 等[11]提出了 DeepLab V1，結合深度卷積神經網絡，采用空洞卷積的方式擴大卷積核的感受野，大大提高了圖像的分割性能，并通過條件隨機場(conditional random field，CRF)優化分割結果。Ronneberger等[12]提出了具有完整的編碼器和解碼器結構的全卷積神經網絡U-Net，并將其應用于生物醫學圖像分割，取得了較理想的結果。2017年，Chen 等[13]在DeepLab V1的基礎上提出了 Deeplab V2，在末端增加并行的空洞空間金字塔池化(atrous spatial pyramid pooling，ASPP)模塊，融合具有不同感受野的特征層，有效提高了圖像分割的精度和效率。同年，Chen 等[14]提出了 DeepLab v3，采用多尺度的帶孔卷積，通過級聯或并行的方式來捕獲圖像的多尺度特征來優化分割結果，去除了最終的條件隨機場。2018年，Chen等[15]提出了基于空洞空間金字塔模型的全卷積神經網絡DeepLab v3+，它是目前最優的語義分割網絡。

近些年，深度學習開始逐步應用于遙感影像分類。Chen等[16]采用機器學習算法SVM進行遙感影像分類，得到了比傳統方法更優的分類結果。Fan等[17]進行了基于CNN的高分遙感分類研究，再次證明了CNN在遙感影像分類上的優越性。Liu等[18]將四種不同尺度的遙感影像應用于FCN，在增強網絡的感受野基礎上大大提高了影像的分割結果。李越帥等[19]采用U-Net模型對塔里木河中游部分的胡楊進行了識別和計數，克服了傳統方法識別精度低和工作量繁重的弊端。李宏達等[20]對不同空間分辨率的遙感影像在CNN上的土地覆被分類作了研究，證明了遙感影像空間分辨率的提升，在一定范圍內能提高土地覆被分類的精度，當影像空間分辨率進一步提升，會增加類內差異性，降低土地覆被分類的精度。

翟天林等[21]以武漢市為研究區域，利用光譜銳化變換方法(gram schmidt，GS)融合研究區的Sentinel-1A和Landsat-8 OLI影像，并通過BP神經網絡(back propagation neural network，BPNN)、SVM法、CART決策樹等分類法得到了比融合前更高的分類精度。郭交等[22]采用SVM法和最大似然法(maximum likelihood，ML)融合了Sentinel-1 雷達影像和Sentinel-2光學影像，然后基于融合后的影像進行農作物分類，其結果遠優于單一影像。陳磊士等[23]以昆明市為研究區域，采用GS變換法融合Landsat-8與Sentinel-1A影像，采用CNN對融合前后的遙感影像進行地物分類，結果表明融合后的影像能得到更優的分類結果。因此，目前針對兩種不同空間和光譜分辨率的影像進行地物分類時，通常先采用傳統的圖像融合法對其進行融合，最后基于融合的影像采用CNN等圖像分類法進行地物分類，這并不是一種端到端的方法，即需要人工干預，而且地物分類精度受到融合后影像質量的影響，顯然這種方式的效率和精度較低。

目前的語義分割網絡只能支持一種分辨率的遙感影像作為輸入，在處理兩種不同空間和光譜分辨率的遙感影像時，只能采用傳統的遙感影像融合算法，融合兩種影像后輸入到語義分割網絡進行地表覆蓋類型分類，導致精度和效率低。因此，提出一種能融合兩種不同空間和光譜分辨率遙感影像的語義分割網絡，實現端到端的遙感影像融合與地表覆蓋類型分類，更好地滿足實際應用的需求。

1 方法原理與步驟

提出的語義分割網絡模型如圖1所示，網絡由光譜特征編碼器、空間特征編碼器、骨干網絡Xception和解碼器四個部分組成。圖1中，全色影像的高度、寬度和特征維度分別為4H、4W和1，多光譜影像的高度、寬度和特征維度分別為H、W和4，在輸入端分別輸入高分二號衛星的全色影像和多光譜影像，Conv表示對特征圖進行卷積(convolution)，并采用激活函數(rectified linear unit，ReLU)和批歸一化(batch normalization，BN)處理特征圖，Conc表示疊加(concatenate)多個特征圖，Block表示卷積神經網絡Xception的一個模塊，每個模塊輸出特征圖的大小是輸入特征圖的一半。

圖1 融合兩種不同空間和光譜分辨率影像的語義分割網絡

圖1中FFM是特征融合模塊(feature fusion module)。如圖2所示，Up表示采用雙線性插值[24]法上采樣；Mul表示兩個卷積核相乘(multiply)；Add表示兩個卷積核相加。首先，將小尺寸的特征圖線性采用雙線性插值法，上采樣至大尺寸特征圖的尺寸。然后，疊加他們，并用大小為1×1的卷積核、批量歸一化BN和激活函數Relu處理疊加的特征。同時，小尺寸卷積核依次進行全局平均池化、1×1的卷積、批歸一化BN和激活函數Sigmoid，在擴大感受野的同時進行特征的升維。大尺寸卷積核依次進行1×1的卷積、批量歸一化BN和激活函數Sigmoid，對特征進行升維。最后，將這兩個結果依次與之前疊加融合的特征相乘，并將相乘的結果與之前疊加的特征相加。

圖2 特征融合模塊

1.1 光譜特征編碼器

光譜特征編碼器用來融合全色影像和多光譜影像的光譜信息。高分二號衛星的全色影像與多光譜影像的空間和光譜分辨率都不相同，需要把它們編碼為相同的空間尺寸和特征維度。在光譜特征編碼器中，全色影像用3×3的卷積核進行兩次卷積，每次卷積的滑動步長為2，每進行一次卷積，特征圖大小降低一半。多光譜影像進行一次卷積，滑動步長為1，卷積核的大小為1×1，卷積后卷積核的大小不變。這樣就能得到兩種尺寸相同的特征圖，最后，疊加這兩種特征圖。

1.2 空間特征編碼器和骨干網絡模型

空間特征編碼器能提供空間細節信息更豐富的特征圖。已有研究表明，卷積神經網絡模型越深，就會丟失越多的空間細節信息，從而導致圖像分割結果的精度越低，因此，目前的語義分割網絡會在模型中保留不同尺寸的卷積核，用來恢復最終輸出特征圖的空間信息，提高圖像分割結果的精度。卷積神經網絡越淺，特征圖的空間信息越豐富，為了盡可能地保留影像的空間信息，空間特征編碼器僅由四個卷積層組成，每個卷積層的滑動步長為2，卷積核的大小為3×3，每經過一個卷積層，特征圖的大小降低一半。

骨干網絡能提供感受野更大的特征圖。在語義分割領域，除了特征圖的空間細節信息，特征圖的感受野同樣影響著圖像分割的精度，最終輸出特征圖的感受野越大，越有利于圖像分割。選用卷積神經網絡模型Xception作為骨干網絡，在快速下采樣的過程中不斷擴大特征圖的感受野。在空間尺寸相同的情況下，為了增加空間特征編碼器輸出特征圖的信息維度，將骨干網絡中的輸出B1、B2、B3和B4分別與空間特征編碼器中的輸出V1、V2、V3、V4進行疊加，輸出C2、C3、C4、C5。

1.3 解碼器

解碼器用來恢復骨干網絡輸出特征圖壓縮的空間細節信息。圖1中，骨干網絡最終輸出的特征圖B5及特征融合模塊的輸出F1、F2、F3、F4，與C2、C3、C4、C5相比，屬于感受野大和尺寸小的卷積核，屬于較高層次的語義信息，C2、C3、C4、C5則屬于感受野小和尺寸大的卷積核，屬于較低層次的語義信息，因此不能直接對它們進行疊加。利用卷積神經網絡反向傳播進行自動調節的特性，提出一種特征融合模塊FFM融合這兩種特征圖。解碼器由四個特征融合模塊組成，每個模塊融合不同層次的特征，每經過一層特征融合模塊，特征圖的尺寸擴大兩倍。最后，融合多尺度的語義信息，提高模型識別不同尺度目標的能力，將每個特征融合模塊的輸出線性上采樣至C1，與光譜特征編碼器的輸出C1疊加，與真實標注比較計算交叉熵損失[25]。

2 實驗與分析

2.1 研究區

實驗數據源于2015年免費的廣東省廣州市周邊的高分二號衛星影像，如圖3和圖4所示，高分二號衛星影像包含全色影像和多光譜影像，全色影像的空間分辨率為0.8 m，多光譜影像的空間分辨率為3.2 m，并含有紅、綠、藍和近紅外四個波段。訓練區和驗證區全色影像的大小分別為8 000像素×2 000像素和3 096像素×2 000像素，訓練區和驗證區多光譜影像的大小分別為2 000像素×500像素和774像素×500像素，訓練區的影像用來制作訓練集，驗證區的影像用來制作驗證集。采用人工標注的方式，將所有影像劃分為城市建設用地、綠地、水體、農用地四種地表覆蓋類型。

圖3 訓練區和驗證區的多光譜影像

圖4 訓練區和驗證區的全色影像

制作了五組實驗數據，第一組數據采用大小為256像素×256像素的滑動窗口裁剪標簽和全色影像，滑動步長為84，保證相鄰樣本間有三分之二的重疊區域，同時采用大小為64像素×64像素的滑動窗口裁剪多光譜影像，滑動步長為21。剩余四組數據分別是采用光譜銳化(gram schmidt，GS)法[26]、比值變換(brovey)法[27]、最鄰近擴散(nearest neighbor diffusion pan sharpening，NNDiffuse)法[28]和主成分變換(principal component transform，PC)法[29]融合全色影像和多光譜影像后，用大小為256像素×256像素的滑動窗口裁剪標簽和融合后的影像，滑動步長為84。所有裁剪后的樣本旋轉90°、180°和270°，并進行水平和垂直翻轉，擴充樣本數量。最后，得到17 010個樣本作為訓練集，得到6 600個樣本作為驗證集，如表1所示。

表1 實驗數據

2.2 評價指標和模型參數

為了評價語義分割網絡的性能，使用平均交并比(mean intersection over union，MIoU)和總體分類精度(overall accuracy，OA)兩個指標評價實驗結果，它們的計算如式(1)所示。

(1)

式中：c+1為地表覆蓋類型數；pii表示某一地表覆蓋類型被正確預測的像素數量；pij表示真實類別i被預測為類別j的像素數量；pji表示真實類別j被預測為類別i的像素數量；N表示所有的像素數量。

基于深度學習框架Tensorflow搭建語義分割網絡模型，模型的初始學習率為0.01，一個批次的迭代數量為15，迭代批次Epoch為50，使用隨機梯度下降SGD法訓練網絡模型，網絡模型在訓練過程中會監測MIoU的變化情況。當訓練三個Epoch后MIoU不提升，模型的學習率會減少為原來的0.3倍，學習率最小值為0.000 4，所有實驗在一個NVIDIA GeForce GTX 2080 Ti的GPU上進行。

2.3 網絡模型有效性驗證實驗

為了驗證本文提出的語義分割網絡中每個部分的有效性，采用表1中的第一組數據做四組實驗進行對比。A組實驗僅保留模型的光譜特征編碼器和空間特征編碼器，空間特征編碼器輸出的特征圖與真實標注比較計算交叉熵損失。B組實驗僅保留模型的光譜特征編碼器和骨干網絡模型，骨干網絡模型輸出的特征圖與真實標注比較計算交叉熵損失。C組實驗僅保留模型的光譜特征編碼器、空間特征編碼器和骨干網絡模型，將空間特征編碼器和骨干網絡模型輸出的特征圖直接疊加，與真實標注比較計算交叉熵損失。D組實驗采用整個網絡模型。測試四組實驗的語義分割模型在驗證集上的表現，如圖5所示。

圖5 模型的每個部分在驗證集上的MIoU曲線和OA曲線

圖5中A組和B組的實驗數據，證明了同時輸入多光譜影像和全色影像，能取得較好的影像分割結果。通過對比C組與A組和B組的實驗數據，可以發現直接疊加空間特征編碼器和骨干網絡模型的輸出，OA和MIoU有所提高，但收效甚微。通過對比C組和D組實驗數據，可以發現采用解碼器后就能有效恢復骨干網絡輸出特征圖壓縮的空間信息，大大提高影像分割的精度。

2.4 本文與傳統方法對比實驗

表2展示了本文提出的語義分割網絡Deeplab v3+的參數量(params)和浮點運算次數(FLOPs)，params值越大表示模型訓練速度越慢、FLOPs值越大、模型計算復雜度就越大。通過對比表2的數據可以發現，與Deeplab v3+相比，本文提出的語義分割網絡大大減少了模型的參數量和浮點運算次數，效率更高。

表2 本文提出的語義分割網絡和Deeplab v3+對比

為了驗證本文提出的語義分割網絡的圖像分割效果，與傳統方法進行了對比。將表1中第一組數據輸入到本文提出的語義分割網絡中，將表1中第二組、第三組、第四組和第五組數據，輸入到目前最優的語義分割網絡Deeplab v3+中訓練，對比它在驗證集上的測試效果，如圖6所示。本文提出的語義分割網絡和Deeplab v3+的骨干網絡不同，為了公正對比實驗結果，實驗中的骨干網絡均未進行預訓練。

如圖6所示，與采用NNDiffuse法、GS法、PC法和brovey法融合研究區的全色影像和多光譜影像后，輸入到目前最優的語義分割網絡Deeplab v3+相比，將研究區的全色影像和多光譜影像輸入到本文提出的語義分割網絡進行訓練后，在驗證集上的MIoU和OA值更高。

圖6 本文和傳統方法在驗證集上的MIoU曲線和OA曲線

在一幅256像素×256像素大小的多光譜影像和1 024像素×1 024像素大小的全色影像上，采用圖6中每組最優的網絡模型參數，對每類地物進行評估，通過混淆矩陣計算每類地物的精度及OA和MIoU，實驗結果如圖7和表3所示。

圖7 本文提出的語義分割網絡與傳統方法的分類結果對比

表3 本文提出的語義分割網絡與傳統方法的分類精度對比

通過對比表3和圖7可以發現，與傳統方法相比，本文提出的語義分割網絡的OA和MIoU更高。所有方法分類建筑用地的精度都較高，但傳統方法在分類信息相似的綠地和農用地時，易出現大面積的錯分，易將綠地錯分類為農用地，傳統方法分類水體時，易將水體錯分為建筑用地。本文提出的語義分割網絡更加關注多光譜影像和全色影像空間和光譜特征的融合與提取，解碼器融合了空間特征編碼器和骨干網絡不同尺度的特征圖進行上采樣，減少了特征融合時存在的信息差異，從而使得模型更好地結合全色影像和多光譜影像，提高影像分割的精度。實驗結果證明了本文提出的語義分割網絡，可以實現端到端的兩種不同空間和光譜分辨率遙感影像融合與地表覆蓋類型分類，與傳統方法先融合多光譜影像和全色影像后，再輸入語義分割網絡進行分類進行比較，效率和精度更高。

2.5 不同影像融合法對比實驗

為了驗證本文提出的語義分割網絡應用于不同影像融合方法的有效性，將表1中第二組、第三組、第四組和第五組數據輸入到本文提出的語義分割網絡中訓練，并保留在驗證集上精度最高的網絡模型參數。在一幅大小為1 024像素×1 024像素的全色影像和256像素×256像素的多光譜影像上，采用NNDiffuse法、GS法、PC法和brovey法融合這兩種影像，用保留的網絡模型對其進行評估。由于多光譜影像和全色影像融合后得到的是單幅影像，因此在訓練和測試階段無需輸入到圖1中的光譜特征編碼器中融合光譜信息，僅保留圖1中的空間特征編碼器、骨干網絡模型以及解碼器進行訓練和測試，實驗結果如圖8和表4所示。

圖8 本文提出的語義分割網絡應用于不同影像融合法的分類結果對比

通過對比表4的數據可知，本文提出的語義分割網絡應用于NNDiffuse法融合影像的效果最好，除了建筑用地的分割精度略低于GS法、PC法和brovey法，其他地物的分割精度都遠優于其余算法。在GS法的實驗結果中，水體和農用地易錯被分類為綠地，綠地易被錯分類為建筑用地。在PC法的實驗結果中，水體和綠地易被錯分類為建筑用地，大多農用地被錯分類為綠地。在brovey法的實驗結果中，農用地和水體易被錯分為綠地和建筑用地，綠地易被錯分類為建筑用地。實驗結果表明，本文提出的語義分割網絡可應用于不用影像融合法合成的影像，OA和MIoU都較高。

表4 本文提出的語義分割網絡應用于不同影像融合法的分類精度對比 %

3 結束語

本文針對兩種不同空間和光譜分辨率的遙感圖像進行語義分割，提出一種能融合兩種不同空間和光譜分辨率遙感影像的語義分割網絡，該網絡由兩個編碼器、一個骨干網絡和一個解碼器構成，能同時輸入同一地區不同空間和光譜分辨率的遙感影像，富集更加豐富完整的影像信息，無需預先融合不同空間和光譜分辨率的遙感影像就能直接進行地表覆蓋類型分類，進而提高遙感圖像分割的精度和效率。通過圖1、表2和表3可知，本文提出的語義分割網絡參數少，模型結構簡單，分割精度高。但本文提出的語義分割網絡僅僅針對兩種不同空間分辨率的高分二號多光譜影像和全色影像，對其他平臺的遙感影像融合并未探究，尤其針對多種不同空間、光譜和時間分辨率的影像融合，會產生影像間光譜信息差異巨大、多尺寸及地物顯示不同等問題，有待探究。本文證明了語義分割網絡融合多源光學影像的有效性和可行性，同時也證明了本文提出的語義分割網絡應用于不同影像融合方法的有效性，為遙感圖像分類提供了一種全新的方法和思路。