基于優化HRNetV2的高分辨率遙感影像土地利用自動分類

常秀紅，李純斌，吳 靜，李 穎，李全紅

（甘肅農業大學資源與環境學院，甘肅 蘭州 730070）

土地利用分類數據可以為生態環境監測[1]、城市規劃[2]、土地資源管理[3]等任務提供重要的數據支撐。目前獲取該數據的途徑主要是遙感影像的解譯，常用的方法有目視解譯和機器解譯。目視解譯精度高，能夠實現小區域內精細的土地利用分類，但面對大區域內海量高分辨率遙感影像的土地分類任務時，需要漫長的時間，且要求解譯者有豐富的影像判讀經驗。除目視解譯外，機器解譯也在土地利用分類中具有較強的應用價值，如柴旭榮等[4]用隨機森林機器解譯方法實現了大區域尺度上的土地覆被快速分類。雖然機器解譯能實現快速分類，但不能滿足對分類的高精度需求。因此，如何快速、準確地實現區域內遙感影像的土地利用分類是目前遙感領域內具有挑戰性的研究方向之一。

近年來，計算機視覺技術發展迅速，該領域內的語義分割算法是像素級別細粒度分類，能夠實現海量遙感影像的自動解譯任務，因此在基于遙感的土地利用分類領域內具有較好的應用前景。LONG等[5]于2015年首次提出全卷積神經網絡（Fully Convolutional Networks, FCN），該研究是利用高級語義信息對圖像像素進行預測分類的重要突破，為語義分割的發展奠定了基礎。如MAGGIORI E等[6]于2016年將FCN應用于遙感影像的分類任務中，實現了細粒度的影像分類。隨后，學者們通過引入空洞卷積（Atrous Convolution）替換骨干網絡（backbone）、引入條件隨機場（CRF）等方法對FCN做了適應性改進后應用于遙感影像的地類提取中[7-9]，但由于FCN沒有利用低層級特征，導致分類結果依舊較粗糙[10]。之后提出的Unet[11]、Segnet[12]等語義分割模型使用編碼器—解碼器（Encoder-Decoder）、跳躍連接（skip-connection）結構將深層特征與淺層特征進行了融合，提高了模型的分割精度。如李道紀等[13]在Unet中引入注意力模塊來提取不同層次的語義信息，強化了特征圖之間的相互關系，且在Vaihingen數據集上的平均交并比達到64.46%。Deeplab系列模型[14-17]中提出的空洞卷積、全局金字塔池化（Atrous Spatial Pyramid Pooling）能夠使模型學習到多尺度的上下文信息。其中， DeepLab V3+模型在語義分割領域內分割性能較好，應用也較為廣泛。如胡偉等[18]將Deeplab V3+與樹形結構相結合，在Potsdam數據集上的整體準確率OA達到90.7%。雖然上述研究取得了突破性進展，但是這些主流的語義分割網絡多數是以串聯一系列卷積池化操作的分類網絡如 AlexNet[19]、VggNet[20]、GoogleNet[21]、ResNet[22]為backbone進行特征提取，在提取特征信息的同時減小了特征的空間尺寸，丟失了一部分的細節信息，即使上采樣也不能將丟失的信息完全恢復。

SUN等[23-24]在2019年提出了HRNetV2語義分割模型，該模型以并聯卷積池化方法來提取不同層次的特征信息，且在各個分支上分辨率保持不變，從而減少了空間細節信息的丟失，提高了模型對分割目標的細節表示。但HRNetV2語義分割模型中的多層次特征融合方法是先將低分辨率特征圖上采樣到高分辨率特征圖，再進行的Concat。此方法會存在信息冗余、特征不匹配等問題。此外，用語義分割模型實現高分辨率遙感影像的土地利用分類時，存在地類目標尺度大小不一、樣本不均衡等問題，使用交叉熵損失函數無法兼顧小比例樣本的學習。再加上目前大多數研究是基于Vaihingen、Potsdam、WHDLD等數據集對城市場景、土地覆被進行分割來實現模型的改進，分割體系并不能滿足目前的土地利用分類需求。

因此，本文制作了土地利用數據集，并基于HRNetV2模型從損失函數、特征提取兩個方面對模型進行了優化，以提高模型的分割精度。最后，將優化后的模型運用到民樂縣的土地利用分類中，并基于混淆矩陣對分類結果進行了評估，實現高分辨率遙感影像的土地利用自動分類。

1 研究區域與數據集制作

1.1 研究區概況

民樂縣（東經100°22′59″～101°13′9″、北緯37°56′19″～38°48′17″）位于張掖市東南部、祁連山北麓，河西走廊中段。海拔在1 559～4 951 m之間，呈現出東南高、西北低的地勢特征，形成以山地和高原為主的地形地貌。該區南部為祁連山山地，海拔在2 800 m以上，分布著大面積的林地和草地；在海拔4 000 m以上的高山，有冰川及常年積雪，形成天然的“高山水庫”。中部區域氣候舒適、地勢平坦，適合人類居住，且有洪水大河等七條大河，因此該區域為農業灌溉區。北部區域氣候干燥、降雨量較少，因此植被較少，砂石裸露。境內用地類型復雜多樣，主要有耕地、草地、林地，且耕地有水澆地和旱地，林地主要有喬木林地、灌木林地和其他林地，草地主要以天然牧草地和其他草地為主。其余的用地類型有園地、商服用地、工礦倉儲用地、住宅用地、公共管理與公共服務用地、交通用地、水域及水利設施用地及其它用地。

1.2 數據集制作

高分六號衛星于2018年6月2日在酒泉衛星發射中心成功發射，該衛星攜帶高分相機，有2 m空間分辨率的全色，8 m分辨率的多光譜波段，具有高分辨率、高質量、高效成像等特點。資源三號是高分辨率立體測繪衛星，搭載的4臺光學相機中多光譜相機包括紅、綠、藍、近紅外4個波段，可獲得分辨率為5.8 m的多波段影像。本文以2019年夏季民樂縣高分六號、資源三號衛星影像為主要研究數據，通過正射校正、影像融合、影像鑲嵌與裁剪得到研究區空間分辨率為2 m的高分辨率影像，在紅、綠、藍波段組合下進行土地利用分類。

深度學習需要大量帶標簽的數據進行訓練，而現有的遙感影像開源數據集無法滿足本文相對精細的土地分類要求，因此，需要人工建立相對精細的用地類型標簽數據集。參照土地利用成果數據，按照第三次國土調查分類體系（表1），通過目視解釋的方法勾繪出研究區內的土地利用一級用地類型，保存為shp

表1 土地利用分類體系Tab.1 Land use classification system

格式的數據，用ArcGIS pro中的“導出數據進行深度學習”工具將影像圖和土地利用數據以步幅為128分割成小尺寸圖像，長寬為256×256像素，得到該區域的樣本總量為38 331張圖像，隨機將樣本劃分為訓練集（60%，22 999張）、驗證集（20%，7 666張）、測試集（20%，7 666張）。部分數據集影像及對應標簽如圖1。

圖1 部分數據集影像及對應標簽Fig.1 Example of image and label of dataset

2 模型與方法

2.1 HRNetV2語義分割模型

HRNetV2語義分割模型的結構如圖2，該模型首先通過HRNet分類網絡提取不同層次的特征信息，其次將不同層次特征信息進行融合，最后通過分類器完成圖像的密集預測。在HRNet的分類網絡中，包含4個分支，每增加一個從高分辨率到低分辨率的下采樣分支，相應通道數就會擴大為2倍，如輸入高分辨率特征圖為256×256×64（長×寬×通道數），增加一個分支后得到特征圖為256×256×64（高分辨率）、128×128×128（低分辨率分支）。該網絡結構中包含4個階段。第一個階段含4個殘差單元，每個殘差單元中包含一個3×3卷積和兩個1×1卷積，1×1卷積主要用來改變特征圖維度，3×3卷積用來提取特征，與ResNet50中的殘差單元一致；第2、3、4個階段中分別包含1、4、3個交換塊（多尺度特征融合結構），每個交換塊包含4個殘差單元，交換塊主要通過低層級特征的上采樣、高層級特征的下采樣及同層級特征圖的融合完成，其目的就是不同層次特征圖之間能夠融合出較完整特征信息。在不同層次特征融合中，將2、3、4分支的特征圖分辨率上采樣到第1分支特征圖分辨率，再進行Concat。

圖2 HRNetV2語義分割模型結構Fig.2 HRNetV2 semantic segmentation model structure

2.2 HRNetV2語義分割模型的優化

HRNetV2語義分割模型是以HRNet為backbone來提取不同層次的特征信息。在該過程中多次使用多尺度融合單元對高、中、低分辨率的特征進行融合時會出現通道信息不匹配問題。針對該問題本文用引入SE模塊的殘差結構代替普通殘差塊來改善。同時，為了進一步增強模型對不同尺度大小分割目標的感知能力，本文在每一分支特征圖上均加入ASPP模塊來捕捉上下文信息，且輸出特征的通道數擴大一倍，從而提高了對特征的表達能力。此外，在多尺度特征融合時，本文引入Attention_Gate來學習不同層次特征融合的權重值，使得特征信息能夠有效地融合[25]。整體優化結構如圖3，具體過程表現為：若經過ASPP模塊后得到的特征圖為L1、L2、L3、L4, 先將L2、L3、L4的特征上采樣到L1特征分辨率，得到L22、L33、L44，以便進行特征信息的融合；再用1×1卷積（包含ReLU和批標準化）改變通道數，增強特征的表達能力，經過該操作得到特征分辨率一致的特征圖，接著將L1、L22、L33、L44特征圖送入Attention_Gate, 使不同層次特征圖進行加權融合。在Attention_Gate的設計中，先將不同層次的特征進行Concat以獲取豐富特征, Relu函數進行非線性激活獲取復雜分割目標的特征信息，再用1×1×1的卷積進行運算，最后通過Sigmoid函數得到注意力系數，通過注意力系數與Concat之后的特征圖相乘實現對特征信息的加權融合。Attention_Gate的結構如圖4，該過程定義為：

圖3 HRNetV2語義分割模型優化結構Fig.3 The optimized structure of HRNetV2 semantic segmentation model

圖4 Attention_Gate結構Fig.4 Attention_Gate structure

式（1）—式（3）中：α表示注意力系數；φ表示1×1×1的卷積；ρ1、ρ2表示Relu、Sigmoid；b1、b2表示偏置；X*為融合后的特征信息；X為加權融合后的特征信息。

2.3 引入SE模塊的殘差結構

SE（Squeeze and Excitation） 模塊是由HU等[26]于2018年提出的。該結構考慮到對不同分類目標，各通道的重要程度不同而提出的，主要有Squeeze 和Excitation 兩個操作。整個過程為：先用Squeeze操作在特征圖的空間維度上用全局平均池化提取分類目標的全局信息，之后用Excitation操作來計算各通道之間的相互依賴關系，從而對Squeeze得到的全局信息有選擇激活，該過程如圖5。

圖5 SE結構示意圖Fig.5 SE structure diagram

殘差結構是為了防止網絡層數過深而導致過擬合設計的。該結構中先用1×1卷積降低維度，然后用3×3卷積進行特征提取。為了輸入特征向量與輸出特征相量進行融合，需要用1×1卷積進行升維使其通道數保持不變。最后用Relu函數進行非線性激活得到豐富的特征信息。該過程定義為：

式（4）中：x為輸入殘差網絡的特征向量；Wi為第i層的權重；F（x，{Wi}）為第i層輸出的特征向量；y為殘差塊最后的結果輸出。

將SE模塊與殘差結構結合即能避免網絡由于過深而造成的過擬合現象，又能在通道維度上對特征進行選擇，結構圖如圖6。

圖6 引入SE模塊的殘差結構Fig.6 The residual structure with SE module

2.4 ASPP

空洞卷積的主要思想是在標準卷積中加入“空洞”來增大感受野，能夠在不增加額外計算量的情況下獲取圖像的全局信息，主要用來解決在特征提取時為增大感受野而帶來的信息損失問題。但是，空洞卷積對分割大物體的表現性能較好，卻對小物體分割效果表現欠佳。在Deeplab V2中提出了ASPP結構，該結構中用不同采樣率的空洞卷積對頂層特征進行操作來捕獲不同尺度的特征信息，提高了模型的分割精度。然而，隨著采樣率的增加，卷積的有效性卻不斷降低。Deeplab V3模型先在ASPP的基礎上引入全局平均池化來得到圖像的全局信息，再通過1×1卷積進行不同尺度信息的融合，有效的提高了模型的性能。

ASPP主要是采用一個1×1卷積，3個采樣率為rates={6，12，18}的空洞卷積及一個全局平均池化組成，其結構圖如圖7。

圖7 ASPP結構Fig.7 ASPP structure

2.5 損失函數

在使用交叉熵損失函數時，網絡能夠快速收斂，但同時面積較大、地類背景簡單的樣本會引導梯度下降的方向，因而無法兼顧面積較小、地類背景復雜的樣本學習。在多分類任務中，常用MIOU進行精度評估，用來表示預測值與真值的一致性。MIOU是由每種分類目標的IOU加和平均得到，而Lovasz Softmax Loss間接優化了IOU，能夠兼顧每一種分類目標的提取，在一定程度上能緩解樣本不均衡問題。因此，本文的損失函數用Cross Entropy Loss與Lovasz Softmax Loss[27]的組合[28]來對模型進行優化。定義為：

式（5）中：LC為Cross Entropy Loss；LO為Lovasz Softmax Loss；?為LC的權重參數，設置為0.6.

3 結果與分析

3.1 模型分割結果分析

本實驗中使用Window操作系統，編程語言為Python 3.7，深度學習框架為paddlepaddl 2.2.0，batchsize為16，iters為600 000，因為SGD（Stochastic Gradient Descent）能夠較快的收斂，因此優化器選擇SGD，momentum設置為0.9，學習率下降方法采用poly，下降指數設置為0.9。用MIOU來驗證本文優化方式的有效性，且在相同的實驗配置下，將優化后的HRNetV2語義分割模型與FCN、Unet、Attention_Unet、PSPnet、DeeplabV3、DeeplabV3+、HRNetV2進行對比。

3.1.1 模型分割結果定量分析

表2為不同語義分割模型在驗證數據集上各類別的IOU值及MIOU值。可以看出優化后HRNetV2分割模型的精度最高，MIOU達81.9%。相比于優化前的HRNetV2，MIOU提升4.4%，從而說明了優化方法的有效性。基于IOU值的最優與次優來分析，優化后的HRNetV2對每種地類提取的IOU值均為最優（除林地外），優化前的HRNetV2對多數地類的提取達到次優，說明該模型能夠兼顧各種地類的提取；PSPnet對于林地的提取精度達到最優（IOU為94.7%），對于草地、商服用地和工礦倉儲地的提取精度達到次優值（IOU分別為92.4%、73.7%和84.1%），而在道路的提取上效果很差（IOU為36.1%，低于最優值18.3%），說明該模型對于紋理特征明顯地類的提取效果很好，對于提取混雜的、紋理特征不明顯的小地物類型表現較差；DeeplabV3+的MIOU值低于最優MIOU值5%，在草地與其他用地上的提取精度達到次優值（分別為92.4%、81.5%），而對于難檢測難區分的道路用地的提取精度依舊不理想。

表2 不同模型在測試數據集上的IOU值及MIOUTab.2 IOU and MIOU values for different models on test datasets （%）

通過統計可以看出：模型對耕地、林地、草地的分割精度最高（最優的測試精度IOU達到92%以上），而對于光譜特征差異較小的的商服用地、住宅用地、公共管理與服務用地、交通用地等用地的提取精度并不理想（最好的測試精度分別為81.5%、88.3%、86.6%、54.4%）。

3.1.2 模型分割結果定性分析

為了全面比較不同模型的分割性能，選取典型場景1—場景8進行可視化分析（圖8）。其中，場景1—場景3是為了探究模型對簡單背景場景的分割能力；場景4—場景5是為了探究模型對細小線狀地類的分割能力；場景6—場景8是為了探究模型對復雜背景場景的分割能力。在復雜場景中分割目標種類較多、邊界不明顯、特征相似，因此很難將它們準確分開。

圖8 部分分割結果的可視化Fig.8 Visualization of partial segmentation results

對于簡單場景1—場景3，所有模型均能將不同地類準確的分割開，且分割邊緣細化較好，與標簽數據差異不大；對于提取細小地類的場景4—場景5中，FCN、Unet、Attention_Unet模型出現了錯分的現象，PSPnet、DeeplabV3、DeeplabV3+均出現了道路斷裂、沒有被提取的現象，而HRNetV2能夠將其準確分割開，且優化后的分割結果中線狀地類的連通性更好，邊緣細化能力更強；在復雜背景場景6—場景8中，HRNetV2模型由于在每一分支上均保持分辨率不變，細節信息損失較少，分割性能也較好，且優化后的HRNetV2對于復雜背景中細小地類的提取效果表現更好，而其他模型在一定程度上均出現錯分漏分現象，且提取地類的完整性也較低。

可視化結果對比分析得到所有模型的共性：（1）對于背景簡單的地類，模型能夠準確的將用地類型分割開，如場景1—場景3；而對于一些復雜背景中的地類，模型分割結果中邊緣定位不準確，且存在沒被提取的情況，如場景8。（2）由于語義鴻溝現象在土地利用任務中依舊普遍存在，因此很難依據影像中的光譜紋理特征準確判斷地類的用途，導致光譜特征相似的地類分割精度不高，錯分漏分現象嚴重，如一些混雜在建筑用地、耕地、草地里面的小道路沒有被準確提取出來。（3）土地利用分類是根據土地的用途給土地區域賦予不同的用地類型，在水域及水利設施用地中包含了用于澆灌水澆地的溝渠，該地類常與道路、耕地交織在一起，且還有被遮擋等因素的影響，導致該用地類型的整體提取效果較差。

雖然模型在地類提取中呈現出共性，但是相比之下，HRNetV2更適合于高分辨率遙感影像的土地利用分類，且優化后的HRNetV2不但能提取線狀地物，還能體現地類本身的形狀特征（場景6—場景8），出現的“椒鹽噪聲”也最少，對細節表達也最為精準。因此該模型對于地類的提取更穩健，結果圖也更接近實際分類狀況。

3.2 民樂縣土地利用分類

本文基于優化后HRNetV2對民樂縣進行土地利用分類，分類結果如圖9，基于模型分類和目視解譯建立混淆矩陣如表3。可見，民樂縣高分辨率遙感影像分類結果精度較高，總體精度為89.72%，Kappa系數為0.888。分類結果中園地、林地、工礦倉儲用地、住宅用地、公共管理與公共服務用地、其它地類的用戶精度與生產者精度均大于90%；而交通道路用地、水域及水利設施用地的用戶精度較低；耕地、草地的生產者精度較低。其誤差主要體現在將特殊用地、交通道路用地、水域及水利設施用地錯分為耕地、草地。錯分的原因可能包括：鄉間道路與田埂、溝渠、草地之間交織在一起，沒有明顯的邊界界限；土地利用分類是根據土地的用途劃分為不同的類型，而在影像上光譜特征無明顯的差異；在語義分割數據集中耕地、草地的樣本數據分布面積很大，而道路與水域的分布面積很小，導致模型對于這兩種地類特征學習不充分，出現了明顯的錯分漏分現象。

圖9 基于優化后HRNetV2民樂縣土地利用分類Fig.9 Land use classification based on optimized HRNetV2 in Minle County

表3 民樂縣土地利用遙感制圖混淆矩陣Tab.3 Confusion matrix of land use remote sensing mapping in Minle County

4 討論與結論

4.1 討論

用深度學習語義分割方法能夠快速實現高分辨率遙感影像的土地利用自動分類，且分類精度較高。本文針對HRNetV2語義分割模型做了適應性優化。從實驗結果可以看出，優化后HRNetV2模型的分割精度明顯提高。但是，神經網絡的學習過程本身并不透明，目前并不能用數學原理進行嚴謹的推導，因此，本文只是通過實驗和分析來證明優化方式的有效性。

本文中的分類標準是第三次國土調查的分類體系，相比于目前使用語義分割方法實現土地利用的自動分類的研究相比[29],本文的分類體系更為精細；與同等分辨率影像分割的研究相比[30]，本文的精度明顯高于其改進后模型的精度，進而證明該模型更適應于高分辨率遙感影像的土地利用自動分類。

在語義分割結果中，耕地、草地、林地的分割精度是最佳的，而在民樂縣整體的分類結果中，耕地、草地的生產者精度分別67.71%、76.74%，與模型訓練精度出現較大差異，這可能是由于模型訓練結果是基于所有像素進行評價指標的計算，且在訓練數據集中耕地、草地占絕大多數，正確分類的像素掩蓋了錯分的像素；而整體分類結果的評估是依賴于均衡分層隨機抽樣點的混淆矩陣，與地類的分布面積無關，從而導致了兩者精度的不一致。

4.2 結論

相比于主流的語義分割模型（FCN、Unet、Attention_Unet、PSPnet、DeeplabV3、DeeplabV3+），HRNetV2在本文制作的數據集上分割性能最佳，MIOU達77.5%。為了進一步提高模型的分割能力，本文通過損失函數、特征提取對HRNetV2進行優化。優化后模型的分割精度MIOU達81.9%，提升了4.4%，說明了優化方式的有效性。

用優化后的模型對民樂縣2 m的高分辨率遙感影像進行分類，整體的分類結果能夠真實反映用地類型的分布狀況，且分類邊緣較平滑。基于混淆矩陣進行精度評估，總體精度達89.72%，Kappa達 0.888，說明語義分割方法能夠實現高分辨率遙感影像的自動分類，且分類精度較高。從混淆矩陣來看，園地、林地、工礦倉儲用地、住宅用地、公共管理與公共服務用地、其它用地等的分類精度較高；而耕地、草地、交通運輸用地、水域及水域設施用地之間由于數據集中地類面積的分布差異較大，影像中地類的辨識程度不高等因素導致錯分漏分現象明顯，分類精度仍需提高。在未來的研究中可以通過加強模型對不同地類樣本特征的學習來提高模型的分割精度，從而提高土地利用分類的精度。初步的思路設想為：對于線狀地類的提取可以通過算法使得線狀地類具有連通性；對于背景復雜地類的提取，通過數據增強方法增加樣本數據，從而學習更豐富的特征信息；對于辨識度不高地類的提取，可通過對分類結果進行后處理，從而得到更加精準的土地利用成果數據。