基于Transformer 的成都市地物分類技術

劉 琦，楊小華，陳柏行，邱姝月，張 攀，楊 茜

（1.成都市規劃編制研究和應用技術中心，四川 成都 610041；2.航天宏圖信息技術股份有限公司，北京 100195）

Transformer 是一種基于注意力機制的新型神經網絡，最早應用于自然語言處理領域[1-2]。相比于卷積網絡，Transformer 具有長距離特征捕獲能力，基于Transformer的模型在各種視覺任務中具有強大的競爭力，甚至表現更優[3]。因此本文以成都市重點區域為研究區，采用Transformer模型實現遙感影像地物分類目標，并通過實驗驗證分割效果。

1 研究區與數據集

1.1 研究區域

成都市是中國西部地區重要中心城市，地處四川盆地西部，介于102°59′~104°54′E、30°05′~31°27′N之間，地勢由西北向東南傾斜，具有平原、丘陵、高山多地貌特征，自然生態環境多樣。成都市屬于亞熱帶季風氣候，年平均氣溫16℃，年降雨量1 000 mm左右。本文以成都市重點區域為研究區，地物類型豐富。

1.2 數據源及預處理

本次實驗的數據為2021 年成都市重點區域7~8月的JL1GF02A 和JL1KF01A 影像，其空間分辨率為0.8 m，共17 景。對其進行輻射定標、正射校正、影像鑲嵌等預處理工作，得到9 300.4 km2的成都市重點區域遙感影像。為保證模型適用于成都市不同類別、不同特征的地物要素準確提取，實驗選取了25 個具有不同典型特征區域的遙感影像作為樣本，將其劃分為耕地、大棚、園地、林地、草地、建筑、道路、水體等8 種地物類型，樣本采用人工標注，經不重疊裁剪，共獲取7 718 張大小為512×512的樣本數據，按照8∶2 的比例劃分為訓練集和測試集。為避免模型過擬合[4]，在訓練過程中樣本會進行隨機縮放、翻轉、添加噪聲等數據增強[5]操作。

2 研究方法

本文采用基于視覺Transformer 的語義分割模型SegFormer[6]進行成都市內建筑、林地、水體、建筑、道路、耕地等典型地物要素的提取。

首先，針對成都市典型地物地類的分布情況，選取遙感影像進行地物要素樣本采集；其次，將采集的樣本輸入到SegFormer 網絡模型進行訓練，按照網絡的特征提取結構提取地物的特征，網絡的分類結構輸出樣本中像素的預測結果，通過計算預測值與真實值之間的損失迭代更新網絡的參數；最后保存精度最優的模型。在模型的預測階段通過滑窗的方式讀取影像中固定大小的區域，預測區域的結果。預測結果中存在建筑物邊緣粗糙、建筑角度不規則的情況，通過建筑輪廓規則化方法對建筑邊界進行改善。

2.1 地物分類模型

本文采用的SegFormer網絡使用自然語言處理（nature language processing，NLP）中Transformer代替原本的卷積特征提取模塊，結合輕量級的All-MLP解碼器，形成了一種更加高效、準確、魯棒的語義分割網絡。該網絡包含以下2個主要模塊，模型結構如圖1所示。

圖1 SegFormer網絡結構示意圖

2.1.1 分級Transformer編碼器

該編碼器由4個Transformer塊級聯構成，與CNNs相似，每個Tranformer 塊可提取一個特征圖，從淺層到深層，這些特征圖的分辨率依次降低，分別為原始影像大小的特征圖通道依次提高，圖像特征從粗糙變精細。每個Transformer塊包含以下3個部分：

高效的自注意力：在原本的多頭注意力的基礎上使用序列縮減方法[7]，如式（1）、（2），其中N為序列長度，K為被縮減的序列，R為縮減比，Linear(Cin,Cout)(?)為輸入通道數為Cin，輸出通道數為Cout的線性操作，,C?R)(K)為將K變形為×（C?R）。通過變形和線性層將原本為N×C大小的序列縮減到×C，從而使自注意力的計算復雜度從O(N2)降低至突破來自注意力層的計算瓶頸。

Mix-FFN：將一個3×3 卷積和MLP 混入每一個前饋網絡（FFN）中，為Transformer 提供位置信息，如式（3）所示，其中Conv 為卷積，xin為自注意力輸出特征，GELU 為激活函數：

xin通過MLP 將xin映射到更高維度的特征空間，經過3×3卷積和GELU 非線性激活，再恢復到原始維度，并于輸入特征相加。該結構避免了測試影像分辨率和訓練分辨率不同時精度下降的問題。

重 疊 Patch Merging： 給 定 圖 像 塊（patch）2×2×Ci，可 以 通 過Patch Merging 將 其 轉 化 為1×1×Ci+1的向量，從而獲得層次圖。同理，我們可以將特征收 縮 為i?{1,2,3,4}。為了保證每個patch 周圍的局部連續性，這里使用了重疊的Patch Merging，相鄰patch的步幅S小于patch 大小K，同時進行填充以保證合并過程中特征的空間大小一致。

2.1.2 輕量級All-MLP解碼器

All-MLP 解碼器共包含4 個步驟：①通過MLP 層統一4 個特征圖Fi的通道數；②將特征上采樣到大小并拼接在一起；③輸入到MLP 層，融合拼接后的特征；④輸入到另一個MLP層，得到預測分割掩膜。

2.2 參數設置

學習率為訓練過程中調整網絡權重的參數，學習率的大小與網絡的收斂速度相關。本實驗中模型的學習率初始化為0.000 06，訓練過程中學習率會不斷自我更新。學習率在初始的1 500 次迭代中采用線性增加策略，然后學習率采用多項式衰減策略，為線性衰減，直至衰減為0。模型的梯度更新方式為AdamW[8]。為了防止GPU顯存溢出，模型的batch_size設置為4，每次迭代讀取4 張圖像進行訓練。模型的總迭代次數為40 000，訓練過程中模型的精度會逐漸提升，最終保留測試集上預測精度最高的模型。

2.3 建筑規則化

地物分類結果中建筑存在邊界不平滑，形狀不符合實際情況等問題。為了進一步提高建筑的分割結果，利用建筑輪廓規則化算法[9]對地物分類中建筑的結果進行修正。本文采用的規則化算法，分為粗糙處理和細節處理兩部分完成：①粗糙處理主要處理圖像中不合理的頂點、邊和多邊形。②細節處理主要修改建筑的形狀。

3 實驗結果與分析

本實驗利用最優模型對成都市重點區域的建筑、耕地、林地、道路、大棚、水體、園地、草地8 類地物進行分類，該模型在劃分的測試數據集的指標如表1。8類地物的平均準確率達到84%，平均召回率達到84%，滿足總體精度超過80%的需求。同時，該模型相較傳統CNNs深度學習方法精度更高，如表2。在145 759×124 736大小的遙感影像上完成全類別推理僅需2 h左右，模型的解譯結果經過少量人工修正后能夠滿足實際應用需求，相比于人工判讀的方式具有更高的效率，能夠有效減少成都市重點區域的解譯周期。

表1 成都市測試數據分類精度

表2 不同方法的分類精度

經過建筑輪廓規則化算法后，分割結果中不合理的誤檢區域被剔除，建筑的邊緣更加平滑，建筑的角度更加符合實際情況。實驗結果說明建筑輪廓規則化算法能夠根據建筑的真實輪廓進行修正，不會大量降低建筑的分類精度。因此該算法適用于改善建筑不合理邊界，可以有效減少建筑物提取后的人工修正時間。

4 結 論

本文利用基于視覺Transformer的語義分割方法對成都市重點區域進行地物要素分類，該方法通過分級結構的Transformer輸出多尺度特征，通過MLP解碼器聚合不同尺度特征、融合局部和全局注意力，具有強大的表達能力。本文方法的分類結果經過較少的人工修正能夠達到成都市實際應用的精度需求和時間需求，為成都市快速、高效、高頻地提取重點區域的地物信息提供技術支持，從而為土地資源的調查提供數據支持。