CNN-ISS遙感影像分類的瓦片邊緣效應及消除方案

段增強，劉杰東，鹿 鳴，孔祥斌，楊 娜

（中國農業大學土地科學與技術學院 自然資源部農用地質量與監測重點實驗室，北京 100193）

0 引言

圖像語義分割（Image Semantic Segmentation，ISS）是指，為圖像中的每一個像素分配一個預先定義好的表示其語義類別的標簽[1]。基于卷積神經網絡的圖像語義分割方法（Image Semantic Segmentation based on Convolutional Neural Network，CNN-ISS）是一門涉及計算機視覺、模式識別與人工智能等研究領域的交叉學科，是當前數字圖像處理與機器視覺的研究熱點內容之一[2-5]。作為典型CNN-ISS模型，DeepLab V3模型在Pascal VOC數據集上的均交并比（Mean Intersection over Union，mIoU）值達到86.9%，DeepLab V3+模型的分割精度達到了89.0%，在Cityspace公開數據集上也達到82.1%的分類精度[6-7]。CNN-ISS在遙感影像分類方面也具有較為廣泛的應用，相較于傳統遙感影像分類方法[8-9]，CNN-ISS具有較強的遷移學習能力和泛化能力，能夠有效提取地物紋理、幾何等深層次特征，在高分辨率影像解譯、復雜地物識別和作物分布制圖等方面具備一定優勢[10-14]。

出于效率或者硬件性能限制的考慮，通常需要對大幅的遙感影像進行瓦片切圖[15]，將生成的影像瓦片作為語義分割數據處理對象。人為的遙感影像瓦片化過程會產生瓦片邊緣地物碎片，進而影響遙感影像邊緣附近像素的分類精度，從而產生瓦片邊緣附近像素分類精度低于瓦片中央區域像素分類精度的現象，即瓦片邊緣效應[16]。目前學者針對CNN-ISS遙感影像分類的研究主要有3個方面，一是僅在瓦片尺度進行模型驗證和精度評價[17-18]；二是側重于優化地物邊緣分類的研究，并未對瓦片邊緣效應做專門分析及特別考慮[19-20]；三是通過“重疊預測”和概率圖累加算法來降低或消除瓦片邊緣效應[21]。目前鮮見對CNN-ISS模型分類結果的瓦片邊緣效應進行定量化分析的研究文獻。

本研究系統分析了研究區在高分辨率遙感影像CNN-ISS（以DeepLab V3為核心模型）分類中的瓦片邊緣效應，構建了一個消除CNN-ISS瓦片邊緣效應的數據后處理框架，以實現大幅遙感影像分類解譯和瓦片邊緣效應消除。

1 研究區概況

研究區位于河北省唐山市曹妃甸區北部以及灤南縣南部地區（118°18"E～118°48"E，39°30"N～40°12"N）。具有典型的鄉村土地覆被特點，土地覆被類型主要包括水田、水澆地、設施農用地、農村居民點、河流、坑塘、交通用地等（圖1）。

2 數據與方法

2.1 數據源及其處理

2.1.1 訓練區數據集構建

本研究訓練區面積為200 km2（圖1），研究采用2019年5月4日高分二號影像，經預處理后，最終得到空間分辨率為1 m的真彩色融合影像。通過人工目視解譯土地覆被類型，分類標準如表1所示，進而構建CNN-ISS訓練樣本數據集（圖2）。

表1 土地覆被類型及目視解譯劃分標準 Table 1 Visual interpretation division criteria of land cover type

CNN-ISS模型神經網絡層數多、參數規模大，模型訓練計算量大，出于模型學習精度和學習效率的考慮，通常限定特定尺寸圖像作為訓練和預測對象，常用的瓦片大小有256×256、512×512像素等。如果對大幅遙感影像進行語義分割，則需要首先將大幅影像進行瓦片化處理，以特定大小的瓦片作為基本處理單元。

本研究以DeepLab V3模型作為核心CNN-ISS模型，以512×512像素瓦片作為訓練和預測處理單元。通過對訓練區順序裁剪生成2000張訓練瓦片，并在此基礎上采用隨機翻轉、增加點噪聲、高斯濾波和雙邊濾波等數據增強處理方式[22-23]，共計生成15000幅瓦片。由于道路和河流溝渠像素占試驗區影像總像素比例較低，采用過采樣方案[24]增加了3000幅包括高速公路和河流瓦片。最終的訓練集包括512×512像素瓦片共計18000幅。選取其中的75%作為訓練數據集，25%作為驗證數據集。綜合考慮效率及最終精度，本試驗以ResNet V2_50預訓練模型[25]為基礎進行遷移訓練。

2.1.2 預測區數據集構建

選取同幅影像內與訓練區毗鄰的14 km2區域作為預測區（圖3），采用與訓練區相同的分類標準，通過人工目視解譯對預測區土地覆被類型進行劃分。

預測區影像、土地覆被類型劃分及瓦片化結果如圖3所示。模型精度評估、影像瓦片邊緣效應分析與消除等均基于預測區數據集完成。

2.2 研究方法

2.2.1 核心網絡

語義分割（ISS）是在像素級別進行分類。CNN-ISS將輸入的遙感影像通過CNN提取影像特征，得到像素類別得分圖后，再通過softmax函數以及argmax函數得到輸入影像的像素類別[26]。

典型的語義分割模型數據處理過程[27]如圖4中CNN-ISS標注部分所示，具體可以概況為以下3個過程：

1）將瓦片輸入至CNN-ISS模型中，進行影像特征提取。其公式為V=F(T,θ)，其中，V為經過系列特征提取后形成的類別得分矩陣，T為瓦片處理單元矩陣，θ為CNN-ISS模型中各層網絡的參數。實現過程依具體CNN-ISS模型而定，以DeepLab V3為例，這個過程包括了卷積、池化、空洞空間池化金字塔及上采樣等數據處理過程。

2）將類別得分圖中各像素的分值分別經softmax函數處理后，統一歸一化至0～1范圍內，生成的圖像為類別概率圖。這一過程的公式為P=softmax(V)，P為類別概率矩陣。

3）選取某一像素點對應的概率矩陣中最大值的索引作為該像素的最終類別，這一過程輸出的結果即為遙感影像分類圖。這一過程的公式為C=argmax(P)，C為分類結果矩陣。

本研究以DeepLab V3作為核心模型，該模型以ResNet 50作為特征提取網絡，加入了空洞空間池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）模塊來提取全局、多尺度信息。ASPP采用了4個并行的卷積，即1個1×1的卷積和3個擴張率分別為（6、12、18）的3×3擴張卷積，同時加入了批歸一化（Batch Normalization，BN）層對影像特征進行處理，最后通過16倍的上采樣恢復到原圖大小[28]。

2.2.2 瓦片邊緣效應消除方案

遙感影像瓦片化會在瓦片邊緣產生土地覆被類型碎片，從而影響分類精度，存在瓦片邊緣效應。

本研究中，以整幅影像上做移窗切圖后生成的512×512像素瓦片影像作為處理單元，縱向和橫向均以512像素步長，依次從左到右，從上到下進行移窗和瓦片影像語義分割。為消除瓦片邊緣效應，設定不同的移窗起點位置(i,k)，i、k為該移窗偏置起點的像素行列位置，從而保證整幅遙感影像上任意像素點一定處于某次偏置設置下生成的瓦片中央區域。假定共進行m次移窗，則可為每個輸入影像像素生成至多m批次的類別打分值，假定有n個分類類別，則每個像素至多生成m×n個類別打分值，以該像素的m×n個類別打分值為基礎，設計不同的瓦片效應消除技術方案，從而提高語義分割精度。

設輸入遙感影像為H×W×3的矩陣X，其中，H為影像高度，W為影像寬度，H和W單位都為像素，像素x(a,b)=[xR,xG,xB]，xR,xG,xB代表輸入影像的彩色通道，(a,b)代表某一像素在輸入遙感影像上的坐標。

對X設定一個移窗切圖的移窗起點為(i,k)，進行移窗切圖，將生成的瓦片數據集經核心CNN-ISS模型處理得到瓦片像素類別打分結果，拼接后得到全圖打分結果，記為類別得分矩陣V(i,k)，其中(i,k)為偏置起點的像素位置。對偏置起點為(0,0)的情況，得到類別得分矩陣V(0,0)。

其中v(a,b)為像素x(a,b)的各類別得分值所組成的一維向量組，即v(a,b)=[v1(a,b),...,vc(a,b),...,vn(a,b)]，vc(a,b)代表像素x(a,b)預測分類c的類別得分值，c=1,2,..,n，n為語義分割的分類數量。

當偏置起點為(i,k)時，輸入影像的前i行和前k列像素不參與瓦片生成和后續的CNN-ISS核心模型數據處理，因此無法得到其所對應的類別得分，則為其進行非數填充處理，在下邊的矩陣表達中用NaN表示，得到偏置起點為(i,k)的類別得分矩陣V(i,k)

假定第s次偏置中，像素的c類別打分值記為為了消除基于瓦片數據處理而產生的瓦片邊緣效應，本研究進行多次、不同的偏置處理，并對多次偏置生成的多個類別得分矩陣進行合成。表示編號s的偏置方案中，像素x(a,b)對應類別c的類別得分值和概率值，(,)abcv和 (,)abcp則表示合成后的c類別得分值和概率值；c(a,b)表示像素x(a,b)的分類結果。其中，c∈[1,n]，s∈[1,m]。具體的瓦片邊緣效應消除方案處理邏輯如表2所示，其操作對象均為像素x(a,b)，故將下標(a,b)進行省略。

表2 瓦片邊緣效應消除方案 Table 2 Tile edge effect elimination solution

方案1：假設影像中某一點在第s次偏置時，到瓦片邊緣的距離最大，則選取此次偏置中該點對應的打分值作為該點的最終打分值后經softmax函數處理得到整幅影像的類別概率值Pc，進而得到最終分類結果。

方案2：對每個類別c，在m次偏置中形成的m個像素類別打分值中選最大值，作為類別c的類別判斷打分值vc，進而根據vc計算類別概率pc和分類。

方案3：對m次偏置中形成的m個像素類別打分值求平均值，作為類別c的類別判斷打分值vc，通過softmax函數得到類別概率pc，然后選取pc對應的類別作為最終分類結果。

方案4：將m次移窗得到的m組打分值分別進行softmax處理，得到m組像素類別概率值選擇其中最大的類別概率值作為類別c的類別判斷概率值pc，并將pc對應的類別作為像素的最終類別。

需要指出的是，本研究通過消除瓦片邊緣效應來提升語義分割精度，是對CNN-ISS瓦片化處理結果的一種后處理方案，可采用不同的核心模型，且可以直接繼承所采用不同核心模型的預訓練結果或遷移學習結果。

2.2.3 精度評價指標

本研究采用總精度（Pixel Accuracy，PA）[29]、Kappa系數[30]、交并比（Intersection over Union，IoU）[31]、均交并比（Mean Intersection over Union，mIoU）[32]作為精度評價指標。PA、Kappa系數、IoU和mIoU的數值越大，說明CNN-ISS模型分類精度越高。

瓦片邊緣效應具體體現為距離瓦片邊緣愈近的區域，其錯分像素占比愈高。本研究通過構建瓦片邊緣距離誤判率ERD（Error Rate with a Distance to tile edges，ERD）和整體誤判率ERW（Error Rate of the Whole image，ERW）2個指標，來對CNN-ISS遙感影像分類解譯的瓦片邊緣效應進行定量分析，其計算式如下

式中d記為到瓦片邊緣的像素距離，單位為像素，N為柵格總數，Nd瓦片邊緣距離為d的柵格總數，表示到瓦片邊緣距離為d的錯分柵格總數，NF表示錯分柵格總數。

3 結果與分析

3.1 DeepLab V3分類結果分析

本研究以DeepLab V3作為CNN-ISS核心模型。偏置起點設為(0,0)，在不進行多次偏置前提下，得到的影像分類結果等同于將DeepLab V3原始模型分類瓦片直接拼接形成的分類圖。本研究基于此結果對DeepLab V3分類精度進行評估，同時將其作為邊緣效應消除方案的對照數據。由于各瓦片邊緣效應消除方案均設置有多個瓦片切割起點偏置，因此有效預測范圍與對照組不同，以下所有分析均選取公共有效區域進行。

本試驗操作系統為Windows10，編程語言為Python 3.5，使用開源深度學習框架TensorFlow 1.9.0，計算機CPU為i7-7700HQ，配16 GB RAM和一塊GTX 1070（8 GB）。DeepLab V3模型訓練參數batch_size為4，初始學習率為0.0001，每8000次迭代學習率遞減50%，L2正則化系數為0.0001。

在最終的分類模型中，訓練集loss值為0.0698，驗證集loss值為0.0011，在預測區總分類精度為94.99%，Kappa系數為0.8688，mIoU值為76.24%，各覆蓋類型IoU值見表3中的對照組數據。與相關研究結果對比[13]，本研究的PA、Kappa系數和mIoU值均達到較高數值，說明本研究的CNN-ISS模型具有較高分類精度，但由于訓練數據及數據量較小，且道路和溝渠占比較少，導致其IoU相對較低。

表3 對照組精度匯總表 Table 3 Accuracy summary table of control group

CNN-ISS分類精度與標簽精度及訓練樣本數據量有關，相關研究已經驗證了DeepLab V3模型在遙感影像分類中的性能[2,33-36]，而本研究重點在于瓦片邊緣效應分析及其消除方案，因此不再對DeepLab V3在本試驗中各地類精度進行更詳細分析。

3.2 瓦片邊緣效應分析

當遙感影像中的地物位于輸入模型瓦片的邊緣處時，會產生地物碎片或不完整地物，從而丟失部分識別信息，影響到分類精度。

本研究CNN-ISS影像瓦片大小為512×512像素，預測區總面積為14 km2。將每個瓦片按照3×3平均劃分為9個區域，并將外圍的8個子區作為邊緣區域，中央子區作為中央區域，分別以邊緣區域、中央區域和整個瓦片區域作為統計范圍。14 km2預測區內對照組所有瓦片邊緣處與中心處的精度評估結果如表4所示，整個瓦片區域的精度評價結果如表3所示。

表4 對照組瓦片邊緣與中心處精度對比 Table 4 Accuracy comparison between tip edge and center of control group

PA、Kappa和mIoU評估結果整體表現為中央區域＞整個瓦片區域＞邊緣區域；根據各地類中央區域IoU與邊緣IoU的差值從高到低排序依次為，坑塘（6.41個百分點）＞農村居民點（1.42個百分點）＞道路（0.68個百分點）＞其他農用地（0.67個百分點）＞河流溝渠（?3.77個百分點），其中坑塘、農村居民點中央區域IoU與邊緣區域IoU相比均高出1%以上，說明這2個土地覆蓋類型的邊緣效應更加突出。對照遙感影像和預測區標簽可以發現，坑塘和農村居民點均由多種顏色和紋理的小斑塊組成，屬于典型的“異構體”復雜對象，因此瓦片切割產生的碎片更易損失對象的整體特征信息，因而其瓦片邊緣效應更加突出。當道路、河流溝渠等線狀地物靠近瓦片邊緣或以較小夾角通過瓦片邊緣時，也較易產生瑣碎或狹長碎片，從而也具有瓦片邊緣效應。“其他農用地”是整個景觀中“基質”成分，瓦片切割造成的獨立和零散分布的碎片較少，瓦片邊緣效應相對較弱，表3數據也表明其他農用地具有較弱的瓦片邊緣效應。

道路和河流溝渠在訓練區樣本數量都比較低，包含道路和河流溝渠的瓦片數量少，包含道路和河流溝渠的瓦片中其像素占比也很小，造成道路和河流溝渠分類精度相對較低。在預測區也存在類似情況，使得道路和河流溝渠精度統計學意義降低。

3.3 瓦片邊緣效應消除

為消除邊緣效應，本研究設置的橫、縱向移窗偏置步長均為1/3瓦片寬度（高度），共計9次偏置，即在本研究中，s=9，因此除整幅遙感影像邊緣處外，可以確保任意像素一定處于某次偏置設置下生成的移窗瓦片的中央區域。

運用2.2.2中各方案對預測區影像進行重新分類，測試了不同瓦片邊緣效應消除方案的效果。如圖5所示，瓦片邊框處的河流溝渠、農村居民點和坑塘，瓦片內地物碎片導致分類結果出現明顯的局部錯分或漏分。較對照組，本研究所提5種瓦片邊緣消除方案對瓦片邊緣處的地物分類效果均有不同程度提升。

各方案精度匯總如表5所示。由表5可知，相較于對照組，方案1～5的各項評價指標均有不同程度提升。不同方案的Kappa系數從高到低依次為：方案2（0.8810）＞方案5（0.8789）＞方案3（0.8788）＞方案4（0.8777）＞方案1（0.8759），均大于對照組（0.8688）。方案2的分類效果最好，因此本文將以方案2為例，分析不同土地覆被類別精度可知，相對于對照組，各類型IoU提升幅度次序從高到低為：道路（4.13個百分點）＞坑塘（2.97個百分點）＞河流溝渠（1.61個百分點）＞農村居民點（0.65個百分點）＞其他農用地（0.46個百分點），總體規律表現為線狀地物和復雜異構體（坑塘、農村居民點）的提升幅度高于基底地類（其他農用地）。方案2的mIoU最高達到78.20%，較對照組的76.24%提升了1.97百分點。

表5 各方案精度匯總表 Table 5 Accuracy summary table of each solution

預測區內對照組和方案2的所有瓦片的瓦片邊緣距離誤判率ERD統計結果如圖6所示。對照組瓦片邊緣距離誤判率ERD隨著到瓦片邊緣距離的增加呈現波動下降的趨勢，在瓦片邊緣處時，ERD最高，達到了6.93%，在到瓦片邊緣距離為242像素時，RED最低，為3.52%，而整體誤判率ERW則為5.01%。ERD與到瓦片邊緣的距離負相關，具有瓦片邊緣效應。對照組整體誤判率ERW為5.01%，方案2ERW下降到4.61%。與對照組相比，方案2ERD在所有距離上均有所下降，其中瓦片邊緣附近ERD值由對照組的6.93%下降至4.75%，下降幅度最大，說明像素到邊緣的距離對方案2 ERD的影響降低，瓦片邊緣效應得到有效改善。

4 討論與結論

4.1 討論

本研究中DeepLab V3模型對高分辨率下具有復雜遙感影像特征的異構體（坑塘、農村居民點）識別能力較好，而對于線狀地物（道路、河流溝渠）分辨能力較弱，產生這種現象的一個重要原因是訓練區中的道路和河流溝渠樣本占總像素比例低，即使進行過采樣預處理，模型對于這種小樣本地物的影像特征獲取依然不足，這個問題在遙感影像CNN-ISS分類中普遍存在。因此可從以下幾個方面進行優化：一是在數據預處理階段，除了一般的圖像處理數據增強手段，以及人為增加包含像素占比較少的小樣本地物（如道路、河流溝渠等）瓦片數量的過采樣方式，亦可通過“小樣本地物提取+背景轉換”的高級數據擴展方法，從而盡可能增加小樣本地物、及其在各種環境場景中的圖像特征信息[37]。二是構造適用于小樣本數據的損失函數，通過增大損失函數中小樣本地物的權重值來解決由于不平衡樣本導致的模型精度問題。三是針對不同地物分類效果的差異特性，構建一種混合分類模型。例如，線狀地物的像素在整幅影像中占比少且紋理簡單，傳統遙感影像分類方法對于此種類型地物識別效果較好，而對于復雜異構體而言，CNN-ISS模型能夠更為有效提取其深層次影像特征，在今后的研究中可考慮根據地物類型整合使用各自最優的分類模型。

本研究提出的通過多次移窗偏置消除瓦片邊緣效應的技術方案，本質上是通過多視野的方法降低地物碎片對圖像分類精度的影響，而多視野信息是否綜合以及如何綜合消除瓦片邊緣效應的效果各方案也有所不同。本研究提出的方案1直接將分類置信度最高視野中的像素分類作為該像素最終的分類結果，并未進行多視野信息綜合；方案2～5不但進行多視野判斷，還同時對每個視野（移窗）獲取的類別打分矩陣或類別概率矩陣進行了信息綜合。方案2、3分別在類別打分層次對多視野打分結果取最大值和取平均值，然后再以類別打分為基礎計算類別概率值，進而對像素類別進行判斷。方案4、5則在類別判斷概率層次對多視野信息進行綜合，其中方案4對多視野形成的類別判斷概率取最大值，方案5對多視野類別判斷概率取平均值；然后再在類別判斷概率的基礎進行類別判斷。研究結果表明，上述多視野信息綜合方案中，方案2效果分類精度最高。本研究提出的方案1～5的分類精度差異是否在不同場景保持一致有待進一步驗證和分析。

對于具有代表性的DeepLab模型，從DeepLab V3到DeepLab V3-JFT、DeepLab V3+ (Xception)、DeepLab V3+ (Xception-JFT)的迭代過程中，在PASCAL VOC 2012數據集的mIoU依次分別提升了1.2%、0.9%和1.2%[7]。Liu等構建了一種全卷積神經網絡——SRI-Net模型，在WHU Aerial Building Dataset中得到的IoU值較DeepLab V3+在該數據集中得到的IoU提升了1.78%[38]。本研究提出的消除瓦片邊緣效應的技術方案是對CNN-ISS（DeepLab V3）的后處理方案，以方案2為例，相較于對照組，其mIoU提升了1.97個百分點，特別是對于線狀地物和異構體的提升效果更大，對道路和坑塘的IoU分別提升了4.13和2.97個百分點。因此研究者認為，本研究的提出的瓦片邊緣效應消除方案，作為一種CNN-ISS模型的后處理方案，能夠有效提升整幅遙感影像分類精度，尤其針對復雜異構體和線狀地物精度提升幅度更大。但是上述結論還應該在更多應用場景中進一步驗證。

本文所用到的高分二號影像，經過預處理后，其空間分辨率為1m，在這種空間分辨率影像中，城市高大建筑物的陰影和側墻面均表現明顯，且對分類有較大影響。目前有研究提出專門的模型用于消除高大建筑物陰影對建筑物識別的影響[39]。城市建筑物，特別是具有復雜平面結構的建筑物，在瓦片化過程中的瓦片化效應應該更加突出，在未來可單獨針對此應用場景展開瓦片邊緣效應的相關研究。

4.2 結 論

由瓦片邊緣距離誤判率的統計結果可知，CNN-ISS分類精度與像素位置到瓦片邊緣的距離呈正相關關系，瓦片中央區域精度高于瓦片邊緣區域；各類型地物瓦片中央與邊緣處的精度差異表明，不同類型地物的瓦片邊緣效應程度不同，由復雜顏色、紋理圖像特征構成的復雜異構體（農村居民點、坑塘）和線狀地物瓦片邊緣效應較其他地物的瓦片邊緣效應更加突出。本文設計的5個消除瓦片邊緣效應的技術方案，均可從不同程度消除瓦片邊緣效應，其中取多次偏置中各像素類別打分值最大值對應的類別作為其最終類別的方案對精度的提升最大；此外，瓦片邊緣效應消除方案對不同類型地物的效果也有差異，瓦片邊緣效應消除方案對復雜異構體（農村居民點，坑塘）和線狀地物分類精度的提升更大。