基于多通道數據融合的無人機遙感影像地物目標提取方法

孫 曉 宇,蔡 祥

(北京林業大學信息學院，北京 100083)

0 引言

無人機遙感時效性高、成本低、可操作性強、分辨率高且不易受云層影響[1]，成為獲取高分辨率遙感影像的重要手段之一。目前，國內外學者廣泛使用無人機遙感影像進行圖像分類[2,3]、目標檢測[4-10]和圖像分割[11,12]等研究，但上述研究主要利用無人機遙感影像中的RGB影像進行處理，未充分考慮地物的高程信息，同類不同形態地物的識別及復雜環境中多地物種類并存時目標地物的提取效果較差。將無人機遙感影像生成的數字表面模型(Digital Surface Model，DSM)與RGB影像融合，可保留更多細節信息，增強特征差異性，有效提高目標識別精度[13,14]。例如：趙靜等[15-17]將無人機RGB影像與DSM融合，利用最大似然法、隨機森林法進行目標提取，精度比僅使用RGB影像均有所提高。隨著無人機遙感的快速發展，經典的最大似然法、隨機森林法等遙感分類方法已不能很好地滿足高精度影像的應用需求，利用深度學習方法進行無人機影像地物目標提取已成為研究熱點[18-25]。例如：Liu等[26]基于RGB+DSM融合影像，利用鏈式全卷積神經網絡(Chain Fully Convolutional Neural Network，CFCN)進行建筑物提取，提取結果精度更高，邊界更清晰、完整。但目前鮮有利用深度學習方法對RGB+DSM融合影像進行多目標識別的研究。因此，本研究對無人機遙感RGB影像與DSM數據進行類IHS變換融合和通道疊加融合，利用基于深度學習卷積神經網絡的語義分割模型對兩種融合影像和原始RGB影像進行多目標提取，對比分析融合影像對目標識別精度的提升效果及不同目標的提取效果差異，以期提供一種高效的無人機遙感影像多目標提取方法。

1 研究區域與數據

本文研究區域為內蒙古自治區烏海市海南區焦化廠(106°53′06″～106°54′07″E，39°26′59″～39°27′33″N)，位于鄂托克旗桌子山煤田滴瀝邦烏素礦區地質勘探詳查區西南部，面積約為1.58 km2，高程范圍為1 165～1 217 m，區域地勢中西部較高，西北部較低。

無人機影像拍攝于2018年3月14日10：00，天氣晴朗，采用瑞士SENSE FLY公司生產的eBee Ag固定翼無人機，該無人機能快速有效生成地形圖、正射影像圖及數字表面模型等數據，機身搭載Sony DSC-WX220相機(1 820萬有效像素)，相機鏡頭為索尼G鏡頭，實際焦距為4.45～44.5 mm，最大光圈范圍F3.3-F5.9，拍攝飛行高度70 m，飛行速度13 m/s。首先對無人機影像進行拼接和正射校正等預處理操作，生成研究區域的正射影像圖，原始拼接影像尺寸為28 085像素×12 036像素，空間分辨率為5 cm；然后對影像進行12等份切割，去除無效影像、目標類型單一等低質影像，最終選取6幅無交叉影像作為實驗數據，每幅影像尺寸均為6 720像素×5 760像素，覆蓋面積約為0.08 km2。

本文選取道路、建筑、車輛和地面(除道路、建筑和車輛外的區域)4種地物目標對研究區域的遙感影像進行逐像素標注，部分標注結果如圖1所示。為提升模型訓練速度，降低運算量，將6幅影像裁剪為512像素×512像素的數據集。

圖1 地物目標標注結果Fig.1 Annotation results of ground targets

2 研究方法

2.1 數據融合方法和語義分割模型

(1)通道疊加融合。在目標識別領域中，RGB-Depth(RGB-D)影像的應用十分廣泛，其由RGB影像與深度影像(Depth)合成，其中深度影像的灰度值表示物體與攝像機的距離[27]。受此啟發，本文將三通道RGB影像與單通道DSM影像進行通道疊加，形成四通道影像數據(RGB-DSM)。

(2)類 IHS變換融合。本文根據傳統IHS變換原理，采用類IHS變換方法，將研究區的DSM影像與RGB影像融合，具體步驟為：提取無人機遙感影像的R、G、B三通道信息，對RGB影像做IHS正變換；將DSM影像替換所得I分量，形成I′HS影像并對其進行IHS逆變換，得到包含RGB影像和高程數據的類IHS變換影像。

(3)語義分割模型。DeepLabv3+模型[28]采用編碼—解碼結構(圖2)，搭配空間金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)和深度可分離卷積，能準確提取圖像信息并進行分類，提高目標提取的精度，成熟度較高，適用于本文無人機影像數據。因此，本文采用該模型進行無人機遙感影像地物目標提取。

圖2 DeepLabv3+模型結構Fig.2 Structure of DeepLabv3+ model

2.2 精度評價

本文使用整體像素精度(Overall Pixel Accuracy,OPA)和平均像素精度(Mean Pixel Accuracy,MPA)評估不同融合方法下遙感影像的目標識別精度，計算公式為：

(1)

(2)

式中：pii表示目標i類被預測為i類的像元數量；pij表示目標i類被預測為j類的像元數量；k表示目標類型數量，本文k=4。

3 結果分析

本文實驗采用Ubuntu 18.04 LTS 64位操作系統、NVIDIA GEFORCE GTX 1080Ti顯卡加速，使用Python 3.6并基于Keras開源深度學習框架，訓練時加入隨機梯度下降算法進行優化(動量設置為0.9)，初始學習率設置為0.001，每個批次放入3幅影像，進行100次迭代。

3.1 整體識別精度分析

由表1可知，RGB-DSM影像的識別精度最高，整體像素精度為95.76%，平均像素精度為92.96%，比RGB影像分別提高3.52%和1.42%；類IHS變換影像的整體像素精度比RGB影像提升2.24%，但平均像素精度略有下降。可見，兩種融合影像在DeepLabv3+模型中總體上均能提升地物目標識別精度。RGB-DSM影像直接將高程信息疊加到原始RGB影像通道中，保留了兩種數據的全部信息，但增加了模型的計算量；類IHS變換影像將高程信息融入影像的空間特征內，保持模型運算量基本不變，但造成少量信息損失，因此，RGB-DSM影像的識別精度略高于類IHS變換影像。

表1 3種影像數據的地物目標識別精度Table 1 Accuracies of ground targets recognition for three kinds of image data %

3.2 不同地物目標識別精度分析

為分析影像融合方法對4種地物目標的識別效果，本文選取部分分割結果進行分析(圖3)。從圖3可以看到，兩種融合影像的錯分現象均少于RGB影像，且對不同地物目標的提取效果不同。例如，兩種融合影像對道路的提取效果均優于RGB影像，其中RGB-DSM影像對道路輪廓的提取效果與人工標記結果基本一致，對道路內車輛的錯分現象較少，類IHS變換影像對道路的提取較準確，且對道路內車輛的提取效果較好；兩種融合影像對建筑的提取效果均優于RGB影像，但對不同區域的建筑錯分現象不同。

圖3 3種影像數據對不同地物目標的分割結果對比Fig.3 Comparison of segmentation results of different ground targets for three kinds of image data

進一步采用混淆矩陣對3種影像的整體像素精度和Kappa系數進行分析(表2)。由表2可知，RGB-DSM影像與類IHS變換影像的Kappa系數比RGB影像分別提高了14.99%和11.79%。1)在對道路的提取中，RGB-DSM影像和類IHS變換影像的精度分別提高了8.6%和2%，主要原因在于，兩種融合影像均增加了道路的高程信息，DeepLabv3+模型能有效提取通道特征信息，使道路的識別精度提高。2)在對建筑的提取中，RGB-DSM影像和類IHS變換影像的精度分別提高了6.22%和2.5%，這是因為兩種融合方法將高程數據分別融入原始影像的通道與空間內，DeepLabv3+模型能提取通道和空間特征，提升了對建筑的識別精度。3)在對地面的提取中，RGB-DSM影像和類IHS變換影像的精度分別提高了3.39%和2.96%，主要原因在于，研究區地面包含溝壑和礦山等高程變化范圍較大的區域，且地面自身紋理特征明顯，導致地面識別精度明顯提升。4)在對車輛的提取中，兩種融合影像的識別精度均低于RGB影像，可能是由于車輛與周圍地物的高差較小，高程特征不明顯，同時實驗數據中存在車輛種類較多、樣本量較小等情況，融合影像引入了少量噪聲，從而降低了車輛識別精度。綜上，通道疊加與類IHS變換兩種數據融合方法能提升與周圍物體高差較大的地物目標識別精度，但提升效果受數據融合方法與目標本身高程信息影響。

表2 基于3種影像數據的不同地物目標識別結果的混淆矩陣Table 2 Confusion matrix for different ground targets recognition results from three kinds of image data

4 結論

本文基于無人機低空遙感獲取高精度的RGB影像和DSM數據，提出通道疊加和類IHS變換兩種數據融合方法，通過DeepLabv3+模型對影像融合前后的地物目標識別精度進行對比分析，得到以下結論：1)兩種數據融合方法能提升地物目標識別精度，其中RGB-DSM影像的效果最好，其整體像素精度和Kappa系數比RGB影像分別提高了3.52%和14.99%，類IHS變換影像的整體像素精度與Kappa系數比RGB影像分別提高了2.24%和11.79%；2)RGB影像與DSM影像融合能提升道路、建筑和地面等與周圍地物高差較大的地物目標的識別精度；由于車輛與周圍地物的高差較小，且研究區域內車輛情況復雜，本文數據融合方法對車輛的識別精度較差，后期將通過融合近紅外波段與增加注意力模塊提升與周邊地物高差較小的地物目標識別精度。