基于人工智能的多源遙感數據融合在電網勘測應用研究

張春玲，趙訓威，王志剛，吳 冰，劉冬暉，范永學

（1.國網信息通信產業集團有限公司，北京 100052；2.國網浙江省電力有限公司經濟技術研究院，浙江 杭州 310020；3.北京國電通網絡技術有限公司，北京 100107）

0 引言

電網勘測領域中，在電網建設前期需對變電站選址、輸電線路桿塔及線路走向等進行實地勘測和測繪，結合地形地貌等地理信息進行規劃，同時要避開軍事、密集建筑、地質災害頻發等特殊區域。傳統的勘測作業方式多依賴人工赴野外現場進行反復測繪及調查，很多地區交通不便、環境惡劣且容易受到極端天氣影響，導致人工勘測作業效率低下，且給作業人員帶來一定安全風險隱患[1]。

隨著衛星遙感、空間科學等技術的不斷發展成熟，通過衛星遙感掛載傳感器采集地面信息已廣泛應用在軍事、農業、環保、礦業以及電力等諸多行業。由于衛星遙感技術不受地理和環境約束，獲取信息便捷，可大范圍采集地形地貌等測繪信息，通過衛星掛載多個傳感器，可高效率實現多種多源遙感數據采集和地形地貌特征分析[2]，如：掛載全色相機采集全色影像數據（Panchromatic image,PAN）能較好地獲取地物信息豐富、紋理和幾何特征明顯的灰度圖片[3]；掛載多光譜相機采集多光譜圖像（Multi?spectral image,MS）常用于突出如植物覆蓋、水岸沿線等特定地物和目標[4]；掛載高光譜相機可采集高光譜圖像（Hyperspectral image,HS）能較好地進行地物的識別分類[5]；通過掛載多孔徑雷達可采集合成孔徑雷達（Synthetic Aperture Radar,SAR）圖像，可對存在類似鐵路、鐵塔等低分辨率的地物和帶介電特性目標的圖像進行有效分析[6]。因此，采用衛星遙感技術實現多源數據采集，已成為電網勘測的一種有效輔助手段。

由于這些數據來自多源，技術原理各異，圖像的分辨率和尺寸各不相同，且波段、光譜等信息不同會導致對地形地物特性分析能力也各不相同，如全色圖像波段單一且光譜信息缺失[7]。因此，研究如何通過信息化技術手段將上述多源遙感數據進行融合，通過將不同成像模態的信息融合在一起，生成一幅信息豐富、質量高的圖像，已成為一項技術研究方向，融合后的圖像可通過互補信息來更加全面地描述場景，更為清晰地分析地物地形地貌，也更好地為電網勘測選址選線提供輔助決策依據[8]。本文以常用的PAN、MS、HS 圖像為融合研究對象，設計并提出一種基于AI 人工智能的深度學習網絡，采用統一融合策略將不同光譜和空間屬性的三種遙感源數據進行有效融合，生成具有精確光譜信息和清晰空間細節的高分辨率HS 圖像[9]。

1 AI 融合技術及其研究

1.1 相關技術介紹

圖像融合是理解圖像和計算機視覺領域非常重要的一種技術，按照融合理論可分為像素級融合、特征級融合和決策級融合三種類型[10]，如圖1 所示。

圖1 數據融合技術路線圖

1）像素級融合是一種低水平融合，它保留了盡可能多的像素信息，具有精度較高的優點，但也存在效率低、分析能力弱、抗干擾性差等缺點，常用的方法有：代數法、IHS 變換、小波變換、主成分變換（PCT）、K?T變換等。

2）特征級融合的融合水平為中等，主要工作難點在于將多源數據中的特征信息進行精確提取、分類，并將輸出的特征矢量進行聚集和融合，最終生成涵蓋了多個圖像源中特征信息的新圖像。

3）決策級融合的融合水平較高，其側重分析能力，其融合的目的是為輔助決策和業務管理提供數字依據，融合時需要對特征提取及預處理進行充分理解和預設[11]。

本文所提方法歸屬于特征級融合，也是目前較為主流的研發課題方向。針對遙感數據PAN、MS、HS 三類的融合，鑒于卷積神經網絡（Convolutional Neural Network,CNN）的優勢，基于CNN 的融合近幾年已被廣泛開展研究和應用[12]。經調研，基于HS、MS、PAN 兩兩之間的融合多有研究，尤其是MS 和PAN 之間的融合研究較多，但基于三者之間的融合尚未開展充分研發，例如：文獻[13]中提出一種可解釋的空間?光譜重建網絡FHM，該方法實現了HS 和MS 的融合，并較好地保留了光譜信息，但由于MS 的空間分辨率有限，融合后的HS空間分辨率并沒有得到很大提高。文獻[14]中提出一種基于HS 和PAN 融合的FHP 網絡，可為PAN 提供更高的空間分辨率，但由于HS 和PAN 之間存在光譜和空間分辨率的巨大差異，容易出現一定的光譜扭曲問題。文獻[15]中首先提出一種基于耦合非負矩陣分解的HSI、MSI 和PAN 融合方法FHMP，但由于需要手工設計融合參數，易導致融合效率及性能欠佳。

由此，本文基于人工智能卷積網絡和注意力機制提出一種統一融合網絡（Unified Convergence Network,UCN），將HS、MS、PAN 三者間的不同光譜和空間屬性進行融合研究，三者融合的最終目標是生成具有精確光譜信息和清晰空間細節的高分辨率HS 圖像。

1.2 關鍵技術研究

1.2.1 總體設計思路

本文主要思路為首先將MS 和PAN 進行融合，生成高分辨率的MS 圖像，然后基于生成的MS 圖像，再與源HS 進行融合，最終生成高分辨率目標HS 圖像。本文所提出的融合網絡構架主要包括三個模塊：特征提取模塊、特征插入模塊、融合重構模塊，如圖2 所示。

圖2 統一融合網絡架構設計

具體融合設計如下：

1）特征提取模塊由多個多尺度注意力增強（Multiscale Attention Enhance,MAE）卷積塊（MAE ?Block）組成，用以提取MS 和PAN 中的空間信息。具體來說，通過采用多尺度卷積根據不同尺寸自適應地獲取其局部結構特征，同時，采用光譜和空間的注意力機制實現特征在光譜和空間維度上的選擇和增強。特征提取時，為更好地保留光譜信息，將通道和空間注意力單元按順序嵌入到MAE?Block 中。

2）特征插入模塊主要由特征細節插入（Feature Detail Insertion,FDI）卷積塊（FDI?Block）構成，FDI?Block 包含提取出的空間和光譜特征流，并將MS 和PAN 空間特征細節按學習的關系及其密集連接的層注入到HS。

3）融合重構模塊主要由重構（Reconstruction）卷積塊（Re?Block）構成，通過Re?Block 在重建模塊中生成最終的融合HS 圖像。

由于以上三個模塊是在整個統一融合網絡（UCN）框架中實現的，因此建議使用總損失函數來訓練本融合網絡，以生成在頻譜和空間質量之間具有良好平衡的期望HS 圖像。

圖2 中，將預期融合生成高分辨率的HS 表示為X。待融合的PAN、MS 和HS 分別表示為P、M和H。將MS和PAN 高頻部分的空間特征信息注入到HS 中，可用公式（1）描述：

式中，↑H和↑M分別表示與P大小相同的上采樣H和M；HM和HP分別表示用于從MS 和PAN 提取空間細節的高頻算子；fM和fP分別是MSI 和PAN 的空間細節注入到HS 的學習網絡。

1.2.2 網絡架構設計

多源數據融合關鍵難點在于特征的提取，本文主要通過人工智能卷積網絡中的注意力機制（Attention Mechanism）來對多尺度注意力增強網絡MAE?Block 進行設計[16]，如圖3 所示，MAE?Block 架構包含了通道注意力和空間注意力單元。在MAE?Block 卷積塊中，首先將PAN 和MS 按照光譜維度連接起來，形成MAE?Block 的輸入，即O（0）。為了自適應地提取不同尺度的特征，同時使用了3×3、5×5 和7×7 卷積核，并將獲得的特征進行級聯。然后，依次引入通道注意力和空間注意力單元，通過將獲取的特征相乘以提高多尺度卷積核的級聯結果的表示能力。具體地，用不同權重的有效特征對應注意力圖，其中一個通道注意力圖是通過沿著通道的池操作計算的。類似地，可通過壓縮輸入特征圖的空間維度來獲得空間方式的注意力圖。特別地，在兩個注意單元的乘法運算之前，分別增加了一個卷積層和一個激活函數來優化注意力圖中的信道和空間權重。

圖3 MAE?Block 網絡架構設計

FDI?Block 旨在將從MS 和PAN 提取的豐富空間信息注入到HS，其網絡架構設計如圖4 左側所示，首先利用具有密集連接層的兩個流來保存空間和光譜特征。在每個流中，使用三組卷積層和非線性激活函數ReLU來提取淺表示域和深表示域中的重要信息。同時，空間流中的特征被單向地插入到每個組的光譜流中，從而增強了從MS 和PAN 到期望結果的空間特征細節的傳遞。RE?Block 網絡結構設計如圖4 右側所示，其通過3×3 核的兩個卷積層將FDI?Block 輸出進行重構并得到了融合后的HS。需要注意的是，除了MAE?Block 中的最后一層注意力單元之外，所有卷積層都使用ReLU 作為激活函數，因為其在梯度的反向傳播和非線性表示中更具有優勢[17]。

圖4 FDI?Block 及RE?Block 網絡架構設計

1.2.3 損失函數

通過在本文中結合空間注入和頻譜保留的預設目標，本文相應地為統一融合網絡（UCN）設計一個總損失函數，如下所示：

式中：λ為平衡兩個損失項的參數；L1可視為強度損失項，主要為保證融合結果與參考圖像的光譜相似性，基于融合結果和參考圖像之間的空間結構的一致性約束而引入的損失項。為保留光譜特征，通過在損失函數中使用L1，很好地保留了圖像的強度分布和邊緣特性，L1公式如下所示：

在僅使用強度損失項L1的情況下，會引入一些模糊的局部細節，為在訓練過程中保持高頻區域的對比度和紋理細節，生成光譜信息準確、結構紋理美觀的融合圖像，引入了多尺度結構相似性（MS?SSIM）損失函數LMS?SSIM，可直接關注2 幅復雜結構圖像之間的結構變化：

MS?SSIM(，F)計算公式為：

式中：j表示尺寸；l(,F)、c(,F)、s(,F)分別為亮度、對比度和結構因子。具體細節可參考文獻[18]。

2 實驗與應用情況

2.1 實驗情況

1）實驗設置。為對本文所提出的UCN 與前述提及的幾種典型融合方法FHM、FHP 和FHMP 進行融合性能比較，分別采用一組衛星真實數據進行實驗研究。實驗采用TensorFlow 框架，服務器配置為：Intel Xeon Core 3.70 GHz 的CPU，GeForce GTX 2080Ti GPU 顯卡，以及11 GB 內存。實驗數據來自于在一組由2 個衛星采集山西城區同一地區的真實數據，其中采用了A 衛星采集的HS 圖像，B 衛星采集的MS 和PAN 圖像數據，HS 尺寸為2 136×2 165×246，MS 尺寸為10 680×10 825×4，PAN 尺寸為32 036×32 467。同時，本文選擇5 項指標進行融合性能評價，包括平均平方誤差（Root Mean Squared Error,RMSE）、圖像品質指數（Universal Image Quality Index,UIQI）、平均結構相似性（Mean Structural Similarity,MSSIM）、失真度（Degree of Distortion,DD）、光譜角制圖（Spectral Angle Mapper,SAM）[19]。

2）實驗結果。在本實驗中，從A 衛星的HS 圖像中去除了未校準及含噪聲的頻帶，留下246 個頻帶，并從采集的HS、MS 和PAN 中獲得了尺寸分別為760×1 520×246、3 800×7 600×4 和11 400×22 800 的子圖像用于實驗，其中空間分辨率比為1∶5∶15。將HS、MS 和PAN 數據的前80%裁剪到訓練數據集中，并將剩余部分用于實驗的測試樣本。具體地，用于HS、MS 和PAN 訓練數據尺寸大小分別為8×8×246、40×40×4 和120×120，測試數據尺寸大小分別為32×32×246、160×160×4 和480×480。融合測試后的可視化效果如圖5 所示。其中，圖5e）為原始可見光圖像。

圖5 融合實驗效果對比圖

FHP 融合后的效果參見圖5a），通過采用120、50 和10 波段生成了假彩色圖像，FHP 融合效果較為模糊不清；FHM 融合后的效果參見圖5b）所示，顯示效果較FHP 稍有清晰，但空間細節不清楚，且存在塊變形的現象；FHMP 融合后的效果參見圖5c）所示，圖中許多區域存在一些不正常的藍色光譜信息；本文所提出的統一融合模型融合后的效果參見圖5d），與前述效果比較，其在空間和光譜質量之間實現了良好的平衡。可見本文所提出的方法融合圖像效果最佳且最接近參考真實RBG 圖像。融合效果的定量評估情況如表1 所示，本文所提出的統一融合網絡（UCN）與其他三種典型方法相比較，5 項評價指標均為最好。由此可見，本文所提出的統一融合網絡的融合效果最好。

表1 融合實驗指標效果表

2.2 應用情況

通過上述研究可見，本文研究成果具備較好的融合效果，后續可利用其豐富的空間及光譜信息，更好地識別地形地物地貌等信息，為電網勘測領域業務應用發揮有效的作用。

1）勘測設計階段線路選優。圖6 所示為勘測設計線路優選示意圖，設計人員通過對衛星遙感圖像采用本文所述方法進行融合處理，結合電力選線參數對地形地貌、地面交通、植物覆蓋、地質災害等情況進行綜合分析。對建筑物及人口密集區、旅游景區、軍事區、機場、礦場等特殊區域，需進行選線規避。選線優化時，還需考慮地質是否滿足穩定條件、交通運輸是否方便、路徑是否相對其他方案最短等條件，最終形成最優選線方案。融合后的光譜特征信息能更好地識別地質特征，便于設計人員選線時更好地避開地質災害區域[20]。

圖6 線路選優示意圖

2）勘測設計階段變電站選址。圖7 所示為勘測設計變電站輔助選址示意圖，結合遙感圖像、已有變電站站址和線路數據，對站址的周邊地形地物進行分析識別，從而進行備選站點的選址。

圖7 變電站輔助選址示意圖

具體選址時，可根據本文提出的方法進行地形地物地貌有效識別，并綜合以下幾點進行考慮：

①地形滿足平坦條件，避開山坡等地形；地質條件穩定，無山體滑坡或塌陷隱患。

②避開旅游風景區、軍事區、自然保護區等特殊區域。

③減少耕地占用及房屋拆遷數量，節約用地。

④結合提升周邊經濟發展、國民生活質量、城市發展水平、工農業發展綜合考量設計。

⑤交通運輸方便。

3）量測斷面和優化排位。圖8 為量測斷面和優化排位示意圖，設計階段對每處塔位的選址設計需重點考慮其穩定性，避免存在山地滑坡或塌陷等風險。采用本文研究成果將全色圖像與多光譜圖像進行融合，可對塔位周邊的地質情況進行分析，有效避開地質災害隱患。同時，融合后的圖像可生成斷面圖，設計人員可更好地對桿塔進行排位優化，并可對選線線路路徑可行性進行更好的分析。

圖8 量測斷面和優化排位示意圖

3 結語

隨著衛星遙感技術持續發展，應用領域也越來越廣泛。通過多源遙感數據進行融合，已獲取更精確的光譜信息和清晰空間細節的高分辨率的高光譜圖像，提供更為精細化及準確的地形地貌地物特征識別，可作為較好的輔助測繪有效手段。基于此，本文提出一種基于人工智能卷積網絡及注意力機制的統一融合網絡。通過網絡中所設計的特征提取模塊、特征插入模塊、融合重構模塊，先將MS 和PAN 進行融合，生成高分辨率的MS 圖像；然后基于生成的MS 圖像與源HS 進行融合，生成最終的高分辨率目標HS 圖像。實驗結果表明，本文研究成果相比當前典型的FHP、FHM、FHMP 方法具備更好的融合效果。最后，結合電網勘測應用領域業務情況提出了研究展望，本文研究成果可在勘測設計階段線路選優、變電站選址、量測斷面和優化排位等方面發揮更有價值的作用。

未來，計劃研究進一步提高本融合網絡的泛化性，使之能更好地或更為低成本高性能地融合其他類型的遙感數據；同時，也計劃結合無人機的采集數據與星載數據進行融合研究，對某些勘測區域，可以通過無人機輔助采集的方式進行補充，將電網勘測數字化手段進一步進行擴展。