融合多源影像的全球地理環(huán)境智能三維重建

摘" 要：首先回顧我國立體測繪衛(wèi)星的發(fā)展現(xiàn)狀，指出人工智能技術是實現(xiàn)全球地理環(huán)境三維重建與快速更新的關鍵。針對境外地理環(huán)境三維空間表達能力不足的問題，提出融合光學立體測量與合成孔徑雷達干涉測量的地表及典型地物三維重建解決方案，旨在利用人工智能技術實現(xiàn)多源影像的融合，推動全球地理環(huán)境三維動態(tài)監(jiān)測技術的發(fā)展。

關鍵詞：測繪衛(wèi)星；多源影像融合；人工智能；三維重建；光學立體測量；合成孔徑雷達干涉測量

中圖分類號：P231" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2023）10-0001-04

Abstract： Firstly， the development of stereo surveying and mapping satellites in China is reviewed. Next， artificial intelligence （AI） is pointed out as the key to achieve global geo-environmental 3D reconstruction and rapid update. Subsequently， in order to acquire the precise 3D model of overseas geographical environment， a 3D reconstruction method based on optical stereo measurement and Interferometric Synthetic Aperture Radar （InSAR） is proposed to obtain the accurate model of earth surface and typical object. The objective is to promote the development of global geo-environment 3D dynamic monitoring technology by multi-modal image fusion using AI.

Keywords： surveying and mapping satellite; multi-source image fusion; artificial intelligence （AI）; 3D reconstruction; optical stereo measurement; Interferometric Synthetic Aperture Radar （InSAR）

全球地理環(huán)境信息獲取與三維重建主要依托航天測繪衛(wèi)星，我國正在運行的測繪衛(wèi)星系統(tǒng)包括高分系列、資源系列和天繪系列等，主要涵蓋光學立體測繪衛(wèi)星與合成孔徑雷達干涉測繪衛(wèi)星2大類[1]。2010年發(fā)射的天繪一號光學立體測繪衛(wèi)星，星下點回歸周期58 d；2012年發(fā)射的資源三號光學立體測繪衛(wèi)星，星下點回歸周期59 d；2019年發(fā)射的天繪二號微波干涉測繪衛(wèi)星，回歸周期19 d；2019年發(fā)射的高分七號光學立體測繪衛(wèi)星，回歸周期59 d[2]。這些衛(wèi)星能夠提供米級定位精度的全球地理環(huán)境監(jiān)測能力，但衛(wèi)星稀疏，重訪周期為月級，難以實現(xiàn)地理環(huán)境的快速更新與三維精細建模[3-4]。如何有效整合并利用不同類型的測繪衛(wèi)星資源，融合多源數(shù)據實現(xiàn)境外地理環(huán)境動態(tài)監(jiān)測與三維建模是亟待解決的難題。

1" 解決方案

目前，我國的境外基礎地理環(huán)境產品主要是二維正射影像、數(shù)字高程模型和數(shù)字線畫圖，缺乏對境外地理環(huán)境三維模型的表達能力[5]。針對“境外地理環(huán)境三維空間表達能力不足”的問題，本文提出融合光學立體影像測量技術與合成孔徑雷達干涉測量（InSAR）技術的境外地理環(huán)境三維建模方案，基本流程如圖1所示。首先，利用基于卷積神經網絡（Convolutional Neural Network， CNN）的多視光學影像密集匹配方法完成精細的地表三維建模；其次，為了克服單一數(shù)據源存在的弊端，利用生成對抗網絡（Generative Adversarial Nets， GAN）融合多源三維模型的優(yōu)勢，獲取高精度與高完整性的地表三維模型；最后，在地表三維模型的基礎上進行典型地物的單體化建模，并通過三維模型的變化檢測實現(xiàn)境外地理環(huán)境的快速更新與應用（如：打擊效果評估）。

1.1" 基于CNN的多視光學影像地表三維模型重建

多視光學影像三維重建的核心為多視密集匹配技術，與傳統(tǒng)的立體匹配方法不同，基于CNN的多視三維重建方法不再借助于核線影像和視差，而是直接從原始影像出發(fā)，以1張中心影像和幾張輔助影像作為輸入，通過端到端的學習方式全自動地得到中心影像的深度圖[6-7]。針對現(xiàn)有深度學習密集匹配方法預測模型尺度小、分辨率低和顯存占用大等問題，采用一種適用于大規(guī)模多視影像重建的深度學習網絡模型[8]，如圖2（a）所示。該網絡首先利用一系列權重共享的卷積層，分別從任意數(shù)量的多視影像中提取結構特征，重點是在CNN模型中嵌入不同成像機理影像（如：面陣衛(wèi)星影像、線陣衛(wèi)星影像）的成像幾何關系，并針對特定的透視變換模型或有理函數(shù)模型設計平面掃描映射方法，構建關聯(lián)特征間的代價圖；然后，通過如圖2（b）所示的循環(huán)編碼、解碼結構，依次在深度和空間方向上學習規(guī)則化深度圖，在提高計算效率的同時可以捕獲多視影像中更加精細的地表三維結構；最后，通過損失函數(shù)進行深度推理。

利用訓練好的深度學習模型對多視影像進行深度推理與三維建模，輸入為一組多視影像和其對應的位姿參數(shù)，輸出對應于參考影像上每個像素點的深度估計值。根據深度估計值和已知的參考影像位姿信息，將參考影像上每個像素點利用成像幾何方程投影至三維物方空間，即可得到點云或規(guī)則格網構成的三維模型。

1.2" 基于GAN的多源地表三維模型融合

合成孔徑雷達干涉測量（InSAR）利用成像高度、雷達波長、波束視向及天線基線之間的幾何關系，能夠精確測量出干涉圖上每一個點的三維信息[9]。InSAR技術的優(yōu)勢在于能夠全天時、全天候和大范圍地獲取高精度、高分辨率的地表三維模型，特別適用于難以獲取光學影像、自然環(huán)境惡劣地區(qū)的地形測量[10]。因此，融合光學立體測量模型、合成孔徑雷達干涉測量模型和歷史模型等多源三維模型，既可以優(yōu)勢互補地提升三維地表模型的精細程度，又提高了三維模型在不同類型地形區(qū)域的連續(xù)性。

考慮到多源三維模型融合無法獲取大批量的參考標簽數(shù)據，難以利用基于深度神經網絡的監(jiān)督型學習方法實現(xiàn)[11]。生成對抗網絡（GAN）通過雙框架結構構建了內部監(jiān)督機制，具備解決復雜分布問題的非監(jiān)督學習能力[12]。GAN由生成器和判別器2部分組成，原理如圖3所示。在三維點云模型融合領域，生成器主要通過深度卷積神經網絡等擬合方法逼近融合模型的數(shù)據分布，即學習多個輸入三維模型與融合模型之間的映射關系，主要表現(xiàn)為生成以假亂真的融合模型；而判別器則利用卷積神經網絡區(qū)分生成模型與真實模型，通過迭代競爭使生成器學習最優(yōu)融合模型的生成規(guī)律。

通過引入基于卷積神經網絡的GAN方法，可以有效地提高地表三維模型的融合精度與效率，整合各類測繪衛(wèi)星資源，提高境外地理環(huán)境動態(tài)監(jiān)測的更新速率。

1.3" 典型地物的個體化建模與應用

在地表三維模型的基礎上重建建筑物、橋梁等典型地物的個體化模型在地理環(huán)境保障中具有重要意義[13]。大部分現(xiàn)有研究僅局限于典型地物在二維圖像上的識別和提取。本文在已有三維地表模型的基礎上，綜合利用基于深度學習的圖像分割、規(guī)則化等二維圖像地物矢量化提取結果[14]，實現(xiàn)建筑物等典型地物的個體化三維建模，構建與感興趣區(qū)域完全相同的數(shù)字孿生模型。通過多時相數(shù)據，進一步構建感興趣區(qū)域的四維時空特征表達，實現(xiàn)三維模型快速動態(tài)監(jiān)測。

以建筑物打擊效果評估為例進行說明，將打擊區(qū)域的兩期三維模型作為輸入，通過對比打擊前后建筑物單體模型的變化，計算每個建筑物的受打擊情況，統(tǒng)計打擊損傷超過50%的單體建筑物總數(shù)量、總被打擊的建筑物體積等指標，既能夠獲取單點打擊（如某個特定建筑物）的定量評估，也可以獲得面打擊（整個打擊目標區(qū)域）的定量分析[15]。如圖4所示，通過對比打擊前后三維模型上建筑群的變化趨勢（如：建筑物總體數(shù)量變化，每個單體建筑物的長、寬和高的尺寸變化），即可實現(xiàn)定量的建筑群三維打擊效果評估，為決策部門提供支撐。

2" 結束語

針對我國境外地理空間產品難以突破“二維化”的問題，本文提出利用卷積神經網絡（CNN）、生成對抗網絡（GAN）等深度學習方法，實現(xiàn)融合光學立體測量與合成孔徑雷達干涉測量的地表及典型地物三維重建與動態(tài)監(jiān)測。如何將數(shù)量更多、不具備立體成像條件的遙感衛(wèi)星影像融入智能三維重建流程是未來的研究方向。

參考文獻：

[1] 郭思悅.基于衛(wèi)星遙感影像的三維重建技術研究[D].哈爾濱：哈爾濱工程大學，2018.

[2] 郭楠，趙輝.高分辨率衛(wèi)星影像定位精度分析方法及RPC參數(shù)的精化研究[J].信息技術與信息化，2020（5）：100-102.

[3] 潘雪琛，姜挺，余岸竹，等.基準影像數(shù)據輔助遙感影像幾何定位[J].遙感學報，2019，23（4）：673-684.

[4] 余岸竹.高分辨率遙感影像幾何定位精度提升技術研究[D].鄭州：戰(zhàn)略支援部隊信息工程大學，2017.

[5] 朱丹.基于高分辨率遙感影像的地形三維重建關鍵技術研究[D].成都：電子科技大學，2017.

[6] 郁錢，路金曉，柏基權，等.基于深度學習的三維物體重建方法研究綜述[J].江蘇理工學院學報，2022，28（4）：31-41.

[7] 吳禹萱.基于可見光多視圖像的三維重建關鍵技術研究[D].成都：電子科技大學，2022.

[8] LIU J， JI S. A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction from An Open Aerial Dataset[C]//In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020：6050-6059.

[9] 龔高太，李佳豪，周呂，等.時序InSAR北京地區(qū)地表沉降監(jiān)測與分析[J].測繪通報，2022（9）：123-128.

[10] 王劉宇.聯(lián)合SAR影像相位和強度信息的礦區(qū)形變監(jiān)測關鍵技術研究[J].測繪學報，2022，51（9）：1980.

[11] 常寒星.基于生成對抗網絡的三維點云形狀修復算法研究[D].鄭州：鄭州大學，2020.

[12] 鄧武鵬.生成對抗網絡下點云模型的三維重建與目標識別研究[D].武漢：武漢理工大學，2019.

[13] 余和順.基于影像密集匹配點云的單體建筑物提取和重建研究[D].南昌：東華理工大學，2021.

[14] JI S， WEI S， LU M. Fully convolutional networks for multisource building extraction from an open aerial and satellite imagery data set[J]. IEEE Transactions on Geoscience and Remote Sensing，2018，57（1）：574-586.

[15] ZHOU Z， GONG J， HU X. Community-scale multi-level post-hurricane damage assessment of residential buildings using multi-temporal airborne LiDAR data[J]. Automation in Construction，2019（98）：30-45.