融合D O M 與D SM 數據的三維變化檢測算法

楊曉冬，嚴 華＊

（北京道達天際科技股份有限公司，北京 100000）

引言

遙感影像變化檢測是通過對比相同區域范圍的不同時相數據之間的差異，獲取變化信息的過程。逐步減少變化檢測過程中的人工干預，實現對遙感數據的自動化變化檢測更是研究熱點[1]。但地物變化有時不僅是表現在幾何特征與紋理特征上，其高程信息也很重要。對于單一數據源的建筑物提取與檢測，通常是有各種類型的缺陷，為獲取更加精確的建筑物輪廓，國內外學者們嘗試將二維地圖、衛星遙感影像、激光點云等多源數據進行融合，再進行建筑物的提取，可提高變化檢測結果的精度和可靠性。建筑物對象的三維變化檢測與發現，對城市擴張、建筑物拆建、城市更新、違法搭建、施工進度等進行動態監測和管理以及地理信息更新等具有重要意義[2]。

傳統三維變化檢測技術通過對兩個不同時期的DSM 計算差值，提取差值邊緣信息高程信息圖像相減法，方法簡單，效果較好，但其對目標先進行檢測，再分類的方法也會損失很多信息，降低數據精度，有可能出現很多噪聲[3-6]。本研究采用一種融合DOM（數字正射影像圖）與DSM（數字表面模型）的三維變化檢測算法。采用DC2GAN 模型融合DOM與DSM 數據，生成三維融合影像。使用融合影像訓練變化檢測Unet 模型，實現對三維變化類特征的學習。

1 基于DC2GAN 的DOM 與DSM 融合算法

利用GAN 網絡進行數字正射影像圖Digital OrthophotoMap（DOM）與數字表面模型（digital surface Model（DSM））的融合。

生成式對抗網絡（Generative Adversarial Network）簡稱GAN[7]，由生成器和判別器組成，通過讓生成器和判別器相互對抗的方式進行學習。生成器的目的是生成與真實樣本盡可能相似的樣本，而判別器的目的是盡可能區分真實樣本和生成樣本。兩個網絡目的不同，在相互對抗的過程中學習，最終在保證生成器可生成逼真樣本，且判別器能力可信的情況下完成學習。

近年來，生成對抗網絡已經開始應用于圖像融合研究中，Ma 等首先將生成對抗網絡應用于紅外與可見光圖像融合研究，提出一種基于生成對抗網絡的融合算法（FusionGAN）[8]?；诖吮狙芯刻岢鲆环N基于雙判 別 器 的DSM 與DOM 融 合 方 法（DC2GAN）。DC2GAN 將DSM 數據與可見光圖像在通道方向連接，作為生成器輸入，因此生成器生成的圖像一定程度上能夠保存DSM 高程信息與可見光圖像的背景信息。本研究采用DSM 影像作為DC2GAN 中生成器的輸入影像ZDSM，DOM 影像作為判別器的真實影像XDOM，三維融合影像GDSM-DOM作為該網絡中生成器的輸出?；驹砣缦拢?/p>

上述公式表示，從判別器D 的角度看，判別器盡可能區分真實樣本x 和生成樣本G(Z)，因此D(x)必須盡可能大，而D(G(Z))則盡可能小，即V(D,G)整體的值盡可能大。從生成器G 的角度看，生成器G 的目標是使自己生成的樣本G(Z)盡可能接近真實樣本x。

1.1 建立多尺度生成器

本研究提出的生成器結構是一個由4 個卷機與池化組合層、4 個全聯接的殘差網絡以及4 個反卷積層組成的，生成器結構見圖1。DSM 影像作為DC2GAN 中生成器的輸入影像ZDSM，生成器的輸出影像記為G(Z)。

圖1 DC2GAN 生成器結構

1.2 建立判別器

判別器共有5 個卷積層，通過逐層的卷積操作實現特征提取，網絡層間由激活函數連接，最終通過Sigmoid 函數得到判別結果。判別器的結構見圖2。生成器的輸出影像G(Z)與DOM 影像ZDOM作為判別器的輸入影像，輸出結果記為D(G(Z),ZDOM)。

圖2 DC2GAN 判別器結構

1.3 訓練網路

訓練DC2GAN 時，我們對生成器和判別器進行迭代訓練，通過不斷調整網絡參數，使其達到全局最優。公式(2)是生成器與判別器的關系函數，其中L(D)表示概率與標簽間的差異，我們使用它來衡量判別器的結果。L(G)表示生成樣本與真實樣本的差異，我們使用它來衡量生成器的結果。理想狀況下，L(D)與L(G)盡可能相近，至此訓練完成。

當DC2GAN 訓練完成后，網絡的參數也隨之固定。此時使用生成器網絡即可實現生成目標樣本的功能。三維融合影像生成結果見圖3。

圖3 使用DC2GAN 生成三維融合數據結果

2 基于Unet 的三維變化檢測

2.1 構建網絡

本方法選擇U-net 作為變化信息檢測的網絡模型，Unet 由兩部分構成，分別是左邊的編碼器和右邊的解碼器。編碼器遵循的是典型的卷積網絡架構。解碼器則是編碼器對應層級的反卷積。本技術中，我們設計模型的輸入矩陣大小為512×512×6，輸出矩陣大小為512×512×3。其中輸入數據是由變化前和變化后三維融合影像波段連接所構成。模型的輸出圖像為標注標簽的影像矩陣512×512×3。

2.2 訓練參數

構建網絡之后，首先對各個樣本進行前向傳播操作，前向傳播操作的公式如下∶

式中：net(l+1)是第l+1 層的輸入加權和；Wl是第l 層與第l+1 層之間的連接權重；xl是第l 層的節點值；bl是第l 層的偏置項。

在大氣溫度普遍維持在15到42攝氏度之間時，炭疽桿菌芽孢的形成速度會顯著增加，因此，牛羊最易患炭疽病的時間通常為每年的6月到8月之間，且此病受降雨量的影響較大。綜上所述，我們需要重視的是，想要有效預防及治療基于病原微生物影響導致的牛羊疾病，理應注重對各種病原微生物的生產、繁殖條件具有充分的掌握。

式中：f(·)是激活函數。

利用以上前向傳播公式，可得到第2 層、第3 層直到輸出層的節點值。為了求出能夠使得代價函數L(W,b)最小的參數W 和b，先計算輸出層Lnl的殘差：

式中：netnl是輸出層的輸入加權和。

對l=nl-1,nl-2,nl-3,...,2 的各個層，根據公式(6)計算它們的殘差：

然后，計算單個樣本的代價函數的偏導數：

接著計算所有樣本的代價函數的偏導數之和：

最后更新權重參數：

式中：α 是學習速率，λ 是權重衰減參數。

重復這些迭代步驟來減小代價函數L(W,b)的值，直到完成對模型的訓練。利用網絡結構與該模型權重，即可進行三維變化檢測。

3 實驗

3.1 實驗數據

實驗數據采用國產自主產權系列衛星，采用人工標注的方法，對城市地區的不同時期拍攝的二期影像變化區域進行標注。共1 000 組影像對，其中7 000對訓練影像，1 000 對驗證影像，2 000 對測試影像。

每組數據包含前時相遙感圖像，后時相遙感圖像以及對應的建筑變化標簽圖。影像格式為png，包含R、G、B 三個波段，影像尺寸為512×512×3 像素，分辨率為0.5～0.7 m。數據集樣例見圖4，每組數據包括前時向圖(image1)、后時相圖(image2)、變化標簽圖(label)，其中變化標簽中白色表示變化的建筑。

圖4 實驗數據樣例圖

3.2 評價指標

本研究使用基于混淆矩陣的方法計算準確率、精確率、完整率、檢測質量、Kappa 系數等作為精度評價方法[9]。

3.3 實驗分析

實驗以Pytorch 作為開發框架，在Tesla T4 上訓練了42 h。在實驗數據集上準確率為91%，Kappa 系數為0.86。且將本研究方法與其他基于神經網絡的先進變化檢測方法進行對比，結果見表1、圖5。

表1 實驗結果對比

從圖5 中可以看出，相比FCN 與SegNet 網絡Unet 網絡在預測結果少了一些“假陽性”結果，這些虛假變化主要出現在變化區域邊緣或圖像邊緣。而對三維信息融合數據進行變化檢測時，顯著提高了對這些“假陽性”特征的鑒別，提升了檢測的精確率。

圖5 不同方法實驗結果

4 結論

通過實驗可知，本研究方法與其他先進變化檢測方法相比取得了更高的準確率，且提取了更清晰的變化區域輪廓。融合了DSM 三維信息的變化檢測，對輻射變化不明顯的變化對象上仍可以取得非常好的效果；基于生成式對抗網絡的訓練對小樣本進行過采樣有利于解決類別不平衡問題。