融合D O M 與D SM 數(shù)據(jù)的三維變化檢測算法

楊曉冬，嚴 華＊

（北京道達天際科技股份有限公司，北京 100000）

引言

遙感影像變化檢測是通過對比相同區(qū)域范圍的不同時相數(shù)據(jù)之間的差異，獲取變化信息的過程。逐步減少變化檢測過程中的人工干預(yù)，實現(xiàn)對遙感數(shù)據(jù)的自動化變化檢測更是研究熱點[1]。但地物變化有時不僅是表現(xiàn)在幾何特征與紋理特征上，其高程信息也很重要。對于單一數(shù)據(jù)源的建筑物提取與檢測，通常是有各種類型的缺陷，為獲取更加精確的建筑物輪廓，國內(nèi)外學(xué)者們嘗試將二維地圖、衛(wèi)星遙感影像、激光點云等多源數(shù)據(jù)進行融合，再進行建筑物的提取，可提高變化檢測結(jié)果的精度和可靠性。建筑物對象的三維變化檢測與發(fā)現(xiàn)，對城市擴張、建筑物拆建、城市更新、違法搭建、施工進度等進行動態(tài)監(jiān)測和管理以及地理信息更新等具有重要意義[2]。

傳統(tǒng)三維變化檢測技術(shù)通過對兩個不同時期的DSM 計算差值，提取差值邊緣信息高程信息圖像相減法，方法簡單，效果較好，但其對目標先進行檢測，再分類的方法也會損失很多信息，降低數(shù)據(jù)精度，有可能出現(xiàn)很多噪聲[3-6]。本研究采用一種融合DOM（數(shù)字正射影像圖）與DSM（數(shù)字表面模型）的三維變化檢測算法。采用DC2GAN 模型融合DOM與DSM 數(shù)據(jù)，生成三維融合影像。使用融合影像訓(xùn)練變化檢測Unet 模型，實現(xiàn)對三維變化類特征的學(xué)習(xí)。

1 基于DC2GAN 的DOM 與DSM 融合算法

利用GAN 網(wǎng)絡(luò)進行數(shù)字正射影像圖Digital OrthophotoMap（DOM）與數(shù)字表面模型（digital surface Model（DSM））的融合。

生成式對抗網(wǎng)絡(luò)（Generative Adversarial Network）簡稱GAN[7]，由生成器和判別器組成，通過讓生成器和判別器相互對抗的方式進行學(xué)習(xí)。生成器的目的是生成與真實樣本盡可能相似的樣本，而判別器的目的是盡可能區(qū)分真實樣本和生成樣本。兩個網(wǎng)絡(luò)目的不同，在相互對抗的過程中學(xué)習(xí)，最終在保證生成器可生成逼真樣本，且判別器能力可信的情況下完成學(xué)習(xí)。

近年來，生成對抗網(wǎng)絡(luò)已經(jīng)開始應(yīng)用于圖像融合研究中，Ma 等首先將生成對抗網(wǎng)絡(luò)應(yīng)用于紅外與可見光圖像融合研究，提出一種基于生成對抗網(wǎng)絡(luò)的融合算法（FusionGAN）[8]。基于此本研究提出一種基于雙判 別 器 的DSM 與DOM 融 合 方 法（DC2GAN）。DC2GAN 將DSM 數(shù)據(jù)與可見光圖像在通道方向連接，作為生成器輸入，因此生成器生成的圖像一定程度上能夠保存DSM 高程信息與可見光圖像的背景信息。本研究采用DSM 影像作為DC2GAN 中生成器的輸入影像ZDSM，DOM 影像作為判別器的真實影像XDOM，三維融合影像GDSM-DOM作為該網(wǎng)絡(luò)中生成器的輸出。基本原理如下：

上述公式表示，從判別器D 的角度看，判別器盡可能區(qū)分真實樣本x 和生成樣本G(Z)，因此D(x)必須盡可能大，而D(G(Z))則盡可能小，即V(D,G)整體的值盡可能大。從生成器G 的角度看，生成器G 的目標是使自己生成的樣本G(Z)盡可能接近真實樣本x。

1.1 建立多尺度生成器

本研究提出的生成器結(jié)構(gòu)是一個由4 個卷機與池化組合層、4 個全聯(lián)接的殘差網(wǎng)絡(luò)以及4 個反卷積層組成的，生成器結(jié)構(gòu)見圖1。DSM 影像作為DC2GAN 中生成器的輸入影像ZDSM，生成器的輸出影像記為G(Z)。

圖1 DC2GAN 生成器結(jié)構(gòu)

1.2 建立判別器

判別器共有5 個卷積層，通過逐層的卷積操作實現(xiàn)特征提取，網(wǎng)絡(luò)層間由激活函數(shù)連接，最終通過Sigmoid 函數(shù)得到判別結(jié)果。判別器的結(jié)構(gòu)見圖2。生成器的輸出影像G(Z)與DOM 影像ZDOM作為判別器的輸入影像，輸出結(jié)果記為D(G(Z),ZDOM)。

圖2 DC2GAN 判別器結(jié)構(gòu)

1.3 訓(xùn)練網(wǎng)路

訓(xùn)練DC2GAN 時，我們對生成器和判別器進行迭代訓(xùn)練，通過不斷調(diào)整網(wǎng)絡(luò)參數(shù)，使其達到全局最優(yōu)。公式(2)是生成器與判別器的關(guān)系函數(shù)，其中L(D)表示概率與標簽間的差異，我們使用它來衡量判別器的結(jié)果。L(G)表示生成樣本與真實樣本的差異，我們使用它來衡量生成器的結(jié)果。理想狀況下，L(D)與L(G)盡可能相近，至此訓(xùn)練完成。

當DC2GAN 訓(xùn)練完成后，網(wǎng)絡(luò)的參數(shù)也隨之固定。此時使用生成器網(wǎng)絡(luò)即可實現(xiàn)生成目標樣本的功能。三維融合影像生成結(jié)果見圖3。

圖3 使用DC2GAN 生成三維融合數(shù)據(jù)結(jié)果

2 基于Unet 的三維變化檢測

2.1 構(gòu)建網(wǎng)絡(luò)

本方法選擇U-net 作為變化信息檢測的網(wǎng)絡(luò)模型，Unet 由兩部分構(gòu)成，分別是左邊的編碼器和右邊的解碼器。編碼器遵循的是典型的卷積網(wǎng)絡(luò)架構(gòu)。解碼器則是編碼器對應(yīng)層級的反卷積。本技術(shù)中，我們設(shè)計模型的輸入矩陣大小為512×512×6，輸出矩陣大小為512×512×3。其中輸入數(shù)據(jù)是由變化前和變化后三維融合影像波段連接所構(gòu)成。模型的輸出圖像為標注標簽的影像矩陣512×512×3。

2.2 訓(xùn)練參數(shù)

構(gòu)建網(wǎng)絡(luò)之后，首先對各個樣本進行前向傳播操作，前向傳播操作的公式如下∶

式中：net(l+1)是第l+1 層的輸入加權(quán)和；Wl是第l 層與第l+1 層之間的連接權(quán)重；xl是第l 層的節(jié)點值；bl是第l 層的偏置項。

在大氣溫度普遍維持在15到42攝氏度之間時，炭疽桿菌芽孢的形成速度會顯著增加，因此，牛羊最易患炭疽病的時間通常為每年的6月到8月之間，且此病受降雨量的影響較大。綜上所述，我們需要重視的是，想要有效預(yù)防及治療基于病原微生物影響導(dǎo)致的牛羊疾病，理應(yīng)注重對各種病原微生物的生產(chǎn)、繁殖條件具有充分的掌握。

式中：f(·)是激活函數(shù)。

利用以上前向傳播公式，可得到第2 層、第3 層直到輸出層的節(jié)點值。為了求出能夠使得代價函數(shù)L(W,b)最小的參數(shù)W 和b，先計算輸出層Lnl的殘差：

式中：netnl是輸出層的輸入加權(quán)和。

對l=nl-1,nl-2,nl-3,...,2 的各個層，根據(jù)公式(6)計算它們的殘差：

然后，計算單個樣本的代價函數(shù)的偏導(dǎo)數(shù)：

接著計算所有樣本的代價函數(shù)的偏導(dǎo)數(shù)之和：

最后更新權(quán)重參數(shù)：

式中：α 是學(xué)習(xí)速率，λ 是權(quán)重衰減參數(shù)。

重復(fù)這些迭代步驟來減小代價函數(shù)L(W,b)的值，直到完成對模型的訓(xùn)練。利用網(wǎng)絡(luò)結(jié)構(gòu)與該模型權(quán)重，即可進行三維變化檢測。

3 實驗

3.1 實驗數(shù)據(jù)

實驗數(shù)據(jù)采用國產(chǎn)自主產(chǎn)權(quán)系列衛(wèi)星，采用人工標注的方法，對城市地區(qū)的不同時期拍攝的二期影像變化區(qū)域進行標注。共1 000 組影像對，其中7 000對訓(xùn)練影像，1 000 對驗證影像，2 000 對測試影像。

每組數(shù)據(jù)包含前時相遙感圖像，后時相遙感圖像以及對應(yīng)的建筑變化標簽圖。影像格式為png，包含R、G、B 三個波段，影像尺寸為512×512×3 像素，分辨率為0.5～0.7 m。數(shù)據(jù)集樣例見圖4，每組數(shù)據(jù)包括前時向圖(image1)、后時相圖(image2)、變化標簽圖(label)，其中變化標簽中白色表示變化的建筑。

圖4 實驗數(shù)據(jù)樣例圖

3.2 評價指標

本研究使用基于混淆矩陣的方法計算準確率、精確率、完整率、檢測質(zhì)量、Kappa 系數(shù)等作為精度評價方法[9]。

3.3 實驗分析

實驗以Pytorch 作為開發(fā)框架，在Tesla T4 上訓(xùn)練了42 h。在實驗數(shù)據(jù)集上準確率為91%，Kappa 系數(shù)為0.86。且將本研究方法與其他基于神經(jīng)網(wǎng)絡(luò)的先進變化檢測方法進行對比，結(jié)果見表1、圖5。

表1 實驗結(jié)果對比

從圖5 中可以看出，相比FCN 與SegNet 網(wǎng)絡(luò)Unet 網(wǎng)絡(luò)在預(yù)測結(jié)果少了一些“假陽性”結(jié)果，這些虛假變化主要出現(xiàn)在變化區(qū)域邊緣或圖像邊緣。而對三維信息融合數(shù)據(jù)進行變化檢測時，顯著提高了對這些“假陽性”特征的鑒別，提升了檢測的精確率。

圖5 不同方法實驗結(jié)果

4 結(jié)論

通過實驗可知，本研究方法與其他先進變化檢測方法相比取得了更高的準確率，且提取了更清晰的變化區(qū)域輪廓。融合了DSM 三維信息的變化檢測，對輻射變化不明顯的變化對象上仍可以取得非常好的效果；基于生成式對抗網(wǎng)絡(luò)的訓(xùn)練對小樣本進行過采樣有利于解決類別不平衡問題。