多通道U型網絡遙感影像變化檢測

杜行奇

(1.三峽大學 湖北省水電工程智能視覺監測重點實驗室，湖北 宜昌 443002；2.三峽大學 計算機與信息學院，湖北 宜昌 443002)

0 引言

遙感變化檢測是通過分析同一位置不同時相的遙感影像來獲取地表變化信息的過程,是對地觀測應用的關鍵技術,在環境監測、災害評估、城市研究等領域有著廣泛的應用[1-2]。隨著遙感技術的不斷發展,遙感影像的空間分辨率不斷提高。高分辨率遙感影像能夠提供更加豐富的地物信息和細節信息,地物的尺寸、形狀和鄰域關系得到更好地反映,極大地擴展了遙感變化檢測的應用領域。

近年來,一些遙感學者嘗試通過深度學習方法進行變化檢測研究,并取得了一定的研究成果[3]。許多經典神經網絡已被應用到遙感變化檢測任務,并取得不錯的檢測效果。文獻[4]采用Deeplab網絡作為主干網,對比時序影像差異得到了變化檢測范圍,為自動化變化檢測提供了解決方案。文獻[5]利用時空融合模型重建遙感影像,并采用迭代加權多元變化檢測算法對影像進行變化檢測,得到了精度較高的變化檢測精度。文獻[6]提出了一種雙注意力機制的全卷積暹羅網絡,可以捕獲特征間的依賴關系,獲得更多特征表達。結合加權雙邊際對比損失函數解決樣本不平衡問題,提高變化檢測精度。文獻[7]使用改進的雙峰分裂閾值法對建筑物產生的陰影等做檢測和去除,并結合隨機森林方法對研究區域內地物進行分類,根據分類結果進行變化檢測。

盡管許多深度學習方法的改進中使用了注意力機制[8]、多尺度特征融合[9-10]、改進特征提取網絡結構[11-12]等操作來提高變化檢測精度并降低參數量,但大多數方法是針對提取到的特征來進行分析和分類,許多特征已經在下采樣過程中丟失。U型網絡(Unet)[13]最早應用于醫學影像分割中,近年來越來越多的研究人員將其運用到各種各樣的圖像處理任務中。以Unet為基礎網絡,增加多層次級聯的增強U型網絡(Unet++)[14]、上采樣之前經過多尺度特征融合的特征金字塔網絡[10]等都是以Unet為基本特征提取網絡而改進的U型網絡。本文基于Unet模型提出了一種多通道、多尺度融合的U型深度網絡——MCFFNet。以Unet為基礎結構,將其擴展為雙通道網絡結構。每次下采樣時,都會使用雙池化操作級聯上層信息融合至本層。同時增加通道3以提取不同于通道1、2的全局特征。每次進行下采樣時都會生成相應尺度的預分類影像來凸顯變化區域,生成的多尺度預分類影像會將差異信息分為變化、非變化、不確定類并增強不確定類的比重進而增強網絡辨別變化區域的能力。

1 研究方法

1.1 網絡結構

在使用Unet模型進行訓練時,5層下采樣操作之間相對獨立,下層的輸入完全來自上層的輸出,隨著網絡層數的不斷增加,眾多的中間過程會產生較多的累積誤差。因此,本文使用雙池化結構增加上下層的聯系,并且每一次下采樣都生成相應尺度的預分類特征圖,以降低特征提取過程中的累積誤差。另外,單獨5個下采樣層提取到的影像特征有限,所以本文將Unet擴展為雙通道,用于分別提取兩時期影像特征,然后又增加了第3通道提取不同于1、2通道的其他特征,深入挖掘影像多尺度特征。

圖1為本實驗方法MCFFNet的網絡結構,是一種標準的編碼器-解碼器結構,其中主要包括三部分:① 多通道特征提取框架;② 預分類模塊; ③ 多特征融合上采樣部分。多個通道可以提取影像不同類型的特征,上采樣時所融合的特征中包含比較豐富的變化部分的特征及淺層特征。另外,每層下采樣時使用雙池化操作可以減少特征丟失,增強變化部分的特征表達。增加預分類模塊可以將淺層特征信息和每個尺度下的差異信息通過長連接復制到相應尺度的上采樣部分,補償下采樣提取深度特征時的特征損失。下采樣結束后,將提取到的特征融合然后不斷反卷積,并在此過程中加入相應尺度的差異信息,最后一層上采樣之后再經過一次卷積然后使用Sigmoid函數激活得到單次最終變化檢測結果圖。

圖1 MCFFNet網絡結構Fig.1 MCFFNet network structure

1.2 多通道特征提取框架

傳統的Unet只有單個通道,一種特征提取模式,提取特征比較固定且容易丟失,而大多數雙通道網絡共享參數,提取到的特征多樣化程度有限。為了解決這一問題,本文提出了由通道1、2、3以及雙池化組成的多通道特征提取結構,其中通道1、2與Unet編碼模塊結構相同。

通道3注重提取與通道1、2不同的全局特征,使用不同的特征提取結構和激活方式。通道1、2使用連續的3×3卷積核擴大感受野,在通道3上本文加入了4×4卷積核對圖像進行卷積,而后使用2次3×3卷積,與主通道相比擴大了感受野且卷積核數量從32開始,每次卷積時卷積核個數翻倍,一直到第5層卷積的512個通道。在此通道,本文用多層小卷積核取得了使用6×6卷積核一樣的效果,但參數量大大降低并且增加了函數非線性程度,使判決函數更有判決性。同時每層卷積后使用Elu函數[15]激活,此函數不同于主通道使用ReLU函數,其激活范圍更廣并且不存在神經元失活問題,可以縮短訓練時間并提高精度。使用雙池化操作主要是解決單一模式的池化方法會丟失部分圖像特征的問題。卷積提取特征時,在每一層的最后一次卷積之后會進行平均池化和最大池化雙池化操作,然后將雙池化后的特征融合作為下次下采樣的輸入,之后的每層都會有此操作。2種池化方式結合進行下采樣會得到全局特征、細節特征、位置特征和空間特征融合的豐富特征影像。

通道1、2提取特征時,每次下采樣得到的不同尺度特征圖都會級聯在一起,而上采樣得到的信息是從深層特征反卷積而來,這時融合下采樣過程中的淺層特征會豐富影像特征,可以賦予影像深淺層的特征信息。

1.3 差異特征模塊

增加差異特征信息可以強化變化區域,抑制偽變化,并可以有效地提高變化檢測精度,所以在本實驗中增加了差異特征提取模塊。在第一層卷積后通道1、2分別得到大小為256 pixel×256 pixel×32 pixel的特征圖,用式(1)進行運算后可以分出變化類、不變類,將其分別置為0和1而不確定類保持原值,置為0或1后的值對后續參數更新影響極小,促使網絡更加關注于不易區分變化的數據、有較強的變化區域區分能力。

(1)

式中:i為1、2、3、4、5,Ai(out)為通道1第i個卷積模塊的輸出,Bi(out)為通道2第i個卷積模塊的輸出。

通道1、2每次下采樣都使用預分類模塊,下采樣過程結束后可以生成5種尺度的差異特征圖。當進行上采樣操作時,反卷積操作會先將接收到的上層特征圖恢復部分大小,然后將對應尺度的預分類信息融入其中進而凸顯變化區域,抑制偽變化,以達到提高變化檢測精度的目的。

1.4 損失函數

本文中,使用基于二元交叉熵和Dice的混合損失函數[16](Loss),在上采樣的最后得到變化概率后根據真實變化圖計算損失,然后再通過反向傳播來迭代訓練網絡中的參數直到滿足迭代停止條件時停止迭代,保存迭代停止時參數用于生成變化檢測圖。損失函數如下:

Loss=Lbce+λLDice,

(2)

式中:Lbce為二元交叉熵損失函數,LDice為Dice損失函數,λ為平衡這2個損失函數的系數,在本實驗中取0.5。

(3)

(4)

Lbce=Lbce1-Lbce2,

(5)

式中:β為未變像素在影像中所占比重,Y+、Y-分別為真實標簽圖像中變化像素和不變像素的數量,Pr(.)為像素j處經過Sigmoid層激活后的輸出,yj為第j個像素的值。

(6)

2 實驗結果與分析

2.1 實驗數據

為了檢驗所構建網絡的特征提取能力及變化檢測精度,本文使用CDD季節變化數據集和WHU建筑物變化數據集進行本次實驗。

① CDD數據集在文獻[17]中首次使用并公開,此數據集是變化檢測領域最常用的數據集之一。數據集由谷歌地球獲得7對分辨率為4 725 pixel×2 700 pixel的季節變化圖像。根據實際情況手動分為4個季節的變化圖像,分割獲得了13 000幅大小為256 pixel×256 pixel×3 pixel的影像。每幅影像包括兩時期的遙感影像及兩時期遙感影像的真實變化圖,空間分辨率為0.03～1 m,其中訓練集為10 000幅,測試集為3 000幅。

② WHU建筑物數據集來源于文獻[18],該數據集包含了近20萬km2區域的12 796棟建筑,影像主要關注自2011年發生自然災害重建后的區域。數據集包含2對高分辨率遙感影像,分辨率分別為21 243 pixel×15 354 pixel、11 265 pixel×15 354 pixel,并且該數據集只關注建筑物的變化部分,忽略了非建筑物變化部分。為了訓練方便、快速,本文將2幅高分辨率遙感影像裁剪成256 pixel×256 pixel,裁剪后的數據集中包括訓練集600對影像,測試集613對影像。

2.2 實驗設計

為評估MCFFNet變化檢測方法的性能,在2組數據集上與7種近年來比較先進且有代表性的變化檢測算法進行對比,包括:STANet、Unet++、Unet、DSIFN、Unet++MSOF、DASNet、DifUnet++。其中,Unet為U型網絡的基礎網絡, Unet++MSOF、Unet++、DifUnet++則是基于Unet的變形與改進,其他對照方法改進來源非Unet。實驗中使用Adam[19]優化器,學習率設置為1×10-5,訓練批次為4,訓練150輪后模型逐漸收斂。

對于實驗評價指標,本文選用了變化檢測領域常用的精度評價指標,包括準確率(Accuracy,Acc):分類正確的正樣本個數占分類器分成的所有正樣本個數的比例;精確率(Precision,Pre):以預測結果為依據,預測為正例的樣本中正確的像素所占比例;召回率(Recall,Rec):實際樣本為依據,正例樣本中,被預測正確的正例占總實際正例樣本的比例;F1值:平衡精確率和召回率。4種精度評價方法。

3 實驗結果與分析

3.1 CDD數據集

表1給出了8種不同方法在CDD數據集上的變化檢測定量精度指標。圖2給出了8種不同方法的部分實驗結果,本文從每個方法中選取同樣的3張變化檢測結果,分別編號①～③,7種對照方法分別編號(a)～(g),(h)為本實驗方法,(i)為影像真實標簽。由表1可以看出,本文方法MCFFNet獲得了4種評價指標最高值,其中綜合評價指標F1值比精度最高的對照方法高出3.99%,比基礎網絡Unet高出13.08%。

表1 CDD數據變化檢測定量指標

圖2 各算法關于CDD數據的變化檢測實驗結果Fig.2 Change detection experiment results of various algorithms on CDD data

實驗中的大多數方法可以將影像大致的變化區域與非變化區域區分開,STANet方法變化檢測精度較低,只能檢測出部分變化區域,并且變化區域相對模糊,缺失了較多的細節信息,其雙注意力機制處理細微變化部分效率相對較低,所以其召回率和精確率都相對較低。Unet++和Unet方法可以恢復變化區域大致范圍但特征提取能力不強,特征丟失較多。DSIFN可以檢測出變化部分輪廓,但內部細節部分丟失較多,無法像DifUnet++方法在檢出變化部分輪廓的同時對細節變化部分仍有較好效果。Unet++MSOF網絡注重深淺層特征信息融合,可以將細節部分檢測出來,但難以區分大面積變化區域間的非變化區域。DASNet方法可以比較清晰地區分變與不變類,但精細化程度不高,因丟失了較多細節信息導致召回率也相對較低。

3.2 WHU建筑物數據集

圖3給出了8種算法關于WHU建筑物數據集的變化檢測結果。表2給出了各方法關于WHU建筑物數據集的變化檢測定量指標。在此數據集中,所提出的MCFFNet明顯優于其他7種對比網絡。由圖3可以看出,其能夠檢測出絕大部分變化區域,錯檢漏檢相對較少,在表2中其F1值達到了91.00%,比DifUnet++要高出3.38%,比DASNet高出8.12%。4種評價指標均在此建筑物變化檢測數據集中達到最高。

表2 WHU數據集變化檢測定量指標

圖3 各算法關于WHU數據的變化檢測實驗結果Fig.3 Change detection experiment results of various algorithms on WHU data

由圖3和表2可以看出,DASNet在此數據集中表現不佳,其變化檢測結果中出現了大量的錯檢區域,由于建筑物數據集只關注建筑物變化部分,所有在經過注意力機制后全部的變化區域將會被加強,所以錯檢、漏檢區域相應較多。STANet使用的雙注意力機制可以強化變化區域,所以錯檢相對較少但漏檢較多。Unet++方法變化檢測精度略有提升,錯檢比例相對DASNet方法減少了很多,并且其錯檢、漏檢均限定在一定范圍。DifUnet++和DSIFN在此數據集上仍然表現良好,在3幅實驗影像中都能檢測出絕大部分變化區域并且錯檢相對較少,無大面積錯檢、漏檢區域。

4 總結與討論

本文提出了一種多通道、多尺度特征融合的深度U型網絡MCFFNet應用于遙感影像變化檢測任務中,使用遙感影像變化檢測領域常用數據集——CDD數據集和WHU建筑物數據集驗證了本方法的優異性,結論如下:

① 實驗中擴展單通道Unet為雙通道,然后加入通道3提取不同于通道1、2的特征,2種特征提取方式及雙池化結構構成了多通道特征提取框架。在每次下采樣過程中利用通道1、2來提取2幅影像的差異特征并將其分為變化、不變、不確定的3類預分類圖用于凸顯變化區域,并在上采樣過程中級聯至上采樣部分補償深層特征損失。多通道特征提取可以保證提取到的影像特征信息豐富,做到將絕大多數的變化部分特征提取出來。多種特征恢復措施使得網絡可以區分較為精細的特征,做到大面積變化區域不錯分、小變化區域不漏檢。實驗證明,此多通道特征提取框架可以有效提取圖像全局和細節特征,有效提高了變化檢測精度。

② 所提出的MCFFNet方法在CDD和WHU兩個數據集上均取得了相對最優實驗結果,在STANet、Unet++、Unet、DSIFN、Unet++MSOF、DASNet、DifUnet++這7種對照方法中獲得了最高精度,4種精度評價指標均最高。

5 結束語

在基于深度學習的遙感影像變化檢測方法中,影像深度特征的提取、深淺層特征融合以及變化區域的準確、完整提取是該領域中比較重要的研究方向。目前多數網絡特征提取能力弱、無法做到多尺度特征融合,限制了變化檢測精度的提高。本文提出的基于深度U型網絡的遙感影像變化檢測方法經過多種數據集驗證表明,其可以有效提取影像深層特征;使用的預分類模塊有力地提升了網絡區分變與不變的能力;雙池化結構加強了卷積層之間的聯系,多次連續卷積產生的累積誤差得以降低。經過上采樣多尺度特征融合后,在多種數據集上得到了較優的變化檢測結果。

在后續的研究中將針對如何降低訓練集規模、自動選擇少量重要樣本并得到精度較高的變化檢測結果進行一系列實驗。