基于深度學(xué)習(xí)和超像元分割的遙感影像變化檢測(cè)方法研究

張榮卉

（1.安徽省基礎(chǔ)測(cè)繪信息中心，安徽 合肥 230031；2.自然資源安徽省衛(wèi)星應(yīng)用技術(shù)中心，安徽 合肥 230031）

現(xiàn)階段，衛(wèi)星遙感影像分辨率不斷提高，與中低分辨率遙感影像變化檢測(cè)相比，雖然高分辨率遙感影像呈現(xiàn)了更多的細(xì)節(jié)信息，但是變化和未變化區(qū)域之間的可分性降低、提取難度反而提高。在遙感數(shù)據(jù)源增多、遙感影像空間分辨率提高以及地物細(xì)節(jié)豐富的前提下，傳統(tǒng)的基于遙感影像的變化檢測(cè)主要對(duì)不同時(shí)期影像的監(jiān)督分類結(jié)果進(jìn)行分析，不僅需要利用繁重的人工目視解譯工作，還不能保證變化檢測(cè)精度。深度學(xué)習(xí)技術(shù)可以從海量數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征，適應(yīng)遙感影像變化的不同情況，因此，在遙感影像變化檢測(cè)中得到越來越廣泛的應(yīng)用[3]。超像元分割是圖像處理的一種方法，本質(zhì)上是指對(duì)一些顏色、紋理或梯度等特征像素進(jìn)行局部聚類的過程。將超像元分割技術(shù)用于優(yōu)化深度學(xué)習(xí)變化檢測(cè)方法[1-2]，使其基于神經(jīng)網(wǎng)絡(luò)的像素預(yù)測(cè)和基于對(duì)象級(jí)的約束，能夠使變化檢測(cè)結(jié)果更合理[7]。

1 數(shù)據(jù)源概況

安徽省地貌以平原、丘陵和低山為主，坡地面積較大，地物細(xì)節(jié)豐富，在遙感影像上表現(xiàn)極為復(fù)雜。該文制作變化檢測(cè)樣本的數(shù)據(jù)源分別是2020年四季度和2021年四季度、分辨率為2m的安徽省影像統(tǒng)籌季度一版圖兩期影像以及各自對(duì)應(yīng)時(shí)相的矢量數(shù)據(jù)。對(duì)全省范圍內(nèi)隨機(jī)選取的部分區(qū)縣級(jí)影像進(jìn)行人工繪制參考矢量，通過前后時(shí)相兩期影像的疊加對(duì)比，標(biāo)注新增建設(shè)用地圖斑，從而制作變化樣本集。針對(duì)地物類型主要為道路、建筑物和推填土等建設(shè)用地。

2 研究方法

該文研究基于全卷積神經(jīng)網(wǎng)絡(luò)的的變化檢測(cè)方法，通過深度學(xué)習(xí)樣本訓(xùn)練技術(shù)獲得最優(yōu)的訓(xùn)練模型，從而實(shí)現(xiàn)遙感影像變化信息自動(dòng)提取。同時(shí)，在深度學(xué)習(xí)模型訓(xùn)練的基礎(chǔ)上[4-5]，基于分割對(duì)象提取兩期影像上的光譜、紋理和上下文特征差異，結(jié)合語(yǔ)義特征，提取兩期影像的變化置信度，最終獲得兩期影像的變化圖斑和對(duì)應(yīng)變化矢量。

2.1 基于深度學(xué)習(xí)的模型訓(xùn)練

模型訓(xùn)練是一個(gè)參數(shù)調(diào)整的過程，可以通過增加樣本訓(xùn)練迭代得到符合精度要求的模型，也可以通過人工參數(shù)調(diào)整優(yōu)化模型。模型訓(xùn)練包括模型訓(xùn)練以及模型測(cè)試2個(gè)部分內(nèi)容。首先利用已有的樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練，得到初始模型。如果初始模型測(cè)試達(dá)到理想的精度指標(biāo)，那么該模型可以作為最終模型；如果模型精度未能達(dá)標(biāo)，那么需要調(diào)整參數(shù)，進(jìn)一步進(jìn)行模型訓(xùn)練。通過增加樣本數(shù)據(jù)可以進(jìn)一步提升模型精度，參數(shù)調(diào)整與新增樣本訓(xùn)練可以交替或同步進(jìn)行。具體流程如圖1所示。

圖1 模型訓(xùn)練流程

2.1.1 樣本制作

利用安徽省影像統(tǒng)籌季度一版圖數(shù)據(jù)及其矢量成果，基于前后時(shí)相影像及其標(biāo)簽數(shù)據(jù)，制作樣本數(shù)據(jù)集[6]。數(shù)據(jù)準(zhǔn)備具體步驟如下：1）找到不同時(shí)相影像Img1（前時(shí)相影像）、影像Img2（后時(shí)相影像）。2）疊加對(duì)應(yīng)的新、老地表覆蓋矢量M1、M2。3）通過更新后的矢量圖斑與疊加影像的目視判斷，修正錯(cuò)誤，補(bǔ)測(cè)遺漏的圖斑。4）將變化圖斑單獨(dú)存為一個(gè)矢量數(shù)據(jù)Mc。5）Img1、Img2、Mc保存，為變化圖斑的樣本制作的輸入數(shù)據(jù)。其次，樣本裁切[9]。裁切后的變化樣本，包括前時(shí)相影像的樣本影像、后時(shí)相影像的樣本影像以及對(duì)應(yīng)的變化標(biāo)注數(shù)據(jù)，如圖2所示。

圖2 變化樣本

2.1.2 網(wǎng)絡(luò)模型設(shè)計(jì)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）主要用于圖像級(jí)分類，即判斷該圖像的內(nèi)容屬于哪一類。遙感影像的變化檢測(cè)最終的結(jié)果是對(duì)影像進(jìn)行像素級(jí)的二分類。該文的網(wǎng)絡(luò)模型選用的是滿足像素級(jí)別分類要求的全卷積神經(jīng)網(wǎng)絡(luò)（FCN），與經(jīng)典的CNN分類網(wǎng)絡(luò)最大的不同點(diǎn)如下：最后一層不是向量輸出，而是對(duì)輸出的特征圖進(jìn)行上采樣[8]。經(jīng)過上采樣后，得到原始尺寸的逐像素的分類預(yù)測(cè)圖。輸入圖像可以是任意尺寸的，同時(shí)根據(jù)輸入圖像的尺寸，網(wǎng)絡(luò)輸出結(jié)果的尺寸也與輸入圖像的尺寸保持一致，因此，可以對(duì)圖像進(jìn)行像素級(jí)的概率預(yù)測(cè)，同時(shí)保留原始輸入圖像的空間信息。上采樣的形式很多，例如線性插值、反卷積等。FCN的上采樣主要是運(yùn)用反卷積。如圖3所示，反卷積先通過補(bǔ)0（虛線元素值為0）擴(kuò)大輸入圖像的尺寸，然后通過卷積核進(jìn)行卷積。通過反卷積操作，圖像由原來的2×2像素變成4×4像素的圖像，從而實(shí)現(xiàn)上采樣。

圖3 反卷積示意圖

2.1.3 模型訓(xùn)練

全卷積神經(jīng)網(wǎng)絡(luò)FCN模型訓(xùn)練的過程，就是參數(shù)調(diào)節(jié)的過程，主要參數(shù)包括以下3種。

2.1.3.1 學(xué)習(xí)率

學(xué)習(xí)率是訓(xùn)練過程中的重要參數(shù)，但是對(duì)其設(shè)置一定要合理。較高的學(xué)習(xí)率有助于縮短訓(xùn)練時(shí)間，減少反饋環(huán)路，可以較快地預(yù)判網(wǎng)絡(luò)模型是否可行，雖然網(wǎng)絡(luò)模型能夠更快地收斂，但是結(jié)果可能不會(huì)特別理想，甚至?xí)休^大振蕩。

2.1.3.2 批尺寸

批尺寸是模型訓(xùn)練時(shí)一次輸入的樣本數(shù)，同樣也有數(shù)量的設(shè)置限制。對(duì)較大樣本進(jìn)行批處理，例如使用整個(gè)數(shù)據(jù)集，減少了梯度更新的方差，可以使每輪迭代的結(jié)果更精確。但是，這個(gè)方法受到物理內(nèi)存大小限制。對(duì)較小樣本的批處理來說，例如使用1個(gè)樣本，能夠獲取更細(xì)粒度的權(quán)重以更新反饋，但是卻不容易收斂。

2.1.3.3 隨機(jī)失活

隨機(jī)失活是將多個(gè)模型的結(jié)果組合在一起，但不需要對(duì)多個(gè)模型分別進(jìn)行訓(xùn)練。具體做法是訓(xùn)練多隱層網(wǎng)絡(luò)，對(duì)每個(gè)隱層的神經(jīng)元進(jìn)行一定的概率失活，這樣每次形成不同激活的由神經(jīng)元的組成的網(wǎng)絡(luò)，相當(dāng)于多個(gè)網(wǎng)絡(luò)的組合。本質(zhì)上，每次迭代都是對(duì)隨機(jī)挑選特征空間的子集進(jìn)行訓(xùn)練。

2.1.4 模型測(cè)試

模型測(cè)試即模型精度評(píng)價(jià)。基于評(píng)價(jià)指標(biāo)不斷進(jìn)行模型訓(xùn)練及參數(shù)調(diào)整。如果總體測(cè)試精度不理想，就進(jìn)行進(jìn)一步迭代；如果總體精度滿足實(shí)際需求，就可以獲得目標(biāo)網(wǎng)絡(luò)模型，不需要再進(jìn)行參數(shù)調(diào)優(yōu)；當(dāng)有新的樣本時(shí)，可以通過補(bǔ)充樣本進(jìn)行模型訓(xùn)練，進(jìn)一步提高模型精度。該文在計(jì)算模型精度的過程中采用的評(píng)價(jià)指標(biāo)為查全率和正確率。基于模型提取的每個(gè)變化圖斑，面積>200個(gè)像素的計(jì)算方法如下：查全率=真值圖斑與檢測(cè)圖斑有交集的個(gè)數(shù)/真值圖斑的個(gè)數(shù)；正確率=檢測(cè)圖斑與真值圖斑有交集的個(gè)數(shù)/檢測(cè)圖斑的個(gè)數(shù)。其中，真值圖斑是指人工目視變化檢測(cè)結(jié)果（圖斑），檢測(cè)圖斑是指模型智能變化檢測(cè)結(jié)果（圖斑）。

2.2 基于超像元分割對(duì)變化檢測(cè)結(jié)果的優(yōu)化

超像元是一些具有相似特征（例如顏色、紋理和類別等特征）像素的集合，形成一個(gè)更具代表性的基本處理單元。超像元算法的主要作用是優(yōu)化深度學(xué)習(xí)變化檢測(cè)方法的結(jié)果。目前，常用的超像素分割算法有SLIC、SEEDS和LSC。該文選用了簡(jiǎn)單的線性迭代聚類（SLIC）超像元算法，將圖像中的像素點(diǎn)聚類超像元中，以滿足空間和亮度上的約束。與其他幾種算法相比，其運(yùn)行速度更快、物體輪廓保持度和超像元緊湊度較高。基于SLIC超像元算法設(shè)計(jì)了基于超像元分割對(duì)變化檢測(cè)結(jié)果優(yōu)化的方法，具體內(nèi)容如下：1）輸入。前后兩期高分辨率遙感影像X1和X2，變化檢測(cè)初始結(jié)果為Y。2）輸出。最終變化檢測(cè)結(jié)果Y'。3）實(shí)現(xiàn)過程。首先，對(duì)X1，X2使用SLIC算法進(jìn)行超像元分割，得到圖像集O=（o1，o2，…，om），oi=（oi1，oi2），oit表示第t個(gè)時(shí)相影像在i的分割尺度下的分割影像，m為分割尺度數(shù)量。其次，對(duì)應(yīng)oit中各像元區(qū)域，根據(jù)變化檢測(cè)初始結(jié)果Y統(tǒng)計(jì)該區(qū)域變化與未變化的像素?cái)?shù)，采用贏者通吃的原則將該區(qū)域全部賦予數(shù)量多的類別。對(duì)所有O進(jìn)行以上操作，得到結(jié)果Yo=（Y1o，Y2o，…，Ymo），其中，Yio=（Yi1，Yi2）；最后，將得到Y(jié)o的按t維堆疊，得到t×m的結(jié)果，對(duì)每個(gè)像素對(duì)應(yīng)t個(gè)時(shí)期m種尺度的變化和未變化數(shù)量，根據(jù)舉手表決，以數(shù)量多的類別作為該像素的最終變化檢測(cè)結(jié)果，得到最終的變化結(jié)果Y'。

3 試驗(yàn)結(jié)果

該文選取安徽省渦陽(yáng)縣、包河區(qū)和懷寧縣3個(gè)地區(qū)作為變化檢測(cè)模型的測(cè)試區(qū)域，其中，渦陽(yáng)縣位于安徽省北部，地形特征為平原；包河區(qū)位于安徽省中部，地形特征為平原；懷寧縣位于安徽省南部，地形特征為山地丘陵。針對(duì)建設(shè)用地變化目標(biāo)，分別對(duì)3個(gè)地區(qū)的前后時(shí)相影像提取變化圖斑。模型測(cè)試結(jié)果見表1。

表1 模型測(cè)試結(jié)果統(tǒng)計(jì)（影像分辨率為2.0m）

通過測(cè)試可以看出，針對(duì)建設(shè)用地類型的變化圖斑，模型的查全率優(yōu)于90%，正確率優(yōu)于50%。3個(gè)地區(qū)的變化提取效果分別如圖4（a）～圖4（c）所示，黃色區(qū)域?yàn)槿斯ぬ崛∽兓瘓D斑情況，紅色區(qū)域?yàn)樽兓瘷z測(cè)模型效果。

圖4 前后時(shí)相影像變化提取效果示意圖

4 結(jié)語(yǔ)

該文通過構(gòu)建遙感影像樣本庫(kù)和基于深度學(xué)習(xí)的模型訓(xùn)練技術(shù)，獲取適用于建設(shè)用地自動(dòng)提取的變化檢測(cè)模型，自動(dòng)提取了多時(shí)相遙感影像變化信息，為提升遙感影像的智能化解譯能力，做出了積極地探索和實(shí)踐。