結(jié)合nDSM的高分辨率遙感影像深度學(xué)習(xí)分類(lèi)方法

許慧敏，齊 華，南 軻，陳 敏

(西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756)

高空間分辨率遙感影像(以下簡(jiǎn)稱(chēng)高分辨率影像)具有豐富的空間特征及紋理信息[1]，其高精度分類(lèi)在精準(zhǔn)農(nóng)業(yè)、城市規(guī)劃、環(huán)境監(jiān)測(cè)等領(lǐng)域發(fā)揮著重要作用。在傳統(tǒng)高分辨率遙感影像分類(lèi)方法中，最常用的是面向?qū)ο蠓诸?lèi)方法，該方法需要人工參與分割參數(shù)選擇和對(duì)象特征選取，過(guò)程耗時(shí)耗力且難以得到更好的分類(lèi)效果[2]。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)是圖像分類(lèi)中最常用的深度學(xué)習(xí)網(wǎng)絡(luò)之一[3]。該網(wǎng)絡(luò)在實(shí)現(xiàn)高效、準(zhǔn)確的遙感影像分類(lèi)中取得了一定的成果[4- 6]。文獻(xiàn)[7]在CNN基礎(chǔ)上提出了全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network,FCN)，通過(guò)上采樣方式還原圖像尺寸，在識(shí)別像元類(lèi)別的同時(shí)還原像元在原圖中的位置，真正實(shí)現(xiàn)了影像的像素級(jí)分類(lèi)。為了解決FCN分類(lèi)方法中定位和識(shí)別精度的權(quán)衡問(wèn)題，眾多學(xué)者不斷對(duì)FCN進(jìn)行改進(jìn)，提出了一種U- Net網(wǎng)絡(luò)[8]。雖然研究人員對(duì)U- Net模型進(jìn)行了許多改進(jìn)[9- 11]，但目前基于U- Net模型的遙感影像分類(lèi)方法仍然存在以下問(wèn)題：①高分辨率影像數(shù)據(jù)波段有限，光譜信息不豐富，在一定程度上限制了模型特征學(xué)習(xí)的豐富度，造成影像分類(lèi)精度低；②存在地物內(nèi)部錯(cuò)分現(xiàn)象和地物邊界殘缺等問(wèn)題。

針對(duì)以上問(wèn)題，本文研究一種結(jié)合歸一化數(shù)字表面模型(normalized digital surface model,nDSM)數(shù)據(jù)和U- Net模型的深度學(xué)習(xí)影像分類(lèi)方法。nDSM數(shù)據(jù)記錄了所有高于地面的地物相對(duì)于地面的高度信息，能夠反映地物的真實(shí)高度。該信息在影像分類(lèi)中對(duì)于區(qū)分不同類(lèi)型地物(如建筑與地面、樹(shù)木與低矮植被等)具有重要作用。本文方法通過(guò)引入nDSM提供的高度信息提高U- net模型的特征豐富度，優(yōu)化分類(lèi)結(jié)果，消除細(xì)小錯(cuò)分現(xiàn)象，以實(shí)現(xiàn)影像高精度分類(lèi)。

1 本文方法

1.1 U- Net網(wǎng)絡(luò)

U- Net網(wǎng)絡(luò)因結(jié)構(gòu)清晰呈U狀而得名[8]，是一種改進(jìn)的FCN網(wǎng)絡(luò)。FCN網(wǎng)絡(luò)中包含跳躍結(jié)構(gòu)[7]，通過(guò)融合不同層次的特征圖，將低層網(wǎng)絡(luò)的細(xì)節(jié)信息和高層網(wǎng)絡(luò)的語(yǔ)義信息進(jìn)行結(jié)合，再進(jìn)行反卷積操作，優(yōu)化輸出結(jié)果。反卷積操作不僅可以對(duì)每個(gè)像素都產(chǎn)生一個(gè)預(yù)測(cè)，即識(shí)別像素類(lèi)別，而且能還原像素在原圖中的位置，保留原始輸入圖像的空間信息即像素定位。

在實(shí)際應(yīng)用中，基于FCN的方法通常難以同時(shí)達(dá)到較高的定位精度和識(shí)別精度，而基于U- Net網(wǎng)絡(luò)的方法可以較好地克服該問(wèn)題。U- Net網(wǎng)絡(luò)由壓縮通道和擴(kuò)展通道組成，具體模型參數(shù)見(jiàn)文獻(xiàn)[8]。壓縮通道是典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由卷積層和最大池化層組成。在擴(kuò)展通道，先進(jìn)行1次反卷積操作，再拼接對(duì)應(yīng)壓縮通道特征圖，重新組成一個(gè)2倍大小的特征圖，然后采用卷積層進(jìn)行特征提取，重復(fù)這一過(guò)程，在最后的輸出層用卷積層將特征圖映射成2維的輸出結(jié)果。

本文將U- Net網(wǎng)絡(luò)每一級(jí)的核函數(shù)維數(shù)減少一半以降低模型的運(yùn)算量并使用邊界填充。因此，本文U- Net網(wǎng)絡(luò)是一個(gè)9級(jí)網(wǎng)絡(luò)，壓縮通道用于逐層提取影像特征，擴(kuò)展通道用于逐漸還原影像的細(xì)節(jié)信息和位置信息，最后得到反映影像特征的輸出特征圖。通過(guò)特征拼接處理實(shí)現(xiàn)不同層次特征信息的結(jié)合，克服因反卷積而造成的分割精度損失問(wèn)題，以?xún)?yōu)化分類(lèi)結(jié)果。本文使用的U- Net網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.2 結(jié)合nDSM與U- Net模型的影像分類(lèi)流程

本文方法主要分為兩個(gè)部分：模型訓(xùn)練和影像分類(lèi)，如圖2所示。在模型訓(xùn)練階段，首先，nDSM數(shù)據(jù)作為最后一個(gè)波段疊加在遙感影像上，將疊加后的多源影像數(shù)據(jù)和真實(shí)地物分類(lèi)組成的訓(xùn)練樣本輸入至U- Net模型中進(jìn)行特征學(xué)習(xí)，得到預(yù)測(cè)概率分布圖；然后采用交叉熵函數(shù)[12]衡量分類(lèi)結(jié)果與真實(shí)地物分類(lèi)之間的損失值，采用Adam優(yōu)化算法[13]以縮小損失值為目標(biāo)，當(dāng)損失值縮小至給定的閾值范圍內(nèi)，則訓(xùn)練結(jié)束，得到最優(yōu)的U- Net模型。在影像分類(lèi)階段，利用已訓(xùn)練好的U- Net模型對(duì)待分類(lèi)影像進(jìn)行分類(lèi)，最終得到高精度的地物分類(lèi)結(jié)果。

2 試驗(yàn)與分析

本文試驗(yàn)硬件平臺(tái)CPU為Inter(R) Xeon(R)E5- 2640 v4 2.40 GHz，GPU為NVIDIA Tesla P40 24 GB，內(nèi)存為128 GB，采用Mxnet深度學(xué)習(xí)框架實(shí)現(xiàn)U- Net模型的搭建與試驗(yàn)。

2.1 試驗(yàn)數(shù)據(jù)

試驗(yàn)使用ISPRS提供的Vaihingen數(shù)據(jù)集，該數(shù)據(jù)集包含數(shù)字正射影像、數(shù)字表面模型(DSM)、LiDAR數(shù)據(jù)和地面真實(shí)分類(lèi)數(shù)據(jù)等。圖3為試驗(yàn)數(shù)據(jù)集中的一幅數(shù)字正射影像及其對(duì)應(yīng)的真實(shí)地物分類(lèi)數(shù)據(jù)和DSM。

利用LiDAR數(shù)據(jù)，使用TerraScan和ArcGIS軟件生成與數(shù)字正射影像分辨率相同的DEM數(shù)據(jù)，再計(jì)算生成nDSM數(shù)據(jù)，其計(jì)算公式如下

nDSM(i,j)=DSM(i,j)-DEM(i,j)

(1)

式中，nDSM(i,j)為nDSM在第i行第j列的高程值；DSM(i,j)為DSM在第i行第j列的高程值；DEM(i,j)為DEM在第i行第j列的高程值。

在構(gòu)建輸入影像時(shí)，本文將nDSM作為第4波段疊加在數(shù)字正射影像波段后參與模型的訓(xùn)練。

2.2 網(wǎng)絡(luò)訓(xùn)練

在訓(xùn)練影像中隨機(jī)裁剪出像素尺寸為256×256像素的圖像塊作為訓(xùn)練樣本。驗(yàn)證影像采用規(guī)則格網(wǎng)的方式得到驗(yàn)證樣本。本試驗(yàn)初始學(xué)習(xí)率為0.001，每次隨機(jī)選取11組訓(xùn)練樣本輸入至網(wǎng)絡(luò)中訓(xùn)練，一次訓(xùn)練看作一次迭代，每迭代100次輸出一次驗(yàn)證集精度，當(dāng)20次迭代的驗(yàn)證集精度不變時(shí)，學(xué)習(xí)率降為原來(lái)的1/2。當(dāng)損失值小于0.05時(shí)，訓(xùn)練停止。

為定量評(píng)估影像分類(lèi)精度，采用總體精度OA(overall accuracy)和F1- score作為評(píng)價(jià)指標(biāo)?？傮w精度是常用的精度評(píng)價(jià)指標(biāo)，表示每一個(gè)像素正確分類(lèi)的概率。F1- score是精度與召回率的綜合評(píng)價(jià)指標(biāo)，能夠綜合反映算法對(duì)正負(fù)樣本的識(shí)別與區(qū)分能力。

(2)

式中，Nkk為圖像中像元被正確分類(lèi)的個(gè)數(shù)；Ntotal為圖像中像元的總個(gè)數(shù)。

F1-score=(1+β2)precision×recall/β2(precision+recall)

(3)

式中，β為權(quán)重因子，其取值反映精確度與召回率對(duì)F1- score的重要程度，本文設(shè)β為1，表示精確度和召回率同等重要；precision和recall分別表示精確度和召回率。

precision=TP/(TP+FP)

(4)

recall=TP/(TP+FN)

(5)

式中，TP為分類(lèi)器正確分類(lèi)的正元組；FP為分類(lèi)器錯(cuò)誤標(biāo)記為正元組的負(fù)元組；FN為分類(lèi)器錯(cuò)誤標(biāo)記為負(fù)元組的正元組。

2.3 試驗(yàn)結(jié)果與分析

試驗(yàn)將本文方法與現(xiàn)有影像分類(lèi)方法SVM[14]、GBDT[15]和FCN- 8s[7]進(jìn)行對(duì)比試驗(yàn)以驗(yàn)證本文方法的有效性。圖4為兩組示例影像分類(lèi)結(jié)果對(duì)比圖。傳統(tǒng)分類(lèi)方法SVM和GBDT方法錯(cuò)分和漏分現(xiàn)象明顯，建筑物邊緣細(xì)節(jié)粗糙雜亂，無(wú)法有效識(shí)別陰影區(qū)域真實(shí)地物類(lèi)別，對(duì)車(chē)輛等小目標(biāo)無(wú)法準(zhǔn)確分類(lèi)。這是由于傳統(tǒng)分類(lèi)方法受到影像分割尺度和分類(lèi)器性能等多方面因素的制約。深度學(xué)習(xí)方法FCN- 8s錯(cuò)分和漏分現(xiàn)象較少，但在低矮植被和樹(shù)木的區(qū)分及建筑物邊緣、車(chē)輛等細(xì)節(jié)處理方面效果不佳。這是由于高分辨率遙感影像類(lèi)內(nèi)差異大，同物異譜或同譜異物現(xiàn)象造成的。此外，從兩組試驗(yàn)的分類(lèi)結(jié)果可以看出，現(xiàn)有深度學(xué)習(xí)方法的分類(lèi)效果不穩(wěn)定。本文方法分類(lèi)效果最佳，nDSM提供的約束信息可以較好地區(qū)分低矮植被和樹(shù)木、車(chē)輛等易混淆地物，建筑物邊緣光滑準(zhǔn)確，對(duì)地物細(xì)節(jié)反映更加全面真實(shí)。

表1為不同方法的地物分類(lèi)精度對(duì)比。從表1中可以看出，傳統(tǒng)分類(lèi)方法SVM和GBDT方法分類(lèi)精度較差；深度學(xué)習(xí)方法FCN- 8s優(yōu)于傳統(tǒng)分類(lèi)方法。對(duì)不透水地面、建筑物和樹(shù)木可以獲得較高的分類(lèi)精度，但在對(duì)于低矮植被和車(chē)輛的分類(lèi)上表現(xiàn)不佳；本文方法在各種地物的分類(lèi)精度上表現(xiàn)最佳，平均F1值達(dá)83.40%，總體精度達(dá)86.12%。

表1 本文方法與其他方法的精度比較 (%)

為了進(jìn)一步驗(yàn)證加入nDSM數(shù)據(jù)可有效改善影像分類(lèi)結(jié)果，在同一算法框架下將本文方法與未加入nDSM數(shù)據(jù)的方法進(jìn)行對(duì)比分析，試驗(yàn)結(jié)果如圖5所示。未加入nDSM數(shù)據(jù)的方法結(jié)果中存在建筑物與地面錯(cuò)分、樹(shù)木與低矮植被錯(cuò)分、建筑物邊緣粗糙等現(xiàn)象，加入了nDSM數(shù)據(jù)后的分類(lèi)結(jié)果中錯(cuò)分現(xiàn)象明顯減少，地物邊緣更加細(xì)致。如圖5中A、B區(qū)域所示，建筑物在數(shù)字正射影像上與其他地物的光譜特性混淆，因此在未加入nDSM數(shù)據(jù)的方法結(jié)果中被分別錯(cuò)分為低矮植被和不透水地面。由于nDSM對(duì)不同高度地物有很強(qiáng)的區(qū)分度，因此，加入nDSM數(shù)據(jù)的模型成功地修正了地物的錯(cuò)分現(xiàn)象，A、B區(qū)域的建筑物均被正確分類(lèi)，同時(shí)還刻畫(huà)出建筑物的光滑邊緣，建筑物邊界更加完整，更加符合真實(shí)地物結(jié)果。

表2為本文方法與未加入nDSM數(shù)據(jù)方法的精度對(duì)比。從表2可以看出，nDSM數(shù)據(jù)對(duì)U- Net模型的分類(lèi)效果的影響顯著，其中不透水地面、建筑物、低矮植被的分類(lèi)精度相比于未加入nDSM數(shù)據(jù)的方法結(jié)果各提高了3.18%、2.35%、2.56%。這說(shuō)明本文方法通過(guò)引入nDSM數(shù)據(jù)用于模型訓(xùn)練和分類(lèi)，可有效利用nDSM數(shù)據(jù)提供的高度信息輔助分類(lèi)，從而提高影像分類(lèi)精度。

表2 本文方法與未加入nDSM數(shù)據(jù)方法的精度比較 (%)

3 結(jié) 語(yǔ)

本文提出了一種nDSM約束的高分辨率遙感影像深度學(xué)習(xí)分類(lèi)方法。nDSM數(shù)據(jù)提供的高度信息能夠優(yōu)化影像分類(lèi)過(guò)程中的粗糙和不確定性的分類(lèi)標(biāo)記，通過(guò)引入nDSM數(shù)據(jù)增加模型特征學(xué)習(xí)豐富度，以提高模型分類(lèi)精度，優(yōu)化分類(lèi)結(jié)果，消除細(xì)小錯(cuò)分現(xiàn)象。試驗(yàn)結(jié)果表明，nDSM數(shù)據(jù)的加入提高了U- Net模型的分類(lèi)結(jié)果精度，在不透水地面、建筑物和低矮植被的分類(lèi)精度上提高顯著。如何改進(jìn)U- Net模型的結(jié)構(gòu)從而使其得到更佳的分類(lèi)結(jié)果是下一步的工作重點(diǎn)。