基于深層殘差網(wǎng)絡(luò)的山區(qū)DEM超分辨率重構(gòu)

張宏鳴 全 凱 楊亞男 楊江濤 陳 歡 郭偉玲

(1.西北農(nóng)林科技大學(xué)信息工程學(xué)院， 陜西楊凌 712100； 2.西北農(nóng)林科技大學(xué)水利與建筑工程學(xué)院， 陜西楊凌 712100；3.安徽理工大學(xué)測(cè)繪學(xué)院， 淮南 232001)

0 引言

數(shù)字高程模型(Digital elevation model，DEM)[1]是將地表高程用數(shù)字形式表達(dá)的有序陣列，具有豐富的地學(xué)應(yīng)用價(jià)值[2]，被廣泛應(yīng)用于水文分析、流域特征提取、城市規(guī)劃等方面。DEM的精度決定了地學(xué)信息提取及分析的準(zhǔn)確度[3]。受測(cè)量成本和技術(shù)限制，高精度的DEM較難獲得[4-5]。衛(wèi)星遙感是近年來(lái)獲取高精度DEM的較好方法。采用航空攝影、SAR(Synthetic aperture radar)、光探測(cè)等技術(shù)獲取DEM，在時(shí)間、成本和工作量上有著較大的優(yōu)勢(shì)[6]。無(wú)人機(jī)遙感技術(shù)由于設(shè)備體積小、操作簡(jiǎn)單、靈活性強(qiáng)等優(yōu)勢(shì)而被廣泛應(yīng)用于航空遙感、地面遙感、精準(zhǔn)農(nóng)業(yè)領(lǐng)域[7-8]。隨著多種數(shù)據(jù)獲取技術(shù)的發(fā)展，同一地區(qū)的遙感影像越來(lái)越多，具有多時(shí)相、多光譜、多分辨率的特點(diǎn)[9]。為了利用多源數(shù)據(jù)的互補(bǔ)性和合作性提取更加豐富的信息，學(xué)者們對(duì)數(shù)據(jù)融合技術(shù)進(jìn)行了研究[10-11]。然而，由于安全性和保密性等原因，獲取多源數(shù)據(jù)極為困難。近年來(lái)，對(duì)低分辨率DEM重構(gòu)直接獲取高分辨率DEM的超分辨率方法具有很強(qiáng)的可行性[12]。

DEM超分辨率方法的研究由來(lái)已久[13-16]。隨著計(jì)算機(jī)技術(shù)和人工智能的發(fā)展，研究發(fā)現(xiàn)，基于學(xué)習(xí)的方法能夠有效利用高效能計(jì)算機(jī)硬件的優(yōu)勢(shì)，抽象地學(xué)習(xí)到高低分辨率數(shù)據(jù)之間的映射關(guān)系，從而提高DEM精度[17]。文獻(xiàn)[18]提出了非局部相似性的方法，利用測(cè)試區(qū)域同其他相似區(qū)域的關(guān)系重構(gòu)DEM數(shù)據(jù)。文獻(xiàn)[19]使用稀疏混合估計(jì)法對(duì)10、20、40 m的DEM進(jìn)行重構(gòu)變換，研究了超分辨率對(duì)黃土高原DEM坡度的影響。文獻(xiàn)[20]設(shè)計(jì)了一種HNN神經(jīng)網(wǎng)絡(luò)，對(duì)20、60、90 m的格網(wǎng)DEM進(jìn)行超分辨率重構(gòu)，進(jìn)一步提高了格網(wǎng)DEM的重構(gòu)精度。文獻(xiàn)[21]分析了幾種卷積神經(jīng)網(wǎng)絡(luò)方法對(duì)DSM重構(gòu)結(jié)果的影響，證明對(duì)于子像素級(jí)的DSM，超分辨率方法更易獲取更高精度的數(shù)據(jù)。文獻(xiàn)[22]提出了一種全卷積神經(jīng)網(wǎng)絡(luò)算法，對(duì)衛(wèi)星高程數(shù)據(jù)和實(shí)地測(cè)繪數(shù)據(jù)之間的映射關(guān)系進(jìn)行研究，提升了公共DEM的精度。傳統(tǒng)端到端方法的網(wǎng)絡(luò)模型設(shè)計(jì)簡(jiǎn)單，且運(yùn)算快捷[23]。為了進(jìn)一步提高結(jié)果的精度，有學(xué)者證明適度增加卷積網(wǎng)絡(luò)層數(shù)可獲得很好的效果[24]。但是，網(wǎng)絡(luò)層數(shù)的增加意味著更大的計(jì)算量和更多的時(shí)間消耗，不適用于實(shí)時(shí)數(shù)據(jù)處理。有學(xué)者提出了殘差學(xué)習(xí)思路，在網(wǎng)絡(luò)訓(xùn)練時(shí)，只進(jìn)行差值計(jì)算[25]。由于DEM高程往往較高，相對(duì)于普通圖像在這種訓(xùn)練思路下獲益更大。因此，深層殘差卷積神經(jīng)網(wǎng)絡(luò)可能是提升DEM精度的有效方法。

梯田DEM在農(nóng)業(yè)領(lǐng)域應(yīng)用廣泛。低分辨率梯田DEM的田坎、田埂等紋理過于模糊，不能準(zhǔn)確表達(dá)實(shí)際地形特征[26]。通過超分辨率重構(gòu)對(duì)梯田DEM的格網(wǎng)空間進(jìn)行重新分配，能夠獲得更加精細(xì)和微觀的梯田地理信息表達(dá)[27-28]。本文利用無(wú)人機(jī)梯田DEM數(shù)據(jù)，采用深層殘差卷積神經(jīng)網(wǎng)絡(luò)對(duì)低分辨率梯田DEM進(jìn)行重構(gòu)，獲取高分辨率DEM，并提取坡度。將高程結(jié)果和坡度結(jié)果分別與雙立方插值法、稀疏混合估計(jì)法的結(jié)果進(jìn)行對(duì)比，以證明本文方法具有更強(qiáng)的學(xué)習(xí)數(shù)據(jù)和獲取地形特征的能力，以期為梯田DEM超分辨率重構(gòu)方法的研究提供思路。

1 研究方法

1.1 研究區(qū)概況

以渝中地區(qū)龍泉鄉(xiāng)黃土丘陵區(qū)典型旱梯田區(qū)為實(shí)驗(yàn)區(qū)，地理坐標(biāo)為104°10′58″～104°19′51″E，35°34′4″～35°40′56″N，具有一定的代表性。該實(shí)驗(yàn)區(qū)DEM數(shù)據(jù)及其所在的黃土高原位置如圖1所示，原始分辨率為0.5 m，高程為1 951.03～2 545.55 m。

由于不同區(qū)域數(shù)據(jù)高程差距較大。為了減小誤差，使訓(xùn)練集適應(yīng)大部分梯田數(shù)據(jù)。選取具有不同高程特點(diǎn)的實(shí)驗(yàn)樣區(qū)1、2、3為訓(xùn)練樣本集。其中，實(shí)驗(yàn)樣區(qū)1整體高程較高，實(shí)驗(yàn)樣區(qū)2整體高程適中，實(shí)驗(yàn)樣區(qū)3整體高程較低。選取面積較大的實(shí)驗(yàn)樣區(qū)4作為測(cè)試樣本，地勢(shì)整體起伏較大，覆蓋高程范圍廣，能測(cè)試出更準(zhǔn)確結(jié)果。樣本區(qū)域如圖2所示。

1.2 重構(gòu)算法

卷積神經(jīng)網(wǎng)絡(luò)是一種基于卷積運(yùn)算的前饋神經(jīng)網(wǎng)絡(luò)，通過對(duì)大量樣本的有監(jiān)督學(xué)習(xí)，將數(shù)據(jù)抽象化，并將特征提取的過程隱含在網(wǎng)絡(luò)中[29]。深層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以加深層與層之間的聯(lián)系，更好地學(xué)習(xí)到復(fù)雜的網(wǎng)絡(luò)模型，提高網(wǎng)絡(luò)對(duì)高頻信息的表達(dá)能力[30]。本文將輸入數(shù)據(jù)預(yù)插值到重構(gòu)尺寸，通過對(duì)數(shù)據(jù)的訓(xùn)練，學(xué)習(xí)高低分辨率數(shù)據(jù)之間的映射關(guān)系，進(jìn)而重構(gòu)出高頻信息來(lái)達(dá)到重構(gòu)效果。

1.2.1算法流程

整個(gè)算法流程可描述為：①對(duì)原始訓(xùn)練樣本進(jìn)行重采樣，生成低分辨率數(shù)據(jù)集，將二者混合得到高低分辨率樣本集。②對(duì)高低分辨率樣本集進(jìn)行預(yù)處理，完成訓(xùn)練數(shù)據(jù)集準(zhǔn)備。③控制神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，生成深層殘差卷積神經(jīng)網(wǎng)絡(luò)。④對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行特征提取，選取合適的損失函數(shù)對(duì)其訓(xùn)練得到最優(yōu)模型。⑤輸入測(cè)試數(shù)據(jù)，使用最優(yōu)模型對(duì)其進(jìn)行重構(gòu)。⑥將輸出的數(shù)據(jù)轉(zhuǎn)換為DEM數(shù)據(jù)格式(ASCII碼)。⑦從高分辨率DEM數(shù)據(jù)中提取坡度。整體算法流程圖如圖3所示。

1.2.2網(wǎng)絡(luò)結(jié)構(gòu)

使用一種深層的殘差網(wǎng)絡(luò)[31]進(jìn)行訓(xùn)練，這種殘差學(xué)習(xí)方法可以緩解加深網(wǎng)絡(luò)層數(shù)帶來(lái)的梯度爆炸問題，并有效減少整個(gè)網(wǎng)絡(luò)的參數(shù)。采用一種跳躍連接結(jié)構(gòu)，假設(shè)y為映射目的層，x為輸入層，則殘差函數(shù)表達(dá)為

F(x)=y-x

(1)

此時(shí)，原始函數(shù)可定義為

y=F(x)+x

(2)

在每一次卷積操作后對(duì)輸出進(jìn)行補(bǔ)零操作，保證輸入輸出數(shù)據(jù)尺寸相同，忽略偏差值，則整個(gè)殘差網(wǎng)絡(luò)可用數(shù)學(xué)公式表達(dá)為

H(x)=F(x,{Wi})+x

(3)

整個(gè)網(wǎng)絡(luò)共有22層。第1層處理輸入數(shù)據(jù)特征，中間20層每層包含64個(gè)3×3×64的卷積核，最后一層包含1個(gè)3×3×64的卷積核。將原始低分辨率DEM進(jìn)行雙立方插值預(yù)處理到目標(biāo)尺寸，輸入模型中得到高分辨率DEM。

用ReLU激活函數(shù)[32]對(duì)每次卷積的結(jié)果進(jìn)行非線性擬合，相比于其他激活函數(shù)，由于其一定的稀疏性，能更好地?cái)M合訓(xùn)練數(shù)據(jù)。同時(shí)，其單側(cè)抑制性實(shí)現(xiàn)了對(duì)信號(hào)的部分響應(yīng)，提高了訓(xùn)練速度，公式為

σ(x)=max(0,x)

(4)

1.2.3損失函數(shù)

文獻(xiàn)[33]表明使用平均絕對(duì)誤差(Mean absolute error，MAE)損失函數(shù)訓(xùn)練得到的結(jié)果較好，故本文使用MAE損失函數(shù)進(jìn)行DEM數(shù)據(jù)訓(xùn)練。

用均方根誤差(Root mean square error，RMSE)作為重構(gòu)準(zhǔn)確性評(píng)價(jià)標(biāo)準(zhǔn)，值越小，說(shuō)明重構(gòu)后的DEM結(jié)果相對(duì)于真實(shí)數(shù)據(jù)的差距越小，更加符合真實(shí)梯田地形地貌特征。

2 實(shí)驗(yàn)結(jié)果與分析

為了更清楚地展示重構(gòu)結(jié)果，本文截取了局部DEM及其坡度計(jì)算結(jié)果，將深層殘差網(wǎng)絡(luò)法(Very deep convolutional networks super-resolution，VDSR)結(jié)果分別與雙立方插值法(Bicubic interpolation，CUBIC)[34]、稀疏混合估計(jì)法(Sparse mixed estimation，SME)[35]進(jìn)行對(duì)比評(píng)價(jià)。用作差法、頻率曲線法和RMSE指標(biāo)對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)分析，進(jìn)一步驗(yàn)證重構(gòu)結(jié)果。

實(shí)驗(yàn)中對(duì)原始測(cè)試數(shù)據(jù)進(jìn)行雙立方插值之后得到對(duì)應(yīng)的10、20、40 m的低分辨率數(shù)據(jù)。將該3種分辨率的數(shù)據(jù)采用不同方法重構(gòu)成相應(yīng)的高分辨率數(shù)據(jù)(5、10、20 m)，從重構(gòu)后的數(shù)據(jù)中提取坡度數(shù)據(jù)并與實(shí)際坡度數(shù)據(jù)進(jìn)行對(duì)比。40 m到20 m的重構(gòu)稱為R20，20 m到10 m的重構(gòu)稱為R10，10 m到5 m的重構(gòu)稱為R05。

對(duì)于深層殘差卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，將高低分辨率DEM數(shù)據(jù)進(jìn)行切割和旋轉(zhuǎn)操作，混合所有樣本共340個(gè)，挑選30個(gè)梯田特征較明顯的數(shù)據(jù)作為測(cè)試集。設(shè)置基本學(xué)習(xí)率為1×10-5，模型使用Adam優(yōu)化方法，設(shè)定β1=0.9，β2=0.999，ε=1×10-8。訓(xùn)練134 000次得到最佳模型。實(shí)驗(yàn)使用Caffe、Matconvnet實(shí)現(xiàn)，用NVIDIA M4000 GPU進(jìn)行訓(xùn)練。

2.1 DEM空間分布結(jié)果

為了更好地展示實(shí)驗(yàn)結(jié)果，將測(cè)試樣本(實(shí)驗(yàn)樣區(qū)4)的典型梯田區(qū)域局部放大。3種方法生成的不同分辨率DEM和實(shí)際高分辨率DEM(Origin digital elevation model,OD)如圖4所示，從上到下的3行數(shù)據(jù)依次為R05、R10、R20的計(jì)算結(jié)果，顏色由綠變紅表示高程由低變高。

2.2 坡度空間分布結(jié)果

從DEM數(shù)據(jù)中提取坡度結(jié)果，由3種方法生成的不同分辨率DEM提取到的坡度結(jié)果和實(shí)際高分辨率坡度數(shù)據(jù)(Origin slope,OS)如圖5所示，3行數(shù)據(jù)從上到下分別為R05、R10、R20的計(jì)算結(jié)果，顏色由綠到紅表示坡度由平緩變陡峭。

隨著分辨率的升高，3種方法提取到的坡度整體精度得到提升，并且與實(shí)際結(jié)果逐漸接近，其中深層殘差網(wǎng)絡(luò)法在3種分辨率條件下均最好。

在不同的分辨率情況下，深層殘差網(wǎng)絡(luò)法提取結(jié)果在空間分布上明顯好于其他方法，尤其在較為平坦區(qū)域(田面)和較為陡峭區(qū)域(田埂)的重構(gòu)結(jié)果，能夠提取到空間分布更加精確的紋理效果。

在分辨率較低情況下，深層殘差網(wǎng)絡(luò)法仍能保持相對(duì)較好的空間線條。

2.3 計(jì)算結(jié)果統(tǒng)計(jì)分析

以R05為例，將雙立方插值法、稀疏混合估計(jì)法、深層殘差網(wǎng)絡(luò)法提取到的DEM數(shù)據(jù)分別同實(shí)際5 m DEM數(shù)據(jù)作差，結(jié)果如圖6所示。

雙立方插值法、深層殘差網(wǎng)絡(luò)法的DEM差值結(jié)果表現(xiàn)為田坎、陡坡處誤差較大，田面處誤差較小。稀疏混合估計(jì)法出現(xiàn)了誤差分布不一的情況，與數(shù)據(jù)本身的相關(guān)性并不大。

以R05為例，將3種方法提取到的坡度計(jì)算結(jié)果分別同實(shí)際5 m坡度數(shù)據(jù)作差。結(jié)果如圖7所示。圖像顏色綠色區(qū)域占比越大，該處理方法誤差越小，效果越好。

從圖7結(jié)果可以看出，雙立方插值法、深層殘差網(wǎng)絡(luò)法在田坎、陡坡處誤差較大，而田面處重構(gòu)效果較好。稀疏混合估計(jì)法的誤差并未集中在某一類區(qū)域，整體分布較為分散，在田面處也出現(xiàn)了效果不好的現(xiàn)象。

深層殘差網(wǎng)絡(luò)法的坡度誤差很少會(huì)出現(xiàn)較長(zhǎng)的連續(xù)條狀紋理，其誤差均集中在坡度較高的梯田區(qū)域，面積占比更大的田面區(qū)域絕大多數(shù)重構(gòu)誤差低于5°。

將各方法結(jié)果同實(shí)際結(jié)果作差，計(jì)算DEM差值頻率和DEM累計(jì)差值頻率分布如圖8所示。深層殘差網(wǎng)絡(luò)法的高程誤差在0.5 m以內(nèi)的區(qū)域占到了98.3%，稀疏混合估計(jì)法的高程誤差在0.5 m以內(nèi)的區(qū)域占到了97%，與雙立方插值法接近。

將各方法結(jié)果同實(shí)際結(jié)果作差，計(jì)算坡度差值頻率和坡度累計(jì)差值頻率分布如圖9所示。從曲線圖中可以看到，3種方法均為深層殘差網(wǎng)絡(luò)法效果最好。與實(shí)際結(jié)果相比，深層殘差網(wǎng)絡(luò)法95%以上的區(qū)域誤差在5°以內(nèi)，稀疏混合估計(jì)法93%區(qū)域誤差在5°以內(nèi)，而雙立方插值法的這個(gè)比例在90%以下。

根據(jù)表1的差值結(jié)果分析，3種方法的高程和坡度誤差最小值均為0。由最大值來(lái)看，深層殘差網(wǎng)絡(luò)法的高程誤差和坡度誤差的最大值最小，而其他方法會(huì)造成誤差局部過大情況。就高程平均值來(lái)看，深層殘差網(wǎng)絡(luò)法與稀疏混合估計(jì)法相同，好于雙立方插值法。深層殘差網(wǎng)絡(luò)法在坡度誤差平均值上好于稀疏混合估計(jì)法和雙立方插值法。

由表2的RMSE結(jié)果可知，深層殘差網(wǎng)絡(luò)法在高程和坡度結(jié)果上與實(shí)地?cái)?shù)據(jù)偏離最小。

表1 差值結(jié)果Tab.1 Difference result

表2 RMSE結(jié)果Tab.2 RMSE result

根據(jù)耗時(shí)時(shí)間分析，稀疏混合估計(jì)法處理時(shí)間為663.39 s，而深層殘差網(wǎng)絡(luò)法處理時(shí)間僅為2.16 s，較稀疏混合估計(jì)法提升了300多倍。雙立方插值法計(jì)算較為簡(jiǎn)單，處理時(shí)間為0.052 s，消耗時(shí)間最少。深層殘差網(wǎng)絡(luò)法在處理時(shí)間上具有較大優(yōu)勢(shì)。

3 結(jié)論

(1)針對(duì)常規(guī)的DEM超分辨率重構(gòu)方法精度不高、難以滿足實(shí)際需要的問題，提出一種卷積神經(jīng)網(wǎng)絡(luò)方法對(duì)DEM進(jìn)行超分辨率重構(gòu)，并分別在DEM結(jié)果和坡度結(jié)果上與傳統(tǒng)插值法(雙立方插值法)和淺層學(xué)習(xí)法(稀疏混合估計(jì)法)進(jìn)行對(duì)比分析。通過實(shí)驗(yàn)驗(yàn)證，本文方法在DEM上的差值平均值和RMSE結(jié)果分別為0.34、0.486 9 m，較其他方法均有所提升。在坡度上的差值平均值和RMSE結(jié)果分別為1.99°、2.738 7°，比其他方法的地形數(shù)據(jù)結(jié)果更加接近原始地形。處理時(shí)間僅為2.16 s，比淺層學(xué)習(xí)法提升300多倍。

(2)在多源數(shù)據(jù)難以獲得的現(xiàn)實(shí)情況下，利用多分辨率DEM數(shù)據(jù)之間信息的互補(bǔ)性，結(jié)合適當(dāng)?shù)纳顚泳W(wǎng)絡(luò)設(shè)計(jì)，可以更好地映射原始數(shù)據(jù)與結(jié)果數(shù)據(jù)之間的關(guān)系。采用殘差網(wǎng)絡(luò)學(xué)習(xí)方法，可以降低訓(xùn)練難度。深層殘差網(wǎng)絡(luò)方法能夠有效提高DEM精度，為獲取高分辨率DEM提供了新的思路。