基于深度學(xué)習(xí)的遙感變化檢測(cè)技術(shù)應(yīng)用研究

徐宗霞 蔡 彩 李澤宇 陶迎春 賈光軍 張海濤

(1. 北京市測(cè)繪設(shè)計(jì)研究院, 北京 100045;2. 城市空間信息工程北京市重點(diǎn)實(shí)驗(yàn)室, 北京 100045)

0 引言

變化檢測(cè)是從不同時(shí)期的遙感數(shù)據(jù)中定量分析和確定地表變化的特征和過(guò)程[1],遙感變化檢測(cè)可以理解為遙感瞬時(shí)視場(chǎng)中地表特征隨時(shí)間發(fā)生的變化引起兩個(gè)時(shí)期影像像元光譜響應(yīng)的變化[2]。變化檢測(cè)的主要內(nèi)容有變化類型、分布狀況、變化信息的描述,即確定變化前后的地物類型、界限和分析變化的屬性[3]。

對(duì)不同期影像進(jìn)行常態(tài)化、快速化變化檢測(cè)[4-5],能為政府機(jī)構(gòu)決策提供依據(jù),將對(duì)持續(xù)構(gòu)建并完善國(guó)家動(dòng)態(tài)監(jiān)測(cè)信息系統(tǒng),對(duì)全國(guó)范圍的自然、生態(tài)等地理環(huán)境要素進(jìn)行空間化、定量化、常態(tài)化監(jiān)測(cè)。傳統(tǒng)的人工目視變化提取的方式耗費(fèi)大量的人力、物力且作業(yè)周期長(zhǎng),已經(jīng)無(wú)法滿足當(dāng)今快速監(jiān)測(cè)分析的需求,現(xiàn)在利用不同期影像進(jìn)行智能變化檢測(cè)和提取成為專家學(xué)者和軟件方研究的熱點(diǎn)[6-8]。廣州,天津等多地開(kāi)展了基于變化檢測(cè)的地理信息快速更新技術(shù)探索：廣東省常態(tài)化地理國(guó)情監(jiān)測(cè)任務(wù)中,利用多時(shí)相影像,研究了基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的地理國(guó)情地表覆蓋變化檢測(cè)[9];天津提出了基于深度學(xué)習(xí)的遙感影像變化檢測(cè)算法,實(shí)現(xiàn)疑似違法用地的快速、自動(dòng)化發(fā)現(xiàn)[10],此算法引入卷積神經(jīng)網(wǎng)絡(luò)模型利于深度學(xué)習(xí)對(duì)影像先進(jìn)行分類,然后提取變化,本研究認(rèn)為在對(duì)前后期影像分類時(shí)都帶來(lái)了誤差,所以將變化作為特征直接進(jìn)行模型預(yù)測(cè)和檢測(cè),能夠減少誤差;農(nóng)科院研究了無(wú)人機(jī)遙感及深度學(xué)習(xí)在油菜凍害識(shí)別中的應(yīng)用,便捷、精準(zhǔn)地識(shí)別和評(píng)估油菜凍害[11]。

目前有大量的遙感及地理信息數(shù)據(jù)資源,影像包括月度亞米分辨率衛(wèi)星影像、歷年航片及其他高分辨率衛(wèi)星影像,為基于遙感的快速變化檢測(cè)提供了重要數(shù)據(jù)基礎(chǔ),且數(shù)據(jù)時(shí)效性能保證長(zhǎng)期進(jìn)行遙感監(jiān)測(cè)的使用要求。因此，基于遙感影像利用深度學(xué)習(xí)技術(shù)進(jìn)行變化檢測(cè)是十分必要的,通過(guò)深度學(xué)習(xí)技術(shù)能夠大大提升基礎(chǔ)測(cè)繪等工藝中變化檢測(cè)的效率。

基礎(chǔ)測(cè)繪是國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展的一項(xiàng)基礎(chǔ)性和公益性事業(yè),廣泛服務(wù)于經(jīng)濟(jì)建設(shè)、社會(huì)發(fā)展、國(guó)防建設(shè)和人們生活的各個(gè)領(lǐng)域。而基本比例尺地形圖是基礎(chǔ)測(cè)繪產(chǎn)品的重要組成部分。北京的城市信息化建設(shè)需要大量現(xiàn)勢(shì)性強(qiáng)的基礎(chǔ)地理信息數(shù)據(jù)?；颈壤叩匦螆D的動(dòng)態(tài)更新與維護(hù)是保證基礎(chǔ)地理信息系統(tǒng)具有現(xiàn)勢(shì)性和時(shí)態(tài)完整性的基礎(chǔ)性、前提性工作[12]。

近年來(lái),深度學(xué)習(xí)在自然影像目標(biāo)檢測(cè)、語(yǔ)音識(shí)別、人臉識(shí)別等領(lǐng)域取得了巨大的成功[13],越來(lái)越多地應(yīng)用于遙感影像分類和變化檢測(cè),并取得了一定的成績(jī),市面上也出現(xiàn)了很多集成化的軟件或工具,如易智瑞(Environmental Systems Research Institute,ESRI)公司的專業(yè)地理信息軟件(geographic information system,Arcgis Pro)和遙感圖像處理平臺(tái)(the environment for visualizing images,ENVI)、北京治元景行的簡(jiǎn)譯軟件、商湯科技、武漢漢達(dá)瑞科技的漢達(dá)瑞智能快速特征提取軟件(EasyFeature)、百度公司的飛槳開(kāi)源深度學(xué)習(xí)平臺(tái)、華為公司的遙感智能體等。這些工具或技術(shù)多為信息提取模型,如地表覆蓋分類或建筑物提取等,圖斑邊界及精度無(wú)法直接應(yīng)用于基礎(chǔ)測(cè)繪更新,此外這些工具大多無(wú)法自主訓(xùn)練和優(yōu)化,無(wú)法滿足實(shí)際生產(chǎn)應(yīng)用需求。

1 遙感影像變化檢測(cè)技術(shù)研究

面向基礎(chǔ)測(cè)繪生產(chǎn)應(yīng)用,針對(duì)變化檢測(cè)的需求,利用相應(yīng)數(shù)據(jù)資源：航片、北京2號(hào)月度衛(wèi)片、矢量數(shù)據(jù)等,通過(guò)大量的深度學(xué)習(xí)以及遙感影像變化檢測(cè)技術(shù)調(diào)研以及試驗(yàn),研發(fā)了一套面向?qū)嶋H生產(chǎn)應(yīng)用的深度學(xué)習(xí)變化檢測(cè)技術(shù)方案,如圖1所示,服務(wù)于基礎(chǔ)測(cè)繪地形圖更新?；谝延心Ｐ涂蚣?面向?qū)嶋H生產(chǎn)需求進(jìn)行樣本標(biāo)準(zhǔn)研究、構(gòu)建樣本庫(kù)及進(jìn)行大量的模型訓(xùn)練,得到可遷移的變化檢測(cè)模型,然后獲取變化檢測(cè)圖斑,最后經(jīng)過(guò)兩級(jí)檢查,應(yīng)用于地形圖更新工作。

圖1 遙感影像變化檢測(cè)生產(chǎn)應(yīng)用技術(shù)方案

本研究應(yīng)用的深度學(xué)習(xí)模型框架為TensorFlow,基于圖像空間和光譜特性識(shí)別圖像中的特征。模型訓(xùn)練完成后,可在其他圖像中找到更多相同的特征。訓(xùn)練架構(gòu)(稱為ENVINet5)是基于Ronneberger等人(2015)開(kāi)發(fā)的對(duì)稱式網(wǎng)絡(luò)架構(gòu)(unity networking,U-Net)。與U-Net一樣,ENVINet5是一種基于掩碼(mask-based)、編碼器-解碼器(encoder-decoder)的體系結(jié)構(gòu),對(duì)圖像中的每個(gè)像素進(jìn)行分類。

1.1 面向基礎(chǔ)測(cè)繪更新的深度學(xué)習(xí)變化檢測(cè)樣本標(biāo)準(zhǔn)研究

深度學(xué)習(xí)中,樣本是帶有標(biāo)簽的數(shù)據(jù)集,是神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)數(shù)據(jù)特征的來(lái)源。針對(duì)地形圖,樣本標(biāo)簽為地理要素變化或更新內(nèi)容,主要包括自然屬性、社會(huì)屬性、空間位置及形態(tài)等的變化。遙感解譯變化檢測(cè)樣本包含同一地理位置前后兩個(gè)時(shí)相影像和相應(yīng)帶有屬性的變化圖斑[14]。

基本比例尺地形圖作為城市信息化管理所必需的基礎(chǔ)圖件,他要求各類地理要素和屬性內(nèi)容表示詳細(xì)。更新的主要內(nèi)容為新增的地形、地貌及地理名稱。主要表現(xiàn)在城市建設(shè)熱點(diǎn)區(qū)域,如城市舊城改造、小區(qū)建設(shè)、城市道路新建,改擴(kuò)建院落、高層建筑、城市標(biāo)志性建筑,各種變化的橋梁,重點(diǎn)工程建設(shè)項(xiàng)目開(kāi)工,市政公共設(shè)施新增、環(huán)境的綜合整治,城市綠化、休閑廣場(chǎng)、城市景觀等。

針對(duì)基礎(chǔ)測(cè)繪地形圖更新業(yè)務(wù),利用遙感影像進(jìn)行變化特征研究,形成深度學(xué)習(xí)樣本標(biāo)準(zhǔn),針對(duì)不同研究區(qū)域,樣本標(biāo)準(zhǔn)不同,例如，表1列舉了部分生產(chǎn)應(yīng)用比較關(guān)注的標(biāo)準(zhǔn)要求：核心區(qū)關(guān)注的變化有建筑和地表變化、非密集區(qū)域的小塊變化,不關(guān)注的變化有密集區(qū)域的小塊變化等;通州區(qū)關(guān)注的變化有土地性質(zhì)改變、屋頂顏色變化等。圖2列舉了部分變化示例。以月度衛(wèi)片為主、航片為輔,分季節(jié)、分區(qū)域制作,根據(jù)樣本標(biāo)準(zhǔn)形成變化檢測(cè)樣本庫(kù),示例如圖3所示。

表1 樣本相關(guān)標(biāo)準(zhǔn)

圖2 變化示例

(a)前期影像

1.2 遙感影像變化檢測(cè)技術(shù)流程

考慮到誤差傳遞、計(jì)算效率、模型遷移等,本研究經(jīng)過(guò)試驗(yàn)后形成相應(yīng)的變化檢測(cè)技術(shù)流程,如圖4所示。

圖4 變化檢測(cè)技術(shù)流程

基于不同期影像進(jìn)行變化檢測(cè)有兩種方式：分類后變化檢測(cè),利用深度學(xué)習(xí)模型對(duì)前后兩期影像進(jìn)行分類提取,然后再進(jìn)行分類后變化檢測(cè);直接變化檢測(cè),利用已經(jīng)配準(zhǔn)的兩期影像和變化真值直接訓(xùn)練變化檢測(cè)模型,之后運(yùn)用于新數(shù)據(jù)的變化檢測(cè)。

研究認(rèn)為第一種方式分類自身的誤差帶入了變化檢測(cè)中,最后選擇了方式二進(jìn)行變化檢測(cè)。處理流程主要包括：預(yù)處理,理想狀態(tài)下的變化檢測(cè)兩期影像需要相同的傳感器,記錄時(shí)具有相同的空間分辨率、輻射分辨率,而實(shí)際中的影像獲取很難保證具有相同的外界條件,而且生產(chǎn)部門生產(chǎn)DOM時(shí)受不同的因素影響,導(dǎo)致實(shí)際影像色差很大,所以在做變化檢測(cè)時(shí)會(huì)先對(duì)兩期數(shù)據(jù)進(jìn)行勻色等預(yù)處理以減少干擾;之后做變化區(qū)域檢測(cè),將兩期影像的差值和變化真值作為實(shí)驗(yàn)樣本進(jìn)行訓(xùn)練,獲得模型,最后運(yùn)用模型進(jìn)行不同期影像的變化檢測(cè)。獲取變化圖斑之后也可以進(jìn)行相關(guān)后處理,包括濾波處理、平滑處理等,使得檢測(cè)的邊界更為合理等。

2 變化檢測(cè)技術(shù)應(yīng)用

基礎(chǔ)測(cè)繪北京市1∶500基本比例尺地形圖總?cè)蝿?wù)量為北京市四環(huán)范圍及五環(huán)內(nèi)重點(diǎn)區(qū)域422.5 km2。1∶500中心城區(qū)位于北京市城區(qū),建筑類型有以紫禁城為中心的古建筑,二環(huán)路到五環(huán)路分布著多層、高層建筑和平房密集的城中村等建筑。交通網(wǎng)由鐵路、快速軌道、高速公路、城際公路、城市道路等構(gòu)成。

2020、2021、2022年遙感影像深度學(xué)習(xí)變化檢測(cè)技術(shù)服務(wù)于基礎(chǔ)測(cè)繪生產(chǎn),改變了原有人工推掃式的變化檢測(cè)方式,解決疫情期間外業(yè)巡查困難。變化檢測(cè)準(zhǔn)確率達(dá)85%左右,如圖6所示,變化檢測(cè)成果數(shù)據(jù)實(shí)際使用率達(dá)75%,如圖5所示,未做修測(cè)部分,主要是大面積施工區(qū)域,對(duì)待修測(cè)區(qū)域基本實(shí)現(xiàn)引導(dǎo)性作用,細(xì)節(jié)展示如圖7所示,為修測(cè)任務(wù)年度變化率的統(tǒng)計(jì)提供了數(shù)據(jù)支持,區(qū)域性的變化能夠支持地形圖更新項(xiàng)目,變化圖斑和人工作業(yè)范圍較吻合,部分區(qū)域還有提升分類的可能。大大降低人工外業(yè)巡查強(qiáng)度,對(duì)項(xiàng)目整體工期安排和人員調(diào)配起到有效支撐,優(yōu)化生產(chǎn)工藝流程,提升生產(chǎn)效率,尤其是變化巡查效率提升超10倍。以往外業(yè)巡查發(fā)現(xiàn)變化采用人工方式,效率為每日1 km2/人,耗時(shí)大約2個(gè)月,利用變化檢測(cè)成果需大約2周,而且只需內(nèi)業(yè)即可發(fā)現(xiàn)變化。通過(guò)幾年實(shí)際應(yīng)用,變化檢測(cè)成果能滿足1∶500地形圖更新變化檢測(cè)的目的。

(a)變化檢測(cè)圖斑 (b)實(shí)際修測(cè)圖斑

(a)2020年變化圖斑

(a)前期影像

根據(jù)2020、2021年1∶500地形圖更新項(xiàng)目中實(shí)際應(yīng)用統(tǒng)計(jì),依據(jù)投入工時(shí)計(jì)算成本,利用變化檢測(cè)成果圖斑投入較原有的“推掃式”人工巡視預(yù)計(jì)投入,每個(gè)年度節(jié)省成本大概三十萬(wàn)元,也有效減少專業(yè)技術(shù)人員的外業(yè)工作時(shí)間,降低專業(yè)技術(shù)人員的勞動(dòng)強(qiáng)度。連續(xù)兩年節(jié)省的費(fèi)用被用于新型基礎(chǔ)測(cè)繪試點(diǎn)及技術(shù)研究。

3 結(jié)束語(yǔ)

本研究探索實(shí)際生產(chǎn)應(yīng)用場(chǎng)景,形成了基于深度學(xué)習(xí)的遙感變化檢測(cè)技術(shù)服務(wù)基礎(chǔ)測(cè)繪工藝流程。研發(fā)了一套較為通用的、可推廣、可拓展、可深化的深度學(xué)習(xí)變化檢測(cè)技術(shù)方案,固化了數(shù)據(jù)產(chǎn)品和模型工具,未來(lái)可應(yīng)用于地理國(guó)情監(jiān)測(cè)、拆違核驗(yàn)、土地變更調(diào)查等業(yè)務(wù)。遙感影像深度學(xué)習(xí)變化檢測(cè)技術(shù)為推動(dòng)變化發(fā)現(xiàn)驅(qū)動(dòng)式數(shù)據(jù)更新提供技術(shù)支撐,推動(dòng)基礎(chǔ)測(cè)繪地形圖由“推掃式”更新為“變化發(fā)現(xiàn)驅(qū)動(dòng)式”。未來(lái)也能夠?yàn)槌鞘凶兓瘷z測(cè)提供有力信息,為相關(guān)地理信息數(shù)據(jù)的快速更新提供支撐。

近年來(lái),深度學(xué)習(xí)技術(shù)顯著提高了影像特征提取成效,但由于所使用的深度學(xué)習(xí)樣本數(shù)量和類型有限,對(duì)于多源遙感影像的自動(dòng)解譯能力仍然不足,高校、研究院、企事業(yè)單位對(duì)于樣本庫(kù)的需求也越來(lái)越大。面向大范圍多源遙感影像地物信息智能解譯需求,在充分利用已有遙感、地理信息數(shù)據(jù)的基礎(chǔ)上,遙感智能解譯能產(chǎn)生相應(yīng)的樣本庫(kù),且能公開(kāi)這些樣本庫(kù),為社會(huì)各界參與遙感智能解譯提供支持。

基于深度學(xué)習(xí)的遙感影像變化檢測(cè)技術(shù)是目前的研究熱點(diǎn),雖然學(xué)術(shù)研究中精度很高,但根據(jù)實(shí)際生產(chǎn)應(yīng)用中的數(shù)據(jù)情況,不同的算法或者軟件并一定都試用,需要適應(yīng)實(shí)際數(shù)據(jù)的生產(chǎn)流程,制作多且準(zhǔn)確的訓(xùn)練樣本集,構(gòu)建樣本庫(kù),完善模型,并能夠?qū)崿F(xiàn)模型遷移,運(yùn)用到更多的生產(chǎn)中去。