基于深度學(xué)習(xí)的遙感解譯地物樣本庫建設(shè)研究

李瑩 化濤

（河南豐圖測繪服務(wù)有限公司，河南 鄭州 45000）

1 背景

近年來，隨著對地觀測技術(shù)的發(fā)展，遙感影像數(shù)據(jù)以幾何級(jí)數(shù)的速度快速增長。這些時(shí)效性強(qiáng)、覆蓋范圍廣、多類型、多分辨率的海量遙感數(shù)據(jù)在地表信息提取、資源與生態(tài)環(huán)境變化監(jiān)測等諸多領(lǐng)域發(fā)揮了巨大作用[1-3]。遙感影像數(shù)據(jù)量的快速增長和數(shù)據(jù)類型的不斷豐富，對數(shù)據(jù)快速精準(zhǔn)解譯方法與技術(shù)提出了更高要求。隨著大數(shù)據(jù)、云計(jì)算、人工智能等技術(shù)的不斷進(jìn)步，深度學(xué)習(xí)技術(shù)在圖像識(shí)別方面取得重大進(jìn)展。深度學(xué)習(xí)技術(shù)也支持場景理解、地物目標(biāo)檢測與土地覆蓋分類等任務(wù)。人們通過構(gòu)建大量樣本數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，提高遙感影像特征提取成效[4]。

遙感影像解譯包括場景識(shí)別、目標(biāo)檢測、地物分類、變化檢測等不同層次的任務(wù)，每種任務(wù)都可基于多種影像資源來實(shí)現(xiàn)，面向智能解譯的樣本庫必須充分體現(xiàn)這種多源特性，才能保證解譯精度。當(dāng)前已有不少遙感解譯樣本數(shù)據(jù)集，總體來看，這些樣本集存在分類體系不統(tǒng)一、解譯樣本量小、多樣性不足、樣本影像來源單一、樣本尺寸固定等問題，已經(jīng)嚴(yán)重影響大范圍多源異構(gòu)遙感影像解譯效率與質(zhì)量[5]。現(xiàn)有遙感影像智能解譯樣本集大多針對具體應(yīng)用場景和解譯對象來建設(shè)，不同樣本集采用了不同的分類體系，開放性與可擴(kuò)展性不足，難以支持樣本集的共享與綜合利用。現(xiàn)有樣本采集工具標(biāo)注內(nèi)容不全面，樣本標(biāo)簽格式不統(tǒng)一，樣本標(biāo)注效率和質(zhì)量存在缺陷，樣本空間分布不均勻、數(shù)量少、類型簡單，亟須研究顧及地貌景觀類別的樣本分布策略，并研發(fā)專用遙感影像樣本采集工具，以提升采集質(zhì)量與效率[6,7]。

基于此，本研究結(jié)合自然資源調(diào)查監(jiān)測工作的開展與深度學(xué)習(xí)算法的發(fā)展，研究探討自然資源遙感智能解譯樣本庫的建設(shè)研究，為后續(xù)相關(guān)工作的開展提供可行性技術(shù)路線。

2 技術(shù)路線

項(xiàng)目總體技術(shù)思路為：構(gòu)建樣本管理與維護(hù)擴(kuò)充機(jī)制，理清多個(gè)應(yīng)用場景的樣本概念，并制定樣本分類體系、組織模型，構(gòu)建智能化協(xié)同采集與持續(xù)擴(kuò)充樣本庫。具體技術(shù)支撐路線如圖1 所示。

圖1 技術(shù)流程

3 樣本庫構(gòu)建

3.1 制定分類體系

遙感影像解譯包括場景識(shí)別、目標(biāo)檢測、地物分類、變化檢測、三維重建等不同層次的任務(wù)，每種任務(wù)都可基于多種影像資源（多類型傳感器、多時(shí)相、多尺度）來實(shí)現(xiàn)，面向智能解譯的樣本庫必須充分體現(xiàn)這種多源特性，才能保證解譯精度。面向應(yīng)用需求，基于遙感圖像，結(jié)合自然資源要素表達(dá)能力和深度學(xué)習(xí)自動(dòng)解譯能力，構(gòu)建自然資源要素遙感樣本分類體系。

面向深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練和遙感數(shù)據(jù)特點(diǎn)，制定樣本屬性標(biāo)簽和編碼，形成樣本屬性圖譜。根據(jù)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練輸入要求以及已有的對分類目標(biāo)特征的先驗(yàn)知識(shí)，對樣本庫中的樣本制定了5 項(xiàng)基本要求：

（1）保證樣本精度

深度卷積神經(jīng)網(wǎng)絡(luò)通過卷積操作從訓(xùn)練樣本中抽象不同類型目標(biāo)的基本特征，并根據(jù)特征提取結(jié)果實(shí)現(xiàn)分類。因此，高精度的訓(xùn)練樣本是獲取高精度地表覆蓋分類結(jié)果的基礎(chǔ)。

（2）選擇具有代表性的樣本

受人文、氣候、成像條件等因素影響，位于不同區(qū)域的相同類型地物，在遙感圖像上可能表現(xiàn)出具有明顯差異性的特征。

（3）考慮樣本均衡性

深度卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中通過最小化分類結(jié)果與標(biāo)記樣本之間的差異調(diào)整網(wǎng)絡(luò)參數(shù)，使之達(dá)到最優(yōu)。而當(dāng)目標(biāo)樣本不均衡時(shí)，網(wǎng)絡(luò)趨向于犧牲占比相對較小目標(biāo)的分類精度，提高優(yōu)勢目標(biāo)精度，以便達(dá)到整體分類精度較高的目的。

（4）訓(xùn)練樣本尺度

當(dāng)訓(xùn)練樣本尺度較大時(shí)，網(wǎng)絡(luò)更容易學(xué)習(xí)到目標(biāo)的全局特征。然而，由于深度卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)量較大，當(dāng)輸入圖像較大時(shí)，對GPU 要求較高。因此，在選擇訓(xùn)練樣本尺度時(shí)，應(yīng)綜合考慮計(jì)算機(jī)計(jì)算能力及觀測地物目標(biāo)在圖像上的尺度，在計(jì)算能力一定的前提下，綜合考慮目標(biāo)尺度所能表達(dá)的特征以及計(jì)算機(jī)顯存的利用率，進(jìn)而確定最優(yōu)圖像尺度。

3.2 樣本制作

面向深度網(wǎng)絡(luò)模型設(shè)計(jì)和訓(xùn)練需求，制定基于自然資源存檔數(shù)據(jù)的樣本采集與制作工藝，包括制作流程、技術(shù)規(guī)范、質(zhì)量控制等。

（1）樣本組成形式

樣本由影像和對應(yīng)標(biāo)記矢量組成，通過綜合分析產(chǎn)品覆蓋區(qū)域內(nèi)主要土地利用類別分布情況、影像獲取時(shí)相，深度學(xué)習(xí)針對樣本數(shù)量需求來制作標(biāo)記樣本。進(jìn)行土地利用分類的標(biāo)記樣本是與遙感影像對應(yīng)的真實(shí)土地利用分類圖，一組樣本由一幅遙感影像和與之對應(yīng)的土地利用分類圖組成。多光譜影像標(biāo)記樣本組成如圖2 所示。

圖2 多光譜影像標(biāo)記樣本組成

（2）標(biāo)記樣本

標(biāo)記樣本主要由人工通過目視解譯方式制作，在制作標(biāo)記樣本時(shí)，需要保證標(biāo)記樣本的多邊形邊界必須與影像上反映的地物邊界一致，標(biāo)記樣本的類別必須與影像上反映的地物類別一致。所制作的樣本需滿足覆蓋區(qū)域內(nèi)所有土地利用類別，對同一種土地利用類別，需要各種有代表性時(shí)相的影像與之對應(yīng)。

（3）樣本庫制作要求

樣本要保證邊界準(zhǔn)確、類別準(zhǔn)確、數(shù)量足夠、類型多樣；樣本制作時(shí)采用通用數(shù)據(jù)格式和通用坐標(biāo)系統(tǒng)，方便進(jìn)行數(shù)據(jù)檢查及數(shù)據(jù)更新，并且與傳統(tǒng)計(jì)算機(jī)視覺的深度學(xué)習(xí)樣本格式一致，包括同文件前綴的影像以及對應(yīng)柵格化標(biāo)記圖片。

（4）樣本入庫自動(dòng)檢查

遙感影像成像條件差異巨大，影像質(zhì)量參差不齊，位于相同區(qū)域不同時(shí)相以及不同區(qū)域的相同類型地物在圖像上可能表現(xiàn)出具有明顯差異性的特征。為此，我們針對影像質(zhì)量差異的問題，設(shè)計(jì)了一系列數(shù)據(jù)處理算法，并模擬各種條件下的影像數(shù)據(jù)，豐富樣本多樣性。數(shù)據(jù)處理包括去霧處理、整體勻色等數(shù)據(jù)的色彩處理，同時(shí)針對不同分辨率樣本獲取難度大的問題，實(shí)現(xiàn)了多期影像與一期分類結(jié)果的配準(zhǔn)，完成多期樣本的獲取。

現(xiàn)有分類產(chǎn)品與影像上地物的實(shí)際類別往往存在一些差異，這種差異在某種程度上會(huì)影響樣本質(zhì)量，不利于樣本庫構(gòu)建的精度。同時(shí)，基于像元的圖像標(biāo)記耗時(shí)耗力，且人工標(biāo)記樣本同樣存在誤差。為了提高全省地表覆蓋產(chǎn)品生產(chǎn)效率，從現(xiàn)有較高精度的分類產(chǎn)品中篩選合適的樣本，構(gòu)建訓(xùn)練樣本庫，并訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型。因此，我們在現(xiàn)有的分類產(chǎn)品基礎(chǔ)上，加入大量的自動(dòng)精度評(píng)價(jià)以及人工解譯判斷，構(gòu)建高精度的樣本庫。樣本質(zhì)量檢查流程如圖3所示。

圖3 樣本質(zhì)量檢查流程

3.3 樣本入庫管理

面向模型研發(fā)，基于任務(wù)驅(qū)動(dòng)理念，研究多源遙感樣本組織管理、空間索引與關(guān)聯(lián)、訓(xùn)練服務(wù)支撐等技術(shù)，實(shí)現(xiàn)樣本高效管理與應(yīng)用。構(gòu)建的樣本庫具備以下三個(gè)特點(diǎn)：

（1）分級(jí)切片管理模式

結(jié)合神經(jīng)網(wǎng)絡(luò)的輸入需求以及其他數(shù)據(jù)特點(diǎn)，將樣本數(shù)據(jù)進(jìn)行裁剪，并按分辨率組織分層。分級(jí)切片管理模式便于多分辨率、多種尺寸樣本的抓取，在整體顯示上也具備金字塔信息，可快速查看整體和局部樣本信息，方便與Google Earth 數(shù)據(jù)進(jìn)行疊加分析。

（2）多質(zhì)量、多光譜、多時(shí)相影像

經(jīng)過對原始影像的去霧處理、勻色處理、多時(shí)相配準(zhǔn)等工作，樣本庫已經(jīng)具備多種質(zhì)量、多種時(shí)相的多光譜數(shù)據(jù)。這些數(shù)據(jù)有重復(fù)信息，也有新的信息，極大豐富了樣本庫。

（3）完備屬性標(biāo)記

樣本庫中的所有樣本，除了分類結(jié)果與影像之外，還具備樣本屬性。屬性信息記錄標(biāo)記類別、面積信息等，便于樣本的檢索、抓取以及分類結(jié)果的分析。

4 結(jié)果分析

通過構(gòu)建的樣本庫，不僅可以滿足地物解譯、變化檢測、目標(biāo)識(shí)別等，還可滿足國土資源調(diào)查監(jiān)測、執(zhí)法監(jiān)管等業(yè)務(wù)需求。

4.1 樣本庫結(jié)構(gòu)分析

研究構(gòu)建的樣本庫主要由樣本數(shù)據(jù)入庫、樣本數(shù)據(jù)導(dǎo)出、樣本數(shù)據(jù)統(tǒng)計(jì)、樣本數(shù)據(jù)展示、數(shù)據(jù)空間檢索、數(shù)據(jù)屬性檢索、數(shù)據(jù)備份與恢復(fù)模塊組成，具體如圖4 所示。

圖4 遙感影像智能解譯樣本數(shù)據(jù)庫管理系統(tǒng)功能模塊設(shè)計(jì)

（1）樣本數(shù)據(jù)入庫模塊：將清洗后的樣本數(shù)據(jù)按照樣本類別進(jìn)行入庫。

（2）樣本數(shù)據(jù)導(dǎo)出模塊：對檢索查詢后滿足要求的樣本數(shù)據(jù)，導(dǎo)出至指定路徑。

（3）樣本數(shù)據(jù)統(tǒng)計(jì)模塊：以圖表形式輸出統(tǒng)計(jì)結(jié)果，包括按屬性統(tǒng)計(jì)、按空間信息統(tǒng)計(jì)、直方圖表達(dá)、餅圖表達(dá)等。

（4）樣本數(shù)據(jù)展示模塊 ：對已入庫的影像樣本數(shù)據(jù)、瓦片樣本數(shù)據(jù)、對象樣本數(shù)據(jù)及檢索查詢結(jié)果進(jìn)行可視化展示。

（5）數(shù)據(jù)空間檢索模塊：利用行政區(qū)劃、框選、不規(guī)則多邊形等對應(yīng)的區(qū)域邊界的點(diǎn)坐標(biāo)串進(jìn)行檢索，返回空間范圍內(nèi)的樣本數(shù)據(jù)。

（6）數(shù)據(jù)屬性檢索模塊 ：選擇數(shù)據(jù)屬性信息，例如 ：傳感器、時(shí)間、分辨率、樣本類型等，系統(tǒng)檢索數(shù)據(jù)屬性表中的數(shù)據(jù)類型對應(yīng)字段，返回符合要求的樣本數(shù)據(jù)。

（7）數(shù)據(jù)備份與恢復(fù)模塊：將數(shù)據(jù)庫中的各類數(shù)據(jù)以文件方式備份到本地，同時(shí)支持各類數(shù)據(jù)的恢復(fù)，將指定的備份數(shù)據(jù)文件恢復(fù)到指定的空間數(shù)據(jù)庫。

4.2 業(yè)務(wù)化應(yīng)用

研究構(gòu)建的樣本庫可快速應(yīng)用到國土資源監(jiān)測中，例如，應(yīng)用于建筑物識(shí)別、耕地檢測、作物識(shí)別、執(zhí)法監(jiān)管等領(lǐng)域，部分行業(yè)應(yīng)用如圖5、圖6 和圖7 所示。

圖5 耕地檢測應(yīng)用

圖6 作物識(shí)別應(yīng)用

5 結(jié)論與展望

本研究基于現(xiàn)有遙感解譯樣本庫存在的分類體系互不相通、開放性與可擴(kuò)展性不足、難以支持樣本集的共享與綜合利用等問題，結(jié)合自然資源調(diào)查監(jiān)測工作的開展與深度學(xué)習(xí)算法的發(fā)展，探討自然資源遙感智能解譯樣本庫的建設(shè)。研究介紹了涵蓋山水林田湖草自然資源要素的遙感解譯樣本分類體系、采集與清洗、建庫與利用方法，構(gòu)建了分布均勻、種類齊全、涵蓋不同地物類型及觀測尺度的遙感解譯樣本庫，形成國產(chǎn)高分辨率衛(wèi)星遙感信息提取與地物識(shí)別、變化檢測自動(dòng)化、智能化業(yè)務(wù)支撐能力，服務(wù)自然資源監(jiān)測監(jiān)管及相關(guān)行業(yè)應(yīng)用。