遙感影像智能解譯樣本庫現狀與研究

龔健雅，許 越，胡翔云，姜良存，張 覓

武漢大學遙感信息工程學院，湖北 武漢 430079

近年來，隨著對地觀測技術的發展，遙感影像數據以幾何級數的速度快速增長[1-2]。這些時效性強、覆蓋范圍廣、多類型、多分辨率的海量遙感數據被用于地表信息提取、資源與生態環境變化監測等諸多領域，發揮了巨大作用。但是，遙感影像數據量的快速增長和數據類型的不斷豐富，也對數據快速精準解譯方法與技術提出了更高要求，原始拍攝數據大量堆積與可用信息提取不足的矛盾日益突出[3-5]。當前，我國正在著力構建國內國際雙循環相互促進的新發展格局，無論是國內社會經濟發展建設、資源環境動態監測評估，還是支持全球可持續發展、構建人類命運共同體，均需區域/全球大范圍地理空間信息的支持，進而對多源遙感信息快速解譯能力提出了更為迫切的需求。

得益于大數據、云計算、人工智能等技術的不斷進步，深度學習技術在圖像識別方面取得重大進展[6]。2015年微軟研究團隊宣布機器學習系統在ImageNet 2012分類數據集中的圖像識別錯誤率已經降低到4.94%，低于人眼辨識的錯誤率5.1%[7]。自此之后，面向普通圖像處理的深度神經網絡框架和模型迅猛發展，其支持的圖像識別技術在公共安全、生物、工業、農業、交通、醫療等領域得到廣泛應用，其中不少已經融入百姓日常生活，例如人臉識別、車牌識別、指紋識別、食品品質檢測、醫學心電圖識別等。隨著高性能計算等技術的不斷發展，圖像識別能力不斷提升，應用前景不可限量。

在遙感領域，近年也利用深度學習技術支持場景理解、地物目標檢測與土地覆蓋分類等任務。人們通過構建大量樣本數據訓練深度學習網絡，顯著提高了遙感影像特征提取成效[8-10]。但整體上，智能遙感解譯系統的實用化、商業化程度仍未達到人臉、指紋識別等普通圖像解譯的水平。遙感影像解譯涉及場景識別、目標檢測、地物分類、變化檢測、三維重建等不同層次的任務，區域/全球大范圍地物信息的提取需要依賴多源(多類型傳感器、多時相、多尺度)遙感數據，但目前已經建立的樣本庫尚難以支持多源異構遙感影像的處理[3]，主要問題表現在5個方面：①各類樣本庫采用不同的分類體系，導致所訓練出來的深度學習模型難以共享樣本集，處理樣本庫覆蓋范圍外的數據時出現分類偏差；②預設的樣本種類難以完全覆蓋區域/全球地表環境的多樣性，遇到新類別(開集問題)時，模型的解譯體系不能靈活擴展，導致出現誤判[11]；③樣本的空間分布對不同區域地理環境特點體現不足，導致模型對局部地區特征過度擬合，進而降低深度學習模型大范圍應用時泛化能力[6,12]；④現有樣本庫大多模仿ImageNet模式構造，對遙感影像的多尺度、多傳感器、多時相特性體現不足，且大多不具備地理位置屬性和時間屬性，削弱了模型的穩健性；⑤現有樣本大多是分別面向場景、目標、像素構建的，未見集成場景-目標-像素的綜合樣本集。

海量且多類型的遙感影像樣本庫是實現大范圍異構遙感影像高精度智能解譯的基礎。樣本庫應遵循統一分類體系，涵蓋空間分布合理的多尺度、多傳感器、多時相遙感影像，應具備樣本類型與類別動態擴展及樣本自動精化的能力，還應滿足場景、目標、像素等不同層級的精準解譯要求。本文面向多源異構遙感影像地物信息智能解譯需求，在分析現有樣本集現狀及問題的基礎上，研究提出遙感影像智能解譯樣本庫建設方案(如圖1所示)。整體技術流程包括標準制定、方法設計、工程實施、應用支持等幾個主要環節，其中方法設計環節主要包括樣本概念模型設計、樣本分類模型設計、樣本組織模型設計和樣本采集方法設計；工程實施環節主要包括樣本庫構建、樣本協同采集與共享服務平臺開發。樣本分類與編碼標準是在樣本概念與分類模型基礎上形成的，用于指導樣本采集、管理、共享、應用全流程。本文提出的方法將為多源遙感影像樣本庫建設提供參考，為大范圍遙感影像智能解譯提供支持。

圖1 遙感影像樣本庫設計與建設技術流程

1 遙感深度學習樣本集建設現狀

遙感影像解譯包括場景識別、目標檢測、地物分類、變化檢測、三維重建等不同層次的任務，每種任務都可基于多種影像資源(多類型傳感器、多時相、多尺度)來實現，面向智能解譯的樣本庫必須充分體現這種多源特性，才能保證解譯精度。當前已有不少遙感解譯樣本數據集，總體來看，這些樣本集存在分類體系不統一、解譯樣本量小、多樣性不足、樣本影像來源單一、樣本尺寸固定等問題，已經嚴重影響大范圍多源異構遙感影像解譯效率與質量。

1.1 常用公開遙感解譯樣本數據集

目前，遙感解譯樣本數據均是針對不同的解譯任務而構建的，主要包括場景分類樣本、地物目標檢測樣本、地物要素分類樣本、變化檢測樣本等幾類。表1為當前常用公開場景分類、目標檢測、地物要素分類、變化檢測樣本數據集的內容與主要指標。

表1 部分常用公開樣本集

由表1可知，這些大多是場景分類與目標提取樣本，地物目標檢測(像素分割)和變化檢測的樣本量很少，難以支持多層級信息解譯。其中，場景分類樣本的數量最多，在遙感解譯中常用作后續目標檢測地物分類任務解譯模型的初始化與訓練數據。但場景樣本大多為RGB影像，難以支持含有更多光譜信息的遙感模型訓練。且場景樣本尺寸大多較小，致使解譯模型突出地物的局部特征而難以提取大范圍場景特征。目標識別樣本的標注方式依賴于不同數據集面向的目標類別，存在標注方式不統一、類別不統一的現象，在共享應用時，必須進行類別綜合才能實現跨數據集使用。地物要素分類樣本由于標注成本高且分類體系不統一，現存樣本數量較少，缺少多光譜、高光譜、紅外、SAR、激光雷達、多視角等多類型傳感器樣本，難以支持大范圍多源影像解譯。變化檢測的樣本數量是最少的，且大多僅針對某一種地物的變化進行標注，沒有考慮實際情況中多種地物組合變化情況，也無法支持業務化應用。此外，這些樣本集中樣本的大小較為固定，基于有限大小的樣本塊進行深度學習模型訓練，將對解譯模型的感受視野造成限制[13]，不利于大范圍遙感影像信息提取。

為滿足對于大規模樣本庫的多種需求情況，應設計以上各類任務為驅動的遙感影像解譯樣本數據模型，既滿足各任務單獨使用需求，又使得不同任務或不同傳感器間數據可以高效組織索引。

1.2 樣本分類

現有遙感影像智能解譯樣本集大多針對具體應用場景和解譯對象來建設，不同樣本集采用了不同的分類體系。

地表覆蓋分類采用最多的是聯合國糧農組織(Food and Agriculture Organization of the United Nations,FAO)提出的《地表覆蓋分類體系(Land Cover Classification System,LCCS)》，它基于地表覆蓋屬性組合進行類別定義，具有較好的靈活性和可擴展性。美國地質調查局(USGS)的《遙感數據土地利用與土地覆蓋分類體系》[14]、我國的《地理國情監測內容與指標》(CH/T 9029—2019)[15]、《中國全球測圖地表覆蓋產品分類(30 m、10 m)》[16]等均參考了LCCS分類。國際標準化組織基于FAO的LCCS頒布了兩個國際標準《Geographic Information-Classification Systems-Part 1: Classification System Structure》(ISO 19144—1)和《Geographic Information-Classification Systems-Part 2:Land Cover Meta Language,(LCML)》(ISO 19144—2)[17-18]，我國以等同采標的方式將ISO 19144—1翻譯為國家標準《地理信息分類系統》(GB/T 30322)[19]。有些數據集的分類還參考了《土地利用現狀分類》(GB/T 21010—2017)[10]、《地理信息興趣點分類與編碼》(GB/T 35648—2017)等國家標準。

由于這些樣本集在樣本類別定義(命名、語義)、層級及兼容性等方面有較大差異，開放性與可擴展性不足，難以支持樣本集的共享與綜合利用。

1.3 樣本采集方法

常用的樣本標注工具主要有LabelMe[20-21]、LabelImg[22]等，它們可用于小尺寸的全色、RGB影像的目標檢測或場景分類樣本的標注，在處理大尺寸遙感影像時需先切割成小尺寸，且不支持變化檢測、像素分割等樣本的標注，以及多光譜、多視角等樣本的制作。一些地理信息軟件(如ArcGIS和QGIS)支持多光譜影像標注，但導出的標簽一般是矢量，需要先轉換格式才能輸入深度學習模型。像素級影像分割樣本標注一般利用專業軟件(如ENVI、ERDAS)以人工標注或半自動標注方式完成，其中，人工標注包括專業人員和眾包標注兩種方式，前者質量高但效率低，后者效率高但質量參差不齊。ImageNet等是利用眾包完成標注后再經專業人員審核。

某一類別地物實體在不同地理環境中的空間分布是不均勻的，例如東南亞水系豐富，而中亞草原荒漠較多。采樣時必須考慮地理環境對要素分類空間分布的影響，使每個地理空間區域都有足夠的樣本類別與樣本數量[23-24]，才能保證解譯的精度。現有樣本集(特別是地物分類樣本)大多基于局部區域的少量影像構建[8-10]，樣本類型與數量的空間分布不合理，導致機器學習模型錯誤分類[25]。

總體來看，亟須研究顧及地貌景觀類別的樣本分布策略，并研發專用遙感影像樣本采集工具，以提升采集質量與效率。

1.4 樣本數據管理與共享服務

目前，多數遙感影像樣本集由遙感社區的研究人員或學術組織制作，通常以數據文件方式存儲在局域網服務器、公共資源(如GitHub等)和云存儲平臺(如百度云、Google Drive等)，提供鏈接供獲得授權者下載使用[26-27]。集成使用多個樣本集的使用者需要從不同鏈接分別獲取，且由于這些數據集的分類與定義不一致而不得不進行大量的整合處理工作，這種情況不但影響效率，也在一定程度上降低了所訓練模型的泛化能力。例如，雖然多個目標檢測樣本集均有“飛機”樣本，但其成像質量、采樣季節和采樣區域均有差異，用這些樣本訓練出來的模型解譯效果會受影響。

為此，亟須建立遙感解譯樣本服務平臺，實現對多類型傳感器、多時相、多尺度遙感樣本數據的集成管理、動態維護和在線服務，以解決全球/區域大范圍樣本數據融合與共享問題。

2 任務驅動的遙感影像智能解譯樣本庫設計

由前述分析可知，建設可支持大范圍多源異構遙感影像智能解譯的樣本庫需要突破的關鍵技術包括：①“任務驅動”的遙感影像解譯樣本模型；②統一可擴展的遙感解譯樣本分類體系；③支持全局關聯的數據組織索引方法。其中，樣本模型應涵蓋多傳感器類型、多時相、多尺度遙感影像，分類體系應支持樣本類型與類別動態擴展，數據組織與索引應滿足跨區域跨類別快速調用索引需求。

2.1 面向任務的樣本模型

本文針對場景分類、目標檢測、地物分類、變化檢測、三維重建等解譯任務，定義了相應的樣本類型，包括：

(1)場景分類樣本。場景識別對應于計算機視覺中的圖像分類任務，其目的是自動給航空或航天遙感影像貼上特定語義類別標簽，支持場景與目標(如機場、碼頭、立交橋等)的快速檢索。場景識別是高分辨率遙感影像理解的基本步驟，近年已成為遙感領域的熱點研究主題。場景數據主要包括局部或區域性場景影像，以及對應的分類文本標簽。

(2)目標檢測樣本。目標檢測是在影像中定位一個或多個感興趣的特定地物(如建筑物、車輛、飛機等)，并識別預測地物相應的類別。主要包括目標影像、目標定位框坐標數據、目標分類信息。由于遙感地物內容繁雜，有時解譯模型難以區分或判定部分樣本中細分的地物類別。因此，需要綜合考慮地物目標的地域、時相、地形地貌、地塊分布模式或其在影像中的圖斑大小等因素，甚至需要提供示例圖片進行說明。

(3)地物分類樣本。利用遙感影像進行語義分割的目的是將遙感影像中的每個像素與預先定義的地表覆蓋類別關聯起來。包含影像數據以及對應逐像素分類的柵格分類信息數據。

(4)變化檢測樣本。用于定位及識別同一地理位置處多時態間的變化信息。需要前后兩個時相的影像，并且基于統一分類體系對標簽影像的圖斑屬性進行標注。需要針對每種變化類型制定合理的判定準則和規范要求，必要時提供示例說明。

(5)立體多視樣本。此樣本集由密集匹配數據集構成，用于通過多視角遙感影像構建三維地表模型。原始數據包括多視影像，以及對應的相機內外方位元素參數、影像覆蓋范圍的地面真值參考數據(主要為激光點云或產品級三維地表模型)。通過自動配準方法，將影像與高程數據進行匹配，形成樣本數據。

樣本類型的邏輯模型如圖2所示。遙感影像解譯樣本由地物(像素分割)樣本、目標樣本、場景樣本構成。其中，地物樣本又包括來自于平面影像的平面樣本，以及來自于立體多視影像的立體多視樣本。平面樣本包括單時相樣本、變化檢測樣本。邏輯上，目標由像素組成，場景由目標組成，但3種樣本的采樣過程是單獨進行的。同一地物可采集多種任務類型樣本，不同任務的樣本可根據地理位置進行關聯，各類型任務又可包含不同傳感器類型的數據。

圖2 樣本類型邏輯模型

2.2 統一可擴展樣本分類體系

由于區域/全球范圍地物信息復雜多樣，難以預設完備的樣本種類，因而遙感影像智能解譯樣本的分類必須采用開放框架，具有可擴展性。為突破因樣本庫已有類型不完備而造成解譯模型的認知局限問題，本文研究了支持新類別靈活擴展的分類體系(如圖3所示)。主要思路是基于國家標準《地理信息分類系統》(GB/T 30322)構建全局分類體系框架，再結合前節定義的具體任務類型進行擴展。

圖3 樣本分類框架

國家標準《地理信息分類系統》(GB/T 30322)(等同采標ISO19144—1 Geographic Information-Classification Systems-Part 1:Class-ification System Structure)[13]框架分為兩個層次，第一層次采用二分法(dichotomous)定義主要地表覆蓋類別，第二層次以模塊層次結構(modular-hierarchical)對每一類別賦以環境屬性、技術屬性，進而通過不同屬性的組合來定義子類?；谀K層次結構的屬性，可以組合成便于索引的分類屬性表。每種屬性賦以體現類別的層次及層級間隸屬關系的標識編碼，方便索引。通過增加層次模塊的屬性定義，可以靈活擴展定義新的類別，并由用戶生成具體任務的分類實例。

在此基礎上，結合目標識別任務中出現的移動目標與固定目標(表2)對第一層次和第二層次“人造地表和相關區域”進行了擴展，從而形成了全集的分類體系，具體每個任務的分類體系為此全集體系的實例。

本框架能夠支持各類樣本的分類：

(1)地表覆蓋地物樣本分類實例。這種分類方式可以涵蓋現有所有地表覆蓋類別，并可實現已有各種像素樣本分類與本文分類體系的類別映射與轉換。例如，在《地理國情普查內容與指標》(第一次全國地理國情普查，GDPJ 01—2013)中，闊葉林的定義是：由雙子葉喬木樹種為主構成的樹林，闊葉林合計占65%以上。有冬季落葉的落葉闊葉林(又稱夏綠林)和四季常綠的常綠闊葉林(又稱照葉林)兩種類型。其中“樹林”對應于附錄表1屬性表中的A12(自然植被區域)、A3(樹木)，“占65%以上”對應A10(60～70%)，“闊葉”對應D1(闊葉)，“常綠”對應E1(常綠)，“冬季落葉”對應于E2(每年落葉)。因此，地理國情分類中的“闊葉林”就可以映射為本分類體系中的“A12 A3 A10 D1 E1 E2”。

(2)場景樣本分類實例。場景樣本分類取上述分類體系的子集，可實例化(表2)，綜合參考已有開源樣本數據集中的分類類別后，包含9個一級類，23個二級類和119個三級類。

表2 場景樣本分類實例

(3)目標樣本分類實例。目標識別樣本分類取上述分類體系的子集，可實例化(表3)。表3為綜合已有開源樣本數據集中的分類場景樣本分類總表，包含兩個一級類，10個二級類及109個三級類。

表3 目標樣本分類實例

2.3 支持全局關聯的數據組織與索引

遙感影像智能解譯往往是多任務關聯的，對于某一地物，往往需要使用與其相關的多種類型的樣本，或利用某一類型樣本完成不同任務。為此，本文提出以數據集為組織單元的遙感影像解譯樣本數據組織模型(如圖4所示)，以支持全局關聯的樣本組織與索引。

圖4 樣本數據組織模型

本模型數據集包括像素分割樣本數據集、目標樣本數據集、場景樣本數據集、變化檢測樣本數據集、多視角樣本數據集等，每個數據集均建立相應的元數據。每個數據集由相應分類的樣本實例組成，樣本實例由樣本表描述，每個樣本都賦予唯一的樣本標識碼，以支持樣本的全生命周期管理與溯源。

樣本表記錄樣本的基本信息，例如像素分割樣本表主要包括樣本標識編碼、樣本所在數據集、樣本的尺寸、樣本所在區域、樣本拍攝時間、樣本標注信息(質量、采集人、標注時間等)、影像存儲路徑、影像類型，以及影像通道數、影像分辨率、傳感器、樣本用途(訓練、驗證、測試等)。目標樣本還包括目標的標簽信息，變化檢測樣本包括前后時相影像信息，立體多視樣本包括深度信息等。根據不同解譯需求，可將這些屬性進行有機組合，實現多維語義檢索與數據分析。

數據集元數據、樣本表數據、樣本分類數據等存儲在關系數據庫中，數據實體以文件方式存儲于文件系統?；谏鲜瞿Ｐ?，分別定義數據集、場景樣本、目標樣本、地物分類樣本、變化檢測樣本、立體多視樣本的屬性結構，以及分類總表、各類樣本分類表的屬性結構。表4與表5分別是數據集屬性表、場景樣本屬性表結構的示例。

表4 數據集屬性表

3 基于網絡互操作的樣本采集與共享服務

遙感影像智能解譯樣本庫的構建是一項持續性工作，應充分利用已有各類樣本數據集，將其進行歸一化整合處理后納入樣本庫中。在此基礎上，還須建立支持樣本不斷擴展、精化的工作機制與支撐平臺。因此，本文設計了多源異構樣本整合技術路線，面向互聯網用戶的眾包樣本標注與共享服務平臺架構。

3.1 已有樣本歸一化整合

圖5為已有樣本整合處理的技術流程。首先，需要將已有樣本的類別與本文設計的分類體系進行語義映射；然后，依據本項目設計的統一編碼規則和數據庫結構進行轉換，并根據多維查詢的語義建立樣本索引；最后，將樣本集的元數據信息(包括版權信息等)存儲在相關的元數據表中，方便樣本的質量追溯和權屬認定。

圖5 多源樣本數據整合技術流程

3.2 眾包樣本采集

樣本標注是樣本庫建設的基礎工作。為解決全球/區域大范圍樣本數據采集問題，本文設計了基于網絡互操作機制的樣本采集平臺，支持樣本的眾包協同采集標注、在線校驗、動態擴展。由于遙感解譯樣本的判讀與標注需要地學專業知識的支撐，目前樣本采集還主要采用專業人員手工采集的方式，效率低、成本高，且由于樣本標注者的專業認知差異導致標注質量不均。為提高樣本采集效率與質量，本文設計了自動/半自動結合標注方法?；舅悸肥腔谝延袠颖緮祿柧毶疃葘W習模型進行自動解譯，對自動解譯結果進行精度評估并進行人機交互修正完善，利用影像的交互分割優化等算法顯著提升其效率，通過合理分配不同程度的專業人員進行在線校驗，最后將滿足要求的樣本補充至樣本庫。技術流程示意圖如圖 6所示。

圖6 自動/半自動結合標注

3.3 樣本共享服務平臺

針對大規模樣本共享服務問題，本文設計了基于遙感解譯樣本開源共享平臺，支持多維語義查詢、統計分析、數據共享服務。遙感影像樣本共享服務平臺的總體框架如圖7所示，包括基礎設施層、數據存儲層、數據服務層和應用層。其中,基礎設施層包括分布式存儲陣列、GPU集群、文件系統、數據庫系統及網絡環境等。以分布式彈性大規模存儲陣列支撐全球范圍海量遙感影像樣本集的高吞吐和可擴展管理，以GPU集群支持深度學習模型計算和在線多并發訪問快速響應需求。數據存儲層支持多尺度多類型樣本數據的存儲、擴展、維護與版權保護。服務層支持遙感影像樣本的多維語義查詢和樣本數據服務發布，對外提供具有互操作能力的數據訪問服務接口。應用層允許用戶進行開放注冊并根據版權協議進行權限管理，在此基礎上提供樣本的錄入、校驗、多維語義查詢、數據獲取和可視化功能服務，并基于時空數據關聯分析、樣本綜合統計分析、知識發現等數據挖掘模型為用戶提供樣本的在線分析與應用。

圖7 遙感影像樣本共享服務平臺總體框架

4 結 論

本文針對大規模遙感智能解譯需求，分析了已有樣本數據集的現狀及存在的問題，提出了任務驅動的遙感解譯樣本庫設計。本文依據所提出的方案，對已有的73個開源樣本數據集進行了歸一化處理、映射轉換，構建了包含256萬樣本的數據庫，涵蓋了場景分類、目標檢測、單要素/多要素分類、變化檢測、三維多視角重建等多種遙感智能解譯任務，以及多種遙感影像傳感器類型(多光譜、高光譜、SAR、三維多視角)。

在前期工作基礎上，搭建了遙感樣本在線采集與共享服務平臺，初步實現了網絡協同樣本采集、樣本查詢等功能。

下一步將不斷擴充樣本庫，并加快完善樣本采集與共享服務平臺建設，支持全球范圍的眾包樣本采集，實現樣本在線校驗和錄入、多維語義查詢和統計分析等功能，為基于機器學習的遙感影像智能解譯提供有力支撐。