人機協同的自然資源要素智能提取方法

張繼賢，李海濤，顧海燕，張 鶴，楊 懿，譚相瑞，李 淼，沈 晶

1.國家測繪產品質量檢驗測試中心，北京 100830；2.中國測繪科學研究院，北京 100830

為加快建立自然資源統一調查、評價、監測制度，健全自然資源監管體制，切實履行自然資源統一調查監測職責，2020年初，國家發布了《自然資源調查監測體系構建總體方案》，明確了自然資源調查監測的總體目標、工作任務、業務體系建設內容，提出開展自然資源統一調查監測，查清我國土地、礦產、森林、草原、水、濕地、海域海島等各類自然資源家底和變化情況，為科學編制國土空間規劃，逐步實現山水林田湖草的整體保護、系統修復和綜合治理，保障國家生態安全提供基礎支撐，為實現國家治理體系和治理能力現代化提供服務保障。方案同時指出，要實現對自然資源全要素、全流程、全覆蓋的現代化監管，必須充分利用現代測量、信息網絡及空間探測等技術手段，構建“天-空-地-網”為一體的自然資源調查監測技術體系[1]。

基于遙感影像開展自然資源要素提取，是調查監測工作中最基礎、應用最普遍、投入工作量最大、技術難度最高的工作。目前主要依賴人海戰術、通過人機交互的目視解譯與外業逐圖斑核查的方法，勞動強度大、生產效率低、主觀因素多，已不能適應新時代自然資源全要素、全流程、全覆蓋一體化調查監測的新要求和自然資源自動化、智能化、精細化、實時化管理的需求[1]，迫切需要一種高效、智能、經濟的工作方式。

因此，如何自動、高效地實現自然資源要素的提取已成為亟待解決的重大技術難題。近年來，隨著人工智能技術的快速發展，采用機器學習方法實現高分辨率遙感影像自動、快速、精確的解譯已經成為主流的研究方向，主要包括全監督學習、半監督學習、弱監督學習、無監督學習和深度學習[2]，這些方法各有優缺但距離實用尚有較大差距。例如，全監督學習方法(支持向量機、決策樹、隨機森林等)需要強監督信息，算法的性能多依賴于訓練數據的標注質量，而高質量的強監督標注數據難以獲取或代價高昂，且標注數據需求量大，很難應用于缺乏訓練數據的任務；面向對象規則集方法要求多源數據的支撐，對專家知識要求高，針對不同地區不同時相的影像，規則集需要根據具體情況進行調整，難以工程化應用。深度學習方法缺乏嚴格的理論支撐，依賴大量高精度的樣本數據，從算法實現到工程化應用還存在很大挑戰[2]。

人機協同是人工智能新階段的發展方向，人類和人工智能深度融合、協同共進，即將進入一個大集成、大變革的時代[3]。本文提出人機協同的自然資源要素智能提取方法，針對自然資源要素提取的復雜性，集成人類知識與機器智能，實現人類解譯知識的實時利用與機器智能提升，從而提升要素提取的效率、精度與自動化程度。

1 智能提取研究進展

從遙感影像信息提取的發展歷程來看，經歷了人工目視判讀、半自動提取階段，隨著日新月異的遙感應用需求、高分辨率遙感衛星的發射、人工智能技術的發展，目前正在向自動化、智能化方向發展。以下從深度學習智能提取、人機協同智能兩個方面分析智能提取研究進展。

1.1 深度學習智能提取

近年來，深度學習以其海量數據的學習能力和高度的特征抽象能力，在遙感影像信息提取中表現出顯著優勢，網絡模型朝著弱監督方向發展、要素提取軟件朝著智能化方向發展。

1.1.1 網絡模型朝著弱監督方向發展

典型的深度學習網絡模型包括堆棧自編碼機、深度信念網絡、卷積神經網絡、循環神經網絡和生成對抗網絡，往往根據遙感影像解譯應用特點進行改進，雖然取得了較好的效果，但依賴大量高質量的人工標注數據，網絡模型復雜度高、可解釋性不強，容易出現局部最優解或過擬合問題[3-5]。此外，遙感影像的多尺度、多波段、多時相等特征，限制了常規網絡模型的應用。如何在少量有標注數據的條件下實現要素智能提取成為熱點，很多學者針對數據依賴小的弱監督方法開展研究，出現了小樣本學習、遷移學習、主動學習等方法。典型方法的特點見表1。

表1 弱監督方法特點

1.1.2 要素提取軟件朝著智能化方向發展

伴隨著人工智能技術近年來的蓬勃發展和廣泛應用，國內外涌現出一批新興科技公司，相繼出現了系列智能提取軟件。這些軟件呈現如下特征：①集成“樣本采集、樣本管理、模型訓練、模型管理、交互精編”深度學習智能解譯全流程，如吉威數源的SmartRS、中國測繪科學研究院的FeatureStation-AI。②提供基于深度學習的目標檢測、要素提取、影像分類、變化檢測等云服務，能夠實現大批量遙感影像的快速解譯，如阿里巴巴達摩院的AI Earth、商湯的SenseEarth。③提供多種深度學習模型及開源計算平臺，如微軟的AI for Earth、Google的GEE。軟件特點見表2。

表2 軟件特點

1.1.3 存在問題

雖然深度學習技術的興起與發展為自然資源要素智能提取技術進步創造了條件，但技術還不夠成熟，與實際應用要求存在差距，不足以支撐在更大規模、更深層次應用的發展，存在如下問題：①網絡模型復雜度高、可解釋性不強、超參數選擇多依賴于經驗和技巧、訓練耗時、計算量大、容易出現局部最優解或過擬合現象；②依賴大量樣本，缺乏大規模標簽數據、標簽數據獲取成本高、人類知識未有效利用；③由于遙感影像觀測尺度大、場景復雜，現有網絡模型無法深入挖掘遙感影像蘊含的輻射、光譜及地物理化參數等信息。

因此，亟須面向自然資源要素提取應用場景，在人工智能、大數據、云計算等新一代信息技術支撐下，研究新一代人工智能技術，提升自然資源要素提取自動化智能化水平與業務支撐能力。

1.2 人機協同智能提取

人機協同智能是人工智能發展的新階段，內涵是人與機器協同配合，通過自動化技術讓大部分業務流程實現自動化，讓人類從重復枯燥的工作流程中解放出來，通過智能化技術補充和增強人的能力邊界，協助人類做出更精準、更清晰和更理性的判斷，通過人類視覺感知及認知決策技術進行綜合判斷與驗證，反饋給機器進行自主學習，提升機器智能水平，形成閉環[13-15]。文獻[16]提出，計算機與人之間可以成為同事，人與機器做各自擅長的工作。文獻[17]首次正式提出了“人機系統”概念，強調在系統中人和機器發揮各自優勢，相互合作，標志著人機協同的正式提出。

人機協同已經成為發達國家戰略計劃，德國2013年提出了工業4.0戰略，隨后美國提出了工業互聯網戰略，強調“智能工廠”和“智能生產”，實質是利用人機協同技術實現信息化與自動化的高度集成[18]。2019年美國國家技術科學委員會發布的《國家人工智能研究和發展戰略計劃》中明確提出“開發有效的人工智能協作方法”的戰略，人與人工智能合作將成為改變生產模式的新趨勢[19]。國際計算社區聯盟(Computing Community Consortium)呼吁全社會加強人工智能和人類合作研究[20]。我國開始關注人機協同，《中國制造2025》《國家信息化發展戰略綱要》《新一代人工智能發展規劃》等戰略規劃中，人工智能、智能機器人、5G通信、航空航天裝備等重點攻關領域的關鍵技術創新和落地應用，均需要用到高效、自然、智能的人機協同技術[21]。

人機協同在遙感信息提取領域具有應用潛力，是要素提取智能化發展的主要驅動力。基本思路是通過人機協同技術把遙感數據處理與目視判讀、機器學習與專家知識、人腦與電腦的優勢結合起來，電腦負責自動化處理，將處理結果推送給解譯人員，解譯人員根據經驗和自動處理結果進行綜合判斷與確認，再將綜合決策結果反饋給電腦，使得系統被訓練得更智能，解決問題的能力越來越強。

2 人機協同智能提取方法

2.1 自然資源要素特點

自然資源要素指以物質形式存在、看得見、摸得著，可以實施調查、監測和控制的自然資源實體。涵蓋陸地和海洋、地上和地下，包括土地、礦產、森林、草原、水、濕地、海域海島等，具有自然、經濟、社會、生態、空間立體等多重基本屬性特征。

(1)具有多類型立體分布特征。從空間分布上看，《自然資源調查監測體系構建總體方案》提出自然資源的4個空間層，分別為地表覆蓋層、地表基質層、地下資源層、管理層，體現出自然資源是占據一定空間位置和范圍，具有一定的外觀和形狀的復雜立方體；從要素類別看，自然資源要素包括濕地、耕地、林地、草地、工礦用地、住宅用地、交通運輸用地、水域與水利設施用地等，是一個龐大且相互關聯的生命共同體。針對自然資源調查監測的目標、對象、覆蓋面和頻率，需要集成人類知識與機器智能，按照分類分層提取思想，實現對自然資源要素的流水線精準化提取。

(2)具有多時相多尺度時空結構特征。山水林田湖草自然資源具有典型的時相結構特征，不同季節不同時相，其特征變化比較大，需要根據多時相影像的特征進行要素的提取，從時間、空間、數量及質量方面分析自然資源動態變化特征和未來發展趨勢[22]。同時，不同要素都有其特定的空間尺度，尺度選擇的不同，會導致對地表要素空間格局和過程及其相互作用規律不同程度的把握，影響要素提取的科學性和實用性，這就要求選擇合適的尺度來最優反映地物目標的空間分布結構特征[23]。

(3)具有自然經濟社會生態權屬多重屬性。自然資源之所以是資源，是因為其具有經濟等多重屬性和價值。自然資源具有有效(用)性、有限性、稀缺性和區域性，不同類型自然資源本質特點和相互之間的關聯性決定其時空分布的不均勻性及其稟賦特征。同時人類在開發、使用自然資源過程中融入社會勞動，又會對自然資源的本底特征和自然屬性施加影響，從而改變其時空結構和質量狀態，是其社會屬性的具體反映[24]。此外，權屬清晰、權責明確是自然資源資產管理和生態環境監管的前提和基礎，自然資源不受人為劃定的行政界限或者權利界限影響，不會有明確的界限，從而在客觀上造成同一單元上存在多種自然資源類型，如高大樹木與高草重疊、高大樹木與低草重疊、成簇灌木與草重疊等，無法通過自動化的遙感信息提取手段確定權屬界限，需要結合勘測定界、高分辨率遙感影像等多源數據，利用人機協同方式確定權屬邊界。

2.2 人機協同智能提取技術框架

自然資源具有多類型立體分布特征、多時相多尺度時空結構特征、自然經濟社會生態權屬多重屬性，決定了單純依靠自動化手段難以滿足生產要求，需要順應人工智能協作方法智能化發展新方向，從自然資源要素的特點出發，集成人類知識與機器智能，提升自然資源要素提取的效率與精度。

圖1為本文提出的“智能計算后臺+智能引擎+人機交互前臺”人機協同智能提取方法技術框架，后臺運用深度學習等方法進行智能計算，將自動提取結果通過智能引擎推送到前臺，前臺利用半自動提取、人機交互采集編輯技術手段進行人機交互式綜合判斷與驗證。這一方法通過人類與智能機器共同協作，利用自動化技術讓大部分業務流程實現自動化，利用人類視覺感知及認知決策技術進行綜合判斷與驗證，反饋給機器，提升機器智能水平，從而實現人的解譯知識的實時利用與機器智能提升，提升自然資源要素提取的自動化與智能化水平。

圖1 人機協同智能提取技術

智能計算后臺負責要素提取網絡模型訓練與驗證，以及要素自動提取，可得到較為精準的地物邊界及類別信息。人機交互前臺由解譯人員根據經驗及先驗知識對自動提取結果進行綜合判斷與驗證，判斷自動提取的邊界是否與實際地物邊界精準吻合，自動提取的類別信息是否符合實際地物類別，如有不當之處，選擇相應人機交互工具進行人機交互采集編輯，直到得到符合生產要求的解譯結果。

2.2.1 智能計算后臺

針對自然資源要素提取、地表覆蓋分類、變化檢測等業務，研究需求驅動的具有“大規模樣本量、多類型算法模型、自主學習”的迭代式智能計算后臺，如圖2所示。以深度卷積語義分割網絡(如FCN、SegNet、ResNet、DenseNet、VGGNet、UNet、DeepLab等)為基礎，提出適用于遙感影像信息提取的“編碼器-特征強化-解碼器”網絡模型，根據不同的應用場景反復訓練得到適合該場景的預訓練模型[25-26]。將樣本數據劃分為訓練數據、測試數據和驗證數據，采用“訓練-驗證-測試”方法，驗證網絡模型的可行性。樣本與模型相互協同能夠不斷增強智能計算能力[27]，能夠實現要素智能提取，得到自然資源要素的參考位置、邊界、出現概率等信息。關鍵技術包括樣本庫構建、要素自動提取等。

圖2 迭代式智能計算后臺

2.2.2 智能引擎

智能引擎類似大腦神經中樞，負責智能計算后臺與人機交互前臺的信息傳遞[28]。設計推送單元(如區域、格網、圖斑)、推送規則(如圖斑面積占比優先、準確率優先、概率優先)，根據要素邊界的準確性、圖斑面積占比大小、概率大小等推送規則將自動提取結果按照推送單元推送到前臺。關鍵技術包括推送規則構建、單元自動推送等。

推送規則由多個指標的加權和來確定，計算公式如下

f=ωA·A+ωP·P+ωC·C

式中，ωA、ωP、ωC分別為面積占比、概率、準確率的權重，ωA+ωP+ωC=1；A、P、C分別表示面積占比、概率、準確率，取值區間為[0,1]。

2.2.3 人機交互前臺

主動學習是通過啟發式方法獲得領域專家知識和提高學習算法信任度的關鍵方法[29-30]。研究主動學習式人機迭代交互模式，利用半自動提取、人機交互采集編輯等技術手段，對后臺計算的結果進行綜合判斷與確認，將確認后的結果反饋給后臺，更新后臺的樣本數據，促進后臺計算算法的優化與改進。關鍵技術包括多維可視化交互提取、要素半自動提取、人機交互主動學習等，如圖3所示。

圖3 人機交互主動學習技術流程

解譯人員對智能計算后臺自動推送的結果進行綜合判斷與確認，如有不當之處，選擇采集工具進行人機交互采集編輯，完成所有解譯任務。檢查人員同時選擇檢查工具對解譯結果進行檢查，若審核通過，則標注為已審核；若沒通過，則反饋給解譯人員繼續修改。經過驗證確認后的結果通過智能引擎反饋到后臺，更新后臺的樣本數據，促進后臺計算算法的優化與改進。

2.3 關鍵技術及解決途徑

2.3.1 基于規則的圖斑自動推送

定義推送單元及推送規則，引入規則引擎，用于接受數據輸入、解釋推送規則、并根據推送規則做出決策。該方法能夠根據推送規則將后臺自動提取的結果推送給前臺解譯員，并及時通知更新和更改內容，使解譯員在交互時更加方便和快捷，滿足人機交互的智能化需求。

圖4為基于規則的圖斑自動推送技術。解決途徑包括以下步驟：①定義區域、格網、圖斑等推送單元，以及圖斑面積優先、概率優先、鄰近優先等規則，構建規則庫；②根據要素提取任務，從規則庫中獲取與任務對應的規則，調用規則引擎做出決策，將滿足規則的圖斑自動推送給前臺解譯員；③解譯員對自動推送的圖斑進行綜合判斷和確認；④解譯結果通過智能引擎反饋到后臺，更新后臺的數據。

圖4 基于規則的圖斑自動推送技術

2.3.2 多維可視化交互場景

可視化分析綜合了人腦感知、假設、推理的優勢與計算機對海量數據高速、準確計算的能力，通過可視交互界面，將人的智慧，特別是“只可意會，不能言傳”的人類知識和個性化經驗可視地融入整個數據分析和推理決策過程中成為最有潛力的方向[31-32]。借鑒游戲引擎可視化技術，構建多維可視化交互環境，使自然資源信息更加形象、逼真地展示出來，有利于解譯人員進行多視角解譯與分析，能夠清晰準確地提取自然資源實體的結構、幾何等信息。

圖5為多維可視化交互場景。解決途徑包括以下步驟：首先，采用金字塔模型制作瓦片數據，實時在線三維渲染展示，構建三維可視化環境；然后，利用裸眼三維采集、立面采集、地物輪廓自動提取等智能化要素采集技術，實現要素的精準采集與編輯；最后，形成二三維一體化解譯成果。

圖5 多維可視化交互場景

2.3.3 樣本庫構建技術

根據已有的地理國情普查、第三次全國國土調查等歷史解譯數據，按照全面性、代表性、均衡性、正確性、負樣本等原則，構建針對不同傳感器、不同地區的自然資源要素樣本數據集。

圖6為樣本庫構建技術，解決途徑如下。

圖6 樣本庫構建技術

(1)時空樣本庫設計：根據信息全、易讀取、查詢快、易擴展等原則，設計具有區域性、時序性、尺度性、多類型的樣本庫。

(2)數據集格式規范制定：制定統一、規范格式的數據集，該數據集由同名的影像文件夾和標簽影像文件夾組成。

(3)增量樣本庫構建：充分利用公開數據集及已有的多源調查與監測成果，結合人工解譯模式，采集要素標簽樣本以及對應的遙感影像，運用數據挖掘、深度學習技術驗證樣本標注的有效性，得到純凈有價值的樣本，形成樣本庫本底；針對新的應用，采用人工或半自動方法采集一定數量的樣本，作為本底庫的增量。

(4)樣本擴充：利用旋轉變換、仿射變換、色彩變換、尺度變換等方法進行樣本擴充。

2.3.4 基于深度學習的自然資源要素自動提取

深度學習以其特征自動提取與自學習能力在遙感影像智能解譯中得到應用，針對遙感影像大規模、高分辨率、多尺度、多波段等特征，研究水體、道路、耕地等自然資源要素自動提取的深度學習網絡模型，利用該模型實現要素的自動提取。技術路線如圖7所示。

圖7 要素智能提取技術

(1)多策略融合的要素提取網絡模型構建：針對遙感影像的多尺度特征，對遙感影像進行多尺度變換；針對光譜、幾何、時相等特征，對遙感影像進行多維特征提取；利用集成方法，將SegNet、U-Net、LinkNet、PSPNet、RefineNet、DeepLab、FastFCN等語義分割網絡進行集成，依據結構可靈活表示、內部結構可配置、模塊結構可組合原則，設計適用于要素提取的多策略融合的語義分割網絡模型。

(2)水體、道路等要素自動提取：針對不同的自然資源要素，調整多策略融合的語義分割網絡模型，利用樣本庫進行訓練，得到預訓練模型，利用預訓練模型實現水體、道路等要素的自動提取。

(3)精度評價：利用像素精度(pixel accuracy,PA)、均像素精度(mean pixel accuracy,MPA)、平均交并比(mean intersection over union,MIoU)、頻率加權交并比(frequency weighted intersection over union,FWIoU)對自動提取結果進行精度評價。

2.3.5 人機交互半自動解譯

結合人的認知能力和計算機的處理能力，利用點選、魔棒、邊緣跟蹤等交互式采集編輯工具，在矢量柵格一體化環境下，進行自然資源要素的半自動解譯。

圖8為人機交互半自動解譯技術。解決途徑包括以下步驟：首先，目視確定要素對象的位置；然后，通過人機交互設備給出對象在影像中的位置、形狀、范圍等初始信息，計算機自動計算出該對象或者該類對象的精確位置和形狀。人機交互設備包括鼠標、鍵盤、顯示設備、觸摸筆、觸摸屏等。給出要素對象初始信息的類型包括種子點、種子線、矩形(或其他形狀)所限定的在影像上的空間范圍等。

圖8 人機交互半自動解譯技術

3 人機協同智能提取云平臺總體架構

采用云原生架構，以分布式融合存儲計算與智能化調度為基礎，整合計算資源、數據資源、技術資源和應用資源，構建高可擴展、易管理的高性能人機協同智能提取云平臺，提供“后臺智能計算-智能引擎-人機交互”全流程業務引擎，基于統一平臺提供包括統一賬戶權限、業務功能服務、數據資源服務等在內的應用支撐能力，滿足自然資源要素提取的智能、協同、高效需要。云平臺構建總體架構如圖9所示。

圖9 云平臺構建總體架構

3.1 超融合智能計算平臺

通過超融合智能計算平臺，實現云上多源異構遙感數據處理流程的靈活搭建、數據快速處理、數據自動流轉，以及任務全程監控的云上業務調度與管理，滿足多樣化業務對于超大規模分布式融合計算與存儲協同的需求。同時，面向場景應用需求，實現基于容器粒度的計算業務動態混合編排與分布式任務智能調度，向上提供微服務接口，為各類業務開展提供云原生支持。具體包括計算/存儲集群管理、節點管理、鏡像管理、流程編排、任務管理、資源監控等。

3.2 全流程業務引擎

設計“后臺智能計算-智能引擎-前臺”全流程業務引擎，為上層場景提供業務支持。

后臺智能計算主要包括數據管理、樣本管理、模型管理、微服務管理、深度學習等功能。數據管理是針對存儲服務器中的數據進行可視化管理和統計分析，包括數據組織管理、數據可視化、數據統計分析；樣本管理主要負責為深度學習算法提供訓練樣本，包括樣本采集、樣本生成、樣本篩選等；模型管理負責管理深度學習中的預訓練模型，包括模型訓練、模型微調、模型發布等；微服務管理主要實現對容器化服務程序的統一管理、生成、發布、監控與調度，包括微服務生成、微服務發布、微服務調度等；深度學習主要提供模型訓練與模型預測，包括目標識別、要素提取、地表覆蓋分類、變化檢測等功能。

智能引擎主要包括定義推送單元、定義推送規則、單元自動推送、結果自動反饋等功能。推送單元可以是區域、格網、圖斑等；推送規則包括圖斑面積占比優先、準確率優先、概率優先等指標，可以由單個指標確定，也可以由多個指標的加權和確定；單元自動推送負責根據推送規則進行單元自動推送，并實時進行單元自動流轉；結果自動反饋負責將前臺確認后的圖斑反饋到后臺，豐富后臺樣本庫。

前臺主要包括多維可視化、圖斑判別與確認、矢量智能采集編輯、要素半自動提取等功能。多維可視化主要實現多維、時序、疊加、分屏、卷簾、閃爍、特效等可視化效果；圖斑判別與確認負責統籌兼顧全局和局部、大概率和小概率、大面積和小面積、未解譯和已解譯等次序，實現圖斑的判別與確認；矢量智能采集編輯包括拓撲聯動修測、智能面切割合并、采集新面等功能；要素半自動提取包括水域、建筑物、道路等半自動提取工具。

3.3 共享應用在線支撐平臺

共享應用在線支撐平臺是對外業務承載窗口，包括開放接入平臺與應用支撐平臺。開放接入平臺主體面向各類應用與用戶提供基于調查監測數據業務引擎的各類標準化服務接口與配套的軟件開發工具包，支持業務應用快速構建；同時，提供應用/算法快速集成接入能力，實現調查監測業務能力擴展共享。應用支撐平臺支持以多租戶形式提供多應用在線訂閱、持續運維與運營能力，滿足多樣化業務需求與多樣化用戶應用需求。支持多應用在線托管運維與訂閱開通、多租戶管理及租戶個性化授權與應用配置，以及多服務協議接入模式。

4 結論與展望

本文分析了自然資源要素的特點，針對自然資源調查監測的需求，綜合利用多時相遙感影像、人類先驗知識、自動化智能化技術方法，集成人類知識與機器智能，提出了人機協同的自然資源要素智能提取方法，構建了“智能計算后臺+智能引擎+人機交互前臺”的人機協同解譯技術框架，給出了關鍵技術及其解決途徑，探討了人機協同智能提取云平臺構建思路，旨在為人機協同的自然資源要素智能提取技術研究及平臺研制提供參考。

隨著人工智能技術的實踐應用，單獨依賴機器難以滿足生產要求，深層次的知識和經驗具有重要作用[33-34]，人機協同能夠融合專家能力和機器能力，將專家的知識模型化、自動化，自動判斷分析絕大部分信息，專家僅需集中處理少數關鍵性問題，是實現人類與智能機器共同協作的新型工作方式，為自然資源要素智能提取研究提供了新的發展方向，有助于推動自然資源調查監測的質量變革、效率變革。