自然資源大數據開放共享相關問題研究

劉 江，鐘倫超，王文濤，羅國峰，李 爽，諸云強，程全英，姜魯光

（1.貴州省自然資源廳，貴陽 550004；2.貴州省自然資源勘測規劃研究院，貴陽 550004；3.貴州省第三測繪院，貴陽 550004；4.貴州師范學院貴州省流域地理國情監測重點實驗室，貴陽 550018；5.貴州師范學院貴州山地研究院，貴陽 550018；6.中國科學院地理科學與資源研究所，北京 100101；7.中國消防救援學院，北京 102202）

0 引言

隨著對地觀測、導航技術、物聯網、移動智能終端等技術的發展，大數據時代已經到來。大數據具有海量的數據規模、快速的數據流轉、多樣的數據類型、較低的價值密度[1-2]等特征。大數據及其存儲管理、處理計算與挖掘分析對于國家戰略實施和行業領域發展都具有重要的戰略意義。一方面，通過數據規模優勢允許數據混雜性，可以有效解決個別數據資源不精確的問題，挖掘數據資源背后的整體規律與趨勢；另一方面，通過不同類型數據資源的關聯關系，可以發現海量數據間的相關性，進而分析對象要素之間的相互影響，提供信息的精準推薦等[3]。

自然資源大數據是指在自然資源調查、監測、評價、開發、利用、交易、保護和管理過程中產生的有關自然資源數量規模、空間分布、結構類型、等級質量、權屬管理等相關的數據資源[4-5]。自然資源大數據應用需要通過大數據創新技術，以自然資源大數據開放共享為基礎，開發新的數據產品，提高數據產品精度和質量，提供新的數據共享服務方式。事實上，自然資源大數據挖掘和利用價值比數據量更重要[6-9]。

1 自然資源大數據發展特征

1.1 數據內容不斷豐富

按照自然資源部履行統一行使全民所有自然資源資產所有者職責、統一行使所有國土空間用途管制和生態保護修復職責（簡稱“兩統一”職責），自然資源的內涵進一步擴大，包括了土地、礦產、森林、草原、濕地、水、海洋等自然資源要素。《自然資源調查監測體系構建總體方案》指出，自然資源包括地表基質層、地表覆蓋層、地下資源層和管理層。其中，地表基質層是地球表層孕育和支撐森林、草原、水、濕地等各類自然資源的基礎物質；地表覆蓋層包括作物、林木、草、水等覆蓋類型；地下資源層主要描述位于地表（含海底）之下的礦產資源，以及城市地下空間為主的地下空間資源；管理層包括自然資源日常管理和實際利用的界線，如自然資源權屬界線、永久基本農田紅線、生態保護紅線、城鎮開發邊界、自然保護地界線、開發區界線等。

綜上，自然資源管理的對象要素不斷拓展，已由傳統的測繪地理信息、土地、礦產、地質環境、海洋延伸到森林、草原、濕地、水、地下空間等，自然資源的數據內容不斷豐富。

1.2 數據量急驟增長

隨著對地觀測、定位導航、地面測量、深地探測等技術的發展，用于自然資源大數據采集的傳感器（包括地基和空基傳感器）越來越多，采集數據的分辨率（包括時間分辨率和空間分辨率）越來越高，自然資源大數據量持續加速增長。

本文以全球最大的地球科學研究機構美國國家航空航天局（National Aeronautics and Space Administration，NASA）為例進行說明：NASA 通過衛星和安裝在國際空間站、飛機、探空氣球、輪船等遙感平臺的對地觀測設備，持續采集用于地球科學研究的全球遙感影像數據。數以百計的衛星傳感器每天對地球進行觀測，產生了海量的遙感數據。

2015 年以前，NASA 地球觀測數據和信息系統（Earth observing system data and information system，EOSDIS）的存檔數據量不到10 PB。2017年，EOSDIS 的存檔數據量增長了一倍多，達到23.8 PB。2018 年，其數據量增長到27.4 PB，如圖1 所示。根據NASA 地球科學數據系統（Earth science data systems，ESDS）估算，2022 年后，EOSDIS 的存檔數據量每年將增長約47.7 PB。2025 年，EOSDIS 的存檔數據量可能突破246 PB，如圖2 所示。

圖1 NASA EOSDIS 地球科學數據存檔數據量

圖2 NASA ESDS 數據量及增長趨勢[10]

1.3 數據價值顯現

大數據時代，“數據就是新石油”的觀點已經形成了廣泛的共識。2020 年，《關于構建更加完善的要素市場化配置體制機制的意見》首次將數據提升為五大生產要素之一，提出要加快培育數據要素市場，強調推進政府數據開放共享、提升數據資源價值。作為基礎性、戰略性數據資源的自然資源大數據，是保障自然資源安全，支撐生態文明建設和社會經濟高質量發展的基礎。自然資源大數據價值不能僅以數據量進行評價，更要以資產價值評估其產業鏈及應用所產生的經濟效益和社會生態效益。

歐盟在開放數據價值評估方面的研究和實踐，引領國際大數據應用前沿。歐盟定義的開放數據包括自然資源大數據在內的由政府機構采集、管理、分發的各種結構化及非結構化數據與信息資源。2015 年，隸屬歐盟委員會的歐盟數據門戶，從經濟發展的角度，評估了開放數據應用對歐盟經濟發展的影響，并發布了《通過開放數據創造價值》的歐盟委員會報告[11]。報告指出，2016 年，整個歐盟開放數據的直接市場規模約553 億歐元 ；2020 年，其市場規模達757 億歐元（通貨膨脹校正后），增長36.9%。2016—2020 年，歐盟開放數據的直接市場規模合計3 250 億歐元。考慮非直接市場規模，2016 年，歐盟開放數據的市場總規模約1 930～2 090 億歐元；2020 年增長至2 650～2 860 億歐元。

公共資源管理部門是歐盟開放數據政策的最大受益者，2020 年，其市場規模約221 億歐元，占整個歐盟開放市場總值的6.8%。目前，通過開放數據應用產生新價值并使開放數據本身增值，已成為歐盟成員國的共識。歐盟開放數據應用的經驗已引起了國際廣泛關注。

2 自然資源大數據開放共享趨勢

為使數據資源易于被公眾發現、獲取、使用，幫助創業、創新和科學發現，國際普遍實行了包括自然資源大數據在內的政府數據共享政策（open data plane，ODP）。開放數據政策的實施初期，大致存在兩種不同的模式：

（1）美國、加拿大和澳大利亞實施的免費開放數據模式，用戶不受任何限制，可以免費或只支付部分數據媒介費用獲取開放數據。

（2）多數歐盟成員國實施的付費開放數據模式。用戶需付費獲取開放數據。

2.1 美國開放數據政策

2013 年，美國政府制定了數據開放共享政策框架，將數據開放共享上升為美國創新戰略的高度。政府有義務保障公眾無障礙獲取、查詢、使用信息和數據資源，以加快創業、創新和基礎研究。一系列政府策略和政策（包括美國創新策略[12]、總統行政命令、數字政府策略、開放政府數據清單）實施后，《開放政府數據法案》最終于2018 年形成。該法案的制定表明美國政府開放數據不僅是一項政策，也是一項必須執行的法律。

2.2 歐盟開放數據政策

1998 年，歐盟委員會開展了開放數據政策研究，形成了《歐盟開放數據政策綠皮書》。根據當時歐盟成員國對開放數據的態度，參照美國開放數據策略，歐盟內部逐步形成開放數據共識。在歐盟成員國中，英國和西班牙最先實施開放數據政策，挪威、法國、意大利和愛沙尼亞緊跟其后。2003年，歐盟全部成員國參與的開放政府數據嘗試正式開啟[10]。2011 年，歐盟委員會決定，設立歐洲聯盟（European Union，EU）即歐盟開放數據計劃（EU ODP）。2013 年，歐盟發布了新的公共部門信息（public sector information，PSI）目錄[12]，修訂了歐盟開放數據政策的運行模式，明確提出歐盟成員國應盡可能為社會公眾開放、共享、提供各種數據資源。

2.3 歐美自然資源大數據開放共享實踐

在自然資源大數據領域，免費開放共享措施甚至早于部分國家實施的數據開放共享政策。1990 年初，NASA 聯合日本、歐洲國家的相關部門，共同創立了全球綜合地球觀測系統（Global Earth observation system of systems，GEOSS），嘗試在國際合作伙伴間開放共享地球科學觀測數據。1994 年，NASA 通過ESDS，實施免費開放的數據共享政策，要求NASA 資助的所有科學研究項目產出的科學數據完全免費共享。2015 年，NASA將科學數據處理相關的軟件系統納入免費開放共享范疇，要求NASA 資助的自然資源領域項目開發的軟件系統必須對公眾開源。歐盟在自然資源大數據免費開放共享方面起步略晚。2011 年，歐盟委員會制定了科學數據免費開放共享政策，規定所有歐盟成員國盡可能開放科學數據，要求開放的科學數據免費且不能附加任何版權限制。

本文以典型的自然資源大數據——航空/航天遙感影像為例。除少數高分辨率商業衛星數據保持收費分發外，國際上大部分衛星遙感影像及其高級數據產品均免費向全球用戶開放共享。在自然資源領域，應用最廣泛的陸地資源衛星（Landsat-4 MSS、Landsat-5 TM、Landsat-7 ETM+、Landsat-8 OLI）、MODIS 系列衛星及歐盟的Sentinel 系列衛星（Sentinel-1 雷達數據、Sentinel-2 光學遙感數據等），通常可以在數小時內完成數據預處理和標準化過程，再通過數據共享門戶向全球用戶無障礙開放。高效的數據共享方式為全球自然資源管理和防災減災提供了強有力的支持。

3 自然資源大數據應用發展現狀

在以衛星遙感為主的海量自然資源數據采集能力快速提升的背景下，自然資源大數據應用與云計算深度結合的趨勢日益明顯。云計算不但為自然資源大數據提供了彈性可拓展的基礎存儲和開放共享設施，而且是自然資源大數據在線計算、再加工與增值的主要平臺。

3.1 自然資源大數據存儲云端化

以谷歌公司的云計算平臺——谷歌地球引擎（Google Earth engine，GEE）為例。GEE 集中了海量自然資源數據，包括200 余個全球和區域尺度的自然資源數據集，擁有超過500 萬景的衛星遙感影像（包括可見光、高光譜、雷達與激光雷達數據），其存檔遙感影像量以每天4 000 景的速度不斷擴充。目前，GEE 平臺可用于分析與挖掘的自然資源數據量已超過40 PB。

作為全球遙感影像最大分發單位的美國地質調查局（United States Geological Survey，USGS），已于2020 年初完成全部陸地資源衛星Landsat 影像的云存儲工作。根據美國《聯邦政府云計算策略》（智能云計劃），USGS 嘗試將部分Landsat 影像處理能力遷移到云端，并對所有歷史存檔和新采集的Landsat影像從云端通過USGS 數據分發門戶直接向全球用戶分發。

NASA 自2019 年起，開始將ESDS 已有存檔和新采集的自然資源大數據向云端遷移，其目標是將12 個NASA 地球科學數據分中心的所有數據遷移到商用公有云服務。

3.2 自然資源大數據應用云計算化

云計算的核心是通過高速計算網絡，將龐大的計算處理任務自動拆分成多個子任務；通過由多個服務器組成的龐大系統計算分析，再將處理結果合并處理后回傳給用戶。網絡服務提供者基于云計算，可在數秒內處理TB 級數據，實現超級計算功能。

目前，國內外商用的公有云計算平臺主要包括GEE、亞馬遜互聯網服務（Amazon web services，AWS）、阿里云、騰訊云、百度云和華為云。對于自然資源大數據應用，云計算不僅可以提供高性能的算力，還可以提供完整的海量數據儲存與多線程數據讀寫能力。自然資源數據是典型的大數據，基礎地理空間數據和遙感監測數據很容易達到PB 級。以應用范圍最廣的陸地資源衛星Landsat 為例，近50 年（1972—2020 年）連續觀測的數據量已達850 萬景、近2.3 PB。這僅是全球數百顆對地觀測衛星數據中的很小部分。所以，強大的云計算平臺才能滿足自然資源大數據計算與應用分析需求。

AWS 作為通用云計算平臺，通過亞馬遜彈性計算云（Amazon EC2），可提供靈活、可擴展的計算能力及與之配套的云存儲服務（Amazon S3）。通過Amazon EC2，用戶可在短時間內將計算能力從幾個中央處理器（central processing unit，CPU）擴展到數千個CPU，并借助海量云存儲能力，直接調用PB 級別自然資源數據集并進行處理分析，從而滿足自然資源大數據管理與應用分析需求。與AWS 相比，GEE 專為海量自然資源大數據管理（特別是遙感影像）和計算分析而設計，不但擁有強大的云計算能力和海量的自然資源數據，還可直接以API 形式提供成熟的自然資源數據處理算法，并以可視化方式將數據處理結果反饋給用戶。

GEE 擁有強大的計算能力和海量的在線存儲能力，其計算平臺包括自然資源大數據集、應用代碼編寫調試區、信息顯示區和大數據應用可視化區4 個部分。擁有全球和區域尺度的200 多個自然資源數據集及500 多萬景衛星遙感影像，數據量超過40 PB。根據自然資源大數據應用需求，開發了數以萬計的通用算法，可處理PB 級數據。

用戶只需通過GEE 界面向云計算平臺發出應用請求；平臺可將用戶需求自動分解成單個CPU 可以處理的小塊任務，直接調用海量數據資源和地理空間分析算法并將計算結果聚合后反饋給用戶。此外，JavaScript 應用程序接口（application programming interface，API）和離線Python API，可以快速構建基于GEE 及谷歌云的萬維網（world wide web，Web）服務。利用GEE 可以快速計算歸一化植被指數（normalized difference vegetation index，NDVI）等，預測作物相關產量，監測旱情趨勢及全球森林變化等。

4 國際自然資源大數據發展應用啟示

4.1 重新審視自然資源大數據價值

自然資源大數據的資產價值屬性毋庸置疑，自然資源大數據的內在價值如何高效發揮并在自然資源大數據應用過程中不斷增值，是一個需要認真探討的問題。近50 年，美國的陸地資源衛星Landsat 數據的應用場景和管理模式幾經變革，最終形成向全球用戶無償共享的數據分發模式。如今，Landsat 數據的免費共享分發模式已經成為國際自然資源大數據的標準參考模式。中國的風云和高分系列衛星數據、歐洲Sentinel 系列衛星數據、美國的中分辨率成像光譜儀（moderate resolution imaging spectroradiometer，MODIS）衛星數據、日本的現代陸地觀測衛星（advanced land observing satellite，ALOS）數據都采用類似的方式。在大數據時代，相關部門需要進一步從自然資源大數據保障自然資源安全、支撐國家和地區高質量發展的角度，重新思考和審視自然資源大數據的價值，全面推進自然資源大數據的開放共享與增值利用。

4.2 自然資源大數據共享新模式

如前所述，以GEE 和AWS 為代表的云計算平臺，努力從不同途徑獲得各種形式的自然資源大數據，供全球用戶免費共享這些數據資源。用戶直接使用云計算平臺的計算資源和存儲資源，在云計算平臺完成數據處理、計算分析等操作。為了提高云計算平臺的吸引力，GEE 和AWS 等云計算平臺自然資源大數據采集到發布的延時很短（一般在數小時內），其數據更新速度與數據原始分發機構數據發布進度（如USGS 和歐洲航天局）幾乎同步。

GEE 和AWS 等商用公有云計算平臺擁有全球最強大的互聯網基礎設施和計算能力，通過便利的云計算基礎設施增加用戶粘性，逐步改變用戶的使用習慣。一方面，大量用戶已習慣在云計算平臺直接調用海量遙感影像并進行計算分析，只將處理結果傳輸到本地計算機。另一方面，由于云計算平臺高效且穩定的互聯網服務，部分傳統用戶下載大數據時也直接轉向云計算平臺。隨著越來越多的自然資源數據遷移到各云計算平臺，自然資源大數據共享分發模式發生了顯著的變化。傳統的政府機構（或代理）分發自然資源大數據模式的優勢在于其公信力（如USGS 和NASA），數據質量以分發機構的學術信用為背書，用戶在使用數據時對數據質量擁有信心。在云計算時代，學術界逐漸接受商用公有云服務提供商分發的數據，基于商用公有云計算平臺數據發表的學術論文數量也逐年穩步增長。

4.3 自然資源大數據應用面臨的挑戰

（1）大數據存儲和分析向云端遷移是不可逆轉的趨勢，歐美國家已完成部分自然資源大數據的云端遷移。中國政府開放數據（包括部分自然資源現狀、統計、登記數據）云端遷移在“十三五”期間也初見成效，但以遙感影像為主的自然資源大數據云計算部署需要給予足夠關注。

（2）商用公有云計算服務提供的存儲和計算資源易于擴展，但其成本較高，需要進一步權衡效率和成本。從USGS 和NASA 的經驗看，自然資源大數據云計算解決方案需要考慮商用公有云與機構私有云混合架構的方式。

（3）“云計算”不僅在“云”端存儲大數據，也在“云”端完成數據分析與處理。當然，數據上云存儲和計算的一個關鍵問題是確保數據資源的安全。

4.3.1 自然資源大數據云服務費用

2020 年初，USGS 將陸地資源衛星Landsat 所有存檔和新采集的數據遷移到云端，盡可能使用商用公有云服務并最大限度降低其中可能存在的風險。基于此，USGS 使用了混合云架構，充分發揮商用公有云服務彈性好、部署快、成本低、維護便捷的優勢，將Landsat 影像分發服務和部分影像處理流程遷移到公有云端；將政府部門原有的Landsat 私有云服務保留備份。

2019 年，NASA 選擇AWS 為云計算平臺，將NASA 所有地球科學大數據遷移到AWS。NASA的初衷是全球研究人員和商業用戶通過AWS 云計算服務可以即時獲取并處理云端的自然資源大數據，通過云計算為科學研究分析和自然資源管理、開發提供新模式。數據用戶無需依賴NASA 現有的數據存檔中心，只需通過AWS 云計算平臺即可獲取NASA 的所有自然資源大數據，節省大量的時間和資源。然而，云計算需要的費用一定程度又阻礙了NASA 繼續將地球科學大數據向云端遷移。除了租用商用公有云計算平臺的服務費用，NASA 還需繼續投入相當數量的資金，用于維護12 個數據存檔中心的運轉。

4.3.2 自然資源大數據云服務安全

中國云計算環境在軟硬件建設方面與歐美國家基本同步。在商用公有云方面，阿里云、騰訊云、百度云和華為云在面向企業的云計算和電子商務應用方面都比較成熟。各級政府機構，尤其是自然資源部門，都基于業務需求建立并維護了一定規模的私有云計算平臺。

自然資源大數據作為政府數據的重要組成部分，采用云計算服務提供部分敏感數據（如高分辨率遙感影像、大比例尺地理空間數據、不動產登記數據等），面臨巨大的安全挑戰。歐美國家作為云計算服務的先行者，一方面推出“云優先戰略”，要求政府開放大量數據并將信息系統遷移到“云端”；另一方面為確保安全，要求為政府提供的云計算服務必須通過安全審查。

Rightscale 公司發布的《2018 年全球云計算研究報告》顯示，約77%的用戶認為安全問題是云計算面臨的主要挑戰，29%的受訪者表示全球范圍內云計算安全問題十分嚴峻。云計算的安全問題包括數據泄露、非授權訪問控制、數據包丟失和網絡攻擊等。隨著平臺即服務（platform as a service，PaaS）和 軟件即服務（software as a service，SaaS）業務規模不斷擴大，云計算平臺的安全問題受到更多關注。研究表明，在數據和業務遷移到云計算平臺的初始階段，用戶面臨的安全問題最嚴重。隨著用戶云計算平臺使用經驗的積累及安全知識的普及，安全風險將快速減少。

5 結語

國際、國內自然資源大數據應用發展的歷程顯示，新興技術在自然資源大數據產業鏈越來越重要。以云計算為代表的新興技術不僅是計算機領域的重大進展，更是自然資源大數據管理和分析的有力工具。

在自然資源大數據采集方面，基于高速互聯網的傳感器網絡在自然資源管理和開發產業中的應用，以及高分系列衛星的發射和投入業務運行，大幅縮小了中國與國際社會的差距。中國的自然資源衛星已經涵蓋了可見光、高光譜、雷達等高、中、低分辨率，基本滿足自然資源勘探、監測與管理的需要。

在自然資源大數據應用方面，歐美國家實施多年的開放數據免費共享策略值得借鑒。在保證國家敏感數據安全的基礎上，自然資源大數據越開放越有利于自然資源數據再利用和再分析，其數據增值效果也越顯著。美國Landsat 資源衛星數據50 年經歷表明免費開放的數據共享政策是最大限度發揮數據價值的有效途徑。

經過近十年的發展，云計算環境下的自然資源大數據產業鏈在歐美國家已趨于成熟，通過云計算平臺實現的自然資源大數據再分析與再增值已初具規模。中國云計算與自然資源大數據結合尚處于松散階段，基本上可以實現數據遷移到云端，但與真正的自然資源大數據云計算還有較大的距離。自然資源大數據應用只有實現“云+計算”才能真正發揮云計算的優勢，實現自然資源大數據在多次使用過程中不斷增值。