遙感數據資源管理研究

摘 ?要： 遙感數據管理是對來自各類衛星傳感器大批量數據高效接收、存檔、監控等，通過多種遙感資源的整合，實現多種傳感器數據采集和數據歸檔存儲管理功能，提供多種查詢方式，支持數據的可視化展示，支持數據記錄編輯和數據統計等功能，并能提供多種數據打包下載功能和定期推送功能。可面向政府內部用戶，各行業用戶、社會公眾用戶提供數據分發服務。通過整合數據資源，實現資源的交換和共享，實現遙感數據通用數據處理功能、門戶網站和應用示范建設，實現政府相關部門的互聯互通，為各類用戶提供服務。

關鍵詞： 衛星遙感; 虛擬;云存儲;信息數據

中圖分類號： TN927+.23 ? ?文獻標識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2019.05.037

本文著錄格式：于海濱. 遙感數據資源管理研究[J]. 軟件，2019，40（5）：190192

【Abstract】： Remote sensing data management is to realize functions of multi-sensor data acquisition and data archiving， storage and management， provide various query modes， and support visualization display of data， data record editing and data statistics， and provide a variety of data packaging and downloading functions and regular push functions based on efficient reception， archiving and monitoring of large quantities of data from various satellite sensors and integration of various remote sensing resources， which can provide data distribution services for users of government， all walks of life and the public. By integrating data resources， it can realize exchange and sharing of resources， general data processing function of remote sensing data， construction of portal website and application demonstration， and interconnection of related government departments， and provide services for all kinds of users.

【Key words】： Satellite remote sensing; Virtual; Cloud storage; Information data

0 ?引言

遙感數據集具有典型的大數據特征，即數據體量大，數據多樣性且變化快等特征。同時，根據本平臺的需求，系統中也存在大量用于地圖服務和展示的瓦片小文件數據。要滿足遙感大數據和海量瓦片數據存儲的需求，傳統的存儲系統和存儲方式已經不能滿足要求，需要采用遙感數據資源庫管理系統進行統一管理。

1 ?遙感數據資源庫管理系統整體架構

遙感數據資源庫管理系統基于現有硬件實施，采用分布式存儲架構，支持4至500臺的服務器存儲集群;提供統一的用戶訪問接口，支持標準的POSIX接口標準。該系統避免了SAN、NAS等傳統共享存儲的信息孤島現象所導致的利用率低下、硬件兼容性差、管理使用復雜、難擴展等缺點[1]。其架構圖見圖1。

存儲資源層主要是實現存儲設備、網絡等基礎資源管理，以及對硬件設備進行狀態監控和監測[2]。云存儲系統層通過分布式云存儲系統實現多個存儲設備間的工作協同，多個存儲設備可以統一對外提供同一服務，增強數據訪問性能，保證系統的安全和穩定。云存儲系統層提供標準的公用接口，以便開發人員進行二次開發。為提高安全性，針對不同的用戶提供了不同的用戶角色，并為用戶提供了注冊、登陸、以及登陸后用戶的安全認證，只有通過了安全認證，才能訪問系統，保障了對系統的安全訪問。采用了類似linux系統的權限管理機制，不同的用戶角色分屬于不同的權限組，每一個權限組具有讀、寫、執行的權限位。對于屬于某個權限組的用戶，只有擁有讀、寫或執行的權限才能訪問，存儲以及執行文件內容。進一步保證了系統的安全性和可控性[3-5]。

訪問層主要是提供給客戶端訪問，用戶也可以使用公用接口進行開發以訪問分布式存儲系統。針對本平臺，主要是提供數據接收系統的寫入分布式存儲和數據分發系統讀取分布式存儲以及對整個“實時雞西”的門戶系統進行數據存儲支撐。

系統可通過提供對文件進行分塊存儲，并發對文件進行讀寫，從而提供高I/O帶寬;能在不同存儲節點上保存3份以上文件分塊副本，無單節點故障;元數據服務器具備冗余災備，當主元數據服務器發生異常時，可由備元數據服務器接管，當主/備元數據服務器均發生故障時，可從日志服務器恢復數據;可在不斷電條件下，動態添加新節點進行空間擴容，支持PB級文件存儲;在部分數據節點宕機的情形下，可從剩余節點中自動恢復副本數量，副本數量恢復后，支持節點的再宕機，依次類推，提供容錯的可持續性。

該分布式云存儲系統，在千兆網絡環境下，兩個存儲節點以上，可使系統的IOPS達到16300，客戶機讀取速度可達60M/S[6]。

2 ?遙感數據資源庫管理系統功能

2.1 ?滿足企業數據存儲要求

系統同時保障海量遙感大數據以及海量小瓦片數據的高效存儲。

2.2 ?提供豐富的訪問接口

作為底層支撐系統，具有豐富的訪問接口，能方便平臺其他系統訪問、存儲、使用系統中的數據。具有文件的讀、寫、刪除、創建等操作接口。接口滿足posix規范，提供客戶端，模擬本地硬盤讀寫模式，像使用本地硬盤一樣使用分布式云存儲空間。

2.3 ?提供api編程接口，方便進行二次開發。

提供restful編程接口，開發人員可以直接使用，從而達到訪問分布式云存儲系統的所有功能

2.4 ?強健的安全認證體系

為保證對系統的安全訪問，只有注冊的合法用戶才能訪問。用戶需要使用用戶名、密碼登陸獲取簽名。每次訪問均需對簽名進行安全認證，只有安全認證通過了，才能訪問系統。安全認證系統需要具有嚴格的防盜鏈功能[7]。

2.5 ?嚴格的權限控制

采用了類似linux系統的權限管理機制，不同的用戶角色分屬于不同的權限組，每一個權限組具有讀、寫、執行的權限位。對于屬于某個權限組的用戶，只有擁有讀、寫或執行的權限才能訪問，存儲以及執行文件內容。

3 ?遙感數據快速處理

為了快速處理海量衛星遙感數據，解放人工生產、降低數據處理成本、提高數據處理效率為目標，主要是圍繞對高分系列、資源系列等衛星遙感數據產品生產加工所提出的高精度、全自動化、快速化、規模化需求，整合遙感空間信息技術成果，突破數據無人工參與的快速處理、高精度空間定位、生產并行化流水化管理等核心技術問題，建設一整套面向遙感空間產品生產加工系統，建立多級多類的遙感數據產品庫，實現衛星遙感數據的標準產品生產和在線可視化產品生產。

在應用方面，基于海量衛星遙感數據，通過對數據進行自動化處理，構建基于時空網格的分幅遙感影像數據庫，并切片發布，為公眾提供最新和可追溯的影像地圖服務;同時，通過監控城市的分幅影像覆蓋情況，定期生產城市鑲嵌影像和專題信息數據，供專業用戶使用[8]。

在類型方面，數據生產線根據不同衛星遙感數據源和不同類型產品進行劃分實時更新生產線、一張圖生產線。

在技術方面，引進基于MapReduce環境的多任務并行遙感處理技術，形成即時處理、即時發布的遙感服務新模式;結合優秀的自主研發的影像融合、幾何校正、去霧、色彩增強、鑲嵌勻色等算法，較于同類型技術，能夠更快更好地生產優質的影像產品。

自動化生產線圖見圖2。

對數據中心中已獲取的數據，經過云量等方式過濾數據推送至分布式云存儲中;創建任務分發系統和MapReduce多任務并行處理環境，執行數據處理系統各項處理功能;在數據處理系統中，三點特性：全自動化、高效率、高精度;在地圖切片系統中，切片水印功能提供在線瀏覽的數據基礎，在并行框架的支撐下，能夠更快速的對瓦片進行并行切割、更新、水印等處理，自動檢測該區域影像分辨率并自動設定影像切片層級，最后完成自動發布，數據保存至瓦片緩存庫中;在系統數據庫中，瓦片緩存庫存儲多時相多分辨率多數據源的瓦片數據，時空信息庫中存儲數據的時間信息空間信息和必要的矢量屬性，用戶信息庫和其他數據庫用來進行存儲在線系統的用戶及數據交換信息，保證整個系統的常態化[9]。

4 ?遙感數據資源庫管理系統特征

4.1 ?高可靠

系統采用大容量存儲服務節點，通過管理平臺實現統一管理和容錯，系統高效高、服務穩定。系統中的數據具有多個副本，數據不會丟失。任何節點發生故障后，系統會自動將數據復制到新的節點上，從而實現無間斷數據服務。

4.2 ?高性能

系統將數據流和控制流有效分離。數據通過并行讀寫，實現各個存儲節點存儲或讀取。系統的吞吐量和IO性能隨存儲節點數目增加呈線性增長。同時通過負載均衡，自動調節均衡各服務器負載，讓各個存儲節點的性能達到最高[10]。

4.3 ?高效存儲

一般存儲系統都可以很好支持大文件存儲，但對于小文件存儲效率比較低，因為文件系統規定一個文件最小占用磁盤空間，這樣存儲許多瓦片數據（小于該最小占用空間的文件）就會造成大量存儲空間的浪費。為了解決這個問題，系統將小文件合并成大文件，并為其建立高效的索引機制，即避免了存儲空間的浪費，又提高并發的訪問效率。

4.4 ?高可擴展性

系統可以在不停服務情況下，動態增加存儲節點，系統擴容非常方便快捷;同理，系統可以在不停服務情況下，也可以減少存儲節點，自動縮減系統規模。被減少節點上的數據將會備份到其他節點上。

5 ?結論

總的來說，遙感數據管理是為用戶提供數據、提供服務的基礎。遙感數據資源庫管理系統擁有高可靠、高性能、高效存儲以及高可擴展性等特點，同時要實現滿足企業數據存儲要求、提供豐富的訪問接口、強健的安全認證體系以及嚴格的權限控制等使用需求，以便遙感數據資源庫管理系統可以對數據進行快速處理。

參考文獻

[1] 談佩文. 云存儲技術在食品安全視頻監控領域的應用[D]. 南京. 南京郵電大學， 2017.

[2] 祝建武. 云存儲在企業容災備份中全新模式探析[J]. 現代商貿工業， 2011， 23（03）： 268-269.

[3] 羅菲. 大數據場景下的云存儲技術與應用[J]. 信息與電腦（理論版）， 2018（23）： 138-139+142.

[4] 沈文文. 視頻存儲風起“云”涌[J]. 中國公共安全， 2013（20）： 172-176.

[5] 汪玉學. 云存儲技術在安防領域的應用[J]. 中國安防， 2011（07）： 41-43.

[6] 李琳. 基于云存儲的教學資源整合研究與實現[J]. 計算機光盤軟件與應用， 2014， 17（18）： 260-261. .

[7] 唐華東. 廣電監測監管中運用云技術的具體技術方案分析[J]. 電視指南， 2018（02）： 239.

[8] 袁高峰， 吳亞洲. 超低功耗云存儲系統——cStor[J]. 電子世界， 2016（09）： 120.

[9] 戚建國， 丁金扣， 張華. 一種基于云存儲環境下的數據處理機制[J]. 軟件， 2015， 36（01）： 141-144.

[10] 焦利， 孫松周， 劉天須， 等. 元數據驅動的分布式數據資源管理技術[J]. 計算機與現代化， 2019（03）： 78-84.