基于計算機技術的遙感大數據分布式管理與訓練云平臺設計

陳霞

（亳州工業學校，安徽 亳州 236000）

針對當前遙感圖像數據海量、更新頻繁等特點，本項目擬采用基于云計算的并行計算技術，研究基于云計算的遙感圖像數據存儲與管理方法。基于分布式計算、分布式存儲等技術，面向遙感數據對象識別、變化檢測等實際應用需求，利用自主開發的在線樣本收集技術和深度學習技術，實現多源遙感圖像的自動判讀。

同時，該平臺也為模型預測結果的人為修正提供了依據，并將這些人為的反饋信息傳遞給模型訓練模塊，使其能夠自我迭代學習。相比傳統的離線圖像數據處理方式，該系統采用分布式存儲計算模式，可有效地減少圖像數據在生產中的存儲分配問題，并可有效地簡化深度遙感模型的訓練過程，從而提高深度遙感模型的訓練效率，從而為大規模遙感數據的管理和應用研究提供新的思路。

1 遙感大數據分布式管理與訓練云平臺概述

遙感大數據分布式管理與訓練云平臺是基于遙感大數據的資源池，支持多任務并行處理和海量數據的并行存儲與計算，將海量遙感數據從集中式管理模式轉變為分布式管理模式。該平臺可以滿足用戶在不同層次的需求，例如：

（1）系統用戶可以根據自身的需求，對遙感大數據進行不同的計算任務分配和存儲任務分配。

（2）用戶可以根據自己的工作需要，在平臺上自定義遙感大數據計算任務。

（3）用戶可以根據自己的需要，將已有的遙感大數據資源以不同方式組合在一起，構建一個新的計算模型。

（4）用戶可以通過對已有資源的配置，對遙感大數據進行動態調整、升級和擴容。

（5）用戶可以對自己在平臺上構建出來的計算模型進行分析與評估。

遙感大數據分布式管理與訓練云平臺系統具有以下特點：

（1）基于資源池機制，支持多任務并行計算和海量數據處理。

（2）基于Hadoop 大數據技術，支持分布式存儲和分布式計算。

（3）基于MapReduce 分布式并行計算框架，支持對遙感大數據進行實時分析、挖掘和建模。

（4）支持云存儲、云備份和云監控。

2 大數據云平臺架構

遙感大數據訓練云平臺的總體架構包含云管理系統、遙感數據存儲系統和遙感數據處理系統。其中，云管理系統主要用于對遙感數據進行統一的管理和監控，其功能主要包括對存儲空間、文件資源的統一分配以及對計算任務進行動態調度等。遙感數據存儲系統是將所有的遙感數據以文件的形式存儲在一個數據庫中，便于管理和使用。遙感數據處理系統是對遙感數據進行初步的計算和分析，然后通過計算結果將分析結果保存到數據庫中，并生成可視化的圖表。同時，將分析結果進行存儲，以便于進一步的挖掘和使用。遙感數據管理與訓練云平臺構成了一個完整的體系結構，該體系結構主要由云管理、云存儲、云應用和云訓練四個部分組成。

其中，云管理是整個體系結構的核心，其功能是將所有與之相關的資源進行統一管理。云管理主要包含用戶管理、權限管理、設備管理等功能，以實現對整個云計算平臺的統一管理。

云存儲則主要用于實現數據存儲服務和資源共享服務。

云應用則是對云應用進行開發的平臺，其主要功能是通過對用戶提交的遙感數據進行分析，來挖掘數據中的特征信息，以便于進一步的數據挖掘和分析。

云訓練則是對云計算平臺提供服務的能力進行訓練，其主要功能是對云計算平臺提供的服務能力進行訓練。

該體系結構中，用戶可以根據自己的需求將不同種類、不同用途的資源統一管理起來，從而達到充分利用資源、提高效率的目的。

3 分布式訓練框架設計

在遙感大數據的處理中，通過對大數據應用框架進行訓練，從而達到提高訓練效率的目的。而在分布式訓練框架設計中，主要包括數據傳輸模塊、數據存儲模塊和算法調用模塊。在數據傳輸模塊中，主要是將訓練數據從服務器端傳輸到客戶端，使客戶端能夠直接從服務器端下載訓練數據；在數據存儲模塊中，將分布式訓練框架中的模型文件和參數文件存放于云存儲平臺中，并利用緩存機制，將客戶端下載的模型文件和參數文件緩存起來；在算法調用模塊中，利用機器學習算法來訓練深度學習模型。

從遙感大數據的訓練框架設計上來看，主要包括以下幾個模塊：

（1）分布式訓練框架。基于 Hadoop 集群的分布式訓練框架。

（2）數據傳輸模塊。將遙感大數據的存儲格式與傳輸格式相結合，實現對遙感大數據的存儲與傳輸。

（3）數據存儲模塊。對訓練所需的遙感大數據進行存儲與管理。

（4）算法調用模塊。根據分布式訓練框架中的算法模型，使用深度學習算法來實現對遙感大數據的處理。

（5）數據庫查詢模塊。通過MapReduce 計算引擎來實現對遙感大數據的計算。

在整個分布式訓練框架設計中，主要是利用Hadoop集群對遙感大數據進行存儲、計算和資源調度等工作。其中，數據傳輸模塊是實現分布式訓練框架中各子功能模塊之間相互通信與交互的關鍵環節；數據存儲模塊實現了海量遙感大數據的存儲與管理；算法調用模塊是分布式訓練框架中各子功能模塊之間相互協作的橋梁。

4 關鍵技術

4.1 分散式混合存儲器模式

該平臺針對不同的數據類型，對其進行了結構化設計。重點介紹了圖像數據模型的建立、向量信息的建立、標簽數據的建立、服務數據的建立等。影像資料模式包括影像資料、影像影像資料及影像資料。本文提出了一種基于數據集的遙感元數據標準化方法。最后，選擇了一個分布式的Key-Value NoSQL 數據庫 Accumulo 來存儲圖像塊數據。

由于矢量空間元素間具有復雜的拓撲關系，且在迭代時需對批矢量點數據進行有效的更新。該平臺選擇了HBase 數據庫作為向量元素的存儲對象。利用 HBase 進行向量空間數據的存儲與管理具有高效、高擴展性等優點。

標記數據是利用空間矢量數據，經過向量轉柵的算法處理而獲得的。Ceph 對象存儲使用 RADOS (Reliable Autonomic Distributed ObjectStore）來保證標簽數據的讀寫效率，使用 CRUSH 數據放置采取算法來保證標簽數據負載可以得到有效均衡。

4.2 空間和時間大數據的索引

在此基礎上，利用 Geomesa 語言建立了空間-時間-空間-空間-時間的向量表，以實現對空間-時間和空間-時間向量表的快速訪問。使用 Geomesa 提供的XZ3 時空索引，將包含經度、緯度和時間三個維度的數據，按照基于Z-Order 填充曲線的GeoHash 時空編碼技術，對數據進行降維，得到一維數據作為Key，便于在HBase 數據庫中進行查詢。本項目提出的時空索引方法，在保證空間分布特征的前提下，能夠有效實現空間分布特征的前提下，有效提升空間分布特征，提升空間分布特征。

4.3 microservices 架構

在此基礎上，提出了一種基于服務網格的微服務體系結構。這種模式減少了與Dubbo 和SpringCloud 的耦合。在此基礎上，提出了一種以多智能體為主體的有機體為中心的網狀結構。以通用組件的形式，對系統中的所有服務通信流量進行管控，并且下沉了微服務開發的技術棧，從而可以實現跨語言的服務調用、功能可擴展。

在此基礎上，提出一種高可用性、高擴展性、可擴展性、可維護性、智能運維的遙感大數據管理和培訓微服務體系結構，并將其應用于遙感大數據處理中。

5 遙感大數據的分布式管理

遙感數據在進行處理時，往往會涉及海量的遙感數據，在管理這些龐大的數據時，傳統的基于單機或者文件系統的管理方式已經不能滿足需求，所以需要對遙感大數據進行分布式管理。在遙感大數據的管理中，往往需要將遙感大數據分解成若干個小任務，每個小任務都有自己獨立的存儲和處理信息，這樣才能進行統一的管理。但是由于每個小任務都是獨立操作，其操作結果會存在差異。在這種情況下，如果直接將遙感大數據全部交給集群管理系統處理，就會造成大量數據丟失以及不必要的重復勞動。

為了解決這個問題，可以采用一種“云計算”概念來進行遙感大數據的分布式管理。在“云計算”環境下，各個計算節點所擁有的計算資源都是共享的。在實現對遙感大數據分布式管理時，將計算任務進行分解，分配到各個節點上進行處理。同時，通過在“云計算”平臺中引入分布式存儲技術來解決數據量大而導致存儲空間不足的問題。此外，“云計算”環境下的大數據應用框架也是基于分布式計算技術構建起來的，并且通過引入機器學習算法來提高數據分析處理效率。

6 訓練過程中的任務調度和管理

在遙感訓練過程中，云平臺主要是根據機器學習算法對海量遙感數據進行處理。對于海量遙感數據，一般有多個訓練節點。在訓練過程中，通過調度算法，將訓練任務合理地分配到各個節點上，使訓練任務能夠順利地執行。在實際訓練過程中，往往有多個訓練任務同時進行，例如，對多個圖像數據進行分類、特征提取、模型構建等。同時，由于訓練數據量龐大，單個節點的資源難以滿足多個訓練任務的要求。因此，需要將訓練任務分散到各個節點上去執行。

由于遙感數據的特征提取通常是在多個節點上同時進行的，因此需要對遙感數據進行分類處理。在分類過程中，一般會涉及圖像特征提取、模型構建以及分類結※果驗證等步驟。在分類過程中，需要對各個節點的數據進行分類處理。由于遙感數據具有不規則性以及離散性，因此，采用傳統的機器學習算法往往難以取得理想的效果。在實際應用中，往往采用深度學習算法對遙感圖像進行分類處理。

本文所設計的基于計算機技術的遙感大數據分布式管理與訓練云平臺是基于云計算技術設計實現的。該平臺可以滿足多個訓練節點之間協同工作的要求。通過分布式計算技術，將不同節點上的任務合理地分配到各個節點上去執行。同時，利用云計算平臺提供的分布式計算、資源共享等功能為遙感圖像訓練提供支持。在任務調度和管理過程中，通過對各個節點進行任務分配以及調度管理來保證任務能夠按照規定的時間節點完成任務。

7 實驗與分析

本節對云計算環境下的遙感數據訓練云平臺進行了實驗測試，將采用支持向量機（SVM）的機器學習算法，以及隨機森林（RF）的遙感數據分類算法作為測試算法。在實驗環境中，將一個500kB 大小的遙感數據集作為測試數據，計算其在云計算平臺上訓練一個分類模型所需要的時間，并將訓練好的模型與采用傳統訓練方法得到的模型進行比較。

采用云計算平臺進行遙感數據訓練，所需時間明顯縮短，但是，在相同的計算時間內所得到的遙感數據分類準確率并不高。這是由于傳統機器學習方法訓練得到的模型在面對大規模數據時，準確率不高，而云計算環境下得到的遙感數據分類模型在面對大規模數據時準確率較高。因此，通過云計算平臺進行遙感數據訓練具有一定優勢，但是在訓練速度和準確率方面還需要進一步完善。

在未來的研究中，將針對云計算環境下遙感數據訓練過程中出現的問題進行進一步探討，例如，如何提高遙感數據的訓練效率，以及如何對遙感數據進行清洗和預處理，以達到提高訓練效率的目的。

8 結語

本文設計了一種基于計算機技術的一站式遙感大數據分布式管理與模型訓練云平臺。平臺構建了以異構的遙感數據為基礎的混合存儲模型,以Spark 為載體的分布式計算模型,以服務注冊與發現、服務交互為基礎的微服務架構。結合深度學習在遙感影像數據處理的應用，完成了一站式遙感大數據分布式管理與模型訓練云平臺的整體建設,為構建高可用、易擴展的遙感數據存儲共享與處理平臺提供了解決方案。