貴州省氣象服務中心 貴州 貴陽 550002

1 引言

隨著時代的發展，氣象資料信息服務從專業化向云計算服務轉變，這給氣象數據信息的實時性查詢和分析帶來更高的要求。分析當前氣象服務中心業務中實時氣象數據服務存在的問題，一方面是傳統溫度、雨量等空間索引方法的設計一般是建立在磁盤特性基礎上的，需要多次訪問才能實現對實況空間大數據的實時查詢分析，這會導致時效性不佳。另一方面是磁盤性能存在問題，無法高效存儲持續增加的大量空間數據，所以難以支持高并發用戶的實時查詢服務。基于此，我們提出利用Spark建立空間大數據實時查詢分析技術，解決上述存在的問題。

2 基于Spark的空間大數據實時查詢工作分析

Spark是專門為大規模的數據處理所涉及出的快速通用計算引擎，優點較多，快速、簡潔、操作簡單、通用性強，有多種運行模式，而且在工作期間輸出的結果信息可以充分保存在內存中。在Spark的基礎上建立數據計算處理框架，同時與SIMBA(分布式空間數據系統)相結合，優化信息檢索流程，進行科學分析，可以借助內存分布數據集打造出允許交互查詢和優化迭代工作負載的計算處理框架。因為Spark可以利用內存分布數據集進行數據分析，而且分析過程產生的中間結果都會保存在內存中，所以可以解決過去框架中處理數據導致的磁盤效率較低的問題。

Spark的氣象雷達回波數據庫中，設置有數據組織處理結構化數據模塊Spark DataFrame，這是建立在RDD的基礎上的。利用分布式大數據可以對數據庫進行分類，提升處理效率。而對于具體的數據，可以借助分區策略進行優化，而Spark DataFrame可以幫助操作人員實現對數據庫的分類，并提供系統的操作程序，將數據集中處理，進一步提升數據查詢檢索效率，改善框架的性能。

另外，為了優化大數據背景下的氣象實況信息檢索功能，以SIMBA為基礎，借助局部索引和過濾優化等操作，可以不修改Spark的內核，使得系統嵌入到Spark系統中。在這個背景下進行信息索引，可以準確界定數據范圍。

3 基于Spark的空間大數據實時查詢解決方案

在進行氣象實況大數據索引時，為了提高系統性能，需要對其進行優化，所以提出應用SIMBA的思路，對Spark進行優化和數據庫索引，并保存在特定的內存中，用以提高檢錯性能。進行大數據的研究，使用Spark存儲數據，可以查詢數據集中的相關信息，同時在空間范圍內完成索引，可以提升檢索效率，使用解析器可以進行空間信息操作，進行分區，采取全局過濾和局部空間的模式。在Spark系統中，使用數據分區進行數據分布的優化，利用操作符完成相關操作，提高查詢性能，分布式計算中可以利用抽象類分區標準進行分區。

在這里，標準主要是按照分區大小、數據局部性以及負載均衡進行分區。首先，使用RDD接收數據集及其范圍邊界傳值。其次，在預定義采樣率的基礎上，對數據分布情況進行預測，對原始數據劃分成不同分區，如果某個分區的數據含量超過平均值，需要重新采樣劃分。通過分區操作可以盡量保證各數據分布均勻，不同分區之間進行有序排列。利用采集分區完成數據集的分區，可以滿足均衡負載的要求。而且這樣的話，空間位置相近的數據可以實現分區數據的局部性能。

全局過濾：按照數據分區的方式完成數據集，將之劃分為大小相近的分區，可以提升查詢效率。但是進行空間查詢時，需要利用全局掃描的方式篩選信息，所以利用全局過濾的方式可以減少需要掃描的分區，利用分區函數計算每個分區邊界，將計算數據保存在數組中，這樣進行空間查詢就可以判斷查詢點所在的分區邊界，進行篩選，從而減少工作量，提升查詢效率。

局部索引：Spark數據處理框架在不同分區收集時，可以按照線段樹的模式實現，在線段樹的基礎上進行空間壓縮，可以快速尋找到需要的數據。在應用時，首先需要計算出分區邊界值的中間值，以此作為根節點，然后利用根節點將空間劃分成三部分，左、中、右集合，如果想要使用線段樹完成某個范圍內的信息查詢時，需要與節點值對比，如果＜節點值，就在左集合查找，如果＞節點值就在右集合查找，最終找到對應的節點值。使用Spark優化之后，進行語句查詢，轉化成抽象語法，然后進行解析，得到對應的表屬性和查詢條，在這個過程中，還能實現對錯誤的糾正操作。

4 大數據實時查詢方法設計

4.1 集群計算 利用Spark的分布式框架，完成氣象實況數據索引，將期間的中間結果保存在內存中，然后利用數據分區標準進行優化數據分布，利用全局過濾和局部索引的方式完成索引操作。在空間范圍內進行查詢，并對查詢到的數據進行分析嵌入空間索引優化，之后利用分布式計算處理時空數據，提升查詢效率。

4.2 系統框架 在Spark系統基礎上，利用Spark SQL進行范圍查詢，具有延遲交底，吞吐量高的優勢。在具體應用時，利用解析器將語句解析成抽象語法樹，然后使用優化器補充完整其中的邏輯。從查詢方式分析，使用Spark Catalyst可以通過解析器進行空間查詢，選擇對應的關鍵字、關鍵詞進行數據和特定對象的查詢，這樣可以將查詢對象控制在某個范圍內，提升查詢效率。從關鍵字接口分析，以關鍵字為主題進行查詢，可以使用空間節點范圍內的關鍵字作為查詢語言，用此表達空間對象，可以優先匹配查詢需求。這樣利用空間范圍借助系統進行查詢，能夠將數據集中在某個范圍內，查詢出所有相關記錄，效率較高。

5 結語

在5G時代貴州大力發展大數據產業，氣象服務需求必將大幅增加，給空間大數據的應用帶來更多的難題。所以本文基于Spark分布式內存計算框架，從查詢分析、解決方案、查詢方法設計三個方面，研究解決基于Spark的空間氣象實況大數據實時查詢分析的關鍵技術。