北極地區風云衛星遙感數據及產品關聯數據處理平臺設計及實現

劉立葳，羅敬寧

（國家衛星氣象中心中國氣象局，北京 100081）

北極區域觀測預報系統集成與應用示范實現了多源極區遙感數據產品和數值模式產品的管理、綜合分析和分發，為我國全球海洋立體觀測網向極區拓展提供衛星觀測支撐，為北極國際科考船和商船提供航行安全保障服務。其中船舶航行的保障需要大量的風云氣象衛星遙感數據。而近年來風云衛星數據和遙感產品的體量，應用的廣度和深度，都出現急劇地增長和擴充，數據量呈幾何級數式增長[1]。當前的數據管理和服務系統已經不能滿足日益增長的需求，如何建立數據之間的關系和規則、如何分析數據的群體特征、如何發現數據內部的規律和趨勢，為北極船舶的航行[2-3]提供高效、簡潔、準確的數據保障和平臺支撐，是當前面臨的巨大挑戰。

空間關聯的數據處理技術設計與實現主要利用多顆衛星數據，提供全新數據獲取，形成一個以數據為核心，適應北極船舶航行需求的服務平臺。

1 需求分析

空間關聯數據處理軟件設計與實現的主要任務是采用全新的空間網格模型數據庫系統，取代現有的基于文件的衛星數據管理和服務方式，實現多衛星、大范圍、高頻率等特性的衛星數據的精準獲取。該軟件通過建立以空間、時間片和物理層為基礎的空間網格模型[4]，采用基于FileStream 技術[5-6]的BLOB[7]數據庫管理技術，將定位于FY3C、FY3D 衛星的等溫度廓線觀測數據，統一到一致的數據空間中，并提供下一步可擴展的時間、空間的任意數據挖掘功能。

系統最主要業務流程為數據入庫管理流程，如圖1 所示。該流程主要是自動探測前端各業務系統推送到該軟件文件交換區的FY3C、FY3D的NOM、HDF 格式數據，并對這些數據進行實時獲取、初檢后，通過數據解析模塊實現空間科學數據按網格規則的切塊處理和入庫存儲；并在入庫過程中建立數據、快視圖的關聯索引，實現統一的網格化管理。

圖1 數據入庫管理流程

2 系統架構設計

空間關聯數據處理軟件設計與實現的整體架構主要包括：系統硬件基礎設施層、系統軟件和數據資源層、技術支撐平臺層、業務應用層[8-9]。整體架構如圖2所示。

圖2 基于空間管理數據檢索與處理軟件架構

2.1 系統硬件基礎設施層

系統硬件基礎設施層是支撐整個系統運行的硬件環境，主要包括：計算機基礎網絡設施、數據庫服務器、計算機主機設備、存儲設備等。

2.2 系統軟件和數據資源層

系統軟件和數據資源層是支撐整個系統運行的軟件和數據環境，系統軟件主要包括：各類操作系統、文件服務系統、數據庫系統等；數據資源是支撐系統運行的各類數據，包括：用戶請求數據、網格規則管理數據、衛星科學數據集、各類元數據、系統管理數據等。

2.3 技術支撐平臺層

技術支撐平臺層是實現整個系統的核心基礎平臺，本軟件的技術實現依賴的平臺主要包括：流程控制平臺、FileStream 平臺等。

2.4 業務應用層

業務應用層由實現整個項目需求的功能部件（或軟件系統）組成，主要包括如下內容：數據處理與入庫工具、中間層處理服務、數據發布與獲取服務平臺（Web）等。

3 功能模塊設計

空間關聯數據處理軟件設計與實現由4 大功能組成，包括：空間關聯數據庫生成功能、數據轉換處理功能、任務調度管理功能。

根據任務要求，系統劃分如圖3 所示。

圖3 軟件功能模塊

3.1 空間關聯數據庫生成功能

由于遙感數據的空間分布、數據形態、時空分辨率、數據組織形式和應用處理要求等方面具有很多專業特性，數據集成管理的復雜度比較高，現有的數據庫模型無法適應要求，需要建立一個新的數據集成管理的模型，并應用成熟的數據庫技術來實現復雜的數據管理功能，真正將遙感數據納入數據庫管理系統，而不是游離在外文件系統管理。

該軟件將按照空間網格模型建立靜止衛星遙感數據空間數據庫，建立統一的數據空間，通過網格、時間片和物理層等多維結構進行數據組織和管理，采用面向BLOB 二進制大數據塊的FileStream 技術，實現靜止衛星遙感數據的高速I/O 處理和基于事物的數據庫管理，數據體真正進入數據庫統一管理。

3.2 數據轉換處理功能

數據轉化處理功能是一個后臺自動處理程序，主要實現衛星數據的到達、進行標準化和網格化處理，按照數據空間的范圍和統一的空間分辨率，將數據存入空間數據庫，處理任務的調度與執行，對各個任務處理進行合理的負載分配和錯誤處理[11]。

主要包括如下功能：

1）數據解譯和讀取：完成衛星數據的解譯，讀取數據對象到內存處理區，提取相關屬性參數。

2）數據網格化處理：按照統一的空間分辨率，在確定的數據空間內，建立靜止衛星數據空間網格體系，將經過空間轉換處理的標準數據，進行網格化切片處理，如圖4 所示，計算網格散列計數，形成網格切片數據流。

圖4 不同衛星數據空間網格切片拼圖

3）元數據提取：將文件中記錄的數據屬性信息提取出來，記錄到相應的數據庫表中。需要提取的元數據既包括單個文件的，也包括整個數據集的屬性信息。

4）網格切片入庫處理：將得到的網格切片數據流，通過FileStream 底層接口，按照事物邏輯控制方式，根據網格存儲位置寫入空間數據庫，完成網格切片入庫處理。

3.3 任務調度管理功能

該軟件設計的目標是一個自動處理系統，軟件可以監控數據的到達、處理和入庫的全過程，對各個任務處理進行合理的負載分配和錯誤處理，為運行維護人員提供相關的參數配置和管理功能。

1）遠程文件自動發現：根據配置的遠程目錄信息，實時監控遠程目錄中的文件到達情況，支持NFS、SMB、FTP 等協議掛載的文件系統，可以使用文件通配符進行文件過濾，將新到達的文件復制到本地處理區。

2）任務調度和進程管理：根據功能劃分要求，提供對后臺進程的調度管理功能，包括數據發現、數據復制、數據處理、數據入庫等。提供系統資源的控制管理，可以配置管理每個進程的使用資源，對于失敗進程進行監控和隔離，提供進程運行報告。

3）提供集中統一的參數（策略信息）維護和管理界面，供系統平臺管理員對整個系統運行的相關參數信息進行配置。管理員可以通過流程配置的方式定義向導式配置參數的流程，以應對未來配置參數流程的變化，提高系統的可配置性。

4 關鍵技術

4.1 多線程處理技術

多線程處理技術的基本原理是將多項任務分配到多個線程并行處理，從而提高系統效率，目前在專業遙感圖像處理軟件設計中廣泛應用。

將數據處理平臺設計成多線程運行模式，將一些操作和響應放到主線程，對空間分析及處理相關的各種耗時操作采用工作線程，這些耗時操作包括各種數據的讀取、高速緩存數據準備、常用圖像處理等。采用多線程方式的好處有3 點：一是用戶界面友好，工作線程可以在外部中止取消，避免為執行某一任務而耗時等待卻無法中止；二是可以利用用戶輸入、瀏覽等CPU 空閑時間進行后臺數據準備與處理；三是便于安排分塊并行處理。

空間關聯數據處理軟件設計與實現中對于衛星遙感數據的拆分入庫處理采用并行處理和多線程處理技術，大大提高了處理效率。

4.2 氣象衛星數據時空一體化存儲技術

當前GIS 技術發展的最新趨勢是采用關系數據庫管理空間數據，可以充分利用關系數據庫的數據管理的功能，利用SQL 語言對空間與非空間數據進行操作，同時可以利用關系數據庫的海量數據管理、事務處理（Transaction）、記錄鎖定、并發控制、數據倉庫等功能，實現真正的空間數據與非空間數據一體化集成[13]。

該軟件采用SQL Server的FileStream 數據存儲技術和自定義的空間網格存儲衛星科學數據。在數據庫中可以存儲各種空間、時間相關的數據和數據規則。

采用SQL Server的FileStream 數據存儲技術和自定義的空間網格規則將科學數據以分塊分通道方式保存在SQL Server的FileStream 文件系統中[14]。數據分塊存儲，可以根據實際情況調整塊的粒度（如2.5°×2.5°、5°×5°等），每個數據塊存儲為一個記錄。采用表結構存儲，可以追加新的數據字段保存科學數據其他屬性信息，包括時間屬性、數據描述信息等，如圖5 所示。

圖5 數據網格化處理

SQL Server的FileStream 數據存儲技術同時提供了對科學數據的訪問能力。數據訪問時，以文件流方式進行，存取速度都非常高效，存儲過程如圖6所示。

圖6 網格數據FileStream數據存儲

4.3 動態可配置技術

建立“空間關聯數據處理軟件設計與實現”采用參數化設計，建立完善的系統配置參數表以支持數據類型、屬性結構的擴充，應對未來衛星數據管理和服務的擴展要求。

1）采用配置庫的設計方法

①處理流程的靈活配置；

②根據產品存檔要求進行配置；

③單個處理作業的處理方法（參數）配置；

2）新增數據的配置

①不需要進行程序修改；

②配置此類產品的處理流程；

③處理作業的方法（參數）；

3）處理策略（參數等）的靈活配置

超時/補做/回調/清理的參數可以靈活地配置。

5 實現與部署

5.1 軟件實現

該軟件采用C#.NET、C、C++、VC++等多種程序設計語言與開發工具，采用SQL Server 2012R2數據庫。

該軟件允許平臺管理員對整個系統運行的相關參數信息進行配置。管理員可以通過流程配置的方式定義向導式配置參數的流程，以應對未來配置參數流程的變化，提高系統的可配置性。

該軟件達到衛星遙感數據準實時提供功能，訪問效率較高，性能體現如表1 所示。

表1 空間關聯數據處理軟件設計與實現訪問效率

5.2 系統部署

“空間關聯數據處理軟件設計與實現”包含8 個計算節點：兩個數據庫節點、兩個數據處理節點、一個系統管理節點、兩個中間層處理節點和一個Web訪問節點，均采用Windows Server 2012R2 操作系統，部署情況如圖7 所示。

圖7 空間關聯數據處理軟件設計與實現硬件部署

數據庫系統采用SQL Server 2012R2，該數據庫支持流行的軟硬件平臺（PC 服務器及Windows 操作系統環境）；支持客戶機/服務器技術、瀏覽器/服務器技術；具有C2 級以上數據安全控制機制和權限控制，支持多種數據備份方式；支持多種數據庫開發機制，具有開發三層結構、客戶/服務器結構應用的工具；同時具有數據備份和恢復功能。

6 結束語

該軟件基于風云3 號氣象衛星遙感數據的時間、空間和波段的任意數據，提供挖掘功能，可快速準確地獲取北極地區所需數據，避免了大量無效的數據傳輸和處理。該軟件為北極船舶的航行提供了高效、準確的氣象衛星遙感觀測數據保障。