基于氣象大數據云平臺的政務區數據同步技術研究

摘" 要： 隨著氣象大數據的快速發展和山東數字強省建設的深入推進，氣象數據在地方政府的發展和決策制定中發揮著越來越重要的作用。為了滿足政府數據應用的需求，提出一種基于氣象大數據云平臺的高效、安全、可靠的數據同步方案，以實現政務區的數據同步，提升氣象數據服務能力和信息化水平。依據氣象數據的類型和特點，將其劃分為一般結構化數據、特色結構化數據和非結構化數據三類，針對每類數據提出了相應的同步技術方案，構建了針對政務區數據同步的綜合解決方案，并以山東省氣象數據為例進行了實驗分析。結果表明，所提方案具備高度可行性、有效性和安全性，可為政府決策提供強有力的數據支撐。

關鍵詞： 氣象大數據云平臺； 數據同步； 政務DMZ區； Binlog日志同步技術； ETL同步技術； 消息路由技術

中圖分類號： TN919.3+4?34； TP311" " " " " " " " " "文獻標識碼： A" " " " " " " " "文章編號： 1004?373X（2024）10?0096?05

Research on data synchronization technology in government affairs network zone

based on meteorological big data cloud platform

Abstract： With the rapid development of meteorological big data and the deepening of Shandong's digital strong province construction， meteorological data plays an increasingly important role in the development and decision?making of local governments. In order to meet the demands of government data applications， an efficient， secure， and reliable data synchronization solution based on the meteorological big data cloud platform is proposed to realize the data synchronization in government zone， thereby enhancing meteorological data service capabilities and the level of informatization. Based on its types and characteristics， the meteorological data is divided into three categories： general structured data， distinctive structured data， and unstructured data， and corresponding synchronization techniques for the each category is proposed. A comprehensive solution for government zone data synchronization is constructed， and the experimental analysis is conducted by using Shandong province's meteorological data as an example. The results show that this solution is highly feasible， effective and secure， which can provide the robust data support for the government decision?making.

Keywords： meteorological big data cloud platform; data synchronization; government affairs DMZ; Binlog log synchronization technology; ETL synchronization technology; message routing technology

0" 引" 言

隨著云計算和大數據技術的迅猛發展，政府對于數據應用的需求不斷增加。氣象數據對社會生產和生活有巨大影響，是政府決策的重要參考[1]。因此，氣象部門肩負著將數據融入山東數字強省建設，為山東高質量發展做出貢獻的重要責任。目前，山東省已建成覆蓋各地市和各部門的電子政務網，省級及各地市的大數據中心對于氣象數據有著迫切需要[2?4]。省級氣象部門擁有全省最及時、最可靠的氣象觀測數據和預報預警數據，然而，各地市、各部門對氣象數據的需求不同，并且這些數據存儲在氣象專網中，實現全省政務區氣象數據的同步和統一共享，成為一項具有挑戰性的任務。

為了加強與政府其他部門的數據通信，山東省氣象局建設了政務DMZ（Demilitarized Zone）區，作為氣象專網和政務外網之間的緩沖區，負責管理和保護氣象政務數據的安全[5]。因此，研究基于氣象大數據云平臺的政務區數據同步技術具有重要的實際意義和應用價值。本文旨在設計一種高效、安全、可靠的基于氣象大數據云平臺的政務區數據同步方案，以提升氣象數據服務能力和信息化水平。

1" 相關概念介紹

1.1" 政務DMZ區概述

政務DMZ區是指政府機構在其內部網絡系統與外部網絡系統之間建立的一個緩沖和安全保護區域。它的主要功能是在保護政府的內部網絡系統不受外部隱患侵害的同時，實現內部系統與外部系統的安全溝通和數據交換。政務DMZ區通常由防火墻、安全網關、入侵檢測系統等組成，旨在提供一種安全可靠的網絡環境，有效保護政務數據的機密性、完整性和可用性[6]。

在政務DMZ區中，數據同步和管理是一個重要的問題。政府機構擁有巨量的數據，需要在內外網之間進行同步共享。數據同步意味著將數據從一個位置復制到另一個位置，以確保數據的一致性和實時性[7?8]。而政務DMZ區的數據管理涉及到數據的獲取、存儲、處理和傳輸等方面的問題。政務DMZ區的數據同步和管理面臨以下幾個主要挑戰和問題：

1） 由于政務數據的復雜性和多樣性，數據同步涉及到不同類型、不同格式的數據，如何實現不同格式的數據同步，是一個關鍵的問題。

2） 數據同步需要考慮數據的一致性和完整性。在復制數據過程中，需要保證數據的準確性，防止數據丟失、損壞或不一致的情況發生。

3） 政務DMZ區的數據管理需要考慮數據安全和權限控制的問題[9]。

4） 政務DMZ區還需要考慮數據的傳輸效率和延遲問題。

1.2" 氣象大數據云平臺

氣象大數據云平臺是基于云計算和大數據技術構建的一個專門用于處理和存儲氣象數據的平臺[10]。它集成了各種氣象數據源，包括氣象觀測數據、衛星遙感數據、數值模式數據等。通過氣象大數據云平臺，用戶可以對氣象數據進行存儲、處理、分析和共享，從而提供更準確、全面的氣象信息和服務產品[11]。

氣象大數據云平臺主要由以下幾個部分構成：

1） 解碼質控模塊：負責接收各種氣象數據，并將其轉化為適合云平臺處理的統一格式。

2） 存儲管理模塊：負責氣象數據的存儲和管理。氣象數據規模龐大，需要高可靠性和高擴展性的存儲系統來滿足數據的長期保存和快速檢索需求[12]。采用分布式存儲技術，可將數據存儲在多個節點上，提高數據的可用性和性能[13?15]。

3） 數據加工模塊：負責對氣象數據進行處理和分析。該模塊提供算力資源，用戶利用各種大數據處理技術和算法，對氣象數據進行清洗、過濾、挖掘和模型建立等操作，加工出各種氣象數據產品。

4） 數據服務模塊：負責為用戶提供數據共享和服務接口。通過這個模塊，用戶可以訪問平臺上存儲的氣象數據，獲取特定的數據產品和服務。

2" 技術方案設計

基于氣象大數據云平臺的政務區數據同步技術設計旨在實現政務區的氣象數據與云平臺數據的及時同步和一致性保證。該設計基于增量同步和一致性保證的方法，確保政務區數據與云平臺數據的同步性和準確性[16]。針對各種不同類型的氣象數據，本文根據其類型特點將其劃分為一般結構化數據、特色結構化數據和非結構化數據三種，分別采用不同的同步技術。同時，由于政務DMZ區只允許數據單向流動，因此三種數據同步服務均部署在氣象專網中。

2.1" 一般結構化數據同步

一般結構化數據通常為標準格式的氣象觀測數據，對于該類數據采用數據庫日志同步技術。通過配置氣象大數據云平臺虛谷分布式數據庫的Binlog，使其生成并記錄Binlog日志。Binlog日志包含了數據庫的所有變更操作，如插入、更新和刪除等。利用開源的Binlog解析工具，通過JDBC技術連接到虛谷數據庫，并實時解析Binlog日志中的變更數據。以數據表為單位對解析后的變更數據進行封裝，將每個數據表的變更事件封裝成獨立的消息，包括表名、變更類型（插入、更新或刪除）和變更數據的詳細信息。將封裝后的變更數據實時發送至Kafka消息集群服務中，數據寫入程序消費隊列中的消息，將數據寫入政務區的虛谷數據庫中。

一般結構化數據同步流程如圖1所示。

2.2" 特色結構化數據同步

特色結構化數據通常為本省特色數據，由氣象大數據云平臺用戶參照氣象數據存儲規范生成并存儲于虛谷數據庫的專題庫中，對于該類數據采用ETL技術進行同步。根據氣象數據存儲規范要求，特色數據中必須包含數據時間、數據到達時間和數據入庫時間等。為了保證數據同步的時效性，基于數據入庫時間可較為準確地判定數據是否已完成入庫。采用虛谷OLEDB驅動連接專題庫，讀取待同步數據表的表結構，并將其與讀取的指定時間范圍的表數據增量拼接成SQL插入語句，定時觸發任務，將增量數據批量寫入政務區的虛谷數據庫。特色結構化數據同步流程如圖2所示。

2.3" 非結構化數據同步

非結構化數據是指數值模式、遙感衛星、服務產品和雷達數據等以文件形式存儲的數據。這類數據的特點是數據庫只存儲文件的存儲索引路徑，而真實的文件則存儲于分布式NAS中。對于該類數據，采用RabbitMQ消息路由技術實現數據同步。氣象大數據云平臺存儲非結構化數據時，利用消息通知機制將CTS系統FTP傳輸來的非結構化數據根據解碼入庫策略完成索引入庫和文件遷移。本文通過重新設計消息路由，新增一路消息分發和解碼策略，將原來一個消息隊列擴展至兩個隊列，其中一個隊列負責氣象大數據云平臺的入庫存儲，另一個隊列負責政務區的入庫存儲。政務區數據入庫時，根據設計的索引信息提取策略、文件入庫策略和分布式NAS存儲策略，利用多線程技術同步消費政務區消息隊列，實現政務區非結構化數據的實時同步寫入。非結構化數據同步流程如圖3所示。

3" 實驗與分析

為驗證政務區數據同步技術方案的有效性，選取中國地面逐小時數據、山東省氣象災害預警信息數據和山東省衛星直收站接收的FY?4A圖像產品數據進行實驗分析。

3.1" Binlog日志同步技術

選取2023年8月1日0時至23時中國地面逐小時數據共計848 514條記錄，利用一般結構化數據所采用的基于數據庫Binlog日志同步技術，共耗時1 124 s，平均約為755條/s。目前山東國家氣象站和區域氣象站總計約1 900個，每時次同時入庫耗時約2.5 s，滿足政務區數據同步的時效要求。同步日志如圖4所示。

3.2" ETL同步技術

選取山東省預警信息行業氣象評估系統專題庫中的山東省氣象災害預警信息數據，利用特色結構化數據所采用的ETL同步技術，將任務執行間隔和數據檢索間隔設置一致，以保障同步雙方數據的一致性。經過試驗發現：當任務執行間隔時間過短時，不僅對于硬件、網絡和數據庫資源消耗過大，而且容易導致數據漏同步；當任務執行間隔時間過大時，則會影響數據同步的時效性。為了平衡數據同步的一致性、時效性和資源消耗，本文將任務執行間隔設置為30 s，同步日志見圖5。

3.3" 消息路由技術

選取山東省衛星直收站接收的FY?4A可見光、水汽、紅外和真彩四類圖像產品，在氣象大數據云平臺解碼質控模塊服務器上重新設計RabbitMQ路由，使其每類產品生成兩個消息隊列，見圖6。再根據設計的解碼入庫策略，利用多線程技術將FY?4A圖像產品數據分別實時寫入氣象大數據云平臺、政務區的文件索引庫和分布式NAS。FY?4A真彩圖像同步日志如圖7所示。

實驗結果表明，基于Binlog日志、ETL和消息路由技術的數據同步綜合解決方案相較于傳統的文件遷移方案，首次在政務區實現了數據庫級的數據同步，且具有較高的數據處理效率，為下一步研發政務區數據服務接口奠定了堅實基礎。同時，該方案的同步服務均部署于氣象專網內，數據同步也具有較高的安全性。

4" 結" 語

本文提出的基于氣象大數據云平臺的政務區數據同步綜合解決方案，實現了不同氣象數據向政務區的高效、安全和可靠同步，保證了政務區數據的快速傳輸和一致性。通過實施這種綜合的數據同步解決方案，政務區可以及時獲得最新的氣象數據，有效滿足各政府部門對氣象數據的使用需求，為山東數字強省建設提供支撐。在未來的研究中，需要進一步探索氣象大數據與政務區其他行業數據的深度融合，以進一步提升數據處理和分析的能力，從而為政務決策提供更好的支持。

參考文獻

[1] 高義梅.大數據在氣象服務中的應用價值研究[J].價值工程，2022，41（15）：153?155.

[2] 桓德銘，王春艷，張欣亮，等.標準化引領地方政府數字化建設路徑研究：以數字山東建設為例[J].中國標準化，2020（9）：75?80.

[3] 牛雅靖，田華.山西省政務數據資源體系建設與探索實踐[J].中國信息化，2023（7）：48?50.

[4] 徐遠鈿，段霞光.新一代電子政務外網研究與實踐[J].信息通信技術，2021，15（5）：64?70.

[5] 陳純子，李楠，王允達.網閘在氣象數據跨網安全交換中的應用測試[J].信息系統工程，2022（1）：73?76.

[6] 秦運龍，王迎迎，張冰松，等.省級外網氣象大數據服務平臺研究與實現[J].氣象科技，2020，48（6）：823?828.

[7] 張萬里.分布式網絡數據同步技術的應用研究[J].科技創新與應用，2022，12（21）：161?164.

[8] 寇媛媛，王曉明，喬文文.數據庫同步技術的研究與應用[J].電腦知識與技術，2019，15（15）：3?5.

[9] 李昊霖.大數據時代政務數據安全防護方案[J].中國新通信，2023，25（10）：119?121.

[10] 馬晉，趙思亮，趙芳.氣象大數據基礎云平臺架構設計[J].信息技術，2023（5）：78?83.

[11] 馮勇，李微，朱輝，等.云計算環境下山東省氣象大數據云平臺的設計與實現[J].信息技術與信息化，2021（5）：147?150.

[12] 徐擁軍，何文春，劉媛媛，等.氣象大數據存儲體系設計與實現[J].電子測量技術，2020，43（22）：19?25.

[13] 張彩云，池繼忠.分布式數據庫在氣象數據存儲中的應用[J].信息技術與信息化，2021（10）：119?121.

[14] 來志云，趙冰燕，郭彩蓮.虛谷數據庫應用于氣象大數據云平臺中[J].中國航班，2021（14）：52?53.

[15] 陳利娟，陳偉，薛帥寧，等.基于NAS的非結構化數據分布式存儲系統設計[J].自動化與儀器儀表，2023（3）：275?278.

[16] 馮勇，呂冠儒，李微，等.數據同步技術在氣象大數據云平臺中的應用[J].科學技術創新，2022（21）：96?99.