安徽省氣象信息中心 劉俊娜 唐懷甌 季永華
省級氣象探測資料歸檔與備份系統
安徽省氣象信息中心 劉俊娜 唐懷甌 季永華
省級氣象探測資料歸檔與備份系統以安徽省氣象探測資料為處理對象,針對資料類型的不同采用不同的解碼處理方式,然后按照氣象資料格式進行統一編碼,再對加工處理后的資料進行完全備份和差異備份,并在異地進行容災備份。本系統有高可靠性、災難恢復、高可用性、高可管理性和保持業務持續性等特點。事實表明,多種歸檔策略和備份技術的應用,使通信系統運行更加穩定可靠,資料存儲更加方便安全,該系統極大的提高了安徽省氣象信息的歸檔和存儲管理的現代化水平,同時對安徽省氣象觀測資料的保存提供了可靠保障,并為以后新增數據資源歸檔及備份提供了有益的經驗和示范。
歸檔;完全備份;差異備份;存儲過程
隨著我國氣象業務現代化水平的不斷提高,以及各種自動化的大氣監測設備逐步投入使用,納人到氣象探測資料歸檔業務流程的數據量不斷增加,氣象資料的整理和歸檔轉儲的工作量也不斷增加。如何安全存放、高效管理和可靠的備份這些快速增長的氣象資料,已經成為業務發展中亟需解決的問題。目前各級氣象部門的通信業務系統沒有一個統一的模式,且尚無較系統的數據歸檔和遷移備份策略,對新型觀測資料的歸檔整理工作的不完善,也影響了這些資料在預報及服務上的使用。
省級氣象探測資料歸檔與備份系統,依托現代化的存儲技術和存儲網絡平臺,利用大容量的硬盤、磁盤陣列作為存儲設備,并依托功能完善的愛數備份軟件,建立面向資料管理人員的集實時氣象探測資料的收集、監測、統計、歸檔、存儲、備份等項功能于一體的管理系統。該系統的應用,極大的提高了安徽省氣象信息的歸檔和存儲管理的現代化水平,同時對安徽省氣象觀測資料的保存提供了可靠保障,并為以后新增數據資源歸檔及備份提供了有益的經驗和示范。
該系統具有以下特點:
1)高可靠性。解決由于自然或人為的災難,包括系統硬件、網絡故障以及機房斷電甚至火災、地震等情況導致的計算機系統數據災難,避免單點故障的出現。
2)災難恢復。能夠避免災難發生后所導致的數據災難,有效利用災難恢復方案在應急地點迅速準確地重新恢復業務應用。
3)保持業務的持續性。系統故障的出現可能導致業務停頓,異地備份有利于數據及時恢復,保證持續性。
4)高可用性。容災設計,它避免了出現單點故障,大到主機、存儲設備,小到光纖適配器,所有部件均是冗余容錯的。
5)高可管理性。主機系統、存儲設備、光纖交換機、光纖卡等,均能通過一臺工作站進行集中管理和監控,可節省人力資源,提高工作效率。
由于氣象探測資料的不同和系統建設時間的先后,各種資料采集處理系統模式不統一,操作系統采用了Windows XP、Windows Server和Linux等不同平臺,數據庫管理系統有MSSQL SERVER、Oracle和MySQL等環境。在仔細分析整個通信業務流程后,我們對觀測資料文件和數據庫有針對的采取不同的歸檔備份方案。
總的備份流程是:首先對所有氣象探測資料實現本地備份,在本地的硬盤、移動存儲等的特定區域進行備份,采取完全備份和差異備份兩種策略;然后實現異地容災備份,采用愛數備份軟件,數據經備份軟件壓縮后,通過光纖網絡備份到省農網中心的磁盤陣列中。
本系統采用備份和異地容災兩臺存儲柜(PX-2400型號),其中省農網中心裝備了備份柜,而通信科則裝備了容災柜。PX-2400型存儲柜可滿足大規模數據集中備份、容災備份一體化等功能。本系統對主要的數據庫服務器和文件服務器進行備份,具體有:區域加密站數據庫服務器、省級氣象通信傳輸質量和氣象裝備信息數據庫服務器、實時氣象資料共享系統、全省GPS資料服務器、全省閃電定位資料服務器、全省土壤濕度資料服務器。
就本地備份而言,根據資料類型和數據庫的不同,也采用了不同的備份方式。將GPS/MET、風能、降雪、電線積冰、閃電定位數據、自動土壤水分等觀測資料按相應中心站系統收集的原始數據格式進行歸檔和備份;在MSSQL SERVER 2005[1]環境下編寫歸檔程序,每月自動對區域氣象觀測站SQL數據庫格式的數據文件進行歸檔整理,包括單雨量站、四要素自動氣象站、六要素自動氣象站,按照《地面氣象觀測數據文件和記錄簿表格式》規定,按月生成“地面氣象觀測數據文件”(AIIiii-YYYYMM.TXT,簡稱A文件)和月“分鐘觀測數據文件”(J文件)[2],作為區域站的氣候資料歸檔;利用存儲過程,完成實時通訊業務質量監控數據庫同備份庫之間數據信息的備份和同步。系統結構如圖1所示,我們首先要對收發的文件要進行數據解碼,再按照統一的格式進行編碼,經過加工處理以后才進行備份,存儲到管理系統的數據庫中。由于氣象探測資料類型多、編碼不統一,所以解碼工作量尤其龐大,圖2所示就是解碼工作的流程。

圖1 系統結構圖

圖2 解碼流程圖
多種歸檔策略和備份技術的應用,使通信系統運行更加穩定可靠,資料存儲更加方便安全,通過對安徽省加密觀測站、GPS/MET等多種氣象觀測資料進行定期歸檔和備份,該系統對安徽省氣象部門在資料信息的歸檔研究和應用中起到了很好的推動作用。
[1]長城工作室數據組.SQL Server 2000高級應用[M].北京:人民郵電出版社,2001:27-385.
[2]中國氣象局.地面氣象觀測數據文件和記錄簿表格式[M].北京:氣象出版社,2004:133.