內蒙古自治區氣象數據歸檔系統的設計與實現

中圖分類號：P409；TP311.52 文獻標識碼：A

2021年，中辦國辦印發《“十四五”全國檔案事業發展規劃》，在規劃中提出深入推進檔案資源體系建設，全面記錄經濟社會發展進程，加快檔案資源數字轉型，加強國家檔案數字資源規劃管理，逐步建立以檔案數字資源為主導的檔案資源體系。2022年，中華人民共和國國務院印發《氣象高質量發展綱要（2022一2035年）的通知》，提出加強氣象基礎能力建設，打造氣象信息支撐系統。內蒙古自治區地處全國天氣系統上游，氣候類型復雜多樣，干旱、大風（沙塵暴）、寒潮、暴雨、暴雪以及冰雹等氣象災害多發、頻發。同時，在全球變暖背景下，極端天氣氣候事件明顯增多、強度顯著增強。從2002年開始，內蒙古自治區氣象檔案館在中國氣象局《預測減災業務服務基本建設項目》《氣象監測與災害預警工程》《氣候變化應對決策支撐系統工程》《山洪地質災害防治氣象保障工程》等項目支持和自籌經費支撐下，持續開展氣象原始記錄檔案數字化和提取工作。截至目前，館藏高空、地面、農業氣象、酸雨、輻射以及凍土等原始記錄觀測記錄檔案的數字化掃描約958萬頁，提取數字化成果約249萬頁。2020年4月1日內蒙古自治區119個地面氣象觀測實現全面自動化，觀測數據實現秒級傳輸，數據量日益增長，這些氣象數據為重大天氣過程的復盤分析、總結災害天氣發生發展機理和規律、提升重大氣象災害復盤總結和科學分析水平提供基礎支撐。如何將這些寶貴的氣象數據便捷、高效、安全地存儲和利用，是困擾氣象工作者的難題。一直以來氣象部門在探索氣象數據歸檔方面，先后歷經國家級氣象資料存儲檢索系統歸檔子系統、國家級綜合氣象信息共享系統歸檔子系統以及氣象大數據云平臺，但這些平臺的數據主要存儲在各類服務器中，未能有效解決氣象數據在電子檔案中的安全存儲問題。

一、系統歸檔數據范圍

內蒙古自治區氣象檔案館現存1936年至今各類氣象原始記錄檔案，以及各觀測儀器自動化以來的各類氣象數據，包含上行數據和下行數據以及部門共享數據。截至2023年底，內蒙古自治區氣象大數據云平臺匯集存儲數據產品共1300余類，數據存儲量達6.76PB。按照《QXT223-2013氣象檔案分類與編碼》和業務需求，本次針對內蒙古地區氣象上行地面氣象資料、高空氣象資料、氣象輻射資料、農業氣象與生態氣象資料、大氣成分資料、雷達氣象資料和氣象服務產品七大類、91小類觀測數據開展系統歸檔工作。

二、系統整體架構設計與實現

1.系統業務整體流程設計

基于氣象檔案業務系統的技術架構與業務架構之上進行構建，對接“天擎”通信系統或其他省級通信系統，歸檔系統業務流程按照氣象資料收集、整理、歸檔存儲和檔案利用依次展開。實現對內蒙古地區各類觀測記錄數據的自動收集、整理與歸檔工作。實現歸檔氣象數據查詢下載、資料歸檔率統計結果等展示以及氣象檔案的自動歸檔、近線、離線存儲和長期保存。

2.總體應用框架設計

項目以大數據云平臺和省級其他通信系統為數據源，以虛擬化服務器為硬件支撐，采用B/S體系架構，Web網站采用Windows + jQuery+Vue+LayUI，光磁設備對接采用s3對象傳輸協議和rest技術，資料歸檔程序采用Linux + SpringCloud架構，數據庫采用Linux + 國產虛谷數據庫，服務器端包括Web服務器、歸檔服務器和數據庫服務器，客戶端基于Web可視化技術，采用瀏覽器方式實現歸檔氣象資料查詢下載、光盤刻錄以及資料歸檔率統計結果展示等內容。歸檔系統的總體應用框架是在數據資源標準化體系的規范和基礎設備的支撐下設計實現的。系統采用5層體系架構：數據接入層、數據存儲層、作業調度層、管理層和業務應用層。

數據接入層是系統數據的來源，對接省級“天擎”和省級其他通信系統，省級CTS或者其他通信系統將待歸檔的氣象觀測數據資料，按照業務規則推送到文件存儲服務器上，如NAS存儲。省級自動歸檔及長期保存子系統調度采集歸檔任務，周期性地從文件服務器上收集待歸檔的氣象觀測數據。

數據存儲層包含數據庫服務器、文件服務器和存儲設備。其中，數據庫服務器負責保存歸檔元數據、歸檔管理運行數據等。文件服務器負責臨時存儲待歸檔氣象觀測數據、歸檔整理文件以及打包存儲文件，設置定時清理任務，周期性清理文件等。存儲設備包括存儲載體及存儲載體的裝具設備和讀取設備等。

作業調度層包括采集歸檔作業調度、存儲刻錄作業調度以及定時清理作業調度，通過作業調度任務的執行，完成自動歸檔及長期保存的全流程批量數據處理。管理層包括歸檔元數據管理、電子檔案歸檔統計、策略管理、任務調度管理以及日志管理等，由省級檔案管理員負責省級歸檔全流程的業務管控。

業務應用層包含在氣象檔案業務系統，提供歸檔數據檢索、電子檔案借閱在線利用功能。

3.光磁一體機及藍光光盤庫設計

光磁一體機及藍光光盤庫集成在氣象檔案自動歸檔系統中，基于光磁一體機、光盤庫及離線庫設備集群化管理，構建氣象電子檔案在線、近線以及離線三級存儲管理模式，實現氣象電子檔案自動歸檔及長期安全保存。

服務器分為管理區域、任務節點區域、數據庫區域、日志區域、光存儲區域和數據接入區域，其中管理區域負責部署平臺管理端、網關、注冊中心以及配置組件；任務節點區域負責部署微服務節點；數據庫區域負責部署數據庫組件，支持主從數據庫；日志區域負責主要部署日志監控elk組件，每個日志收割logstash可以部署到微服務節點上。

三、系統功能設計與實現

1.歸檔元數據管理

歸檔元數據管理包括歸檔數據文件元數據維護和歸檔數據介質元數據維護，用來支持指示存儲位置、歷史數據、資源查找以及文件記錄等功能。

歸檔數據文件元數據維護，是以結構化的形式存儲在關系型數據庫中，用于維護歸檔氣象檔案的文件元數據，包括文件元數據的查詢、詳情展示和修改，包括全宗號、立檔單位、四級編碼、地域號、文件時間、文件檔號、文件題名、打包時間、包內文件數量、推送光盤庫時間、光盤庫刻錄時間以及存儲介質編號。

歸檔數據介質元數據維護，用于維護歸檔氣象檔案的文件元數據，包括介質元數據的查詢、詳情展示、新增以及修改。包括存儲介質編號、存儲介質內容摘要和存儲介質離線位置。

2.氣象資料整理

整理分為氣象資料分類整理、氣象資料打包和元數據自動提取及質控。其中，氣象資料分類整理是將收集的待歸檔氣象數據資料分類、排序，整理待歸檔信息包；資料打包是根據“自動收集配置規則表”中的氣象資料的四級編碼、分類方式以及是否打包等要素對氣象數據資料打包處理；元數據自動提取是對完成整理分類或者打包待歸檔的檔案元數據自動著錄，生成歸檔氣象資料文件元數據信息表。

3.策略管理

系統策略包括采集歸檔策略管理、存儲刻錄策略管理以及定時清理策略管理。通過策略管理，設置自動采集歸檔規則、對接光盤庫的存儲刻錄規則以及氣象數據臨時在線存儲的定時清理規則。

采集歸檔策略。用于維護氣象檔案資料自動采集歸檔策略，包括采集歸檔策略的增、刪、改和查維護功能，按照配置規則實現自動的氣象數據采集、分類整理和打包。單元處理時間可以達到秒級。

存儲刻錄策略。用于維護氣象檔案資料對接藍光光盤刻錄打印一體機自動存儲規則，包括自動存儲規則的增、刪、改和查功能。單元處理時間可以達到秒級。

定時清理策略。用于維護在線氣象檔案資料定時清理配置規則，包括定時清理規則的增、刪、改和查功能。

存儲質量檢測策略。基于MD5算法對數據可用性校驗，系統對文件打包刻錄時，自動生成MD5碼和文件一起刻錄，在光盤檢測時，通過校驗MD5碼以驗證數據是否可用。同時，系統支持配置自動檢測任務和臨時抽查兩種方式。自動檢測任務：創建定期檢查任務，可按照年、半年和季度設置檢查頻率，按照盤匣設置需要檢測的盤匣，系統按照檢測任務自動定期檢測光盤；臨時抽查任務：通過臨時抽查，按照盤匣設置需要檢測的盤匣檢查光盤，檢查結束后，在頁面上展示檢查結果。

4.存儲與監控管理

（1）存儲管理。根據電子檔案自動存儲業務規則，設置自動存儲任務，通過自動存儲任務的調度，對接藍光光盤刻錄打印一體機系統，完成電子檔案的自動存儲刻錄。

（2）預警管理。在歸檔系統中上報并展示設備及系統運行過程中產生的預警信息，用戶可處理告警，系統將記錄預警處理結果。

系統預警類型分為任務類預警和存儲設備預警。任務類預警由系統自動處理，針對存儲設備相關預警需人工處理的預警，通知管理人員預警情況，管理人員可及時處理預警，系統記錄預警處理過程以及預警處理結果。自動任務類預警包括自動收集任務、自動整理任務、自動存儲任務、定時清理任務以及歸檔檔案存儲任務等執行異常觸發的報警；存儲設備預警包括光盤庫狀態異常、容量不足以及光盤檢測不可讀等觸發的報警。

一是自動任務類預警。當系統根據自定義的任務預警執行后，預警內容會顯示為“任務類型_任務名稱_執行異常信息”的格式。例如，出現“自動整理任務_初級整理測試4-G.9999.9999.9999_執行失敗”“自動歸檔任務_測試5-G.9999.9999.9999_執行中斷”或“自動存儲刻錄任務_xxxx_任務創建失敗”等信息。

二是存儲設備預警。當光盤庫狀態異常、光盤庫容量不足和光盤檢測不可讀等狀態時，設備自動根據光盤庫的情況發出預警。光盤庫狀態異常預警內容顯示為

“光盤庫 + 光盤庫名稱 + 異常情況 .+ 請及時處理”。例如，光盤庫1離線，請及時處理。光盤庫容量不足預警內容顯示“光盤庫xxx容量已用xxT，剩余容量xxT，剩余可用容量不足 10% ，請及時擴容或遷移”；光盤檢測不可讀預警內容顯示“光盤庫xxx-盤匣 σ_XX- 光盤xx不可讀，請及時恢復”。

5.歸檔統計

歸檔統計功能實現了對氣象數據收集情況的全面統計，提供了針對從大數據云平臺或省級服務器獲取的氣象數據原始信息的統計功能；實現了電子檔案在線存儲、近線存儲和離線存儲的相關信息統計。統計基于檔案時間、檔案類型、檔案地域以及檔案存儲模式（近線、離線）等維度的電子檔案數據統計分析；檔案查詢、下載、打印以及刻錄等利用數據統計分析；歸檔檔案月度、季度、年度數據統計變化分析。

四、結語

系統遵循《中華人民共和國氣象法》《氣象數據管理辦法》等相關法律法規。根據內蒙古地區各上行氣象數據所對應的四級編碼清單、歸檔策略及資料整理、歸檔和存儲，設計開發了“氣象數據自動歸檔系統”。系統結合本地實際將省級上行氣象數據以電子檔案的形式，歸檔并集成氣象檔案業務系統實現統一管理，同時完成系統調度任務管理、歸檔存儲管理、任務日志及預警管理和歸檔統計等模塊功能，不僅實現了氣象電子檔案在線、近線和離線歸檔與管理能力，還實現了省級電子檔案的全生命周期自動處置以及信息化管理，大幅提高電子檔案歸檔效率，支撐電子檔案的長期保存和有效利用，還可為重大災害天氣個例、珍貴檔案和重大活動等各類資源庫，以及行業匯交、農業生產、能源規劃和環境保護的開發利用奠定基礎。系統具有穩定性、安全性和可拓展性，能夠滿足今后氣象電子資料檔案的業務發展需求。

參考文獻：

[1]張恩紅，張金標，李高潔，等.氣象數據光盤歸檔系統設計與實現[J].廣東氣象，2018，40（02）：73-76+80.

[2]劉媛媛，何文春，王妍，等.氣象大數據云平臺歸檔系統設計及實現[J].氣象科技，2021，49（05）：697-706.

[3]徐曉慶，張智，卓鳳艷，等.寧夏氣象資料自動歸檔管理系統設計與實現[J].中低緯山地氣象，2023，47（05）：95-101.

[4]張斌，張旭，陳昱其.檔案數字人文館員：價值闡釋，角色定位與培養策略[J].檔案學通訊，2022，107（06）：8.

[5]任建玲.天津氣象觀測記錄檔案數字化歷程及成果應用[J]蘭臺世界，2020（06）：105-108作者單位：1.內蒙古自治區氣象數據中心；2.內蒙古自治區氣象檔案館