CIMISS數據收集與分發系統流程分析

王祝先

(黑龍江省氣象數據中心,黑龍江 哈爾濱150030)

1 引言

數據收集與分發系統（CTS）是全國綜合氣象信息共享平臺（CIMISS）的一個重要組成系統，負責數據收集、分發和處理，并為平臺中其他系統提供數據和服務，同時也是CIMISS與外圍系統進行數據交換的途徑之一。CTS支持媒體千萬級文件數和TB文件量級的收集與分發業務，提高了數據收集和分發效率。支持業務流程調度及監視、TDCF表驅碼能力建設、各種資料的傳輸和格式檢查、二次開發和擴展維護等功能，是黑龍江省氣象行業統一數據收集、數據處理和收發監視平臺。

2 CTS系統總體數據流程

在氣象資料的實時收集、收集分發處理、數據分發及其他業務處理過程中，氣象資料貫穿了整個數據收集與分發系統，它是數據收集與分發系統建設的核心依據。由于氣象資料類型的不同，就決定了其所經過的處理流程存在差異，其數據源和分發目的地也就存在差異。因此，對于數據收集與分發系統來說，其業務需求主要體現在氣象數據規格，以及由其所驅動的業務規程與流程。數據收集與分發系統的數據流程圖如圖1所示。

圖1 數據收集與分發系統數據流程圖

原始數據經過數據收集與分發系統的數據收集、收集處理，依據一定的策略進行數據存檔，并經過分發處理，分發給不同用戶，包括共享平臺內的加工處理系統、省氣象行業部門等，同時將存檔的數據推送至數據存儲系統。這樣的數據流程既是數據流程的主要方式，也是數據收集與分發業務主線流程的體現。

數據收集與分發系統所涉及的氣象資料共有11大類，包括雷達氣象資料、地面氣象資料、高空氣象資料、衛星氣象資料、數值分析預報產品、大氣成分資料、農業氣象與生態氣象資料、海洋氣象資料、氣象輻射資料、氣象服務產品和其他資料。上述每一類氣象觀測資料和產品在文件大小、文件數、數據量都有其不同的特性。比如數值分析預報產品中的T639全球中期天氣數值預報系統產品和氣象衛星資料中的一些產品每個文件比較大，每日的數據量也比較大，而雷達氣象資料的特點是每個文件不大，但文件數量極其多，每日需傳輸的數據總量大，傳輸的時次也高（間隔6 min）。各類數據不同的特性對整個系統的穩定可靠性和高時效性的運行提出了不同的要求。本文通過對幾種不同數據的數據流程的描述，說明本系統建設內容的四大關鍵需求是可以滿足氣象數據的業務需求的，同時，不同數據對系統的可靠性和時效性的不同要求，也對系統的非功能性提出了需求。下面首先以多普勒雷達基數據為例，對數據流程加以概要的描述。

3 雷達數據流程

省級數據收集與分發系統的收集分系統接收到多普勒雷達站傳送到的雷達壓縮基數據后，經過收集處理分系統的解壓縮、文件格式轉換等處理后，形成統一格式的雷達基數據，分發處理分系統對雷達基數據進行分發前的數據組織，然后通過數據分發分系統將解壓縮的基數據送到臨時文件庫，同時將需要歸檔的原始雷達基數據送到歸檔目錄，將壓縮基數據上傳給國家級收發系統或分發給指定用戶。國家級收發系統收到數據后，實現上述收發系統類似的功能。雷達基數據經數據收集與分發系統的數據流程如圖2所示。

圖2 雷達基數據傳輸流程圖

雷達基數據的時效性需求極高，一般要求每個體掃完成后開始傳送，每次體掃生成的產品最晚應在下次體掃前傳送至國家中心，因此，高時效性是數據收集與分發系統滿足雷達數據的實時收集與實時分發最重要的特性需求之一。從雷達數據在數據收集與分發系統中的數據流程的分析考慮，會采用減少I/0讀寫操作、多線程并行機制和優先級隊列調度等技術來滿足海量雷達數據的實時收集與實時發送。

4 T639數據流程

以全球中期數值預報系統產品（T639）為例，省級數據收集與分發系統收到CMACast廣播的T639數據產品后，經過省級收發系統的收集處理、分發處理，按需要推送至省級氣象業務部門、省級同城行業用戶、省級共享平臺內部臨時文件庫和歸檔目錄。全球中期數值預報系統產品的數據流程圖如圖3所示。

圖3 T639傳輸流程圖

對T639數值預報產品，尤其像前面提到的氣象衛星資料，文件比較大，在文件傳輸過程中就必須考慮滿足這種大文件傳輸業務需求的技術方案，結合分片傳輸、重傳機制和斷點續傳，采用多線程技術，就可以保證數據傳輸的高可靠性。

5 小結

通過對上述不同種類氣象數據資料和產品的收發需求以及數據流程分析，提取出這些數據最重要的屬性（如文件大小，文件數，數據量，時次），基于這些重要屬性，對氣象數據資料和產品進行區分，并把各類氣象數據資料和產品從系統的可靠性、穩定性和時效性再加以分類，這樣在實現數據收集與分發系統功能性需求的同時，結合數據規格說明書中數據分析的結果，對不同種類的數據采取不同的技術方案，充分考慮系統的非功能性需求，以滿足對氣象數據資料和產品實時收集與實時分發的要求。