CIMISS數(shù)據(jù)收集與分發(fā)系統(tǒng)流程分析

王祝先

(黑龍江省氣象數(shù)據(jù)中心,黑龍江 哈爾濱150030)

1 引言

數(shù)據(jù)收集與分發(fā)系統(tǒng)（CTS）是全國綜合氣象信息共享平臺（CIMISS）的一個(gè)重要組成系統(tǒng)，負(fù)責(zé)數(shù)據(jù)收集、分發(fā)和處理，并為平臺中其他系統(tǒng)提供數(shù)據(jù)和服務(wù)，同時(shí)也是CIMISS與外圍系統(tǒng)進(jìn)行數(shù)據(jù)交換的途徑之一。CTS支持媒體千萬級文件數(shù)和TB文件量級的收集與分發(fā)業(yè)務(wù)，提高了數(shù)據(jù)收集和分發(fā)效率。支持業(yè)務(wù)流程調(diào)度及監(jiān)視、TDCF表驅(qū)碼能力建設(shè)、各種資料的傳輸和格式檢查、二次開發(fā)和擴(kuò)展維護(hù)等功能，是黑龍江省氣象行業(yè)統(tǒng)一數(shù)據(jù)收集、數(shù)據(jù)處理和收發(fā)監(jiān)視平臺。

2 CTS系統(tǒng)總體數(shù)據(jù)流程

在氣象資料的實(shí)時(shí)收集、收集分發(fā)處理、數(shù)據(jù)分發(fā)及其他業(yè)務(wù)處理過程中，氣象資料貫穿了整個(gè)數(shù)據(jù)收集與分發(fā)系統(tǒng)，它是數(shù)據(jù)收集與分發(fā)系統(tǒng)建設(shè)的核心依據(jù)。由于氣象資料類型的不同，就決定了其所經(jīng)過的處理流程存在差異，其數(shù)據(jù)源和分發(fā)目的地也就存在差異。因此，對于數(shù)據(jù)收集與分發(fā)系統(tǒng)來說，其業(yè)務(wù)需求主要體現(xiàn)在氣象數(shù)據(jù)規(guī)格，以及由其所驅(qū)動的業(yè)務(wù)規(guī)程與流程。數(shù)據(jù)收集與分發(fā)系統(tǒng)的數(shù)據(jù)流程圖如圖1所示。

圖1 數(shù)據(jù)收集與分發(fā)系統(tǒng)數(shù)據(jù)流程圖

原始數(shù)據(jù)經(jīng)過數(shù)據(jù)收集與分發(fā)系統(tǒng)的數(shù)據(jù)收集、收集處理，依據(jù)一定的策略進(jìn)行數(shù)據(jù)存檔，并經(jīng)過分發(fā)處理，分發(fā)給不同用戶，包括共享平臺內(nèi)的加工處理系統(tǒng)、省氣象行業(yè)部門等，同時(shí)將存檔的數(shù)據(jù)推送至數(shù)據(jù)存儲系統(tǒng)。這樣的數(shù)據(jù)流程既是數(shù)據(jù)流程的主要方式，也是數(shù)據(jù)收集與分發(fā)業(yè)務(wù)主線流程的體現(xiàn)。

數(shù)據(jù)收集與分發(fā)系統(tǒng)所涉及的氣象資料共有11大類，包括雷達(dá)氣象資料、地面氣象資料、高空氣象資料、衛(wèi)星氣象資料、數(shù)值分析預(yù)報(bào)產(chǎn)品、大氣成分資料、農(nóng)業(yè)氣象與生態(tài)氣象資料、海洋氣象資料、氣象輻射資料、氣象服務(wù)產(chǎn)品和其他資料。上述每一類氣象觀測資料和產(chǎn)品在文件大小、文件數(shù)、數(shù)據(jù)量都有其不同的特性。比如數(shù)值分析預(yù)報(bào)產(chǎn)品中的T639全球中期天氣數(shù)值預(yù)報(bào)系統(tǒng)產(chǎn)品和氣象衛(wèi)星資料中的一些產(chǎn)品每個(gè)文件比較大，每日的數(shù)據(jù)量也比較大，而雷達(dá)氣象資料的特點(diǎn)是每個(gè)文件不大，但文件數(shù)量極其多，每日需傳輸?shù)臄?shù)據(jù)總量大，傳輸?shù)臅r(shí)次也高（間隔6 min）。各類數(shù)據(jù)不同的特性對整個(gè)系統(tǒng)的穩(wěn)定可靠性和高時(shí)效性的運(yùn)行提出了不同的要求。本文通過對幾種不同數(shù)據(jù)的數(shù)據(jù)流程的描述，說明本系統(tǒng)建設(shè)內(nèi)容的四大關(guān)鍵需求是可以滿足氣象數(shù)據(jù)的業(yè)務(wù)需求的，同時(shí)，不同數(shù)據(jù)對系統(tǒng)的可靠性和時(shí)效性的不同要求，也對系統(tǒng)的非功能性提出了需求。下面首先以多普勒雷達(dá)基數(shù)據(jù)為例，對數(shù)據(jù)流程加以概要的描述。

3 雷達(dá)數(shù)據(jù)流程

省級數(shù)據(jù)收集與分發(fā)系統(tǒng)的收集分系統(tǒng)接收到多普勒雷達(dá)站傳送到的雷達(dá)壓縮基數(shù)據(jù)后，經(jīng)過收集處理分系統(tǒng)的解壓縮、文件格式轉(zhuǎn)換等處理后，形成統(tǒng)一格式的雷達(dá)基數(shù)據(jù)，分發(fā)處理分系統(tǒng)對雷達(dá)基數(shù)據(jù)進(jìn)行分發(fā)前的數(shù)據(jù)組織，然后通過數(shù)據(jù)分發(fā)分系統(tǒng)將解壓縮的基數(shù)據(jù)送到臨時(shí)文件庫，同時(shí)將需要?dú)w檔的原始雷達(dá)基數(shù)據(jù)送到歸檔目錄，將壓縮基數(shù)據(jù)上傳給國家級收發(fā)系統(tǒng)或分發(fā)給指定用戶。國家級收發(fā)系統(tǒng)收到數(shù)據(jù)后，實(shí)現(xiàn)上述收發(fā)系統(tǒng)類似的功能。雷達(dá)基數(shù)據(jù)經(jīng)數(shù)據(jù)收集與分發(fā)系統(tǒng)的數(shù)據(jù)流程如圖2所示。

圖2 雷達(dá)基數(shù)據(jù)傳輸流程圖

雷達(dá)基數(shù)據(jù)的時(shí)效性需求極高，一般要求每個(gè)體掃完成后開始傳送，每次體掃生成的產(chǎn)品最晚應(yīng)在下次體掃前傳送至國家中心，因此，高時(shí)效性是數(shù)據(jù)收集與分發(fā)系統(tǒng)滿足雷達(dá)數(shù)據(jù)的實(shí)時(shí)收集與實(shí)時(shí)分發(fā)最重要的特性需求之一。從雷達(dá)數(shù)據(jù)在數(shù)據(jù)收集與分發(fā)系統(tǒng)中的數(shù)據(jù)流程的分析考慮，會采用減少I/0讀寫操作、多線程并行機(jī)制和優(yōu)先級隊(duì)列調(diào)度等技術(shù)來滿足海量雷達(dá)數(shù)據(jù)的實(shí)時(shí)收集與實(shí)時(shí)發(fā)送。

4 T639數(shù)據(jù)流程

以全球中期數(shù)值預(yù)報(bào)系統(tǒng)產(chǎn)品（T639）為例，省級數(shù)據(jù)收集與分發(fā)系統(tǒng)收到CMACast廣播的T639數(shù)據(jù)產(chǎn)品后，經(jīng)過省級收發(fā)系統(tǒng)的收集處理、分發(fā)處理，按需要推送至省級氣象業(yè)務(wù)部門、省級同城行業(yè)用戶、省級共享平臺內(nèi)部臨時(shí)文件庫和歸檔目錄。全球中期數(shù)值預(yù)報(bào)系統(tǒng)產(chǎn)品的數(shù)據(jù)流程圖如圖3所示。

圖3 T639傳輸流程圖

對T639數(shù)值預(yù)報(bào)產(chǎn)品，尤其像前面提到的氣象衛(wèi)星資料，文件比較大，在文件傳輸過程中就必須考慮滿足這種大文件傳輸業(yè)務(wù)需求的技術(shù)方案，結(jié)合分片傳輸、重傳機(jī)制和斷點(diǎn)續(xù)傳，采用多線程技術(shù)，就可以保證數(shù)據(jù)傳輸?shù)母呖煽啃浴?/p>

5 小結(jié)

通過對上述不同種類氣象數(shù)據(jù)資料和產(chǎn)品的收發(fā)需求以及數(shù)據(jù)流程分析，提取出這些數(shù)據(jù)最重要的屬性（如文件大小，文件數(shù)，數(shù)據(jù)量，時(shí)次），基于這些重要屬性，對氣象數(shù)據(jù)資料和產(chǎn)品進(jìn)行區(qū)分，并把各類氣象數(shù)據(jù)資料和產(chǎn)品從系統(tǒng)的可靠性、穩(wěn)定性和時(shí)效性再加以分類，這樣在實(shí)現(xiàn)數(shù)據(jù)收集與分發(fā)系統(tǒng)功能性需求的同時(shí)，結(jié)合數(shù)據(jù)規(guī)格說明書中數(shù)據(jù)分析的結(jié)果，對不同種類的數(shù)據(jù)采取不同的技術(shù)方案，充分考慮系統(tǒng)的非功能性需求，以滿足對氣象數(shù)據(jù)資料和產(chǎn)品實(shí)時(shí)收集與實(shí)時(shí)分發(fā)的要求。