福建省氣象數(shù)據(jù)收發(fā)策略可視化問題研究

魏夏潞 余永城 鄭玉蘭 王 笑

（福建省氣象信息中心,福建 福州 350000）

氣象數(shù)據(jù)是描述大氣狀態(tài)和特征的氣象科學數(shù)據(jù)，是與氣象相關(guān)學科的研究基礎(chǔ)。氣象數(shù)據(jù)共14大類，分別為地面、高空、輻射、海洋、大氣成分、衛(wèi)星、雷達、數(shù)值預報產(chǎn)品、農(nóng)業(yè)氣象和生態(tài)氣象、氣象災害、歷代氣候數(shù)據(jù)、科學試驗和考察、氣象服務(wù)產(chǎn)品以及其他資料。這些大類又可細分出約500個子類，并隨著氣象探測技術(shù)的發(fā)展，還在不斷增加。

氣象數(shù)據(jù)通過CTS通信系統(tǒng)進行傳輸。在通信系統(tǒng)中，傳輸配置是傳輸控制的基礎(chǔ)，其定義了資料的來源、目的以及分發(fā)方式。主要包括收發(fā)策略、分發(fā)用戶、分發(fā)主機、分發(fā)用戶組等多種數(shù)據(jù)表。伴隨著氣象數(shù)據(jù)類型的增多，通信系統(tǒng)傳輸配置的內(nèi)容不斷增加，雖然增刪修改都有記錄可查，但在收發(fā)策略的配置中，需要展開目錄樹查找數(shù)據(jù)名稱。不同的數(shù)據(jù)在不同的二級目錄下，隨著時間的推移，即使是業(yè)務(wù)管理員也無法完整描述業(yè)務(wù)的全貌和每類資料的流程，數(shù)據(jù)在系統(tǒng)中可能出現(xiàn)二次配置現(xiàn)象，這給業(yè)務(wù)管理和業(yè)務(wù)調(diào)整工作帶來了難度。

為了解決傳輸流程不夠直觀這一問題，薛蕾等[1]于2014年通過分析每一項資料的收集分發(fā)配置，利用NetMiner可視化工具，將新一代國內(nèi)氣象通信系統(tǒng)的配置文件更換為可視化的網(wǎng)狀結(jié)構(gòu)圖，描述了主機間的傳輸關(guān)系。喬文文等[4]在薛蕾的基礎(chǔ)上進行改進，將新一代國內(nèi)氣象通信系統(tǒng)與CTS2.0新舊兩版通信系統(tǒng)傳輸配置進行統(tǒng)一管理，利用Graphviz繪圖軟件完成適合廣東省的數(shù)據(jù)傳輸流程的可視化。

目前，福建省氣象數(shù)據(jù)傳輸流程的查看方式主要有數(shù)據(jù)庫查詢和網(wǎng)頁查看。數(shù)據(jù)庫查詢需要鏈接數(shù)據(jù)庫并熟悉SQL語言，查詢結(jié)果并不直觀。網(wǎng)頁查看則需要打開多個頁面，分別找到該數(shù)據(jù)的收發(fā)策略，分發(fā)主機是否啟用，分發(fā)用戶是否啟用等，流程較多。對于分發(fā)主機，接收數(shù)據(jù)的種類也多種多樣，這些設(shè)置都存在不同的收發(fā)策略中，查看一臺主機接收了哪些數(shù)據(jù)同樣十分煩瑣。針對以上問題，本文利用Graphviz繪圖軟件包和Numpy等函數(shù)包對福建省氣象數(shù)據(jù)傳輸流程進行可視化研究。

1 氣象通信系統(tǒng)傳輸配置

氣象通信系統(tǒng)實現(xiàn)文件傳輸需要經(jīng)過收集初試數(shù)據(jù)、分發(fā)配置、分發(fā)到相應目的地這三個步驟。福建省的數(shù)據(jù)架構(gòu)較為明確，圖1為福建省氣象通信傳輸架構(gòu)圖，圖中數(shù)據(jù)來源主要有本省收集的各地市數(shù)據(jù)，省際共享數(shù)據(jù)，CMACast廣播下發(fā)數(shù)據(jù)，國家局數(shù)據(jù)訂閱下載和例如水利廳共享、海洋局預報等其他數(shù)據(jù)。這些數(shù)據(jù)收集后經(jīng)過CTS2.0通信系統(tǒng)重復性校驗、快速質(zhì)控、文件名匹配等步驟，分發(fā)到相應的服務(wù)器。

圖1 福建省氣象通信傳輸架構(gòu)圖

這些配置依賴于氣象通信系統(tǒng)的收發(fā)策略。CTS2.0通信系統(tǒng)的收發(fā)策略文件保存在MySQL 數(shù)據(jù)庫：TS_FILE_SEND，TS_DIR_COL，TS_FILE_COL，TS_SEND_USER等表中。從這些表中可知數(shù)據(jù)從通信系統(tǒng)中分發(fā)的位置(SOURCE_DIR)，通過文件名匹配策略(TEMPLATE_GROUP)，經(jīng)FTP、SFTP、HTTP等多種協(xié)議分發(fā)時需要用到用戶名(USER)、密碼 (PASSWORD)，以及分發(fā)的目的地(ACCESS_URL)等多種信息。具體信息如表1所示。

表1 收發(fā)策略信息

2 傳輸流程可視化實現(xiàn)

2.1 工具

Graphviz (Graph Visualization Software) 繪圖工具，由貝爾實驗室開發(fā)，支持多種語言dot腳本繪制圖形，并執(zhí)行布局引擎來完成自動布局[6]。本研究采用Python語言進行編譯，加載Graphviz 的 API 包PyGraphviz。

Numpy (Numerical Python) 矩陣工具，將所需數(shù)據(jù)以二維矩陣的形式展示。

Streamlit網(wǎng)頁架構(gòu)工具，可用于快速搭建Web應用。Streamlit是一款2019年完成的開源庫，API友好，基于tornado框架，封裝了大量互動組件，無須學習前端知識，同時支持markdown和html文本的渲染。

2.2 可視化實現(xiàn)

2.2.1 圖片繪制

繪圖數(shù)據(jù)需要連接數(shù)據(jù)庫獲取，使用pymysql函數(shù)包連接數(shù)據(jù)庫，并用SQL搜索語句將不同表關(guān)聯(lián)，相同要素匹配，最后導出所需數(shù)據(jù)。

因為一個數(shù)據(jù)傳向一個用戶就是一條信息，而一個數(shù)據(jù)會傳向多個用戶，所以需要將數(shù)據(jù)庫中得到的關(guān)聯(lián)表再處理，統(tǒng)計每類數(shù)據(jù)及其下屬數(shù)據(jù)之間的對應關(guān)系，將分發(fā)目的主機作為最小單位，將收集目錄和收集文件等相關(guān)信息冗余存儲，形成關(guān)系型的一對一的數(shù)據(jù)表格[7]。以AGME資料為例，AGME其下包含產(chǎn)量預報產(chǎn)品、其他要素、農(nóng)業(yè)干旱預報產(chǎn)品、農(nóng)業(yè)氣象情報業(yè)務(wù)產(chǎn)品、農(nóng)業(yè)氣象旬月報、農(nóng)作物實景觀測、農(nóng)氣年度數(shù)據(jù)、農(nóng)田小氣候觀測、林果觀測、生態(tài)與農(nóng)業(yè)氣象觀測資料、秋收秋種預報產(chǎn)品(上傳)和自動站土壤水分資料共12種數(shù)據(jù)，發(fā)往Yun、Cimiss_DPC、CMADAAS_DPC、DBLIB_A_BK、BABJ、DBLIB_A等用戶，共57條配置信息，僅產(chǎn)量預報產(chǎn)品就擁有6條配置策略。將這些信息梳理分類，就得到源節(jié)點和目的節(jié)點之間的指向信息，表2為產(chǎn)量預報產(chǎn)品數(shù)據(jù)指向信息。

表2 產(chǎn)量預報產(chǎn)品數(shù)據(jù)指向信息

Graphviz畫圖構(gòu)建組件為圖、節(jié)點、邊，用不同的屬性例如形狀、顏色、字體、大小等對其進行描述。通過加載梳理完成的數(shù)據(jù)指向信息，自上而下構(gòu)建傳輸流程圖。首先，定義一個圖形。其次，將繪圖框架定為三層結(jié)構(gòu)，第一層數(shù)據(jù)源信息，包含源主機一級目錄名、源主機二級文件名、文件名匹配模板和源主機文件地址。第二層為目標主機接收地址。第三層為分發(fā)用戶和對應的密碼。各層級之間使用線段連接，利用是否停止服務(wù)(IS_STOP_SERVER)和啟用標志(RUN_FLAG)判斷該資料是否傳輸，黑色實線表示正常傳輸，紅色虛線表示傳輸未啟用。最后，設(shè)置每一層的字體、顏色、形狀等屬性信息，添加圖片說明。繪制完成后，導出圖片。

2.2.2 表格繪制

為了解分發(fā)目的主機接收數(shù)據(jù)種類，本研究取出目的主機接收的文件種類，使用numpy包將其轉(zhuǎn)換為n行5列的二維數(shù)組，方便用戶查看。

2.2.3 可視化制作

網(wǎng)頁版客戶端具有擴展性好，使用方便，不需要安裝的優(yōu)勢，無論是開發(fā)還是維護都只要更新服務(wù)器端的軟件即可同步更新。

本研究利用開源API的Python庫Streamlit構(gòu)建可視化頁面。網(wǎng)頁側(cè)邊欄放置一級目錄名和下屬資料名，選取需要的資料后，繪圖區(qū)域自動生成數(shù)據(jù)流程圖。相比于目錄樹查找，本研究增加了搜索框，采用模糊匹配的方式搜索想要查找的資料名，能夠列出所有包含搜索字段的資料名，操作人員可根據(jù)需要選取。

繪圖區(qū)域下方放置目的主機接收資料查詢框，該查詢框也采用模糊查詢的方式，只需輸入部分主機IP，程序就會自動匹配完整IP，并列出該主機接收資料名稱的表格。

整體程序設(shè)定一周重新讀取數(shù)據(jù)庫一次，避免出現(xiàn)更新不及時，信息滯后的情況，同時清空圖片緩存，等下一次選擇該數(shù)據(jù)時再重新出圖，避免占用過多存儲空間。

圖片選取福建省產(chǎn)量預報產(chǎn)品數(shù)據(jù)為例，搜索“產(chǎn)量預報”，選取后生成的傳輸流程如圖2所示。圖2中，圓角矩形表示數(shù)據(jù)的源信息，即數(shù)據(jù)名稱、文件名模板、出發(fā)點；橢圓形表示目的主機節(jié)點，包含目的主機IP、接收地址；便條包含的信息為分發(fā)目的主機用戶名和密碼，可以方便操作者了解一類資料的配置信息。從圖中可以看出，產(chǎn)量預報產(chǎn)品共分發(fā)給6個用戶，清晰展示了此資料傳輸脈絡(luò)，且繪制時間短。

圖2中隱去IP第2、3段，隱去分發(fā)目的主機密碼。表格選取IP為10.*.*.14的目的主機，這臺主機主要負責分發(fā)鄰省數(shù)據(jù)到各臺服務(wù)器，從圖3中可以看出，10.*.*.14主機共接收了7種數(shù)據(jù)。

圖2 利用Graphviz繪制的福建省產(chǎn)量預報產(chǎn)品傳輸流程示意圖

圖3 10.*.*.14主機接收數(shù)據(jù)種類示意圖

目前，繪制傳輸流程圖和顯示主機接收數(shù)據(jù)種類表格功能已集成到CTS2.0綜合運維系統(tǒng)。

3 結(jié)論

為了簡單快速地查看福建省氣象數(shù)據(jù)傳輸流程，直觀方便地了解主機接收的數(shù)據(jù)，本研究將福建省省級氣象通信業(yè)務(wù)的收發(fā)策略配置信息進行處理，利用Graphviz軟件對氣象流程繪圖，Numpy對目的主機接收的文件種類建表，Streamlit完成網(wǎng)頁可視化。結(jié)果表明，該設(shè)計可以有效得到數(shù)據(jù)傳輸流程圖，對解決日益增長的數(shù)據(jù)管理需求，數(shù)據(jù)流程模糊不清等問題有重要幫助。并且，流程可視化后，運維人員也能精準地描述各類數(shù)據(jù)的業(yè)務(wù)流程，有助于準確分析和調(diào)整業(yè)務(wù)需求。