上海氣象信息全流程可視化監控系統的設計與實現

楊禮敏 胡平 王亞東

（上海市氣象信息與技術支持中心，上海 200030）

0 引言

隨著信息技術的飛速發展和在氣象部門的廣泛應用，越來越多以IT技術和氣象信息為支撐的業務系統應運而生，并逐漸成為現代氣象業務發展的基礎，保障各業務系統穩定運行成為信息中心的主要工作內容[1]。氣象業務系統的高可靠性有賴于綜合全面的監控和高效運維，為適應這一需求，本文建立氣象信息全流程可視化監控系統，該系統是集監控、展示于一體的綜合系統，在充分利用原有資源的基礎上，收集多源數據，融合異構信息，將大數據分析的方法應用到故障檢測中，以動態、直觀的方式對處理后的信息進行集中顯示，輔助工作人員更加高效的完成運維工作[2]。

1 業務現狀與需求分析

一體化氣象信息與大數據支撐平臺涵蓋了資源、業務、數據3個主要方面工作，主要承擔氣象數據的搜集、處理、入庫到數據的共享情況，以及氣象數據共享平臺、高性能計算機、氣象監測網絡、氣象數據服務產品加工制作、網絡與安全的支撐。2012年，上海市氣象局建成了基于云架構的數字化視音頻管理系統，系統功能和展現效果得到大幅提升，展示內容主要有氣象信息實時業務監視系統、全國綜合氣象信息共享平臺監視系統（MCP）和各類網絡運行監控管理系統、大氣探測網運行監控系統、觀測信息、預報服務產品等，基本可以滿足當前業務需求。但隨著氣象事業的飛速發展，已經不能滿足更加全面和精細化的監控需求，主要的不足之處有：

1）體系結構：現在的監控系統基本都是孤立的系統，資料傳輸監控、機房環境監控、網絡運行監控等系統都是自立門戶，自成一體的封閉系統，業務監控一直以來主要依靠專業技術人員通過讀取網絡設備、計算設備、專業氣象設備上的系統日志來判斷系統故障點，這樣不僅時效性不強，而且對于系統維護造成了比較大的困難；數據格式各異，互操作困難，值班員工作量大，使用不便，隨著設備數量和種類的不斷增加，運維的壓力也越來越突出，如何能迅速提高運維效率，解決設備報警的集中監控就成為亟須解決的問題。

2）視覺體驗：現有的監控系統，人機交互界面有待優化，操控不夠簡潔，報警不夠智能；反映時間較長，體驗流暢性不足；信息獨立、分散，實時性不強、展示度不夠。目前急需能夠直觀表現各種設備故障點并且具有故障預警功能的大屏顯示系統來減輕運維壓力，提高運維管理水平。

3）系統功能：氣象資料監控不夠及時，時效性有待提高；統計分析能力不足；對氣象資料傳輸的監視，只是監控傳輸的結果，即數據到了還是沒有到，沒有監視傳輸的整個流程節點，系統缺少整體性、功能缺乏可控性。

4）技術體系：現在的監視系統多數都是基于傳統的架構設計實現，數據格式各異，要想整合和擴展非常不方便。

隨著硬件設備數量的不斷增加和業務流程復雜性的不斷增大，日常運維工作也發生了重大改變，系統運維的壓力變得越來越突出。為更好地完成運維工作，工作人員需清楚地了解關鍵業務系統與相關軟、硬件資源的對應關系，變被動運維為主動運維，并且從只關注一點的運維模式轉變為關注整個業務流程。目前，運維管理的業務需求可總結為以下幾個方面：1）硬件設施（包括信息網絡設備、氣象探測設備以及高性能計算機等）的位置信息、配置信息、狀態信息需要集約化管理，支撐運維管理的高效；2）隨著監控管理的發展，目前已部署各監控系統、運維管理平臺等監控信息需要進行有效整合，改變在分散的操作界面上進行查看和分析不利于日常運維工作的開展和故障排查的局面；3）需要充分發揮超寬拼接大屏和音、視頻云平臺的顯示能力，實現在展示效果上形成統一的整體。具體的業務需求分析如圖1。

圖1 業務需求分析圖 Fig. 1 Diagram of the operational demands analysis

2 系統設計

2.1 系統功能

業務和應用監控提供一體化的實時業務運行狀態及關鍵性能指標的業務監視，包括骨干網絡拓撲、網絡結構圖等動態實時的展示，以動畫形式顯示實時的網絡流量、網絡傳輸和網絡擁塞狀況，以及局域網接入層、廣域網、城域網的連通性、總流量等。借鑒國外探測裝備質量管理先進思路，地面自動氣象站網監控不僅體現觀測數據接收到報率情況統計，同時對設備傳感器狀態、數據通信鏈路、觀測要素質量和計量檢定日程做全流程監控管理；天氣雷達和風廓線雷達展現硬件系統重要部件的各項體征指標實時狀態；對高性能計算的主要設備可用率、使用率和節點狀態的展現；虛擬服務器和存儲系統的空間使用率、訪問性能等；可視會商系統連通狀態，以及下沉到預報平臺、公共服務平臺和數值預報工作區各桌面計算機的連接情況；通過安全監控，集中監控網絡設備、安全設備、相關應用服務器等事件報警信息，并進行一定的關聯分析，及時發現正在發生或已經發生的安全威脅事件，從而及早采取主動措施進行處理。

數據和資源監控實時展示數據流轉、應用總體情況。場景包括：面向用戶需求，以事件驅動的數據服務的應用效果的展示，包括資料類型、訪問頻率、用戶信息、應用系統等要素的展示；對數值預報應用排行數據應用情況如地理位置、用戶單位、下載時效等各個應用屬性進行實時排行；以報表、動態圖形等形式展示各類數據傳輸實時流程狀態圖、資料上下行流轉的實時情況，顯示實時的資料傳輸狀態，描述任何一類資料的到達情況，顯示未到達資料當前所在的節點，從采集到該節點，任何一個傳輸過程所經過的處理狀態，并運用ETL（抽取-轉換-裝載）、數據挖掘及相關算法抽取出監視數據的深層信息，從而找到業負責采集監控數據并將采集到的數據交給監控數據匯集和融合模塊，通過異構數據的融合實現數據的標準化管理和存儲[5]。數據綜合存儲管理模塊作為一個核心數據管理部件，主要功能是對原始監控數據、智能分析模塊分析結果進行存儲管理，提供數據訪問服務，并響應可視化前段處理框架的數據請求。由于顯務存在的不足與改進方向。全國綜合氣象信息共享平臺（CIMISS）數據接口服務監控顯示氣象數據統一服務接口（MUSIC）使用情況，現在有多少接口被調用、哪個接口調用次數最多、各服務接口的相應速度等。

數據中心環境監控針對數據中心運行環境，實時展現數據中心基礎配套資源的整體狀態、能源消耗、溫度、濕度、漏水、腐蝕性情況以及機房內各種設備包括不間斷電源（UPS）、精密空調、監控攝像頭、消防、門禁以及消防和新風系統的情況，以動畫的形式全方位展示數據中心基礎配套系統當前的運行狀況，存在的報警信息、處理情況等。

為實現上述內容，在進行系統建設時著重實現的功能如下：

1）監控數據匯集。監控數據的匯集，包括對已有的監控系統，通過系統接口或其他介入方式進行抓取，還沒有使用監控系統進行統一數據采集和管理的設備進行數據采集，重點解決不同設備的接入和不同結構協議數據的解析。

2）異構數據融合。采集回來的數據進行分類和標準化處理，以統一標準格式進行存儲，并對不同類別的監控數據建立關聯模型，形成關系映射。

3）智能數據分析。使用機器學習算法對部分監控數據進行分析學習，逐漸建立關鍵系統的故障模型和風險評估模型，如建立機房溫度場變化模型、關鍵系統網絡流量模型等，并通過事件關聯性分析對不同類別的故障做出綜合判斷，對未來智能故障分析和風險評估形成支撐。

4）全流程可視化。建立風格統一、動態、直觀的可視化展示前端頁面。實現全流程可視化，對業務流程和數據流程進行詳細梳理，將流程中的各個環節與監控數據和分析結果進行一一對應，將單一的單點顯示變為綜合性的流程顯示，將局部監控變為全局監控。

2.2 系統架構

在充分分析業務需求的基礎上，根據具體的業務情況綜合考慮業務的關聯性、展現的邏輯，依據統一規劃、分步實施、注重平臺性、充分集成的設計原則[3-4]，對系統總體架構設計如圖2所示。

圖2 信息流程與系統框架 Fig. 2 Information flow and system framework

系統總體框架底部為監控數據匯集區，該部分示內容較多，通過一屏展示顯得過于擁擠，視覺效果受到影響，在綜合考慮視覺控制和業務展現需求的情況下，對展現內容進行分屏設計，類別相似的監控對象歸結在同一分屏中，將整體展示分3個分屏，通過三大分屏的翻動進行監控內容的完整展示。三大分屏分別是：數據中心環境監控分屏、數據管理與服務分屏、探測網絡和信息網絡分屏。

2.3 集成設計

在集成架構上，氣象信息全流程可視化監控系統使用React/JQuery/ECharts等通用框架/組件，基于HTML5/CSS3/Javascript的B/S多層架構進行數據可視化展現，使用D3等SVG庫進行虛擬化場景的定制2D/3D展現。前端框架通過WebSocket連接，實現對數據的實時推送和展現。在集成設計上重點實現以下內容：1）鑒于監控數據源的復雜性和多樣性，數據底層支撐由關系數據庫（Oracle、MySQL、SQL Server），文本數據庫、離散文件等組成；2）各種監控狀態展現需要自動實時響應，無需其他操作；3）隨著設備的增多，需充分考慮未來易擴展的特性，因此系統框架需擁有插件式管理功能。根據上述分析，本項目總體集成設計在技術上構建彈性的應用集成環境、開放的應用支撐環境、制定統一的應用開發規范，由此，首先闡述系統設計的總體思路，明確如何進行系統架構的設計，參照本項目建設的業務目標和技術目標，按照“統一數據標準、統一應用集成、統一服務管理、監控信息資源整合、實時監控展現”的設計思路，構建整個系統的集成設計[6-7]。

2.4 分屏設計

探測網絡和信息網絡分屏展現綜合監測與展現氣象局氣象網絡的運行情況，主要分為兩部分內容，一部分主要展現信息網絡的情況，詳細內容包括如下幾個方面：1）上海市氣象局內部信息網絡的情況；2）與國家局、其他省局以及上海同城部門的數據網絡連接情況；3）上海市氣象局氣象探測網絡的實時情況；4）安全審計事件監控，入侵防擴事件監測情況；5）氣象專業設備如：氣象雷達、氣象自動站（國家、上海）、風廓線等氣象監測設備的運行情況。展現的屏幕能夠直觀表達各種網絡、安全設備裝備的實時運行情況，以及專業氣象裝備產生數據的運行情況監控。

數據管理與服務分屏展現氣象局氣象信息數據的服務產品生產情況，在展現邏輯方面以氣象數據的獲取、加工、入庫和共享為主，同時展現支撐氣象數據處理的高性能計算機運行的情況。具體的展現方面，由于數據的獲取類別多，內容復雜，時間維度不同，展現的方式方面需要更多地考慮組合形態，同時在顏色的區分方面需要考慮數據內容與顏色直觀展示的分配情況。詳細內容包括：1）氣象資料收集與上行傳輸監控，原始數據的獲取到報率情況（CIMISSCTS）；2）下發氣象資料接受監控（CMACAST）的氣象原始數據的數據下發入庫情況；3）一體化氣象信息流拓撲圖；4）氣象原始數據處理有關的高性能計算機的運行情況，包括高性能計算機的運行節點情況、高性能計算機的進程情況以及高性能計算機的系統資源使用情況進行綜合展現；5）氣象歷史檔案的基本情況；6）數據庫訪問與FTP推送情況；7）接口服務訪問、活動告警分析、氣象資料匯總輪播情況；能夠將上述各種狀況的情況通過簡單明了、視覺傳遞清晰的展現方式綜合表達出數據處理業務的進程和設備實時狀態及告警狀態。

數據中心環境監控分屏實時展現數據中心基礎配套資源的整體狀態，以及機房內各種設備和系統的運轉情況。具體包括：1）機房電源使用效率（PUE）監控，包括整個機房能源消耗總量，月用電量等重要指標的監控；2）精密空調運行狀態監控，主要指標有供風溫度、回風溫度、供水溫度、回水溫度等；3）機房不間斷電源（UPS）及電源分配單元（PDU）等機房供電設備運轉情況的監控；4）機房環境數據實時監控，該部分重點在于機房整體環境的實時感知，數據來自部署在機房各個角落傳感器的數據采集，包括：機房溫度、濕度監控，極早期預警，漏水檢測，腐蝕性檢測等。

3 系統實現

3.1 架構實現

整個系統采用瀏覽器/服務器（B/S）架構可有效縮短系統的實施周期，減少系統上線后管理維護的難度，在應用系統的建設中，PC端全部采用瀏覽器方式。此種方式無需安裝任何軟件，極大地縮短了系統的部署周期，降低了系統實施難度，同時，上線后系統的維護集中在服務器端進行，可以大大減少系統維護的工作量，將系統管理員充分解脫出來，專注于系統的整體考慮以及長遠規劃；用戶使用簡單、培訓容易；界面更加美觀大方；系統擴展容易；由于客戶端只需要瀏覽器，無需安裝任何軟件，能方便地支持日常維護。

多層次體系結構模式是客戶機/服務器模式之上的擴展，是目前最為流行的體系結構，較好地解決了原有兩層客戶機/服務器模式存在的問題，并帶來了以下好處：1）在多層次體系結構下，業務邏輯層負責所有邏輯的處理，客戶端只是完成信息的顯示和數據的反饋提交，客戶端只是看到經過中間層處理過后的數據，降低了網絡數據的傳輸量。2）由于業務邏輯主要在中間層上運行，從而充分利用了服務器的處理能力，同時通過多進程/多線程、無狀態組件、組件緩沖池、數據庫連接緩沖池等技術優化系統的并發性能，在大并發用戶量的情況下，仍然能夠確保系統的處理性能。3）通過結合使用負載均衡、組件負載均衡、數據庫/群件的集群技術，可以通過橫向擴充服務器，使得系統能夠處理更多并發請求，滿足最大型系統的苛刻運行需求。4）多層次體系結構將數據持久化、業務邏輯處理和界面渲染解耦，可以充分保證應用系統日后不斷發展的要求[5]。

3.2 展現實現

3.2.1 探測網絡和信息網絡運行狀態監控分屏

探測網絡和信息網絡分屏集中展示氣象監測網絡和信息網絡的情況，其中氣象裝備監控全圖是對上海全境范圍內所有的氣象探測設備進行整體的監測，包括2部氣象雷達、風廓線雷達以及全市自動氣象站。在探測網絡全圖上，發生故障或者正在維修的裝備通過專用標識進行提示，配合其他的監測畫面可以快速定位具體的設備并進行后續的維護或者維修。同時，在全圖上以區（縣）和中心城區進行劃分，對自動氣象站的到報率進行分鐘級別的監測，及時發現自動氣象站運行異常的情況。

以氣象雷達為例，它是用于警戒和預報中、小尺度天氣系統（如臺風和暴雨云系）的主要探測工具之一。常規雷達裝置大體上由定向天線、發射機、接收機、天線控制器、計算機處理裝備、網絡數據傳輸等部分組成。除了在全圖上監測雷達的基本運行狀態外，還需要對雷達具體的體征進行監測，包括雷達的供電情況、機械傳動的情況、信號發射情況以及信號處理情況。整體設計上采用虛實相結合的方式，虛擬雷達的具體體征，結合視頻監控，監測雷達的機械傳動情況（圖3）。風廓線雷達顯示部分則重點將各發射機的電壓情況進行實時監控，同時將發射功率等重要指標通過曲線的方式實時繪制，從而監控其硬件運轉情況以及發射信號的質量情況。

圖3 雷達運行監控圖 Fig. 3 Operational monitoring figure of radar

自動氣象站通過無線通信方式與氣象局中心計算機進行通訊信將氣象數據傳輸到信號接收處理服務器進行解碼入庫。對于自動氣象站的監測，在監測全市所有自動氣象站的運行情況的同時，還需要對國家級氣象站進行特別監測，包括設備狀態、數據狀態、數據的質量以及計量檢定的時限，設備圖標設計成四方塊格局，包含以上四個狀態數據，便于設備狀態的整體展示。

上海市氣象局主干網絡拓撲包括核心交換層、匯聚層，以及各樓層交換機的接入層、光纖鏈路和其他業務網絡，從而實現全局的網絡互通（圖4）。整體監測內容是主干網絡各節點設備的運行狀態。通過骨干網絡的監測，能夠實時反映網絡運行的整體情況，具體的某個接入子網出現問題時，對應的網域會變成紅色提醒，與之連接的網絡也同時變成紅色，配合其他網絡監測頁面，讓具體的網絡管理人員能夠快速定位故障源。在主干網絡監測的基礎上，對于氣象局外連的光纖網絡，需要重點的監測，避免由于網絡問題而引起的服務中斷。對于具體提供對外服務的席位，為了保障氣象業務的連續性，需要對服務處理席位的電腦進行監測，上海市氣象局對外服務的區域重要分為3個部分，分別為公共服務區域、天氣預報區域和數值預報工作區，設計席位電腦逾60臺。

網絡安全監測分為兩個部分，對外主要監測入侵事件，具體內容為外部連接的異常事件進行記錄，記錄的內容包括異常事件的類型、入侵的IP、入侵的目的IP，并統計異常情況的類型和異常接入IP的排名，幫助具體的安全管理人員快速定位安全隱患并采取對應的策略。對內主要監測安全審計事件的情況，記錄內部IP的業務情況，察覺異常行為事件，避免內部安全事件發生。

圖4 光纖網和業務網運行監控圖 Fig. 4 Monitoring figure of optical network and operational network

3.2.2 數據管理與服務狀態監控分屏

在CIMISS系統監控信息處理方面，其中數據存儲管理（SOD）具體核心業務是監控氣象數據處理后入庫的情況，由于需要監測的數據量巨大，本次項目建設的過程中主要需要考慮其中12個具體的監測項目情況，將監測入庫的數據按時次分為3類，24 h、60 min以及1 min數據，在可視化設計上，需要充分考慮3種資料在同一監測頁面內集中展現的情況。除了對核心數據按時次監測外，需要對整體的氣象資料進行監測，由于監測的類別眾多，展現的形式采用輪播的方式，對200多種具體資料的監控包括最新時次數據到報情況、數據收集與分發（CTS）時次匯總的情況、CTS分發的情況以及SOD產品入庫的情況。對異常的情況進行預警的監測，主要通過對月、周、日預警的情況進行匯總，從而從統計中發現異常事件經常發生的環節，尋找異常事件背后的問題。

一體化氣象信息流的監測核心，是對氣象信息從基礎支撐的信息獲取、加工、入庫、傳輸以及對外預報和服務的進行全流程監控。在這個過程中，涉及到跨部門的多個環節，每個環節的問題都有可能與數據的情況有關，通過一張拓撲圖進行整體的業務監測，能夠及時地發現業務中可能出現的問題，并及時處理。

在數值預報云方面，上海市氣象局經過處理產生的氣象數據目前供浙江、廈門、安徽、江蘇、云南、海南、山東、福建、江西、青島、廣東、寧夏、寧波等包括除國家局之外的多個省（市）使用，本次建設需要對這些數據的下載情況進行監測，這些處理后的數據，從上海上傳到位于杭州的阿里云，并通過阿里云提供下載，需要監測下載的實際速率情況和總下載的情況，在全國地圖上進行實時繪制，同時為今后省（區、市）的擴展提供基礎。

對于高性能計算機，在展現方面考慮各個計算節點需要用簡潔清晰的展現方式表達出高性能計算機運行的情況。在活動告警和系統資源告警方面，需要考慮日常工作進行監測時能夠簡單快速的發現告警的內容與涉及的設備。對上海市氣象局的高性能計算機高性能計算（HPC）集群子系統的監測，是通過對高性能計算機的A、B、C、D供4個機架伺服器（RACK）的計算節點進行監測，檢測每個節點的運行狀態是否正常，并且需要對控制系統網元管理系統（EMS）、主備兩個光纖交換機以及存儲的使用狀態進行監測，采用餅圖將所有需要監測的內容在一幅畫面上進行顯示，目標是能夠對高性能計算機整體狀態一覽無遺。同時，高性能計算機正在運行任務的情況在頁面中進行顯示，直觀反映高性能計算機的運行情況。在對高性能計算機整體監測的同時，對于高性能計算機的節點整體運行狀況和并行文件系統（GPFS）的存儲使用狀況需要進行額外的監測，避免計算的過載或者存儲的不足對高性能計算機產生影響。

3.2.3 數據中心環境監控分屏

數據中心環境監控分屏用于展現數據中心環境監控數據，其中包括基礎配套資源的能源消耗、環境數據以及機房其他設備運轉的情況。為能夠以更加直觀的方式進行顯示，在展示設計時，機房環境方面是以機房平面布局為背景，將環境傳感設備的布設位置進行詳細繪制，并針對不同傳感器分配不同的顏色及圖標，根據實時環境數據進行動態顯示。

在機房安全和行為監控方面，展示設計的核心理念是能夠將整個機房的實時情景置于監控人面前，這些情景數據主要包括攝像頭運行情況及實景數據、機房門禁狀態及各門禁開啟人員信息的監控、排風系統運轉狀態以及消防火警狀態等。

4 結語

氣象信息全流程可視化監控系統更加適應氣象現代化發展，是集約化思想的集中體現。氣象信息全流程可視化監控系統的建成為形成快速處理故障、事后分析流程奠定基礎，實現整體業務運行穩定，提高信息系統運維自動化能力。以動態、直觀、多樣的形式對監控信息進行集中顯示，從而改變了傳統資料監控、機房環境監控、網絡監控等系統框架孤立、顯示方式單一、監控內容簡單、監控顯示不及時、統計分析能力不足的狀況。系統采用多層次、模塊化的設計可以靈活的進行功能配置，可以讓各級用戶在統一集中的業務監控數據可視化系統上對全流程中的各級業務進行高效監控。對于管理人員，能夠更好地把握整體流程，使得宏觀監控更加容易，能夠更輕松地進行嚴重問題分析評估，提高管理效率；對于業務系統維護人員，方便其掌握業務系統各模塊間的依賴性和部署關系，能合理進行事件業務影響分析，使得業務運維更加容易；對于基礎系統維護人員，能從傳統單一平臺的維護模式轉變到全局業務視角，從系統維護的層面為其建立一套覆蓋關鍵業務的可視化系統，從而可以及時掌握系統資源的可以性和健康狀態，提高運維效率。