基于元數據管理的氣象數據廣播精細化監控

賀俊彥，劉 然，陳永濤，李小汝

(國家氣象信息中心，北京 100081)

0 引 言

中國氣象局氣象資料衛星數據廣播系統(China Meteorological Administration Satellite Broadcast System，下文簡稱CMACast)是基于先進的DVB-S2標準建設的氣象數據衛星廣播系統。系統用戶分布在國內各級氣象部門、非氣象行業用戶及部分亞太地區國家，CMACast是他們獲取自動站、雷達、數值模式產品等氣象資料的主要途徑。自2012年業務化運行以來，CMACast系統一直承擔著氣象數據實時傳輸的重要責任，并作為全球對地觀測數據廣播系統(GEONETCast)的三大組成部分之一，與歐洲氣象衛星應用組織(EUMETCast)和美國GEONETCast Americas共同形成GEONETCast對全球的覆蓋。

隨著氣象數據傳輸需求的旺盛，CMACast每日廣播數據量已經超過400 GB，但與國際同行相比，CMACast在氣象數據傳輸精細化監控和數據資源的管理方面存在較大差距[1]。為此，筆者通過對CMACast系統運行狀態、數據傳輸狀態、廣播節目表等進行精細化監視的設計和開發，提升了CMACast系統的精細化監控能力。

1 系統設計

1.1 業務現狀

作為單向數據廣播系統，CMACast系統將從上游通信系統接收到氣象數據，遵循DVB-S2標準進行數據廣播，各小站用戶按需接收數據，實現一對多的實時數據傳輸[2-3]。其業務流程如圖1所示，其中播發平臺位于國家氣象信息中心，用于氣象數據廣播業務的調度、用戶管理以及系統監控。

圖1 CMACast系統結構

CMACast原有監控系統完成了授權管理、主站播發調度、主站狀態監控等主要功能，但隨著廣播數據量的激增和精細化運維的需要，原有監控系統也逐漸顯露出瓶頸，其體現在以下三個方面。

(1)氣象數據資源的管理能力不足。

通過CMACast廣播的數據達到12大類，涵蓋地面、高空、海洋、輻射等四百余種氣象資料。為了讓用戶明了廣播數據清單，管理人員以word文檔的方式制作了廣播節目表，并定期進行發布。但隨著廣播資料量的增大，廣播節目表中需要收錄和描述的條目越來越多，word文檔已超過300頁。不僅用戶使用十分不便，管理員對節目表的版本管理難度也很大。類比國際上相似的大型氣象數據服務系統，Eumetsat可以提供在線數據清單以供用戶訂閱，GEONETCast Americas也同樣提供在線數據樣例，在方便用戶使用的同時極大地提升了數據展示力度。

(2)文件級播發監視力度粗獷。

原監視平臺對于用戶十分關心的部分關鍵資料播發情況缺少有效的監視[4]。例如，對天氣預報人員十分重要的大氣模式確定性預報產品如出現停發、缺乏、遲發等情況，無法通過監控平臺及時發現，往往是小站人員在使用資料時才能發現。反觀與CMACast規模近似的Eumetsat，其官網上設置了專門的欄目，針對部分重點資料提供播發完整性、播發及時性以及缺發文件清單的在線查看，數據監控的精細化程度可見一斑。

(3)對小站狀態的監管能力不足。

CMACast是單向廣播系統，通過衛星信道無法將小站端的接收情況返回給主站[5-7]，導致主站無法對小站的接收情況進行有效的監視。當接收小站因天氣原因、電磁干擾等問題無法正常接收時，主站卻因無法感知到異常狀態而繼續下發大量的數據。為掌握重點用戶(例如省級氣象部門)的接收情況，技術人員只能手工對小站進行監視信息的調取和查看。

1.2 整體設計

為解決以上問題，筆者對CMACast監控系統進行了改造升級，在原有平臺基礎上設計了CMACast精細化監控系統的總體結構，提供面向主站及小站用戶的CMACast播發性能監視及告警，同時提供在線廣播節目表，兼具日常業務監視和展示功能，為用戶提供更加便捷的氣象數據服務。

該系統的設計難點在于，需要在原有國家級主站和省級接收小站應用中增加新的功能模塊，并確保新模塊“即插即用”，不影響原有業務運行。為此，該文在系統設計中采用了低耦合度的方法，在原有業務軟件基礎上，增加了三類數據流程，并開發新的功能模塊，做到功能的平滑上線。其系統結構如圖2所示，其中虛線部分為新增功能模塊。

圖2 系統結構

在原有的單方向資料下發流程之外，新增三種數據傳輸流程，如下所述：

(1)小站狀態信息上報流程。

為充分利用現有氣象部門國省間氣象通信系統及地面線路，筆者將小站狀態信息作為一類特殊數據進行收集，并由國家級氣象通信系統將狀態信息發送至CMACast播發主站進行數據解析，以便解決小站狀態信息回傳問題。其數據流程如圖2中虛線箭頭所示。

(2)主站監控信息處置流程。

CMACast主站原有的網管監控數據庫中主要存儲的是主站播發狀態信息和小站用戶身份及授權信息。在該數據庫基礎上，筆者增加了關鍵資料監控特征及小站狀態信息的寫入流程，同時也將結構化的廣播節目表數據進行了存儲(如圖2中加粗虛線箭頭所示)。該流程在不影響原有業務流程的情況下，為關鍵資料精細化監控、運行狀態展示、在線廣播節目表等功能模塊提供數據支撐。

(3)監控配置下發流程。

在保留原有數據下發流程的基礎上，筆者還增加了關鍵資料監控配置數據的下發流程(如圖2中點劃線箭頭所示)。這些配置數據包含了關鍵資料的監控特征等信息，與下發的氣象數據一起通過衛星鏈路發送給各小站，小站端利用新增的處理模塊對這些監控配置進行處置。

1.3 功能設計

CMACast精細化監控系統采用B/S結構，在原有CMACast廣播系統的基礎上，完善廣播節目表管理和發布、主站廣播系統性能監視、主站文件級播發監視、小站監控等功能，其系統總體功能模塊如圖3所示。

圖3 系統總體功能模塊

該系統可分為主站和小站兩大子系統，各系統功能構成如下：

(1)主站監控子系統。

主站監控子系統由監控管理和節目表管理兩部分組成。監控管理是精細化監控系統的核心，負責對CMACast系統的播發平臺、衛星主站的業務監控，包括系統運行狀態、數據播發狀態、數據播發統計分析、關鍵資料播發監控及告警等。節目表管理是提供對CMACast廣播的資料元數據在線管理功能，包括節目表制作、節目表更新管理、節目表導出、節目表條件查詢、小站授權管理。

(2)小站監控子系統。

小站監控子系統主要實現對接收小站的系統狀態、關鍵資料接收狀態的回傳監控。主要包括小站接收狀態監控、關鍵資料接收監控、數據接收統計分析、小站監控信息回傳等模塊。

2 關鍵技術

2.1 基于元數據的廣播節目表管理

通過CMACast下發的資料種類繁多。為了對這些資料進行有效的管理，CMACast將這些數據劃分到200余個邏輯通道中下發，這些邏輯通道類似于數字電視網絡中的電視頻道。而在各個通道中不同時間點開始下發的數據，則像是一個個電視節目。為了讓接收用戶更方便地找到需要的數據，CMACast編制了電子文檔形式的廣播節目表，對資料的名稱、內容說明、獲取渠道、播發時間等進行了描述。但對于這樣的電子文檔進行版本控制和大范圍分發都是十分困難的。

為此，筆者采用元數據方式對廣播節目表進行了優化，并參照國標和氣象行標[8-9]建立了廣播資料元數據。元數據是一種數據管理技術，它可以對數據特征進行抽象化的描述，被廣泛應用于國內氣象部門數據管理及業務系統的建設中[10]。廣播資料元數據包含：(1)氣象數據基礎信息，描述資料屬性的關鍵要素。包括所屬資料類型、資料名稱、四級編碼、生產中心、簡式報頭、文件名稱、文件名命名規則、文件內容格式說明、編碼格式等信息。(2)廣播信息，描述在CMACast系統中傳輸的業務屬性。包括廣播通道、通道目錄、存儲路徑、廣播時間、廣播狀態、補調路徑等信息。(3)管理信息，描述資料使用權限等屬性。包括授權范圍、下發文號、說明附件等信息。

同時，筆者在元數據中還設計了一種四段式編碼作為廣播元數據的唯一標識[11]。該編碼由四段字符組成，以符號“.”間隔，格式為X.NNNN.nnnn.Yaaa。其資料分類符合QX/T 133-2011 《氣象要素分類與編碼》的規定，并可體現出資料之間的血緣關系，涵蓋了所有氣象數據，數據字典如表1所示。例如大氣模式確定性預報產品，屬于數值分析預報類(F)，一級分類屬于歐洲中心天氣模式產品(0010)，二級分類屬于高分辨率產品(0002)，其元數據在CMACast系統內四級編碼為F.0010.0002.B001。

表1 四級編碼數據字典

在此基礎上，筆者采用XML技術對所有CMACast廣播下發的氣象元數據進行了制作，從而將原有的電子文檔形式的廣播節目表全部實現在線WEB方式瀏覽，并提供數據樣例下載等服務，方便用戶查詢、了解資料信息，同時保持了節目表內容的一致性。

2.2 數據播發精細化監控

數據播發的精細化監控指標主要包括播發的完整性、及時性以及正確性。其中完整性監視是指在規定的時間段內，某個資料實際播發文件數是否不少于設定的應發數。及時性監視是指在規定的時間段內，某個資料是否開始進行數據播發，若有則視為及時，否則視為不及時[12]。正確性監視則是指廣播系統獲取的某個資料是否符合節目表中指定的文件命名，若符合則視為正確，否則視為不正確。

為此，筆者對各類播發資料進行了分析，得出四種具有鮮明特點的播發規律[13]。這四種播發規律分別是：

(1)24小時內間隔固定時間播發，每時間段內應發文件數量固定。

符合這種播發規律的資料播發間隔時間固定，且每日的播發量固定。多數衛星資料產品，大部分常規資料通道中播發的資料等播發時間符合此類規律。例如，SATE_FY2D_SVS通道的FY2D 1級數據S-VISSR數據流資料，文件名形如FY2D_YYYY_MM_DD_HH_MM.vsr$NNNN，自每日00:30開始播發，間隔時間為1小時，每個播發時間段內播發文件2 762個。

(2)24小時內固定離散時間點播發，應發文件數量固定。

符合這種播發規律的資料每天在固定的一個或多個時間段內播發，且每時間段內播發數量固定。多數數值預報產品資料均可歸類于此種規律。例如，NWP_MCTR_002通道的大氣模式確定性預報產品，文件名形如W_NAFP_C_ECMF_yyyyMMddhhmmss_P_C1DMMDDHHIImmddhhii1.bin，其00Z時次產品播發的時間段為05:40-07:00，12Z時次產品播發的時間段為17:40-19:00，每個播發時間段內播發文件各播發文件54個。

(3)每月固定離散天中的播發。

符合這種播發規律的資料在每月固定的一個或多個離散的天內播發，且在該天內播發時間固定。例如，生態與農業氣象大氣要素觀測資料、單站基本氣象要素數據文件-農氣資料等符合此類播發規律特征。例如，OBS_DOM_PUB通道的生態與農業氣象大氣要素觀測資料，文件名形如Z_ECO_C_CCCC_YYYYMMDDHHmmss_O_AWS.TXT。其播發時間是每旬1日、11日、21日，而且會在每日的01:30前播發。

(4)每日固定時間點前播發。

符合這種播發規律的資料在每天固定的一個時間點前播發完畢。部分數據預報資料符合此類規律。例如，SEVP_WE_001通道的全國城鎮精細化預報產品，文件名形如Z_SEVP_C_BABJ_YYYYMMDDhhmmss_P_RFFC-SCMOC-YYYYMMDDhhmm-FFFxx.TXT。該產品每日00時次的資料在18:30前播發。

對應這些特征，筆者采用資料文件名正則表達式、監控時間窗、應發數等指標對其進行了數字化描述，其處理邏輯如圖4所示。

(1)管理員通過精細化監控前臺設置關鍵資料的監控參數，程序將監控參數發給監控后臺程序。

(2)廣播的文件信息由預處理和播發引擎發出，關鍵資料監控程序進行數據分析和處理。關鍵資料監控程序會對每個文件進行規則匹配，符合監控規則的文件會分發到相應的規則隊列，程序會輪詢計算監控指標，判斷是否超過指標閾值。

圖4 關鍵資料監控處理邏輯

(3)后臺程序將關鍵資料的精細化監控信息寫入數據庫，監控信息包括關鍵資料廣播數據及關鍵資料的及時性、完整性、正確性的計算結果。

(4)關鍵資料精細化監控信息在界面上以列表的方式進行展示。

2.3 小站監視信息采集回傳

典型的衛星單向數據廣播系統都是不具備回傳信道的，要想解決這個問題，一般有兩種思路。其一為采用DVB-RCS(Interactive Satellite System)技術，其依托衛星信道，有國際標準可循，安全性也最高，但需要大量衛星通信設備支持，造價昂貴[14-15]。另一種思路則是借助地面線路，由應用軟件加以實現。其特點是實現簡單，但沒有標準的數據協議支持。地面線路又可再分為互聯網和地面專線兩種。從安全性考慮，地面專線方式無疑較互聯網方式具有更高的安全性。表2是對這三種實現方式的特征分析，筆者最終依托中國氣象局地面寬帶網CMANet實現了小站接收狀況的自動回傳，有效解決了傳統單向廣播系統無回傳手段的問題。

表2 信息回傳技術方案對比

在小站新增加的監控模塊可定時采集運行狀態信息，并按照固定的格式封裝為氣象短報文，并上報給省級氣象通信系統。省級通信系統按照氣象數據文件業務上行流程[16]，將其與其他氣象數據一起，通過國省之間的CMANet網絡上傳到國家級通信系統。該狀態信息經過處理后，將其卡號與主站數據庫中的小站名稱匹配，并按照其登記的建站經緯度在GIS地圖上進行顯示。同時，將小站分為良好、一般、較差三種狀態。計算小站信噪比和未完整接收率，當這兩項指標全部高于設定閾值時判定為正常，任意一項低于閾值判定為較差，其余情況則判定為一般。圖5為小站回傳信息的數據流程。

圖5 小站回傳信息數據流程

3 應用效果

3.1 氣象廣播數據在線管理

廣播節目表是用戶了解CMACast系統廣播資料內容及資料獲取途徑的有效方式。在線版的廣播節目表不僅便于用戶查看，也更便于管理員維護數據。此次將節目表通過頁面嵌入的方式發布到國家氣象業務內網，讓用戶可以更便捷的訪問，也確保了CMACast精細化監控系統與氣象業務內網之間的松耦合程度。

CMACast現有12大類氣象數據資料，下發的資料種類達到435種。主站業務管理人員可對廣播節目表進行制作和版本管理，供小站用戶在此系統中進行定制化的檢索和下載，新增資料也會在頁面醒目位置進行提醒。

節目表按照資料類型以樹形結構對廣播資料進行分類展現，用戶可以根據資料種類進行查找，最終通過資料類型來定位到資料所在的通道。相較于舊有word版節目表展現方式，這種使用方式更加便捷。在線節目表界面如圖6所示。

圖6 在線節目表界面

3.2 播發精細化監控

CMACast精細化監控系統，具備廣播性能監視及文件級播發監視、告警能力，同時提供CMACast播發性能數據統計分析功能，兼具日常業務監視和展示功能。

針對重點的常規資料、衛星及數值預報、旬月報、精細化預報資料進行精細化監控。出現停發、缺發、遲發現象后自動進行告警。以“大氣模式確定性預報產品”監視為例，運維人員可在精細化監控系統直觀查看每個時次的實發情況，也可以查看更細致的文件清單以及歷史播發情況。小站關維護人員也可以通過對比主站播發情況和小站接收情況來協助定位氣象數據缺收問題。關鍵資料監控頁面如圖7所示。

圖7 關鍵資料監控頁面

3.3 系統綜合監控能力提升

精細化監控系統橫向涵蓋了播發主站、接收小站的監控，縱向對系統硬件狀態、關鍵進程、資料播發狀態進行實時監控展示，確保監控的全面覆蓋，提高了全系統的綜合運維能力。

系統部分界面如圖8所示。

主站和小站運維人員均可通過精細化監控系統查看當前CMACast運行狀態和數據廣播狀態。CMACast全系統運行狀態、數據廣播情況對用戶開放，不僅可以減輕運維工作人員壓力，提高工作效率，作為對外展示的窗口，也推進了CMACast系統數據服務，為用戶提供更及時、完整的氣象數據。

圖8 CMACast精細化監控界面

4 結束語

CMACast精細化監控系統以數據為中心，建立氣象廣播元數據，通過四段編碼式標識,實現統一的元數據組織管理，建立起氣象數據的血緣關系。廣播數據包含地面、高空、海洋等12類氣象數據，精細化監控系統實現對多種類、多格式的氣象資料一體化管理。系統業務化后，保障了CMACast系統的穩定運行，降低了人工運維成本和難度，在為氣象預報預測業務提供可靠的數據服務中發揮了重要作用。