浙江省地面氣象分鐘數(shù)據(jù)監(jiān)控傳輸方案設計與實現(xiàn)*

徐 寧 魯奕岑 吳書成 魏 爽 劉熔熔 王麗吉

(浙江省氣象信息網(wǎng)絡中心,浙江 杭州 310000)

1 現(xiàn)狀分析

2019年6月,地面氣象觀測自動化改革試運行,地面、高空、輻射、酸雨標準格式(BUFR)數(shù)據(jù)作為業(yè)務數(shù)據(jù)開始傳輸。2020年4月,觀測自動化改革調(diào)整為正式業(yè)務運行[1-7]。隨著氣象現(xiàn)代化的不斷發(fā)展,氣象資料數(shù)據(jù)量爆發(fā)式增長,分鐘數(shù)據(jù)傳輸間隔由5 min升級為1 min,數(shù)據(jù)量級由KB增加到MB,數(shù)據(jù)量激增影響了傳輸穩(wěn)定性。具體傳輸內(nèi)容與模式如表1所示。

表1 國家氣象站傳輸內(nèi)容與模式

省級服務器異常、網(wǎng)絡傳輸異常、臺站采集器異常,都容易導致數(shù)據(jù)無法正常入庫,而臺站在傳輸一次數(shù)據(jù)后無法再次自動補傳,使得MDOS數(shù)據(jù)庫中經(jīng)常出現(xiàn)小時數(shù)據(jù)缺報、分鐘數(shù)據(jù)空白等數(shù)據(jù)入庫問題,數(shù)據(jù)的丟失直接影響了省級數(shù)據(jù)庫的完整率和可用率[7-12]。地面氣象觀測自動化后,臺站觀測業(yè)務主要轉(zhuǎn)為設備維護維修,儀器檢測標校,值守班人員無法及時發(fā)現(xiàn)數(shù)據(jù)未入庫問題,人工應急干預的時效性降低,同時集中的人工補傳會導致傳輸壓力過大,服務器超負荷工作出現(xiàn)死機、癱瘓等不良后果,影響實時業(yè)務的運行和該節(jié)點業(yè)務應用，因此要求建立對省級數(shù)據(jù)庫的實時監(jiān)控和缺測數(shù)據(jù)的自動補傳[12-15]。

該軟件基于MDOS和ISOS系統(tǒng),實時監(jiān)控MDOS數(shù)據(jù)庫,對出現(xiàn)的空白、缺報等沒有入庫現(xiàn)象的小時、分鐘報文進行逐時自動補傳,保證了數(shù)據(jù)傳輸?shù)奈ㄒ恍?提高了及時率和可用率,同時減少了臺站人員的工作量。

2 國內(nèi)氣象BUFR數(shù)據(jù)格式和傳輸流程

2.1 國內(nèi)地面觀測要素BUFR報文格式說明

國內(nèi)地面小時、分鐘BUFR格式參照了世界氣象組織(WMO)和國際通用氣象數(shù)據(jù)格式標準,研制了適應國內(nèi)自動站觀測業(yè)務的數(shù)據(jù)表示模板。2018年6月26日,中國氣象局發(fā)布了《地面氣象觀測數(shù)據(jù)BUFR編碼行業(yè)標準》，其具有自描述性、表格驅(qū)動特性、可擴展性、可壓縮性等特點,編碼數(shù)據(jù)由指示段、標識段、數(shù)據(jù)描述段、數(shù)據(jù)段和結(jié)束段構(gòu)成,具體要素描述符對應數(shù)據(jù)編碼值詳見表2[16]:

表2 國內(nèi)地面小時、分鐘BUFR要素描述

2.2 數(shù)據(jù)傳輸流程

國家級地面氣象站觀測數(shù)據(jù)采集傳輸,其流程包括:

(1)地面觀測設備自動化采集并生成數(shù)據(jù),臺站ISOS軟件采集生成數(shù)據(jù),通過BUFR格式和新長Z文件以消息的傳輸方式上傳至省氣象信息中心。經(jīng)在線快速質(zhì)控后,實時將觀測數(shù)據(jù)及質(zhì)量控制碼上傳至國家級數(shù)據(jù)庫。省級、國家級通過CTS2.0將質(zhì)控后的數(shù)據(jù)實時處理入庫,并進行分析處理、產(chǎn)品加工等,供本節(jié)點業(yè)務應用。

(2)狀態(tài)數(shù)據(jù)傳輸。各個臺站按照要求實時自動上傳自動觀測設備的運行狀態(tài)和設備信息至省級、國家級天擎存儲,并提供應用服務。

3 設計與實現(xiàn)

3.1 技術(shù)路線

采用BUFR格式傳輸后,數(shù)據(jù)量呈指數(shù)級增長,影響了數(shù)據(jù)傳輸?shù)姆€(wěn)定性,在主、客觀因素的影響下,臺站經(jīng)常出現(xiàn)數(shù)據(jù)異常、傳輸異常、數(shù)據(jù)丟失導致數(shù)據(jù)上傳省級數(shù)據(jù)庫時出現(xiàn)空白、缺報、遲報等現(xiàn)象。省級服務器異常,導致數(shù)據(jù)不能及時存儲,而ISOS系統(tǒng)無法重新生成已發(fā)送的報文,嚴重影響了數(shù)據(jù)傳輸?shù)募皶r率和可用率。為解決上述問題,通過解析BUFR數(shù)據(jù)格式、臺站上傳數(shù)據(jù)流程及原理，分析數(shù)據(jù)丟失原因，從業(yè)務實際出發(fā)設計了地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補傳軟件,技術(shù)路線流程圖如圖1所示。

圖1 技術(shù)路線流程圖

該軟件在氣象臺站觀測業(yè)務機上安裝,對臺站端到省級服務器端的數(shù)據(jù)傳輸實現(xiàn)實時監(jiān)控,逐時對數(shù)據(jù)進行一致性、完整性、異常性、邏輯性4個方面檢查,發(fā)現(xiàn)數(shù)據(jù)異常、缺測、空白等問題。利用BUFR數(shù)據(jù)特點、傳輸模塊進行自動補傳、補入數(shù)據(jù)庫等操作處理,實現(xiàn)數(shù)據(jù)及時有效穩(wěn)定的傳輸、減少數(shù)據(jù)的丟失。

3.1.1 數(shù)據(jù)一致性處理

軟件在整點后5 min,對省級數(shù)據(jù)庫端和臺站BUFR當前整點數(shù)據(jù)進行掃描,檢查整點數(shù)據(jù)、60 min數(shù)據(jù)、BUFR報文中數(shù)據(jù)一致性,若不一致,以臺站端BUFR報文為準,修改整點和60 min數(shù)據(jù)。

3.1.2 數(shù)據(jù)完整性處理

軟件在當前時次50 min時,掃描省級數(shù)據(jù)庫端,生成缺測、空白時次的站號及具體時間文件,同時掃描BUFR報文存放目錄。

若未找到對應的缺測時間段的BURF報文,則判斷為未生成報文,自動獲取從采集器下載的數(shù)據(jù),并傳輸。

若找到對應的缺測時間段的BURF報文,則判斷為未傳輸報文,進行自動補傳。

若找到對應的缺測時間段的BURF報文,對BURF報文進行解析,發(fā)現(xiàn)全要素缺測,重新從采集器獲取報文后再進行解析,查看是否為全要素缺測,若全為缺測,則判斷該時次采集器有故障,報文缺測。若BURF報文有數(shù)據(jù),則重新上傳。

若找到對應的缺測時間段的BURF報文,對BURF報文進行解析,發(fā)現(xiàn)某要素缺測或多個要素缺測,重新從采集器獲取文件再進行解析,查看是否為該要素缺測,若仍缺測,則按照地面氣象觀測規(guī)范[17]進行處理,若BURF報文有數(shù)據(jù),則直接獲取,寫入數(shù)據(jù)庫。

3.1.3 數(shù)據(jù)異常性處理

軟件在整點后5 min,對上傳數(shù)據(jù)庫端和臺站BUFR當前整點數(shù)據(jù)進行掃描,查看數(shù)據(jù)是否有異常,如雪深異常、地溫異常等。

3.1.4 數(shù)據(jù)邏輯性處理

軟件在整點后5 min,對上傳數(shù)據(jù)庫端和臺站BUFR當前整點數(shù)據(jù)進行掃描,查看要素之間的邏輯性,如降水量與天氣現(xiàn)象有無矛盾等。

3.2 程序?qū)崿F(xiàn)

地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補傳軟件采用PYTHON語言設計開發(fā),共2個模塊,一個是參數(shù)模塊,需配置臺站級數(shù)據(jù)庫文件目錄即AWZ*.db所在目錄(例如:E:ISOSdataset浙江58457DataBase),BUFR備份文件傳輸目錄(例如:D:ISOSinSendsendbak)以及該站站號,設置定時觸發(fā)該軟件。另一個是查看模塊,通過設置需查看時段,可以檢查是否補傳成功,查詢補傳日志或手動上傳需補發(fā)報文。圖2為地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補傳軟件。

圖2 地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補傳軟件

通過對國內(nèi)地面氣象小時、分鐘觀測要素BUFR報文進行解析，實現(xiàn)地面氣象要素二進制報文可視化,便于臺站觀測員對BUFR報文內(nèi)容進行檢查。該軟件利用MDOS系統(tǒng)存儲和ISOS系統(tǒng)采集和傳輸模塊,建立臺站與省級逐時相互監(jiān)控驗證機制,有效做到臺站與省級數(shù)據(jù)庫中數(shù)據(jù)的一致性和完整性,同時設計了人工檢查和人工干預補傳功能,以便觀測員進行補查、人工補傳操作。

3.3 試驗與分析

MDOS系統(tǒng)“數(shù)據(jù)查詢與質(zhì)疑”頁面因主、客觀原因頻繁出現(xiàn)數(shù)據(jù)空白、丟失現(xiàn)象,導致省級數(shù)據(jù)庫中數(shù)據(jù)缺測、不完整的情況,以杭州氣象站(58457)為例,觀測時間為2021年3月15日,觀測要素為氣溫,其中15時14分至15時25分(北京時)分鐘數(shù)據(jù)為空白,如圖3所示。

圖3 杭州站MDOS系統(tǒng)頁面出現(xiàn)空白數(shù)據(jù)

軟件界面直接顯示“補傳數(shù)據(jù)開始時間”和“補傳數(shù)據(jù)結(jié)束時間”,對臺站和省級數(shù)據(jù)庫中數(shù)據(jù)進行4個方面檢查后,發(fā)現(xiàn)數(shù)據(jù)異常,進行自動補傳。觀測員人工在點擊“查看MDOS分鐘數(shù)據(jù)”選項時,軟件對省級數(shù)據(jù)庫進行重新掃描查看數(shù)據(jù)是否完整。在查看分鐘數(shù)據(jù)顯示界面中,補傳BUFR分鐘數(shù)據(jù)有“補傳”標記,顯示所補傳觀測要素,以便臺站觀測員確認補傳數(shù)據(jù)量及要素是否完整如圖4所示,第一行標記顯示被查詢的站號、時間段、要素的名稱,其中第一列標記為“原有”的為MDOS正常上傳的報文,標記為“補發(fā)”的為自動補傳的報文。因臺站數(shù)較多,若查詢的操作較多,可能導致查詢過長,故軟件設置查看該站分鐘補傳日志最近補傳的300條記錄。

圖4 15時14分至25分(北京時)杭州站分鐘補傳數(shù)據(jù)

所有補傳數(shù)據(jù)時間與站點信息將記錄在補傳數(shù)據(jù)庫中,以便省級、該站查看分鐘補傳日志,例如導出示例杭州氣象站,區(qū)站號為58457,觀測時間(世界時)為2021年7月28日04時34—46分補傳日志記錄,如表3所示。

表3 數(shù)據(jù)庫記錄中補傳時間與補傳記錄

目前該軟件已推廣至全省75個國家自動氣象站,統(tǒng)計2021年11月10個國家自動氣象站可用率(圖5)可知，使用自動補傳軟件后,11月的數(shù)據(jù)可用率有明顯的提高,其中臨安和建德國家氣象站在11月利用此軟件補傳后,可用率達到了100%,自動站儀器維護、維修等客觀原因?qū)е虏杉鞫瞬荒苓M行數(shù)據(jù)采集,則該時段數(shù)據(jù)無法獲取,仍為缺測,如長興國家氣象站在11月3日09時36分至10時02分更換溫度傳感器,其期間分鐘、小時數(shù)據(jù)缺測。

圖5 11月10個國家自動氣象站可用率

4 結(jié) 語

地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補傳軟件,能夠有效地解決浙江省內(nèi)臺站端故障、省級服務器和數(shù)據(jù)庫異常或數(shù)據(jù)傳輸異常、采集器仍有“數(shù)據(jù)丟失”等問題,同時彌補了觀測端監(jiān)控手段的不足。該軟件方便臺站觀測員對實時數(shù)據(jù)傳輸進行監(jiān)控,并逐時對省級數(shù)據(jù)庫進行掃描，完成了臺站端到省級數(shù)據(jù)端自動判斷、自動補傳的功能,提高了臺站應急處置時間和臺站地面業(yè)務的質(zhì)量,減少了缺報、漏報的次數(shù),同時保證了臺站級與省級數(shù)據(jù)庫數(shù)據(jù)的一致性,提高了數(shù)據(jù)的可用率和完整性,為該節(jié)點其他氣象產(chǎn)品提供更完整的數(shù)據(jù)支撐。

地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補傳軟件不能對采集端設備進行監(jiān)控。自國內(nèi)地面氣象觀測自動化改革以來,臺站觀測業(yè)務逐漸由觀測轉(zhuǎn)為儀器維護、維修和數(shù)據(jù)分析。今后將進一步分析ISOS系統(tǒng)采集模塊,實現(xiàn)對臺站采集器各個要素設備的工作狀態(tài)的實時監(jiān)控功能,完善軟件功能。