浙江省地面氣象分鐘數(shù)據(jù)監(jiān)控傳輸方案設(shè)計(jì)與實(shí)現(xiàn)*

徐 寧 魯奕岑 吳書(shū)成 魏 爽 劉熔熔 王麗吉

(浙江省氣象信息網(wǎng)絡(luò)中心,浙江 杭州 310000)

1 現(xiàn)狀分析

2019年6月,地面氣象觀(guān)測(cè)自動(dòng)化改革試運(yùn)行,地面、高空、輻射、酸雨標(biāo)準(zhǔn)格式(BUFR)數(shù)據(jù)作為業(yè)務(wù)數(shù)據(jù)開(kāi)始傳輸。2020年4月,觀(guān)測(cè)自動(dòng)化改革調(diào)整為正式業(yè)務(wù)運(yùn)行[1-7]。隨著氣象現(xiàn)代化的不斷發(fā)展,氣象資料數(shù)據(jù)量爆發(fā)式增長(zhǎng),分鐘數(shù)據(jù)傳輸間隔由5 min升級(jí)為1 min,數(shù)據(jù)量級(jí)由KB增加到MB,數(shù)據(jù)量激增影響了傳輸穩(wěn)定性。具體傳輸內(nèi)容與模式如表1所示。

表1 國(guó)家氣象站傳輸內(nèi)容與模式

省級(jí)服務(wù)器異常、網(wǎng)絡(luò)傳輸異常、臺(tái)站采集器異常,都容易導(dǎo)致數(shù)據(jù)無(wú)法正常入庫(kù),而臺(tái)站在傳輸一次數(shù)據(jù)后無(wú)法再次自動(dòng)補(bǔ)傳,使得MDOS數(shù)據(jù)庫(kù)中經(jīng)常出現(xiàn)小時(shí)數(shù)據(jù)缺報(bào)、分鐘數(shù)據(jù)空白等數(shù)據(jù)入庫(kù)問(wèn)題,數(shù)據(jù)的丟失直接影響了省級(jí)數(shù)據(jù)庫(kù)的完整率和可用率[7-12]。地面氣象觀(guān)測(cè)自動(dòng)化后,臺(tái)站觀(guān)測(cè)業(yè)務(wù)主要轉(zhuǎn)為設(shè)備維護(hù)維修,儀器檢測(cè)標(biāo)校,值守班人員無(wú)法及時(shí)發(fā)現(xiàn)數(shù)據(jù)未入庫(kù)問(wèn)題,人工應(yīng)急干預(yù)的時(shí)效性降低,同時(shí)集中的人工補(bǔ)傳會(huì)導(dǎo)致傳輸壓力過(guò)大,服務(wù)器超負(fù)荷工作出現(xiàn)死機(jī)、癱瘓等不良后果,影響實(shí)時(shí)業(yè)務(wù)的運(yùn)行和該節(jié)點(diǎn)業(yè)務(wù)應(yīng)用，因此要求建立對(duì)省級(jí)數(shù)據(jù)庫(kù)的實(shí)時(shí)監(jiān)控和缺測(cè)數(shù)據(jù)的自動(dòng)補(bǔ)傳[12-15]。

該軟件基于MDOS和ISOS系統(tǒng),實(shí)時(shí)監(jiān)控MDOS數(shù)據(jù)庫(kù),對(duì)出現(xiàn)的空白、缺報(bào)等沒(méi)有入庫(kù)現(xiàn)象的小時(shí)、分鐘報(bào)文進(jìn)行逐時(shí)自動(dòng)補(bǔ)傳,保證了數(shù)據(jù)傳輸?shù)奈ㄒ恍?提高了及時(shí)率和可用率,同時(shí)減少了臺(tái)站人員的工作量。

2 國(guó)內(nèi)氣象BUFR數(shù)據(jù)格式和傳輸流程

2.1 國(guó)內(nèi)地面觀(guān)測(cè)要素BUFR報(bào)文格式說(shuō)明

國(guó)內(nèi)地面小時(shí)、分鐘BUFR格式參照了世界氣象組織(WMO)和國(guó)際通用氣象數(shù)據(jù)格式標(biāo)準(zhǔn),研制了適應(yīng)國(guó)內(nèi)自動(dòng)站觀(guān)測(cè)業(yè)務(wù)的數(shù)據(jù)表示模板。2018年6月26日,中國(guó)氣象局發(fā)布了《地面氣象觀(guān)測(cè)數(shù)據(jù)BUFR編碼行業(yè)標(biāo)準(zhǔn)》，其具有自描述性、表格驅(qū)動(dòng)特性、可擴(kuò)展性、可壓縮性等特點(diǎn),編碼數(shù)據(jù)由指示段、標(biāo)識(shí)段、數(shù)據(jù)描述段、數(shù)據(jù)段和結(jié)束段構(gòu)成,具體要素描述符對(duì)應(yīng)數(shù)據(jù)編碼值詳見(jiàn)表2[16]:

表2 國(guó)內(nèi)地面小時(shí)、分鐘BUFR要素描述

2.2 數(shù)據(jù)傳輸流程

國(guó)家級(jí)地面氣象站觀(guān)測(cè)數(shù)據(jù)采集傳輸,其流程包括:

(1)地面觀(guān)測(cè)設(shè)備自動(dòng)化采集并生成數(shù)據(jù),臺(tái)站ISOS軟件采集生成數(shù)據(jù),通過(guò)BUFR格式和新長(zhǎng)Z文件以消息的傳輸方式上傳至省氣象信息中心。經(jīng)在線(xiàn)快速質(zhì)控后,實(shí)時(shí)將觀(guān)測(cè)數(shù)據(jù)及質(zhì)量控制碼上傳至國(guó)家級(jí)數(shù)據(jù)庫(kù)。省級(jí)、國(guó)家級(jí)通過(guò)CTS2.0將質(zhì)控后的數(shù)據(jù)實(shí)時(shí)處理入庫(kù),并進(jìn)行分析處理、產(chǎn)品加工等,供本節(jié)點(diǎn)業(yè)務(wù)應(yīng)用。

(2)狀態(tài)數(shù)據(jù)傳輸。各個(gè)臺(tái)站按照要求實(shí)時(shí)自動(dòng)上傳自動(dòng)觀(guān)測(cè)設(shè)備的運(yùn)行狀態(tài)和設(shè)備信息至省級(jí)、國(guó)家級(jí)天擎存儲(chǔ),并提供應(yīng)用服務(wù)。

3 設(shè)計(jì)與實(shí)現(xiàn)

3.1 技術(shù)路線(xiàn)

采用BUFR格式傳輸后,數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng),影響了數(shù)據(jù)傳輸?shù)姆€(wěn)定性,在主、客觀(guān)因素的影響下,臺(tái)站經(jīng)常出現(xiàn)數(shù)據(jù)異常、傳輸異常、數(shù)據(jù)丟失導(dǎo)致數(shù)據(jù)上傳省級(jí)數(shù)據(jù)庫(kù)時(shí)出現(xiàn)空白、缺報(bào)、遲報(bào)等現(xiàn)象。省級(jí)服務(wù)器異常,導(dǎo)致數(shù)據(jù)不能及時(shí)存儲(chǔ),而ISOS系統(tǒng)無(wú)法重新生成已發(fā)送的報(bào)文,嚴(yán)重影響了數(shù)據(jù)傳輸?shù)募皶r(shí)率和可用率。為解決上述問(wèn)題,通過(guò)解析BUFR數(shù)據(jù)格式、臺(tái)站上傳數(shù)據(jù)流程及原理，分析數(shù)據(jù)丟失原因，從業(yè)務(wù)實(shí)際出發(fā)設(shè)計(jì)了地面氣象站BUFR數(shù)據(jù)監(jiān)控自動(dòng)補(bǔ)傳軟件,技術(shù)路線(xiàn)流程圖如圖1所示。

圖1 技術(shù)路線(xiàn)流程圖

該軟件在氣象臺(tái)站觀(guān)測(cè)業(yè)務(wù)機(jī)上安裝,對(duì)臺(tái)站端到省級(jí)服務(wù)器端的數(shù)據(jù)傳輸實(shí)現(xiàn)實(shí)時(shí)監(jiān)控,逐時(shí)對(duì)數(shù)據(jù)進(jìn)行一致性、完整性、異常性、邏輯性4個(gè)方面檢查,發(fā)現(xiàn)數(shù)據(jù)異常、缺測(cè)、空白等問(wèn)題。利用BUFR數(shù)據(jù)特點(diǎn)、傳輸模塊進(jìn)行自動(dòng)補(bǔ)傳、補(bǔ)入數(shù)據(jù)庫(kù)等操作處理,實(shí)現(xiàn)數(shù)據(jù)及時(shí)有效穩(wěn)定的傳輸、減少數(shù)據(jù)的丟失。

3.1.1 數(shù)據(jù)一致性處理

軟件在整點(diǎn)后5 min,對(duì)省級(jí)數(shù)據(jù)庫(kù)端和臺(tái)站BUFR當(dāng)前整點(diǎn)數(shù)據(jù)進(jìn)行掃描,檢查整點(diǎn)數(shù)據(jù)、60 min數(shù)據(jù)、BUFR報(bào)文中數(shù)據(jù)一致性,若不一致,以臺(tái)站端BUFR報(bào)文為準(zhǔn),修改整點(diǎn)和60 min數(shù)據(jù)。

3.1.2 數(shù)據(jù)完整性處理

軟件在當(dāng)前時(shí)次50 min時(shí),掃描省級(jí)數(shù)據(jù)庫(kù)端,生成缺測(cè)、空白時(shí)次的站號(hào)及具體時(shí)間文件,同時(shí)掃描BUFR報(bào)文存放目錄。

若未找到對(duì)應(yīng)的缺測(cè)時(shí)間段的BURF報(bào)文,則判斷為未生成報(bào)文,自動(dòng)獲取從采集器下載的數(shù)據(jù),并傳輸。

若找到對(duì)應(yīng)的缺測(cè)時(shí)間段的BURF報(bào)文,則判斷為未傳輸報(bào)文,進(jìn)行自動(dòng)補(bǔ)傳。

若找到對(duì)應(yīng)的缺測(cè)時(shí)間段的BURF報(bào)文,對(duì)BURF報(bào)文進(jìn)行解析,發(fā)現(xiàn)全要素缺測(cè),重新從采集器獲取報(bào)文后再進(jìn)行解析,查看是否為全要素缺測(cè),若全為缺測(cè),則判斷該時(shí)次采集器有故障,報(bào)文缺測(cè)。若BURF報(bào)文有數(shù)據(jù),則重新上傳。

若找到對(duì)應(yīng)的缺測(cè)時(shí)間段的BURF報(bào)文,對(duì)BURF報(bào)文進(jìn)行解析,發(fā)現(xiàn)某要素缺測(cè)或多個(gè)要素缺測(cè),重新從采集器獲取文件再進(jìn)行解析,查看是否為該要素缺測(cè),若仍缺測(cè),則按照地面氣象觀(guān)測(cè)規(guī)范[17]進(jìn)行處理,若BURF報(bào)文有數(shù)據(jù),則直接獲取,寫(xiě)入數(shù)據(jù)庫(kù)。

3.1.3 數(shù)據(jù)異常性處理

軟件在整點(diǎn)后5 min,對(duì)上傳數(shù)據(jù)庫(kù)端和臺(tái)站BUFR當(dāng)前整點(diǎn)數(shù)據(jù)進(jìn)行掃描,查看數(shù)據(jù)是否有異常,如雪深異常、地溫異常等。

3.1.4 數(shù)據(jù)邏輯性處理

軟件在整點(diǎn)后5 min,對(duì)上傳數(shù)據(jù)庫(kù)端和臺(tái)站BUFR當(dāng)前整點(diǎn)數(shù)據(jù)進(jìn)行掃描,查看要素之間的邏輯性,如降水量與天氣現(xiàn)象有無(wú)矛盾等。

3.2 程序?qū)崿F(xiàn)

地面氣象站BUFR數(shù)據(jù)監(jiān)控自動(dòng)補(bǔ)傳軟件采用PYTHON語(yǔ)言設(shè)計(jì)開(kāi)發(fā),共2個(gè)模塊,一個(gè)是參數(shù)模塊,需配置臺(tái)站級(jí)數(shù)據(jù)庫(kù)文件目錄即AWZ*.db所在目錄(例如:E:ISOSdataset浙江58457DataBase),BUFR備份文件傳輸目錄(例如:D:ISOSinSendsendbak)以及該站站號(hào),設(shè)置定時(shí)觸發(fā)該軟件。另一個(gè)是查看模塊,通過(guò)設(shè)置需查看時(shí)段,可以檢查是否補(bǔ)傳成功,查詢(xún)補(bǔ)傳日志或手動(dòng)上傳需補(bǔ)發(fā)報(bào)文。圖2為地面氣象站BUFR數(shù)據(jù)監(jiān)控自動(dòng)補(bǔ)傳軟件。

圖2 地面氣象站BUFR數(shù)據(jù)監(jiān)控自動(dòng)補(bǔ)傳軟件

通過(guò)對(duì)國(guó)內(nèi)地面氣象小時(shí)、分鐘觀(guān)測(cè)要素BUFR報(bào)文進(jìn)行解析，實(shí)現(xiàn)地面氣象要素二進(jìn)制報(bào)文可視化,便于臺(tái)站觀(guān)測(cè)員對(duì)BUFR報(bào)文內(nèi)容進(jìn)行檢查。該軟件利用MDOS系統(tǒng)存儲(chǔ)和ISOS系統(tǒng)采集和傳輸模塊,建立臺(tái)站與省級(jí)逐時(shí)相互監(jiān)控驗(yàn)證機(jī)制,有效做到臺(tái)站與省級(jí)數(shù)據(jù)庫(kù)中數(shù)據(jù)的一致性和完整性,同時(shí)設(shè)計(jì)了人工檢查和人工干預(yù)補(bǔ)傳功能,以便觀(guān)測(cè)員進(jìn)行補(bǔ)查、人工補(bǔ)傳操作。

3.3 試驗(yàn)與分析

MDOS系統(tǒng)“數(shù)據(jù)查詢(xún)與質(zhì)疑”頁(yè)面因主、客觀(guān)原因頻繁出現(xiàn)數(shù)據(jù)空白、丟失現(xiàn)象,導(dǎo)致省級(jí)數(shù)據(jù)庫(kù)中數(shù)據(jù)缺測(cè)、不完整的情況,以杭州氣象站(58457)為例,觀(guān)測(cè)時(shí)間為2021年3月15日,觀(guān)測(cè)要素為氣溫,其中15時(shí)14分至15時(shí)25分(北京時(shí))分鐘數(shù)據(jù)為空白,如圖3所示。

圖3 杭州站MDOS系統(tǒng)頁(yè)面出現(xiàn)空白數(shù)據(jù)

軟件界面直接顯示“補(bǔ)傳數(shù)據(jù)開(kāi)始時(shí)間”和“補(bǔ)傳數(shù)據(jù)結(jié)束時(shí)間”,對(duì)臺(tái)站和省級(jí)數(shù)據(jù)庫(kù)中數(shù)據(jù)進(jìn)行4個(gè)方面檢查后,發(fā)現(xiàn)數(shù)據(jù)異常,進(jìn)行自動(dòng)補(bǔ)傳。觀(guān)測(cè)員人工在點(diǎn)擊“查看MDOS分鐘數(shù)據(jù)”選項(xiàng)時(shí),軟件對(duì)省級(jí)數(shù)據(jù)庫(kù)進(jìn)行重新掃描查看數(shù)據(jù)是否完整。在查看分鐘數(shù)據(jù)顯示界面中,補(bǔ)傳BUFR分鐘數(shù)據(jù)有“補(bǔ)傳”標(biāo)記,顯示所補(bǔ)傳觀(guān)測(cè)要素,以便臺(tái)站觀(guān)測(cè)員確認(rèn)補(bǔ)傳數(shù)據(jù)量及要素是否完整如圖4所示,第一行標(biāo)記顯示被查詢(xún)的站號(hào)、時(shí)間段、要素的名稱(chēng),其中第一列標(biāo)記為“原有”的為MDOS正常上傳的報(bào)文,標(biāo)記為“補(bǔ)發(fā)”的為自動(dòng)補(bǔ)傳的報(bào)文。因臺(tái)站數(shù)較多,若查詢(xún)的操作較多,可能導(dǎo)致查詢(xún)過(guò)長(zhǎng),故軟件設(shè)置查看該站分鐘補(bǔ)傳日志最近補(bǔ)傳的300條記錄。

圖4 15時(shí)14分至25分(北京時(shí))杭州站分鐘補(bǔ)傳數(shù)據(jù)

所有補(bǔ)傳數(shù)據(jù)時(shí)間與站點(diǎn)信息將記錄在補(bǔ)傳數(shù)據(jù)庫(kù)中,以便省級(jí)、該站查看分鐘補(bǔ)傳日志,例如導(dǎo)出示例杭州氣象站,區(qū)站號(hào)為58457,觀(guān)測(cè)時(shí)間(世界時(shí))為2021年7月28日04時(shí)34—46分補(bǔ)傳日志記錄,如表3所示。

表3 數(shù)據(jù)庫(kù)記錄中補(bǔ)傳時(shí)間與補(bǔ)傳記錄

目前該軟件已推廣至全省75個(gè)國(guó)家自動(dòng)氣象站,統(tǒng)計(jì)2021年11月10個(gè)國(guó)家自動(dòng)氣象站可用率(圖5)可知，使用自動(dòng)補(bǔ)傳軟件后,11月的數(shù)據(jù)可用率有明顯的提高,其中臨安和建德國(guó)家氣象站在11月利用此軟件補(bǔ)傳后,可用率達(dá)到了100%,自動(dòng)站儀器維護(hù)、維修等客觀(guān)原因?qū)е虏杉鞫瞬荒苓M(jìn)行數(shù)據(jù)采集,則該時(shí)段數(shù)據(jù)無(wú)法獲取,仍為缺測(cè),如長(zhǎng)興國(guó)家氣象站在11月3日09時(shí)36分至10時(shí)02分更換溫度傳感器,其期間分鐘、小時(shí)數(shù)據(jù)缺測(cè)。

圖5 11月10個(gè)國(guó)家自動(dòng)氣象站可用率

4 結(jié) 語(yǔ)

地面氣象站BUFR數(shù)據(jù)監(jiān)控自動(dòng)補(bǔ)傳軟件,能夠有效地解決浙江省內(nèi)臺(tái)站端故障、省級(jí)服務(wù)器和數(shù)據(jù)庫(kù)異常或數(shù)據(jù)傳輸異常、采集器仍有“數(shù)據(jù)丟失”等問(wèn)題,同時(shí)彌補(bǔ)了觀(guān)測(cè)端監(jiān)控手段的不足。該軟件方便臺(tái)站觀(guān)測(cè)員對(duì)實(shí)時(shí)數(shù)據(jù)傳輸進(jìn)行監(jiān)控,并逐時(shí)對(duì)省級(jí)數(shù)據(jù)庫(kù)進(jìn)行掃描，完成了臺(tái)站端到省級(jí)數(shù)據(jù)端自動(dòng)判斷、自動(dòng)補(bǔ)傳的功能,提高了臺(tái)站應(yīng)急處置時(shí)間和臺(tái)站地面業(yè)務(wù)的質(zhì)量,減少了缺報(bào)、漏報(bào)的次數(shù),同時(shí)保證了臺(tái)站級(jí)與省級(jí)數(shù)據(jù)庫(kù)數(shù)據(jù)的一致性,提高了數(shù)據(jù)的可用率和完整性,為該節(jié)點(diǎn)其他氣象產(chǎn)品提供更完整的數(shù)據(jù)支撐。

地面氣象站BUFR數(shù)據(jù)監(jiān)控自動(dòng)補(bǔ)傳軟件不能對(duì)采集端設(shè)備進(jìn)行監(jiān)控。自國(guó)內(nèi)地面氣象觀(guān)測(cè)自動(dòng)化改革以來(lái),臺(tái)站觀(guān)測(cè)業(yè)務(wù)逐漸由觀(guān)測(cè)轉(zhuǎn)為儀器維護(hù)、維修和數(shù)據(jù)分析。今后將進(jìn)一步分析ISOS系統(tǒng)采集模塊,實(shí)現(xiàn)對(duì)臺(tái)站采集器各個(gè)要素設(shè)備的工作狀態(tài)的實(shí)時(shí)監(jiān)控功能,完善軟件功能。