大數據下民航氣象資料的收集與分發

洪莉雯

民航氣象中心 北京 100018

引言

隨著航空運輸量的增長，全行業的需求也在增長。其中，氣象信息化快速發展，亞洲航空氣象中心、中俄聯合體第4個全球空間天氣中心陸續在空管系統中建設完成，為了給航空氣象服務做好后臺技術支撐，民航飛行安全運行保駕護航，氣象信息的傳遞是運行中重要的一環。

民航氣象數據交換包括：民航報文、自動站資料、探測資料、GPS高空探測、閃電定位資料、風廓線雷達資料、話音方式航空器空中報告、實時航跡資料、衛星資料等等[1]。民航氣象中心不僅參與國內七個地區中心和航站的氣象資料轉發工作，還肩負著與國際的氣象情報交換工作。資料數據量龐大，并且部分資料刷新時間在1分鐘內。

1 實施概況

1.1 開發環境

收集分發系統采用Java語言開發，Java作為一種功能強大的編程語言，在世界范圍內深受認可，所以此次設計中采用了Java語言進行編程。Java是最為廣泛的網絡編程語言之一，它具有簡單、穩定、面向對象、與平臺無關等特點。

1.2 系統部署情況

目前從各地區空管局氣象中心獲取氣象數據的方式有兩種，一種是互聯網方式，一種是專線方式，從而匯集到民航氣象中心數據庫中，民航氣象中心進行數據質量控制后，整合、下發，主要在航空服務平臺上展示給使用用戶，推送至一些航空公司，和在共享系統上共享給各地區氣象中心[2]。

根據民航氣象中心數據庫系統中數據傳輸方式，氣象資料收集傳輸系統的傳輸方式，數據入庫應用程序的部署特點，在操作系統 centos上部署好目錄環境，建立傳輸資料的落地目錄，文件經過質量控制軟件進行質控處理，正確的文件入庫處理，錯誤的文件進行錯誤日志留底保存。

在數據傳輸的過程中會存在一些常見問題，如漏傳、多傳、擁塞、等待等，還有關于傳輸資料的安全性的問題。民航氣象中心與各地區中心共享多種氣象資料，資料共享方式是FTP傳輸的方式。在資料收集與下發、共享方面，通過FTP方式進行資料傳輸是最常用的應用手段。FTP傳輸方式的優點在于文件傳輸速度較快，還可以匿名登錄，但在傳輸過程中的安全性較低。主被動模式會受到客戶端、服務器端防火墻影響，但是在有安全設備保護的內網中使用是非常簡單便捷的，很適合在內網業務中使用。所以選擇傳輸資料的方式還是需要根據當前的大環境，業務的需求，因時制宜的選取相應的傳輸技術。

2 系統設計

下圖是收集分發系統管理網站菜單介紹，可分為節點管理、帶寬管理、線路管理、規則管理、規則鏈管理、質控入庫管理、輔助工具、系統管理。

圖1 收集分發系統管理網站菜單

2.1 節點管理

節點管理包括管理節點建立連接的收集分發節點和收集分發節點與目標服務器所建立的線路，收集分發節點在部署的時候，會配置好NODE_ID，NODE_ID是一個收集分發節點的唯一標識，NODE_ID在收集分發節點中沒有特殊的作用，但是在管理節點中有很重要的作用，管理節點的數據庫中的所有關于該收集分發節點的配置都是與NODE_ID綁定的。

2.2 帶寬管理

帶寬修改中為了保證帶寬速度，可以修改此分發規則的保證帶寬配置，單位Kbit/s，修改此分發規則的在迅速提升帶寬時的恢復比例配置，配置為100%時，即在迅速提升帶寬時恢復至該分發規則的需求帶寬值，單位為百分比。

2.3 線路管理

FTP線路中包括當前線路節點歸屬，用于區別線路唯一，FTP服務器用戶名，FTP服務器密碼，FTP服務器地址，FTP服務器監聽端口號，每隔一定時間檢測FTP連接，FTP服務器編碼格式，FTP服務器其他信息。

2.4 規則管理

在當前規則所屬節點中，其中包括一些定義，如規則號是唯一標識，線路類型是規則所選線路類型，線路號是規則所使用的線路，本地路徑是收集文件保存路徑，獲取策略按“收集后刪除”，“按時間取新增”方式。定時調度表達式來設置規則執行頻率，規則也進行分組管理。遠程路徑是遠程服務器文件存放位置。忽略時長即文件最后修改時間在規定時間之前，則文件不再下載。

2.5 規則鏈管理

規則鏈管理是文件開始處理與結束處理的關鍵步驟，可同時啟動與停止質控規則和收集規則；可添加節點，選擇文件的收集規則類型，選擇文件的收集規則號，與之相對應的是質控規則號，每一個收集規則號對應一個質控規則號，如果有入庫規則號則選擇相應資料的入庫規則號，如果文件需要分發，點擊“增加分發規則”，會自動添加分發規則號，點擊資料的規則號，可以查看具體的資料配置信息，啟動規則鏈中的規則后，將開始處理文件，進行拆解質控入庫。

2.6 質控入庫管理

按照氣象資料要求，進行文件質控。添加資料規則，查看頁面中是否有需要處理的資料規則，如果沒有則添加，彈出添加規則框，完成常規資料的規則添加，當有多種資料子類時點選下方的“增加資料種類”繼續添加，添加完后點擊保存按鈕添加完畢。

在資料傳輸過程中觸發其他規則（質控，發送）時發送通知消息，并且可以選擇是否開啟文件名上的時間過期校驗，判斷文件有效性。獲取時間正則可以獲取文件名上時間正則表達式。告警等級用于配置文件名時間過期時的告警等級。設置有效時長讓文件名時間小于當前時間減去有效時長文件不再下載。文件名修改策略可以調整文件名大小寫。遠程路徑策略“無正則”，“取最大”，“取最新”。臨時后綴用來標記未傳輸完的文件，還可以啟用斷點續傳，在文件傳輸一半后，繼續上一次傳輸。文件名正則用來只收集符合正則的文件，取最新（大）目錄數量來規定每次獲取文件夾的數量等。

2.7 輔助工具

輔助工具中包括正則校驗、文件名時間過濾校驗、精確文件名文件格式生成。

2.8 系統管理

系統管理中包括角色管理，用來分配權限；用戶管理，用來管理系統登錄用戶；系統操作記錄操作日志；系統參數用來修改和配置系統各種數據庫記錄保留時長[3]。

3 結論

大數據環境下，氣象預報需要大量數據推演，收集分發系統不僅有利于今后中心業務數據資料傳輸方式的選擇，能夠減少數據傳輸問題，提高業務效率，更有益于我們更好的保障民航氣象中心與各數據運行中心的資料傳輸與分發，為民航氣象提高宏觀可靠性做出貢獻，為民航氣象提供數據需求和幫助，助力航班正常運行。

4 結束語

計算機的問世使數值天氣預報變為現實。用超算將各地方的氣象觀測資料和大量的計算，做出數值天氣預報，可以使天氣預報能夠更加定量化和客觀化。它對氣象學和其他各理論科學以及技術學科提出了不少新的要求，從而對氣象科學的發展起到了推動作用。

氣象事業的最終目的就是服務用戶,提升服務質量和服務效果是氣象事業發展的不斷追求,氣象服務的不斷發展同時也牽引著觀測,預報等其他方面的氣象基礎事業的不斷前進，從而形成整個氣象行業不斷提高的良性循環。如今，越來越多的氣象資料引進，全球的氣象情報交換使人類的生活更加便捷，大量的數據傳遞更加需要一個穩定高效的傳輸系統。