多普勒天氣雷達地州級資料共享平臺的設計與實現

何周見

摘 要：基于現階段查詢雷達歷史資料的步驟較為繁瑣，效率低下，筆者設計開發一套雷達資料自動備份、入庫系統，將雷達數據自動壓縮、歸檔，資料管理員無需人工操作；使用者通過選擇少量的參數可以直接得到打包好的數據，用戶體驗及檢索、效率較現有手段有大幅提高，讓臺站資料備份及資料使用者效率均大幅提高，具有很強的實用性。

關鍵詞：雷達資料；自動備份；查詢效率

引言

雷達資料是天氣預報中最為重要的資料之一。預報員在預報技術總結和歷史天氣個例分析中經常都需要用到。由于雷達數據數量多、容量大，雷達臺站資料室一般以月為單位進行資料備份，將雷達基數據進行壓縮、按DVD容量歸檔后再刻錄到DVD光盤中予以存檔，已經刻錄的資料往往都會即時刪除以騰出空間存儲最新的資料，存檔的資料也只限于本站，與本地天氣較為相關的周邊幾部雷達資料現階段不予保存。

基于以上，現階段查詢雷達歷史資料的步驟較為繁瑣，首先資料使用者需要將個例天氣的時間段交給資料室，由于雷達站平時不對產品文件進行備份，資料室將包含基數據資料的光盤找出，然后通過PUP程序手工進行產品請求設置，等待PUP程序進行資料處理，最后將產品交給使用人員進行個例分析。由于PUP處理產品的效率非常低，整個過程需要耗費大量的人力和時間，整體工作效率低下。因此筆者設計開發一套雷達資料自動備份、入庫系統，系統自動將最新的雷達資料進行壓縮、分文件夾存儲、處理，資料室人員只需直接將文件夾刻錄即可。前臺的查詢頁面，預報員只需要輸入起始時間，系統自動將時間段內的基數據及產品進行顯示供用戶下載?？纱蠓岣吖ぷ餍剩哂泻軓姷膶嵱眯浴?/p>

目前，國家氣象信息中心全國新一代天氣雷達信息共享平臺（CIMISS）已經開始投入使用，CIMISS可以方便的根據站號、時間段、產品種類進行雷達資料查詢，但是到目前為止，存在以下主要問題： 查詢出來的產品是以網址形式給出，需要進行逐條下載；不能多種產品同時查詢，一次只能查詢出一種產品；無CIMISS系統運行前的大部分歷史資料； 多種產品無法查詢出結果。開發本系統可以使本市及所轄縣的氣象工作者能夠方便的進行本研究區域的雷達歷史資料查詢，為預報及科研提供穩定、易用的數據共享平臺，并實現雷達資料的處理、歸檔、存儲自動化，提高臺站資料備份的工作效率。

研究內容：

1壓縮文件自動分文件夾的算法研究

由于天氣情況的差異，雷達基數據經過壓縮后的文件大小不一樣，大小可以相差數倍，在新一代多普勒天氣雷達雙偏振升級以前，沒有天氣過程的基數據經過壓縮最小只有幾十Kb，有天氣過程的情況可以達到4M左右，雙偏振升級以后，一個雙極化的基數據容量達到50M左右，沒有天氣情況壓縮后的容量在1M～15M之間，但是一張DVD光盤的容量是固定的，加上我國的天氣雷達在汛期和非汛期之間開機時間不一樣，如何在數據易于檢索和光盤容易利用率最大化之間找到一個平衡點是本項目需要解決的一個關鍵問題。經過數年的使用者數據檢索、上級單位索要臺站數據等情況分析，我們最終定下來將汛期與非汛期分開，單張DVD容量以時間為索引進行刻錄的方法。本辦法雖然有少量浪費DVD容量的缺點，但是在存放、檢索的效率上大大提高。特別是目前存儲設備價格的降低，DVD碟片長時間存儲內容易丟失的現狀，將歷史資料以磁盤陣列的形式保存或許是未來的趨勢。無論是檢索效率還是保存質量上較現有形式均有較大提高，目前我臺站的DVD刻錄資料，由于資料室的環境及其他因素影響，4年前的基本已經無法讀取，在資料應用上有很大的損失。

2 數據存儲方式的選擇及優化

目前我局資料室存儲的雷達數據容量大概為2T，壓縮文件是以文件形式存儲在硬盤中還是以二進制形式存儲在數據庫中，兩種方式的讀取效率比較以及最終選擇的方式的優化策略是本系統開發過程中需要解決的關鍵問題之一。開發人員利用2017年的整年數據做過一次存儲效率的實驗，發現只要將產品的存儲以日期為索引建立文件夾進行存儲，查詢效率雖然與存儲在MYSQL數據庫中相比有所延遲，但是基本也能滿足業務需要，且在業務維護方面要簡單的多，且不需要進行數據庫安裝、備份等操作。加上購買的硬盤盒具有自動的熱備份功能，我們最終選用了編寫程序以文件形式將基數據及產品文件進行存儲的方法。

3 用戶并發訪問的問題。

雖然本系統的使用對象為地州及所屬縣局的氣象科研工作者與預報員，使用人數總量不多，但是由于經費問題，硬件設備成為了多用戶高效率并發訪問的一個問題。本系統全套流程均運行在WINDOWS平臺上，系統基于dotnet framework框架，使用C#語言在Visual Studio 2012平臺上進行開發，服務器部署在windows 2008 server服務器上，在開發測試過程中發現，用戶并發使用量達70+以上時，對服務器造成了較大的壓力，服務器甚至會出現臨時宕機的狀態。經過對本地州以及所屬十二個縣局的計算機IP進行調研發現，一般很難達到70人同時使用，且在試運行一年期間發現，同時使用的人數最大是15個，因此在多用戶并發方面暫時沒有太大的壓力，但是隨著資料存儲時間變長，數據量增大，需要在存儲策略方面進行改進。

5 天氣個例的問題

在將近一年的試用過程中發現，資料使用者對于災害性天氣過程的資料使用量非常大，占總調用數據量的85%以上，因此開發團隊在試用一年之后決定將災害性天氣過程作為一個單獨的內容，使用一個新的硬盤盒進行存儲，這樣總的存儲量比之前總的存儲量少了近80%，查詢效率得到進一步的提高。同時，在和同事的交流過程中發現，使用者在對歷史天氣個例的分析中，對當時的數值預報產品也有很大的需求，但是由于數值預報產品的容量太大，基本沒有保存，希望本系統可以將災害性天氣過程的數值預報產品一并進行備份，系統開發團隊將會認真考慮這一需求。

總結

與2014年前獲得其臺站的數據較為困難相比，現階段全國的雷達的數據均可以通過資料共享獲取，使得本系統的開發進行比較順利。開發團隊成員搭配合理，需求明確，易于分工合作，且臨聘了3名 測試人員對系統進行了比較專業的階段性測試，使得系統在穩定性、易用性，用戶體驗方面較之前的系統有較大提高。