鄒紅 青娉楚 盧淞巖
摘?要:雷達氣象資料是短臨預報、災害天氣預警的重要資料,氣象雷達數據管理和個例資料整編系統采用WinForm編程語言和MSSQL?Server?2008數據庫開發技術建立了相應的南充雷達氣象資料數據庫,同時可以有效實現基數據、產品數據、歷史個例資料等氣象雷達數據的整編、壓縮、入庫、查詢、統計、下載等功能,減少人為操作,提高業務工作效率.為各級氣象業務人員下載雷達資料和查詢歷史個例信息提供了便利,能夠滿足業務應用中對雷達氣象資料存儲和檢索的要求。達到了對臺站雷達資料高效管理的目的。
關鍵詞:基數據?產品數據?歷史個例?整編?系統設計
中圖分類號:P412.25
Design?of?the?Meteorological?Radar?Data?Management?and?Case?Data?Complilation?System
ZOU?Hong???QING?Pingchu???LU?Songyan
(Nanchong?Meteorological?Office,?Nanchong,Sichuan?Province,?637000?China)
Abstract:?Meteorological?radar?data?is?important?data?for?short-impending?prediction?and?disaster?weather?warning.?The?meteorological?radar?data?management?and?case?data?integration?system?establishes?the?corresponding?meteorological?radar?data?database?of?Nanchong?by?using?WinForm?programming?language?and?MSSQL?Server?2008?database?development?technology,?and?it?can?effectively?realize?the?compilation,?compression,?storage,?query,?statistics,?download?and?other?functions?of?meteorological?radar?data?such?as?basic?data,?product?data?and?historical?case?data,?reduce?manual?operation?and?improve?business?efficiency,?which?provides?convenience?for?meteorological?operators?at?all?levels?to?download?radar?data?and?query?historical?case?information,?meets?the?requirements?for?the?storage?and?retrieval?of?meteorological?radar?data?in?business?applications,?and?achieves?the?purpose?of?the?efficient?management?of?radar?data?at?stations.
Key?Words:?Base?data;?Product?data;?Historical?case;?Compilation;?System?design
在新一代天氣雷達業務觀測中,采用降水觀測模式2(VCP21),一天有近260個基數據和約有9000個數據產品,且基數據、產品數據與資料整編文件名格式上的差異很大,如果僅依靠人工進行收集整編,不僅文件多,信息量大,校對審核工作也尤為繁雜。南充雷達從2006年開始運行以來,雷達資料都是每天人工通過復制、粘貼、刻錄等方式保存在光盤里。目前預報服務人員通過網站、省局PUPviewcimiss等系統查看天氣狀況,但是基數據和產品數據都保存時間較短,對于歷史個例資料就更加不方便查看。各級業務人員只有通過去檔案室復制基數據光盤,然后再經過RPG、PUP等程序處理出來,這樣就大大限制了天氣雷達數據使用效率同時增加了檔案室的工作量。近年來,有相關研究學者根據自身工作需求研發了適用于本地的雷達資料整編系統[1-4],也有其他相關研究學者也開發了雷達數據管理系統[5-8],還有相關研究學者在雷達運行管理、運行監控等方面進行了深入研究[9-12]。這些文獻提到的方法只考慮了基數據和個例的存儲管理,對產品數據資料的管理方式很少提及,也并不適合當前雷達業務需求。隨著時間推移雷達基數據資料、產品數據資料和歷史個例資料會越來越多,目前管理雷達資料的方式已經不能適應目前氣象業務的發展需求,因此研發一套系統將雷達基數據、產品數據和個例資料整編入庫顯得比較緊迫和重要。
系統從著力于解決業務工作中的問題出發,擬研發一個數據和個例資料平臺,減少業務工作人員因人為操作引起的錯誤,提高自身工作效率的同時還為各級天氣預報人員更有效地開展短臨預報業務提供了便捷,也為其他科研業務人員提供了詳細和全面的氣象雷達觀測數據支撐。
1?系統總體結構
系統采用了層次化的設計思路,其總體框架由應用軟件及其支撐環境共同組成。
1.1?應用軟件主要分為數據層、應用層和服務層
數據庫層為系統提供數據環境的支撐,主要存儲了基礎空間數據、雷達資料數據、存檔數據、?服務管理數據,采用?SQL?Server?2008?數據庫和文件系統進行統一存儲管理。應用層包括基數據自動入庫、產品數據和歷史個例的手動批量處理、氣象雷達數據的增加、刪除、管理和可視化支撐等功能。服務層實現雷達數據查詢、統計、下載功能,通過選擇日期、數據類型等信息到數據庫進行查詢、統計并展現到界面,以便用戶下載。
1.2?系統框架
整個系統構站級服務器或計算機、通信網絡設備組成的基礎設備平臺上,采用WinForm、C#編程語言、MSSQL?Server?2008數據庫,在?Microsoft?Visual?Studio?2010?(簡稱?VS2010)平臺開發,實現集雷達基數據、雷達產品數據和歷史個例資料數據三種不同格式數據的整編功能于一體,并輔以名稱選擇、時間選擇、目錄路徑選擇和運行結果信息報告等功能的綜合系統。
首先用Visual?Studio2010開發工具,搭建系統框架,創建系統主要菜單,包括基數據模塊、產品數據模塊、個例資料模塊、系統基礎信息欄、登錄欄、狀態欄、主界面以及它們的下一級子菜單;同時使用C#開發語言對所有菜單功能進行編輯,實現條件篩選、批量壓縮、存儲和重命名等功能;再使用SQL?Server?2008?數據庫工具通用方法實現新增、修改、刪除、查詢和下載數據庫中的數據;綜合采用WINZIP壓縮技術、目錄監控技術、自動批處理技術來實現數據資料的整編設計,最終實現系統功能。
2?系統的設計與實現
系統分三大模塊,一是實現基數據、產品數據、雷達狀態信息數據的分類自動存儲和數據備份。二是實現個例數據收集備份,通過選擇過程開始和結束時間自動下載和解壓重要天氣過程雷達數據再調用個例整編子程序進行個例資料整編。三是實現雷達基數據整編,雷達產品數據整編,個例資料的整編、入庫、統計、查詢和下載等功能;
2.1?雷達數據分類存儲
天氣雷達數據采集單元rtshow實施控制程序采集數據并生成標準格式基數據和05V格式基數據,然后通過FTP軟件或電腦磁盤映射的方式分發給產品生成程序RPGCW,RPGCW通過一系列算法再生產雷達產品并分發給顯示程序PUP,最后得到雷達回波圖。05V基數據存放在rtshow實施控制程序電腦data文件夾中,標準數據格式基數據可存放在rtshow實施控制程序電腦bizp2文件夾中或者RPGCW機的achive2文件夾中。產品數據存儲在PUP電腦archive文件夾里。南充天氣雷達軟件業務已經升級到ROSE2.1,與之前業務相比較,需要保存的基數據容量就更大了。
2.2雷達基數據整編設計
南充雷達運行已達15年,有大量歷史數據資料,系統基于工作實際出發將基數據整理模塊分為雷達實時基數據的自動入庫和歷史基數據手動入庫,通過程序實現文件上傳,通過sql?server2008數據庫對文件上傳信息進行記錄。實時基數據的自動入庫實現方法為系統通過調用子程序定時訪問雷達數據采集單元rtshow實施控制程序電腦基數據生成data文件夾和bizp2文件夾,根據中國氣象局相關業務規定將新生成的基數據復制并整理成以天為單位的基數據并壓縮到指定文件夾,再通過整理程序入庫。歷史基數據手動入庫就需要在本系統中點擊基數據上傳資料,再通過選擇歷史數據存放路徑的方式來實現歷史基數據資料的入庫。同時實現基數據的統計、查詢和下載功能。
2.3雷達產品數據整編設計
在業務運行過程中雷達產品數據并沒有規定要求長期保存,但是個例預報人員在做技術總結和研究工作時,往往需要回看大量的雷達回波圖,如果通過基數據回放返演等方式無形當中就會降低工作效率,但是如果保存了產品數據,預報人員就可以通過PUP軟件直接回看雷達回波。為了各級預報、服務和科研人員快速查看雷達回波圖,本系統將雷達產品數據以天為單位整理入庫。雷達實時產品數據的自動入庫和歷史產品數據手動入庫。系統實時產品數據入庫是通過訪問產品生成archive備份文件夾,將新生成的產品數據復制并整理成以天為單位的產品數據壓縮文件,再通過整理程序入庫。歷史產品數據手動入庫就需要在本系統中點擊產品數據上傳資料,再通過選擇歷史數據存放路徑的方式來實現歷史產品數據資料的入庫。同時實現產品數據的統計、查詢和下載功能。
2.4個例資料整編設計
按照中國氣象局監測網絡司制定的《新一代天氣雷達災害性天氣過程個例整編管理暫行規定》,雷達站需要將重大天氣過程所涉及的雷達基數據、產品數據、狀態信息進行收集整編。整編內容包含了發生災害的時間段、發生地、天氣過程說明和雷達運行情況等信息。其中工作量較大的就是對基數據、產品、狀態文件進行改名壓縮處理過程。存在天氣過程的時間段內有大的基數據和產品文件,臺站存儲的基數據和產品文件名格式與個例整編規定要求的基數據和產品數據命名方式不同,個例整編模塊設計思路是先收集個例天氣實況、過程描述、服務情況、高空地面資料、基數據、產品數據、雷達狀態文件、災情數據等并建立源文件夾,再根據個例整編規定建立三級目錄目標文件夾,通過調用個例整編子程序通過批處理方式完成了數據的自動解壓、更名、壓縮等工作,最后按照災害類型將歷史個例進行分類管理,災害類型包括暴雨、大風、冰雹,通過條件篩選、批量拷貝的方式添加到不同災害類型的個例庫中。用戶通過選擇日期或災害類型來查詢、統計和下載歷史個例資料的功能。
2.5系統具體實現方法
文章通過定時處理程序把另外一臺電腦映射網絡驅動器的方式?把archive2?目錄、archive目錄和UP_Back目錄映射到一個網絡磁盤中,使在?RPG和?PUP?中不增加任何開銷。(1)訪問RPGCW機的achive2文件夾,通過另一臺電腦映射網絡驅動器的方式將achive2目錄中基數據按天整理存儲在網絡磁盤中,系統將網絡磁盤中基數據整理并入庫,系統數據文件夾結構設置為按天分目錄,再根據數據生成時間,系統生成以天為目錄的文件夾,并將數據復制放入相應日期的文件夾中并將數據壓縮。(2)訪問PUP電腦產品數據archive文件夾?,通過另一臺電腦映射網絡驅動器的方式將achive目錄中產品數據按天整理存儲在網絡磁盤中,將網絡磁盤中產品數據整理并入庫,系統生成以天為目錄的文件夾,并將數據復制放入相應日期的文件夾中并將數據壓縮。(3)訪問存儲在rtshow實施控制程序電腦雷達狀態信息數據UP_Back文件夾,通過另一臺電腦映射網絡驅動器的方式將UP_Back目錄中狀態信息按按月整理存儲在網絡磁盤中,將網絡磁盤中狀態信息數據整理并入庫,系統生成以月為目錄的文件夾,無壓縮。(4)下載保存地面高空及雨量資料到相應磁盤文件夾。(5)?數據備份后,按照中國氣象局相關業務規范,對新一代天氣雷達災害性天氣過程個例資料進行整編。再按照程序個例整編模塊設計模塊進行編程。
3?自動化批量數據處理的關鍵技術與編程開發
系統開發的關鍵技術就是實現源數據的自動搜索、識別和抓取、定時執行、批量化處理、數據查詢、增加、刪除、下載,批量化處理又包括目標數據的更名、壓縮和整理。
利用timer實現操作的定時執行雷達數據的抓取,Timer控件是一種通過引發Timer事件,可以有規律地隔一段時間執行一次代碼的控件。代碼:?lbl_GetType.Text?=?"雷達數據";?FormAutoProduct?frmSelectName?=?new?FormAutoProduct()。
數據的壓縮重點代碼:?private?void?ZipMultiFiles(string?file,?ZipOutputStream?zipStream,?string?lastName?=?"")。
文件的自動搜索和整理重點代碼??:string?SetRadarUrl?=?ConfigurationManager.AppSettings["SetRadarUrl"]。
資料下載重點代碼:label_Add.Text?=?"源地址:";label_Cpy_Add.Text?=?"下載到:";label_Cpy_Lc.Text?=?"下載進程:";label_Write.Text?=?"已經下載:";label_FileSize.Text?=?"源文件總大小:"。
4?個例資料整編數據格式對比分析
整編前基數據:2021082012000.05V,數據大小是12M左右,更名整編后數據格式:Z_RADR_I_Z9817_20210820120000_O_DOR_H_SC_VCP_21.bin.bz2,數據大小是850KB左右。產品數據,如19號整編前產品數據20210728.140149.01.19.817,數據大小20KB;產品數據更名整編后是Z_RADR_I_Z9817_20210728060149_P_DOR_H_SC_R_3_75_5.817.bin.bz2,數據大小是10KB左右。經分析發現整編后數據文件比整編前縮小10到16倍,目錄也更加清晰簡單。為各級預報員和科研人員查詢,下載個例資料提供了很大的便捷。
5?結語
系統建立了相應的南充雷達氣象資料數據庫,同時可以有效實現基數據、產品數據、歷史個例資料等氣象雷達數據的整編、壓縮、入庫、查詢、統計、下載等功能,減少人為操作,該系統自開發完畢并投入業務試運行一年以來,提高了業務工作效率.為各級氣象業務人員下載雷達資料和查詢歷史個例信息提供了便利,能夠滿足業務應用中對雷達氣象資料存儲和檢索的要求,達到了對臺站雷達資料高效管理的目的。
參考文獻
[1] 于希,趙晉,肖麗,等.基于Web的邵陽天氣雷達數據管理系統的設計與應用[J].氣象水文海洋儀器,2022,39(1):98-100.
[2] 范秀麗,陳欣,李世盛,等.新媒體環境下高校檔案文化傳播策略及途徑分析[J].文化創新比較研究,2023,7(14):60-64.
[4] 李瑋,唐辟如,李皓.移動式X波段雙偏振雷達資料處理[J].中低緯山地氣象,2021,45(3):111-116.
[5] 梁慧.新一代天氣雷達個例資料整編系統設計[J].氣象研究與應用,2021,42(2):110-114.
[6] 花紅霞,李朝暉,田曦章,等.新一代天氣雷達資料整編軟件的應用[J].智能城市,2020,6(4):46-47.
[7] 戴永欣,牟鳳軍,許麗景,等.滄州新一代天氣雷達數據?整理與個例整編軟件設計與實現[C]//中國氣象學會.第35屆中國氣象學會年會?S20?深度信息化:應用支持與智能發展.北京:中國氣象學會,2018:35-40.
[8] 王海燕,雒儀.甘肅省自動監測站資料整編方法探索與應用[J].甘肅水利水電技術,2020,56(6):1-4,22.
[9] 姜小云,吳俞.新一代天氣雷達基數據管理與個例整編系統設計[J].氣象科技,2015,43(4):612-616.
[10] 李春艷,來志云,次仁措姆,等.西藏地區多普勒天氣雷達資料的自動處理和入庫[J].成都信息工程學院學報,2012,27(2):180-185.
[11] 王兆華,齊曉華,邊智.新一代天氣雷達原始數據自動整理程序[J].氣象水文海洋儀器,2010,27(4):108-109.
[12] 鄒書平,武孔亮,羅京義,等.雷達個例資料整編批處理技術與業務應用[J].氣象科技,2012,40(4):548-553.