于 希,趙 晉,肖 麗,袁 微,郭春輝
(1.綏寧縣氣象局,邵陽 422617;2.肇慶市氣象局,肇慶 526060)
新一代多普勒天氣雷達可用于及時監測暴雨、冰雹等惡劣天氣,尤其是天氣雷達組網的形成,使短時臨近預報及定量估測降水等方面的工作效率有了很大的提高[1-4]。湖南省先后建設了多部單偏振天氣雷達和雙偏振天氣雷達,利用雷達觀測天氣得到前所未有的發展,雷達監測網日益密集的同時對雷達資料的管理和有效利用也有了更高的要求。因此創建一套雙偏振天氣基數據管理及雷達數據共享系統尤為重要。王恕[5]等根據沈陽氣象局實際業務工作開發了實時氣象資料管理系統,以磁盤陣列和光盤為主要存儲方式,自動分類數據,自動刻錄控制和多樣化的檢索技術,實現了氣象資料的自動存儲與管理;孫靜[6]利用多年從事雷達資料管理方面的經驗,分享了多普勒雷達資料管理方法和光盤刻錄的準確性;楊有林[7]等使用云端技術建立了寧夏氣象數據共享平臺,從而提高了數據利用率和氣象聯防能力;姜小云[8]等針對海南雷達的業務工作,開發了多個小軟件完成雷達基數據的管理和個例整編,為數據共享提供了便捷;杜言霞[9]等針對風廓線雷達數據進行了處理,使雷達數據質量得到了改善,為數據的二次開發和數據共享打下了堅實的基礎。為了促進邵陽天氣雷達數據的高效管理,邵陽市氣象局利用NAS存儲架構、批處理改名及自動壓縮技術、數據批量下載等技術設計開發了基于Web的邵陽天氣雷達數據管理系統,該系統能完成基數據的有效存儲及天氣個例數據的整編,同時為了使預報員和相關科研人員能更加便捷地獲取雷達資料,還提供了歷史數據和個例數據的查詢與下載等功能。
基于Web的邵陽天氣雷達數據管理系統由3個模塊組成。模塊1是完成數據的分類存儲,利用ROSE自帶FTP功能實時將雷達數據分發至NAS服務器;模塊2是完成天氣個例數據的整編;模塊3是針對雙偏振天氣雷達基數據和天氣雷達個例整編兩類數據的在線查詢與下載。模塊3主要分為4層[10]:第1層為采集數據存儲層,模塊1和模塊2完成了此項任務;第2層是業務邏輯層,主要完成應用服務層的需求向數據轉變的邏輯轉變功能,實現系統功能的調用;第3層是數據緩存層,主要將數據緩存在服務器端,避免多用戶重復訪問造成服務器癱瘓;第4層是應用服務層,采用HTML5技術提供速度更快的下載服務,方便用戶下載大量的數據。開發工具使用VS2019和DOS等,網頁開發過程中對界面設計、數據庫設計和后臺數據處理進行嚴格管理和測試,確保系統的準確性和穩定性[11,12]。
文章通過對邵陽市縣兩級氣象局的日常工作需求進行分析,確立邵陽天氣雷達數據管理系統功能模塊主要包含雷達數據的分類存儲、雷達個例數據整編、基數據及個例數據的查詢與下載等功能。
天氣雷達數據采集單元RDA采集數據并生成基數據,然后分發給產品生成單位RPG,RPG將產品分發給PUP,基數據存放在RPG機的achive 2文件夾中。邵陽天氣雷達于2020年9月大修并升級為雙偏振天氣雷達,與之前的單偏振天氣雷達最大的區別是數據容量更大了。基數據容量由原來的9 M(壓縮后約1~2 M)升級至現在的36 M(壓縮后約4~5 M)左右。在RPG本機上已無法存放大量的基數據,故使用ROSE自帶的FTP傳輸功能將基數據發送至NAS服務器按年月日3級目錄存儲。NAS服務器有8塊硬盤,采用磁盤陣列框架,4塊硬盤存儲數據,4塊硬盤用來備份,保障了數據的安全。
天氣雷達站每年都需要將上一年度發送的重大天氣過程進行整編。整編內容包含了發生災害的時間段、地域范圍、天氣過程說明和雷達運行情況等信息。其中工作量較大的就是對基數據、產品、狀態文件進行改名壓縮處理過程。存在天氣過程的時間段內有海量的基數據和產品文件,而且臺站存儲的基數據和產品文件名格式與個例整編的基數據和產品命名方式不一致,僅靠人工是無法完成的,邵陽天氣雷達數據管理系統使用批處理完成了文件自動解壓、改名、壓縮等工作,然后按照中國氣象局監測網絡司制定的《新一代天氣雷達災害性天氣過程個例整編管理暫行規定》中的要求完成剩余內容,最后分別刻錄光盤并送入NAS服務器存儲。
常規基數據只能通過臺站與省信息中心利用ftp軟件或刻錄光盤的形式獲取,而且多數情況無法獲取,極大地限制了數據的共享性和開發利用價值。文章基于Web和H5技術開發了共享平臺,預報員和科研人員通過瀏覽器輸入內網IP,驗證身份即可在線按時間查詢和下載基數據、天氣個例數據等,無需安裝任何客戶端和插件,極大地提高了數據共享的便捷性。由于數據量大,基數據最多同時支持1 d的數據下載,個例數據可以按天氣過程描述、雷達運行狀態說明、基數據和產品等獨立下載。
雷達數據量較大且具有很高的時效性,為了滿足業務需求,系統構建了NAS磁盤存儲陣列服務器。服務器由8塊2T硬盤組成超大容量存儲器,一半用來進行數據交換,另一半用來備份數據。ROSE通過FTP協議實時將雷達基數據、產品等數據傳輸至NAS服務器。NAS服務器通過網絡文件系統NFS協議實現文件訪問功能。NAS連接在現有網絡上,通過NAS專用的操作系統配置完成后,局域網內的用戶可將NAS盤符網絡映射到本地。NAS可以映射到本地電腦,本地就會多出一個大容量的盤符。為保障數據高效傳輸和Web系統的及時交換,服務器采用LVS均衡提供并發處理,通過千兆交換機與內網相連,實現高速可靠的通信。使用NAS簡化了數據管理,提供了數據保護,而且容量易擴展。
雷達數據量占用空間較大,且臺站存儲的基數據和產品與個例整編的基數據和產品命名方式不同,如果單靠人工是無法完成的。結合工作實際,該系統使用批處理完成了文件自動解壓、改名、壓縮等一系列工作。DOS命令行為腳本語言,不需要另外下載編輯器,編寫方便,結合BZ2.EXE對文件進行解壓、改名、壓縮等一系列操作,運行速度較快。以雷達基數據整編為例,程序操作步驟如下:
1)bzip2-d-v *.bz2 //解壓所有基數據。
2)for/f %%i in(′dir/b ^|findstr...A′)do(//遍歷最新的雷達基數據文件
3)set time_str=%%i //獲取時間參數
4)set time_str = Z_RADR_I_Z9762_ ! time_str:~0,10 !! time_str:~11,2! 00_O_DOR_H_SA_VCP-21.bin.bz2//改名操作
5)bzip2-z-k-v %%i//調用bzip2.exe對改名后的基數據進行壓縮,并刪除原始數據)。
常規基數據獲取方法只能通過臺站與省信息中心利用ftp軟件或刻錄光盤的形式獲取,極大地限制了數據的共享性。文章基于Web和H5技術開發了共享平臺,預報員和科研人員通過瀏覽器即可在線按時間查詢和下載基數據、天氣個例數據等。網頁文件下載主要使用的H5中a標簽特有的download下載屬性,如:,點擊a標簽即可完成常規數據下載。由于基數據和產品均經bz2.exe壓縮過,后綴均是“.bz2”,而bz2不是常規的壓縮工具,鏈接無法打開以“bz2”為后綴的文件,還需在IIS服務器中對應網站的MIME支持的文件類型中增加application/x-bzip2才能完成數據下載。系統不僅支持單個文件下載還支持多個文件下載,可以手動選擇多個文件,也可以點擊“全選”按鈕,最多同時選中240個a標簽,通過鏈接依次下載,網頁下載基數據提高數據共享的便捷性和使用靈活性。
為了促進邵陽天氣雷達數據的高效管理,提高數據共享效率,邵陽市氣象局利用NAS存儲架構、批處理改名及自動壓縮技術、數據批量下載等技術設計開發了基于Web的邵陽天氣雷達數據管理系統。實踐表明,該系統提高了雷達機務人員數據管理和個例整編的工作效率,減輕了工作壓力,為市縣兩級科研業務人員利用雷達數據進行天氣分析和科學研究提供了有效的數據保障。