蔣文兵
摘 要:近年來,基于大數據和數據挖掘融合技術的背景已成為氣象服務的主要特征,可以將氣象決策和天氣預報整合到工作平臺中。并進一步提高數據處理和編輯能力,利用這種高速信息和方式快速進入氣象控制中心,將數據信息轉換成不同的輸出格式,能夠以直觀和立體的方式向公眾提供氣象內容。基于這個大數據時代,氣象服務功能將逐步豐富,數據信息的優勢得以發揮 因此,本文通過結合數據挖掘融合技術來分析大數據時代背景下水利的洪水預報服務,希望能給相關工作人員提供幫助。
關鍵詞:大數據;氣象;水利;洪水預報;服務
中圖分類號:TP308 文獻標識碼:A 文章編號:1671-2064(2019)02-0052-02
對于氣象中心,他們每天都面臨著大量的數據。但是,根據大數據時代的背景,氣象服務所采用的數據越多,數據越全面,就越有利于決策服務。如何把握氣象服務工作已成為氣象中心亟待解決的問題。尤其對于水利的洪水預報服務來說,如何能夠準確預測洪水災害,這對于社會以及人們的生命財產安全起著十分重要的作用。
1 大數據背景下氣象服務發展狀況
社會各領域對氣象信息的依賴程度越來越高,包括水電行業,農業和交通運輸,不同的行業對氣象服務有不同的需求。氣象服務主要是以數據為中心,進而能夠進一步量化氣象信息。目前,中國已建立了強大的數據收集系統。高速檢測儀器提供豐富而準確的天氣信息,但在實際數據處理中,有些氣象服務不是很有效,例如洪水預報服務。除此之外,我國的長江上游徑流預報對于三峽發電水庫調度運行具有重要的作用,在洪水預報過程中能夠加強水文氣象的預報以及各方溝通,在開展預報會商,提高洪水預報精度上,能夠取到良好的效果,同時建立了三峽入庫的洪水預報會商軟件系統,該系統能夠有效加強水文氣象的結合,延長洪水的預見期,能夠為防汛工作順利開展起到積極作用。其同時利用各單位目前現有的分析和預報系統,根據水文氣象的動態變化結果預期,分析結果,建立會商演示模板。比如可以根據長江上游水文預報的工作需要,建立歷史洪水數據庫,利用該系統提供的演示模板,在會商過程中能夠分析水文氣象預報,水文預報成果以及防汛調度方案。從水文氣象預報會商系統的網絡運行環境上來看,運行在與各單位目前所有的調度軟件以及水文氣象分析系統中,能夠利用各單位目前已經建立到內部網絡系統,基于TCP/IP協議的網上運行,對于安全地連接數據庫,快速將收集到的材料進行處理并保存到指定的數據庫中。目前這種數據庫采用的是安全性能高,應用廣的Oracle大型數據庫平臺,采用微軟net軟件開發的組件模塊,交互界面以及總體框架開發繪圖功能,采用的是專業PE5進行組件繪制,能夠確保軟件具有實用性,滿足洪水預報人員的會商要求。這種軟件系統不斷進行會商準備時,可以通過人工的方式進行啟動,或者通過設置每次啟動計算機自行啟動。系統軟件的總體框架上采取了三層結構,業務邏輯,數據訪問,表示層,各個模塊之間劃分詳細,能夠考慮軟件后期維護和拓展性,對于整體框架的復用接口變化,能夠實現良好的應對。預報交互及結果圖形顯示控件可以采取對PE5控件進行拓展,提供外部數據接口,內部實現繪制數據,數據反饋等功能。在水文氣象部門的共同努力下發揮這種洪水預報會商系統的功能,能夠增加洪水預報精度和預見期,進而減少人員和財產損失。
2 數據技術在洪水預報服務中的運用
2.1 數據挖掘技術
數據挖掘技術可以快速查找大量數據中的目標信息,處理一些模糊不完整數據,并將隱藏數據信號和預警信息轉換為顯著標志。在原始數據結構中,這種數據挖掘技術可以對半結構化信息(如圖形)更敏感。文本,音頻等,由于氣象信息處于不同的變化狀態,半結構化信息的選擇可以有效地突出氣象服務的圖像和差異。從數據挖掘技術的應用效果上來看,這種技術能夠在處理信息過程中體現高準確度,新穎的方法等特點,而且能夠注重各個環節的關聯系。首先,可以有效地匯總數據,將數據壓縮成一個整體,并使用一些數據處理軟件來提取最需要的數據以形成描述性數據組。其次,可以構建和分類數據模型。最后,可以根據規則連接一些相關數據,形成可控數據庫,實現對氣象服務的集中和持久,形成可隨時間變化的數據組。
2.2 應用特點
首先是天氣預報。由于天氣預報是共享和研究導向的,氣象中心需要在氣象服務過程中對服務進行有效的決策管理,并能夠在不同時間向觀眾直觀地顯示氣象變化。因此,圖像處理技術可以為服務提供全面而豐富的信息資料,員工應該計算每個氣象的參數節點,以準確預測天氣變化趨勢。 其次為決策服務。氣象決策服務對氣象數據有較高的要求。因此,當決策節點達到一定限度時,氣象服務模型將難以發生巨大變化。為了滿足氣象服務要求,在數據處理過程中,開發了一個多模型處理系統,可以實時觀察氣象信息變化的趨勢。并且可以進一步優化模型數據分析功能,同時有效地定價決策服務的結果。具體的步驟是: 首先,從天氣信息數據庫中提取目標和相關數據,并且可以按類型將數據分配給不同的模型以進行重組。其次,該模型可以指定具體的氣象服務目標,并根據目標編輯程序模型。最后,氣象信息的輸出可以完成氣象決策服務。
2.3 云端氣象
我國的洪澇再好不論是從影響程度,頻率以及對社會造成了損失來看,都是世界比較嚴重的國家統計。在過去的2000多年,我國發生的重大洪水災害已經達到1600多次,自上世紀50年代以來,長江流域歷次大洪水都給國家造成了嚴重的經濟損失。新中國成立之后,經過多年的洪水治理,全國的江河流域在防洪形式上也有了一定程度的改變。近年來,隨著社會人口和經濟的增長,我國的洪澇災害也呈現了逐年增大的趨勢,如何能夠對洪水進行準確預報是人們長期需要解決的問題。洪水預報需要長期預測,并且可以獲得高精度預報,這需要根據降雨估算精度進行。通過結合流域降雨徑流模型預測和洪水計算模型可以實現。20世紀90年代以后,隨著計算機GPS和云計算等現代大數據技術在水文預報中的普及,并擴展了水文理論方法,雷達定量降水估算和數值模型,基于水文氣象耦合的洪水預報等。它已成為當前雨水洪水預報技術的研究方向。
3 流域暴雨的定量降水估算預報
洪水災害的主要原因是一定程度的降水。我們基于雷達和其他遙感技術的定量降水估計進行定量降水預測的定量研究。首先,利用衛星雷達等遙感技術估算定量降水量。獲得資料簡便的特別,但這種空間分辨率低,且較低的空間分辨率,僅有5000米范圍內能夠采集,從靜止的衛星受到信息的時間節點為一小時,利用衛星遙感資料能夠反映云的情況,其與具體的某一點,社區降水與缺乏理論依據之間沒有直接聯系。隨著地球靜止衛星空間和時間分辨率的提高,雷達和其他遙感降水估計具有高時空分辨率的特點,可以直接客觀地反映降水的相對大小。目前,在氣象雷達降雨估算和融合技術方面,從20世紀70年代開始,英國的氣象雷達網絡迅速建成。監測網絡主要由英國氣象局管理的13個氣象雷達組成,全年運行,可以每五分鐘獲得一次實時降水率數據。每半小時提供一次基于雷達觀測數據外推的每小時累積降水預報。自20世紀60年代以來,中國一直致力于氣象雷達的部署。目前,已經組成了新一代的多普勒天氣雷達觀測網,能夠實現每六分鐘進行數據實時傳輸和聯網拼圖,能夠加強對于一些突發性災害的監測預警服務,對于上世紀80年代開始進行衛星和雷達測距的研究也取得了一定的成績。目前,國內外研究人員提出了一種基于準同步雨群樣本,雷達和雨量計概念的實時同步降雨估算新技術。
4 大數據技術在洪澇模型的運用
隨著大數據技術的發展,以及Web GIS技術在水利行業上的成熟,為水利信息化開辟道路,水利數據解決方案會給水利信息化發展帶來一定的轉變。Hadoop是近年來開發的分布式系統基礎架構框架。它也是應用最廣泛的數據處理平臺,其核心設計者是HDFS和MapReduce,前者是大數據平臺的分布式文件系統。是一種分布式存儲機制,這個大數據平臺分布式文件系統將數據存儲在平臺的計算機集群中,數據能夠實現一次寫入,多次讀取,能夠為龐大的數據提供存儲空間。其次,這種大數據平臺文件系統提供了較高的容錯性,而MapReducec為大量數據提供計算模型,當用戶進行任務提交時需要對數據文件進行劃分,根據功能部分的處理,在功能概要的簡化之后,用戶不需要了解大數據分發操作的具體細節,并且可以開發使用分布式計算的程序。方便用戶利用大數據平臺集群進行數據的分析和存儲。在整個洪水預報過程中,能夠擔負數據的存儲和處理任務,一部分數據是由Web GIS技術進行處理的,所有數據包括降雨積水數據,城市高程數據,排水管網信息以及地面特征信息,都是由該大數據平臺中的編程模型來實現洪水預報分析模型,并進行分布式處理。同時該模型還包括了地形分析的面雨量計算,回歸方程的分析模型,使用Web GIS能夠對模型地理空間信息數據的預處理以及平臺處理效果的可視化,對于城市地面特征,排水網絡高程數據的數字化,數據處理網格塊處理是通過大數據技術實現的。從一定程度上提升了數據處理效率,突破數據處理的數據量和速度的限制,將大數據分布式并行計算的優勢運用于模型中,將洪水雨量預報信息代入模型來實現對歷史數據,回歸方程中的關系模型中,得出洪水的分析結果,結果通過GIS技術可視化,并返回洪水分析和預警平臺,實現城市洪水分析和預警。
5 結語
總而言之,通過在大數據時代應用氣象服務,我們發現,數據處理技術和氣象云的引入都能反映氣象服務的技術發展。將來,可以將氣象數據分析到不同行業的數據中。通過氣象變化改變服務形式,創建一個結合不同數據的綜合氣象服務系統。此外,由于洪水災害一直是危害人類生存的嚴重災害之一,當前隨著新一代的雷達網衛星估算降水技術的發展,除了提高定量降水預報的準確性外,相關水文模型的建立為我國水汛預報提供了堅實的基礎。但應注意的是,利用雷達探測技術和中等暴雨預報,有必要加強洪水預報和氣象預報的綜合耦合技術研究。它可以準確地描述水文數據的時空變化,逐步縮小氣象和水文尺度在時間和空間上的差異。其次,要加強對分布式水文模擬技術的研究。
參考文獻
[1] 邱超,駱鐘林,黃清烜.數據化模型模塊技術在洪水預報建模中的應用[J].水電能源科學,2014(4):64-67.
[2] 趙錫鋼,王玉成.實時校正技術在洪水預報中的應用[J].東北水利水電,2008, 26(6):34-34.
[3] 朱育紅,朱金才,王正科.淮河流域洪澇災害及遙感技術的應用[C].中國氣象學會年會s18氣象衛星遙感新資料——新方法,2015.