譚金雨 黃珩 胡偉 劉芳
收稿日期:2023-12-10
基金項目:河池市氣象局氣象科研計劃項目(202311)。
作者簡介:譚金雨(1994—),女,廣西東蘭人,助理工程師,研究方向為專業氣象服務和氣候資源開發利用。#通信作者:劉芳,119754531@qq.com。
摘 要:為預防雷電災害的不利影響,減輕雷電災害對人們生產生活的影響,基于大數據相關理論、技術基礎,開發了基于氣象大數據的雷電風險分析系統。系統通過數據挖掘和機器學習算法對歷史氣象雷電數據資料進行分析和建模,建立了數據儲存、處理、分析和可視化的整體解決方案,為雷電災害分析提供了方便、高效的數據服務,提高了雷電災害風險分析的效率。通過雷電風險分析系統處理和分析數據,能夠識別出高風險區域和潛在的危險源,為預防雷電災害提供科學依據。
關鍵詞:大數據;雷電風險分析;設計和實現
中圖分類號:P409 文獻標志碼:B文章編號:2095–3305(2024)03–0-03
雷電災害是一種較為嚴重的自然災害,對人類的生命安全和社會經濟均會構成嚴重威脅[1]。河池市位于云貴高原南麓,其特點是天氣氣候多變、山巒起伏和地形復雜。河池市經濟、社會、環境等多領域發展迅速,但雷擊災害事故頻發。雷電災害風險評估是指對可能給生命、財產、生計和人類賴以生存的環境帶來潛在雷電威脅或雷擊的介質的威脅因素和易感性進行分析和評估,以及確定雷電災害的性質和特征[2-3]。雷電活動規律和表現特征是雷擊風險評估的基礎,可為企事業單位科學制定防雷減災預案,和提高區域防雷減災能力提供科學支撐[4]。
隨著氣象數據評估分析需求的不斷增長,氣象信息化程度也日益提高,氣象數據也隨之快速增長,加之雷電監測數據具有多形態、多維度、多角度等特征,其數據的開發利用值得深入挖掘[5]。如何利用雷電數據進行評估分析,快速、高效地提取氣象指標數據、如何利用現有數據預測未來的發展趨勢滿足項目所在地長遠安全、高效、順暢運行,都可以通過數據特征來評估分析。
然而,當前氣象雷電數據統計分析過程中缺乏較為先進的智能化手段對其數據資料進行處理分析,同時人工數據處理工作量大、差錯多且效率低[6]。因此,加強氣象雷電大數據相關研究具有重要意義。大數據應用是智慧氣象的橋梁,因而迫切需要建立雷電風險分析系統,以確保對雷電風險進行正確、安全和高效的評估和分析。
1 系統需求分析
基于氣象大數據的雷電風險分析系統的主要應用是合理管理各種來源的雷電數據,實現數據價值的最大化。雷電風險分析系統主要用于氣候可行性論證報告的編寫,在系統框架搭建之前,通過深入的氣候論證報告業務工作,梳理雷電災害風險評估技術與大數據平臺的整體業務需求;在框架搭建時,改變傳統的大數據平臺建設模式,原始雷電數據經過清洗、運算等方法,建立簡單、便捷、可擴展的雷電評估大數據框架[7]。雷電風險大數據分析系統的建設主要包括數據采集、數據處理、數據分析、數據展示和數據應用。具體要求如下。
(1)通過分析雷電監測數據,如雷擊特征、建筑物雷擊特征、年月日變化特征、正負雷變化特征、強度等,從而高效、快速地獲取雷災風險結果。
(2)數據分析可以反映項目所在地雷災風險狀況,從而確定雷災風險等級,對指導重大項目建設的選址及功能布局提供技術指導。通過評估對周圍環境的影響程度,可以為鄰近建筑物和設施提供有效的防雷措施理論依據[8]。
2 基于氣象大數據雷電風險分析系統的設計
基于氣象大數據的雷電風險分析系統主要由數據處理、數據存儲、數據分析及數據可視化等4個模塊進行設計和實現(圖1)。
(1)數據處理:將從各個數據源中收集到的雷電基礎數據需要進行處理和分析,包括數據清洗、格式轉換、數據分類和數據計算等。將收集到的數據使用js腳本,遍歷清洗數據,解析的數據存放在緩存或者MySQL數據庫中,再根據系統可以提取出有用的信息,為雷電風險的評估和預測提供支持[9]。
(2)數據存儲:模塊主要分為兩部分:一是高頻使用的數據的實時數據,二是不常用的歷史數據。實時數據存放在MySQL數據中,歷史數據存放在本地
緩存[10]。
(3)數據分析:采用了分布式存儲和計算技術,可以處理海量數據,而且能夠運用多種數據挖掘算法和機器學習模型,如關聯規則挖掘、聚類分析、分類預測等[11]。
(4)數據可視化:數據可視化模塊的設計中注重用戶體驗,將復雜數據轉化為易于理解的圖形,通過簡潔、直觀的圖表等形式多維度展示出相關的雷電分析數據,如柱狀圖、折線圖、報表等,從而得知基于氣象大數據雷電分析系統的各種分析結果,包括雷電的強度分布圖、年月日趨勢圖等。同時,系統也需要提供查詢、篩選和分析結果導出等功能。
3 基于氣象大數據雷電風險分析系統的實現
3.1 數據處理模塊
數據處理模塊的實現主要是通過自定義的JavaScript腳本代碼對原始數據進行清洗、轉換、分析和計算以提取有價值的信息,并保證雷電相關基礎數據的準確、完整和一致,從而為后續的雷電相關基礎數據存儲和數據分析提供可靠的基礎。JavaScript 提供了多種方法來篩選和排序數據,如 filter() 、 sort() 等,可以根據特定的條件對數據進行過濾或者按照某個屬性進行排序,或者通過數組的 reduce() 方法來計算總和、平均值等。這些方法可以將收集到的雷電數據進行處理,從而分析增長趨勢、雷電分布等。
3.2 數據存儲模塊
數據存儲模塊的主要在于存取方式的選擇。基于氣象大數據的雷電風險分析所用的數據可分為實時數據以及歷史數據。因為考慮到數據的即時性,實時數據則考慮使用MySQL數據庫,歷史數據存放在本地localStorage中。
MySQL是一個關系數據庫管理系統,使用結構化查詢語言(SQL)進行數據庫管理。MySQL適合于傳統的關系型數據存儲和管理,具有成熟的事務支持和廣泛的應用場景。MySQL在處理結構化數據和復雜查詢方面表現出色,擅長處理需要嚴格事務控制的應用程序。localStorage是本地存儲是在用戶的設備上進行數據存儲和讀取無需通過網絡請求,所以速度更快,同時還可以減輕服務器負載。
3.3 數據分析模塊
數據分析模塊是核心組成部分,負責對存儲在數據庫中及緩存中的雷電基礎數據進行深入的分析、挖掘,以發現數據中的模式、趨勢和關聯[12]。為了構建高效、直觀且用戶友好的數據分析體驗,選擇Vue.js作為開發的腳手架。
Vue.js是一個漸進式的JavaScript框架,它以輕量級、靈活性和組件化的特點而廣受歡迎。通過使用Vue.js,工作人員能夠快速構建出結構清晰、易于維護的前端應用程序。Vue.js的雙向數據綁定和組件化系統使得開發者能夠高效地管理數據流動和界面渲染,從而提供流暢的用戶體驗。
數據分析模塊中,工作人員可以利用Vue.js的組件化特性,將不同的數據分析功能和視圖拆分成獨立的組件,如數據表格、圖表、過濾器等。這樣不僅可以提高代碼的可重用性和可維護性,還能方便地進行功能的擴展和定制。同時,Vue.js的響應式機制能夠實時更新界面,確保用戶在進行數據分析時能夠實時看到結果變化(圖2)。
3.3 數據可視化模塊
在數據可視化模塊中,工作人員可以采用可視化方式來直觀、生動地呈現數據,從而提供一種清晰、易于理解的數據解讀方式。選用ECharts等流行的圖表庫,如圖3所示。其中包括但不限于柱狀圖、折線圖、表格等,可以清晰地展示出數據的分布和趨勢,方便用戶進行數據分析和決策。
圖3? 數據展示圖
4 基于氣象大數據雷電風險分析系統的應用
雷電風險分析系統最直接的應用是根據氣象指標體系展現雷電風險的全部特征和支撐氣象防雷部門開展各項雷電風險評估統計工作。依托該系統可以開展雷電災害防御規劃、雷電風險分析評估等工作。雷電風險分析系統應用主要從雷電危害主要特征指標分析,包括歷年最強天氣、雷電時間分布、雷電危害特征、雷擊概率等流量指標及趨勢變化分析,展現整體雷電風險特征,同時通過雷電數據的變化分析,包括年、月、日及小時生成雷擊次數統計表及強度等,可支撐氣象防雷部門開展各項指標統計工作。
5 結束語
基于氣象大數據雷電風險分析系統涉及數據結構復雜、數據量大等多問題,工作人員可通過雷電風險排序和數據框架選擇,完成系統的設計和實現工作。雷電風險分析系統的建成解決了當前工作中人工數據處理的工作量大、差錯多、效率低的問題,有效運用先進的智能化手段對數據資料進行處理分析。根據分析結果,可從科學設計、災害風險控制、應急管理等方面服務為評估對象提供雷電災害防護建議,進一步加強雷災防御措施,保證工程項目安全可靠、技術先進、經濟合理,對提高氣候可行性論證報告編制、提升專業氣象服務能力作出積極貢獻。
參考文獻
[1] 楊鵬,杜宇,池繼忠.內蒙古自治區氣象大數據管理云平臺設計與實現[J].內蒙古氣象,2023(3):32-36.
[2] 吳慶賀.基于氣象大數據的監測預報預警服務系統設計與實現[J].電子技術,2024,53(1):369-371.
[3] 虞聽,周軼晗,陳天依,等.基于生態服務重要性的河池市生態安全保障研究[J].能源與環保,2021,43(3):39-43,58.
[4] 余振邦.雷電監測數據在雷電災害風險評估中的應用探討[J].南方農業,2018,12(26):162,171.
[5] 馮良敏,周秋雪,范江琳.四川最高最低氣溫日變化特征分析[J].高原山地氣象研究,2022,42(4):121-126.
[6] 胡瓊,郭平平.基于大數據的空域數據分析系統設計和實現[J].民航學報,2021,5(6):113-116.
[7] 舒存葉.網絡同伴互評系統的設計和優化[J].電化教育研究,2017(1):80-85.
[8] 周士茹,岳春煜.承德市人體舒適度分析與指數預報[J].農業災害研究,2019,9(3):80-81,95.
[9] 彭先清.數據倉庫中聯機分析系統的研究與實現[D].成都:電子科技大學,2020.
[10] 鄧健,李然,陳卓,等.全自動駕駛模式下基于大數據架構的地鐵車輛調度系統設計與應用[J].控制與信息技術, 2022(6):104-108.
[11] 陳苗.一種改進Apriori算法在移動平臺教學評價中的應用研究[D].重慶:重慶師范大學,2018.
[12] 劉迪.基于數據挖掘和知識圖譜的鋼鐵質量缺陷溯源技術的研究與應用[D].北京:冶金自動化研究設計院,2024.