基于Spark的城市天氣數(shù)據(jù)分析與可視化

摘要：隨著大數(shù)據(jù)時(shí)代的到來(lái)，天氣數(shù)據(jù)作為重要的氣象信息資源，在氣象學(xué)、農(nóng)業(yè)、交通等領(lǐng)域具有廣泛的應(yīng)用價(jià)值。然而，海量氣象數(shù)據(jù)的復(fù)雜性對(duì)傳統(tǒng)分析方法提出了挑戰(zhàn)。本研究提出一種基于Spark框架的分布式處理方案，通過(guò)整合Python爬蟲(chóng)、HDFS分布式存儲(chǔ)、MySQL數(shù)據(jù)庫(kù)及Spring Boot+Vue可視化技術(shù)，構(gòu)建城市天氣數(shù)據(jù)分析與可視化系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠高效完成85萬(wàn)條歷史天氣數(shù)據(jù)的清洗、分析與建模，實(shí)現(xiàn)城市氣溫預(yù)測(cè)及多維可視化展示。本研究為氣候變化分析、極端天氣預(yù)警及城市治理提供了技術(shù)支撐，具有顯著的實(shí)踐意義。

關(guān)鍵詞：城市氣象；Spark；數(shù)據(jù)分析；Spring Boot；數(shù)據(jù)可視化；數(shù)據(jù)爬蟲(chóng)

中圖分類號(hào)： TP311" " " 文獻(xiàn)標(biāo)識(shí)碼： A

文章編號(hào)： 1009-3044（2025）28-0065-03

開(kāi)放科學(xué)（資源服務(wù)） 標(biāo)識(shí)碼（OSID）

0 引言

在全球氣候變化日益加劇的背景下，天氣動(dòng)態(tài)的改變對(duì)人類生活及生產(chǎn)活動(dòng)產(chǎn)生了更為顯著的影響。極端天氣事件的頻發(fā)和強(qiáng)度增加，給農(nóng)業(yè)生產(chǎn)、城市規(guī)劃、自然災(zāi)害防范等方面帶來(lái)了巨大挑戰(zhàn)。因此，通過(guò)對(duì)天氣數(shù)據(jù)進(jìn)行深入分析，可以更好地了解天氣變化規(guī)律，提高天氣預(yù)報(bào)的準(zhǔn)確性，為社會(huì)各領(lǐng)域提供更精準(zhǔn)的決策支持[1]。

由于城市天氣數(shù)據(jù)量巨大且復(fù)雜，傳統(tǒng)數(shù)據(jù)分析方法存在局限性[2]。Spark作為當(dāng)前流行的大數(shù)據(jù)處理框架，憑借其強(qiáng)大的分布式計(jì)算能力、內(nèi)存計(jì)算技術(shù)和豐富的庫(kù)支持，在處理與分析海量氣象數(shù)據(jù)時(shí)展現(xiàn)出卓越的效能。因此，基于Spark的天氣數(shù)據(jù)分析與可視化研究已成為當(dāng)前的研究熱點(diǎn)與挑戰(zhàn)[3]。

本研究旨在利用Spark框架，結(jié)合Python爬蟲(chóng)技術(shù)、HDFS分布式文件系統(tǒng)、MySQL關(guān)系型數(shù)據(jù)庫(kù)，以及Spring Boot和Vue.js等前沿技術(shù)手段，構(gòu)建一個(gè)完整的城市天氣數(shù)據(jù)分析與可視化系統(tǒng)。該系統(tǒng)通過(guò)采集天氣2345歷史天氣網(wǎng)站等多源海量數(shù)據(jù)，借助Spark框架展開(kāi)深度的數(shù)據(jù)挖掘與精細(xì)分析，精準(zhǔn)且完備地呈現(xiàn)城市歷史天氣及近期天氣的各項(xiàng)深度分析結(jié)論，并構(gòu)建具有實(shí)用價(jià)值的氣溫預(yù)測(cè)模型，為城市天氣領(lǐng)域的深入研究與廣泛應(yīng)用奠定堅(jiān)實(shí)根基，切實(shí)推動(dòng)天氣數(shù)據(jù)分析領(lǐng)域向縱深發(fā)展。

1 系統(tǒng)開(kāi)發(fā)技術(shù)

本系統(tǒng)采用Python爬蟲(chóng)技術(shù)、Spring Boot技術(shù)、Vue.js技術(shù)、HDFS、Spark等大數(shù)據(jù)組件以及MySQL關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行開(kāi)發(fā)。

1.1 HDFS

HDFS即Hadoop分布式文件系統(tǒng)，是Apache Hadoop項(xiàng)目的核心組件。它具備高容錯(cuò)性、高可擴(kuò)展性，能處理海量數(shù)據(jù)，將數(shù)據(jù)分散存儲(chǔ)于多個(gè)節(jié)點(diǎn)，確保數(shù)據(jù)安全可靠，為大數(shù)據(jù)處理提供有力支撐。

在天氣預(yù)測(cè)中，溫度、濕度、氣壓等信息可通過(guò)HDFS高效存儲(chǔ)，其分布式特性避免了單點(diǎn)故障，保障了數(shù)據(jù)的完整性。在處理層面，HDFS與Hadoop生態(tài)系統(tǒng)的其他工具協(xié)同工作，能對(duì)氣象數(shù)據(jù)進(jìn)行快速處理與分析，加快預(yù)測(cè)模型的運(yùn)行速度。而且，它能整合多源氣象數(shù)據(jù)，為預(yù)測(cè)提供更全面的信息。同時(shí)，借助HDFS存儲(chǔ)的歷史氣象數(shù)據(jù)，可優(yōu)化預(yù)測(cè)模型，提升預(yù)測(cè)準(zhǔn)確性。

1.2 Spark

Apache Spark是極具影響力的開(kāi)源大數(shù)據(jù)處理框架。在分布式計(jì)算層面，它能夠?qū)⒑Ａ繑?shù)據(jù)處理任務(wù)分割并分發(fā)至集群內(nèi)多個(gè)節(jié)點(diǎn)同步運(yùn)行。例如，在處理海量城市天氣數(shù)據(jù)時(shí)，各節(jié)點(diǎn)可協(xié)同高效完成復(fù)雜運(yùn)算，從而極大提升處理效率。其內(nèi)存計(jì)算優(yōu)勢(shì)顯著，通過(guò)優(yōu)先將數(shù)據(jù)存儲(chǔ)于內(nèi)存，減少了磁盤(pán)讀寫(xiě)延遲。以城市天氣數(shù)據(jù)處理為例，面對(duì)海量且高頻更新的氣溫、降水?dāng)?shù)據(jù)，內(nèi)存計(jì)算可使數(shù)據(jù)在各計(jì)算節(jié)點(diǎn)的內(nèi)存間高效流轉(zhuǎn)，加速?gòu)?fù)雜統(tǒng)計(jì)分析的完成，從而高效處理海量天氣數(shù)據(jù)，快速提取有價(jià)值的信息，為后續(xù)分析奠定基礎(chǔ)。

1.3 Spring Boot + Vue

Spring Boot是基于Spring框架的開(kāi)發(fā)框架。它具有自動(dòng)配置功能，能根據(jù)依賴自動(dòng)進(jìn)行配置，減少了煩瑣的步驟。Spring Boot和Vue可實(shí)現(xiàn)前后端分離的架構(gòu)，使團(tuán)隊(duì)能夠并行開(kāi)發(fā)前后端，提高了開(kāi)發(fā)效率。同時(shí)，由于Vue的靈活性，可以輕松地與Spring Boot集成，實(shí)現(xiàn)豐富的用戶界面和交互體驗(yàn)，進(jìn)而高效開(kāi)發(fā)出功能強(qiáng)大的Web應(yīng)用。

2 系統(tǒng)功能

2.1 數(shù)據(jù)處理流程設(shè)計(jì)

數(shù)據(jù)處理的設(shè)計(jì)思路如下：首先，在天氣信息網(wǎng)站上獲取天氣數(shù)據(jù)；其次，通過(guò)Python編寫(xiě)的Spark程序?qū)Λ@取的數(shù)據(jù)進(jìn)行清洗與預(yù)處理，并將數(shù)據(jù)保存到HDFS中；接著，使用Spark對(duì)天氣數(shù)據(jù)進(jìn)行分析，將分析后的結(jié)果寫(xiě)入MySQL數(shù)據(jù)庫(kù)；最后，通過(guò)Spring Boot+Vue框架搭建可視化系統(tǒng)，將數(shù)據(jù)庫(kù)中的分析結(jié)果展現(xiàn)出來(lái)。數(shù)據(jù)分析處理流程如圖1所示。

2.2 系統(tǒng)功能模塊設(shè)計(jì)

通過(guò)需求分析，系統(tǒng)設(shè)計(jì)為4個(gè)功能模塊：管理模塊、歷史天氣數(shù)據(jù)分析、省城近期天氣數(shù)據(jù)分析、個(gè)人設(shè)置。系統(tǒng)功能框架圖如圖2所示。

1） 管理模塊。管理員可以對(duì)用戶信息、系統(tǒng)日志信息以及公告信息進(jìn)行管理，且只有管理員可以修改用戶信息、查看系統(tǒng)日志、修改公告信息，這樣可以提升系統(tǒng)的安全性，防止數(shù)據(jù)被篡改或泄漏。

2） 歷史天氣數(shù)據(jù)分析。將歷史天氣數(shù)據(jù)的計(jì)算結(jié)果通過(guò)圖表形式進(jìn)行展示，其中包括城市的空氣質(zhì)量分析、氣溫分析、天氣分析以及風(fēng)力風(fēng)向分析。

3） 省城近期天氣數(shù)據(jù)分析。將省會(huì)城市近期的天氣數(shù)據(jù)計(jì)算結(jié)果通過(guò)圖表形式進(jìn)行展示，其中包括城市的氣溫、降水量與相對(duì)濕度之間的關(guān)聯(lián)分析，以及空氣質(zhì)量分析、極端高低溫分析、天氣類型分析、最大風(fēng)級(jí)分析。

4） 個(gè)人設(shè)置。用戶登錄系統(tǒng)后，可以對(duì)自己的頭像、姓名、電話、郵箱、密碼等信息進(jìn)行個(gè)性化修改。

3 系統(tǒng)功能實(shí)現(xiàn)

3.1 數(shù)據(jù)采集

本系統(tǒng)所采用的數(shù)據(jù)主要來(lái)源于天氣2345歷史天氣網(wǎng)站。該網(wǎng)站涵蓋城市、日期、天氣狀況、空氣質(zhì)量指數(shù)以及風(fēng)力風(fēng)向等關(guān)鍵信息，經(jīng)整理匯總，采集到的總數(shù)據(jù)量高達(dá)85萬(wàn)條。

在數(shù)據(jù)采集流程方面，研究發(fā)現(xiàn)，通過(guò)切換網(wǎng)站頁(yè)面中的“城市”選項(xiàng)，只需掌握各城市所對(duì)應(yīng)的特定代碼，即可實(shí)現(xiàn)對(duì)全國(guó)所有城市歷史天氣數(shù)據(jù)的爬取。以南京為例，其對(duì)應(yīng)的城市代碼為58238，通過(guò)鏈接https：//tianqi.2345.com/wea_history/58238.htm，便能順利獲取南京的詳盡歷史天氣數(shù)據(jù)。

進(jìn)一步探究發(fā)現(xiàn)，該鏈接囊括了全部城市的名稱信息及其相應(yīng)代碼。基于此，本研究運(yùn)用正則表達(dá)式技術(shù)，精準(zhǔn)提取出地級(jí)市及以上城市的名稱與代碼信息，為后續(xù)數(shù)據(jù)爬取奠定了基礎(chǔ)。

在具體的數(shù)據(jù)解析與提取環(huán)節(jié)，引入BeautifulSoup庫(kù)對(duì)網(wǎng)頁(yè)內(nèi)容加以解析處理。利用該庫(kù)中的find（）與find_all（）方法，高效查找單個(gè)或多個(gè)符合既定條件的網(wǎng)頁(yè)元素。同時(shí)，結(jié)合對(duì)字符串的切割操作以及特定字符位置的查找，精準(zhǔn)提取出研究所需的各類天氣相關(guān)信息。隨后，借助for循環(huán)的嵌套結(jié)構(gòu)，將前期獲取的城市代碼、年份以及月份等關(guān)鍵參數(shù)依次填入請(qǐng)求參數(shù)params中，并合理設(shè)置請(qǐng)求頭部信息，以此確保能夠按照既定規(guī)律對(duì)全國(guó)各城市的天氣數(shù)據(jù)進(jìn)行有序爬取。值得注意的是，為有效規(guī)避網(wǎng)站的反爬蟲(chóng)機(jī)制，代碼中采用隨機(jī)生成睡眠時(shí)間的策略，以模擬真實(shí)用戶的瀏覽行為模式。最終，將爬取完備的海量天氣數(shù)據(jù)妥善存儲(chǔ)至HDFS分布式文件系統(tǒng)之上，為后續(xù)開(kāi)展深入的數(shù)據(jù)分析與挖掘工作提供了堅(jiān)實(shí)的數(shù)據(jù)支撐。

3.2 數(shù)據(jù)清洗與預(yù)處理

數(shù)據(jù)清洗作為數(shù)據(jù)預(yù)處理的關(guān)鍵環(huán)節(jié)，旨在通過(guò)識(shí)別、處理和修復(fù)數(shù)據(jù)中的錯(cuò)誤、重復(fù)、缺失及不一致等問(wèn)題，以提升數(shù)據(jù)的質(zhì)量和準(zhǔn)確性[5]。在歷史氣象數(shù)據(jù)的清洗過(guò)程中，本研究采用了一系列系統(tǒng)化的方法對(duì)原始數(shù)據(jù)進(jìn)行處理。

首先，針對(duì)最高溫度和最低溫度兩列數(shù)據(jù)，利用正則表達(dá)式將溫度值中的“°”符號(hào)及多余空格進(jìn)行統(tǒng)一替換和去除，以確保數(shù)據(jù)格式的一致性。其次，對(duì)于風(fēng)力風(fēng)向數(shù)據(jù)，通過(guò)正則表達(dá)式對(duì)風(fēng)力和風(fēng)向信息進(jìn)行匹配與提取，并將其分別存儲(chǔ)為獨(dú)立的兩列。由于風(fēng)力數(shù)據(jù)存在多樣性表達(dá)（如“1級(jí)”“1-2級(jí)”“微風(fēng)”等） ，本研究結(jié)合氣象學(xué)相關(guān)知識(shí)對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。具體而言，將“微風(fēng)”統(tǒng)一賦值為3級(jí)風(fēng)，而“1-2級(jí)”等范圍表達(dá)則選取最小值作為風(fēng)力等級(jí)的代表值，從而生成新的標(biāo)準(zhǔn)化風(fēng)力列。

此外，針對(duì)空氣質(zhì)量指數(shù)（AQI） 列，本研究?jī)H保留其數(shù)值部分?？紤]到部分城市在特定時(shí)間段的AQI數(shù)據(jù)缺失，且后續(xù)分析聚焦于城市年平均空氣質(zhì)量，因此采用城市年平均AQI值對(duì)缺失數(shù)據(jù)進(jìn)行填充。最后，對(duì)部分列進(jìn)行了數(shù)據(jù)類型轉(zhuǎn)換，并刪除了與分析無(wú)關(guān)的冗余列，以確保數(shù)據(jù)集的簡(jiǎn)潔性和分析的高效性。

通過(guò)上述清洗流程，本研究構(gòu)建了一個(gè)高質(zhì)量、標(biāo)準(zhǔn)化的歷史氣象數(shù)據(jù)集，為后續(xù)的深入分析和建模奠定了可靠的數(shù)據(jù)基礎(chǔ)。

3.3 天氣分析及預(yù)測(cè)

在數(shù)據(jù)清洗完成后，本研究利用Apache Spark框架對(duì)清洗后的數(shù)據(jù)字段進(jìn)行提取、選擇和分析，并將分析結(jié)果存儲(chǔ)至MySQL數(shù)據(jù)庫(kù)，作為后續(xù)天氣分析圖表繪制的數(shù)據(jù)基礎(chǔ)。

1） 天氣分析。首先，將清洗后的CSV文件加載并轉(zhuǎn)換為Spark DataFrame格式。隨后，從中提取城市、年份、氣溫、風(fēng)力、空氣質(zhì)量等關(guān)鍵字段，并通過(guò)groupBy方法對(duì)數(shù)據(jù)進(jìn)行分組。使用agg方法計(jì)算每組數(shù)據(jù)的平均值，并通過(guò)orderBy方法對(duì)結(jié)果進(jìn)行排序。為便于展示，將計(jì)算結(jié)果格式化為保留1位小數(shù)的字符串。具體實(shí)現(xiàn)如下：

df_year_air_avg = df_year_air.groupby（\"city\"， \"year\"）. ＼

agg（F.avg（\"quality\"）.alias（\"avg_quality\"））. ＼" # 計(jì)算平均空氣質(zhì)量

orderBy（\"city\"， \"year\"）.select（\"city\"， \"year\"，

F.format_number（'avg_quality'，1）.alias（'avg_quality'））

2） 氣溫預(yù)測(cè)。PySpark提供了一個(gè)強(qiáng)大的分布式計(jì)算框架，可用于大規(guī)模數(shù)據(jù)處理和機(jī)器學(xué)習(xí)任務(wù)，其中的LinearRegression線性回歸模型是一種常見(jiàn)的機(jī)器學(xué)習(xí)算法，用于建立特征與目標(biāo)之間的線性關(guān)系。在PySpark中，LinearRegression模型可以通過(guò)簡(jiǎn)單易用的API來(lái)實(shí)現(xiàn)。

首先，為使用LinearRegression模型，需要導(dǎo)入必要的庫(kù)和模塊。接著，通過(guò)SparkSession讀取清洗后的CSV文件并創(chuàng)建一個(gè)DataFrame，通過(guò)上述氣溫分析計(jì)算出平均氣溫，將其用于模型訓(xùn)練。

接下來(lái)，需要對(duì)數(shù)據(jù)進(jìn)行特征工程，包括特征選擇、特征轉(zhuǎn)換等操作。然后針對(duì)每個(gè)城市，從assembled_data中篩選出當(dāng)前城市的數(shù)據(jù)集，并選擇features和avg（average_temperature）兩列。在創(chuàng)建LinearRegression模型時(shí)，設(shè)置迭代次數(shù)和正則化參數(shù)，并指定特征列和標(biāo)簽列。最后，使用訓(xùn)練集來(lái)擬合模型，得到訓(xùn)練好的線性回歸模型并予以保存。

對(duì)于預(yù)測(cè)部分，先獲取每個(gè)城市相應(yīng)的模型，再創(chuàng)建兩個(gè)DataFrame，一個(gè)包含未來(lái)2～3年的數(shù)據(jù)，另一個(gè)用于存儲(chǔ)預(yù)測(cè)結(jié)果。針對(duì)每個(gè)城市，為未來(lái)年份數(shù)據(jù)添加城市列，并將未來(lái)年份數(shù)據(jù)轉(zhuǎn)換為特征向量列，然后使用相應(yīng)的城市模型對(duì)未來(lái)年份數(shù)據(jù)進(jìn)行預(yù)測(cè)。

3.4 城市歷史天氣可視化的實(shí)現(xiàn)

對(duì)于城市歷史天氣數(shù)據(jù)分析的可視化實(shí)現(xiàn)部分，系統(tǒng)前端通過(guò)HTTP GET請(qǐng)求將用戶查詢的城市名稱和年份傳遞至后端。后端從MySQL數(shù)據(jù)庫(kù)中檢索指定城市及年份的氣象數(shù)據(jù)，并在Service層通過(guò)流式處理技術(shù)對(duì)數(shù)據(jù)進(jìn)行高效處理。對(duì)于風(fēng)向數(shù)據(jù)，系統(tǒng)使用Maplt;String， Objectgt;數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)處理結(jié)果，將風(fēng)向名稱及其對(duì)應(yīng)的頻次存入Map對(duì)象中，并添加到mapList列表中，最終以JSON格式返回至前端。

前端利用ECharts庫(kù)對(duì)數(shù)據(jù)進(jìn)行圖形化展示。ECharts是一個(gè)功能強(qiáng)大的可視化工具，支持多種圖表類型和交互功能。在本系統(tǒng)中，ECharts用于將風(fēng)向、氣溫等氣象數(shù)據(jù)以餅圖、柱狀圖等形式直觀呈現(xiàn)。

首先，通過(guò)echarts.init（）方法初始化一個(gè)ECharts實(shí)例，并指定渲染圖表的DOM容器。接著，根據(jù)后端返回的數(shù)據(jù)配置圖表的標(biāo)題、圖例、數(shù)據(jù)系列等選項(xiàng)。最后，通過(guò)setOption（）方法將配置應(yīng)用到ECharts實(shí)例中，渲染圖表。

此外，ECharts支持豐富的交互功能，如數(shù)據(jù)篩選、圖表切換等。用戶可以通過(guò)點(diǎn)擊圖例篩選特定風(fēng)向的數(shù)據(jù)，或通過(guò)鼠標(biāo)懸停查看詳細(xì)數(shù)據(jù)信息。這些交互功能顯著提升了用戶體驗(yàn)，使數(shù)據(jù)分析更加靈活和直觀。

4 結(jié)論

本研究設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Spark的天氣數(shù)據(jù)分析與可視化系統(tǒng)。通過(guò)Python編寫(xiě)Spark程序?qū)鉁?、天氣類型、風(fēng)力風(fēng)向、空氣質(zhì)量等多維度數(shù)據(jù)進(jìn)行深度分析，并將分析結(jié)果存儲(chǔ)至MySQL數(shù)據(jù)庫(kù)。系統(tǒng)采用Spring Boot+Vue框架搭建可視化平臺(tái)，實(shí)現(xiàn)了用戶管理、日志管理、數(shù)據(jù)展示等功能，并通過(guò)ECharts將分析結(jié)果以動(dòng)態(tài)圖表形式呈現(xiàn)。

本研究的創(chuàng)新點(diǎn)在于：1） 多維度數(shù)據(jù)分析，全面挖掘天氣規(guī)律；2） 數(shù)據(jù)存儲(chǔ)與可視化分離，提升系統(tǒng)可擴(kuò)展性；3） 動(dòng)態(tài)交互與模塊化設(shè)計(jì)，優(yōu)化用戶體驗(yàn)。此外，系統(tǒng)支持對(duì)未來(lái)2～3年的氣溫?cái)?shù)據(jù)進(jìn)行預(yù)測(cè)，并通過(guò)均方誤差（MSE） 和決定系數(shù)（R2） 等指標(biāo)評(píng)估預(yù)測(cè)結(jié)果的準(zhǔn)確性[6]。

未來(lái)將探索深度學(xué)習(xí)模型和數(shù)據(jù)融合技術(shù)，進(jìn)一步提升預(yù)測(cè)精度，并優(yōu)化可視化工具，為社會(huì)和個(gè)人提供更精準(zhǔn)、實(shí)用的天氣信息服務(wù)。本研究為天氣數(shù)據(jù)分析領(lǐng)域的深入研究奠定了堅(jiān)實(shí)基礎(chǔ)，具有廣泛的應(yīng)用前景。

參考文獻(xiàn)：

[1] 劉喆玥.我國(guó)氣象大數(shù)據(jù)的發(fā)展趨勢(shì)研究[J].電腦知識(shí)與技術(shù)，2019，15（21）：252-254.

[2] 郄彬.基于大數(shù)據(jù)的氣象預(yù)報(bào)準(zhǔn)確度查詢系統(tǒng)設(shè)計(jì)研究[J].信息系統(tǒng)工程，2022（9）：123-128.

[3] 蘇敏.大數(shù)據(jù)時(shí)代氣象數(shù)據(jù)分析應(yīng)用方向探析[J].黑龍江環(huán)境通報(bào)，2022，35（1）：144-145.

[4] 趙偉航，姚全珠，顧煒倫.基于Spark的電信用戶行為分析[J].電子制作，2022，30（12）：57-60，12.

[5] 付騰達(dá)，李衛(wèi)勇，王士信，等.基于Python爬蟲(chóng)技術(shù)的招聘信息數(shù)據(jù)可視化分析[J].電腦知識(shí)與技術(shù)，2024，20（7）：77-82.

[6] 龐謙，侯曉瑋.大數(shù)據(jù)時(shí)代氣象數(shù)據(jù)分析應(yīng)用方向探析[J].長(zhǎng)江信息通信，2021，34（6）：226-228.

【通聯(lián)編輯：王力】