基于線性回歸氣象數據預測及可視化系統設計與實現

摘" 要：針對天氣尤其是南方天氣的變化，人們需要掌握出行時段內的具體天氣，包括日常出行（上班、上學等）、出差、旅游等，并做好相應的出行安排。所設計的系統從中國新聞網等數據源爬取各地天氣數據，利用Spark技術進行數據處理和調取，通過ECharts庫繪制各種圖表和圖形，用以展示不同城市的天氣數據變化趨勢，并采用線性回歸算法對天氣數據進行預測分析。該系統能夠實現對304個城市的實時天氣搜索，預測未來3天的氣溫，以及對實時溫度、降水、風力、氣壓、濕度等進行分析，為人們查詢天氣提供了高效、便捷的方法。

關鍵詞：天氣預測；線性回歸；Python；爬蟲；可視化

中圖分類號：TP311" 文獻標識碼：A" 文章編號：2096-4706（2024）23-0133-06

Design and Implementation of Meteorological Data Prediction and Visualization System Based on Linear Regression

XIONG Jianfang1， FENG Wen1， GAO Ji2， PENG Zengyan1

（1.School of Computer Science and Intelligence Education， Lingnan Normal University， Zhanjian" 524048， China;

2.The 704 Research Institute of CSSC， Shanghai" 200031， China）

Abstract： In view of the changes of the weather， especially the weather in the south， people need to master the specific weather during the travel periods， including daily travel （going work or school）， business trips， tourism， and so on， and make corresponding travel arrangements. This designed system crawls weather data everywhere from data sources such as China News Network， uses Spark technology for data processing and retrieval， and draws various charts and graphs through ECharts library， to show the change trend of weather data in different cities. And the Linear Regression algorithm is used to predict and analyze the weather data. The system can realize the real-time weather search in 304 cities， predict the temperature in the next 3 days， and analyze the real-time temperature， precipitation， wind force， air pressure， humidity， and so on， providing an efficient and convenient method for people to check the weather.

Keywords： weather prediction; Linear Regression; Python; crawler; visualization

0" 引" 言

氣象預報直接影響著人類活動的各個方面，是現代社會不可或缺的一部分。及時獲取氣象資料能夠預警各種自然災害，比如暴雨、大風、冰雹等，減輕災害給人類帶來的影響[1]。隨著信息技術的迅速發展，網絡爬蟲技術受到越來越多重視。通過利用網絡爬蟲技術，可以更高效地收集和利用天氣信息數據，從而節省人力和物力成本。在氣象預測方面，有研究使用Scrapy框架編寫天氣爬蟲，利用Python字符切割和Split技術獲取目標數據，并借助Spark進行服務器端編程，清洗后的數據存儲到MySQL數據庫，最終通過ECharts在網頁上呈現天氣數據的可視化圖表。

1" 整體設計

1.1" 開發技術

1.1.1" 爬蟲技術

Python作為一種強大的編程語言，在網絡爬蟲領域發揮了重要作用[2]。它提供了豐富的第三方庫和標準庫，簡化了網絡爬蟲編程的復雜性，使得進行網絡爬蟲編程更加方便[3-4]。同時，Python提供了用于訪問前端頁面的API，這使得使用Python進行網頁文檔接口的抓取變得更加輕松和高效。此外，Python還提供了網絡請求庫Requests和正則工具RE，它們是爬蟲編程中常用的工具之一[5]。Requests對Python內置的網絡請求模塊進行了高度封裝，能夠完全滿足HTTP測試需求，使得對網頁的爬取和解析變得更加快捷。由于氣象數據的高時效性，爬蟲程序必須定期檢查目標網站，以確定哪些頁面需要更新，從而確保及時獲取最新的數據。

1.1.2" Spark技術

Apache Spark作為一個快速通用的計算引擎，其靈活性和高效性使得它成了許多大規模數據處理任務的首選技術。Spark強大的API和豐富的工具生態系統，讓開發人員能夠輕松構建復雜的數據處理和分析應用，并快速迭代和調試代碼。在數據挖掘、機器學習、實時分析等領域，Spark都表現出色，為業界帶來了許多創新和進步。隨著大數據技術的不斷發展和普及，Spark將繼續發揮其重要作用，推動大數據處理領域的進一步發展，并為構建智能、高效的數據處理系統提供支持[6]。

1.1.3" 線性回歸算法

在機器學習中，線性回歸是最簡單、最基本的一種有監督學習預測算法，其主要原理是建立輸入特征和目標值之間的線性關系模型，以預測新樣本的目標值[7]。在此模型中，假設目標值與輸入特征之間呈線性關系，即目標值可由輸入特征的線性組合加上一個偏置項表示。線性回歸模型的數學計算式為：

其中，y為目標值，X1，X2，…，Xn為輸入特征，β0，β1，…，βn為模型的參數（也稱為權重），∈為誤差項。模型的目標是通過調整參數的數值，從而使預測值y盡可能接近真實值。線性回歸通常采用最小化平方誤差的損失函數來進行參數估計。

1.2nbsp; 可視化系統的架構設計

在前端獲取到統計和預測的數據后，利用ECharts庫繪制各種圖表和圖形包括柱狀圖、折線圖、餅圖等，用以展示不同城市的天氣數據變化趨勢[8]。

在前端獲取到統計和預測的數據后，這些數據可以動態地傳遞給對應的可視化組件，例如柱狀圖用于展示城市的溫度和降水情況、折線圖用于展示氣溫的變化趨勢、餅圖用于展示城市的風力和濕度情況。通過將數據與可視化組件進行綁定，可以確保圖表能夠實時更新，并以直觀的方式呈現天氣信息，使用戶能夠輕松地獲取氣象信息。

通過前端的Vue.js框架[9]和可視化庫ECharts的應用，該系統可以為用戶提供直觀、清晰的天氣信息展示，進一步提升用戶體驗和數據的可解釋性。同時，通過動態加入統計數據和預測到可視化內容中，用戶可以更全面地了解天氣情況，并做出相應的決策和規劃。技術機構圖如圖1所示。

2" 系統設計與實現

2.1" 數據采集模塊設計

2.1.1" 數據采集

本系統涉及的數據（全國各省市縣的天氣信息、當日實時天氣和未來24小時的天氣預報）均來源于騰訊天氣API，通過訪問API接口獲取各地區的天氣數據。數據采集頻率設置為每小時一次，以保證天氣信息的及時性和準確性。

使用requests庫爬取http：//wis.qq.com/weather/common網站的信息進行數據分析。首先根據各個城市、時間等參數構建爬取地址，導入Requests模塊代替瀏覽器做HTTP請求，訪問相關信息網站，對整個頁面進行下載。然后使用RE正則工具對請求到的HTTP界面進行正則篩選，檢查字符串是否與某種模式匹配，來獲取所需要的數據。發送HTTP請求以獲取天氣API接口返回的JSON格式數據，然后進行解析和處理。

獲取到的天氣數據經過處理后存儲到MySQL數據庫中，以便后續的數據分析和可視化展示，同時處理過程包括解析數據、提取所需信息，如溫度、濕度、風速、氣壓等[10]。

2.1.2" 數據清洗與統計

首先，使用SQLContext的read（）.jdbc（）方法從數據庫中讀取數據，然后根據指定的條件進行篩選。其次，將讀取到的數據轉換為JavaRDD，并通過collect（）方法獲取所有數據行。最后，通過調用size（）方法獲取數據行的數量，并將其作為統計結果返回。以上操作保證了數據的高效處理和準確統計，為后續的數據分析和可視化提供了有力支持。在數據處理的最后階段，將數據經過精心加工后重新寫入MySQL數據庫中。此外，在數據處理模塊中，需要確保能夠輕松地獲取MySQL數據庫的連接信息，這樣才能保證與數據庫的順暢交互。通過以上設計，數據處理模塊能夠高效地與MySQL數據庫進行交互。以上流程不僅保證了數據的完整性和一致性，還提高了系統的可擴展性和可維護性。同時，將數據存儲在數據庫中也為多個模塊之間的數據共享提供了便利，使得整個系統更加協同和高效。爬蟲后的存儲后的數據如圖2所示，將爬蟲后的數據整理到數據庫中，如圖3所示。

數據處理主要代碼如下：

datetime.date.today（）.strftime（\"%Y%m%d\"）， province， city， county）

# 構造SQL語句并執行

sql = \"REPLACE INTO tb_forecast（ max_degree， min_degree， weather， wind_direction，\" ＼

\"wind_power， time1，" night_weather， night_wind_direction，\" ＼

\"night_wind_power，update_time，\" ＼

\"province， city， county） ＼

VALUES （ %d，%d，'%s'，'%s'，%d，'%s'，'%s'，'%s'，%d，'%s'，'%s'，'%s'，'%s'） \" % ＼

（int（_forecast['max_degree']）， int（_forecast['min_degree']）， _forecast['day_weather']，

_forecast['day_wind_direction']， day_wind_power， _forecast['time']，

_forecast['night_weather']， _forecast['night_wind_direction']， night_wind_power，

2.1.3" 線性回歸預測模型

本系統采用大數據技術進行天氣預測，借助大似然估計進行線性回歸分析，旨在提高對未來3天天氣情況的準確性。為實現這一目標，深入探索了以下幾個方面：

1）數據預處理與特征工程。在建立預測模型之前，進行數據預處理和特征工程。這包括數據清洗、缺失值處理、異常值檢測等步驟，以確保數據的質量和完整性。同時，在原始數據中建立了因果關系，并利用前7天的數據集提取關鍵特征，如溫度、濕度、氣壓等，作為模型的輸入變量。

2）模型選擇與優化。在選擇預測模型時，我們比較了多種算法，如線性回歸、決策樹、隨機森林等。在探索線性回歸過程中需處理的問題時：給定一組輸入樣本，和每個樣本對應的目標值，需要在某一損失準則下，找到（學習到）目標值和輸入值的函數關系，這樣，當有一個新的樣本到達時，可以預測其對應的目標值是多少。選擇線性回歸作為主要的預測模型時，對模型進行了參數調優，以提高預測準確性。通過交叉驗證的方式，調整線性回歸模型中的正則化參數（如L1正則化的懲罰項系數α或L2正則化的懲罰項系數λ），以控制模型的復雜度，避免過擬合或欠擬合。

3）預測模型構建。調用生成JSON函數，提取前7天的數據集，并設置自變量和因變量。其中，x為天數，w為前7天的天氣訓練結果。通過對前7天數據集中w的排序，得到不同效果的w2、w3、w4，并結合自變量x進行未來3天天氣的預測。將預處理后的歷史氣溫數據輸入已經建立好的線性回歸模型中。模型會利用歷史數據中的特征與目標值之間的關系，來學習并建立一個線性回歸方程[11]。

4）統計分析和個性化效果提取。利用Spark調取數據集進行信息提取，用線性回歸方法進行統計分析，繪制柱狀圖、餅圖等，進行樣式表的分析。根據不同城市的效果進行數據提取和分析，以滿足不同城市的需求和特點。

模型的目標是通過調整參數的數值，從而使預測值y盡可能接近真實值。線性回歸通常采用最小化平方誤差的損失函數來進行參數估計。這樣不僅實現了對未來3天天氣的準確預測，還為天氣預測系統的性能提升和用戶體驗改善提供了重要技術支持，對模型預測的結果進行解釋和分析。可以比較預測值與實際觀測值的差異，評估模型的準確性和穩定性。線性回歸模型的主要代碼如下：

def fitSLR （x ， y） ：

n = len（x）

dim = 0

mune = 0

for i in range（0，len（x））：

mune += （x[i] - np.mean（x））*（y[i] - np.mean（y））

dim += （x[i] - np.mean（x））**2

print（\"numerator：\" ， mune ， \"＼n\" ， \"dinominator：\"，dim）

b1 = mune/float（dim）

b0 = np.mean（y）/float（np.mean（x））

return（b0，b1）

def predict（x ， b0 ，b1）：

return（b0 + x*b1）

def linaer_regression_predict（p1， p2， n）：

print（p1）

print（p2）

b0， b1 = fitSLR（p1， p2）

print（\"intercept：\"， b0， \"＼n\"， \"slope\"， b1）

x_t = float（n）

y_t = predict（x_t， b0， b1）

return y_t

sql = \"select" degree" from" tb_weather where city='%s' \" ＼

\"and update_time in" （select" *" from" "\" ＼

\"（select" distinct update_time from tb_weather \" ＼

\"where" "city ='%s' order by update_time desc limit 7 ） as t）\" % （city， city）

w = []

tt = session.execute（text（sql））

for c in cur：

w.append（c[0]）

print（w）

x = [1， 2， 3， 4， 5， 6， 7]

w2 = linaer_regression_predict（x， w， 7）

w3 = linaer_regression_predict（x， w， 8）

w4 = linaer_regression_predict（x， w， 9）

2.2" 系統實現

2.2.1" 主要城市氣溫展示圖

圖4是主要城市氣溫圖，以柱狀圖的形式展現了廣州、上海、深圳三個主要城市的氣溫情況。通過色彩的深淺變化，直觀地呈現了不同城市的氣溫高低分布，用戶可以一目了然地比較各城市的氣溫差異。這種圖不僅展示了當前的氣溫情況，還反映了氣溫的季節性變化和日間夜間溫差，為用戶提供了重要的氣象信息。

2.2.2" 城市溫度圖

圖5中展示了特定城市過去一段時間的歷史溫度情況，通過圖的形式直觀地展示了每天的溫度變化趨勢。這種圖表不僅可以幫助用戶了解過去一周內城市溫度的變化情況，還可以分析溫度的波動情況，揭示溫度的季節性和周期性變化。用戶可以通過觀察溫度圖快速了解城市的氣候特點和變化規律。

2.2.3" 氣溫預測

氣溫預測圖天氣預報系統中的重要組成部分，它基于歷史數據進行分析和預測，為用戶提供未來3天的氣溫趨勢展示。通過分析過去一段時間的氣溫數據，系統可以識別出氣溫的周期性變化和趨勢，進而預測未來的氣溫變化情況，如圖6所示。

2.2.4" 切換城市頁面

圖7中展示了切換到鄭州天氣的情況。在該模塊的設計中，本系統主要運用Python語言進行樣式表的切換，同時利用Spark技術調取數據庫中的信息。通過線性回歸算法進行自動分析，系統設計更加直觀，而且代碼結構簡潔明了，易于執行。同時，這一設計實現了大屏幕的效果，使得用戶可以在一個界面上輕松切換不同城市的天氣信息，提高了用戶體驗和系統的可用性。這種簡潔而高效的設計，使得用戶可以快速獲取所需的天氣預報，為其日常生活和出行提供了便利。通過這樣的設計，用戶不僅可以方便地查看當前城市的天氣情況，還能快速切換到其他城市，滿足不同用戶的需求。這種用戶友好的設計，有助于提升系統的實用性和用戶滿意度，進而促進系統的廣泛應用。

2.2.5" 實時更新

圖8展示的是溫度變化后的效果，當前溫度為12 ℃，并且該數值是實時更新的。這種實時變化是通過數據庫的遞增效果實現的，數據庫會不斷地接收最新的數據，因此天氣情況也會相應地實時變更。實時更新的功能使得系統及時呈現當前的氣溫，用戶可以隨時了解到天氣的最新狀態。例如，在溫度發生突然變化時，用戶可以立即得知，從而做出相應的活動調整。這種及時性和準確性為用戶提供了便利，增強了系統的實用性和用戶滿意度。同時，實時更新也表明了系統的高度自動化和智能化，為用戶提供了更加便捷的天氣信息查詢體驗。

3" 結" 論

本系統能夠實現對國內304個城市的實時天氣搜索，并利用線性回歸算法預測未來3天的天氣溫度情況，同時實現對實時溫度、降水、風力、氣壓、濕度等方面的分析。系通過大屏可視化效果，用戶可以直觀地了解各地天氣情況，為出行和生產生活提供便利。

參考文獻：

[1] 李璐，郭淇汶，陸宇，等.基于Python的天氣預測系統研究 [J].信息技術與信息化，2020（10）：18-20.

[2] 張一恒，王芹，刁煒卿，等.基于Scrapy爬蟲技術和圖神經網絡的生態旅游推薦技術 [J].自動化與儀器儀表，2024（2）：6-10.

[3] 馮艷茹.基于Python的網絡爬蟲系統的設計與實現 [J].電腦與信息技術，2021，29（6）：47-50.

[4] 周瑋.基于網絡爬蟲技術的財務大數據采集系統設計 [J].中國新技術新產品，2024（3）：37-40.

[5] 沈承放，莫達隆.Python語言中re庫的使用技巧與目標網絡數據的抓取 [J].賀州學院學報，2019，35（3）：151-156.

[6] 馮超，蘭唱，周冬雪.基于大數據分析的氣象信息網絡數據監控系統設計與實現 [J].長江信息通信，2023，36（12）：125-127.

[7] 王靜怡，甄翠敏.工商銀行不良貸款影響因素分析——基于多元線性回歸模型 [J].河北企業，2024（5）：84-86.

[8] 萬騰.基于Echarts的跨平臺教學資源數字化展現解決方案 [J].辦公自動化，2024，29（3）：47-50.

[9] 羅光武，陳典燦，吳荷，等.應用Springboot+Vue框架的時間管理軟件的設計與實現 [J].工業控制計算機，2024，37（4）：64-66.

[10] 鄭博培，李媛.基于物聯網的智能天氣識別系統設計 [J].物聯網技術，2020，10（12）：7-9.

[11] 張涵夏.適用于線性回歸和邏輯回歸的場景分析 [J].自動化與儀器儀表，2022（10）：1-4+8.

作者簡介：熊建芳（1980—），女，漢族，江西樟樹人，講師，碩士，主要研究方向：人工智能算法、數據分析。