農業氣象數據爬蟲系統研究

楊 波

(長春財經學院信息工程學院，吉林 長春 130122)

引言

農業作為全球食品供應鏈和經濟系統的基石，對氣象條件的高度敏感性已被廣泛承認。氣溫、濕度、降雨量等氣象參數對農作物生長、水資源管理以及病蟲害的傳播具有直接而深遠的影響。隨著全球人口的增加，對農業生產的需求也日益增長，這使得農業生產變得更加復雜和具有挑戰性[1]。在這一背景下，準確的氣象數據成為支持農業決策制定，提高農業生產效率和保障食品供應鏈的關鍵因素。

然而，傳統的氣象數據采集方法存在著一系列限制。公共氣象站通常提供有限的數據，且更新頻率有限，這導致了數據的滯后和不完整性。傳統氣象站的地理分布也可能導致一些地區的數據不足和不準確。這些問題在現代農業管理中構成了嚴重挑戰，因為實時、高質量的氣象數據對于有效的決策制定至關重要。

在解決上述挑戰的背景下，本研究旨在研發一種高效的農業氣象數據爬蟲系統，以克服傳統氣象數據采集方法的限制。該系統將能夠實時采集、處理和管理氣象數據，以支持基于氣象條件的水稻病蟲害智能監測預警系統。研究的核心問題涵蓋了選擇合適的數據來源、設計，實施數據爬蟲系統，以及有效地將采集到的氣象數據整合到監測預警系統中。此研究的目標是提高農業生產的可持續性和生產率，減少病蟲害風險，為農民和決策者提供更準確和及時的氣象信息。

1 爬蟲技術和農業氣象數據采集

農業氣象數據在現代農業中具有關鍵作用。農業生產的成功與失敗直接受氣象條件的影響。氣溫、濕度、降雨量和日照時間等氣象參數對農作物的生長、發育和產量產生直接而深遠的影響。如，適宜的氣溫和濕度水平可以促進作物生長，但不適宜的氣象條件可能導致干旱、水浸和病蟲害的爆發。農民需要及時、準確的氣象數據，以決定何時種植，何時灌溉，何時收獲，以及如何管理病蟲害。

農業氣象數據還對農業經濟和糧食供應鏈的管理產生廣泛影響。政府部門、糧食生產者和食品供應鏈管理者依賴氣象數據來制定政策，采購農產品，規劃供應鏈活動。因此，準確的氣象數據對于確保食品供應的穩定性和農業經濟的可持續性至關重要。

1.1 傳統氣象數據采集方法的挑戰

盡管農業對氣象數據的需求非常迫切，但傳統的氣象數據采集方法存在一系列挑戰。傳統氣象站通常只提供有限的數據，更新頻率有限，數據不及時。這對于實時決策制定構成了限制。此外，傳統氣象站的地理分布可能導致一些地區的數據不足和不準確，尤其是在農村地區。農業需要更廣泛、更準確的氣象數據來滿足不同地理區域和氣象條件的需求。

1.2 爬蟲技術在數據采集中的應用

為了克服傳統數據采集方法的限制，爬蟲技術已經廣泛應用于數據采集領域。網絡爬蟲是一種能夠自動獲取互聯網上的信息的程序[2]。在農業氣象數據采集中，網絡爬蟲可以用于從多個數據源抓取氣象數據，包括公共氣象數據站、衛星數據和傳感器網絡。網絡爬蟲技術可以確保數據的及時性和完整性，以滿足農業生產的需求。

已有的研究和系統已經探討了農業氣象數據采集的不同方面。一些研究關注了數據采集方法的改進，如使用傳感器網絡和衛星數據來獲取氣象信息。其他研究著重于數據處理和分析，以提供實時的決策支持。此外，一些系統已經實施在實際農業環境中，為農民和決策者提供了可操作的氣象信息。

2 爬蟲系統前端技術

前端采用了H5，CSS和JavaScript，以及最新的Vue.js來實現和后端數據的交互[3]，網頁就是用H5來編寫的，H5是一門描述性語言，非常通俗易懂。CSS則是用于渲染H5，相當于填充顏色，為其“化妝”，使其更加渲染，JavaScript則是用于實現一些動態效果，并且也可借助于Ajax和后端進行動態的交互，使靜態頁面變成動態頁面。Vue.js則是JavaScript的擴展，添加了更多的功能，并且可以嵌入進H5中，使其更加的靈活通用。

3 爬蟲系統的功能分析

氣象數據系統作為一個綜合性的在線實時數據平臺，致力于為用戶提供廣泛而強大的功能。這個系統不僅使用戶能夠輕松地獲取氣象數據，還通過數據可視化提供了對氣象信息更深入的理解。此外，系統的基礎架構采用了Django框架，為系統提供了穩定性和可維護性。管理員接口的存在確保了系統的正常運行，為用戶和數據的安全性提供了一層保障。

3.1 用戶接口模塊

用戶接口模型是平臺提供給普通用戶和管理員使用該系統的方式，所有的用戶都可以通過注冊賬號登錄平臺，并且進行一系列相關的操作。用戶接口模塊包含了個人信息設置，密碼更改，氣象信息的展示，數據的可視化等，并進行一系列相關的操作。用戶登錄系統后，用戶的信息會存放在服務器的session中，用戶在平臺上所做的操作都會被保存到系統的數據庫中。

用戶接口模塊是氣象數據系統的前臺，為用戶和管理員提供了通往系統的入口，不僅可以進行簡單的注冊和登錄，還包括了豐富的功能，使用戶可以個性化地使用系統。用戶接口模塊的主要功能具體如下。

3.1.1 賬號注冊和登錄

用戶可以通過賬號注冊功能輕松創建自己的賬戶，使用注冊的賬號進行登錄。這為用戶提供了個性化的體驗，使其能夠訪問系統的更多功能。

3.1.2 個人信息設置

一旦登錄系統，用戶可以在系統中設置和更新個人信息，包括上傳照片、更新聯系信息和更改密碼。這提供了便捷的方式，使用戶能夠保持個人信息的最新狀態。

3.1.3 瀏覽氣象數據

用戶可以通過系統訪問廣泛的氣象數據資源，包括實時和歷史數據。這些數據來自中國氣象網，確保了數據的準確性和全面性。

3.1.4 數據可視化

系統提供了數據可視化功能，通過使用Echarts圖表庫，用戶可以將氣象數據以圖表和圖形的形式進行實時展示。有助于用戶更清晰地理解氣象信息和趨勢。

3.1.5 數據記錄與分析

用戶在平臺上的所有操作都會被保存到系統的數據庫中。不僅有助于用戶回顧其歷史操作，還可以為系統分析用戶行為和偏好提供寶貴的數據。

3.2 氣象信息模塊

氣象信息模塊是后臺實時爬取中國氣象網的數據[4]，并且以本周的數據為基礎，來預測下一周的數據，使用了機器學習中的聚類算法，將數據爬取到之后，基于后臺生成好的數據模型，輸入本周的數據，就可以生成下周的數據，將數據傳給前端，前端使用Echarts將數據可視化，實時展示給用戶。

作為系統核心部分的氣象信息模塊，為用戶提供實時氣象數據以及未來預測。氣象信息模塊的主要功能具體如下。

3.2.1 數據爬取

氣象數據模塊定期從中國氣象網實時爬取氣象數據，確保系統提供的數據是最新的和準確的。

3.2.2 數據處理與分析

系統采用機器學習中的聚類算法，將爬取的數據進行處理，基于本周的數據來預測下一周的天氣情況。這為用戶提供了對未來天氣的有用信息。

3.2.3 數據可視化

一旦數據被處理和分析，系統將其傳輸到前端。前端使用Echarts圖表庫將這些數據可視化，使用戶能夠以圖形方式清晰地了解天氣情況。

3.2.4 實時展示

系統的實時展示功能確保用戶可以獲得最新的氣象數據和預測，使其能夠及時做出決策或計劃未來的活動。

3.3 管理員模塊

管理員可以登錄到后臺系統，并且對用戶進行管理，用戶的一系列操作都會在后臺實時顯示，管理員發現違法操作后可以直接對用戶實施冷凍或者拉黑處理，使該用戶不可以再登錄到網站系統，同時管理員也可以登錄到前端系統，享受和用戶一樣的服務。

管理員模塊負責監督系統的正常運行和用戶行為的合規性。管理員模塊的主要功能具體如下。

3.3.1 后臺管理

管理員可以登錄到系統后臺管理界面，以查看用戶的活動，處理用戶的請求，以及監控系統的運行狀態。這確保了系統的安全性和穩定性。

3.3.2 用戶管理

管理員擁有特殊權限，可以對用戶進行管理，包括對用戶的冷凍或拉黑處理。這些措施有助于確保系統的規范性和用戶行為的合規性。

3.3.3 前臺登錄

管理員也可以登錄到前臺系統，享受與普通用戶一樣的服務，以便更好地理解系統的功能和用戶體驗。

4 系統功能設計和實現

4.1 系統設計

氣象數據平臺分成3個模塊，管理員模塊，用戶中心模塊和數據瀏覽模塊，分別實現了對氣象數據的管理，人員信息的管理和權限的管理，以及數據可視化的管理。3個模塊的緊密協作確保了整個氣象數據管理平臺的功能完善，用戶體驗卓越。系統總體功能結構的設計有助于滿足各種用戶需求，從數據管理到用戶權限，再到數據可視化，所有這些都在一個完整而協調的生態系統中實現。系統總體功能結構如圖1所示。

圖1 后臺功能結構圖

用戶中心功能模塊結構如圖2所示，為已登錄用戶提供一系列功能和權限，分別是對氣象數據的高階操作和用戶的權限角色管理，以滿足其對氣象數據的高級需求。主要功能包括顯示氣象數據，高級查詢，數據可視化和用戶管理。

圖2 用戶中心功能結構圖

顯示氣象數據。用戶可以訪問并查看氣象數據的廣泛范圍，包括實時數據以及歷史數據，允許用戶獲取關于天氣情況的詳細信息；用戶可以瀏覽不同地區、時間段和氣象參數的數據，以滿足其特定的查詢需求。

高級查詢。高級查詢功能使用戶能夠執行更復雜的數據檢索操作；用戶可以根據多個條件和過濾器來精確地篩選所需的氣象數據；包括選擇特定日期范圍，地理位置，氣象變量等，以獲取更具針對性的數據。

數據可視化。數據可視化是用戶中心的一個強大功能，用戶可以使用數據可視化工具，如圖表和圖形，將氣象數據以更直觀和易于理解的方式呈現；可視化工具幫助用戶分析和比較數據，如溫度趨勢圖、降雨量柱狀圖和風速風向圖等，使用戶更深入地理解氣象信息。

用戶管理。用戶中心還涵蓋了用戶和權限角色的管理。這意味著已登錄的用戶可以執行操作：用戶角色分配，用戶可以根據其在系統中的角色分配不同的權限，有助于組織和協調不同用戶之間的權限，以確保系統的數據和功能受到適當的訪問控制；用戶權限管理，用戶可以請求特定權限，如數據訪問權限或功能使用權限，這些請求將被管理員審核和批準，以確保用戶獲得適當的權限，同時確保數據和系統的安全性；用戶信息管理，用戶可以管理其個人信息，包括聯系信息、頭像和密碼，有助于用戶保持其個人信息的最新狀態。

數據瀏覽功能模塊是系統的數據處理和展示引擎，如圖3所示，具有多重功能，以滿足用戶對氣象數據的高級需求。模塊功能涵蓋高級查詢，數據可視化和大屏數據。

圖3 數據瀏覽模塊功能結構圖

高級查詢。高級查詢功能使系統能夠進行更復雜和精確的數據檢索操作。用戶和管理員可以使用高級查詢工具執行操作：多條件篩選，用戶可以根據多個條件和過濾器來篩選所需的氣象數據，包括時間范圍、地理位置、氣象參數等；復雜過濾器，用戶可以創建復雜的查詢過濾器，以精確地定位所需的數據，用戶能夠執行更具針對性的數據檢索操作。

數據可視化。數據可視化功能是數據瀏覽模塊的亮點之一。允許用戶和管理員使用數據可視化工具，將氣象數據轉化為圖表、圖形和可視化展示，以更清晰、生動和易于理解的方式呈現數據。數據可視化功能的主要組成部分：圖表生成，用戶可以選擇不同類型的圖表，如折線圖、柱狀圖、餅圖等，來展示數據，助于用戶比較和分析不同數據集之間的差異；數據趨勢，可視化工具還允許用戶追蹤數據的趨勢和變化，如溫度隨時間的變化、降雨量的季節性趨勢等，有助于用戶更深入地理解數據。

大屏數據。大屏數據顯示是數據瀏覽模塊的一項強大功能，允許數據以大屏幕格式進行展示。這對于需要實時監控和展示氣象數據的應用非常重要，如氣象臺、應急響應中心等。大屏數據顯示的關鍵特點：實時數據展示，大屏幕數據顯示允許用戶實時監控氣象數據，包括溫度、濕度、風速、氣壓等，對于應急情況和實時決策非常重要；自定義布局，用戶可以自定義大屏幕數據顯示的布局和內容，以滿足其特定需求，增強了數據的可定制性和實用性。

4.2 系統實現

前端收集用戶輸入的數據，把數據發送到后端，后端接收到請求后，將數據進行轉換，根據前端的請求爬取數據，將獲取的數據清洗，傳給前端，前端根據后端傳過來的數據再將數據可視化，將數據大屏進行展示。系統查詢界面如圖4所示。

圖4 氣象查詢界面

數據可視化頁面設計，前端用Echarts實現數據可視化。將后端清洗完后的數據用Json格式發送到前端，前端接受完以此填入Echarts中，實現數據可視化。數據可視化界面如圖5、圖6所示。

圖5 數據可視化界面

圖6 氣象大屏界面

5 結束語

氣象數據分析平臺以網頁展示的方式直接展示了后臺爬取的數據[5]，以良好的交互方式方便了用戶的瀏覽和讀取，同時合理而健全的管理模式也使得用戶信息更加安全，數據更新和實時，從各方面滿足了人們對平臺的期待與要求。本平臺是以長春財經學院在校學生為主要服務對象，通過搭建一個功齊全，方便同學獲取氣象氣候數據的數據分析平臺。

系統是以用戶為中心，更好地滿足用戶的需求，同時分類的氣象界面使得用戶能夠得到一個更好的交互體驗，用戶通過系統可以進行高級查詢氣候，對氣候分類，數據可視化等。