基于Hadoop技術的氣象數據實時傳輸監控系統設計

陶 淘，彭 穎，張晨亮

(1.新疆維吾爾自治區氣象信息中心，烏魯木齊 830002；2.西南民族大學 計算機科學與工程學院，成都 610041；3.新疆維吾爾自治區氣象技術裝備保障中心，烏魯木齊 830002)

0 引言

氣象數據是通過對大氣、海洋等自然環境的觀測、分析和處理，得到的描述氣象現象和氣象變化的數字化信息[1-2]。氣象數據包括天氣資料與氣候資料，是反映天氣情況的數據參量。氣象儀設備所采集到的氣象數據可以用來描述氣象問題的表現情況，然而，在氣象數據的傳輸過程中，可能會出現數據丟失、重復、錯誤等問題，因此，需要對傳輸的氣象數據進行監控，及時發現和處理問題，保證氣象數據的準確性和完整性。在監控風、雨、雪、雷等氣象問題時，保證數據樣本的真實性，才是保證監控效果的必要條件。

文獻[3]設計了基于Hybrid模式精細化移動氣象服務系統，在Hybrid開發模式的基礎上，開發MVC應用插件，再聯合HTML5融合技術，實現了氣象信息在移動終端的交互性展示，由于Hybrid模式的功能復用性相對較高，所以在氣象數據迭代傳輸的過程中，主機元件可以對信息參量所表現出的氣象問題進行實時監控。文獻[4]設計了面向局部定點區域的微型氣象監測系統，基于Raspberry Pi 4B平臺，開發微型氣象數據采集裝置，可以實現對多種氣象參數的同時采集，也能夠利用Qt程序開發服務端軟件，實現對氣象數據監控結果的圖形化顯示。然而在面對風、雨、雪、雷等現象同時存在的復雜氣象問題時，上述兩種系統不能準確分析氣象問題的表現情況。

Hadoop是一種分布式應用架構，具有較強的自主運行能力，底層用戶對象可以在不了解節點連接細節的情況下，自由開發分布式程序，在實際應用過程中，該類型框架結構能夠展現出分布式集群的高速運算與存儲能力[5]。HDFS作為Hadoop架構體系的核心應用組件，具有高容錯性的連接特點，由于該類型部件直接部署于主機單元等硬件結構上，且能夠為接入數據提供較高的訪問吞吐量，所以只要HDFS部件保持相對穩定的連接狀態，Hadoop架構體系就可以對傳輸數據進行快速轉存與處理。相較于其他類型的架構體系，Hadoop分布式平臺的可靠性等級更高，即使是在單一數據樣本存儲失敗的情況下，只要保證其他訪問節點保持連接狀態，就可以依靠分布式集群的連帶作用，實現對數據信息參量的按需處理[6]。基于上述分析，在Hadoop技術的基礎上，設計一種新型的氣象數據實時傳輸監控系統。

1 氣象數據實時傳輸監控系統硬件設計

氣象數據實時傳輸監控系統的硬件部分包括JTAG電路、數據采集器、風速風向監控設備、雨、雪監控設備等多個應用結構，本章節將針對其具體設計方法展開研究。

1.1 JTAG電路調試

JTAG電路調試是按照氣象數據的實時傳輸需求，規范基礎電路結構的連接形式，在為氣象儀設備提供足量電力信號的同時，確保監控所得氣象數據能夠傳輸至目標顯示區域中，從而使得實時性要求得到最大化滿足。JTAG主板在反相器設備的驅動下，持續向外輸出電量信號，整個過程中，TCK元件、DGND元件、TDI元件保持連續閉合狀態。TCK元件負責感知電量信號的實時傳輸狀態，對于氣象儀設備而言，其對于氣象數據的采集行為必須受到電量信號的完全驅動作用，所以只有在電信號輸出總量足夠大的情況下，氣象儀設備才能實現對氣象數據的準確監控。DGND元件接受JTAG主板的直接驅動，在恒壓、恒流情況下，該元件整合TCK元件輸出的所有電信號參量，并對其進行初步的過濾處理，以確保氣象儀設備能獲得穩定的電量供應。TDI元件負載于JTAG主板與AT24C512設備之間，當TDFN設備中的電信號聚合總量達到實際需求標準后，AT24C512設備進入持續連接狀態，當前情況下，TDI元件將所接收到的交流電聯信號轉換為直流狀態，以供氣象儀設備在采集氣象數據的過程中可以直接調取與利用。JTAG電路連接形式如圖1所示。

圖1 JTAG電路結構圖

在氣象數據實時傳輸監控系統中，JTAG電路所輸出的電量信號可供氣象儀設備直接應用，所以為使氣象儀設備能夠準確監控氣象數據，調試電路結構時，應嚴格要求TCK元件、DGND元件、TDI元件的實時連接關系。

1.2 數據采集器設計

數據采集器是氣象儀設備的核心組成結構，對于氣象數據實時傳輸監控系統而言，該部件的應用能力決定了氣象儀設備能否對氣象數據進行實時采集。Hadoop架構體系為數據采集器提供了分布式連接環境，這就表示管理模塊組織之間的連接關系需滿足分布式執行需求。整個數據采集器由氣象數據采集終端、串口單元兩部分組成。氣象數據采集終端在8位微控制器元件的作用下，同時協調AVR mega 1 280、RISC、AVR三類應用部件。其中，AVR mega 1 280部件直接響應JTAG電路輸出的電量信號，為氣象儀設備提供采集氣象數據所需的驅動作用，隨著待測數據樣本總量的增大，該部件所負載的電信號總量也會不斷增大[7]。RISC部件接收8位微控制器元件輸出的實時監控指令，可以感知氣象儀設備對于氣象數據的采集需求，從而在準確分析氣象問題表現情況的同時，對采集到的氣象數據參量進行分類處理。AVR部件管理下級串口單元，能夠聯合AVR mega 1 280與RISC結構，感知系統主機對氣象數據的實時監控需求，從而避免電量信號出現過度傳輸的情況，使得氣象儀設備能夠對氣象數據進行按需采集。數據采集器結構如圖2所示。

圖2 數據采集器結構模型

RS-45串口、RS-232串口、RS-257串口存在于氣象數據采集器與數據采集終端之間，具有雙向傳輸數據信息參量的能力，一方面可以將JTAG電路輸出的電量信號傳輸至氣象數據采集器中，以供其對氣象問題進行實時監控，另一方面也可以將氣象數據采集器采集到的氣象數據傳輸至數據采集終端中[8]。因此，數據采集器的設計，必須保證RS-45串口、RS-232串口、RS-257串口之間的實時連接關系。

1.3 四要素監控模塊設計

1.3.1 風速風向監控設備設計

風速風向監控設備應用于系統主機監控風類氣象數據的過程中，由供電箱、風速測量儀、風向測量儀、預警裝置共同組成，其監控所得氣象數據樣本會在Hadoop分布式協調服務請求的作用下，直接回傳至系統監控主機中。預警裝置存在于風速風向監控設備的最左端，當風力等級高于設備元件的可測量范圍時，預警裝置發出警告。供電箱存在于預警裝置右側，借助傳輸導線與JTAG電路相連，在數據采集器采集氣象數據的過程中，供電箱保持連續運行狀態。風速測量儀、風向測量儀借助外接導線與供電箱相連，前者存在于風速風向監控設備的最右端，非監控狀態下，該裝置保持橫向水平狀態，表示當前情況下，風速水平為零，在監控氣象數據實時傳輸行為的過程中，該裝置不斷發生偏轉，其最終所處位置與初始位置之間的差值可以用來表示當前情況下的風速水平[9-10]。風向測量儀存在于風速測量儀左端，二者運行原理基本相同，非監控狀態下，該裝置也保持橫向水平狀態，而在監控氣象數據實時傳輸行為的過程中，該裝置不停旋轉，其最終所處位置就表示當前情況下的實時風向。風速風向監控設備如圖3所示。

如果氣象數據傳輸過程中，風速風向監控數據繼續發生變化，那么監控設備所得測量結果也會不斷發生改變，當前情況下，為保證監控結果的實時性，可以斷開數據采集器與風速風向監控設備之間的連接關系。故而，風速風向監控設備的設計，應在風速測量儀、風向測量儀處于橫向水平狀態后，開始監控。

1.3.2 雨、雪監控設備設計

雨、雪監控設備由降雨量監控、降雪量監控兩部分組成，應用于系統主機監控雨雪類氣象數據的過程中，接受JTAG電路的直接控制，能夠在DATA-9201監測終端的配合下，將降雨量、降雪量測量結果轉化成氣象數據樣本，從而使得數據采集器元件能夠對其進行按需提取。雨量筒負責收集監控區域內的實時降雨，所得數據樣本經過超聲波質量測量計元件的處理后，傳輸至DATA-9201監測終端中。雪量筒負責收集監控區域內的實時降雪，所得數據樣本在經過超聲波液位計元件的處理后，也傳輸至DATA-9201監測終端中[11-12]。由于“雨”、“雪”是兩類完全不同的氣象問題，所以氣象儀設備針對這兩種天氣行為所采集到的氣象數據也不相同，故而為使系統主機能夠對氣象數據實時傳輸行為進行準確監控，雨、雪監控設備必須具備兩套完全獨立的數據傳輸模式，且二者之間不得存在相互影響關系。對于雨、雪監控設備的作用原則如圖4所示。

圖4 雨、雪監控設備作用原則

DATA-9201監測終端是多樣性監控設備，同時接收超聲波質量測量計、超聲波液位計輸出的氣象數據，在氣象數據實時傳輸監控系統中，該終端結構的響應能力受到JTAG電路內電信號實時輸出水平的影響。此外，在雨、雪氣象問題同時存在的情況下(如雨夾雪)，雨量筒，雪量筒都會測得一定的數據對象，當前情況下，超聲波質量測量儀、超聲波液位計也同時向DATA-9201監測終端反饋氣象數據樣本，設計雨、雪監控設備，也必須保障DATA-9201監測終端對雨量氣象數據、雪量氣象數據的實時處理能力。

1.3.3 雷電監控設備設計

雷電監控設備負責檢測雷電類氣象問題，記錄儀元件所記錄的雷電氣象數據在CDMA網絡終端內大量匯集，此時實時傳輸監控系統的雷電數據處理器快速運行，直至實時監控平臺中能夠顯示出清晰的雷電圖像。出于精準性考慮，雷電監控設備外部同時負載多臺雷電信號記錄儀元件。在實際測量過程中，若不存在雷電問題，JTAG電路也就不會向雷電監控設備傳輸電量信號，雷電信號記錄儀元件也就處于完全靜止狀態[13]。為保證氣象數據實時傳輸監控結果的有效性，即便是在極其輕微的雷電情況下，所有雷電信號記錄儀也會同時進入運行狀態，一方面能夠避免非精準監測情況的出現，另一方面也可使CDMA網絡終端對所得氣象數據進行多樣化整合處理。雷電信號記錄儀與CDMA網絡終端之間存在氣象數據傳輸關系，為滿足Hadoop協調服務請求的分布式傳輸需求，數據樣本傳輸行為只能保持單向性特征[14]。CDMA網絡終端與雷電數據處理器之間的數據傳輸關系則具有雙向性特征，當雷電氣象問題相對較為嚴重時，氣象數據由CDMA網絡終端傳輸至雷電數據處理器，否則氣象數據則保持反向傳輸狀態，這也是非雷達氣象問題情況下，雷電監控設備也接受氣象數據實時傳輸監控系統按需調度的主要原因。雷電監控設備設計結構如圖5所示。

圖5 雷電監控設備結構簡圖

雷電監控設備的設計，要求實時監控平臺作為氣象數據實時傳輸監控系統與處理器元件之間的數據傳輸通路，應將所接收到的雷電類氣象數據反饋回監控系統的核心運行主機，以供主機元件能夠制定統一的監控指令執行方案。

1.3.4 溫、濕度監控設備設計

溫、濕度監控設備以溫濕度傳感器作為核心應用元件，在氣象數據實時傳輸監控系統中，傳感器前端的一體式探頭感知外界氣象問題，并將所得氣象數據以溫度信號、濕度信號的形式，傳輸至數據采集器終端中，再經過非線性校正、運算放大等多次處理后，經由端口組織被系統核心監控主機獲取，從而生成完整的氣象數據實時傳輸監控信號。溫度、濕度是實時傳輸監控系統最主要的氣象測量數據，自然環境中，任何細微的氣象變化都會導致溫度、濕度水平隨之改變，因此在設計溫、濕度監控設備時，要求數據樣本的實時傳輸接口必須與數據采集器部件保持緊密的信息互傳關系[15]。

溫、濕度監控設備對于氣象數據的監控是一種感知性行為，在滿足實時傳輸需求的情況下，sensor終端同時采集大量的氣象數據，但受到終端元件運行特性的影響，所得信息參量的排列順序符合時間性原則，即采集時間越靠前的氣象數據的輸出順序越靠前。對于氣象數據實時傳輸監控系統而言，其在單位運行周期內可能需要大量的溫、濕度采集數據作為依據，才能生成準確的監控指令，所以sensor終端對于氣象數據的采集還具有持續性的特征[16]。隨著氣象數據實時累積量的增大，溫、濕度監控設備的運行速率可能會出現一定程度的下降，但由于該設備接受JTAG電路的統一調度與調試，所以持續連接的信道組織會在氣象數據傳輸速率降低至額定數值標準之下時，就將信息參量反饋回監控系統的核心處理終端中，這也是溫、濕度監控設備實時運行速率不會出現明顯下降狀態的主要原因。

2 Hadoop下的實時氣象數據處理

氣象數據實時傳輸監控系統硬件的運行，接受Hadoop架構體系的統一調度，因此，為實現對氣象數據的實時監控，在Hadoop技術支持下，完成對監控數據樣本的預處理。

2.1 Hadoop架構體系搭建

Hadoop架構體系由業務模型層、任務調度層、數據處理層、數據存儲層、資源管理層5個層級組織共同組成，在Hadoop分布式協調服務請求的配合下，所有層級組織保持同步運行狀態，在氣象數據實時傳輸監控系統中，負責對氣象儀設備采集到的氣象數據進行分布式傳輸。Hadoop分布式協調服務請求同時面對5個不同的層級組織，在監控氣象數據的過程中，保持服務請求的完整性，才能使Hadoop架構的分布式運行能力得到充分發揮。業務模型層負載氣象數據實時傳輸請求與業務邏輯處理請求，聯合任務調度層制定與氣象數據實時監控相關的任務調度指令。數據處理層同時執行Map Reduce計算、Spark Core計算與Storm計算指令，在Hadoop技術支持下，該層級組織同時協調所有系統應用部件[17-18]。數據存儲層配合資源管理層實時對氣象數據的實時監控，在Hadoop架構體系作用下，氣象數據實時傳輸監控系統的運行能力受到四要素監控模塊中氣象數據檢索結果的直接影響。Hadoop架構體系的邏輯連接結構如圖6所示。

圖6 Hadoop架構體系的邏輯連接結構

Hadoop架構體系作為氣象數據實時傳輸監控系統的軟件運行環境，擔負任務調度、數據存儲等多項執行指令，所以在各級應用部件監控氣象數據的過程中，Hadoop架構體系的邏輯連接形式必須完成穩定狀態。

2.2 數據預處理

實時傳輸監控系統的數據預處理，是按照Hadoop架構體系的搭建需求，將主機元件所采集到的氣象數據整合成既定傳輸形式。Hadoop技術處理氣象數據時，要求四要素監控模塊必須同時與數據采集器保持實時連接關系，一方面維持數據樣本的穩定傳輸狀態，另一方面也可以保證分布式協調服務對數據信息參量的處理能力[19-20]。

(1)

利用公式(1)，推導數據預處理表達式為：

(2)

Hadoop技術下，實現對氣象數據的處理，要求數據預處理條件不等于零的取值條件恒成立，特別是在四要素監控模塊所采集氣象數據樣本總量不平均的情況下，數據預處理表達式不等于零是保證傳輸監控系統能夠對氣象數據進行實時處理的必要條件。

3 業務信息表配置

實現系統主機對氣象數據的實時傳輸監控功能，在Hadoop技術的支持下，連接數據庫體系，并以此為基礎，完成對業務信息表單的配置。

3.1 數據庫連接

實時傳輸監控系統數據庫存儲主機元件采集到的所有氣象數據樣本，但由于四要素監控模塊所提供數據樣本具有差異性，所以連接數據庫體系時，必須對風速風向監控設備、雨、雪監控設備、雷電監控設備、溫、濕度監控設備所輸出信息對象進行明確區分。

風速風向類氣象數據定義式：

(3)

式中，χ1表示數據庫體系對風速風向類氣象數據的存儲參數，E′表示四要素監控模塊所提供氣象數據樣本總量，γ1表示風速風向類氣象數據實時響應參數，w1表示風速風向類氣象數據檢索特征。

雨、雪類氣象數據定義式：

I2=χ2|E′|-γ2w2

(4)

式中，χ2、γ2分別表示雨、雪類氣象數據存儲參數與實時響應參數，w2表示該類數據樣本的檢索特征。

雷電類氣象數據定義式：

(5)

式中，χ3、γ3、w3分別表示雷電類氣象數據的存儲參數、實時響應參數與檢索特征。

溫、濕度類氣象數據定義式：

(6)

式中，χ4表示數據庫體系對溫、濕度類氣象數據的存儲參數，γ4、χ4分別表示該類數據樣本的實時響應參數與檢索特征。

聯立公式(2)、公式(3)、公式(4)、公式(5)、公式(6)，求解實時傳輸監控系統數據庫連接式。

(7)

其中：φ1、φ2、φ3、φ4分別表示與I1、I2、I3、I4匹配的氣象數據樣本實時連接參數。為實現對氣象數據樣本的無差別存儲，連接數據庫體系時，要求φ1≠0、φ2≠0、φ3≠0、φ4≠0的不等式取值條件同時成立[21-22]。

3.2 信息表配置

業務信息表定義了氣象數據實時傳輸監控系統運行所需的連接條件，配合Hadoop技術完成數據庫連接后，主機元件必須按照業務信息表配置標準，才能根據氣象儀設備采集到的氣象數據，分析氣象問題的表現情況。由于數據庫體系中同時包含4種氣象數據樣本，所以配置業務信息表，必須保證主機元件對已存儲氣象數據的無差別監控能力[23]。

無差別監控參數為：

(8)

式中，s1表示風速風向類氣象數據識別參數，s2表示雨、雪類氣象數據識別參數，s3表示雷電類氣象數據識別參數，s4表示溫、濕度類氣象數據識別參數，ε表示無差別判別參量。

如果氣象儀設備沒有采集到某一類氣象數據，那么與該類數據樣本匹配的識別參數取值為零[24]。

聯立公式(7)、公式(8)，推導業務信息表配置表達式：

(9)

其中：ι表示氣象數據采集系數，f表示氣象數據樣本的業務信息參量，g表示配置條件核準參數。

系統主機的最基本應用是實現對氣象數據的實時傳輸監控，因此，在配置業務信息表時，各級系統應用部件應保持穩定運行狀態。

4 實驗分析

為了驗證設計的基于Hadoop技術的氣象數據實時傳輸監控系統的有效性，進行實驗分析。氣象儀設備采集到的氣象數據，可以用來分析氣象問題表現情況，對于系統主機而言，這些氣象數據能夠作為監控風、雨、雪、雷4種氣象問題的主要依據。分別選擇本文設計的基于Hadoop技術的氣象數據實時傳輸監控系統(實驗組)、文獻[3]設計的基于Hybrid模式精細化移動氣象服務系統(對照1組)、文獻[4]設計的面向局部定點區域的微型氣象監測系統(對照2組)作為實驗對象，將上述3種系統的執行程序分別輸入PRA軟件中，顯示指令框后，開始錄入氣象數據，氣象數據輸入如圖7所示。

圖7 氣象數據輸入

PRA軟件對于氣象數據的監控準確性較高，但其運行需要一定的響應時間，在PRA軟件未達到穩定運行狀態之前，所得監控數據不符合本次實驗的需求。規定：PRA軟件對氣象數據的監控準確度達到90%時，所得監控結果才具有參考價值，且考慮其穩定性，還要求該準確度條件必須具有長期持續的特征。

PRA軟件監控氣象數據時的運行特性如圖8所示。

圖8 PRA軟件運行特性

根據圖8可知，PRA軟件開始運行30 min后，其對于氣象數據的監控準確性才能達到90%，因此在完成氣象數據輸入后，等待30 min，才開始記錄PRA軟件對于氣象問題的分析結果。

選取A、B、C三個場景，作為監控目標，分別對這3個場景中的氣象數據進行取樣，如表1所示。

表1 實驗場景的氣象數據取樣

其中：“*”表示該場景無法取得該類氣象數據，即該場景不存在該類氣象問題。

PRA軟件處于穩定運行狀態后，將A、B、C三個場景采集到的氣象數據輸入軟件，再分別應用實驗組、對照1組、對照2組軟件的執行程序，調節PRA軟件對于所輸入氣象數據的實時傳輸監控能力，從而確定所選系統對風、雨、雪、雷4種氣象問題的監控能力。

將氣象數據監控結果和監控系統響應時間作為系統設計的技術參數，其中，氣象數據監控結果越接近表1中氣象數據取樣結果，說明系統的實用性越強；監控系統響應時間越小，說明系統的實時性越好。

實驗組、對照1組、對照2組系統作用下，PRA軟件對于所輸入氣象數據的監控結果如圖9所示。

圖9 不同系統的氣象數據監控結果

分析圖9可知，實驗組執行程序作用下，A、B、C三個場景的風力、降雨、降雪、雷電等級監控結果均與表1所示取樣結果保持一致。對照1組執行程序作用下，A、B、C三個場景的風力等級監控結果均與實際取樣結果不同，但降雨、降雪、雷電等級監控結果與表1保持一致。對照2組執行程序作用下，A、B、C三個場景的風力等級監控結果與表1保持一致，而降雨、降雪、雷電等級的監控結果與實際取樣結果不同。此外，若某場景中無法取得某一項氣象數據，那么實驗組、對照1組、對照2組系統對這一類氣象問題的監測結果都不會出現差錯。

實驗組、對照1組、對照2組系統作用下，不同系統的響應時間對比結果如表2所示。

表2 不同系統的響應時間對比結果

根據表2中的數據可知，針對風、雨、雪、雷4種氣象數據，對照1組和對照2組的平均響應時間分別為70 ms和76.5 ms，而實驗組的平均響應時間僅為61.3 ms。由此可知，實驗組的監控系統響應時間較小，說明實驗組監控系統的實時性較好。

綜合上述分析可知，基于Hadoop技術的氣象數據實時傳輸監控系統能夠根據氣象儀設備采集到的氣象數據，準確分析氣象問題的表現情況，在實時監控風、雨、雪、雷4種氣象問題方面，確實具有較強的實用性價值和較好的實時性。由于氣象問題具有偶發性，所以本次實驗結果不可以用來描述實驗區域的氣象特點。

5 結束語

為了準確分析氣象問題的表現情況，設計了基于Hadoop技術的氣象數據實時傳輸監控系統。聯合JTAG電路，調節數據采集器與四要素監控模塊的連接狀態，通過配置信息表單的方式，確定數據庫體系對于氣象數據樣本的存儲能力。通過實驗驗證了基于Hadoop技術的監控系統可以根據已輸入的氣象數據樣本，分析該區域內氣象問題的表現情況，能夠準確獲取在面對風、雨、雪、雷4種氣象問題同時存在的復雜天氣環境時的監控結果，且具有較好的實時性，確保符合實際應用需求。