水文水情信息大數(shù)據(jù)處理現(xiàn)狀及策略

鐘 原

（山東省第七地質(zhì)礦產(chǎn)勘查院，山東 臨沂 276000）

伴隨著大數(shù)據(jù)時代的到來，為各行業(yè)的發(fā)展創(chuàng)造了有利的空間。其中利用大數(shù)據(jù)技術(shù)對水文水情信息進(jìn)行及時有效的收集、整理以及分析等，以確保水文水情信息的時效性、精確性以及安全性，能夠為水文水情相關(guān)工作的開展提供有效的數(shù)據(jù)保障，凸顯出大數(shù)據(jù)技術(shù)在水文行業(yè)發(fā)展方面的優(yōu)勢，從而創(chuàng)造出更多的經(jīng)濟(jì)和社會效益。

1 水文水情信息概念及其大數(shù)據(jù)處理的優(yōu)勢概述

1.1 水文水情信息

水文的基本含義為自然界中水的變化、運動等各種現(xiàn)象，隨著我國經(jīng)濟(jì)和科技的快速發(fā)展，水文事業(yè)也取得諸多成就。比如當(dāng)前我國所建成的水文站點達(dá)到3 萬多處，形成了集流量、水位、雨量、蒸發(fā)以及地下水為一體的水文站網(wǎng)。其中在水文基礎(chǔ)設(shè)施建設(shè)方面，水文系統(tǒng)、水文測報技術(shù)和手段等處于不斷更新和完善階段，并且從國外引進(jìn)先進(jìn)存儲器技術(shù)，實現(xiàn)了雨量、水位的自動化記錄[1]。水情信息指的是能夠反映水流量、降水量、蒸發(fā)量、水質(zhì)以及水位等水文要素以及水工程運行特征的信息，隨著水情信息處理技術(shù)的不斷更新，逐漸形成了實時信息接收、處理的系統(tǒng)，能夠?qū)崿F(xiàn)水情圖表、水情信息處理以及水情電報翻譯等自動化的處理。

1.2 水文水情信息大數(shù)據(jù)處理的優(yōu)勢

隨著我國社會經(jīng)濟(jì)的快速發(fā)展，逐漸將先進(jìn)大數(shù)據(jù)技術(shù)融入到水情信息處理過程中，促使水文工作效率的不斷提升。其中在大數(shù)據(jù)環(huán)境下，借助無線網(wǎng)絡(luò)平臺能夠?qū)崿F(xiàn)水情觀察數(shù)據(jù)的及時傳遞，對于水文工作人員而言，能夠從中獲取準(zhǔn)確的水域信息。另外，借助自動化設(shè)備和系統(tǒng)遠(yuǎn)距離采集和傳輸水文信息，能夠及時獲取某一觀測地區(qū)某個時間段的水流量、降水量以及水位等信息，為水文工作人員科學(xué)決策提供參考依據(jù)。

2 當(dāng)前水文水情信息大數(shù)據(jù)處理現(xiàn)狀分析

眾所周知，水文測站檢測涉及水流量、蒸發(fā)量、河水水位以及降水量等多方面的內(nèi)容，在大數(shù)據(jù)技術(shù)的應(yīng)用下，這些水情信息可以通過傳輸平臺進(jìn)行實時自動化的傳輸，工作人員或者用戶可以利用客戶端設(shè)備隨時查看水情相關(guān)的數(shù)據(jù)和信息。同時，在利用大數(shù)據(jù)技術(shù)處理水文水情信息時，需要借助自動測報系統(tǒng)、數(shù)據(jù)存儲和分析系統(tǒng)等多個系統(tǒng)相互配合來實現(xiàn)，水文水情信息大數(shù)據(jù)處理現(xiàn)狀具體如下：

2.1 采集數(shù)據(jù)

在當(dāng)前大數(shù)據(jù)環(huán)境下，水文相關(guān)部門主要依靠自動測報系統(tǒng)中的傳感器設(shè)備來采集、存儲雨量、流量以及水位等所需的信息，在編譯的基礎(chǔ)上將采集的水情信息傳遞給測站水情中心，信息中心在獲取數(shù)據(jù)之后對其進(jìn)行分析、檢查以及反饋，對應(yīng)的完成水情信息處理工作。其中為了獲取某段時間內(nèi)的水文水情信息，可以借助編碼技術(shù)對采集的數(shù)據(jù)周期進(jìn)行設(shè)定，比如在采集實時水位、水流量以及降水量等相關(guān)數(shù)據(jù)時，借助大數(shù)據(jù)技術(shù)來真實反映出水文要素的變化情況，在此基礎(chǔ)上對這些數(shù)據(jù)信息進(jìn)行整理、匯編形成報表，以便用戶查閱和使用[2]。另外，為了確保所收集的水情信息的精確度和時效性，水文測站可以應(yīng)用遙感技術(shù)、衛(wèi)星云圖等相關(guān)信息軟件來實現(xiàn)數(shù)據(jù)的處理和傳輸。

2.2 存儲數(shù)據(jù)

在水文水情數(shù)據(jù)信息采集的基礎(chǔ)上，需要進(jìn)一步對采集的數(shù)據(jù)進(jìn)行存儲，其中在數(shù)據(jù)存儲環(huán)節(jié)，需要將關(guān)系型數(shù)據(jù)、分布式文件系統(tǒng)進(jìn)行有機結(jié)合，達(dá)到對水文相關(guān)數(shù)據(jù)有效存儲的目的。為了實現(xiàn)元數(shù)據(jù)利用關(guān)系型數(shù)據(jù)庫服務(wù)RDS 和質(zhì)量管控數(shù)據(jù)的有效管理，需要結(jié)構(gòu)化處理遙感技術(shù)獲取的數(shù)據(jù)；另外，借助分布式文件存儲服務(wù)OSS、大數(shù)據(jù)表格存儲系統(tǒng)對一些圖像數(shù)據(jù)、歷史數(shù)據(jù)以及文件數(shù)據(jù)進(jìn)行有效存儲[3]。

同時，由于這兩種數(shù)據(jù)存儲過程具有統(tǒng)一性，在實際應(yīng)用過程中能夠?qū)崿F(xiàn)有效的互補，可以根據(jù)實際情況靈活選擇，以滿足數(shù)據(jù)不斷增長的需求，凸顯出數(shù)據(jù)存儲彈性擴(kuò)容的目的，促使數(shù)據(jù)結(jié)構(gòu)朝著多樣化的方向發(fā)展。比如在水文數(shù)據(jù)建設(shè)環(huán)節(jié)，便于定義和描述所有結(jié)構(gòu)化的數(shù)據(jù)，并且在水文系統(tǒng)中能夠促使數(shù)據(jù)的易用性、可用性增強。

2.3 分析數(shù)據(jù)

在水文數(shù)據(jù)獲取的基礎(chǔ)上需要對借助大數(shù)據(jù)技術(shù)根據(jù)實際需求對數(shù)據(jù)進(jìn)行分析和處理。其中在該環(huán)節(jié)主要依靠并行計算系統(tǒng)、云計算引擎通過集成系統(tǒng)對大量的分布式數(shù)據(jù)進(jìn)行高速交換、計算，以實現(xiàn)多點高效數(shù)據(jù)的處理，并且能夠有效彌補以往水文數(shù)據(jù)處理中計算效率低下的問題。其中在使用云平臺過程中為了充分挖掘水文數(shù)據(jù)，可以有效利用線性或者非線性統(tǒng)計方法，形成高效數(shù)據(jù)分析平臺來實現(xiàn)，并且實時更新、計算所獲取的數(shù)據(jù)，充分發(fā)揮水文數(shù)據(jù)對災(zāi)情預(yù)警、調(diào)度決策方面的參考作用。同時，可以借助人工神經(jīng)網(wǎng)絡(luò)、決策樹等深入探究數(shù)據(jù)之間的內(nèi)在聯(lián)系，利用數(shù)據(jù)中隱藏的內(nèi)容為行業(yè)之間數(shù)據(jù)共享、融合做好鋪墊。另外，為了便于后期水文工作人員查閱或者檢索相關(guān)水文資料，可以對圖片、視頻以及文本等非結(jié)構(gòu)性的數(shù)據(jù)進(jìn)行分析，在此基礎(chǔ)上按照關(guān)鍵詞或者主題對水文資料進(jìn)行有效的分類，便于對這類資料的查找和瀏覽。

2.4 分發(fā)和管理數(shù)據(jù)

為了確保云計算過程中水文數(shù)據(jù)各個端口之間的及時有效分發(fā)，各業(yè)務(wù)部門快速聯(lián)動，需要充分發(fā)揮數(shù)據(jù)分發(fā)系統(tǒng)的作用。同時，除了預(yù)報系統(tǒng)、服務(wù)單位等之外，數(shù)據(jù)服務(wù)的對象還可以延伸到其他范圍，在大數(shù)據(jù)計算的基礎(chǔ)上，云平臺可以通過API 接口將獲取的水文數(shù)據(jù)分析結(jié)果發(fā)放給公眾，向公民有效宣傳水文相關(guān)常識，以達(dá)到服務(wù)范圍逐漸擴(kuò)大的效果[4]。另外，為了將水文實時數(shù)據(jù)、歷史數(shù)據(jù)等信息傳遞給用戶，充分發(fā)揮水文數(shù)據(jù)分析的結(jié)果，還需要利用水文水情大數(shù)據(jù)平臺對整個界面進(jìn)行統(tǒng)一化管理，比如通過大數(shù)據(jù)技術(shù)對各個服務(wù)組件進(jìn)行合并，運用API 方式對整個監(jiān)控和運行界面進(jìn)行調(diào)控，間接性提高該平臺的可操作性。

3 水文水情信息大數(shù)據(jù)處理的相關(guān)策略分析

3.1 對攔截、糾錯機制進(jìn)行建設(shè)和完善

隨著信息技術(shù)的不斷更新和發(fā)展，在水文水情大數(shù)據(jù)處理各環(huán)節(jié)的效率不斷提升，水文數(shù)據(jù)交互環(huán)節(jié)各功能不斷優(yōu)化，使數(shù)據(jù)的精確度和時效性得以保障。但對應(yīng)地對數(shù)據(jù)處理各環(huán)節(jié)的容錯率提出更高的要求，一旦在某環(huán)節(jié)出現(xiàn)數(shù)據(jù)處理錯誤，則會導(dǎo)致隨后各環(huán)節(jié)數(shù)據(jù)處理的準(zhǔn)確性，并且由于缺乏攔截、糾錯機制的有效約束，無法對出現(xiàn)錯誤的數(shù)據(jù)進(jìn)行及時的糾正，可能會間接性造成相關(guān)損失。因此，為了適應(yīng)后期水文信息傳輸自動化水平不斷提升的需求，需要重視攔截、糾錯機制的建設(shè)和完善，結(jié)合實際情況合理設(shè)置錯誤數(shù)據(jù)攔截功能，比如一旦發(fā)現(xiàn)錯誤的數(shù)據(jù)，需要及時對所接收的數(shù)據(jù)邏輯程序、數(shù)據(jù)的合理性等進(jìn)行全面的判斷，如果請求入庫的數(shù)據(jù)未達(dá)到設(shè)置要求，需要阻止其進(jìn)行數(shù)據(jù)系統(tǒng)，并且需要發(fā)出提醒或者警告的提示，讓相關(guān)工作人員介入進(jìn)行有效處理。

3.2 充分發(fā)揮多庫合一數(shù)據(jù)信息采集方面的優(yōu)勢

隨著水文服務(wù)對象范圍的不斷擴(kuò)大，水文信息大數(shù)據(jù)處理各環(huán)節(jié)數(shù)據(jù)量的增加，對于水文工作者而言，運維工作量會不斷增多，對應(yīng)的水文工作效率、準(zhǔn)確率會受到一定影響，不利于水文工作朝著高效、準(zhǔn)確地的方向發(fā)展。針對這種現(xiàn)狀，要求在水文數(shù)據(jù)庫建設(shè)和利用過程中，需要結(jié)合具體情況合理地應(yīng)用云計算和大數(shù)據(jù)等技術(shù)，并且為了確保數(shù)據(jù)獲取的各個路徑暢通，可以利用多庫合一的方式來收集水文相關(guān)數(shù)據(jù)信息[5]。在具體數(shù)據(jù)庫建設(shè)環(huán)節(jié)，可以根據(jù)歷史庫、預(yù)報庫以及實時庫等對數(shù)據(jù)庫進(jìn)行合理、科學(xué)地分類，凸顯出各個數(shù)據(jù)庫的功能，更好地為用戶服務(wù)。同時，為了減輕水文工作人員運維工作負(fù)擔(dān)，可以充分利用多庫合一的優(yōu)勢，對不同數(shù)據(jù)庫進(jìn)行差異化管理和維護(hù)，從而達(dá)到為客戶服務(wù)的目的。

3.3 重視基礎(chǔ)信息管理

在水文水情信息大數(shù)據(jù)處理過程中，為了防止站點信息缺失、賬號重復(fù)所引發(fā)的災(zāi)情防控工作的失誤，需要重視站點基礎(chǔ)信息管理，對當(dāng)前報汛站點管理制度、措施等進(jìn)行優(yōu)化，對水文水情數(shù)據(jù)進(jìn)行科學(xué)管理。比如，為了防止站點重復(fù)賬號的出現(xiàn)，要求每個報訊站點通過國家水情中心進(jìn)行注冊，在基礎(chǔ)上允許其開展水情傳輸、報訊等工作，并且為了避免數(shù)據(jù)之間發(fā)生沖突，需要采取統(tǒng)一化的標(biāo)準(zhǔn)對數(shù)據(jù)來源進(jìn)行把控。

同時，對于水調(diào)部門、防汛部門而言，需不斷更新決策軟件的編制，重視站點經(jīng)緯度等基礎(chǔ)信息的登記，從而確保基礎(chǔ)信息的完整性和準(zhǔn)確性。

4 結(jié)語

與傳統(tǒng)的水文水情信息處理方式相比較，應(yīng)用大數(shù)據(jù)技術(shù)對水文水情信息進(jìn)行處理，能夠確保所獲取水情信息具有真實性和時效性，并且在實際維護(hù)和安全性方面具有一定的優(yōu)勢，比如在開展防汛減災(zāi)工作過程中，應(yīng)用大數(shù)據(jù)技術(shù)能夠及時、準(zhǔn)確獲取全面的數(shù)據(jù)和信息，能夠依據(jù)這些數(shù)據(jù)信息作出最佳的防汛減災(zāi)方案，從而使災(zāi)害的損失降到最低。