基于站網監測數據處理方式探討

姚 建

(遼寧省營口水文局,遼寧 營口 115000)

0 引 言

遼寧省水文監測工作始于1902年,經過百余年的建設發展,尤其是2011年以后,國家更加重視水文建設,大量增加基礎設施建設投入,建立國家防汛抗旱指揮體制,通過實施山洪災害防治工程、地下水自動監測工程、中小河流水文監測和水資源監測建設工程,形成了覆蓋主要河流、分布合理、觀測完整的工程。

基本滿足全省防汛抗旱減災、水利工程規劃建設、水資源管理和水生態環境保護需求的水文站網監測體系。

目前,遼寧省水文數據整編系統主要采用南方水文數據整編系統2.0版,所需的相關數據和控制信息整編系統主要依靠手工輸入。本年的水文數據整編結果在次年1月底提交。隨著經濟社會的快速發展,特別是實行最嚴格的水資源管理制度、河流(湖泊)綜合管理評價、生態水管理等對水文數據的時效性和質量提出了更高的要求,在保證水文數據質量的前提下,提高水文數據重組的及時性具有重要意義。

針對新形勢下水文站網管理和水文監測數據分析工作的需求,結合當前水文站網現狀,遼寧省水文局2013年底提出了水文站網綜合管理系統建設的想法,系統建設于2017年初開始,2019年完成研發投入試運行,到目前為止,系統運行正常,達到了設計的要求。

1 現狀分析與存在問題

目前,國內對水文站網管理、水文監測數據處理和數據重組的研究主要集中在利用信息手段實現智能化處理的單一功能。例如,對基于WebGIS的水文站網管理系統進行了初步研究。介紹了WebGIS在青島市水文站網可視化管理系統中的應用,分析了系統的組成和功能。云南省開發設計了在線水文數據整編系統。介紹了系統的總體框架的功能、特點和優勢。以上研究提高了水文資料整編的效率和水文站網管理水平,但是有些功能不適合北方季節性河流水文特征,需要對這些功能模塊進行重新構建,同時目前國內還沒有一套完整的、系統的水文站網綜合管理系統,能實現水文監測數據處理分析、水文資料整編及站網管理的實時處理分析。

遼河水庫管理服務中心為遼寧省水文產業管理機構,主管全省水文工作。近年來,響應國家的號召和自身發展的需要,省級中心逐步開展了信息化建設。目前,全省水位,降水遙測系統,水情會商系統、旱情會商系統、水文業務協同系統等,還有大批應用系統在規劃和研發中。在站網管理和水文監測數據處理方面,還沒有實現水文監測數據采集、資料整編和站網管理等工作的實時處理和智能化處理,急需提高水文監測數據智能化處理水平。

1.1 站網管理

隨著水文站網監測系統的不斷完善,水文監測站、觀測項目和觀測內容不斷增加,水文站網的基本信息沒有采用計算機管理。隨著遼寧自動測報系統的建設和實施,信息的采集、傳輸方式和信息量發生了很大的變化。水位、降水、自動測流信息量巨大(按每6min一條記錄,單條記錄可達10萬條以上)。面對上述情況,必須先解決數據整編以前的數據傳輸、排序、篩選、校對、檢索等信息處理問題,以緩解信息量突然增加帶來的人工數據處理困難。流量、泥沙等測驗方式多采用常規儀器,人工記錄,只能通過人工輸入計算機通過互聯網將測驗結果實時傳輸到省中央服務器。部分站點采用了較為先進的測流設備和測沙設備,可以形成數字結果,但數據傳輸仍需手動上傳。

在全國水文系統中,缺乏集數據采集、站網管理和數據整理于一體的系統。為了提高水文數據整理的效率和質量,提高水文站網的管理水平,全面提升水文現代化和智能化水平,迫切需要對該系統進行研究。

1.2 水文數據處理

水文監測數據存在高度關聯性和海量性的特征,一項水文監測要素的改變可能影響另一項要素的計算成果。當發現某項水文要素發生變動,人為分析關聯表項和關聯要素,人工進行逐一改算處理,關聯要素無法實現跨表檢索和自動改算,經常有漏改、錯改現象,進而造成資料成果不一致。這種人工修改方式存在效率低、工作量大和易出錯等問題。

1.3 水文資料整編

水文資料整編是一項非常繁雜而精細的工作,從監測信息收集到整編成果產生要經過很多中間處理環節,耗費大量的人力資源。為了滿足社會對水文資料的時效性的要求,2018年水利部水文司提出次年1月底提交上年度水文資料整編成果的要求。新形勢下,社會對水文資料的時效性要求越來越高,采用原有的水文監測資料處理方法已無法滿足水文監測工作要求。

遼寧省水文數據整編主要采用由長江委員會統一開發的2.0版南方水文數據整編系統。整編系統所需的相關數據和控制信息主要依靠人工輸入。部分功能未考慮北方地區河流的水文特征,例如冰情要素特征和泥沙特征等,在后期需要人工處理分析。隨著形勢變化,水文資料整編系統也在逐步升級。原長江委統一研發的《南方片水文資料整編系統》2.0版已由新的《全國水文資料整編系統》(5.0版)代替。新版系統要求采用網絡數據庫系統,全省一個數據庫,通過網絡實現工作站與數據庫系統連接。

目前釆用從地市局抽調專家集中進行水文資料審查、人工評定資料質量的方式,這種方式存在審查時間長、任務繁重、耗費大量人力和經費開支大等問題。

1.4 水文監測數據全自動一體化處理

目前國內還沒有一個系統,能實現從數據采集、數據檢查、處理分析、計算到成果與全國水文資料整編系統的無縫對接[1-2],來實現水文監測數據采集、資料整編和站網管理等工作的實時處理,來提升水文現代化和智能化水平。

2 主要研究內容

2.1 水文監測數據收集

對遼寧水文站網監測體系內的站點基本信息、水文監測數據、設施設備信息、運行維護記錄、水文資料整編等各種信息集成在一個平臺上,進行集中管理,便于信息維護和快速檢索。

2.2 水文監測數據智能處理

通過大數據分析等建立水文人工智能專家數據庫,采用自動處理為主,人機交互操作為輔的操作方式,對數據分揀、篩選及校對等,實現實時水文監測信息的快速處理,提高了在站人員處理水文監測資料的工作效率。

2.3 水文監測數據在線審查

系統對電子版水文監測原始資料進行了歸檔分類和處理分析,納入到水文監測數據在線審查平臺,設定不同人員的功能權限,組織專家在線審查,具有靈活機動性和公開透明性,同時提高了水文資料審查的效率。

2.4 站網綜合管理系統建設

水文站網綜合管理系統基于Internet的B/S模式,用戶可以通過瀏覽器對水文站網進行操作,該系統采用通用軟件開發平臺和模塊化設計結構,具有良好的可移植性和可擴展性[3-4]。該系統部署在省中心的應用服務器上,實現了全省水文系統內水文站網的綜合管理。水文測站網的綜合管理系統包括水文測站網管理、水文監測管理、設施和設備管理、水文監測數據人工智能分析、水文資料網上審查及與全國水文資料整編系統無縫對接等功能。

3 監測數據智能化處理技術

3.1 實體數據庫

3.1.1 Oracle數據庫

考慮到水文站網綜合管理系統信息量大,處理速度要求快速,并考慮未來更多的并行處理要求以及權限分級要求,系統采用Oracle作為主要數據庫管理系統。Oracle引入了共享SQL和多先導服務器架構,以減少Oracle的資源占用并增強Oracle的能力[5-6]。它提供了基于角色分工的安全保密管理,在數據庫管理功能、完整性檢查、安全性和一致性方面具有良好的性能。它支持大量多媒體數據,如二進制圖形、聲音、視頻和多維數據結構。它提供了一種新的分布式數據庫的功能,可以很容易地讀取和寫入數據通過網絡在遠程數據庫,并對稱復制技術。水文站網綜合管理系統的信息存儲采用Oracle數據庫管理系統。管理的數據庫有基本信息數據庫、基礎水文數據庫、原始水文資料庫及實時監測信息庫。基本信息數據庫是本系統信息維護的主要數據庫,也是本次進行表結構設計的重點庫,對其它3個庫的操作主要是資料檢索。

3.1.2 基本信息數據庫

基本信息數據庫存儲水文站網綜合管理系統要維護的各種基礎信息,本次定義的表名如下:

1)站網管理類:包括水文水位站、降水蒸發站、變遷前水文(位)站、變遷前降水蒸發站、規劃水文(位)站以及規劃降水蒸發站一覽表。

2)監測管理類:包括巡測區主要項目監測方式表、單站測驗任務表、斷面布設情況表、洪水等級劃分表、水流沙監測方案表、報汛方案表、降水蒸發場地布置情況表、測站高洪應急預案、突發水事應急預案。

3)設施設備管理類:包括站房情況、氣象場情況、觀測碼頭情況、基本水尺情況、自記井基本情況、測流纜道基本情況、水電通信情況、基礎設施維護記錄、斷面標志及基線、設備信息登記、設備軟件及圖片類、應急監測設備配置情況、巡測設備配置情況、水文站設備配置情況、降蒸站設備配置情況。

4)基礎資料管理類:包括測站沿革、測站水準點沿革表、河段情況、實測基本水尺斷面、高洪水位流量關系、水位面積關系、水位特征值、流量特征值、流速特征值、含沙量特征值、降水特征值、常用系數、典型洪水簡述、典型洪水過程。

5)文件及資料管理類:包括文件、資料、測站圖片類、測站資料。

6)報表生成系統類:包括固定檢索表存儲。

7)水文資料檢索類:包括測站資料逐年登記表、檢索申請單、檢索資料清單。

8)水文資料整編管理類:包括質量評定權重分配表、水文(位)站及降水蒸發站成果一覽表、分類錯誤及扣分準則重大問題處理記錄、審查會議通知表、審查專家任務分配表、審查錯誤登記表、單站質量評定表、紙質資料入庫登記表。

3.1.3 基礎水文數據庫

本系統只對該數據庫訪問,提供對基礎水文數據庫的水文資料檢索功能,對數據庫的信息不進行維護。數據庫表結構的設計已在中華人民共和國水利部《基礎水文數據庫表結構及標識符標準》(SL 324-2005)中定義,本系統不需對表結構進行設計。

3.1.4 原始水文數據庫

原始水文數據存放水文監測原始觀測記錄資料、用監測儀器生成的原始數據文件及通過遙測系統上傳的原始觀測信息等。本系統提供對原始信息的檢索功能,數據庫的維護由其它工程的相應系統完成。

3.1.5 實時監測信息庫

實時水文監測信息數據庫存儲《遼寧省水文站網綜合管理系統》要維護的各種基礎信息,本次定義的表名如下:

1)測站信息表:包括水文水位站整編信息表、降水蒸發站整編信息表、關注站點及其項目信息、流域水系對照表。

2)基本信息:包括水準點沿革表、斷面情況表、水尺沿革表、降水蒸發儀器沿革信息、水文水位儀器沿革信息、水位級、系數及單位信息、注解碼對照表、信息輸入習慣保存。

3)測量類:包括水準測量參數引用表、水準測量記錄表、水尺零高及斷面樁測量參數引用表、水尺零高及斷面樁測量記錄表、水道斷面參數引用表、水道斷面測量記錄表、大斷面樁測量記錄表、大斷面成果參數引用表、實測大斷面成果表、大斷面分級水位成果表、斷面樁測量成果表、水尺零高測量成果表、水準點測量成果表。

4)水位類:包括實測水位、基本水尺水位記錄、比降水尺水位記錄、篩選水位計算表、實測水位問題表、基本水位月報成果、比降水位月報成果。

5)流量類:包括流量、輸沙測驗基本信息、暢流期流量測驗記錄表、冰期流量測驗記錄表、暢流期流量、輸沙測驗記錄表、冰期流量、輸沙測驗記錄表、水面浮標測速記錄表、水面浮標圖形坐標表、水面浮標測深及計算表、聲學多普勒流速儀流量測驗記錄表、不確定度計算參數、糙率計算參數表、實測流量成果表、糙率計算月報成果。

6)泥沙類:包括全斷面混合法輸沙測驗記錄表、調壓積時式輸沙測驗記錄表、單沙測驗記錄表、單沙(調壓積時式)測驗記錄表、泥沙水樣處理記錄表、實測輸沙率成果表、單沙月報成果。

7)記錄類:包括實測降水記錄、人工觀測降水記錄、實測降水問題表、降水日表、遙測降水月報成果、人工觀測降水月報成果。

8)蒸發類:包括水面蒸發量觀測記錄、水面蒸發量觀測記錄、蒸發輔助項目觀測記錄、蒸發(E601、20cm)月報成果、蒸輔月報成果。

9)水(岸)溫類:包括水(岸)溫觀測記錄、基本水溫月報成果。

10)冰情類:包括冰情觀測、冰厚、河段冰厚、河段冰厚、冰流量、冰速、冰厚測驗記載表、冰情觀測月報成果、斷面冰厚月報成果、水內冰成果表、河段冰厚成果表。

11)其它類:包括各項目錯誤記錄登記表、綜合統計、上傳文件說明表、進程登記表、成果流程說明表、進程狀態表、測站各項目資料處理時間表、資料更新及補算、系統參數、站點參數表、表更新痕跡、三校錯誤登記。

3.2 SQL Server數據庫

由于水文資料整編系統需要,還需要配置SQL Sever 2008及以上版本的數據庫管理系統。SQL Sever數據庫是一個可擴展的、高性能的數據庫管理系統,涉及到分布式客戶計算;

擁有強大的事務處理能力和管理工具,采用多種方法確保數據的完整性;支持對稱多處理器架構、存儲結構、開放數據庫互連,并具有自主的SQL語言,滿足水文監測數據海量性、多要素、多元異構性等特征對數據庫的要求。

SQL Sever數據庫主要用來存儲水文資料整匯編數據及相關的記錄信息,實現了與全國水文資料整編系統的無縫對接。SQL Sever數據庫存儲的整編記錄信息,是指需要進行資料整編的水文監測記錄信息,包括水流沙數據庫、降水數據庫及整編說明等。

3.3 數據自動改算

數據自動改算是通過Orarcle底層數據庫的設計,將庫表中的數據字段,通過設計檢索表,將包含該字段的數據和相關數據的其他表關聯起來,實現關聯元素的跨表檢索和自動批量修改數據。

水文要素之間有很高關聯性,一項要素的改變可能影響另一項要素的計算成果。以往靠人工進行逐一改算處理,目前同類系統中還未有自動改算的功能。本系統采用后臺實時監測處理技術處理,如果發現某一水文要素發生了變化,系統根據水文要素在時間上和工程上的變化,自動分析影響范圍的時間,當前要素對其他因素的影響,通過定位影響對象確定范圍,根據修改情況的記錄評估范圍,自動修改范圍內的每個要素。由于系統具有自動改算的功能,有效地解決了因資料修改造成成果不一致等問題,保證了各類整編成果的一致性。

3.4 水文監測數據全自動一體化處理

站網綜合管理系統采用后臺監聽(LISTENING)技術,完成水文監測結果的信息采集、檢查、分析和計算,與全國水文數據匯編系統無縫對接,月報結果歸檔,實現自動化集成處理。自動處理部分的任務包括監測信息采集、系列合理性校核、結果分析計算、結果歸檔、結果修改等功能。為了使這些功能自動化任務處理,它們必須在后臺運行的方式工作。

后臺有一個特殊的任務,它監聽處理過程,并在系統啟動時自動開始運行。一方面,監控進程根據系統安排的任務,定時啟動子進程,完成相應的工作;另一方面,根據相應的每個用戶請求,處理相應的臨時任務。

4 結 語

水文站網監測體系日益完善后,站點不斷加密,監測信息逐步全面覆蓋,有利于收集更多、更全面的水文監測信息,更好地為當地防汛、水利規劃與工程設計、水資源管理及社會各界服務。水文站網絡監測系統的建設投入了大量的資金用于水文站的建設,包括試驗點的建設、試驗設施設備的配置、設施設備的運行和維護,都是為了獲得準確的水文監測數據。為此研究水文監測數據智能化處理技術就顯得尤為重要,該技術的應用能夠快捷,便利的對水雨情結果進行整編,又能保證各類水文資料的整編成果。