王 蕾,楊 洋
(1.西安迪飛科技有限責任公司,陜西 西安 710018;2.陜西省引漢濟渭工程建設有限公司,陜西 西安 710010)
河長制工作的主要任務包括全面落實最嚴格水資源管理制度、河湖水域岸線管理保護、水污染防治、水環境治理、水生態修復、執法監管共六方面[1]。伴隨著信息化發展的大趨勢,河長制管理數據的收集、存儲、分析和應用逐漸流程化、電子化。由于涉及河湖管理和保護的方方面面,在工作中生成、累積的管理、業務數據規模更是龐大,如何分析、如何深入應用這些珍貴數據的問題也隨之而來。
河長制工作開展至今涉及了大量的數據,包含水文、水質、地質、供水、環境等多個專業,結構化、非結構化和半結構化并存,下至終端河湖水位、水質、生態等檢測數據,上至河長考核評定、社會公眾問題反饋與建議等管理數據都是河長制管理數據的范圍,涉及面較廣。由于傳統數據技術的限制,傳統數據分析基于結構化、關系性的數據,而且往往是取一個很小的數據集,來對整個數據進行預測和判斷,針對多專業、多領域、多種數據結構并存的河長制管理數據而言,分析、應用深度十分有限。
自2011 年麥肯錫公司發布了關于大數據的報告,對大數據的優勢和應用前景進行詳細描述后,大數據技術發展迅速,在多個領域得到了應用,尤其突出表現在物聯網方面。通過各類龐大的數據深入分析和挖掘,使其能夠從日常點擊習慣中判斷用戶的近期、遠期需求、工作領域等內容。大數據技術以其超強的決策力、洞察力得到了大眾的認可,它的出現也為河長制管理數據提供了新的處理模式,面對海量、復雜的河長制信息,挖掘潛質和預測準確性都是十分可觀的[2]。基于大數據技術的河長制管理應用,將不斷提高河長對河湖事件的預測能力和河湖管理的執行能力,全面促進河長制實施。
大數據技術的精髓是能夠將大規模數據中隱藏的信息和知識挖掘出來,為人類社會經濟活動提供依據,提高各個領域的運行效率,甚至整個社會經濟的集約化程度[3]。基于河長制管理數據的大數據特性,要想利用好大數據技術并最大限度的發揮數據效能,需要經歷大數據采集、導入、預處理、分析、挖掘等多個處理階段。
數據采集是通過設備獲取河長制管理的相關數據,最后傳輸、存儲,是大數據技術應用必不可少的基礎。由于河長制管理涉及多個與河湖管理相關的領域,數據采集終端設備較多。如針對河流生態,河長需及時了解水位流量情況,采集設備應包含水位計、流速儀、流量計等各種傳感器,遙測終端機等傳輸設備,服務器、攝像頭監控,平臺等監控中心軟硬件;針對水污染防治,河長需及時排查河湖污染源,加強綜合治理,采集設備應至少包括各排污口的水質采集設備、水質監控設備等。
為確保數據安全進入數據倉庫或數據集市,應根據現場環境和終端設備情況,考慮成本后選擇適當的傳輸方式(有線傳輸、無線傳輸等),確保數據的安全性與連續性。
為實現對來自各專業領域的海量數據進行有效的分析,需將這些來自終端的數據導入到一個集中的大型分布式數據庫,或者分布式存儲集群,同時進行一些簡單的有效信息篩選和預處理,修正殘缺數據,去除多余和錯誤數據,篩選有效數據進行集成。由于數據量級原因,導入與預處理過程對網絡環境和設備性能要求較高。數據預處理的常見方法有數據清洗、數據集成與數據變換,具體的處理方法需對比、分析終端數據和預處理后數據庫結構確定,通常通過引入數據庫中間件或建立數據交換平臺實現[4]。
分析是大數據技術的主要內容,是對數據進行計算、分析、處理,并獲得有價值結果的過程。通過數據分析能實現河長制管理的三個層次[5]:一是數據統計層次,實現統計學方法對數據進行排序、篩選、運算、統計等處理,如當月水位變化情況,當月各采樣點水質情況排行;二是聯機分析處理層次,指基于數據倉庫的在線多維統計分析。它允許用戶在線的從多個維度觀察某個度量值,從而為決策提供支持,如通過近三年水位、流量、水質數據獲取每月發展趨勢;三是從海量河長制管理數據中找到未知的、可能有用的、隱藏的規則,通過關聯分析、聚類分析、時序分析等各種算法發現一些無法通過觀察圖表得出的深層次原因,如水位、流量變化和當地GDP 的關聯趨勢,某個采樣點水質情況與當期降水量、當地特殊政策甚至居民風俗的相關程度等。
常見的大數據分析工具有 Hadoop、IBM SPSS Modeler、Teradata、國云大數據魔鏡等。河長制管理工作涉及部分保密數據,應謹慎選擇適合的分析工具,完成集成或自主研發,確保數據的安全性。
河長制是我國河湖工作的重大決策,重要性不言而喻,而河長制管理數據具有的大數據特性,恰恰為河長制管理提供了新的思路和方法。目前,部分河長制實施機構已初步規劃或建立了基于大數據技術的河長制管理平臺,力求通過大數據技術提升管理工作效率,但由于河長制管理涉及領域較廣、各專業數據相對獨立的現狀,應用深度有限,應用效果也有待提高。
河長制管理工作涉及面較廣,數據來源及結構復雜,如何梳理繁雜的數據關系,建立有序、可持續發展的數據來源通道,使相關數據都能實現價值最大化是大數據技術的基礎任務。頂層設計是運用系統論的方法,從全局的角度,對河長制管理工作的各方面、各層次、各要素進行統籌規劃,以集中有效資源,高效快捷地實現預期目標。因此,適用、先進的頂層設計規劃是實現河長制管理大數據應用的基礎。然而,由于信息化建設的漸進性(投入一定時間后才可能見成效)致使應用成效緩慢;頂層決定性(一把手工程)致使信息化個性發展緩慢,因此,常常陷入遇到問題被動解決,走一步看一步的局面,嚴重影響數據應用效果。
河長制管理數據的來源不盡相同,具體職能部門劃分明確,尚未建立有效的相關數據共享機制,多數數據未實現共享。同時,隨著信息化技術的發展,多數職能部門已建立了相關業務系統,基本完成了基礎數據的展示、簡單統計等功能,但業務系統相對獨立,數據、流程無法互聯互通,缺乏統一集約化數據平臺。數據共享困難嚴重制約了大數據技術的實施。
河長制管理大數據的維護直接影響了近期或遠期的數據分析結果,是數據挖掘的保障。鑒于信息化建設的漸進性,多數單位尚未重視或忽略了數據管理、維護的重要性,未同步配套數據維護的相關設備、人員、經費等資源,致使信息化建設成果后期用不起來的僵局頻頻再現。
雖然大數據技術發展日新月異,但基于以上或其它原因,大數據分析在河長制管理中的應用目前主要限于數據統計層次,尚處于起步階段,仍有很大的進步空間。
河長制全面實施后,相關信息量增長迅速,雖然河長制信息化發展迅速,但基于大數據技術的管理方式剛剛起步,根據河長制的工作特點和大數據技術的發展趨勢,未來河長制管理大數據應用的發展趨勢主要表現為大數據挖掘逐漸深入和相關技術深度融合。
近年來,對河長制管理大數據的應用主要體現在數據統計層次和簡單的聯機分析處理層次,缺乏深入分析與挖掘,數據的價值未深入展現。積累大量的數據后,未來河長制管理大數據應用將以深層次挖掘為主。通過相關數據分析,找尋潛在關聯性與規律性,用于指導當前工作,對未來事件進行預測,為下一步工作提供參考方向。例如,分析連續10 年水位、流量的情況,結合當地同時段國民經濟和社會發展統計公報中的GDP、三次產業構成等因素,通過類比及趨勢推算分析,制定合理的河流生態保護措施;分析當年某區域內水質特點與當地產業政策的相關要素點,定量相關程度,制定適合的水生態修復目標,增強目標實現的可行性。
指與GIS、無人機遙感、人工智能等前沿創新技術深度融合。大數據、GIS、遙感、人工智能等前沿技術的產生和發展均來自社會生產方式的進步和信息技術產業的發展。而前沿技術的彼此融合將能實現超大規模計算、智能化自動化和海量數據的分析,整合大量的河長制管理數據,使數據發揮最大的使用價值,助力河湖生態全面、健康發展。例如,在水域、岸線范圍內按一定比例布置水質監測點、視頻監控,無人機實施巡航,利用GIS、遙感技術建立水域、岸線的三維協同地理信息平臺,接收監測數據,同時打通水文、供水、環境等數據的共享壁壘。利用大數據技術對河流的水位、流量、含沙量等進行深入分析,結合其他河流要素和社會要素,制定適宜的河流健康指標,編制河長制工作規程,明確管理責任,對河長制工作規范化具有指導意義;也可利用大數據技術對大量的水質相關數據進行分析、挖掘,若突發監測點水質數據異常事件,信息平臺將自動提醒河長異常點位置,推送該監測點近期視頻監控,幫助查找異常原因,同時根據無人機巡航路線實時修正平臺地理信息數據,根據數據分析與挖掘,超前確定水域、岸線內可能受影響區域,在平臺中對區域影響元素和影響程度進行定性、定量預測并展示,顯示相各專業、各單位聯系人員信息,為河長進行突發事件應急處理提供思路和方向,有效提高應急處理能力。
河長制實施至今,陜西省共設河長湖長3.53 萬名、河警2156 名,帶動了陜西水安全體系建設,其中,13 個市縣基本建成河長制管理信息平臺,西安市河長制管理信息系統更是被水利部評為水利實用技術“優秀示范工程”,渭河流域陜西段河長制管理工作已見時效。但是,目前的河長制管理信息平臺更側重于信息的采集和預處理,隨著河長制管理工作不斷深入,信息平臺的應用范圍和潛在需求必然逐步深入,數據挖掘將成為主要趨勢。因此,從現在起制定適宜的頂層設計勢在必行。通過大數據技術的應用,無疑將顯著提高河長制管理工作水平,真正釋放信息化福利,達到珍貴數據價值最大化,是信息化水平迅速發展的迫切需要。然而不可忽視的是,鑒于部分數據的保密性,應建立相關數據的共享機制,配套建立對應的安全機制,確保信息安全見實效,為大數據技術的深入應用提供安全的支撐環境。