大數據技術在喀斯特地區水土保持的應用芻議

(貴州水土保持監測站， 貴州 貴陽 550002)

大數據技術在喀斯特地區水土保持的應用芻議

岳坤前顧再柯

(貴州水土保持監測站， 貴州 貴陽 550002)

本文主要分析大數據的特點、技術及其在喀斯特石漠化區水土保持應用方面的探討，充分發揮大數據在喀斯特石漠化地區水土保持監測、監督管理、效益評價、資源整合與共享中的作用，以期為水土保持的發展提供更多的參考。

喀斯特石漠化；大數據；技術；水土保持；發展

1 大數據概念

喀斯特地區由于其特殊的地質地貌，具有地表—地下雙層水土流失方式，數據收集零散、缺乏整體性，總體性分析薄弱。2013年水利部印發了《全國水土保持信息化規劃(2013—2020)》，明確了水土保持信息化的指導思想、建設原則和近期遠期目標[1]。水土保持信息化的發展需要以大數據為基礎，因此，加強大數據在喀斯特地區水土保持中的應用，成為當務之急。

大數據是指利用常用軟件工具捕獲、管理和處理數據所耗時間超過可容忍時間的數據集。也就是說大數據是一個體量特別大，數據類別特別大的數據集，并且這樣的數據集無法用傳統數據庫工具對其內容進行抓取、管理和處理。目前大數據技術已是社會發展的主流，但在喀斯特石漠化地區水土保持中的應用較少。喀斯特石漠化地區，山高坡陡，地形條件較為復雜，水土保持經過長時間的研究已取得一定的成果，但由于對數據的處理、監督、管理等方面存在諸多的問題，一直未得到解決。因此，需要將大數據技術應用到水土保持研究中，對數據進行深入的對比分析、提出有效的防治和監督管理措施，解決水土保持中存在的問題。

2 大數據的特點

隨著大數據的不斷發展，應用的范圍更加廣泛，其特點由規模性、多樣性、高速性等向價值性、 準確性、 可變性、 真實性轉變[2]，在不斷發展的過程中由覆蓋的廣度向技術的深度逐漸轉變。

a. 數據量大。大型數據集，指的是數據集的規模從TB級別躍升到了PB級別[3]。隨著科學技術的不斷發展，為了滿足不同使用者的需要，互聯網產生了大量的數據，而這些數據的繁雜、重疊等原因導致形成數據集。

b. 數據類型多樣化。數據類型多樣化是大數據的另一特征，由于要滿足不同類型用戶的需要，數據形式已經不再局限于單一的文本信息，現階段已產生了很多半結構化的數據，這對大數據技術有了更高的要求，增加了數據存儲和處理的難度。

c. 數據處理速度快。數據處理速度快指大量實時數據流的快速收集、 創建、 分析、 處理、 傳送的過程。通過高速的處理器和性能良好的服務器， 企業能快速地將數據反饋給用戶[3]。面對龐雜的信息，傳統數據的處理方式較復雜，顯得更為機械化，已跟不上時代發展的需要，因此對大數據技術有了更高的要求，處理數據的速度必須跟上數據增長的速度，才能更好地服務于大眾。

d. 數據的價值性。由于數據具有結構性和非結構性，非結構信息存儲了大量關聯的數據，造成數據冗雜、結構性差，降低了數據的可利用性，因此，從龐大的數據中對有效信息進行提取，并進行分析、總結、發現其中的規律，預測未來的發展趨勢，成為有價值的信息，為人們提供更多的便利。

3 大數據技術

大數據技術是預測分析、數據挖掘、統計分析、人工智能、自然語言處理、并行計算、數據存儲等技術的綜合運用，組成了當今最熱門的數據工程化應用技術新實踐[4]。

3.1 大數據采集技術

大數據采集一般分為大數據智能感知層和基礎支撐層。智能感知層主要包括：數據傳感體系、網絡通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術。基礎支撐層提供大數據服務平臺所需的虛擬服務器，結構化、半結構化及非結構化數據的數據庫及物聯網絡資源等基礎支撐環境。重點攻克分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化接口技術，大數據的網絡傳輸與壓縮技術，大數據隱私保護技術等。

3.2 數據挖掘與分析

數據挖掘技術主要是通過從海量網絡數據中發掘潛在的高價值數據，需要通過神經網絡方法、數據庫方法、統計學、 人工智能、回歸分析等多種方式來實現。 互聯網上的數據十分駁雜， 數據質量直接影響了數據分析的結果， 數據挖掘技術可以有效控制錯誤數據的比例， 同時可以盡量排除無關數據。

大數據分析技術主要是運用已有數據挖掘和機器學習技術以及數據網絡挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術，突破基于對象的數據連接、相似性連接等大數據融合技術，突破用戶興趣分析、網絡行為分析、情感語義分析等面向領域的大數據挖掘技術，將大量數據中所隱藏的潛在信息呈現出來，分析其發展趨勢。

3.3 數據顯示與檢索

數據顯示技術可以將分析處理后的有用數據傳輸給用戶。用戶可以直接理解傳統結構化數據，對于非結構化數據，通過計算機圖形學與圖像處理技術，實現用戶對數據的可視化。

一段時期的數據僅代表了一個階段的發展過程，具有一定的時效性，因此，大數據技術的實時處理能力直接關系到數據的質量價值，通過建立大數據的數據庫，將多個不同結構的數據存儲在虛擬平臺上，實時更新，實現不同結構數據的檢索整合，給用戶提供更多的參考。

3.4 大數據展現與應用技術

大數據技術在海量數據基礎上進行深入的分析，提高工作效率，為社會經濟的發展提供建議，提升人民的生活水平。現階段大數據已逐步運用到各行各業中，比如公安系統、電子信息行業、政府決策等。

4 大數據在喀斯特石漠化地區水土保持中的應用

4.1 大數據技術在喀斯特石漠化地區水土保持監測中的應用

喀斯特石漠化地區由于特殊的地質構造，地形復雜，地勢陡峭，對監測技術要求高。現階段喀斯特石漠化區水土保持已取得一定的研究基礎，但監測數據更新不及時，且數據較為分散，沒有統一的數據分析體系，存在整合性差、區域局限性，對于該地區的深入研究造成一定的困難。為實時了解喀斯特石漠化地區的水土流失進展情況，將大數據的技術充分運用到喀斯特石漠化地區的監測中，以現有的監測技術為基礎，對每個監測點的數據進行及時更新，運用現有技術充分整合數字資源，摒棄冗雜數據，及時掌握水土流失變化過程，調整生態環境的保護措施，避免生態環境進一步惡化，為喀斯特石漠化地區水土保持治理實現突破性進展。

4.2 大數據技術在喀斯特石漠化地區水土保持監督管理中的應用

水土保持監督需要以水土保持監測為基礎，水土保持監測涉及的主要內容包括區域水土保持基礎信息采集、區域水土流失宏觀動態監測、典型樣區水土流失微觀動態監測等[5]。在宏觀方面，通過RS、GIS對水土保持的植被覆蓋、土地裸露、動土變化等進行數據收集；在微觀方面，通過GPS、坡度儀、皮尺等進行基礎數據的采集，提供較為精準的數據，對開發建設項目的進度、監督執法情況、安全生產防護措施、棄渣處理、水土流失防治措施等進行全面追蹤，及時上報數據系統。未來依賴于大數據基礎之上的水利信息化建設，國家對水土保持生產建設項目實行全過程、全方位管理，從水土保持方案上報、審查、審批，到水土保持監理、水土保持監測，再到最后的驗收評估和水土保持驗收，全過程實現信息化管理。未來對生產建設項目開工前衛星定位、定邊界，開工后衛星對照監控，發現未編制方案、邊界變化等情況自動報警，指導地方水土保持部門現場核實和監督[1]，實現生產建設項目的全程跟蹤。精準的數據定位，連續的數據追蹤，對比分析不同區域生產項目的優勢與劣勢，總結經驗，對水土保持項目進行有效的管理。

4.3 大數據技術在喀斯特石漠化地區水土保持效益評價中的應用

目前，很多項目開展了前期的基礎性工作，但后期水土保持所產生的效益評價數據較缺乏，以及科研數據的真實性存在一定的漏洞。因此，通過建立水土保持大數據，以客觀、真實的數據，對比數據不同階段的變化，保障水土保持效益數據具有科學、合理性，分析水土保持所產生的社會效益、經濟效益、生態效益，對同類項目的水土保持效益進行橫向對比，不同類型的項目相互借鑒優勢的地方，不同年度的水土保持效益進行縱向對比，分析不同類型水土保持效益，評價其水土保持項目的可持續性。

4.4 實現水土保持大數據在喀斯特石漠化地區的資源整合與共享

喀斯特石漠化地區的研究已取得一定的數據基礎，但系統的通用性、各地區的協調性差。數據具有地區局限性，數據零散，共享性差，沒有統一的數據結構體系，且多為有償服務，更有數據無法查找、下載的情況，普遍存在只能滿足基本業務處理的需求，不能滿足整體數據的綜合性分析，為深入的研究帶來一定的困難。

為更好地服務于科研的發展，實現數據搜索的便捷化，以大數據為核心的水利信息化建設工作正在逐步開展起來。通過對喀斯特石漠化地區水土保持各方面數據的收集，形成一套較為完整的水土保持業務運行系統，篩選可利用數據，整合水土保持數據資源，形成不同類型的水土保持專題信息庫，實現數據資源共享，為科研的深入研究提供更多的數據支持。

4.5 以大數據為基礎的自然災害的預警

建立對自然環境各項指標的監測系統，對各項指標進行實時更新，建立以大數據為基礎的各項指標預警線，實現自然災害的定量化監測，提前預知自然災害，做好防護措施，特別是重點區域的堤防、岸壩和險工險段做好防災準備，將自然災害造成的損失降到最小，切實解決人們的生產生活需要。

5 討 論

大數據近年來才被人們所廣泛提及，在喀斯特地區水土保持中的應用還處于初級階段。喀斯特石漠化地區由于其特殊的地質構造，對數據的收集還存在一定的差異性、困難性，各方面的管理還不規范。今后還需要加強以下兩方面工作：?加強大數據技術在喀斯特水土保持應用中的標準化，量化各項指標，實現數據的有序性，采用“誰采集，誰負責”的方式，保障數據的真實性、完整性、精確性、時效性、可使用性，提升數據的可利用性；?建立以大數據為基礎的喀斯特水土流失的實時監控，將喀斯特各地區的水土保持數據進行整合，實時掌握水土流失動態，實現水土流失的可持續性監督，及時發現問題，做好防護措施。

隨著喀斯特地區水土保持工作的不斷深入，需結合現代化的科學技術，運用最前沿的大數據技術，對水土保持基礎資料的采集、存儲、挖掘與分析，揭示和掌握水土流失規律，改善生態環境，促進區域經濟發展。

[1] 姜德文.加快水保信息系統建設 適應現代管理新要求[J].中國水土保持，2015(1):1-2，7.

[2] 肖江蘇.大數據的概念、特征及其應用探究[J].電腦編程技巧與維護，2016(3):57-58，61.

[3] 蔣曉科，符龍生，李健.大數據關鍵技術及應用研究[J].電腦知識與技術，2015(8):5-6.

[4] 張鋒軍.大數據技術研究綜述[J].通信技術，2014(11):1240-1248.

[5] 李姍姍.3S技術在水利信息化建設中的應用和發展[J].福建農業，2014(8):175.

DiscucsiononapplicationofbigdatatechnologyinsoilandwaterconservationatKarstarea

YUE Kunqian, GU Zaike

(GuizhouSoilandWaterConservationMonitoringStation,Guiyang550002,China)

In the paper, the characteristics of big data, the technology and the application thereof in soil and water conservation of Karst rocky desertification area are analyzed mainly. Making full use of big data at Karst area in terms of soil and water conservation, supervision benefit evaluation, resources intergration and share, so as to provide more references for the development of soil and water conservation.

Karst rocky desertification; big data; technology; soil and water conservation; development

10.16616/j.cnki.10-1326/TV.2017.12.003

TV213

A

2096-0131(2017)12-0008-04