基于大數據技術的高效節水灌溉應用研究

邊曉南，李 楠，夏文君，張洪亮，張 雨，王 雯

（1.德州市水利局，山東 德州 253000； 2.德州城建工程集團有限公司，山東 德州 253000）

1 引 言

黃河流域是我國重要的農耕文明發源地，是小麥、玉米、棉花等典型北方農作物的主要產地。 然而，流域內降水時空分布不均、水污染嚴重、水旱災害頻發，嚴重制約當地農業生產和經濟社會的持續穩定發展。 實現水資源供需平衡，推動水資源高效利用，滿足農業灌溉需求一直是重要研究課題。 水利部在《“十四五”期間推進智慧水利建設實施方案》中明確提出提升農村供水管理信息化水平，建設灌區管理信息化平臺，實現農作物需水預估和旱情監測、水資源調度等功能［1］。如何將大數據技術應用于農業水資源信息化建設領域，很多學者已做了深入研究，如：劉鑫等［2］構建了基于大數據的水資源動態配置模型，解決“水源分割”問題，統籌供水能力的統一調配；員青澤［3］提出了利用大數據技術獲取農業生產全部數據，將人工智能準確應用到農業領域；馬德輝等［4］構建了山東黃河時空大數據中心架構，探討黃河流域山東區域多源、多維、多態的數據存儲和數據支持服務；王軍［5］開展了黃河流域空天一體化大數據平臺架構關鍵技術研究，探究大數據技術在模型評估和預測等方面的應用前景。 以上成果為黃河流域高效節水灌溉提供了參考，但從水資源節約集約利用角度來說，通過先進信息技術實現對高效節水灌溉的水量統一調度和精準供水，目前還存在研究空白。 本文旨在通過對高效節水灌溉大數據技術應用進行研究，實現不同數據資源的有效整合，為節水灌溉提供數據分析支持，從而挖掘節水潛力，為推動黃河流域高效節水灌溉應用提供參考。

2 高效節水灌溉大數據平臺設計

2.1 高效節水灌溉大數據平臺所需數據

高效節水灌溉的基礎是不同區域灌溉過程與農作物單位面積產量的關系分析，核心是全域可供水量約束下實施不同供水方案時各區域局部經濟效益與整體經濟效益的權衡。 高效節水灌溉的開展需要綜合考慮黃河流域主要農作物用水需求、農業灌溉供水和農業生產經營情況，其中：農作物用水需求主要考慮各品種農作物生長階段的需水量和生長環境，其相關數據是高效節水灌溉的基礎數據；農業灌溉供水需要依據國民經濟社會發展規劃要求、流域水資源承載能力和節水灌溉建設要求，按照區域農業水資源分配量選擇合適的節水灌溉技術和規模［6］，合理開展高效節水灌溉建設工作。 因此，為實現高效節水灌溉大數據技術的有效應用，需要從各級政府機關、農業、水利、氣象、國土和統計部門、科研機構等多方面采集數據資源，并獲得空間地理信息供應商、互聯網企業等第三方大數據建設平臺的數據支持。 高效節水灌溉大數據平臺所需數據詳見表1。

表1 高效節水灌溉大數據平臺所需數據

數據資源具有實時性，數據更新和數據分享貫穿于整個農業生產過程中，根據數據的實時變化調整農業灌溉水量；數據資源具有不確定性，農業灌溉涉及海量、多樣性的數據來源和應用需要，數據分析需要應用不同的模型和算法。 因此，要實現節水灌溉的數據融合和應用，必須利用大數據技術開展智能、科學、高效的數據管理［7］。

2.2 高效節水灌溉大數據平臺設計方案

大數據是現代數據分析的前沿技術，旨在解決傳統數據庫中數據采集和數據處理效率低下的問題。 大數據具有4 個特征即海量數據規模、多樣數據類型、快速數據流轉和低價值密度，其在獲取、存儲、管理、分析數據方面遠超出了傳統數據庫的能力范圍。 通過構建高效節水灌溉大數據平臺，將表1 內的農作物生育期、農作物生長環境、農業灌溉供水、政策法規、農業生產標準、農業經濟、地理信息等形成數據采集體系，通過大數據技術從監測終端、互聯網等采集數據信息，以大數據標準格式存入分布式結構的存儲系統，進行數據分析和數據挖掘，最終提供數據應用支持［8］。 高效節水灌溉大數據平臺結構見圖1。

3 高效節水灌溉大數據平臺功能實現

3.1 數據采集功能實現

對于節水灌溉相關的所有結構化和非結構化數據，數據量大、種類繁多、來源廣泛，需根據不同的數據傳輸模式，采用不同技術進行數據采集。 數據采集按照獲取方式分為實時數據同步、批量數據導入、網路爬蟲采集和移動數據傳輸，需要將來自終端、互聯網、水利業務系統、農業業務系統、網絡知識庫等的數據同步傳輸到大數據存儲系統中。

3.1.1 數據類型和采集方式

（1）實時數據。 該類型數據主要涉及需要接入平臺的農業和水利業務系統的日志采集、操作行為采集以及通過數據接口傳輸的實時數據，利用基于Hadoop的Sqoop 技術實現實時數據與傳統數據庫的數據傳輸［9］。

（2）批量數據。 批量數據主要是數據庫和知識庫中的靜態數據，如農業、水利等相關業務系統的基礎信息、第三方地理信息平臺提供的地理區域圖、農作物和水旱災害基礎信息等，這些數據來源于傳統關系型數據庫MySQL 和Oracle，利用基于NumPy 的Pandas 工具將靜態數據以EXCEL、CSV、TXT、HTML 等方式快速批量導入大數據存儲系統［10］。

（3）網絡數據。 網絡數據包括來自互聯網的農業生產和農業經濟信息、政府部門公開發布的政策文件、涉農法律法規、農業灌溉調查評價和水資源規劃等信息，主要是通過網絡爬蟲技術從網頁中抽取此類非結構化數據并存儲到大數據存儲系統［11］。

（4）移動數據。 移動數據的采集包括來自水資源遠程在線監測系統和土壤墑情在線監測系統的水量、水質、土壤墑情等數據，氣象部門監測站的降雨量、氣溫、氣壓、濕度等數據以及GPS 信號數據，利用物聯網、5G 通信等移動傳輸技術實現此類數據的上傳和存儲。

3.1.2 數據預處理

采集的數據因類型、傳輸協議不同，需要將數據格式進行統一化處理，同時采集的數據存在不完整、重復傳輸、無效傳輸等情況，需要對數據進行有效化處理。利用數據倉庫技術（ETL）對采集的數據進行抽取、清洗和裝載，將分散零亂、標準不統一的數據整合到一起，再將這些異構數據流向統一目標數據，使統一目標數據成為高效節水灌溉大數據平臺的基礎。

3.2 數據存儲功能實現

采用分布式結構（NAS／SAN 混合結構）將不同類型的數據分別存儲于不同的功能服務器，同時采用云存儲技術提高系統存儲結構的構建效率［12］，具體存儲結構見圖2。 分布式存儲的優點在于能夠有效提高系統存儲容量和數據吞吐量，采用分布式結構可以大大提高系統的擴展性，根據信息技術發展和功能需要對系統進行低成本升級改造。 在NAS／SAN 混合結構中，NAS（網絡接入存儲）提供文件級數據訪問和共享服務，SAN（存儲區域網絡）實現海量、面向數據塊的數據傳輸。 此外，采用基于Hadoop 的分布式文件系統HDFS 進行數據文件管理［13］，其中Hive 進行數據倉庫的統計分析，HBase 管理分布式數據庫、并行處理大量數據。

3.3 數據處理功能實現

數據處理功能是系統的運行核心以及實現系統應用功能的基礎。 數據處理功能包括數據計算、數據分析和數據挖掘，其中：數據計算是對實時監測、用戶訪問、業務請求等動態數據以及基礎信息、知識信息、模型調用等離線數據進行高速并行計算，利用云計算模式下的異構加速計算體系（CPU＋GPU 協同計算）滿足數據處理需求［14］，利用GPU 進行模型計算、圖形渲染計算和并行計算，可以提高數據計算效率。 數據分析通過對存儲的標準數據進行解析來提取有用信息，開展描述性統計和推斷性統計，具體過程是對系統樣本數據（水量、土壤墑情、農作物價格）等有關變量之間的關系進行描述，利用樣本統計值（某農業試驗站農作物需水量、某灌區供水量、某市農業種植情況）推斷總體統計值，從而形成統計結論，幫助系統使用者對數據開展詳細研究和概括總結。 數據挖掘是對系統數據的關系和特征進行探索，經過算法檢索從大批量的數據信息中找出未知的、可能有用的、隱藏的規則，并通過關聯分析、聚類分析、時序分析等算法發現一些通過一般分析方法無法得出的深層次預測結果。 數據處理功能實現的關鍵技術見表2。

表2 數據處理功能實現的關鍵技術

數據分析和數據挖掘都是對數據進行有效處理，隨著數據處理技術的不斷優化，數據分析和數據挖掘的邊界逐漸模糊。 數據分析更注重既定目標的結果分析，數據挖掘則是利用各種模型和技術對目標對象進行預測分析，通過兩者結合來為使用者提供最直觀和最優化的決策選擇。 例如，在數據分析中，使用拉格朗日插值法和區間兩階段法可得出引水灌溉、土壤、氣象等相關數據的連續變化趨勢，數據挖掘則基于變化趨勢使用BP 神經網絡算法完成農作物需水量預報模型，從而預測農作物生長期不同階段的需水量。 以某一小麥試驗田為例，利用大數據處理技術得出的生育期需水量預測結果見表3。

表3 小麥生育期缺水量預測結果

3.4 數據應用功能實現

數據應用功能的實現是數據處理功能的可視化體現，采用B／S（Browser／Sever）和C／S（Client／Sever）相結合的服務模式向使用者提供對應的服務支持［15］。高效節水灌溉大數據平臺中主要應用功能是圍繞可視化的高效節水灌溉的各類監測功能模塊（見圖3），通過圖形發現和數據規律，利用移動應用程序（APP）、PC 客戶端、展示屏和公眾服務平臺等服務于農業水資源水量調度、高標準農田建設、農業灌溉區域節水評價等工作。 終端具體操作設計如下。

（1）移動APP。 高效節水灌溉APP 使用者可以是農業生產人員、農業技術人員和水利、農業管理人員，為使用者提供農作物生長需水量、生長環境變化情況、節水灌溉設備運行狀態和農業水旱災害預警等相關信息，使用者根據系統預測數據規劃灌溉水量，從而實現農作物的精準灌溉。

（2）PC 客戶端。 通過高效節水灌溉大數據平臺的IE 客戶端，進行系統基礎信息處理和運行狀態維護、開展應用端間的交互通信等操作；利用五大監測功能模塊的實時分析圖為水利、農業管理人員和科研人員提供農業政策、技術資訊、灌溉實時數據分析結果、區域農作物生長態勢、農業生產態勢以及經濟分布態勢等信息支持。

（3）展示屏。 展示屏可以快速、便捷地部署于黃河引水灌溉部門、黃河流域和各行政區水量調度部門、農業管理部門等，直觀顯示農作物長勢監測圖、區域農作物分布一覽圖、灌溉水量運行圖、農業災害狀態分布圖等，從而提高決策的科學性。

（4）公眾服務平臺。 利用微信公眾號、專題網頁等公共服務平臺發布高效節水灌溉政策法規、區域建設情況與運行情況、區域內土壤墑情、農業生產等資訊，建立公眾與管理者的通信渠道。

4 高效節水灌溉大數據技術的應用研究

4.1 農業水資源水量調度

水資源水量調度的意義在于對區域水資源可利用總量的有效分配，合理調整農業灌溉水量和居民生活用水、工業用水、服務業用水的比例。 黃河流域的農業灌溉仍未根除落后的“大水漫灌”高耗水模式，黃河下游多數區域為黃河水超載區和地下水超采區，對黃河水和深層地下水的使用有著嚴格限制，傳統灌溉模式下用水需求量和許可水量之間的矛盾無法得到有效解決。 通過大數據技術的應用，結合各類農作物種植分布相關信息和需水量模型，能夠對年度農業用水量開展科學合理地預測，水資源管理部門制定灌溉計劃水量并根據水旱災害情況及時調節灌區供水量，從而實現精準灌溉，推動地下水超采綜合治理和水資源可持續利用。

4.2 高標準農田建設

高效節水灌溉是高標準農田建設的重要內容，高標準農田建設需要對農田數量、質量和分布利用情況進行專項清查，并結合區域水資源規劃和高標準農田建設規劃綜合實施。 通過大數據技術可以將區域農業專項規劃、水資源規劃和高標準農田建設規劃等進行有效融合，利用高效節水灌溉大數據平臺實現數據處理和可視化操作，為高標準農田建設提供統一規劃調度支持，進一步提升高標準農田建設質量和水平。

4.3 農業灌溉區域節水評價

農業灌溉區域節水評價是農業水資源管理和節水研究的重要內容，在農業灌溉用水的基礎上，充分考慮區域農作物產出、農作物種類、種植結構、氣候及土壤等因素，采用高效節水灌溉大數據平臺中節水指數設定和模型計算，實現科學地農業灌溉節水評價［16］。 依據農業灌溉區域節水評價結果，盡可能減少灌溉水量投入，實現最佳經濟、社會、生態環境效益。 利用大數據技術對農作物生長周期數據、農作物生長環境數據、農業生產和農業經營數據等進行有效采集，通過數據處理為節水評價提供詳細、完整、全面的依據，為節水灌溉工程提供合理有效的科學決策方案。

5 結 論

通過建設高效節水灌溉大數據平臺，可以提升高標準農田建設的信息化水平，將現有節水灌溉相關的資源和需求有效整合到系統中，打破“數據孤島”的桎梏，形成完整的高效節水灌溉信息化體系。 高效節水灌溉大數據技術的應用，能夠為水利管理部門和農業管理部門提供新的工作思路，推動農業節水技術改造、水資源高效集約利用，助力鄉村振興、農業農村現代化建設取得新成效。