天津市“三農”大數據平臺構建

張保巖 趙麗華 辛北軍

摘要：天津市農業信息化發展中存在的數據不能有效整合、數據利用率低、分析模型缺乏等問題，導致增加了數據統一治理的難度和成本，降低了政府在服務水平和監管效率上的施政能力。本研究在充分分析數據資源和應用現狀及問題的基礎上，提出了天津市“三農”大數據平臺的整體框架，設計了包括農業大數據中心基礎子平臺、數據倉庫系統、基礎管理服務子平臺、數據開發開放子平臺、可視化數據挖掘系統、智能檢索系統、農業大數據“一張圖”應用、運維管理系統的核心功能，描述了基于J2EE平臺的實現方式。通過建設天津市“三農”大數據平臺，進一步加快實施針對農口各部門信息資源在基礎數據元及共享業務元中的整理和挖掘，實現全市統一的涉農基礎數據元管理體系，構建統一的大數據集中處理基礎設施和大數據綜合服務平臺，全面服務于天津農口各單位對大數據信息共享、數據挖掘和智能服務的需求，推動天津市農業農村大數據產業共建融合和創新發展。

關鍵詞：農業大數據;天津;三農;數據共享;平臺;農業信息化

中圖分類號：S126 ??文獻標志碼： A ?文章編號：1002-1302（2020）17-0245-05

信息技術與經濟社會的交匯融合引發了數據迅猛增長，數據已成為國家基礎性戰略資源，大數據正日益對全球生產、流通、分配、消費活動以及經濟運行機制、社會生活方式和國家治理能力產生重要影響。大數據源于互聯網及信息技術的廣泛應用，大數據概念體系在2014年左右逐漸成形，發展出相關的技術、產品、應用和標準，并逐步形成包括數據資源與API、開源平臺與工具、數據基礎設施、數據分析、數據應用等內容的大數據生態系統[2-3]。隨著云計算、互聯網、泛在網、物聯網等現代信息技術在各行各業的大量應用和實踐，大數據產業正快速發展成為對數量巨大、來源分散、格式多樣的數據進行采集、存儲和關聯分析，從中發現新知識、創造新價值、提升新能力的新一代信息技術和服務業態[4]。

我國農業農村信息化工作經過近十多年的發展，信息化基礎設施已有較大改善，廣播、電視、電話、互聯網等紛紛入村入戶，智能手機、農業物聯網、智能農機具逐漸發展并普及，為農業大數據的發展應用提供了堅實的基礎[5]。以大數據為代表的現代信息技術推動了農業生產方式、流通方式、貿易方式的變革[6-7]。2015年，原農業部發布了《關于推進農業農村大數據發展的實施意見》，明確了農業農村大數據發展和應用的總體要求、農業農村大數據發展和應用的重點領域、實施進度安排以及組織領導和保障。2020年中央一號文件更是提出了依托現有資源建設農業農村大數據中心，加快物聯網、大數據、區塊鏈、人工智能、第五代移動通信網絡、智慧氣象等現代信息技術在農業領域的應用[8-9]。

近年來，天津市緊緊圍繞自身智慧城市定位，以“推動數據整合、深化應用創新、培育壯大產業”為重點，強化大數據發展和應用的頂層設計，統籌建設大數據基礎設施，在保障網絡信息安全的前提下，推進政務信息數據和社會公共數據資源共享開放[10-11]。天津市農業農村委員會及其下屬單位還分別建設和使用了48套信息化系統，涵蓋種植業生產、畜牧業生產、漁業生產、服務業以及農業科教、產業、監管、農產品質量安全、新農村建設、農村經營、農村改革等各類三農行業，以上系統已采集大量結構化和非結構化信息資源，并分散部署和存儲在異構網絡環境中，目前缺乏在統一的基礎設施環境和統一的數據標準體系框架內完成數據清洗、數據集成、數據加載和資源分享，增加了數據統一治理的難度和成本，降低了政府在服務水平和監管效率上的施政能力，并在信息資源整合挖掘和大數據服務層面沒有做到統一管理和精準服務，數據資源的使用效率較低，數據壁壘仍然存在[12-13]。因此，需通過建設天津市“三農”大數據平臺，進一步加快實施針對農口各部門信息資源在基礎數據元及共享業務元中的整理和挖掘，實現全市統一的涉農基礎數據元管理體系，構建統一的大數據集中處理基礎設施和大數據綜合服務平臺，全面服務于天津農口各單位對大數據信息共享、數據挖掘和智能服務的需求，推動天津市農業農村大數據產業共建融合和創新發展[14-15]。

1 現狀及問題分析

1.1 數據資源現狀及問題

隨著天津市涉農信息資源梳理工作的開展，全市農業農村數據資源收集、整合、處理、分析等方面取得了一定的成效，已完成天津市農業農村委員會26個專題、48件業務事項、105個數據大項、1 800多個指標小項的業務元數據進行專項采集，共采集數據資源326萬多條，其中結構化數據2 421 439條、非結構化數據159 971條共計35.8 GB、WEB接口數據 32 637 條、外部單位數據共計645 439條，數據規模涵蓋了3 683個行政村、213家龍頭企業、544家農民合作社、22 188 名村干部、139 404 名基層黨員、6 355 名入黨積極分子、790個幫扶單位、2 062 名駐村干部和120 075戶農村困難群體，為全市農業大數據處理中心建設提供了數據基礎和業務基礎，同時天津市農業農村委員會也出臺了一系列的政策措施，為今后農業農村大數據發展及智能農業建設提供了政策保障。但目前還存在一些亟待解決的問題，如農口信息化系統建設較多、數據資源相對分散、數據資源共享互通方式單一、大數據分析挖掘深度不足、數據綜合利用效能不足等。

1.2 應用系統現狀及問題

近年來，天津市農業農村委員會在農業物聯網區域試驗工程、“三網聯動”工程和“金農工程”等框架體系下完成了農業信息化和智能農業建設和改進，建設了共計48個在用農業信息化應用系統，極大地增強了天津農業農村工作的信息化水平，并取得了較好的示范效應和規模效應，完成了異構信息系統在共享數據資源和縱深業務領域的整合和歸并。但是在大數據處理中心以及大數據智慧化平臺建設方面卻凸顯出一些問題，如大數據中心建設滯后、大數據分析模型應用缺乏、鄉村數據分析應用類型片面。

2 “三農”大數據平臺架構

結合天津市農業農村委員會及其下轄單位工作特點和實際情況，在進行平臺規劃、設計、開發、部署和運行管理規劃時應堅持“實用、可靠、先進、標準、開放”的方針，遵循“總體規劃、統籌兼顧，需求牽引、面向應用，統一規劃、分級使用，整合資源、集中管理，統一標準、統一架構，平臺統建、資源共享，安全運行、穩定可靠，維護便捷、跟蹤可控，技術創新、能力拓展，服務驅動、開放協作”的基本原則，設計平臺框架如圖1所示。

從圖1可以看到，基礎管理服務平臺完成對現有系統及數據資源進行收取和歸集，建設數據治理、數據集成、任務調度和專題管理等子功能，并將處理后的數據結果集通過數據清洗、規則引導和結果合并存儲在數據倉庫子系統中，建設農業基礎數據倉庫、農業資源要素數據倉庫、農業經營交易數據倉庫和農業管理服務數據倉庫，并為可視化數據挖掘系統提供指標數據分解和業務模型解析渠道，形成數據挖掘算法、數據挖掘流程和數據挖掘實例，為農業大數據“一張圖”系統和數據開放系統提供數據和模型支撐。其中農業大數據“一張圖”系統提供數據檢索和瀏覽、地圖數據專題分析以及地圖預警功能為天津市農業農村委員會各級領導、業務處室和行業局辦提供一張圖“畫圖作戰”功能;建設智能檢索系統提供全文檢索和語音檢索服務;建設數據開放系統為農口直屬單位和社會公眾提供數據資源開放訪問和下載業務。

3 功能設計

基于對業務需求和用戶需求描述，本平臺在功能需求方面主要建設基礎管理服務子平臺、數據開發開放子平臺、可視化數據挖掘系統、智能檢索以及農業大數據“一張圖”等五大類主要功能。

3.1 農業大數據中心基礎子平臺

以大數據技術體系架構下的數據源技術、數據采集層技術、數據存儲層技術、數據計算層技術、數據業務層技術以及數據展現層技術實現集數據統一采集、數據清洗整合、數據分布式存儲、流式并行計算、智能搜索引擎、挖掘算法模型于一體的農業大數據處理中心基礎技術平臺。

3.2 數據倉庫系統

通過Hadoop資源權限管理技術和分布式數據倉庫（基于HIVE）技術建設農業大數據處理中心數據倉庫子系統。數據倉庫子系統主要由以下五大類數據倉庫構成：農業基礎數據倉庫、農業資源要素數據倉庫、農業經營交易數據倉庫、農業管理服務數據倉庫以及涉農大數據處理中心日志類數據倉庫。

3.3 基礎管理服務子平臺

基礎管理服務平臺基于Hadoop大數據處理框架，整合開源技術庫和商業化的工具組件，對農業大數據處理中心數據倉庫中的各類數據資源進行整合、挖掘、歸并、處理和共享。基礎管理服務平臺主要由以下9個功能子系統組成：數據治理子系統、數據集成子系統、云化ETL子系統、任務管理子系統、專題管理子系統、文件管理子系統、接口管理子系統、資源申請子系統以及統計分析和數據畫像子系統。

3.4 數據開發開放子平臺

數據開發開放平臺將建立統一的面向農口各業務部門和單位內部使用的數據開放信息門戶，對農業大數據處理中心中匯聚的信息資源進行數據檢索、數據申請和數據下載等操作。數據開放子系統建設內容包括：數據開放后臺管理、數據開放資源管理、數據開放統一門戶、數據開放統計分析、注冊及授權管理以及個人中心等功能。

3.5 可視化數據挖掘系統

可視化數據挖掘系統以知識圖譜為可視化數據挖掘模型體系，以數據挖掘算法為手段，以Hadoop大數據計算框架下的數據挖掘組件Mahout為計算組件，搭建起一套基于海量農業信息資源的可視化數據挖掘系統，用戶可以在這套系統提供的圖形化數據挖掘操作平臺中的完成數據挖掘流程配置、挖掘節點關聯，數據挖掘算法配置等操作，此外通過數據挖掘系統提供的語義關聯、數據關聯、動態感知等底層功能，天津市農業農村委員會決策機構用戶還能在系統中完成智能查找、伴隨分析、智能標簽（畫像系統）等功能操作，全面提升用戶對農業農村智慧型大數據分析系統的使用體驗。

3.6 智能檢索系統

智能檢索系統通過完成對Hadoop大數據技術體系下的搜索引擎分布式處理框架和語音識別技術的集成，搭建智能檢索門戶系統，對農業大數據處理中心中存儲的海量農業信息數據資源進行快速、準確、高效的智能化信息檢索，可實現對結構化數據資源、非結構化數據資源以及其他數據資源的即席搜索、模糊搜索、高級搜索、空間搜索。

3.7 農業大數據“一張圖”應用

通過建設底層的地圖服務和應用引擎，建設農業大數據“一張圖”應用系統，實現農業土地現狀、農業產業結構、農村經濟發展、農產品生產流通和特色品牌農業建設等領域實現業務圖層疊加顯示、“一張圖”專題分析、地圖檢索以及信息監測和異常預警等服務。

3.8 運維管理系統

運維管理系統能實現自動化腳本部署、集成可控的任務調度、集成運維管理、可視化管理操作界面、平臺安全審計等功能。另外可通過運維管理系統實現信息資源目錄、三農大數據管理平臺、數據采集平臺等多個系統的一體化運維，降低平臺管理難度。此外運維管理系統實現對集群的狀態和上層應用服務的運行狀態和性能指標進行監控，對異常事件產生警報和記錄，為運行維護人員提供農業大數據處理中心以及上層應用的部署和配置管理。

4 平臺實現

平臺基于J2EE平臺進行開發，利用Spring boot、Duboo、Zookeeper搭建的共享服務平臺，用于RESTful、XML/JSON服務的快速開發、注冊、發現、路由等工作;利用Hadoop大數據體系技術，對海量農業數據進行并行計算和分布式處理;支持結構化數據庫系統Oracle＼Mysql＼Sqlserver、利用NoSql數據庫作為前端界面緩存數據庫;同時構建文件庫和異構索引庫存儲非結構化數據信息。平臺核心界面如圖2、圖3所示。

5 結論

天津市“三農”大數據平臺，符合電子政務、大數據、云計算產業整體發展規律，適合天津市農業農村委員會電子政務及信息化發展現狀的要求，是天津市農業農村委員會當前最為關鍵的信息化建設需要，為天津市農業信息化及農業大數據產業發展的深化與開展做出必要的拓展，對推動政府改革、提升政府工作效率、提升管理機構的科學決策能力，都有著重要意義。

平臺統一天津全市農口各單位、各部門農業信息化推廣及相關農業大數據建設底層計算環境，全面構建開放型、服務型、共享型的大數據處理技術中心;新建設數據倉庫系統、基礎服務管理系統和數據開放開放平臺，完成農業大數據處理中心技術管理平臺的搭建，實現對農業生產、農業經營、農業科技、農業貿易、農業市場、農業流通等各環節、各節點、各流程數據的分類管理、整合入庫、精準定位和開放服務，完成農業農村大數據“聚通用”最后一千米的建設;新建設可視化數據挖掘應用系統、智能檢索系統以及農業大數據“一張圖”應用系統，完成農業大數據處理中心技術服務平臺的搭建，構建面向天津市農業農村委員會各單位、部門綜合業務場景應用體系下的數據挖掘、預警預測、數據關聯、即席查詢、數據地圖等上層服務應用，最終實現天津市農業農村委員會各類信息資源的互聯互通、業務協同、信息共享和挖掘應用，進而全面提高天津市三農管理的綜合決策、監管治理和服務公眾的水平，加快天津市農業農村委員會農業農村管理方式和工作模式轉變，創新綠色經濟發展新業態，以大數據和信息化打造精準治理、多方協作的農業農村社會治理新模式[16]。

參考文獻：

[1]Gandomi A，Haider M. Beyond the hype： big data concepts，methods，and analytics[J]. International Journal of Information Management，2015，35 （2）： 137-144.

[2]Mayer-Schnberger V. 大數據時代[M]. 杭州：浙江人民出版社，2012：23-25.

[3]Kamilaris A，Kartakoullis A，Prenafeta-Boldú F X. A review on the practice of big data analysis in agriculture[J]. Computers and Electronics in Agriculture，2017，143：23-37.

[4]羅治情，官 波，陳娉婷，等. “三農”數據云平臺設計研究[J]. 江蘇農業科學，2018，46（17）：209-212.

[5]郝 炘，李建華，牛明雷，等. 物聯網背景下農業信息化建設的現狀、問題與對策研究[J]. 農學學報，2019，9（11）：67-71.

[6]吳文斌，史 云，段玉林，等. 天空地遙感大數據賦能果園生產精準管理[J]. 中國農業信息，2019，31（4）：1-9.

[7]Mario L，Jorge E H，Maria M E A D，et al. Agri-food 4.0：a survey of the supply chains and technologies for the future agriculture[J]. Computers in Industry，2020，117：103187.

[8]盧文林，李秀峰. 全國基層農技推廣信息化平臺農技咨詢數據庫的構建[J]. 中國科技成果，2013（2）：38-39.

[9]溫孚江，宋長青. 農業大數據應用、研究與展望[J]. 農業網絡信息，2017（5）： 31-36.

[10]海云瑞，張學儉. 寧夏農業物聯網大數據共享及綜合應用平臺研究與設計[J]. 寧夏農林科技，2017，58（9）：51-53.

[11]康春鵬，董春巖，王文月，等. 我國農業農村大數據發展應用研究[J]. 中國農業信息，2018，30（6）：100-104.

[12]郭雷風. 面向農業領域的大數據關鍵技術研究[D]. 北京：中國農業科學院，2018.

[13]Perakis K，Lampathaki F，Nikas K，et al. CYBELE-fostering precision agriculture & livestock farming through secure access to large-scale HPC enabled virtual industrial experimentation environments fostering scalable big data analytics[J]. Computer Networks，2020，168：107035.

[14]Shrivastava S，Marshall-Colon A. Big data in agriculture and their analyses[J]. Encyclopedia of Food Security and Sustainability，2019（1）：233-237.

[15]Sabarina K，Priya N. Lowering data dimensionality in big data for the benefit of precision agriculture[J]. Procedia Computer Science，2015，48： 548-554.

[16]錢 曄，孫吉紅，張 悅. 智能算法在農業大數據中的探究[J]. 北方園藝，2019（20）：156-161.