基于精細農業的大數據應用平臺構建研究

陶忠良　管孝鋒　劉彥妮

摘 要 本文闡述了農業大數據的概念與特點及存在問題，然后針對用戶對農業大數據平臺應用服務的需求，設計了面向精細農業的數據分析平臺，并詳細介紹了數據平臺的架構和功能服務。

關鍵詞 農業 大數據 智能分析 平臺構建

云計算、物聯網、大數據技術的日益發展，對社會各個領域的技術變革都產生了重大影響，其在數據挖掘和智慧應用等方面表現出很大優勢。本文基于大數據技術，分析了其在農業管理領域數據采集、處理、報告分析方面的應用服務，進一步推動農業信息化建設。

1 農業大數據發展現狀

1.1 農業大數據的概念與特點

農業大數據是大數據技術在農業領域的具體實踐，是將大數據技術運用到農業生產過程的多個環節中，[1]解決農業相關領域內多源數據的采集、處理和分析應用，最終為農業領域中不同用戶群體提供個性化的數據分析報告和可視化報表展示。

農業大數據具有自身的特殊性和復雜性，不僅具有海量數據，而且數據來源廣泛、數據即時性強、采集難度大等特點。首先，農業數據種類多樣，還包含了圖表、圖片、視頻等要素，其數據類型具有半結構化、非結構化數據類型特點。另外，農業生產過程中農作物易受溫度、濕度、施肥、蟲害管理等外界因素的影響，其存在著諸多差異。因此如何采集動態數據，并融合多源數據類型進行挖掘分析，進而提高農業數據個性化服務應用是農業數據服務的重要發展方向。

1.2 農業大數據應用中存在的問題

農業大數據在應用方面還處于初級階段，不同企業機構、用戶之間數據缺少共享，[2]其多將數據作為自有資源，未認識到數據共享的重要性。其次，信息平臺擴展性較差，對多源渠道采集的數據未能很好地進行標準化處理。在農業數據應用服務方面，當前服務對象多為企業、政府機構等專業人士，而普通農戶在數據信息服務方面的利用較低。[3]在農業數據個性化服務應用中，數據個性化定制化服務能力較弱。

2 農業大數據應用模式平臺設計

2.1 平臺設計原則與思路

農業大數據應用模式平臺利用物聯網、傳感器等數據信息采集技術構建覆蓋土壤數、肥料、氣象、農產品價格等多類數據的信息平臺，建立多源海量數據農業信息數據庫，通過數據標準化處理的一系列操作，為數據平臺用戶提供農業數據個性化定制及可視化查詢服務。

農業數據信息平臺首先采用多源數據匯集的原則，利用大數據技術將與農業相關的各類結構化和非結構化的文本數據進行匯集。其次，農業數據平臺對各類數據進行標準化處理，建立統一標準的數據庫。最后，在數據平臺應用中，需為用戶提供個性化定制服務及可視化分析功能，實現用戶的快速查詢服務，同時，對數據平臺中數據隱私權限進行多級設置，實現用戶對數據的分級使用。

2.2 數據平臺架構組成

農業大數據平臺由基礎設備層、采集層、處理層及應用層組成?；A設備層是大數據平臺的基礎，是平臺進行數據采集、處理、挖掘分析工作的必備前提。此外，數據采集層可直接連接傳感器系統，進行實時數據的采集。其后，數據處理層可將采集來的多源異構數據進行標準化處理。最后，由數據應用層提供不同種類的數據服務，進而滿足不同用戶群體的個性化數據需求服務。

3 農業大數據智能分析平臺技術設計

3.1 平臺總體架構

基于大數據存儲及分析處理技術，構建面向精細農業的大數據智能分析平臺，將農業領域中各類相關數據融入，綜合形成農業數據信息一體化分析平臺，為農業生產用戶、涉農企業及相關決策管理部門提供服務應用。本研究基于基礎設施即服務（IAAS）、平臺即服務（PAAS）、軟件即服務（SAAS）三種應用形式，設計了農業大數據智能分析平臺的總體架構，如圖1所示。

3.2 平臺技術實現

3.2.1 關鍵技術框架

本文基于大數據技術，對農業智能分析平臺展開研究，構建了包含元數據管理、ETL工具、設計工具、數據服務、預置應用和BI平臺模塊，平臺模塊框架如圖2所示。

農業大數據智能分析平臺包含了智能系統基礎服務和運行框架，并能夠綜合管理各類BI工具、分析模型及相關資源。針對采集數據的多源異構的特點，設計多級分布式高速緩存文件對象存儲系統，用以減輕數據源負載。面向農業大數據的多源數據接口與集成架構描述了數據從數據源到數據倉庫過程中所遵循的規范和架構。針對農業多源數據量大，異構，缺失，沖突以及存在臟數據等特點，設計ETL數據加載、清洗和轉換細則與流程。針對農業大數據環境下，農業數據采集、處理、挖掘過程等復雜問題，數據分析挖掘過程設計了精準生產、自動化生產、供應鏈追蹤、智慧化生產等相關農業領域應用。

農業大數據智能分析平臺中，本研究利用ETL技術實現多源異構數據的標準化處理、集成及數據倉庫的構建，形成農業領域主要實踐應用中的主題數據庫。平臺中設計工具部分可為系統用戶提供農業相關信息快速查詢分析，并構建農作物生長指標工具、動態數據監測、圖文報告等功能。平臺中預置應用可為農業管理者提供作物生長的綜合評價參數、監控預警、預測優化等分析模型和數據分析參考?；赑ortal技術BI門戶實現了綜合展板，可實現在同一界面中展示關鍵信息。

3.2.2 數據采集處理分析

精細農業智能分析平臺的基礎是對海量多源數據進行采集及標準化的整合處理。在數據采集過程中，研究所采用的ETL工具有抽取高效、性能穩定、插件框架的特點，其插件的可復用性較高，能夠針對于不同主題數據源的采集需求，設計相應的數據采集插件。對于農業生產過程中的終端用戶而言，無需復雜編程操作，便可簡單快速的從智能平臺獲取可視化展示的數據報告。在主題數據庫設計方面，可實現細節數據層、匯總數據層和應用集市層的三級服務。首先，根據默認的ETL抽取規則將臨時存儲區數據抽取整理到細節數據層。然后，將細節數據層抽取、整理、分析成面向業務應用主題的統計數據集，即匯總數據層。最后，將細節數據層和匯總數據層數據抽取整理成應用集市層，形成農業生產消費過程中相關主題對應的多維數據立方體。

3.2.3 BI分析平臺

在農業大數據智能分析平臺中，BI分析平臺是運用多維數據服務，將復雜的專業數據，以圖形等簡單易懂的形式展現出來。用戶可利用BI分析平臺提供的多維分析工具，簡單快捷地從數據立方體中對數據指標進行多維度的綜合分析，精準掌握各指標的動態和變化趨勢。此外，BI分析平臺也提供數據報告展示功能，平臺系統端可自動生成包含文字、數字、圖表、圖形等形式的數據分析報告。

4 結論

本研究分析構建了面向精細農業應用的大數據分析體系結構、設計思路及功能應用，對農業生產過程中產生的多源數據進行集成、挖掘分析，以實現大數據服務在農業領域的精準需求分析、自動化生產、產品追溯的應用。最終研究通過大數據技術的應用，實現農業生產及銷售過程的一體化，將農業生產過程中種植、肥料供應與后期加工、運輸、銷售等各環節數據鏈接成一個綜合數據信息平臺，并對其環節中相關要素進行統一協調和控制，以增加農業生產過程中價值增值。

參考文獻

[1] 蔡書凱.大數據與農業：現實挑戰與對策[J].電子商務，2014.22（9）：1149-1151.

[2] 張浩然，李中良，鄒騰飛，等.農業大數據綜述[J].計算機科學，2014.41（S2）：387-392.

[3] 周子琦.制約我國農業大數據應用的因素及對策分析[J].商情，2015（4）：168.