基于數字化技術的農業大數據中心構建

丁作坤

（安徽省農業信息中心，合肥230001）

0 引言

大數據正快速發展為發現新知識、創造新價值、提升新能力的新一代信息技術和服務業態，成為推動我國經濟轉型發展的新動力、重塑國家競爭優勢的新機遇和提升政府治理能力的新途徑，是國家的戰略資源[1]。農業農村是大數據產生和應用的重要領域之一，是我國大數據發展重要組成部分。隨著信息化和農業現代化深入推進，農業農村大數據正與農業產業全面深度融合，逐漸成為農業生產的定位儀、農業生產的導航燈和農業管理的指揮棒，日益成為智慧農業的神經系統和推進農業現代化的關鍵因素[2]。

在國家政策和數據智能技術的驅動下[3-4]，基于全省農業信息系統現狀和數據增長趨勢，應用數字化技術建設了安徽省農業大數據中心。通過對全省各農業業務系統的梳理和對農業大數據中心的架構設計，將農業相關各類型的數據匯聚到統一的數據庫中，搭建分布式數據處理模塊和在線數據建模挖掘模塊，完成對數據規律和智能應用的探索與實現，并將數據價值賦能到各業務系統，推動安徽省智慧農業的發展。

1 農業大數據中心總體功能設計

安徽省農業大數據中心，通過搭建“一庫”、“一圖”、“一網”、“一平臺”的整理體系，全面打通各部門信息資源的數據交換渠道，實現基礎數據共享，業務流程閉環運行的格局。以農業、農村、農民、生態、改革五大領域為主線，面向各級領導建設科學決策平臺，提供領導指揮艙；面向各級業務管理人員建設精準管理平臺，提供業務直通車；面向生產經營主體、農民與社會公眾建設綜合服務平臺，提供信息服務窗。平臺通過海量的數據采集、有效的資源整合以及準確的數據模型，提供豐富的農業應用和多樣的用戶視圖，讓使用者能以更易讀易懂的方式指導農業生產。

安徽省農業大數據中心功能架構主要圍繞管理、服務、支撐、數據四大體系進行設計。支撐體系和數據體系是管理體系和服務體系的底層支撐。服務體系依托于農業應用與資源綜合管理平臺，提出在線數據建模平臺、可視化定制平臺、農業知識庫、AI 能力開放等服務。管理體系依托圖說數據平臺，基于農業大數據庫的信息支撐，實現對各類涉農主體圖形化展示，為管理層的各種決策提供強有力的支撐。支撐體系有數據交換共享平臺、在線數據建模挖掘平臺、可視化平臺三大平臺。數據體系有農業資源數據庫、農業知識專題庫、數據建模專題庫和地理圖層專題庫等四大庫。具體如圖1 所示。

圖1 農業大數據中心功能架構圖

數據作為系統的核心資產，在設計系統數據架構時，不僅需要滿足事務型數據要求，也需要滿足分析型數據的需求。因此在統一規劃信息數據時，采用數據倉庫[5]的設計思想，將各項農業數據源的數據經過數據整合后，存入不同的數據層，并基于分層數據創建相應的數據應用，整體設計如圖2 所示。

圖2 系統數據架構設計圖

其中STG 層數據主要用來進行數據緩沖處理，是內部數據整合的基礎，原則上增量抽取，支持接口表、文件等多種方式分布式采集。ODS 按照數據模型進行落地，主要是明細數據，分為種植業、園藝、畜牧、水產、農機、政務等主題域。DW 數據層存儲企業運營的統計、匯總后的數據，是系統的重要組成部分。根據分析應用需求抽取ODS 相關數據所形成的數據集合（數據集市），主要用于數據分析、數據監控、自助取數、數據稽核等應用。通過數據分層設計實現了數據標準化保證數據的一致性、準確性、及時性、明確數據管理，實行生產與分析據的分離，增強數據的深度挖掘應用能力，滿足了管理、運營、操作的各個層面的數據需求。

2 農業大數據中心核心模塊架構介紹

在構建農業大數據中心時，針對需要將全省的農業相關數據匯聚到統一的數據庫的要求，采用了分布式數據采集與匯聚技術來保證數據傳輸的效率；由于農業數據種類多、數據量大，使用了分布式數據庫處理技術來保證數據處理的效率；針對數據挖掘建模需保證數據的安全性的要求，設計了在線數據挖掘建模平臺來完成數據在離開平臺的前提下完成數據價值挖掘；為了讓模型能夠賦能更多同類型場景，設計了場景化自動學習模塊，使能模型在不同區域不同時間都能有較好的泛化性；為了將數據分析的結果快速地以直觀的方式展現給決策者，研發了可視化定制模塊實現通過圖表編排的方式快速完成定制化大屏設計的需求。從數據生命周期來看，整體的核心技術關系如圖3所示。

圖3 基于數據生命周期的核心技術關系圖

2.1 分布式數據采集與匯聚模塊

分布式數據采集匯聚模塊主要采用注冊中心+分布式采集節點的架構設計，每個采集節點既可作為調度節點，同時也作為采集運行節點。由統一配置層進行數據采集任務及調度策略配置，并緩存到Redis。調度節點使采用quartz 集群調度的方式，由Redis 作為jobstore 存儲定時任務配置，每個節點分布式進行任務的調度分配以及任務切分。同時利用Redis 集群作為注冊中心，分布式節點啟動后會自動注冊發現，執行數據采集任務。

在任務調度過程中，會根據指定分割策略（包括時間、主鍵、切片等）進行任務切分，當執行大批量數據、文件采集時，會將任務切成多份，分布式并發采集執行，在軟件層面提高傳輸效率。具體采集過程如圖4所示。

圖4 分布式數據采集調度流圖

在任務傳輸過程中，采用數據流管道的模式，所有數據進入數據傳輸管道，由采集匯聚層，根據規則配置，進行讀，異構轉換，寫操作，最終采集匯聚到目標數據源。具體過程如圖5 所示。

圖5 數據匯聚流圖

2.2 分布式并行數據庫處理模塊

由于農業數據具備種類多、增長快等特點，傳統的基于Hadoop 體系[6]的數據處理架構不能夠滿足。因此在構建農業大數據中心的時候，應用了基于Click-House[7]的分布式并行數據庫處理，使得數據處理底層具備向量化執行、減枝等優化能力，實現了強勁的查詢和處理性能。如圖6 所示，通過數據采集模塊接入業務數據、政策文件、IOT 數據至相應的數據存儲系統，然后使用clickhouse 實現對數據的快速查詢與處理，為上層的在線數據建模、可視化報表和業務系統實現查詢提供高速數據響應。

圖6 分布式并行數據處理模塊流圖

該模塊的主要特點是支持主鍵索引和稀疏索引功能。其中主鍵索引功能是將每列數據按照index granularity（默認8192 行）進行劃分，每個index granularity 的開頭第一行被稱為一個mark 行。主鍵索引存儲該mark 行對應的primary key 的值。對于where 條件中含有primary key 的查詢，通過對主鍵索引進行二分查找，能夠直接定位到對應的index granularity，避免了進行全局掃描從而加速查詢。

稀疏索引功能是指對任意列創建任意數量索引。其中被索引的value 可以是任意的合法SQL Expression，并不僅僅局限于對column value 本身進行索引。之所以叫稀疏索引，是因為它本質上是對一個完整index granularity（默認8192 行）的統計信息，并不會具體記錄每一行在文件中的位置。

2.3 在線數據建模與挖掘模塊

對于匯聚到大數據中心的農業相關數據，需要在平臺里直接完成數據規律探索和價值挖掘，形成數據能力并賦能業務應用。通過將在線數據建模和挖掘相關算法、方法進行封裝成可視化算子，研發基于可視化算子編排的在線數據建模與挖掘模塊，構建了包括數據處理、特征工程、模型訓練、模型評估、模型部署的全流程AI 開發組件[8]。主要是將數據建模過程中常用的數據處理方法、特征工程方法、算法封裝成可視化算子，開發者根據需要將相應的算子拖到工作區，并根據數據流程將相應的算子連接起來，即可構建相應的數據探索或數據挖掘的流圖。通過數據在數據圖中流動處理實現數據的探索與建模。具體如圖6 所示。

圖7 基于可視化算子的在線建模與挖掘功能架構圖

數據準備部分主要包括從本地導入、從大數據中心導入兩種方式。數據處理部分主要包括刪除重復行、刪除列、數據過濾、缺失值填充、異常值處理、上采樣、下采樣、ADF 檢驗、數據拆分等算子。特征工程部分主要包括數值化映射、歸一化、卡方、信息熵、特征融合、離散化、獨熱編碼、PCA 降維、孤立森林等算法。

模型訓練主要分類時序預測、分類預測、圖像分類三個類型，時序預測算法主要有ARIMA、prophet、LSTM[9]等算法，分類預測主要有LightGBM、XGboost、Catboost[10]等算法，圖像分類包括ALexNet、VGG16、InceptionV4[11]等算子。數據可視化部分主要包括數據透視表、柱狀圖、折線圖等。模型評估主要包括MSE、MAE、F1-score、查準率、查全率、AUC 等主要算子。模型部署主要包括在線部署、離線SDK 部署兩種方式。

2.4 場景化自動學習模塊

通過平臺的在線建模功能構建的農業智能應用，由于其是基于特定場景下的數據訓練得到的，在不同的時間點和區域的應用條件下，無法得到最好的預測效果。另外傳統的方法是只能重新經過數據建模過程構建具體場景的應用模型，費時耗力。因此提出了場景化自動學習的方法，用戶只需要選擇相應的場景，提供相應的數據即可快速得到一個高可用的模型能力。

場景化自動學習主要分為兩部分，一部分是場景化，另一部分是自動化機器學習[12]。其中場景化主要是指基于農業大數據中心的數據創建農業智能應用場景，主要包括價格趨勢預測、植物蟲害識別、植物病害識別、植物生長預測等。自動化機器學習是將自動化和機器學習相結合的方式，將數據建模過程中的數據處理、特征工程、算法選擇、模型評估的復雜過程封裝成一個黑箱子，僅需輸入符合要求的數據即可得到相應的模型。

為了充分利用場景下歷史模型的價值，將模型根據實際的場景進行細分，結合自動機器學習技術和遷移學習技術，實現在歷史模型的基礎上，使用新場景數據進行參數微調，快速訓練具體數據條件下的有效智能模型。具體如圖8 所示。

圖8 場景化自動學習流程圖

2.5 可視化定制模塊

通過從地理空間、時間序列、邏輯關系等多種角度分析數據，把不同維度的數據規律以適當的視覺方式呈現出來，以便決策者理解數據背后蘊藏的價值、規律、趨勢和關系。針對農業大數據的數據種類多樣、分析場景豐富等特點，平臺應用了可視化定制技術，實現對農業涉及的種植業、畜牧業、漁業、科技教育、農業機械等專題數據的定制化大屏快速創建。

基于大屏可視化定制技術的大數據可視化平臺，總體功能從邏輯上分為支撐層、平臺層和應用層。支撐層主要提供數據訪問能力，支持多種數據源的連接。實現數據交換、數據分析與計算、數據存儲及數據建模的能力。平臺層主要提供可視化編排/運行的能力。通過基礎管理保障平臺安全，而開放服務提供了強大的代碼注入能力和可視化組件開放能力，集成框架使得編排的頁面可以無縫的集成到第三方業務系統。應用層為最終成果產物，支持Dashboard、交互式Web 應用、自助式分析、可視化大屏、高級數據可視等多種表現形式。具體架構如圖9 所示。

圖9 可視化定制模塊架構圖

3 結語

通過構建農業大數據中心，一方面實現將農業各類型數據匯聚到統一大數據庫中，消除數據孤島，實現各業務系統數據互通互聯，能夠有效提升業務辦理效率；另一方面，通過在線建模挖掘技術和可視化定制技術，實現對數據價值的充分挖掘，賦能農業智能化生產，輔助管理者精準決策。

目前，安徽省大數據中心已打通數據接口，建立部、省、廳屬涉農數據的交換共享建立數據交換標準和規范，實現農業農村部數據、省政務數據、廳屬業務數據的匯聚和交換。基于大數據中心，建立線上業務流程，將傳統的線下紙質的報告信息工作轉變為線上的信息填報審核流程，全面提供辦公人員工作效率。融合分布式數據處理和可視化定制，建立圖說平臺，搭建領導駕駛艙，實現將數據規律以直觀易懂的方式呈現，輔助精準決策。基于在線數據建模組件和場景化自動學習，融合大數據中心數據，實現了小麥病蟲害識別、小麥生長趨勢預測、填報異常數據檢測等一些AI 能力應用，賦能農業智慧生產。

隨著大數據中心數據的積累，為進一步釋放數據價值，后續將從兩方面探索數據應用。一方面是融合農業的業務數據、圖像數據、農技數據等多模態知識數據，應用知識圖譜技術[13]，構建農業智能助手，實現自動業務辦理；另一方面將農業數據進行價值共享，應用聯邦學習技術[14]，在數據不可見的前提下共享數據能力，助力農業相關領域的智能化演進。