大數據環境下農業統計數據采集平臺的設計

王英強，陳綏陽，王振鐸

（西安思源學院電子信息工程分院，陜西西安710038）

我國自古以來就是農業大國，非常重視農業的生產。隨著我國經濟的發展，農業經濟狀況也發生了很大的變化，例如：農業人口、經濟狀況、產業結構、農作物種類等等。為了保證農業生產的穩定，了解農業生產的現狀，農業數據統計工作特別是基層農業數據統計，成為國家統計部門的重要工作之一。與此同時，云計算、大數據等信息技術成為當前的熱門話題。大數據是結構復雜、內容多樣的海量數據，具有規模大、種類多、處理速度要求高、數據價值密度低等特[1]，一般認為有認為大數據需要滿足3個特點：規模性（volume），多樣性（variety）和高速性（velocity）。以國際數據公司IDC為代表的認為大數據應該還具有的是價值性（value）[2]，而以IBM為代表的則認為大數據還應具有真實性（veracity）[3]。目前，農業大數據成為大數據應用的一個重要分支。

1 我國農業大數據建設現狀

農業大數據是指以大數據分析為基礎，運用大數據的理念、技術及方法來處理農業生產銷售整個鏈條中所產生的大量的數據，從中得到有用信息以指導農業生產經營、農產品流通和消費的過程[4-5]。目前，我們國家也進行了農業大數據的相關研究。文獻[6]闡述了農業大數據研究對于我們國家具有重要的戰略意義:為政府決策當智囊，為企業管理做支撐，為學科發展建平臺，為管理升級提供手段。文獻[7]結合農業自身的特點，分析了大數據在農業上的需求、主要應用領域及其在智慧農業中的關鍵地位。文獻[8]分析設計了農業大數據應用體系架構，并設計了農業大數據智能分析平臺，分析了平臺的總體架構、功能設計及技術實現。與此同時，我們國家也開始進行農業大數據的實踐，以山東農業大學為首的部分高校已經開始進行農業大數據的研究和應用。在河北省廊坊市，軟通動力的團隊在做著基于大數據的“智慧農業”嘗試[9]。

但是，在農業大數據的實施過程中，尤其在農業統計數據的采集與獲取方面，仍然存在很多的問題：

1）很多區域信息化程度不足。部分基層的統計部門在開展農業統計工作時仍然采用手工登記、手工匯總的方式來進行，統計手段落后。尤其是在當前信息化時代的大背景下，統計數據的數據量呈現幾何式的增長，落后的統計手段使統計結果的質量難以得到保障[10-11]。

2）農業大數據來源不足。目前農業統計數據采集方式多為層層上報，時效性差；并且數據采集多以任務方式下達，積極主動性不強；統計結果分布在各類農業網站，并且為多種格式的數據，未能收集和匯總；已有的采集渠道，相互獨立，未能得到充分利用等等[12-13]。

3）農業統計數據種類繁多，結構復雜，導致數據難以分析利用。目前農業統計數據的來源有：紙質、Word文檔、電子表格、數據庫等；而數據類型主要包括結構化數據、半結構化數據、非結構化數據[14]。這些復雜的數據無法直接進行統計分析。因此需要對不同數據來源的各種數據進行處理，統一格式，建立數據轉換標準；對異構數據庫的匯集整理，通過對數據的抽取、轉換、關聯、標識等過程，建立一個安全、可靠、穩定、高效的數據中心，同時，還需對價值不大，或不感興趣的數據，以及故障數據、異常數據進行剔除和清理[15]。

2 解決方案

文中針對當前農業統計數據的采集、分析的現狀所存在的問題，提出了農業統計數據采集移動平臺。本平臺將移動互聯網絡與農業統計數據采集相結合，利用移動網絡通過智能手機APP進行數據采集，并通過異構數據處理中間件對其他來源的數據進行處理，主要實現以下功能：

1）實現數據實時傳輸。基層統計人員通過網絡將數據進行上報，避免使用紙質人工報送的方式，提高數據采集的效率。

2）提高數據的正確性。在基層統計人員上報數據時，可以設定數據填報的范圍，進行數據驗證，從而避免填報一些不合理的數據，提高了數據的正確性。

3）提高數據統計的效率。通過信息化的方式，可以根據統計方式自動進行統計計算，可以大大的提高統計的效率。

本平臺具有以下創新：

1）易用性。本設計本平臺時，充分利用4G移動網絡，采用移動手機軟件進行農業統計數據的采集，可以讓工作人員隨時隨地的進行數據的填報，提高數據采集效率。

2）可靠性。對于一個平臺，數據的安全是至關重要的。在本平臺中，具備完善的權限管理和數據備份機制，從數據庫層面保證了數據的安全性。在用戶使用系統時，要對用戶進行嚴格認證，避免非法用戶登錄。

3）靈活性。在本平臺中，采用異構數據處理中間件，對不同結構的數據進行提取、轉換、清理、標識、關聯等處理，形成格式統一的數據，解決農業統計數據來源分散，數據結構不統一的問題，為后期的分析提供基礎

3 系統設計

在本節中，主要介紹平臺結構、系統設計、移動客戶端APP設計、后臺數據管理系統以及用戶的權限設計。

3.1 平臺結構

通過分析，本平臺主要由3部分組成：

1）數據庫服務器、Web Service服務器。

2）移動客戶端應用程序。

3）后臺數據管理系統。

基層工作人員通過使用移動終端的數據采集APP進行數據的采集、上報；在數據上報時，移動終端通過調用Web Service公布的數據庫接口，將數據存入到數據服務器中；管理人員可以通過后臺數據管理系統對上報的數據進行審核、基礎數據進行維護。本平臺的每一個組成部分是有機地結合在一起，協同進行工作。本平臺的網絡結構設計如圖1所示。

圖1 平臺網絡結構圖

3.2 系統結構設計

為了滿足基層農業統計數據的采集上報的需求，提高系統平臺的數據處理效率，遵循軟件開發的先進性、易用性、可靠性、靈活性、擴充性的原則[16-17]，本平臺的系統結構圖如圖2所示。

圖2 系統結構圖

下面對各個組成部分在系統中的作用進行說明：

1）數據庫服務器、Web Service服務器：數據庫服務器主要用于存儲上報的農業統計數據，并且按照年份對數據進行區分。Web Service服務器：公布了訪問數據庫的各種接口方法，即移動客戶端APP通過調用數據庫訪問接口，主要用于移動客戶端APP與數據庫服務器之間的數據交換，實現對數據的上報、修改、瀏覽等功能。

2）移動客戶端APP：主要實現數據的采集填報，包括數據采集填報、歷史上報數據查看、數據傳輸、審核、消息提醒、個性化報表設置等主要模塊。

3）后臺基礎數據管理系統：主要對本平臺的基礎數據、后臺業務進行管理，包括：數據審核、組織機構管理、農作物信息、報表管理、用戶管理、權限管理等主要模塊。

3.3 系統數據庫設計

在平臺中，數據庫負責農業統計數據的存儲、管理，隨著時間的推移，最終形成歷史數據庫，并且為了方便以后數據的統計分析，對數據按照年限、季度進行標記。本平臺的數據庫主要包含以下幾張表：用戶表（User）、農產品表（ProductInfo）、用戶農產品表（UserProduct）、農產品統計數據采集表（Product-Data）、農業統計數據采集年份季度表（UploadDate-Node）、信息表（Message）、區域表（AreaInfo）。本平臺的數據庫結構如圖3所示。

圖3 數據庫結構圖

3.4 WebService服務器設計

WebService服務主要完成數據庫服務器與移動客戶端APP之間的數據交換與通訊，即數據的上報、修改、瀏覽等功能。在WebService中，公布了移動客戶端APP訪問數據庫的各種接口方法。移動客戶端APP通過調用WebSerivice的數據庫訪問接口，對數據庫中的數據進行增加、修改、刪除、查詢等。為了保證WebSerivice架構服務器能夠順利的訪問到數據庫服務器，需要WebSerivice服務器與數據庫服務器在同一個局域網絡中。

本平臺的WebService服務主要實現了用戶信息查詢（QueryUserInfo）、查詢農產品統計數據（QueryProductData）、插入修改（OperaProductData）等數據庫訪問接口，如表1所示。

表1 WebService數據庫訪問接口

3.5 移動客戶端APP設計

在通過對業務進行詳細的需求分析之后，移動客戶端APP主要實現4個功能模塊：數據采集上報、歷史查看、消息提醒、個性化報表設置。下面對每個模塊的主要功能進行說明：

1）數據填報：本模塊實現農業統計數據的上報、查看、修改。

2）歷史查看：本模塊主要實現用戶查看其上報的統計數據，并允許根據上級的審核意見對上報的數據進行修改。

4）提醒功能：本模塊實現調查進度、時間安排、數據反饋的提醒推送功能，從而提醒工作人員及時對數據進行上報、修改。

5）個性化報表設置：在本模塊中，用戶根據農作物種植實際情況，對統計項目進行選擇加載，去除自己區域內不需要填寫的調查項目，形成個性化表格。

3.6 后臺數據管理系統

為了支持移動端應用程序的使用，需要對平臺的基礎數據進行管理，例如：組織機構、農作物、用戶、報表等進行管理。后臺數據管理系統主要包含的模塊有：數據審核、數據匯總、組織機構管理、農作物管理、報表管理、用戶管理等。下面對每個模塊的主要功能進行說明：

1）數據審核：本模塊主要實現上級管理人員對基層工作人員、下一級的工作人員上報的數據進行審核。

2）數據匯總：在本模塊中，根據下級所填報的數據，自動形成匯總報表，并且將匯總數據自動與去年同期數據對比，當數據波動超過10%時，進行提示。

3）組織管理：本模塊主要對本平臺的各級組織進行管理，例如：市區、村鎮、街道等進行管理。

4）農作物管理：本模塊主要針對在本區域中所播種的農作物品種進行管理。

5）報表管理：本模塊主要對填報的統計報表進行管理。

6）用戶管理：本模塊主要對系統的用戶進行增加、修改、刪除等管理。

3.7 用戶權限設計

本平臺的使用用戶數量眾多，為了保證平臺運行的穩定，以及數據的正確、完整及安全，對本系統的用戶進行了劃分，主要分為：基層工作人員、上級管理人員、系統管理員。在本平臺中，他們各自的作用如下：

1）基層工作人員。這一部分用戶是系統的主要使用人員具有數量多、所在的地域范圍廣、受教育程度層次不齊等特點。他們主要使用本平臺的移動終端應用程序進行數據的采集、上報。

2）上級管理人員。上級管理人員可以有多個層級，例如：鄉鎮級、區級管理員等。這一部分用戶主要是對區域內上報的數據進行審核，檢查數據是否規范、合理、正確，并對數據進行統計，形成本區域的農業數據統計結果。

3）系統管理員。作為本平臺的系統管理員擁有整個系統最高的權限，主要負責系統的安全、維護等工作，例如：用戶管理、權限管理等。

本平臺的用戶權限框架圖如圖4所示。

圖4 系統權限框架圖

4 系統實現

本系統的實現主要采用以下技術：數據庫服務器采用 SQL Server2012，WebService采用 Visual Studio 2015，移動終端APP采用Eclipse進行開發。在本文中給出，以移動終端APP的數據采集上報為例，給出其實現過程。

其主要的實現代碼如下：

數據采集界面如圖5所示。

圖5 數據采集界面

5 結論

文中針對農業數據采集存在的效率低、錯誤率高、采集困難、來源不足、種類繁多等問題進行分析，提出了基于移動終端的農業統計數據采集移動平臺的解決方案，以實時采集、定時提醒、定制式統計報表等策略，有效解決了這些問題。平臺運行穩定，功能完善，實現了農業統計數據采集的信息化管理，有效提高了數據采集及統計分析的工作效率。