基于大數據的農產品信息服務云平臺設計

向模軍 鄒承俊 張霞

摘? 要：針對現有農產品信息服務存在的數據質量低、整合難、流通差等問題和大數據時代的工作要求，依托物聯網、大數據、云計算等技術，設計一種基于大數據的農產品信息服務云平臺。數據獲取層主要利用物聯網感知采集數據，在大數據中心完成數據轉換、處理、分析，通過應用層可視化展示實現“4A”應用。平臺進行云化管理，為不同參與主體提供按需服務，將大數據技術應用于農產品信息服務領域，實現農產品大數據的實時共享，有利于農產品數據資源的有效充分利用。

關鍵詞：大數據;云計算;農產品;平臺設計

中圖分類號：TP319? ? ?文獻標識碼：A

文章編號：2096-1472（2021）-04-60-03

Abstract： Existing agricultural products information services， with problems of poor data quality， difficulty in integration， and slow circulation， cannot meet the demands of the big data era. This paper proposes to design a big data-based cloud platform for agricultural products information service， using technologies such as Internet of Things， big data and cloud computing. On the proposed service cloud platform， Internet of Things is mainly used to sense and collect data on data acquisition layer， and data conversion， processing， and analysis are completed in big data center. "4A" applications are realized through visualization display on application layer. The platform， which is managed by cloud， provides on-demand services for different participants， applies big data technology to the field of agricultural products information services， and realizes the real-time sharing of agricultural products big data. The platform facilitates full and effective use of agricultural products data resources.

Keywords： big data; cloud computing; agricultural products; platform design

1? ?引言（Introduction）

我國是名副其實的農產品大國，農產品相關數據量井噴式地增長，使得原有的農產品數據處理模式已經不能適應大數據時代農產品信息服務工作的需要。因此，急需加快推進農產品信息化，利用以物聯網、大數據、云計算、人工智能、5G網絡、區(qū)塊鏈為代表的現代信息技術，構建農產品信息服務平臺，讓農產品在邁向現代化的進程中插上信息化的翅膀。

2? 目前農產品信息服務中存在的問題（Problems in information service of agricultural products）

在我國農產品信息服務領域，農產品信息不對稱，“賣難”和“買難”現象尷尬并存，農產品生產不均衡，整體規(guī)模龐大與個體規(guī)模分散現象長期存在，加上城鄉(xiāng)數字鴻溝，致使同國外發(fā)達國家相比有很大差距，主要表現在：

（1）農產品信息資源質量較低。一方面農民文化水平相對不高，沒有能力也不愛學習農業(yè)信息技術，拉低了農產品信息資源采集質量;另一方面，偏遠山區(qū)農村信息化基礎薄弱，沒有信息化系統(tǒng)和信息化設備，結合本地情況開發(fā)利用的信息資源極為匱乏。

（2）農產品信息未能有效整合。農產品涉及的環(huán)節(jié)眾多，農產品全產業(yè)鏈較長，融合了地域性、季節(jié)性、多樣性、周期性等自身特征后產生的來源廣泛、類型多樣、結構復雜的農產品信息，還未出現有效的整合方案，現有的農產品信息比較分散，大數據的優(yōu)勢有望從技術上改變這一問題。

（3）農產品市場信息流通不暢。農產品信息接收方式落后、單向、滯后，尤其在農產品市場價格及供求波動方面，在缺乏信息或信息被扭曲的條件下，廣大農戶一哄而上、一哄而下，不管不顧盲目生產，難以做到對突發(fā)事件及時發(fā)現苗頭并提前應對。

產前缺乏市場信息引導，產中缺乏生產技術指導，產后缺乏銷售信息和渠道。針對這些問題，國務院印發(fā)《促進大數據發(fā)展行動綱要》（國發(fā)〔2015〕50號）明確提出：發(fā)展大數據在農業(yè)等行業(yè)領域應用，構建農業(yè)信息綜合服務平臺，實現數據自動化采集、網絡化傳輸、標準化處理和可視化運用[1]。農業(yè)農村部發(fā)布《農業(yè)部關于推進農業(yè)農村大數據發(fā)展的實施意見》（農市發(fā)〔2015〕6號）指出：鼓勵開展大數據時代農業(yè)信息服務平臺建設，更好地做好農業(yè)信息服務工作，實現農業(yè)生產智能化、經營網絡化、管理高效化、服務便捷化[2]。

3? 農產品信息服務平臺功能設計（Function design of agricultural product information service platform）

農產品信息化包括農產品種植（養(yǎng)殖）、生長、收獲、加工、包裝、存儲、運輸、分銷、銷售全流程的信息化[3]，根據對涉及農產品生產、加工、銷售等參與主體的調研情況，結合提供農產品信息共享和服務這一主要目標，將平臺劃分為六大系統(tǒng)模塊。

（1）用戶管理。由于農產品參與主體眾多，用戶群體多樣，本平臺將用戶類型分為政府監(jiān)管人員、農產品企業(yè)、農業(yè)科研機構、農戶以及消費者五種類型，通過基于角色的訪問控制RBAC（Role-Based Access Control）權限管理模型，構造“用戶-角色-權限”授權模型，確保不同用戶類型擁有適當的權限，對應訪問平臺上不同的功能模塊。

（2）農產品生產管控。基于農業(yè)物聯網技術，利用傳感器等設備實時監(jiān)測農產品生產信息，如土壤濕潤度等，同時利用智慧農業(yè)大棚等設施實現遠程自動化控制，如智能灌溉等，以此幫助農戶和企業(yè)構建一套農產品生產管控解決方案，期間積累的過程數據服務于科研機構用于農業(yè)的相關研究[4-5]。

（3）農產品安全溯源。溯源是農產品質量安全的重要保證手段，基于區(qū)塊鏈技術解決農產品質量控制與可信追溯的問題，融合政府監(jiān)管、消費服務等功能，與農業(yè)生產管控等模塊相連構建農產品質量安全溯源系統(tǒng)，實現農產品從“種子”到“餐桌”的全生命周期管理[6-7]，農產品各方參與主體共同建立健全農產品追溯體系，共同確保人民群眾“舌尖上的安全”。

（4）農產品電商。借助農產品大數據實現精準在線交易，基于互聯網開放的網絡環(huán)境，實現C2B模式，即農戶根據用戶的訂單需求定制化生產農產品;B2C模式，即商家通過平臺賣農產品給消費者;B2B模式，即商家集中采購，分發(fā)配送給中小經銷商;F2C模式，即農戶通過網上平臺直接賣給消費者;O2O模式，即消費者線上買單，線下自提農產品。

（5）農技智能問答。基于5G（5th-Generation，第五代移動通信技術）+AI（Artificial Intelligence，人工智能），構建懂業(yè)務、知用戶的農業(yè)技術服務機器人系統(tǒng)，為農戶、企業(yè)等農產品參與主體提供專業(yè)的技術信息服務。通過機器人智能問答，輔以農業(yè)專家在線指導，借助手機、iPad等移動終端，使多方不受時空限制開展互動，進行農技科普。

（6）綜合信息服務。基于B/S結構（Browser/Server，瀏覽器/服務器模式）建設農產品信息網站，用于對農產品信息的發(fā)布、瀏覽、查詢和訂閱等，內容可以包括相關政策法規(guī)、農業(yè)新聞資訊、農產品市場信息等，力爭實現農產品信息的及時、暢通。

4? 構建農產品大數據應用架構（Building big data application architecture for agricultural products）

隨著農業(yè)物聯網的風生水起和農業(yè)信息化的不斷深入，諸如農產品信息服務平臺等智慧農業(yè)系統(tǒng)不斷投建，農業(yè)大數據時代也應運而來。如何有效利用農業(yè)大數據服務農業(yè)現代化是當下熱點[3，8]。圖1展示了一種農產品大數據應用架構，圖2是其網絡拓撲結構。在這種設計中，將農產品大數據應用簡單分為三層，即數據獲取層（物聯網感知層）、大數據處理中心（業(yè)務平臺層）和數據應用層（應用展示層）。

在數據獲取層，利用多種方式采集數據。可以手動錄入數據，如各參與主體的原始數據批量導入;可以與其他農業(yè)系統(tǒng)對接采集數據;可以利用手機、iPad等移動終端拍照、掃碼等采集數據，利用基于位置的服務LBS（Location Based Services）來獲取設備/人員的所在位置;甚至可以使用無人機或人造衛(wèi)星等采集農產品信息。從網絡拓撲結構來看，更多的是通過物聯網的感知來采集數據，通過LoRa（Long Range Radio，遠距離無線電）、ZigBee、Wi-Fi等技術采集農產品環(huán)境數據，如空氣的光照度、土壤的濕潤度、水質的PH值。

數據采集的方式越來越多，數據類型也越來越多樣化，各種結構化、半結構化和非結構化的數據不斷產生，這些數據通過無線傳感器網絡（Wireless Sensor Networks，WSN）、局域網（Local Area Network，LAN）或5G網絡傳輸到大數據中心。在大數據中心數據處理中，首先要利用“ETL（Extract-Transform-Load）”技術，結合利用網絡爬蟲爬取來自互聯網的農產品數據，將這些數據經過抽取、清洗、轉換之后加載到數據倉庫。利用開源工具Sqoop，實現Hadoop（HDFS）與傳統(tǒng)的關系型數據庫（MySQL等）之間進行數據的傳遞，將分散、零亂、標準不統(tǒng)一的數據整合到一起。本設計中，非結構化數據還是采用NoSQL數據庫的HBase數據庫分布式存儲，全文檢索等搜索引擎采用Solr搜索應用服務器，統(tǒng)一的資源管理和調度采用YARN資源管理器，大數據集群計算環(huán)境采用專為大規(guī)模數據處理而設計的Spark計算引擎，查詢、分析等采用基于SQL（Structured Query Language）的查詢計算工具Impala[4，9-10]。

這些農產品數據經過大數據中心處理后，針對本信息服務平臺六大功能模塊開展大數據分析、數據挖掘，完成大數據可視化，實現平臺的“4A”應用：任何設備（Any Device）、任何時間（Any Time）、任何地點（Any Where）、任何人（Any One），讓包括本平臺五種用戶類型的所有人，可以打破時空局限，隨時隨地訪問農產品信息服務平臺。

5? 農產品信息服務云平臺設計（Design of cloud platform for agricultural products information service）

為了以低成本的方式提供規(guī)模可伸縮的高可用的農產品信息服務，省去購買軟、硬件以及建立現場大數據中心的費用，本設計引入云計算技術來構建農產品信息服務平臺。

“云計算”在其概念提出的10多年間，取得了飛速的發(fā)展與翻天覆地的變化，包含SaaS（Software-as-a-Service，軟件即服務）、PaaS（Platform-as-a-Service，平臺即服務）和IaaS（Infrastructure-as-a-Service，基礎設施即服務）。

如圖3所示設計的農產品服務云平臺架構[5，7]，將各類資源利用虛擬化技術進行高效統(tǒng)一的整合，應用先進的大數據處理、分析技術對其進行云化管理，以滿足不同參與群體的需求。

農產品數據存儲層（IaaS層）：將計算資源，包括服務器、存儲、網絡和農產品數據等，利用VMware虛擬化技術提供可擴展的彈性的云服務給用戶，用戶按需購買資源，而不必購買全部硬件。

農產品數據處理層（PaaS層）：將平臺運行環(huán)境等構建成統(tǒng)一的自動化協調的分布式運行環(huán)境，以服務的形式或以API、SDK的形式提供給用戶，簡化應用的部署、運行等。

農產品數據交互層（SaaS層）：面向終端客戶，提供一站式的解決方案，以本設計的農戶為例，可以利用農技智能問答系統(tǒng)獲取專業(yè)知識，可以利用農產品電商平臺進行在線交易等。

集中管理平臺：有效管理整個服務平臺，確保整個服務平臺安全穩(wěn)定。

6? ?結論（Conclusion）

針對當下農產品信息服務中存在的問題，以及農產品數據格式多樣、物理分散等特征，設計了一種基于大數據的農產品信息服務云平臺，以期打破不同農業(yè)數據庫的“數據孤島”，突破不同農業(yè)應用系統(tǒng)的“服務孤島”，實現農產品大數據的有效共享和運用。

參考文獻（References）

[1] 國務院.促進大數據發(fā)展行動綱要（國發(fā)〔2015〕50號）[Z].2015-08-31.

[2] 農業(yè)農村部.農業(yè)部關于推進農業(yè)農村大數據發(fā)展的實施意見（農市發(fā)〔2015〕6號）[Z].2015-12-29.

[3] 呂婧.農業(yè)大數據信息服務平臺設計與實現[D].蘭州：蘭州大學，2019.

[4] SONG S H， ZHANG Z. Database resources in big data center： Submission， archiving， and integration of big data in plant science[J]. Molecular Plant， 2019， 12（3）：279-281.

[5] 沈超.基于云計算的農產品信息服務平臺構建策略研究[D].杭州：浙江工業(yè)大學，2017.

[6] 李秀峰，陳守合，郭雷風.大數據時代農業(yè)信息服務的技術創(chuàng)新[J].中國農業(yè)科技導報，2014，16（4）：10-15.

[7] 李朝鋒.大數據時代基于云計算技術構建農業(yè)信息服務平臺研究[J].河南科技，2017（5）：19-21.

[8] SHANG H Y， LIU Y， ZHENG A， et al. Research on technical architecture and application of big data cloud platform for electric power measurement[J]. Journal of Physics： Conference Series， 2019， 1213（4）：1-6.

[9] 李錦華.基于大數據分析的海量信息軟件系統(tǒng)設計與開發(fā)[J].軟件工程，2017，20（11）：54-56.

[10] 姚艷敏，白玉琪.農業(yè)大數據標準體系框架研究[J].農業(yè)大數據學報，2019，1（4）：76-85.

作者簡介：

向模軍（1974-），男，碩士，副教授.研究領域：農業(yè)信息化.

鄒承俊（1963-），男，碩士，教授.研究領域：農業(yè)物聯網.

張? ? 霞（1981-），女，碩士，副教授.研究領域：軟件工程.