大數據在智慧農業中的應用研究

陳穎博

摘要：分析了智慧農業中大數據的處理流程，設計了智慧農業大數據的總體框架，探究了大數據采集技術、管理技術和處理技術等在農業領域的應用，并結合具體實例進行了研究。對于促進農業轉型升級，加快智慧農業發展具有重要的現實意義和應用價值。

關鍵詞：智慧農業;大數據;云計算;農業監測系統;可視化農業

中圖分類號：S24 ? ? ? ? 文獻標識碼：A

文章編號：0439-8114（2020）01-0017-05

DOI：10.14088/j.cnki.issn0439-8114.2020.01.003 ? ? ? ? ? 開放科學（資源服務）標識碼（OSID）：

Abstract： The processing flow of big data in intelligent agriculture was analyzed， the overall framework of agricultural big data was designed， the application of big data collection technology， management technology and processing technology in the field of agriculture were explored and these application were studied with specific examples. It is of great practical significance and application value to promote the transformation and upgrading of agriculture and speed up the development of intelligent agriculture.

Key words： intelligent agriculture; big data; cloud computing; agricultural monitoring system; visual agriculture

“十三五”以來，以物聯網和智能裝備為代表的智慧農業技術逐步滲透到農業生產經營的各個環節中，農業形態和生產過程都發生了重大的變化。一是“智慧化感知”，智能傳感系統的廣泛應用實現了農業生產全過程的可視化、可感知，包括農作物生長態勢、作物營養狀況、土壤狀況、氣候條件等;二是“泛在化互聯”，物聯網、傳感器、互聯網等在農業中的廣泛應用，一方面實現了農戶、農作物與資源環境的互聯互通，另一方面實現了消費者、農產品、市場的無縫鏈接;三是“更深入的智能化”，通過云計算、大數據等技術的應用，對獲得的海量數據進行深度處理，使農業生產決策、農產品市場管理更加智慧化。

為了促進智慧農業的發展，國家相繼出臺了一系列支持性文件。2015年8月，國務院印發了《促進大數據發展行動綱要》，明確提出加快大數據在智慧農業中的深入應用;2015年12月，農業部印發了《關于推進智慧農業大數據發展的實施意見》;2016 年1月，國家發展改革委員會發布了《關于組織實施促進大數據發展重大工程的通知》（發改辦高技〔2016〕42 號），將大數據作為智慧發展的重點支持內容。由此可見，國家對大數據的發展相當重視，大數據對于智慧農業的發展有著重要的意義。

1 ?相關概念

智慧農業是伴隨著智慧地球概念的發展而產生的，英文為Smart Agriculture或Smart Farm，由于嵌入式技術的迅速發展，通過微型處理器、傳感器，現實世界的各種實體都將具有標簽，能夠自動采集各種數據，并對數據進行處理和分析，可以與其他實體進行交互與通信。在遙感衛星和無線傳感技術的支持下，生產設備能夠實現自動化生產，使農資的利用率達到最大化，農產品生產實現綠色、量產化。智慧農業的主要組成部分包括：①環境感知設備，比如溫濕度傳感器、土壤傳感器、空氣傳感器等，通過無線傳感器采集農產品生產的基本數據;②網絡傳輸設備，主要由無線 WIFI、ZigBee 網絡等組成，主要用來傳輸信息，在不同設備之間聯通;③決策支持中心，以云計算、大數據等為技術支撐構建的用于數據存儲、數據處理、決策分析的平臺，通過對采集的數據進行挖掘分析，產生決策依據并實現遠程控制、發布命令;④終端設備，例如溫室大棚中的卷簾機、噴水機、加濕機等，通過決策支持中心對所有終端設備發布控制命令，驅動設備運行，對生產環境進行調節。

2011年5月，國際數據公司（IDC）發布數字宇宙研究報告，對大數據進行了定義，大數據是新一代的信息技術架構和基礎設施，可以通過快速的數據采集、處理、分析和發現，從大體量（Volumes）、多類別（Variety）的數據中提取價值（Value）。從大數據中價值發現的角度，通過流程對大數據進行界定。

智慧農業中的大數據主要包括土壤信息、水資源信息、氣象信息等農業資源環境數據，農業生物資源、農業物種資源等農業生物數據等。就農業生產、加工、銷售整個流程而言，智慧農業中的大數據包括農資數據、技術支持數據、農業生產數據、農產品物流數據、農產品儲藏數據、農產品加工數據、農產品市場流通數據以及農產品質量安全數據等[1]。大數據在智慧農業中的應用主要體現在以下幾個方面：一是通過智能終端、感知終端、視頻采集終端、音頻終端等設備采集在農產品生產、加工以及農產品流通、消費等過程中產生的文本、圖形、圖像、聲音、視頻等數據; 二是融合了各領域、學科的交叉數據，綜合、關聯的融合式數據共享平臺取代了傳統的關系型數據庫，成為新的數據存儲管理形式。基于大數據流、智能化的大數據處理平臺在農業中廣泛深入的應用，通過可視化交互、社會網絡分析、智能管理等技術實現農業生產環境監測、農產品安全溯源;三是在農業產業鏈上各個環節的政府、科研機構、高校、企業形成競爭協同作業機制，共同促進智慧農業的發展。智慧大數據形成一個可持續、可循環、高效、完整的生態圈。

2 ?智慧農業中的大數據

智慧農業中大數據的應用提高了農業的生產效率，實現了農業生產的智能化，保障了農產品的綠色安全，實現了農業系統的生態化。

2.1 ?智慧農業中大數據的系統構架

智慧農業中大數據的系統構架見圖1。

第一層，主要是各種農業生產領域，包括農產品種植、畜牧養殖等和農業關聯的各種資源環境、科研數據、自然災害及農業產業鏈等數據。

第二層，構建適合各個農業元素的數據采集網絡。利用各種智能終端實時采集各種農情數據;通過物聯網、互聯網建立數據的實時傳輸通道、實時監測農業環境數據。

第三層，借助大數據、云計算、云存儲等技術，建立智慧農業大數據中心。①在這個過程中要對采集的原始數據，運用數據挖掘的技術對其進行數據預處理數據清洗、去噪、集成等，保證數據質量，形成精準的數據源[2];②通過數據融合實現與氣象、水利、地質、國土、林業、環保等數據共用共享，形成大數據共享中心。

第四層，利用關聯分析、可視化分析、數據挖掘、數據融合等大數據分析方法，解決農業領域的數據監測和數據發現。①在數據價值發現方面，包括精準農業、農業衛星遙感數據、農業生物基因數據農產品質量追溯、農村綜合信息等;②可以對各種數據進行監測預警，比如農業資源環境、農業自然災害、農業環境污染、農產品市場監測預警等[3]。

第五層，利用智慧農業中采集的大數據，構建“數據支撐、智能監測，產出高效、產品安全，資源節約、環境友好”的智慧農業。

2.2 ?智慧農業中大數據的處理流程

智慧農業中大數據的處理主要包括基礎數據的采集、預處理、管理、處理和分析等（圖2）。在數據采集階段，主要通過各種終端采集設備，如傳感器、移動終端、無人機、溫度計等獲取環境數據;在數據預處理階段，主要完成數據標準化、數據去噪等工作;在數據管理階段，主要依托大型的數據庫管理系統對海量數據進行維護和管理;在數據處理階段，面對不同的應用場景用不同的技術或平臺來處理，比如分布式處理等;數據分析階段主要是通過數據建模、利用挖掘分析軟件進行深層次數量分析，獲取數據規律或者事件結果。

3 ?大數據在智慧農業中的應用

3.1 ?智慧農業中大數據的采集

3.1.1 ?農業遙感數據獲取 ?智慧農業遙感數據獲取主要通過農業衛星、飛行器等對地面農作物進行大范圍監測。

3.1.2 ?農業生產環境數據獲取 ?智慧農業生產環境數據獲取是對影響農作物生長的氣象因子、非生物環境、土壤條件等數據進行動態監測、采集，主要利用農業遙感技術、智能傳感網技術等。隨著各學科的交叉融合，光纖傳感器、微機電系統、仿生傳感器、電化學傳感器等新型傳感器技術以及多光譜、高光譜、核磁共振等先進檢測方法在植物、土壤、環境信息采集方面廣泛應用，農業生產環境數據的精度、廣度、頻度大幅度提高。

3.1.3 ?農產品市場經濟數據采集 ?農產品市場經濟數據采集是指對農產品的成本、需求、庫存、進出口、市場行情等數據進行動態采集，涉及農業流通、農產品價格、農產品市場、農產品質量安全等，具有較強的突發性、動態性、實時性、變化性，一般由“智能終端+通信網絡+專業群體”組成。

3.2 ?基于Scrapy的智慧網絡數據采集技術應用

3.2.1 ?智慧農業網絡數據抓取 ?智慧農業網絡數據抓取指利用爬蟲等網絡數據抓取技術對網站、論壇、微博、博客中涉農數據進行動態監測、定向采集的過程，實現各種涉農數據的集成、匯聚，以便下一步進行分析（圖3）。Scrapy的爬蟲主要有以下幾步：①以初始的URL初始化Request，并設置回調函數。當該Request下載完畢并返回時，將生成Response，并作為參數傳給該回調函數;②在回調函數內分析返回的（網頁）內容，返回Item對象或者Request或者一個包括二者的可迭代容器[4];③在回調函數內可以使用選擇器（Selectors）來分析網頁內容，并根據分析的數據生成Item;④由Spider返回的Item將數據存到數據庫或使用Feed exports存入到文件中[5]。

3.2.2 ?技術實現

1）先通過Pip install Scrapy命令安裝Scrapy，Scrapy必須安裝在Python 2.7以上。

2）安裝完成后，通過Ins/usr/local/python 2.7/bin/scrapy/bin/scrapy命令，將Scrapy配置為全局變量。通過Scrapy startproject tutorial新建一個Scrapy項目。

3）通過Scrapy genspider caas命令，創建一個新的Spider。對于不同網站的爬取，需要建立多個 Spider，多個Spider并發執行，即可實現大量網絡資源數據的采集。

4）執行Spider進行數據爬取，結果可以導出為json、xml、csv等格式文件。本文將數據導出格式設置為xml 格式。

通過執行Scrapy crawl moao moa.xml命令采集安康市農業科學研究所數據，見圖4。

通過執行Scrapy crawl moao moa.xml命令采集安康市農業局數據，見圖5。

3.3 ?大數據管理技術及應用

Neo4j是一個高性能的Nosql圖形數據庫，它將結構化數據存儲在網絡上而不是表中。它具有如下特征：完整的Acid支持，保證數據一致性;高可用性，不管桌面應用如何變化，Neo4j只會受到計算機硬件性能的影響，不受應用本身的約束;輕易擴展到上億級別的節點和關系，一個Neo4j服務器便可以承載上億級的節點和關系，并且支持分布式集群部署;通過遍歷工具高速檢索數據，每秒可以達到上億級的檢索量，一個檢索操作類似于Rdmbs里面的連接（Join）操作，讀性能可以實現每毫秒遍歷2 000關系[6]。

3.4 ?大數據處理技術應用

智慧農業中的研究主要以對農業采集數據處理為目的，分析出農業大數據中潛在的價值和規律，對農業經濟發展進行合理的推斷和預測，進而指導農業生產活動。

3.4.1 ?大數據處理的關鍵技術 ?Spark是Apache旗下的一種基于內存計算、快速、通用、可擴展的開源集群計算系統，是繼 Hadoop 之后的新一代大數據分布式處理框架，提供高層次的Java、Scala、Python以及R語言的API接入，支持通用的圖處理[7]。

Spark主要側重于輕量級數據處理的應用，代碼小，處理速度快，設計靈巧，在技術層面上兼容Hadoop存儲層的API可訪問HdfsHbase，Sequence File等[8];支持交互式操作，Spark-Shell支持交互式Spark環境，能夠提供交互式查詢;具有良好的容錯機制[9]。Spark運行架構見圖6。

3.4.2 ?基于Spark的農技推廣數據處理研究

1）軟硬件環境要求。項目采用 Vmvare 虛擬機，配置硬件參數為：內存4GB，八核CPU，安裝操作系統版本為Red Hat Enterprise Linux Server release 6.4[10]。其余軟件版本如下：jieba-0.38.zip（md5），Python 2.6.6，mysql Ver 14.14， Distrib 5.1.66，for redhat-linux-gnu （i686） using readline 5.1，Spark-1.6.0-bin-hadoop 2.6。

2）操作步驟。將數據導入到Mysql數據庫中;為了避免亂碼問題，采用utf8數據格式：Set names utf8;source resource.sql登陸數據庫[11]，查看表結構見圖7。

3）利用jieba軟件包，使用Python讀取數據表中的字段，對title列的數據進行切詞處理。本文采用半自動安裝模式，下載jieba-0.38 安裝文件[12]，解壓后運行python setup.py install[13]。采用精確模式進行切詞，不對停用詞、特殊字符等進行處理，前10行切詞效果見表1。

4）搭建Spark平臺，通過在Spark上對切詞代碼進行執行，對比執行時間[14]，見表2。

4 ?小結

本文圍繞智慧農業發展的需求，分析了大數據對于傳統農業轉型升級的重要作用。通過實例分析了智慧農業中大數據的采集、海量數據的存儲、大數據管理、大數據分析等技術，探索了大數據在智慧農業中的應用。利用大數據技術對農業大數據進行清洗、集成、融合、挖掘等，發現隱藏其間的數據價值，可為農業生產經營提供指導，為農業市場經濟早期預警，為政府決策提供科學依據，培育新型農業經營主體，推動現代農業建設，保障國家糧食安全。

參考文獻：

[1] 趙春江，薛緒掌，王秀精，等.準農業技術體系的研究進展與展望[J].農業工程學報.2003，19（4）：7-12.

[2] 李國杰，程學旗.大數據研究：未來科技及經濟社會發展的重大戰略領域[J].中國科學院院刊，2012，27（6）：647-657.

[3] 孟小峰，慈 ?祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013，50（1）：146-169.

[4] 王 ?珊，王會舉，覃雄派，等.架構大數據：挑戰、現狀與展望[J].計算機學報，2011，34（10）：1741-1752.

[5] 于 ?戈，谷 ?峪，鮑玉斌，等.云計算環境下的大規模圖數據處理技術[J].計算機報，2011，34（10）：53-67.

[6] 羅軍舟，金嘉暉，宋愛波，等.云計算：體系架構與關鍵技術[J].通信學報，2011，32（7）：3-21.

[7] 陸嘉恒.大數據挑戰與NoSQL數據庫技術[M].北京：電子工業出版社，2013.

[8] 董 ?輝.基于SOA架構的山東農產品電子商務平臺的構建[J].科技信息，2012（25）：34-35.

[9] 廖亮權.基于WAMP的農村電子商務交易平臺的設計與實現[D].南昌：南昌大學，2013.

[10] 程翠玉.農產品電子商務交易系統的設計與實現[D].山東青島：中國海洋大學，2011.

[11] 洪 ?穎.基于J2EE農產品電子商務平臺的設計[J].湖北農業科學，2015，54（1）：193-195.

[12] 李承高.環洞庭湖區農產品電子商務平臺的構建探討[J].時代金融，2017（3）：65-68.

[13] 連奕錦，邢玉升.試論“互聯網+農業”的發展策略[J].北方經貿，2017（4）：34-35.

[14] 夏 ?曼.基于云計算的農產品電子商務平臺的設計與實現[D].南寧：廣西大學，2015.