農業大數據及其應用展望

王文生++郭雷風

專家簡介：

王文生，博士，研究員，中國農業科學院農業信息研究所副所長，科技部國家農村信息化專家委員會評審組組長，農業部農業物聯網專家委員會成員。主要研究方向為農業農村信息化，物聯網、大數據和云計算在農業農村應用，運用新一代信息技術解決“三農”問題。部分科研成果先后入選科技部國家“十一五”重大成果和農業部十年重大科技成果，獲國家專利和軟件登記30多項，在國內外發表學術論文50余篇，出版英文《信息和通信技術對中國農戶的影響》專著1部，主編《中國農村信息化服務模式與機制研究》《農業網格技術研究與應用》《大數據與農業應用》著作3部，參編中英文著作6部。

大數據主要來源于大聯網、大集中、大移動等信息技術的社會應用，不但是信息技術從單項應用到多項融合的結果，而且是信息技術從前端簡單處理向后端復雜分析演變的表現，更是社會高度信息化的必然產物。大數據將給我們帶來更大的視野和更新的發現，進而改變我們的生活、工作和思維方式。許多科學家預言，在21世紀，無論是自然科學領域還是社會科學領域，大數據都將帶來無限的發展機遇。

計算機技術應用于農業已有30多年的歷史了，經歷了從起步、普及、提高、推進等一系列階段。進入21世紀以來，農業與農村信息技術的研究和應用進入高速發展階段，已成為現代農業的重要標志。農業領域中每一項技術的進步，都從某種程度上加深了農業大數據存在和研究的必要性。

我國是農業大國，一直非常重視全國性的農業科技信息資源數據資源建設。農業領域是大數據產生的無盡源泉，具有浩大的數據基礎。隨著各種智能傳感終端在農業領域的應用，農業數據來源更加廣泛、新穎、迅速，類型更加多樣，農業數據體量大、結構復雜、模態多變、實時性強、關聯度高，利用大數據技術進行農業相關應用研究，其意義將非常明顯。

一、 大數據

與云計算的橫空出世非常相似，大數據似乎也在一夜之間家喻戶曉。但略有不同的是，云計算發展早期主要由企業推動，而大數據則幾乎同時得到了政府、企業、學術界等各界的共同青睞。大數據最早是由著名未來學家阿爾文·托夫勒在1980年提出的，他在《第三次浪潮》書中，將大數據稱為“第三次浪潮的華彩樂章”。大數據具備3個基本特征：體量浩大（volume）、模態繁多（variety）、生成快速（velocity），或者就是簡單的“3V”，即龐大容量、極快速度、種類豐富的數據。

二、 農業大數據

（一）農業大數據內涵

農業數據主要是對各種農業對象、關系、行為的客觀反映，一直以來都是農業研究和應用的重要內容，但是由于技術、理念、思維等原因，對農業數據的開發和利用程度不夠，一些深藏的價值關系不能被有效發現。隨著大數據技術在各行各業廣泛研究，農業大數據也逐漸成為當前研究的熱點。

農業大數據解決的問題不是存量數據激活的問題，而是實時數據的快速采集和利用的問題；農業大數據解決的問題不是關系型數據庫集成共享的問題，而是不同行業、不同結構的數據交叉分析的問題。農業大數據至少包括下述幾層含義：

基于智能終端、移動終端、視頻終端、音頻終端等現代信息采集技術在農業生產、加工以及農產品流通、消費等過程中廣泛使用，文本、圖形、圖像、視頻、聲音、文檔等結構化、半結構化、非結構化數據被大量采集，農業數據的獲取方式、獲取時間、獲取空間、獲取范圍、獲取力度發生深刻變化，極大地提高農業數據的采集能力。

跨領域、跨行業、跨學科、多結構的交叉、綜合、關聯的農業數據集成共享平臺取代了關系型數據庫成為數據存儲與管理的主要形式，基于數據流、批處理的大數據處理平臺在農業領域中的應用越來越頻繁，交互可視化、社會網絡分析、智能管理等技術在農業生態環境監測、農產品質量安全溯源、設施農業、精準農業等環節大量應用。

農業產業鏈各個環節的政府、科研機構、高校、企業達成競爭與合作的平衡，農業大數據協同效應得到更好的體現。農業大數據形成一個可持續、可循環、高效、完整的生態圈，數據隔離的局面被打破，不同部門樂于將自己的數據共享出來，全局、整體的產業鏈得以形成，數據獲取的成本、渠道大大降低。

大數據的理念、思維被政府、企業、農民等廣泛接受，海量的農業數據成為決策的依據和基礎，天氣信息、食品安全、消費需求、生產成本、市場價格等多源數據被用來預測農產品價格走勢，耕地數量、農田質量、氣候變化、作物品種、栽培技術、產業結構、農資配置、國際市場糧價等多種因素用來分析糧食安全問題，政府決策更加精準，政府管理能力、企業服務水平、農民生產能力都得到大幅度提高。

（二）農業大數據獲取

農業大數據獲取是指利用信息技術將農業要素數字化并進行有效采集、傳輸的過程。目前，農業領域的數據積累還處于相對初級階段，達不到電信、金融、互聯網等領域的數據積累水平。然而農業數據采集方式的變化，自動化、智能化、人工化信息終端的大量涌現，數據的實時、高清以及長久保存等需求，使得農業大數據成為可能。農業大數據源來自農業生產、農業科技、農業經濟、農業流通等方方面面，不同的數據源，對應不同的數據獲取技術。從目前情況分析，農業大數據獲取主要包括以下幾方面。

1. 農業生產環境數據獲取

農業生產環境數據獲取是指對與動植物生長密切相關的空氣溫濕度、土壤溫濕度、營養元素、CO2含量、氣壓、光照等環境數據進行動態監測、采集，主要依靠農業智能傳感器技術、傳感網技術等。隨著多學科交叉技術的綜合應用，光纖傳感器、MEMS（micro-electro mechanical systems）微機電系統、仿生傳感器、電化學傳感器等新一代傳感器技術以及光譜、多光譜、高光譜、核磁共振等先進檢測方法在植物、土壤、環境信息采集方面廣泛應用，農業生產環境數據的精度、廣度、頻度大幅度提高。與此同時，傳感器終端的成本逐漸降低，大范圍、分布式、多點部署成為現實，數據量呈級數增長。

2. 生命信息智能感知

生命信息智能感知是指對動、植物生長過程中的生理、生長、發育、活動規律等生物生理數據進行感知、記錄，如檢測植物中的氮元素含量、植物生理信息指標，測量動物體溫、運動軌跡等。常用的生命信息感知技術包括光譜技術、機器視覺技術、人工嗅覺技術、熱紅外技術等。生命信息智能感知改變了原有的、以經驗為主的、人工檢測模式，使生命信號感知更加科學、更加智能，實時性、動態性、有效性得到大大提高。農業生命信息是對農業生產對象本身的數字化描述，是對生命個體進行監測管理的重要依據，具有典型的時效性。

3. 農田變量信息快速采集

農田變量信息快速采集主要是對農田中的土壤含水量、肥力、土壤有機質、土壤壓實、耕作層深度和作物病、蟲、草害及作物苗情分布信息采集，一般分為接觸式傳感技術、非接觸式遙感技術。國內在農田空間信息快速采集技術領域已經積累了較豐富的理論基礎和實踐經驗，已設計出便攜式土壤養分測試儀、基于時域反射儀（TDR）原理的土壤水分及電導率測試儀、基于光纖傳感器土壤pH值測試儀，并在作物病蟲草害的識別、作物生長特性與生理參數的快速獲取等方面開展了有益的探索。精準農業是農業信息化的重要方向，快速、有效采集和描述影響作物生長環境的空間變量信息，是精準農業的重要基礎。高密度、高速度、高準確度的農田信息具有數據量大、時效強、關聯度高等特點。農田變量信息主要服務于精準農業生產，強調實時性、精準性等特點，屬于局部、微觀、持續的農業數據。

4. 農業遙感數據獲取

農業遙感數據獲取是指利用衛星、飛行器等對地面農業目標進行大范圍監測、遠程數據獲取，主要采用遙感技術。遙感技術是一種空間信息獲取技術，具有獲取數據范圍大、獲取信息速度快、周期短、獲取信息手段多、信息量大等特點。農業遙感技術可以客觀、準確、及時地提供作物生態環境和作物生長的各種信息，主要應用在農用地資源的監測與保護、農作物大面積估產與長勢監測、農業氣象災害監測、作物模擬模型等幾個方面。農業遙感數據能反映大面積、長時間的農業生產狀況，屬于宏觀、全局層面的農業數據。

5. 農產品市場經濟數據采集

農產品市場經濟數據采集是指對農產品生產、質量、需求、庫存、進出口、市場行情、生產成本等數據進行動態采集，涉及農業流通、農產品價格、農產品市場、農產品質量安全等，具有較強的突發性、動態性、實時性、變化性，一般由“智能終端+通信網絡+專業群體”組成。隨著科學技術的發展，移動終端諸如手機、筆記本、平板電腦等隨處可見，加上網絡的寬帶化發展以及集成電路的升級，人類已經步入了真正的移動信息時代，基于智能終端的農產品市場經濟數據采集越來越頻繁，數據量越來越大，圖片、視頻等數據格式激增。基于3G的基層農技推廣平臺等是農產品市場經濟數據采集的典型應用。

6. 農業網絡數據抓取

農業網絡數據抓取指利用爬蟲等網絡數據抓取技術對網站、論壇、微博、博客中涉農數據進行動態監測、定向采集的過程。網絡爬蟲（網頁蜘蛛），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，有廣度優先、深度優先2種策略。農業網絡數據是在互聯網層面對農業各方面的客觀反映，具有規模大、實時動態變化、異構性、分布性、數據涌現等特點。搜農、農搜等搜索引擎都是基于主題爬蟲的農業數據獲取平臺，在農業網絡數據獲取方面具有一定基礎。

（三）農業大數據現狀

1. 農業大數據重要性日益凸顯

經過多年的發展，農業數據庫、農業信息系統、農業專家系統、農業遙感、農業物聯網等現代信息技術在農業生產活動中應用取得了非常顯著的成果。云存儲、數據倉庫等技術為數據的海量存儲提供了可能，傳感器、遙感數據、移動終端、網絡等都積累了大量的農業數據。伴隨著大數據技術的飛速發展，農業信息化的發展必然從“技術驅動”向“數據驅動”轉變。目前，農業領域都在積極部署農業大數據相關方面的研究，農業大數據重要性日益凸顯。中國農業科學院農業信息研究所發起了信息聯盟，旨在促進涉農信息資源與專家隊伍的集成、共享，聯合推進農業信息云服務；山東農業大學發起了農業大數據產業技術創新戰略聯盟（http：//www.nydata.com.cn/），以期促進大數據在山東農業領域研究及成果應用發展。2014年，科學數據大會舉行，專門設立農業與農村信息化大數據技術與應用分論壇。

2. 農業大數據積累初具規模

我國農業信息化研究長期以來一直非常重視農業數據的積累，目前農業大數據已經具備了一定的規模，數據的存儲格式以結構化數據為主，視頻、圖片等數據量也在不斷攀升。農業科學數據共享中心（試點）項目于2003年正式啟動，重點采集作物科學、動物科學與動物醫學類科學、農業科技基礎數據等農業科技類基礎數據。截至2012年，農業科學數據中心數據總量448.93GB。全國基層農技推廣信息化平臺，構建了糧食作物、經濟作物、蔬菜、果樹、畜牧等農業技術數據庫，面向全國70萬農技員提供服務，總記錄超過10萬條，視頻數據超過5000個。中國科學院計算機網絡中心研發的地理空間數據云平臺（http：//www.gscloud.cn/），現有地學遙感數據資源約280 TB，以中國區域為主，覆蓋全球地理范圍。中國作物種質資源信息網（CGRIS），擁有糧食、 纖維、油料、 蔬菜、果樹、糖、煙、茶、桑、牧草、綠肥、熱作等200種作物，41萬份品種、種質、基因信息。

3. 農業大數據研究具備了一定基礎

農業信息化研究工作一直與農業數據密切相關，相關方面的研究主要集中在監測與預警、數據挖掘、信息服務等方面，基于數據的農業信息處理分析具備了一定的基礎條件。據不完全統計，目前全國與農業相關的主要監測、預警系統共有84個，其中食物保障預警系統12個，食品安全監測預警系統18個，市場分析與監測系統35個，作物分析與預警系統19個；中國搜農作為國內首款農業垂直搜索引擎，持續穩定運行6年，獲取了海量的農業信息，信息總量超過100TB，信息更新周期平均為30min，目前每周平均信息增長量3GB，每天監控3萬多個農業網站發布的超過2萬多個農產品批發、集貿市場的2萬多個農產品品種的價格、供求等信息。

三、 農業大數據應用展望

基于大數據的理論和技術，不斷推進傳統領域創新與應用實踐，為國家經濟社會發展提供了新的生長點。在農業信息化不斷發展的過程中，已有部分領域完成了大數據積累，具備了利用大數據理論與技術進行深入數據分析和價值發現的條件。根據當前農業信息化發展的現狀，筆者認為大數據在農業領域的應用主要集中在以下幾個方面。

（一）精準農業可靠決策支持系統

變量決策分析是精準農業技術體系中的核心，致力于根據農田小區作物產量和相關因素，在農田內的空間差異性，實施分布式的處方農作。高密度的農田信息獲取后，怎樣根據這些不同角度的農田信息，推出一整套具有可實施性的精準管理措施，是需要多學科交叉的研究課題。專家系統、作物模擬模型、作物生產決策支持系統傳統的生產決策技術取得了一些成果，但效果并不理想。利用大數據處理分析技術，集成作物自身生長發育情況以及作物生長環境中的氣候、土壤、生物、栽培措施因子等數據，綜合考慮經濟、環境、可持續發展的目標，突破專家系統、模擬模型在多結構、高密度數據處理方面的不足，為農業生產決策者提供精準、實時、高效、可靠的輔助決策。

（二）國家農村綜合信息服務系統

國家農村綜合信息服務，按照“平臺上移，服務下延”的思路，集成與整合各分散的信息資源與系統，在全國范圍實現信息資源的共享，數據資源體量大、數據處理流程復雜、信息服務模式多樣，需要實現海量農業信息化數據獲取、傳輸、加工、服務一體化處理。利用大數據處理分析技術，研究復雜多樣、動態時變用戶需求的快速聚焦與大規模服務及用戶動態需求組合的學習和進化機制模型，突破農戶需求智能聚焦技術，實現信息服務按需分配以及云環境下大規模部署的智能系統服務與龐大“三農”用戶群的多樣性、地域性、時變性等個性化需求快速對接。

（三）農業數據監測預警系統

農業數據監測預警是指對農業生產、市場運行、消費需求、進出口貿易及供需平衡等情況進行的全產業鏈信息采集、數據分析、預測預警與信息發布，其主要任務包括感知市場異常波動、實時監控生產風險、及時應對突發事件、推動管理關口前移等。2002年以來，農業部開始建立農產品市場監測預警系統，啟動了稻谷、小麥等關系國計民生的7種重點農產品的市場監測預警工作。目前，監測預警技術已在農產品質量安全、農業病蟲草害、農產品價格、農產品市場等領域進行了廣泛應用。利用大數據智能分析和挖掘技術，實現農業信息流監測、農業數據關聯預測、農業數據預警多維模擬等，大幅度提高農業監測預警的準確性。

（四）天地網一體化農情監測系統

農情信息遙感監測主要是指利用遙感等信息技術對農業生產情況信息，如作物面積、長勢和產量信息、農業災害信息、農業資源信息等進行遠程監測和綜合評價，輔助農業生產決策的過程。基于遙感-地面-無線傳感網的一體化農情信息獲取體系，在解決了數據時空不連續的難點的同時，也帶來了海量農情數據融合處理的問題。與此同時，遙感技術飛速發展，特別是傳感器分辨率的提高、新型傳感器的應用等，遙感影像的數據量急劇增加，海量數據的存儲、快速產生、信息提取、融合應用等，為遙感數據分析帶來了挑戰。利用大數據分析處理技術，研究天地網一體化農業監測系統中的多源多類數據的智能融合與分析、定量化反演以及網絡化集成與共享關鍵技術，實現全局數據發現與跨學科的數據集成和互操作，為農業遙感信息的深入分析提供支撐。

（五）農業生產環境監測與控制系統

農業生產環境監測與控制系統屬于復雜大系統，貫穿農業信息獲取、數據傳輸與網絡通信、數據融合與智能決策、專家系統、自動化控制等于一體，在大田糧食作物生產、設施農業、畜禽水產養殖等方面廣泛應用。隨著傳感器技術的不斷發展，農業信息獲取的范圍越來越廣，從農作物生長過程中的營養數據、生理數據、生態數據、根系發育數據以及大氣、土壤、水分、溫度等農作物生產環境數據，到針對畜禽個體、群體的生長發育、環境和健康數據以及動物個體行為、群體行為、動物監控狀況數據等，數據傳輸精度越來越高、數據傳輸頻率越來越快、數據傳輸密度越來越大、數據綜合程度越來越強。利用大數據技術，能夠突破多源數據融合、數據高效實時處理等方面的瓶頸，實現農作物生長過程的動態、可視化分析與管理以及畜禽養殖的個性化、集約化、工廠化管理。

伴隨著農業信息化的深入推進，云計算、物聯網、移動互聯等信息技術在農業生產、經營、管理、服務各方面深入、廣泛應用，智慧農業不斷發展，大數據理論與技術農業應用已經具備了基礎。在農業現代化的建設中，應該極度重視農業大數據的作用，密切跟蹤國際大數據前沿技術，結合國家現代農業建設的基本情況，制定國家層面的農業大數據發展與應用戰略，梳理農業大數據重點發展領域，凝練農業大數據關鍵技術，推動大數據技術與理念在農業中的應用。