李月 滕青林 劉麗麗 楊陽 張磊
摘要介紹了農業大數據的概念和發展現狀,闡述了農業大數據理論在農業中的主要應用,分析了農業大數據發展過程中存在的問題,并預測了農業大數據的發展趨勢。
關鍵詞農業;大數據;發展趨勢;現狀
中圖分類號S126文獻標識碼A文章編號0517-6611(2017)31-0210-03
AbstractThe conception and development status of agricultural big data were introduced. Main applications of agricultural big data theory in agriculture were expounded. The existing problems in the development process of agricultural big data were analyzed. And the development trend of agricultural big data in future was predicted.
Key wordsAgriculture;Big data;Development trend;Status
在世界經濟論壇發布的《2013年全球信息技術報告》指出,大數據是一項具有幫助全球經濟復蘇的巨大潛力的新資產。2013年是大數據元年,大數據逐漸顯現出對社會生活產生全方面影響的態勢[1]。在云計算、物聯網、移動互聯網等技術變革的推動下,我國已經開始進入“大數據”時代,IT行業開啟了大數據的起航之旅,大數據已在電子商務、市場營銷、臨床診斷、遠程監控、藥品研發、金融等領域發揮著重要作用。在農業領域中,農業科研和生產活動每年都在產生大量數據,集成、挖掘和使用這些數據對于現代農業的發展將會發揮極其重要的作用。筆者介紹了農業大數據的概念和發展現狀,闡述了農業大數據理論在農業中的主要應用,分析了農業大數據發展過程中存在的問題,并預測了農業大數據今后的發展趨勢。
1農業大數據的概念
麥肯錫數據分析研究所指出,大數據的數據規模超出了傳統的數據處理軟件的處理能力。21世紀,隨著互聯網使用者的不斷增多,各種信息以數據的形式傳播,因為數據的規模大大超出以往的認知范圍,所以產生了各種大數據的處理技術和方法。以數據分析為例,經典的數據分析常采用抽樣數據來分析和概括某個問題,而大數據處理技術是將全部的數據加以分析,從而得出更為全面的結果。農業大數據是指以大數據分析為基礎,運用大數據理念、技術和方法,解決農業或涉農領域數據的采集、存儲、分析與應用等一系列問題,以此來指導農業生產經營,是大數據理論和技術在農業上的應用和實踐[2]。
農業大數據的特征主要包括以下方面:①從領域來看,以農業領域為核心,逐步拓展到相關上下游產業,同時整合宏觀經濟背景的數據,包括統計數據、進出口數據、價格數據、生產數據,乃至氣象數據等;②從地域來看,以國內區域數據為核心,借鑒國際農業數據為有效參考;不僅包括全國層面的數據,還應涵蓋省市數據,甚至地市級數據,為精準區域研究提供基礎;③從粒度來看,不僅包括統計數據,而且包括涉農經濟主體的基本信息、投資信息、股東信息、專利信息、進出口信息、招牌信息、媒體信息、CIS坐標信息等;④從專業性來看,應分步實施,首先是構建農業領域的專業數據資源,其次應逐步有序規劃專業的子領域數據資源[3]。
2農業大數據發展現狀
21世紀以來,隨著各項互聯網新興技術的發展,衍生出大量數據,現代社會已進入大數據時代,但大數據理論和技術真正引起人們關注和重視是在2008年《Nature》雜志發表了一篇從各個角度介紹大數據帶來的挑戰的專刊之后。2013年,大數據理論逐漸被應用于實踐,并且呈現出對人們的社會生活產生全方位影響的態勢,且在農業領域對大數據的研究和應用也在不斷發展。
據中國知網(http://www.cnki.net/)統計,國內關于農業大數據的學術關注度不斷上漲,2006年農業大數據中文發文量僅有145篇,2016年已增加到 1 246篇,2006—2016年農業大數據中文年發文量的環比增長率一直在10%以上,其中2013年環比增長率高達45%。農業大數據的媒體關注度從2014年開始大幅增長,在2014年之前農業大數據的媒體發文量每年都僅有2~3篇,但在2014年達到17篇,2015年農業大數據的媒體發文量與2016年相當,各有62和61篇。這些數據表明關于農業大數據的研究從2013年開始引起人們重視,并且關注度還在不斷增加,從學術關注度和媒體關注度來看,媒體關注度大大低于學術關注度,這反映出我國的農業大數據研究以農業類高校和科研機構為主。
在農業大數據實踐方面,2013年6月國內第一個農業大數據產業技術創新戰略聯盟在山東農業大學成立。山東農業大學校長溫孚江指出:目前在國內大數據研究雖然剛剛起步,但有關“農業大數據”的研究已經十分領先[3]。2014年,中國農業科學院農業信息研究所許世衛認為:伴隨大數據技術在農產品監測預警領域的廣泛應用,構建農業基準數據、開展農產品信息實時化采集技術研究、構建復雜智能模型分析系統、建立可視化的預警服務平臺等將成為未來農產品監測預警發展的重要趨勢[4]。2014年,廣東省現代農業裝備研究所孟祥寶等[5]提出農業大數據應用體系結構和平臺建設的設想。2016年,中國農業科學院農業信息研究所王文生等[6]介紹了建業農業大數據中心的數據基礎,對農業大數據中心的應用前景進行了展望,并指出了建設農業大數據中心的必要性。2017年3月,黑龍江省農業大數據管理中心成立,構建“大數據”+“現代農業”新模式,這是基于全省農業大數據管理服務的組織機構,負責統籌全省農業大數據建設運用工作,指導農業大數據信息采集分析、加工存儲、開放共享、產品開發、課題研究和安全管理。
由此可見,農業大數據在現代農業中的應用不斷增加,建設農業大數據中心從一個設想到真正建成僅需4年時間,說明農業大數據已經引起了全社會的重視。
3農業大數據理論在農業中的主要應用
3.1用于農情監測
農情監測的主要目的是根據監測耕地的變化、農作物產量的變化、自然災害發生概率等情況,來實現由“看天而作”到“知天而作”的轉變。在大數據的數據基礎上,根據數據處理平臺的分析處理,使農情監測系統更加完善,給農情監測工作帶來了新的機遇。
3.1.1
自然災害監測。通過分析收集的氣象數據,結合氣象模擬、土地分析、植物根部等要素,可以改進自然災害的預測預報和災害評估方法,提高預測災情的客觀性與準確性。這種通過大數據分析來監測自然災害的方法在國內雖然尚未開始使用,但是在國外已有報道。美國加州The Climate Corporation公司通過天氣數據、氣象數據、土地情況數據的大數據分析,為農民提供農作物自然災害保險服務。
3.1.2
作物估產及生長動態監測。農作物的生長監測一般采用遙感技術和作物模擬技術相結合的方法,遙感衛星監測從宏觀上反饋作物生長數據,而作物生長模型從機理上通過作物生長環境來模擬其生長發育過程,從而對農業生產提供系統全面預測。針對遙感衛星監測提供的宏觀數據,可以利用大數據處理平臺進行全面分析,為作物估產和生長動態監測提供重要的信息情報。
3.2用于農產品監測預警
農產品監測預警是指通過對農產品質量、農產品市場的監測來實現對農產品的預測,從而使現代農業得到穩定發展。大數據時代的來臨,為農產品市場監測預警工作提供了海量的數據支撐,因此會推動農產品監測預警工作更加標準化、精確化。在農產品質量監測預警方面,大數據技術給農產品信息的全面收集提供了技術基礎,使農產品質量能夠進行全方位比對,提高農產品質量監測的準確性。由于大數據處理技術的實時性,也使得農產品在出現質量問題時,能夠及時控制影響范圍,從而使農產品質量預警機制更加高效。在農產品市場監測預警方面,由于數據獲取技術更加快捷,所以農產品市場信息的流動會大大加快,從而減弱不同地域的市場信息不同步所帶來的市場風險。同時,大數據分析技術更加注重全面分析,而不是抽樣分析,因此農產品市場監測預警更加精準。
3.3用于精準農業決策
精準農業決策是指根據各個方面的農業信息,制定出一整套具有可實施性的精準管理措施。在大數據處理分析技術出現之前,專家系統、作物模擬模型、作物生產決策支持系統是主要的生產決策技術。大數據處理分析技術可以集成作物自身生長發育狀況以及作物生長環境中的氣候、土壤、生物等數據,同時綜合考慮經濟、環境、可持續發展的指標。這可以彌補專家系統、模擬模型在多結構、高密度數據處理方而的不足,為農業生產決策者提供更加精準、實時、高效的農業決策[6]。
3.4用于農村綜合信息服務系統的搭建
國家農村綜合信息服務系統的搭建有助于農業信息的傳播。農村綜合信息服務是指按照“平臺上移,服務下延”的思路,集成與整合各分散的信息資源與系統,在全國范圍內實現信息資源的共享[7]。在信息服務平臺搭建過程中,數據資源體量大、數據處理流程復雜、信息服務模式多樣,需要實現海量農業信息化數據獲取、傳輸、加工、服務一體化處理。因此,面對復雜多樣的用戶需求,實現信息服務按需分配以及處理大規模的資源數據中就必須利用大數據處理分析技術。農業大數據的應用研究,為農村綜合信息服務系統的搭建提供了必要的技術支撐。
4農業大數據發展過程中存在的問題
4.1農民文化素質低,大數據理論推廣困難
農業大數據是指大數據在農業領域的研究和應用,也就是說農業大數據最終是為農業服務的。在我國,鄉村人口有66 280.5萬,文化程度初中及以下人口55 005.5萬,文盲人口3 888.4萬(2010年第6次全國人口普查主要數據),由于農民的文化素質較低,對于大數據理論的理解會有一定的難度,因此對于大數據理論的宣傳和推廣會形成一定的阻力。
4.2農業大數據的數據積累不足
目前,農業領域的數據積累尚處于初級階段,遠達不到電信、金融、互聯網等領域的數據積累水平。然而,隨著農業數據采集方式的變化,自動化、智能化、人工化信息終端的大量涌現,數據的實時、高清以及長久保存等需求使得農業大數據成為可能。農業大數據源來自農業生產、農業科技、農業經濟、農業流通等方面,不同的數據源對應不同的數據獲取技術[8]。目前,農業大數據獲取主要包括以下方面:農業生產環境數據、生命信息智能感知、農田變量信息、農業遙感數據、農產品市場經濟數據、農業網絡數據。
4.3數據管理技術不成熟
大數據時代,數據規模巨大,人們不得不面臨海量數據管理問題,傳統的數據管理在一定程度上解決了結構化數據管理的問題,但是面對新的數據形態,數據管理技術需要創新發展,提供新的思路,來提高數據庫的擴展性。大數據管理技術中應用最廣泛的是NoSQL、NewSQL這2種類型的數據庫技術。雖然這2種數據庫管理技術都在快速發展,相關數據庫也已達到數百種。但是,從農業數據管理來看,基于NoSQL、NewSQL的農業數據管理研究都還在探索之中,農業大數據的管理技術并不成熟。
4.4數據處理技術不成熟
數據處理是指對數據進行操作,以產生有價值信息的過程。大數據時代,數據處理所面臨的場景發生了根本性變化,數據成批處理和流處理都是典型的大數據處理模式,數據成批處理是首先進行數據存儲,然后再對存儲的靜態數據進行集中計算;流處理是對數據的實時處理,與先存儲后處理不同,通常采用直接處理的模式。針對2種不同處理模式,需要不同的數據處理技術[5]。大數據處理技術不斷發展,提高處理數據的效率以及深化數據之間的相關性研究是2種數據處理模式共同追求的目標。
4.5數據安全問題難以保障
在數據收集階段,雖然對數據的采集、共享等出臺了相關制度,但尚未出臺針對性的法律,因此對農業數據的收集缺乏主動性和積極性,存在“重用輕管”的問題。在維護數據安全方面,尚未設置嚴格的訪問控制和隱私管理,經常出現采集的數據得不到有效保護的問題。
在技術處理階段,大數據的存儲和處理離不開互聯網技術,農業大數據在數據遷移到“云”中存儲時容易失去對安全邊界外數據的控制,會大大增加數據保護的難度,同時會降低安全系數[9]。為了保證網絡安全,相關部門雖然會引入防火墻、入侵檢測、用戶訪問控制等技術,但互聯網是一個高度開放的虛擬空間,重要而敏感的農業信息很容易遭到黑客攻擊,竊取農業資源情報,進行非法操作。
在服務管理階段,數據安全的問題主要在于:農業數據分散在各類不同的管理部門和科研機構中,導致這些數據之間的共享互換和交流應用缺乏統一的標準和規范,因此數據之間難以同步,會形成滯后的時間差,這個時間差如果被有心人利用,就會造成農業信息的泄漏和農業數據的外泄。
5農業大數據發展的趨勢
5.1多種信息采集技術有效互補
目前,農業大數據的各種信息采集技術的互補性日趨明顯。這主要表現在不同的信息采集技術具有不同的覆蓋范圍和不同的適用區域。農業大數據源來自農業生產、農業科技、農業經濟、農業流通等方面,不同的數據源對應不同的數據獲取技術,農業生產方面就會運用氣象數據采集技術。氣象數據采集結合氣象模擬、土地分析、植物根部等要素,可以提高預測災情的客觀性與準確性。農業流通方面,就要利用農業市場數據的處理分析結果,農業市場數據的信息采集就會運用云存儲技術。基于此,若要得到較為完整、準確的數據信息,必須將不同的信息采集技術相結合,將不同的技術應用在不同范圍,使各種信息采集技術之間形成有效互補。
5.2農業大數據應用體系化
在農業信息化的不斷發展過程中,農業大數據技術的應用呈現體系化的趨勢。
大數據技術在農業中的應用分為3個階段:數據收集階段、技術處理階段和服務管理階段。①數據收集階段是農業大數據應用的基礎,基礎設施資源、自然資源、信息資源的收集以及數據存儲技術、數據挖掘技術的投入是數據收集階段的主要任務。②技術處理階段是農業大數據應用的核心,需要建設產出的應用平臺、業務系統。應用平臺是農業大數據應用最直接的產出物。③服務管理階段是農業大數據的績效層,服務主要是指提供智慧的農業服務,管理是指規劃管理、運營管理和監督評價管理[10]。這一階段決定了農業大數據應用最終呈現出來的效果。農業大數據應用的3個階段是一個相互聯系的整體,在農業大數據發展過程中必然會越來越系統化和體系化。
5.3農業大數據管理中心的建立趨于統一化
20世紀90年代,我國相繼啟動了一系列重大的農業信息化項目,農業農村信息化方面的投資逐年增加,這為我國農業大數據中心的建設提供了必要的支撐。2017年3月,黑龍江省農業大數據管理中心成立,農業大數據管理中心基于全省農業大數據管理服務的組織機構,負責統籌全省農業大數據建設運用工作,指導農業大數據信息的采集分析、加工存儲、開放共享、產品開發、課題研究和安全管理[11]。黑龍江省率先建立農業大數據管理中心實現了省內的農業大數據管理和應用工作,但農業大數據的應用范圍并不僅僅是局限在一個省內,因此隨著農業大數據技術的普及和推廣,其他省(市、自治區)的農業大數據管理中心也會相繼建立。為了實現省際間的數據交流互通以及全國性農業大數據的應用,農業大數據管理中心必將趨于統一化。
安徽農業科學2017年
參考文獻
[1] RAHAMROWE D,GOLDSTON D,DOGTOROW C,et al.Big data:Science in the petabyte era[J].Nature,2008,455(7209):8-9.
[2] 孫忠富,杜克明,鄭飛翔,等.大數據在智慧農業中研究與展望[J].中國農業科技導報,2013,15(6):63-71.
[3] 溫孚江.農業大數據研究的戰略意義與協同機制[J].高等農業教育,2013(11):3-6.
[4] 許世衛.農業大數據與農產品監測預警[J].中國農業科技導報,2014(5):14-20.
[5] 孟祥寶,謝秋波,劉海峰,等.農業大數據應用體系架構和平臺建設[J].廣東農業科學,2014,41(14):173-178.
[6] 王文生,郭雷風.農業大數據及其應用展望[J].農民科技培訓,2016,43(12):43-46.
[7] 王儒敬.我國農業信息化發展的瓶頸與應對策略思考[J].中國科學院院刊,2013,28(3):337-343.
[8] 張浩然,李中良,鄒騰飛,等.農業大數據綜述[J].計算機科學,2014,41(11):387-392.
[9] 陳雨霏.農業大數據的跨界旋風[J].中國農村科技,2013(8):20-23.
[10] 柳平增.農業大數據平臺在智慧農業中的應用:以渤海糧倉科技示范工程大數據平臺為例[J].高科技與產業化,2015,11(5):68-71.
[11] 宋長青,牟少敏,周虎,等.農業大數據研究中心的建設、研究與實踐[J].中國現代教育裝備,2015(3):8-11.