摘 要:“大數據”已發展成為了數據挖掘以及智慧應用的前沿技術,是在物聯網、云計算之后信息技術產業領域的又一次重大的技術變革。文章從大數據農業發展的現狀、發展中遇到的主要問題、大數據農業發展的關鍵技術、以及大數據農業發展的現實制約幾方面進行分析和探討,并且對我國的大數據農業和智慧型農業的發展提出建議。
關鍵詞:大數據;關鍵技術;農業發展
1 概述
大數據的發展延伸出很多分支,農業大數據是非常具有特色的一支,因為在農業領域里創新性的結合了大數據理論、技術和方法。
農業大數據是農業與大數據的結合,除了具有大數據的特性之外,還具有復雜性和分散性的特征。農業的發展也不再是簡單的耕地、播種、施肥、殺蟲等等環節,而是涉及到更多的跨行業、跨專業、跨業務的發展,在農業大數據中,更多的是數據分析與挖掘,以及數據的可視化。
2 農業大數據面臨的主要問題
2.1 數據量化能力低
在農業中,農業普查是獲取農作物產量、農產品市場價格等這些數據的唯一途徑。但是,農業普查獲得的數據也最容易受到人為因素的影響。比如,從普查人員的角度來說,可能受到自身業務能力水平或是個人利益的影響,導致數據出現質量問題;從農業普查機構的角度來說,在審核過程中的程序有缺陷、把關不嚴密,以及普查的方案存在漏洞,這些都會影響普查數據的質量。
2.2 數據共享量率低
在市場經濟發展的過程中,由于農業經營和生產模式逐步分散化,所以要將農業生產在全國范圍內進行統一規劃變得很難。而且,掌握這些數據的大型涉農網站和一些涉農研究管理機構,因為體質和相互競爭等因素,導致了彼此之間不能共享信息,不能共享數據,造成大量的農業數據之間缺乏統一的標準和規范,使得數據共享率極低。
2.3 對數據分析解釋的客觀性問題片面
只要是有效的大數據工具和方法都可以對采集到農業領域的數據進行分析。但是在對數據分析的過程中,不同的職能機構有各自的執行標準和規范,在按照這些標準和規范解釋數據時,使得分析得到的結果存在很大差異,還有的分析人員對數據分析代有主觀色彩,造成了“數據偏見”。
鑒于上述問題,必須改變獲取農業大數據的來源,一般由機器提供的數據客觀性較強,可以考慮將互聯網、移動互聯網和物聯網技術與農業結合。
3 農業大數據的關鍵技術
可以看出,由于大數據的數據量大、結構復雜,而農業大數據作為它的一個分支,對其進行分析面臨非常嚴峻的挑戰。用現有技術對數據的提取、存儲、搜索、共享、分析和處理已經非常困難,因此對處理大數據中的一些關鍵技術的研究顯得十分的迫切。下面是歸納出的三個方面:
3.1 大數據存儲技術
大數據核心技術是基于存儲的計算,所以數據的存儲是基礎。大數據的數據量日益龐大,使得傳統存儲技術面臨建設成本高、運維復雜、擴展性有限等問題,急需尋找成本低廉、擴展性高的存儲技術,云存儲技術應運而生。通過用集群應用、網格技術或者是分布式文件系統等將網絡中大量各種不同的存儲設備通過應用軟件集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統,就是云系統的工作原理。
存儲層主要是將若干個存儲設備虛擬化管理;基礎管理層是管理云存儲設備之間協同工作,使多個存儲設備對外提供同一種服務;應用接口層就是提供各種服務接口;訪問層就是授權用戶可以登錄云存儲系統,享受云服務。
3.2 大數據管理技術
數據存儲好后,還要對其進行深度分析,從中發現有用信息加以利用,并不是簡單的生成報表,要運用復雜的分析模型以及數據對其進行分析。雖然SQL語言(存取關系數據庫系統語言)在經過不斷的擴充,其功能和表達能力也不斷的增強,但是由于關系數據管理的對象主要是標準化的結構化數據,而現在成熟的數據庫大部分都是結構化的設計。所以在大數據時代,面對海量的半結構化和非結構數據,關系數據管理技術喪失了其特有的優勢。在實際應用中,非結構化數據比如辦公文檔、文本、圖片、圖像和音頻/視頻信息等等逐步上升為主導地位。顯然,關系數據管理系統不能夠繼續勝任大數據分析的要求,所面臨的挑戰是必然的,必須研究一種新型的數據管理技術。
3.3 大數據處理技術
大數據處理的流程主要包括以下四個環節:采集、導入(預處理)、統計(分析)、挖掘。在這四個環節中,數據挖掘是最關鍵的步驟。因為前三個環節可以通過運用特定的算法,或是機器采集來進行分析。對于數據挖掘沒有預先設定的主題,主要是利用現有的數據,運用各種算法,達到預測的效果,進而對一些高級別數據進行進一步的分析。例如,通過分析農業大數據,可以很好的預測農產品市場價格走向等等。可以看出數據挖掘中涉及的數據量和計算量都很大,相應的數據挖掘算法也很復雜。
以上述關鍵技術作為支撐,結合自身需要,并且針對所在領域的特點,細化研究大數據,才能發現問題,有針對性的解決。
參考文獻
[1]劉鵬,吳兆峰,胡谷雨.大數據——正在發生的深刻變革[J].中興通訊技術,2013(04).
[2]張浩然,李中良,鄒騰飛,等.農業大數據綜述[J].計算機科學,2014(S2).
[3]李道亮.物聯網與智慧農業[J].農業工程,2012(01).
[4]楊大蓉.中國智慧農業產業發展策略[J].江蘇農業科學,2014(04).
[5]James Manyika,Michael Chui,Brad Brown,et al.Big data:The next frontier for innovation,competition,and productivity,2011.
[6]孟小峰,慈祥.大數據管理:概念、技術與挑戰[J].計算機研究與發展,2013(01).
[7]王強.大數據技術在農業領域的應用分析及建設策略[J].新疆農業科技,2015(01).
作者簡介:李旭茹(1990,8-),女,山西呂梁,碩士,研究方向是圖象處理與識別,助教,工作單位是山西農業大學軟件學院。