農業大數據技術研究現狀與發展趨勢

米春橋， 彭小寧， 米允龍， 趙嫦花

(1.懷化學院，湖南懷化 418000；2.武陵山片區生態農業智能控制技術湖南省重點實驗室，湖南懷化 418000)

農業大數據技術研究現狀與發展趨勢

米春橋1，2， 彭小寧1，2， 米允龍1，2， 趙嫦花1，2

(1.懷化學院，湖南懷化 418000；2.武陵山片區生態農業智能控制技術湖南省重點實驗室，湖南懷化 418000)

分析了農業大數據清洗技術、尺度轉換技術、融合技術、關聯分析與預測技術、可視化技術及具體應用等方面的研究現狀與發展動態，從分布式并行算法、時空插值、本體理論、背景挖掘、時空制圖等方面對農業大數據相關技術的發展趨勢進行了分析與展望。研究結果對促進大數據技術與農業信息科學交叉發展及建立農業大數據基礎技術體系具有參考價值。

農業大數據技術；研究現狀；發展趨勢

農業大數據是融合了農業地域性、季節性、多樣性、周期性及作物本身特性等特征后產生的來源廣泛、類型多樣、結構復雜、具有潛在價值并難以應用傳統方法處理和分析的數據集合。當前農業生產各環節的數據量日益增多，基于數據分析的農業業務需求也越來越多，但與農業業務特點相結合的比較成熟的農業大數據分析技術還很缺乏。因此，有必要對農業大數據相關技術的發展狀況進行分析，以促進農業大數據基礎技術體系的建立與發展。

1 農業大數據技術研究現狀與動態分析

1.1 農業大數據清洗技術研究分析 數據清洗指發現并糾正數據中可識別的錯誤，是一個減少錯誤和不一致性、解決對象識別的過程，主要利用有關技術如數理統計、數據挖掘或預定義的數據清洗規則將臟數據轉化成滿足數據質量要求的數據。相關研究可以分為2大類：一是傳統的數據量較小的情況下數據清洗方法的研究[1]，按實現方式可分為4種：①手工實現方式，即用人工來檢測所有的錯誤并改正；②程序實現方式，通過編寫專門的應用程序檢測、改正錯誤；③某類特定應用領域的問題，如根據概率統計學原理查找數值異常的記錄；④與特定應用領域無關的數據清洗，這一部分的研究主要集中于重復記錄的檢測、刪除。然而，當面對大數據時，傳統的清洗方法需要作相應的改變才能適應。二是大數據環境下數據清洗方法的探索，如云計算環境下大數據重復記錄清洗算法研究[2]，大數據環境下缺失信息處理方法研究[3],大數據環境下數據清洗基本框架模型及其局限性分析[4]等，目前這部分的研究仍處于初期探索階段，尤其未見與農業領域大數據清洗相關的研究報道。因此，針對特定農業問題而構建一個快速獲取干凈、完備數據集的清洗方法流程已變得尤為重要與緊迫。

1.2 農業大數據尺度轉換技術研究分析 農業大數據的突出特點是時空特性顯著，當前國內外主要是利用時空插值方法進行農業點源數據的尺度轉換，相關研究可分為2類：一是將普通Kriging方法進行改造與時空擴展[5]，然后用于各類要素的時空插值實踐中，典型的研究如降雨量時空分析[6]、溫度時空預測[7]等，這類方法具有簡單易用的特點，但難以勝任對特定領域業務特色的突顯，如對作物種植災害脅迫的農事物候性的有效描述就很難直接用此類方法做到。二是采用編程語言如R語言自主建立相關時空協方差函數模型進行時空變異建模及插值分析[8]，目前主要有2種時空協方差函數建模方法：一種是可分離型的模型[9]，即通過將空間協方差函數與時間協方差函數相加或相乘得到，這類模型構建簡易，但卻分割了時空間的相關信息；另一種是不可分離型的模型[10]，這類模型善于有效描述時空變量的時空變異結構信息，已成為時空插值研究的主要方向，但由于其構建十分復雜，在高效實現方面仍然是一個難點，當前還缺乏較成熟的研究成果，尤其是與具體業務領域的結合應用成果更少。建立集成農業地域性與物候性的時空一體化插值模型對大量的農業點源數據進行尺度轉換與提升是當前急需解決的問題。

1.3 多源農業大數據融合技術研究分析 多源數據融合是將多種來源的多個觀測數據，在一定準則下進行自動分析處理與綜合集成，獲得單個或單類數據無法獲得的有價值的綜合信息[11]。國內外相關研究可分為2類：一是語法層次的數據集成研究，包括數據格式轉換方法、基于元數據的數據集成方法、基于網絡協議標準的數據互操作技術等[12]，但這類傳統的基于語法層次的數據集成技術難以適應農業時空數據的異構性、分布性、增長性、變化性等特點。二是語義層次的數據融合研究，它具有擴展性好、適應動態信息源、支持語義級信息共享等優點[13]，是當前數據集成、共享及互操作的高級發展階段。本體是實現語義融合集成的良好途徑[14]，而目前國內外關于農業本體[15]的研究仍處于初級階段，相關的探索如聯合國糧食及農業組織(FAO)已構造了漁業本體、食品安全領域本體和食物、營養與農業的本體3個領域的原始本體[16]，也有學者對基于本體的農業災害應急處置領域知識表示[17]與應急信息資源目錄體系構建[18]、基于本體的農業知識建模[19]等進行了相關的探索，但缺乏成熟的應用成果，尤其缺少面向農業時空大數據融合的本體建模探索與研究。

1.4 農業大數據關聯分析與預測技術研究分析 農業大數據來源廣泛、類型多樣、結構復雜，應用關聯分析可以很好地挖掘農業大數據的潛在價值。關聯分析又稱關聯挖掘，是在大量數據集中發現頻繁模式、關聯性、相關性或因果結構等特征的一種實用分析方法，從而描述某些現象同時出現的規律和模式。當前相關的研究可分為2類：第一類是關于經典關聯分析算法的研究，如有研究指出原Apriori 算法有2個致命的瓶頸[20]：其一，算法在執行時將會多次不斷地掃描整個事務數據庫，對于規模較大的數據集來講，算法時間過長；其二，原算法將會產生大規模的候選項集，隨著候選項集的不斷增大，對計算機的內存空間要求不斷提高。因此，后續發展中許多研究者提出了很多對原算法的改進算法。第二類是在云計算環境下，不少學者致力于把關聯規則與云計算結合起來，以促進關聯分析在大數據時代的發展，相關的研究如基于Boolean 矩陣和Hadoop 的高效Apriori算法實現[21]，結合FP-tree與MapReduce提出MFIM 算法來挖掘頻繁項集的研究[22],大數據環境下否定關聯規則算法的研究[23]等。這些研究都在一定程度上改善了關聯分析的效率，但都未與具體的領域業務相結合，尤其少見關于農業大數據關聯分析的研究報道。而如何在農業大數據中立足農業數據的時空特點，建立適合農業實踐應用需求的農業大數據時空關聯分析與預測方法及技術，從而有效揭示農業現象背后所隱藏的關聯因素與潛在規律，是當前急需解決的重要難題。

1.5 農業大數據時空可視化技術研究分析 在當前大數據時代，時空可視化已經成為時空分析和知識發現過程中不可缺少的重要環節，它是將相關時空現象在空間維和屬性維上的變化隨時間維以交互式的圖形圖像方式表達出來，便于用戶了解復雜時空現象的發展過程，分析其變化規律，把握其發展趨勢[24]。相關研究主要可以分為2類：一是靜態時空可視化方法研究，如時間符號法、時間注記法、對比地圖法、變化地圖法、運動線法、時間統計圖法和時間圖形地圖法[25]等，典型的研究如通過擴張符號法和結構符號法來表示不同時間數量和質量屬性的變化，通過定位地圖表示法表示制圖區域呈周期性變化的地理現象，如溫度、降水和風向的年變化[24]等。二是動態時空可視化方法研究，如以時間為主線所有變化按時間先后順序作為事件序列存儲的時空數據表達方法[26]。借助動畫技術展示地理數據時間維的動態地圖表達方法[27]等。具體應用方面，Yahoo Tracker、時間墻模型、主題河流模型(Theme River)等都是基于時間維度的可視化表達方法[28]。為提高動態地圖的認知效率，有學者還提出了交互式時間圖例、自定義動畫內容篩選、時空數掘聚合和時空插值漸變4種優化方法[24]。當前，直接應用于農業大數據時空可視化的技術研究還很缺乏，這些相關研究可為農業大數據時空可視化分析奠定良好的基礎。

1.6 農業大數據應用研究分析 大數據在農業中的應用目前較多見的為基于大數據的農業災害時空分析，相關研究主要可以分為2類：一是基于空間和時間頻率統計分析的常見氣象災害時空描述性分析，典型的研究如高溫日數時空變化分析[29]、霜凍時空分布特征分析[30]等。二是基于致災因子指數的具體作物災害空間分布與年際變化特征分析，典型的研究如基于相對濕潤指數的季節性干旱時空分布特征分析[31]、基于農業干旱參考指數的玉米干旱時空變化分析[32]等。這2類研究都在一定程度上揭示了相關災害的空間分布特征和時間變化規律，但是其普遍思路都是把空間和時間分割開來分別統計建模分析，缺乏對空間和時間的統籌考慮及集成化的模型支撐，不利于揭示災害的時空內在規律性。另外，也有部分學者對農業大數據的理論框架進行了探索性的研究，如：孫忠富等[33]結合農業特點，分析了大數據在農業上的需求、主要應用領域及其在智慧農業中的關鍵地位；宋長青等[34]對高等農業院校農業大數據研究現狀及發展思路進行了分析，指出農業大數據可促進農業生產環節更精準、產品流通更有序、科技推廣更高效、管理決策更科學；李秀峰等[35]對大數據時代包括農業大數據智能處理技術、農業大數據決策本體技術、農業信息化云服務人機交互技術的農業信息服務技術創新進行了論述。這些研究對加快大數據在農業中的應用具有很好的促進作用。

2 發展趨勢與展望

未來，隨著IT技術本身的發展及農業信息化水平的不斷提高，農業大數據技術的發展呈現出多種需求趨勢。在數據處理方面，數據量越來越大，因此急需在關注農業數據自身特點的前提下，針對農業數據差異性設計高效率分布式并行計算的農業大數據清洗技術；在數據尺度轉換方面，需要結合農業大數據的地域特征(空間性)與物候特征(時間性)，研究建立結合農業地域性與物候性的時空一體化插值模型，實現適合農業領域的點源大數據的尺度提升；在數據融合方面，需要基于農業行業標準、農業信息處理規范、農業專家知識等相關標準，研究建立基于本體的多源農業大數據融合模型，實現多源異構農業大數據語義層次的融合集成；在關聯分析與預測方面，需要立足農業大數據本身的特點，研究基于背景挖掘的農業大數據關聯分析與預測技術，為充分全面理解不同時間、不同地區、不同要素農業現象的共性及個性化特征提供技術手段；在可視化分析方面，需要研究建立農業大數據時空制圖可視化技術，包括用于揭示特定階段農業現象空間分布特征的對比地圖法、變化地圖法等靜態時空可視化技術，用于揭示長時間農業現象時空擴散與變遷規律的時空數據聚合與漸變動態可視化技術，從時空角度對農業問題進行多角度靜、動態可視化分析；在具體應用方面，需要將農業大數據基礎分析技術與農業數據本身特征(如時空性較強等)及具體分析任務、目的相結合，形成農業大數據基礎技術與農業生產實踐相互促進的良好發展局面。

3 結語

農業相關業務的形成機理和時空演化過程十分復雜，農業大數據具有顯著的多源、多類、多量、多維、多時態、多空間、多主題、多結構等特征，因此，農業大數據技術必須與農業業務相結合才具有實用性，農業大數據技術的發展必須體現農業特色才具有生命力。該研究對農業大數據清洗技術、尺度轉換技術、融合技術、關聯分析與預測技術、可視化技術及具體應用等方面的研究現狀、動態及趨勢進行了分析與展望，對促進農業大數據技術發展及建立農業大數據基礎技術體系具有較大的參考價值。

[1] 郭志懋,周傲英.數據質量和數據清洗研究綜述[J].軟件學報,2002,13(11):2076 -2082.

[2] ZHANG F,XUE H F,XU D S,et al.Big data cleaning algorithms in cloud computing[J].International journal of online engineering,2013,9(3):77-81.

[3] 姜麟,米允龍，王添.大數據下不完備信息系統近似空間的并行算法[J].計算機工程與應用,2014,50(15):101-106.

[4] 蔣勛,劉喜文.大數據環境下面向知識服務的數據清洗研究[J].圖書與情報,2013 (5):16-21.

[5] 徐愛萍,胡力,舒紅.空間克里金插值的時空擴展與實現[J].計算機應用,2011,31(1):273-276.

[6] COWPERTWAIT P S P.A spatial-temporal point process model of rainfall for the Thames catchment,UK[J].Journal of hydronautics,2006,330(3/4):586-595.

[7] IM H K,RATHOUZ P J,FREDERICK J E.Space-time modeling of 20 years of daily air temperature in the Chicago metropolitan region[J].Environmetrics,2009,20(5):494-511.

[8] 李莎,舒紅,徐正全.利用時空Kriging進行氣溫插值研究[J].武漢大學學報(信息科學版),2012,37(2):237-241.

[9] 李莎,舒紅,董林.基于時空變異函數的Kriging插值及實現[J].計算機工程與應用,2011,47(23):25-26,38.

[10] 李莎,舒紅,徐正全.東北三省月降水量的時空克里金插值研究[J].水文,2011,31(3):31-35.

[11] 顧穎,戚建國,倪深海,等.多源信息同化融合技術在旱情評價中的應用[J].人民黃河,2014,36(5):41-44.

[12] 曹彥波.基于本體的資源環境空間信息集成與共享技術研究[D].昆明：云南師范大學,2006.

[13] 王艷妮,劉剛.地質災害領域本體的研究與應用[J].地理與地理信息科學,2011,27(6):36-40.

[14] 張曉祥.大數據時代的空間分析[J].武漢大學學報(信息科學版),2014,39(6):655-659.

[15] 錢平,鄭業魯.農業本體論研究與應用[M].北京:中國農業科學技術出版社,2006.

[16] SINI M,SALOKHE G,PARDY C,et al.Ontology-based navigation of bibliographic metadata:Example from the food,nutrition and agriculture[C]//Proceedings of the international conference on the semantic web and digital libraries.Rome,Italy:[s.n],2007:64-76.

[17]肖花,劉春年.基于本體的農業災害應急處置領域知識表示研究[J].安徽農業科學,2011,39(27):16612-16614.

[18] 肖花,劉春年.基于本體的農業災害應急信息資源目錄體系構建研究[J].安徽農業科學,2011,39(24):15147-15149.

[19] XIE N F.Research on agricultural ontology and fusion rules based knowledge fusion framework[J].Agri Sc Techno,2012,13(12):2638-2641.

[20] 陳文偉.數據倉庫與數據挖掘教程[M].北京:清華大學出版社,2006.

[21] YU H L,WEN J,WANG H M,et al.An improved apriori algorithm based on the boolean matrix and hadoop[J].Procedia engineering,2011,15(1):1827-1831.

[22] HE B.The algorithm of mining frequent itemsets based on MapReduce[J]//Proceedings of international conference on soft computing techniques and engineering application,2014,250:529-534.

[23] 米允龍,姜麟,米春橋.MapReduce 環境下的否定粗糙關聯規則算法[J].計算機集成制造系統,2014,20(11):2893-2903.

[24] 艾波.時空數據可視化方法研究[D].青島：山東科技大學,2011.

[25] HORNSBY K，EGENHOFER M J.Qualitative representation of change[C]//HIRTLE S C,FRANK A U.Spatial information theory:A theoretical basis for GIS.Berlin:Springer,1997:15-33.

[26] 馬榮華.地理空間認知與GIS空間數據組織研究[D].南京:南京大學,2002.

[27] 李霖,苗蕾.時間動態地圖模型[J].武漢大學學報(信息科學版),2004,29(6):484-487.

[28] 桑鵬,唐新明,艾波,等.RSS新聞事件的多維描述與時空可視化方法[J].地球信息科學學報,2014,16(3):341-348.

[29] 雷楊娜,龔道溢,張自銀,等.中國夏季高溫日數時空變化及其環流背景[J].地理研究,2009,28(3):653-662.

[30] 張龍,尹憲志,付雙喜,等.甘肅省霜凍時空分布特征及防御措施[J].現代農業科技,2015(1):248-250.

[31] 王明田,王翔,黃晚華,等.基于相對濕潤度指數的西南地區季節性干旱時空分布特征[J].農業工程學報,2012,28(19):85-92.

[32] 劉宗元,張建平,羅紅霞,等.基于農業干旱參考指數的西南地區玉米干旱時空變化分析[J].農業工程學報,2014,30(2):105-115.

[33] 孫忠富,杜克明,鄭飛翔,等.大數據在智慧農業中研究與應用展望[J].中國農業科技導報,2013,15(6):63-71.

[34] 宋長青,高明秀,周虎.高等農業院校農業大數據研究現狀及發展思路[J].中國農業教育,2014(5):16-20.

[35] 李秀峰,陳守合,郭雷風.大數據時代農業信息服務的技術創新[J].中國農業科技導報,2014,16(4):10-15.

Research Status and Dvelopment Trend of Agriculture Big Data Technology

MI Chun-qiao1,2,PENG Xiao-ning1,2,MI Yun-long1,2et al

(1.Huaihua University,Huaihua,Hunan 418000; 2.Key Laboratory of Intelligent Control Technology for Wuling-Mountain Ecological Agriculture in Hunan Province,Huaihua,Hunan 418000)

The research status of agriculture big data cleaning technology,scale conversion technology,fusion technology,correlation analysis and prediction technology,visualization technology and concrete applications were analyzed.The development trends were also analyzed from the aspects of distributed parallel algorithm,spatial and temporal interpolation,ontology theory,background mining,spatial and temporal mapping.It has important reference significance in promoting the cross development of big data technology and agriculture information science and the establishment of agriculture big data basic analysis technology system.

Agriculture big data technology; Research status; Development trend

國家自然科學基金項目(41301084)。

米春橋(1983- )，男，湖南懷化人，副教授，博士，從事地理信息系統與農業信息化技術研究。

2016-11-09

S 126

A

0517-6611(2016)34-0235-03