湖南省水稻大數據綜合服務平臺體系架構設計與實現

于 超，劉學文，羅建軍，周 超，張智優，李 亮

（湖南省農業信息與工程研究所，長沙 湖南 410128）

近年來，信息技術飛速發展。物聯網、“互聯網+”、云平臺、大數據等技術的應用越來越廣泛[1-3]。2020年中央一號文件在農業信息化建設方面提出加快物聯網、人工智能、大數據、第五代移動通信網絡、區塊鏈、智慧氣象等現代信息技術在農業領域的應用。因此，利用大數據技術解決農業綜合服務問題已成為農業信息領域的重要課題[4-6]。目前，農業單品種大數據平臺構建的研究是熱點。例如：張輝等[7]結合物聯網、遙感、大數據技術匯聚的花生大數據平臺，可實現花生生產質量安全追溯，推動當地花生產業高質高效發展；程述漢等[8]基于AMSRT 架構的蘋果產業大數據體系，該體系采用Hadoop 分布式處理系統，用Spark搭建混合處理框架，解決蘋果生產、管理、加工流通中產生的大量數據的集成、挖掘和使用問題。2016—2020 年，農業農村部、工業和信息化部相繼開展農業農村大數據試點、大數據產業發展試點，在全國范圍內建設生豬、柑橘、花生、馬鈴薯、大蒜、綠葉菜、大閘蟹、普洱茶、橡膠、蘋果等多個品種的全產業鏈大數據，并利用大數據及其挖掘分析結果引導市場預期、指導農業生產[9]。除此之外，還有大豆、茶葉、熱帶作物等農作物單品種大數據平臺也相繼建成并運行服務。

水稻是我國最主要的糧食作物，其種植面積居我國糧食作物的首位。全國有65%以上的人口以大米為主食，稻米產量在很大程度上制約著我國的糧食市場走勢和糧食安全形勢。筆者針對水稻全產業鏈中各階段的信息資源需求，建立了一套以空間信息為載體，以水稻科研數據、水稻種植過程數據、水稻全產業鏈數據等為核心的公共數據共享開放平臺。該平臺是服務水稻產業，促進信息技術與農業生產深度融合應用，提升水稻產業精準化、智能化水平的有力支撐，是防止脫貧之后返貧、實現鄉村振興的重要舉措之一。

1 水稻大數據綜合服務平臺建設構想

基于大數據理念，立足湖南，開展平臺的頂層設計、底層架構設計、UI 設計，綜合運用遙感技術、農業物聯網技術、現代網絡技術、網絡爬蟲技術等現代化信息采集手段，并結合傳統信息采集手段，收集水稻種質資源信息、水稻市場信息、水稻病蟲害及防治藥劑信息、水稻種植環境信息和水稻相關知識，開展水稻遙感圖形數據分析及展示、水稻數據挖掘分析及展示、水稻專家遠程服務等功能設計，以此建立水稻大數據綜合服務平臺來完善水稻種植研究和產業發展信息服務體系，著力提升水稻產業信息技術創新應用能力，為水稻的生產管理、科學研究、政府科學決策和新型農業經營主體可持續發展提供新方法、新思路，為保障國家糧食安全提供新的技術手段，促進水稻產業健康、高質量、可持續發展。

1.1 運用大數據理念進行服務平臺的頂層設計

大數據是一種全面的系統性的思維方式，平臺思維是大數據時代用戶參與的驅動力。該研究的水稻大數據綜合服務平臺以建設一站式綜合服務平臺，構建一張圖、一個庫、一個門戶、一個數據中心、一個分析展示平臺、多個可擴張性功能應用為頂層理念，通過大數據等現代信息技術搭建一個由政府、企業、科研院所、用戶等多主體共建、共享、共贏、開放的綜合服務平臺，為用戶提供全面周到的服務體驗。

1.2 運用云計算技術構建服務平臺的基礎支撐

云計算是一種新興的共享基礎架構方法，它以公開的標準和服務為基礎，以互聯網為中心，提供安全、快速、便捷的數據存儲和網絡計算服務。水稻大數據綜合服務平臺采用云計算作為底層基礎設施的交付和使用模式，通過互聯網提供虛擬化的資源計算方式，將動態易擴展的資源以按需求的方式提供和獲取，并通過私有云的搭建，輕松地擴展水稻大數據的各種應用和服務，提高計算資源的利用率，使平臺具有良好的擴展性和伸縮性。

1.3 運用大數據技術實現平臺的精準服務

水稻產業的綜合發展形成了海量的各種類型數據，例如生產要素（種質資源、育種、種植、病蟲害、土壤、農資等）、流通價格、流通過程和企業主體等相關數據[10]。通過挖掘、整合可以將散亂的數據變為可供分析的數據集；通過搭建大數據分析平臺，建立開放性的數據共享制度，可以豐富數據的來源及種類；規范具備數據置換和共享的接口，充分利用外部數據，以用戶為中心，提供個性化的大數據服務，從而有效提高水稻產業服務的質量。

2 水稻大數據綜合服務平臺的建設與實現

2.1 平臺體系架構

如圖1 所示，水稻大數據綜合服務平臺體系架構包含數據接入層、云平臺基礎建設層、水稻大數據中心、平臺應用層4 個部分。

2.1.1 數據接入層 數據接入層中包含了平臺數據的來源。平臺數據包括由遙感衛星、近紅外、多光譜、高光譜等提供的影像數據，政府部門和產業研究機構提供的可開放共享的水稻產業相關數據，水稻相關科研部門提供的科研歷史數據、各類模型數據和專家知識數據，水稻產業相關經營者提供的生產經營管理的一線數據以及其他各類有用數據。

2.1.2 云平臺基礎建設層 云平臺基礎建設層是平臺運行的基礎。底層為硬件設備，由各類服務器、存儲設備、硬件防火墻、網絡交換機和路由器等實體設備組成；中間是通過虛擬化軟件將硬件資源重新整合后形成的虛擬化資源池，可分為計算機資源池、存儲資源池和網絡資源池；上層則是在虛擬化基礎上采用云技術實現云主機、云存儲、負載均衡和云安全等服務。

圖1 水稻大數據綜合服務平臺體系架構

2.1.3 水稻大數據中心 水稻大數據中心是該服務平臺的核心建設內容，包含水稻大數據從接入、篩選整合、分析挖掘到共享開放的數據加工和服務的全過程。首先對所采集到的數據種類進行預處理和標準化，然后依據不同業務需求進行篩選、整合、再次抽取等流程，完成數據業務化處理和入庫，并對外提供開放與共享服務。該平臺的大數據中心通過大數據處理技術和數據挖掘引擎，結合專家系統、知識庫、機器學習等先進信息技術，在現有融合標準的基礎上實行數據的深度分析[11]。同時，中心將收集并沉積各類第三方的模型和算法形成算法模型庫，基于空間信息提供水稻大數據“一張圖”服務，供平臺內部使用的同時，可向其他外部應用系統提供接口。

2.1.4 平臺應用層 平臺應用層是依托平臺提供應用服務，主要包括水稻種質資源信息、水稻市場數據信息、水稻知識庫、水稻遙感數據分析、水稻數據分析展示、水稻知識庫和專家課堂等可擴展功能服務。

2.2 水稻大數據綜合服務平臺框架與功能模塊

水稻大數據綜合服務平臺總體框架由8 個部分組成，包括水稻遙感數據分析、水稻種質資源信息共享、水稻市場數據信息共享、水稻知識庫、水稻數據分析展示平臺、水稻行業資訊、專家課堂和資源共享。

2.2.1 水稻遙感數據分析 （1）水稻分布影像：按時間序列管理和顯示多期衛星、航空正射影像，選擇當期矢量數據疊加，支持任意期數據影像拉簾對比。（2）稻田分類管理：按時間序列管理和顯示多期二維影像數據和稻田分類矢量數據，并提供地塊標注功能。（3）稻田分布：導入示范縣的水稻空間分布矢量數據集，展示示范縣水稻分布面積（圖2）。（4）稻田產量：導入示范縣的水稻遙感監測統計表，展示示范縣水稻產量預估情況。

2.2.2 水稻種質資源信息共享 對已采集的水稻種質資源信息提供綜合查詢以及分類檢索服務，其中可以查詢的信息包括：（1）水稻品類，可通過輸入品種、地區、選育單位進行精確查詢；（2）超級稻，顯示超級稻相關品種信息，點擊某一品種，可查看該品種產品特性、產量表現等信息；（3）水稻族譜，可查看水稻族譜內容。

2.2.3 水稻市場數據信息共享 通過收集全國和湖南省的數據信息進行整理分析，提供全國和全省的糧食產量對比，全省谷物統計分析、水稻統計分析、水稻市場價格等圖表信息。

2.2.4 水稻知識庫 借助數據資源平臺提供海量的水稻科研文獻、專利、成果、技術體系查詢和共享。

2.2.5 水稻數據分析展示平臺 展示全省地圖，并標注全省水稻基地分布；展示環境感知數據圖表、全省水稻統計分析圖表；展示水稻生產基地，點擊地圖上的基地名稱，或者基地列表上的基地名稱，進入該基地生產現場查看生產過程實時情況，實時展示各環境傳感器采集數據、自動化設備運行狀態數據等；提供水稻種質資源、水稻專家遠程服務、水稻知識服務功能板塊；提供專家服務APP 二維碼下載及掃描頁面。

2.2.6 行業資訊 采用爬蟲技術，在相關水稻行業及相關網上抓取最新資訊整理后進行展示。

2.2.7 專家課堂 平臺錄入水稻選育技術、水稻育苗技術、水稻肥水管理技術、水稻病蟲害防治技術等專業課堂視頻及技術小視頻，為用戶提供便捷的網絡在線學習服務。

圖2 望城區域農業遙感數據水稻分布界面

2.2.8 資源共享 提供農業氣象、農資產品推薦、農產品市場價格浮動、水稻病蟲害監測與防治等與水稻生產相關的產前、產中、產后信息服務，為政府監管部門決策提供咨詢、指導，為科研院所產品研發提供指導，為企業、農戶提供生產經營指導。

2.3 水稻大數據綜合服務平臺開發設計

如圖3 所示，水稻大數據服務平臺以B/S(Browser/ Server)架構為基礎，只需通過瀏覽器就能訪問系統，為系統的運行提供穩定性；采用mysql 數據庫，無需授權，速度快；采用了當前最流行的面向對象的編程技術，并且在訪問接口采用了非常復雜的加密等安全技術，系統安全性高、運行速度快；平臺采用數據庫與Hadoop 分布式架構，HDFS 分布式文件系統、任務調度系統、MapReduce 計算系統，主從（Master/Slave）結構模型，提供高吞吐量的數據訪問，放寬了一部分POSIX 約束，可以實現流式讀取文件系統數據和相對復雜數據的分析與計算；平臺采用基于開源GIS 系統的可視化遙感分析技術，對接大數據中心，制作分析圖層進行展示，支持2000 坐標系衛星影像、航空正射影像、矢量數據、三維實景數據、BIM 模型數據加載，支持監控攝像頭畫面顯示。

3 討論與結論

當前我國單品種大數據平臺建設仍處于規范模板階段，很多平臺建設目標是自身使用，面向社會的資源共享平臺不多，關鍵是在數據來源、數據標準及數據安全共享方面存在分歧。全產業鏈單品種大數據平臺涉及的部門和機構眾多，包括政府部門、科研院所、高校、企業、農戶等，涉及的領域也較多，獨立構建的話實施單位力量較為單薄，將導致全產業鏈數據不全。目前平臺普遍存在一些不足：例如數據整合范圍有限、規范化持續積累不足、數據涉及全產業鏈短且總量低、數據及服務更新不及時、數據加工和挖掘深度不夠、數據的分析不明確等。

圖3 水稻大數據（湖南）綜合服務平臺主界面

而該研究構建的平臺是運用大數據和全產業鏈思維，通過政府、科研高校及行業企業、農業大戶等多主體協作和市場化運作相結合的運維模式，統籌水稻產業各類資源和要素進行深度利用開發而構建的公共服務平臺。同時，該平臺重視了科技服務在水稻產業發展中的貢獻，先從需求大且易實現的功能入手，逐步推進完成平臺建設，實現數據資源的開放共享，推動湖南水稻產業高質量高效發展。

該研究結合單品種大數據特點，以水稻大數據全產業鏈上的經營生產管理職能服務為目標，運用大數據、云計算等前沿技術，并結合傳統信息采集，建立覆蓋水稻產業管理、生產、加工、市場各環節的智能化水稻大數據公共服務平臺，實現了面向政府管理部門、農業科研機構和相關企業的一站式智能化公共服務，較好地滿足了平臺服務多元化以及用戶對海量資源的需求。該平臺架構設計和技術設計可行，在實踐操作中具有較好的性能。