農業大數據中心構建研究

唐勇

【摘 要】文章立足我國當前農業實情，提出農業大數據中心的構建思路和方案。詳細闡述了基于應用層、數據層、網絡層和感知層的體系架構，同時闡釋了建設過程中的關鍵技術，并對使用方法和范圍給出了建議。

【關鍵詞】農業；大數據中心；構建

【中圖分類號】F323.3 【文獻標識碼】A 【文章編號】1674-0688（2016）09-0047-03

0 前言

我國作為一個農業大國，農業現代化始終是我國現代化進程中的重要環節，利用信息化技術推動農業現代化的發展，不但能提高農業生產水平，還能推動農村的大力發展，為我國扶貧、小康等多項國策奠定基礎。近些年，隨著云計算、大數據技術的不斷涌現及農業數據中心的建立，農村、農民、農產品的現狀更加精確地展現出來，為發展農業提供準確的數據支撐。

1 農業信息化現狀

近些年，信息化技術雖然取得了飛速發展，但在農村，尤其在偏遠山區，農業信息化幾乎是空白，主要表現在以下方面。

（1）基礎設施缺乏。由于經濟相對落后，有的地方甚至連計算機、打印機等基礎設施都沒有。農村僅有的信息化基礎設施，也就是各電信運營商的發射基站。

（2）農民信息化技術缺乏。農民文化水平相對較低，加之知識更新慢，其信息化技術相對薄弱，能夠正常操作計算機的非常少。

（3）無法復制城市的信息化經驗。農村地大物博，人口分散，要想發展信息化，不能照搬城市的信息化發展策略。

盡管農村基礎設施落后，但隨著農民手機使用率大幅度提高，農民利用手機處理信息的能力也相對提高。在此基礎上，建立一個農業大數據中心，處理農業數據，農民通過手機使用中心的資源即可，避免了多點建設、重復建設等問題，節約了建設成本，可以加快農村信息化進程。

2 構建方案

傳統的數據中心只包括數據庫、存儲設備及應用系統，本文提出的農業大數據中心在智慧農業體系架構及實際使用的基礎上，增加了數據采集部分，各類采集設備的信息也要存儲在數據中心，以便統一管理。農業大數據中心一共分為4個層次，分別為應用層、數據層、網絡層和感知層。其體系結構如圖1所示。

2.1 應用層

應用層是應用軟件集中的層次，集中了3類軟件：

第一類是大數據中心管理系統，主要用于管理系統的硬件和資源，以及資源的調度。大數據中心管理系統類似于計算機的操作系統，是管理員管理數據中心的接口。在本層中，主要包括用戶權限管理、資源管理、安全設定管理、監控管理、計量計費管理、租戶用戶管理等功能。在這些功能中，監控和計量功能是最為基礎的功能。它管理著用戶獲取資源池中所有虛擬機的狀態信息，利用OpenStack提供的Restful API可以實現對整個系統的操作及管理。

第二類是大數據備份系統，主要用來備份大數據中心的數據，以增強數據中心的健壯性。數據備份采用“三朵云”備份方式，“三朵云”采用異地部署方式進行。主數據中心部署的“主云”為用戶提供數據基礎；容災中心部署一套獨立的“容災云”，為“主云”提供數據級容災保護，當主云發生災難時，可將整套云平臺及相關業務系統全部切換到容災中心的容災云中，繼續提供服務。“主云”與“容災云”部署在同一城市，在異地再部署一個二次備份云，以防“主云”和“容災云”所在城市發生自然災害而損壞數據。

第三類是業務系統。農民、農村、農產品的所有業務系統集中在這一模塊，這一模塊是用戶使用數據中心的接口。包含農民、農村、農產品所有信息的處理，通過幾十個甚至幾百個業務系統來實現。由于信息化建設已經進行了很多年，在數據中心建設之前有關農業的各類信息管理系統已經建設好，大部分系統是從原來的數據中心移植過來，這些系統都有自己獨立的數據庫，數據庫之間沒有任何聯系，形成了一個個信息孤島。在當前形勢下，需要將所有的信息綜合起來進行統計分析，形成各類決策，在此背景下，數據中心需要建設一個綜合分析系統，綜合分析系統的基礎是建立中間件和中間庫，利用中間庫來與原來的各數據中心相對接以轉換數據格式。

2.2 數據層

（1）數據。農業數據中心的數據主要分為5類：一是農村數據，是指農村的相關信息，如村名、村的地理位置、村的人口數等，這些信息是農民和農產品數據的統計基礎。二是農民數據，主要是指農民的個人信息，包括農民的姓名、身份證號、年齡、家庭地址等信息，這些信息可以有效地管理農民個體。三是農產品數據，是指農民種植產品的數據，這些信息可以有效地管理農產品，這類數據非常龐大，是數據中心最為重要的數據之一。四是設備數據，主要是指各層的設備數據，這部分數據是保證整個數據中心正常運行的條件。五是各類業務數據，是指各類管理系統、信息交換系統等因使用產生的數據或者從外面引入的數據，此類數據是數據中心與外界相連的基礎。

（2）集群方式。農業大數據中心的數據量非常龐大，需要集眾多數據服務器才能存儲相關的數據。主要設備有空間管理存儲服務器數據庫、空間管理存儲服務器系統、空間管理存儲服務器、數據存儲服務器（外掛備份存儲硬盤）、硬盤籠。這些數據庫服務器可以按照功能類別進行集群，比如將多個web server服務器集群在一起，將FTP服務器集群在一起等。在進行數據服務器設計時，需要考慮設置主數據服務器和從數據服務器，同時設立主服務器群和從服務器群，主數據服務器群不直接與外界進行數據交換，只與從數據服務器群進行數據交換。

數據庫集中，負載均衡是必須采用的技術，可以利用專門的硬件來實現，也可以利用網絡設備中的負載均衡功能來實現。硬件負載均衡的功能相對強大，直接在服務器和外部網絡間安裝負載均衡設備，獨立于操作系統，整體性能得到有效提高，加上多樣化的負載均衡策略，智能化的流量管理，可達到最佳的負載均衡需求。

2.3 網絡層

網絡層承擔數據中信息連接的任務，農業數據中心的網絡層可分為2個部分，一部分是內，一部分是外。“內”是數據中心中“室內”的部分，與一般的數據中心一樣，主要由二層交換機、三層交換機、路由器等設備構成，按照業務需求對其進行網絡配置和管理。“外”是指“室外”的網絡部分，承擔著將設立在農村的各類傳感器數據傳輸回數據中心的任務，這部分的網絡可以利用3G/4G網絡進行，但成本較高。近些年，Zigbee技術得到了飛速發展，具有傳輸速度快、性能穩定等優良特征，將“外”的數據傳輸回室內時，可以利用Zigbee網絡進行傳輸。AD HOC網絡由于無需中心服務器，每個節點既有信息終端也有信息中端的功能，AD HOC網絡還具有良好自修功能，具有較好的抗震性，利用AD HOC網絡進行信息傳輸也是一種比較理想的選擇。

2.4 感知層

感知層負責感知農村外界的信息，由各類傳感設備組成，主要包括光傳感器、溫度傳感器、適度傳感器、監控設備等，這些設備通過網絡層連接起來，將感知的外界數據通過各類網絡傳輸到數據中心。感知層構建好以后，可以分類來進行管理，也可以按照項目來進行管理，在針對單個傳感設備進行信息編輯時，既要打上設備類型數據，又要打上項目類別數據。感知層屬于硬件系統，但其感知的數據要存儲到數據庫中，其本身的設備信息也要存儲到數據庫中。

3 關鍵技術

農村大數據中心的構建涉及的技術非常多，但其核心技術主要有虛擬化技術、分布式處理技術、分布式存儲技術和大數據中心管理技術4類。

（1）虛擬化技術。虛擬化將數據中心中所有的資源整合成一個資源池，用戶可以通過申請來使用此資源池。農業大數據中心有4類虛擬資源：應用虛擬化、網絡虛擬化、桌面虛擬化和存儲虛擬化。國內外有很多相關企業已經實現了相關技術。目前，性能最為穩定的是VMware，國內主要3galsses、蟻視、暴風等。在農村，信息化水平相對落后，經濟水平也相對較低，可以將打印機、信息處理設備等進行虛擬化，以供農民們使用。將信息處理設備虛擬化后，農民使用手機即可調用資源池中的計算設備進行數據計算，同時為農民虛擬數據存儲空間存儲數據。虛擬化技術大大降低了農村信息化的成本。在進行農業資源虛擬化時，要向移動端設備傾斜。

（2）分布式處理技術。分布式處理技術是保證農業數據計算速度的重要技術。在進行數據處理前，先通過算法將一個大任務分配成多個小任務，數據中心通過任務調用算法來調用任務[1]。在執行時，通過MAP函數，將不同的任務分配給不同的計算模塊進行計算，計算完畢以后，調用REDUCE函數將處理結果進行回收。由于農業數據量大，利用分布式處理技術可以快速計算海量數據，快速得到計算結果[2]。

（3）分布式存儲技術。大數據中心數據量大，在存儲時很難將之存儲在一個服務器上，故需要將這些數據分散在多臺具有存儲功能的服務器上，并將之冗余存儲，以保證數據的安全性。當前，分布式存儲的主要架構有直連式存儲（DAS）、網絡附加存儲（NAS）和存儲區域網絡（SAN）3種。在設計分布式存儲時，不僅要考慮數據的冗余備份，還應該考慮通過分布式存儲來提高計算的性能，減少數據搜索時間和計算響應時間。

（4）大數據中心管理技術。由于大數據中心的數據分布在不同的存儲設備上，需要通過一定的管理方法來調用這些數據，目前比較主流的大計算數據管理技術主要有Google的BigTable技術和Hadoop的HBase技術[3]。

4 總結

我國是農業大國，不同地方的農村實際情況不一樣，建設農業大數據中心，應立足于當地農業實情，做好精準的需求分析。通過農業大數據中心管理農業業務，同時應該與更高級別政府的數據中心進行對接，數據規范做到統一，通過一定的方式將數據中心的數據共享給政府，為政府在制定農村決策時提供數據支撐，充分發揮數據中心的價值。

參 考 文 獻

[1]劉鵬.云計算[M].第2版.北京：電子工業出版社，2011.

[2]Venkata Joysula，Malcolm Orr，GregPage.云計算與數據中心自動化[M].張猛，譯.北京：人民郵電出版社，2012.

[3]岳紅麗，張侃.云計算在區域醫療信息化中的應用探索[J].計算機與現代化，2012（8）：141-143.

[責任編輯：鐘聲賢]