基于NoSQL的農業數據采集任務分發系統設計與實現

方黨豫，高賢強

（塔里木大學信息工程學院，阿拉爾 843300）

0 引言

農業數據采集是農業研究工作開展的載體，雖然目前在智慧農業生產中，已經大量應用了溫濕度傳感器、pH值傳感器、光照強度傳感器和二氧化碳濃度傳感器等傳感器，并構建了感知層、網絡層與應用層，實現了以上數據的精確采集與自動上傳云端［1］，但是農業數據采集往往具有數據繁雜、數據量大、采集地點分散等特點，傳感器采集數據主要適用于精細化生產過程，具有數據輻射范圍小、數據類型固定、鋪設成本高等特點，對于林業資源、農業人文資源與生物資源等并不適用［2-3］。

隨著智能手機的普及，為農業科研人員的數據采集方式提供了新思路。本系統基于NoSQL 數據庫MongoDB，依托其特性，旨在輔助農業科研人員根據自身所需的數據庫結構，在系統PC端快速構建數據采集任務，通過手機共同協作錄入數據，大大降低了科研人員的工作量和勞動強度，提高了科研人員共同協作的效率。并提供了數據管理的基礎功能，可導出數據為后續的科研工作做準備。

1 系統概述

1.1 系統環境

本系統使用前后端分離的開發模式，開發架構由傳統的MVC 模式（Model-View-Controller）變成了MVVM（View-ViewModel-Model）模式。前后端分離的開發模式與傳統模式相比，可以提升開發效率、增強代碼可維護性與提升系統整體穩定性等［4］。系統前端使用Vue.js 框架快速構建用戶界面，使用Element-UI 美化PC 端頁面，使用Vant 美化移動端頁面；數據庫使用MongoDB 存儲采集的農業數據，使用MySQL 存儲用戶信息與MongoDB 數據庫的文檔結構，以輔助對MongoDB的存儲開發；系統后端使用Spring Boot 框架簡化環境搭建與開發流程，使用MyBatis 作為對MySQL 操作的ORM 框架；使用消息隊列RocketMQ 作為中間件，實現異步發送手機短信功能；使用docker 容器打包部署前后端系統，部署服務器選用阿里云服務器ECS。系統環境如表1所示。

表1 系統環境

1.2 主要開發技術介紹

1.2.1 MongoDB

MongoDB 是一個介于關系數據庫和非關系數據庫之間的文檔數據庫產品，是非關系數據庫當中功能最豐富，最像關系數據庫的，其具有操作起來比較簡單和容易、支持豐富的查詢表達式與數據存儲豐富多樣化等優點［5］。本系統之所以選用MongoDB 作為存儲數據庫，是因其支持疏松的數據結構，將關系型數據庫中“行”的概念轉換為“文檔”，并使用Json 格式存儲，無固定模式限定，可以為不同的農業數據采集任務提供個性化的字段定義，使得數據模型具備靈活多變的能力［6］。如圖1 所示，直觀展示了MongoDB 與傳統關系型數據庫的存儲結構區別［7］。

圖1 關系型數據庫與文檔數據庫MongoDB存儲區別

1.2.2 Vue

Vue 是時下較為流行的漸進式JavaScript 框架，其只關注視圖層，采用自底向上增量開發的設計，目標是通過盡可能簡單的API 實現響應的數據綁定和組合的視圖組件［8］。Vue 還有豐富的UI 組件庫，支持獨立開發，解決當前前端應用開發組件不豐富的問題，幫助快速構建前端頁面［9］。

1.2.3 Spring Boot

Spring Boot 通過簡化配置來進一步簡化了Spring 應用的整個搭建和開發過程，讓構建Java Web 應用不再配置繁瑣的xml 文件，并且其本身集成了大量的依賴，例如其集成了tomcat，可打包成jar包，開箱即用［10］。

2 系統設計

2.1 需求分析

根據使用用戶類型劃分，本系統將用戶使用需求劃分為數據采集負責人使用需求與數據采集人使用需求。總體流程為負責人根據采集的數據字段構建數據采集任務，下發給數據采集員，其根據任務需求錄入采集的數據，項目負責人管理采集到的數據，并且可以導出數據進行進一步的分析。如圖2 所示，展示了根據功能需求構建的系統使用流程。

圖2 系統使用流程

農業數據采集任務負責人端的需求主要包括以下內容：

（1）采集任務構建。采集任務構建是整個任務采集的基礎，負責人根據對采集的數據需求來自定義數據結構的字段，并可設置字段的類型與校驗規則來保證數據的可靠性。

（2）數據采集人員管理。負責人可以生產數據采集人員的賬戶ID 與密碼，錄入其個人信息，并分發給數據采集人員，還可以對數據采集人員進行分組，以方便不同采集任務的下發。

（3）采集任務下發。采集任務構建完成后，負責人可以通過短信、釘釘提醒等功能，下發給數據采集人員。

（4）農業數據管理與導出。負責人可以對采集的數據進行增加、修改、刪除與查詢操作，并可導出xlsx、csv 等格式的文件，使用MATLAB 等專業軟件進行數據分析。

農業數據采集員端的需求主要包括以下內容：

（1）數據錄入。數據采集人員根據接收到的任務需求，錄入自己采集到的數據，并可連續錄入，并上傳云端，傳入MongoDB數據庫。

（2）數據共享。數據采集人員可以看到其他采集人員上傳的數據與采集情況，以便進行溝通交流。

2.2 總體結構設計

2.2.1 模塊設計

根據對系統的需求分析，系統的總體模塊設計主要包含數據采集任務負責人模塊與數據采集員模塊。系統模塊設計如圖3所示。

圖3 系統模塊

負責人任務構建與下發模塊和數據采集員數據錄入模塊是整個系統的核心，這兩個模塊是相互聯系的。負責人根據自身所需，依據采集數據字段、任務時間、采集地點等生成數據采集任務，根據事先對數據采集員的分組，選擇對應的分組下發數據采集任務，并可通過任務通知功能提醒數據采集員；數據采集員接收任務后，打開手機端頁面錄入數據完成數據采集任務。具體流程如圖4所示。

圖4 采集任務構建與錄入流程

2.2.2 架構設計

系統使用前后端分離開發，使用前后端分離開之后，前端通過Ajax 請求獲取后端數據進行頁面的渲染。采用分層開發，實現了高內聚低耦合的系統架構［11］。便于二次開發與提高系統的穩定性。系統架構如圖5所示。

圖5 系統架構

2.2.3 數據庫設計

本系統選用NoSQL 數據庫MongoDB 作為存儲的數據庫。但是NoSQL 不能完全替代傳統的關系型數據庫［12］，因此本系統仍然使用MySQL 以輔助MongoDB的存儲。

根據對系統的模塊設計，在MySQL 中建立四張表，各表的詳細信息如表2 所示。使用InnoDB為存儲引擎。在sys_user 表中建立user_id 字段，將四張表關聯起來。

表2 MySQL表設計

對于存儲采集數據的MongoDB 數據庫，其并沒有預定義的數據結構，在系統使用過程中，用戶根據需求動態生成數據模式，一個調查任務創建一個集合，集合中的文檔信息使用JSON 格式存儲。例如需要進行蘋果品種的調查，則可以構建如下JSON 格式數據：{"_id":"","品種名":"","品種拉丁名":"","樣本類型":"","所屬樹種":"","地理數據":{"海拔":"","緯度":"","經度":""},"生境信息":"","植物學信息":{"植株情況":"","植物學特征":"","果實性狀":"","生物學習性":""},"品種評價":""}。

3 系統主要功能實現

完成系統模塊、系統架構與數據庫的設計之后，使用Vue 與Spring Boot 對系統的前后端功能進行實現。

3.1 采集任務構建與下發功能實現

農業數據采集負責人通過瀏覽器注冊登錄農業數據采集系統，打開數據采集員管理頁面，添加數據采集員信息，使用AJAX 向后端API 發送post 請求，向數據庫中添加數據并向使用信息服務發送給。打開任務構建頁面，根據數據采集任務需求構建采集字段，將數據采集字段結構存入MySQL 中，根據需求選擇下發任務的分組，通過信息服務提醒數據采集員。如圖6，為該過程的時序圖。

圖6 任務構建下發時序圖

3.2 數據錄入功能實現

數據采集員通過信息服務接收到數據采集任務后，即可通過手機登錄采集系統查看任務的具體內容。登錄系統后，進入數據錄入頁時，頁面將會按照存儲在MySQL 中任務數據字段結構來進行渲染，錄入數據后，提交到服務端，存入MongoDB 數據庫中，數據采集負責人通過PC 端則可看到實時采集的數據并進行管理。圖7 顯示了實際的流程。

圖7 數據流通流程

4 結語

本文基于NoSQL 數據庫，使用Vue 與Spring Boot 構建前后端系統，對業務需求進行了充分調查與分析，對系統模塊、系統架構與數據庫結構、采集任務構建與下發、任務提醒，數據錄入與檢驗等關鍵技術進行設計與實現，研發了農業數據采集任務分發系統。

考慮農業數據采集的實際應用場景，利用MongoDB 的特性，使用戶可以根據自身需求自定義數據模型，實現對農業數據采集任務的構建、下發、錄入、管理與導出。

經過實踐表明，通過該系統的使用，簡化了農業數據采集與數據管理的流程，極大方便了農業從業人員的工作，讓農業從業人員更專注于對數據的分析與處理。本文設計的系統雖然達到了預期的目標，但是在對農業數據的管理與分析上仍有待提高。下一步準備在前端引入數據可視化組件，并支持已有數據導入合并，豐富系統功能。