基于大數據技術的農業決策信息挖掘系統設計

朱小棟，付峻宇

(上海理工大學管理學院，上海 200093)

zhuxd@usst.edu.cn;fujunyu0319@163.com

1 引言(Introduction)

2021 年2 月21 日發布的中央一號文件《中共中央 國務院關于全面推進鄉村振興加快農業農村現代化的意見》指出，民族要復興，鄉村必振興，要把全面推進鄉村振興作為實現中華民族偉大復興的一項重大任務，舉全黨全社會之力加快農業農村現代化。農業生產是鄉村建設的重要方面，近年來國務院出臺的《數字鄉村發展戰略綱要》，第一次明確提出了“數字農業”的概念，旨在通過推動農業的數字化轉型來實現鄉村建設的現代化。“數字農業”是數字化發展模式在農業領域的應用實踐，是互聯網技術與農業生產的有效結合。

但目前我國實際的農業生產方式在信息化和現代化等方面仍存在許多不足，例如，信息傳遞的滯后性帶來的生產資源分配不合理、信息整合能力不足導致的生產碎片化，等等。以上種種不足導致農業生產者、消費者及政府政策制定者難以做出科學、有效的決策。因此，要推動鄉村振興，實現農業生產現代化，就必須思考如何提高農業生產和銷售的信息化水平，為農業生產的各個環節提供有力的決策支持。

本文旨在設計一套農業決策信息挖掘系統，通過大數據技術從農業數據中挖掘決策信息。決策信息挖掘系統的構建以優化農業生產為目的和業務邏輯，融合新興的互聯網技術，力求打通農業系統之間的信息壁壘。為鄉村農業生產提供決策信息挖掘系統作為指導工具符合“數字農業”的理念，也是國家推動鄉村振興戰略，實現農業現代化的有效方式。

2 農業決策信息挖掘系統構建(Construction of agricultural decision information mining system)

根據農業生產、銷售的現實需要，農業決策信息挖掘系統的主要功能包括：(1)對原始數據進行整理，進行可視化處理和信息查詢操作，打通信息壁壘；(2)通過深度學習技術，對現有數據進行未來的趨勢預測，為農業生產提供一定程度的指導，如圖1所示。

圖1 農業決策信息挖掘系統平臺功能Fig.1 Platform function of agricultural decision information mining system

系統的實現過程主要包括：(1)系統架構的搭建；(2)系統數據庫的設計；(3)深度學習算法的應用；(4)數據挖掘模型在Web平臺中的融合。

2.1 前后端分離的系統架構

首先，系統架構是實現農業決策信息挖掘系統的基礎，決定了系統業務的運行方式。傳統的系統開發模式包括MVC模式等，但為了靈活應對農業決策信息挖掘系統中復雜多樣的數據流，本文采用前后端分離的MVVM模式來構建平臺。

MVVM模式在邏輯上將系統分為Model、View、ViewModel三部分。Model是數據模型，在農業決策信息挖掘系統中代表不同的農業數據類型，用于定義修改數據和操作數據的業務邏輯。View代表農業決策信息挖掘系統界面組件，它將農業數據模型轉化成頁面的可視化組件，在實際的農業生產場景中提供給用戶使用。ViewModel是一個用來同步View和Model的對象，在MVVM架構中，View對象和Model對象之間沒有直接的聯系，而是通過ViewModel進行交互。除此之外，Model和ViewModel之間的交互是雙向的，因此View對象數據的變化會同步到Model對象中，而Model對象數據的變化也會立即反映到View對象上。在農業決策信息挖掘系統中，農業數據來源多樣，在不同的模塊中數據的處理不盡相同，所以MVVM模式可以有效地應對數據在前端的更新問題。MVVM架構如圖2所示。

圖2 農業決策信息挖掘系統MVVM模式架構圖Fig.2 MVVM model architecture of agricultural decision information mining system

農業決策信息挖掘系統的構建將系統分為前端和后端。前端負責頁面內容，后端負責數據供給和各種數據庫操作。在MVVM模式下，前后端可以做到完全分離，并且前后端可獨立開發和部署。前后端分離的優勢包括：(1)降低開發難度，提高開發效率，更好地實現系統各部分的需求，并且系統架構清晰，有利于后期對系統進行維護和進一步開發。(2)降低系統耦合度，使數據傳輸和渲染的過程更加清晰，大大提高了系統的健壯性。

另外，平臺搭建過程采用的詳細技術架構包括：(1)前端使用Vue作為總體框架，通過Axios與后端進行數據交流，利用Bootstrap和Element-UI作為輔助開發用戶界面。(2)后端采用SpringBoot框架，使用MyBatis進行數據庫讀寫，在Controller控制層對數據進行封裝，生成API接口。

基于以上技術，我們可以完成農業決策信息挖掘系統主要的平臺建設工作，并充分考慮其所具備的數據特征和業務邏輯特點。

2.2 農業決策信息挖掘系統數據庫設計

各種農業數據是推進“數字農業”的基礎，只有在數據的支持下平臺才能生成對農業生產有利的服務產品，所以數據的存儲和調用過程至關重要。數據存儲技術發展至今，已經由最初的文件存儲系統發展到單機的關系型數據庫系統，再到近幾年興起的分布式存儲系統。分布式存儲系統不再基于單一服務器的存儲模式，并且具有更高的擴展性，因此可以更好地滿足當下數據量大、業務邏輯復雜的應用場景。分布式系統是與傳統RDBMS顯著不同的數據庫管理系統，其數據的存儲可不需要固定的模式，而且通常避免連接操作。

農業決策信息挖掘系統中農產品種類繁多，數據量大，不同數據的數據結構差異較大，并且系統并發訪問時對數據庫壓力較大，所以適合采用分布式存儲的方式，在多臺服務器中建立數據庫系統，服務端可以根據數據需求訪問不同的數據庫，大大增強了系統的抗壓能力，也可以使數據的存儲和數據之間的關系更加清晰。分布式數據庫集群如圖3所示。同時，服務端在訪問數據庫時，根據業務邏輯需要對數據庫表進行連接，以及進行各種級聯操作，所以在單一服務器上仍然適合采用關系型數據庫，例如MySQL等。

圖3 數據庫服務集群Fig.3 Database service cluster

3 大數據算法應用(The application of big data algorithms)

3.1 基于LSTM算法的時間序列預測

上述系統架構及數據庫設計是農業決策信息挖掘系統的平臺基礎及淺層數據應用，為了深度挖掘數據中的重要信息，需要引入有效的數據挖掘算法。LSTM時間序列預測算法在處理價格趨勢等方面有著良好的性能，所以適合應用到農業決策信息挖掘系統中。

在農業生產過程中，農產品價格是指導農業生產的重要數據，也是農業生產者關注的重要信息，農業決策信息挖掘系統的數據整理和查詢提供了過往價格數據信息，但仍需要對未來一段時間的農產品價格走向有一定的預測功能。

受一些市場及環境因素的影響，農產品價格會隨時間波動變化，而價格波動是影響農業生產者收益的重要因素。所以對農產品市場價格進行短期預測，有利于農業生產者規避市場風險，也是維護市場健康發展、制定農業產業政策的重要手段。采用基于LSTM的預測算法可以通過數據庫中現有價格數據來訓練模型，并預測未來一段時間的農產品價格信息。

LSTM是經典的循環神經網絡(RNN)。循環神經網絡的前向計算利用了當前步的輸入及上一時間步的隱藏狀態，當前步的輸入表征當前信息，上一時間步的隱藏狀態表征過往信息。

LSTM引入了三種門和記憶細胞。三種門即輸入門(Input Gate)、遺忘門(Forget Gate)和輸出門(Output Gate)，三種門的輸入均為當前時間步輸入與上一時間步的隱藏狀態，輸出由激活函數為Sigmoid函數的全連接層計算得到。LSTM的輸入門、遺忘門和輸出門可以控制信息的流動。記憶細胞與隱藏狀態形狀相同，用于記錄額外的信息。在LSTM中，長短期記憶的隱藏層輸出包括隱藏狀態和記憶細胞。其中，只有隱藏狀態會傳遞到輸出層。LSTM可用于解決循環神經網絡中的梯度衰減問題，并更好地捕捉時間序列中時間步距離較大的依賴關系。

針對農業決策信息挖掘系統中的農產品價格數據構造模型并進行訓練。構造模型和訓練的過程使用PyTorch深度學習框架，其中包含各種神經網絡層，可以快速構建LSTM的模型結構。

首先是數據的加載方式。農產品價格信息是一段時間序列數據，設訓練集的總長度為，每次輸入的批次大小為batch size，每一個樣本包含的時間步數為num_steps。用一個小批量最終時間步的隱藏狀態來初始化下一個小批量的隱藏狀態，從而使下一個小批量的輸出也取決于當前小批量的輸入，并如此循環。這對實現循環神經網絡造成了兩方面影響：一方面，在訓練模型時，只需在每一個迭代周期開始時初始化隱藏狀態；另一方面，當多個相鄰小批量通過傳遞隱藏狀態串聯起來時，模型參數的梯度計算將依賴所有串聯起來的小批量序列。同一迭代周期中，隨著迭代次數的增加，梯度的計算開銷會越來越大。為了使模型參數的梯度計算只依賴一次迭代讀取的小批量序列，可以在每次讀取小批量前將隱藏狀態從計算圖中分離出來。

其次是定義模型的網絡結構。LSTM模型的結構包括輸入門、遺忘門和輸出門的計算，以及記憶細胞和隱藏狀態的計算，最后通過隱藏狀態得到當前時間步的輸出。所有的過程可以手動實現，添加一些自定義的設計，也可以直接調用PyTorch提供的LSTM模塊，其中包含完整的LSTM計算過程，只需要輸入訓練數據即可。

最后是定義模型訓練函數并進行訓練。訓練函數中需要指定模型、優化器及各種參數。模型即為定義好的LSTM模型。優化器選擇PyTorch中封裝好的優化函數，例如SGD隨機梯度下降函數、Adam算法等。各種參數包括LSTM中隱藏節點的數量、批次大小、時間步長、學習率和梯度裁剪閾值等。定義好函數的參數后便可以開始訓練過程的定義。將加載進來的農產品價格數據輸入LSTM模型中，得到一個預測值，并計算這個預測值與真實的農產品價格之間的差距，即計算這一過程的損失值。損失函數使用均方誤差損失函數MSE。之后通過損失值對模型中所有節點的參數進行求偏導，并使用優化器進行優化。這便是一次完整的訓練過程，對所有輸入數據循環進行此過程，最終得到預測模型。

不同農產品價格波動程度存在差異，所以要針對不同數據設置合適的參數大小，并進行多次訓練得到盡可能準確的結果。

3.2 基于計算機視覺的農作物病蟲害診斷

農作物的蟲害、生理病變是影響農作物產量和質量的重要因素，因此對農作物病蟲害的診斷與防治是農業生產中的關鍵活動。但傳統基于經驗的農作物病蟲害診斷具有效率低、準確性差的特點，而且農業生產者學習專業的農業診斷知識困難較大。隨著遙感技術的發展，對農作物長勢和發展狀態的觀測手段越來越多，數據樣本越來越豐富，這使得計算機視覺在農作物病蟲害防治方面有了更好的應用。其主要的應用方式是對輸入圖像或視頻做目標檢測，提取所需關鍵目標。輸入患病農作物所表現的外觀圖像，利用目標檢測技術判斷發病類型是大數據技術在農作物病蟲害診斷上的有效應用。通過采集到的大量農作物發病表現的圖像樣本訓練模型，來檢測農作物圖像中存在病理表現的目標，進而將農作物的發病原因提供給農業生產者，進行決策支持。

目前最常用的框架是YOLO模型。YOLO模型自2016 年被提出發展至今已有多個版本，其中最新的YOLOv5模型的性能最佳，更適合現實應用場景。

使用YOLOv5訓練病蟲害診斷模型的步驟分為：(1)數據標簽圈定；(2)模型訓練；(3)性能測試。整個過程需要依賴足夠的農作物病蟲害圖像樣本才能訓練出有效的模型。

對于原始的農作物病蟲害圖像樣本數據集，需要人工圈定出圖像中的發病表現區域，并設置該病理表現的病蟲害類別，才能在訓練過程中根據標簽進行模型的訓練。圈定過程使用的是LabelImg工具，它提供了一個可視化的圖像數據標注環境，能夠自動對數據進行讀取和保存，并將標注結果轉換成YOLOv5可以識別的數據格式。標注結果可以劃分為訓練集、測試集和驗證集分別保存，用于后期訓練和驗證，其標注過程如圖4所示。

圖4 使用LabelImg進行數據標簽標注Fig.4 Data labeling with LabelImg

開始進行模型訓練之前，要對訓練過程進行配置，創建一個標記語言文件來指定訓練樣本保存位置、分類類別等信息。隨后開始訓練，通過命令運行YOLOv5模型根目錄下的train文件，同時需要設定參數等信息。

模型訓練后可以得到一個針對某種病蟲害的檢測模型，同時YOLOv5會輸出訓練過程中的分類損失值、召回率等信息，用于評價模型的性能，根據這些信息可以調整訓練數據集的劃分和模型訓練超參數的設定，逐步獲取性能最佳的模型。

訓練好的模型以模型參數文件保存，可以使用YOLOv5模型根目錄下的detect文件來指定模型對數據進行檢測。不僅如此，YOLOv5訓練得到的模型還能用于不同系統或終端的部署，以融合到我們的農業決策信息挖掘系統。YOLOv5模型對樣本的檢測如圖5所示。

圖5 水稻稻瘟病圖像樣本的檢測Fig.5 Detection of rice blast image samples

3.3 數據挖掘在Web平臺中的融合

農業決策信息挖掘系統平臺的Web服務端通過基于Java語言的SpringBoot框架構建，但數據挖掘算法模型基于Python語言，平臺使用過程中需要通過Web端將輸入數據傳遞到模型來進行預測，所以兩者之間的通信存在一定的跨語言沖突，因此需要通過特定手段實現服務端對算法模型的調用。

在Java企業級項目開發中，RunTime.getRuntime().exec()函數提供了調用執行服務器命令腳本的功能，其包含Python腳本在內的多種命令執行功能，因此我們可以使用該方法來創建進程，執行指定的Python程序。該函數的輸入參數是一個字符串數組，包含調用程序的命令及指定程序的路徑和程序參數，需要注意的是，這里的路徑必須為模型算法在服務器中的絕對路徑。

算法模型被Java服務調用后生成相應的預測價格信息，價格結果通過Java的BufferedReader類回傳到服務端中，再由服務端發送到前端，并渲染到用戶所看到的Web界面。

4 農業決策信息挖掘系統的應用(Application of agricultural decision information mining system)

4.1 信息整合與利用

在傳統生產和市場環境下，各種農業數據信息分布比較零散，難以聯系在一起發揮作用，并且分布不均，農業數據信息掌握在少數部門中，部門之間缺乏有效的溝通渠道，這導致農業生產者、消費者及政府政策制定者之間存在信息不對稱及數字鴻溝，妨礙了生產力的提高和供需關系的平衡。農業決策信息挖掘系統將各方面數據整合到一起并進行初步的整理和篩選，以直觀、高效的方式提取出有效信息傳遞給用戶。

在這個過程中，農業生產者可以通過農業決策信息挖掘系統了解不同地區及不同產品的價格走勢，進而選擇在合適的時間進行售賣，以及針對自身的生產能力進行生產力在不同作物之間的分配；對于消費者，在大數據農業決策信息挖掘系統中可以了解更多供應渠道及潛在需求，根據自身需要選擇更合適的供應商及高品質產品；對于政府政策制定者，可以了解市場中供需關系的狀態，更合理地根據實際情況制定有效政策，并提高政策制定的時效性。

4.2 挖掘數據的潛在價值

農業數據體量龐大，其中蘊含著可觀的潛在價值，通過現有的人工智能等技術與農業決策信息挖掘系統相結合，可以延伸出多種應用場景。例如，農業預測預警技術是以農業物聯網收集到的海量數據為依據，利用大數據技術建立預測模型，對農業對象未來發展的趨勢進行科學預測，對農業環境中可能出現的不利于農作物正常生長的極端情景進行提前預警，最大限度地消除或減輕有可能遭受的農業災害。另外，農業人工智能技術可以從優化的角度促進農業生產過程高效化，對農業生產、銷售等過程實施動態管理，提升資源利用率和勞動效率，減少生產成本和勞動強度。

5 結論(Conclusion)

首先，針對目前我國農業生產中存在的信息傳遞滯后性和信息整合能力不足等問題，以農業數據特征和大數據技術特點為研究對象，提出了一套農業決策信息挖掘系統設計方案。該系統將各渠道收集的農產品數據存入系統數據庫，利用LSTM等深度學習模型預測序列數據及圖像數據。其次，根據農業數據特征和業務邏輯，設計了農業決策信息挖掘系統的平臺架構和數據庫架構，優化了運行效率和用戶體驗，并設計了在Web平臺中融合數據處理技術的具體應用方案。最后，通過分析農業決策信息挖掘系統的實際應用場景，證明該系統能夠有效挖掘農業數據中的潛在價值，促進農業生產和消費升級，并延伸出其他人工智能算法在農業中的應用。