基于多信息融合的設施農業物聯網系統設計

林山馳，劉林，李相國

（宏景科技股份有限公司，廣東 廣州 510663）

0 引 言

設施農業作為一種典型的農業生產管理模式，由于其可在環境相對可控條件下，采用現代工程技術手段對動植物生長所需資源進行高效組織，從而實現生產優質、高產、穩產等特點，發展設施農業越來越成為解決我國人多地少制約可持續發展問題的最有效技術工程之一。借助物聯網技術對設施農業內環境、水肥、視頻等進行高效采集、傳輸、決策是進一步提升設施農業生產效率的重要手段[1]。

隨著設施農業物聯網的發展以及人工智能技術的成熟，設施農業物聯網系統面臨著更多數據采集、多維數據分析、更復雜場景融合應用等需求[2]。當前國內外對農業物聯網技術的研究及應用做了大量的工作，在理論研究方面集中于探索物聯網技術實現農業生產精確管理上，研究結果證實物聯網技術的運用對作物單位產量、光合效率、水份利用率、品質提升明顯[3，4]；在應用研究上主要集中在物聯網架構設計、傳輸協議設計、數據監測設計、決策理論等領域。從設施園藝物聯網技術研究來看，采集到的數據主要還是一種展示和簡單的統計分析，在環境數據、營養供給需求、圖像數據、專家理論等多信息融合分析及決策方面研究較少[5，6]。另一方面，生長信息的全面感知為作物生長管控模型提供數據支持，它需要采集作物生長所需環境參數并識別作物種類及其生長階段和狀況。現階段借助與機器視覺技術運用于作物病蟲害檢測及其生長信息越來越成熟[7，8]，國內張皓婷[9]基于機器視覺的番茄果實監測用于檢測番茄結果期裂果情況，龍潔花[10]等基于改進的YOLOv4 用于識別溫室環境下草莓生育期各階段取得了較好的效果，但這些方法都沒有將深度學習技術融合傳統農業物聯網系統內。

面對設施農業物聯網系統新需求，本文設計了一種融合深度學習的多信息融合設施農業物聯網系統，該系統由環境監測子系統、視頻監控子系統、水肥一體化系統、AI 分析子系統、信息融合子系統組成。本系統可用于監控設施農業內部環境狀況、作物營養狀況，部署的AI 分析系統可用于識別作物生長階段、作物長勢等，借助信息融合技術可根據作物生長階段及長勢動態調整環境調控及水肥實施策略，該系統可作為基礎應用，廣泛應用于智慧農業信息系統的構建中。

1 系統整體架構

設施農業物聯網系統由環境監測子系統、視頻監控子系統、水肥一體化系統、AI 分析子系統、信息融合子系統五個部分組成，如圖1 所示。圍繞環境溫度、濕度、CO2濃度、光照強度等傳感器信息采集、傳輸、集成和應用，通過工業網關實現傳感器數據采集并將各項數據傳輸到云平臺上，視頻監控系統獲取現場作物圖像信息之后在嵌入深度學習算法的信息融合系統內進行分析，分析得到作物生長階段及長勢信息，借助信息融合技術完成環境數據、長勢信息等信息融合后，制定設施農業調控策略，再通過Wi-Fi 工業網關對水肥設備、風機、濕簾和遮陽等控制設備下達相關控制指令，從而實現手機端和電腦端的遠程監控、數據分析以及精準調控。

圖1 基于多信息融合的設施農業物聯網系統架構圖

2 子系統設計

2.1 環境監控子系統

環境監控子系統設計如圖2 所示，主要包括環境感知、數據傳輸、環境控制平臺、農業綜合管理云平臺及用戶終端等模塊。環境感知模塊圍繞設施農業大棚溫度、濕度、CO2濃度、光照強度等重要環境指標部署相應的傳感器，數據傳輸模塊通過工業網關實現傳感器數據采集并將各項數據傳輸到云平臺上，在云平臺內實現環境數據的進一步分析，再通過Wi-Fi 工業網關對噴灌、風機和PLC 等控制設備下達相關控制指令，實現設備的遠程控制。

圖2 環境監控子系統設計

云平臺在上述系統功能基礎上，還需添加異常告警功能，包括設備運行異常、信息傳輸異常、模型決策異常、數據異常等的告警，平臺將告警信息推送至用戶終端設備。告警模塊包括了傳感器閾值獲取、信息推送渠道獲取、實時監控數據獲取以及告警決策四個過程。其實現流程如圖3 所示。

圖3 告警設計流程

用戶完成系統基礎配置之后，告警線程在系統啟動之后同步運行。

告警線程啟動后將檢測系統配置中設備信息、告警策略等的更改狀態，系統標識在系統基礎配置完成之后的初始狀態為True。若有更改，系統配置標識為True，則線程按照步驟3 獲取更改后的配置信息；若無更改，系統配置標識為False，則線程將跳過步驟3。

系統通過API 接口、后臺配置等方式獲取各傳感器閾值、運行狀態、信息推送渠道等信息。告警模塊將設備類別、信息推送渠道、監控指標類別作為主要標識。信息推送渠道提供以主要標識為依據的多目標告警方式，即系統根據告警等級、設備使用權限等的不同，將異常信息推送至相應的管理者或者專家。此類告警信息推送規則設計方便用戶根據權限及經驗高效獲取告警信息，更快速鎖定并解決異常狀況。

告警模塊獲取系統配置信息完成之后，告警線程將持續監聽傳感器狀態及采集的實時數據，告警決策函數獲取該類實時信息將觸發告警信息，包括指標超閾值告警、設備離線告警、數據傳輸中斷告警等。

告警決策函數關聯信息推送模塊，告警信息將觸發信息的推送，信息推送模塊依據告警信息嚴重等級及決策結果判斷是否調用信息推送系統向不同權限員工發送告警信息，以實現精準推送告警信息，及時處理異常狀況。

2.2 視頻監控子系統

視頻監控子系統的設計原則是既要滿足管理人員遠程監控大棚運營現場，又要考慮借助深度學習技術深度挖掘現場圖像價值。視頻監控子系統整體架構分三層建設，包括監控前端、分控中心、總控中心，如圖4 所示。設施農業大棚內的視頻監控子系統結合AI 分析子系統利用攝像頭對大棚內植物病蟲害現象、作物生長發育狀況以及設備狀態等根據圖像信息實時進行監控。在總控中心通過視頻監控幫助溫室管理人員遠程監控溫室狀況，快速掌握溫室信息，及時作出反饋。機器視覺技術的不斷發展，方便了管理人員依據圖像進行作物生長狀況監測、作物病情診斷、設備狀態檢測等操作。

圖4 視頻監控子系統架構

2.3 水肥一體化子系統

水肥一體化子系統主要由6 部分組成：智慧種植平臺、智能施肥系統、能效監測系統、管網信息監測系統、土壤墑情監測系統、灌溉控制系統。其中管網信息監測系統采集管網流量、壓力數據，保障管網流量平穩，水肥順利傳輸至各灌溉節點；土壤墑情檢測系統實時采集設施農業內土壤水份、溫度數據；能效監測系統實時采集水量、電能消耗數據；管網信息及土壤墑情狀況信息通過有線或無線傳輸至灌溉控制系統，結合環境監測系統及視頻監控系統采集的環境指標信息及作物長勢信息，在智慧種植平臺內進行信息統計分析與處理，決策指令下發至智能施肥系統，管理者通過客戶端訪問智慧種植平臺（信息中心）下發調控指令到灌溉控制系統進行參數調試。在智慧種植平臺內可及時了解管網壓力及流量、作物長勢況、能源消耗狀況、灌溉系統運行狀況等，平臺內根據作物類別及設備制定預警機制，發生異常狀況時，平臺將告警信息推送至用戶，保障設備、管網、系統的穩定運行。系統架構及組成示意圖如圖5 所示。

圖5 基于物聯網的水肥一體化技術

灌溉系統內置智能施肥控制程序，在控制程序內初始化嵌入了不同作物各生長階段標準需水量數據庫。施肥設備采用可采集水肥配比內N、P、K 及微量元素含量的智能設備，利用環境監控子系統采集的濕度、溫度、光照、CO2等環境數據，并傳送至智慧種植平臺。在平臺內水肥配比數據、環境數據、作物長勢信息等多維信息融合分析，結合作物標準需水量數據庫，采用彭曼公式[11]分析得出該作物需水量ET0、作物系數K、作物實際需水量ET等，進一步制定該作物在特定生長階段的灌溉策略。策略將通過平臺下發至施肥設備，設備通過調控肥液的EC及pH值實現精準施肥及灌溉。

2.4 AI 分析子系統

植物的形態結構在農業生產和研究中有著重要的生物學意義，是對植物生長調控的重要依據，借助機器學習技術、圖像分割、圖像識別等深度學習等技術來準確地對植物的重要特征進行采集和分析是輔助育種和生產過程管理的重要技術手段。植物表型研究中的圖像分析主要涉及到對作物形態結構的鑒別與檢測[12]。AI 分析子系統就是借助深度學習、機器學習等技術融合分析作物圖像數據、設施大棚環境指標、水肥等。一方面通過分析作物圖像獲得作物當前在全生命生長周期內的階段期，根據生長階段的不同調節環境調控、水肥營養供給等策略；另一方面通過圖像識別技術分析作物長勢及病害情況，基于長勢信息及時調整作物管理手段；最終實現設施農業的精細化管理。

如番茄的全生命周期分為發芽期、幼苗期、開花坐果期、綠熟期、轉色期，每個階段對設施環境的適宜性、水肥營養的供給、作物管理的要求都是不同的。借助于深度學習方法可以自動提取作物特征，日常巡檢將不再只依賴人工處理圖像，將極大地提高生產巡檢的效率。同時，隨著圖像數據資源越來越豐富以及網絡深度的增加，模型訓練過程中引入專家經驗，模型的學習能力將更強，提取的特征更豐富，對作物的特征識別將會越接近于專家的理論判斷。如圖6 所示，基于現場視頻監控子系統采集的番茄生長全生命周期圖像，借助YOLOv 系列算法[13]，在AI 分析子系統內完成訓練之后，即可實現番茄果實、葉片檢測識別，并根據檢測目標框實現果實、葉片及其局部區域的分割，結合分類算法對分割出來的葉片或果實進行分類檢測，進而判別生長階段及長勢情況。坐果期借助深度學習算法檢測一株番茄內果實成熟情況，果實分為青色（green）、半熟（half_ripened）、全熟（fully_ripened），綜合分析之后將長勢情況輸入到信息融合子系統，番茄管控策略的制定將根據融合信息來定制，進而下發環控策略、水肥策略等到控制設備，實現精準管控生產。

圖6 基于YOLOv4 的番茄坐果期成熟度識別

2.5 信息融合子系統

2.5.1 設施農業環境信息融合

設施大棚環境是影響設施作物健康水平、生長、坐果等的重要因素，對作物生產起著決定性作用，受到廣泛的關注。然而，設施大棚環境是由多個環境因子相互耦合而形成的復雜的非線性時變系統。對各環境因素適宜性的描述并取決于單個環境指標數據或者多個獨立維度的指標數據，而是需要采取多維信息耦合成一個評價策略。借助多傳感器數據融合技術對設施大棚環境進行融合分析可以一定程度上解決上述問題。

多傳感器數據融合是指對來自不同維度信息和對按時序獲得的多傳感器采集的數據，在信息融合準則下自動分析、綜合分析進行的信息處理過程，從而實現對復雜場景下的觀測對象進行綜合理解。目前已有大量的融合算法應用于多傳感器信息融合，它們有各自的優缺點，研究及應用較多的有統計分析方法、貝葉斯方法、Kalman 濾波方法、證據理論推理、模糊理論和神經網絡等方法[14]。多傳感器數據融合功能模塊架構如圖7 所示，一般包括目標值測量、目標屬性測量、數據校準、數據對準、數據融合、狀態估計、評價體系生成等，傳感器屬性信息及測量信息經過低層處理（信息對準）、高層處理（融合算法）兩層處理最終輸出設施大棚環境綜合評價指標。

圖7 多傳感器信息融合系統的功能模塊

2.5.2 基于深度學習的綜合調控系統

在完成了數據采集體系、多傳感器信息融合體系構建之后，指標數據流、工作流、指令流等在基于深度學習的綜合調控系統內進行分析及流轉。調控系統的架構如圖8 所示，傳感器融合模塊將多傳感器采集的環境及水肥等信息進行融合計算，輸出系列評價指標；AI 分析系統將同步時是分析作物長勢情況；在綜合決策平臺內，結合作物生長及管理理論，由指標體系和作物長勢觸發生產管理策略集合，包括環境調控策略、水肥調控策略、作物作業管理策略。決策平臺將調控策略調整指令下發到各系統或設備控制器內，一方面實現各端設備的根據現場變換及長勢情況精準調控，另一方面推送作物管理策略建議，如病蟲害防治、采收計劃、施肥計劃等，實現作物的精細化管理。

圖8 基于深度學習的綜合調控系統架構

3 結 論

面向設施農業物聯網系統需處理復雜場景數據、多維度信息以及融合作物生長信息輔助決策的需求，本文設計了一種多信息融合的設施農業物聯網系統，可有效解決設施農業領域多傳感器數據融合難、缺乏作物生長模型輔助調控決策體系、難以做到精準調控等問題。本文結合無線傳輸技術、機器視覺算法、多信息融合算法、多信息決策等技術，構建了環境監測子系統、視頻監控子系統、水肥一體化系統、AI 分析子系統、信息融合子系統五個子系統，實現了從終端傳感器的數據獲取到多傳感器信息融合的數據融合處理，再到嵌入深度學習模型識別作物生長信息，在信息融合平臺實現了傳感器數據、生長信息、作物生長理論的融合分析，最終實現基于多信息融合的設施農業設備端按需精準調控、精細化管理策略及建議。管理人員能夠在作物出現異常狀態時及時獲取環境信息、長勢信息、作物營養供給需求等，并及時根據作物生長狀態制定管控策略以降低農業生產風險，降低農業生產成本。