基于圖像識別技術的北京市設施溫室動態監測研究

肖 帥， 郭 嘉， 蘆天罡， 唐 朝， 張輝鑫， 劉胤池， 趙志強， 李 響

（1.北京市農產品質量安全中心，北京 100020； 2.北京市數字農業農村促進中心，北京 100021；3.北京市昌平區農業農村事務中心，北京 102200）

0 引言

近幾年來，隨著大數據、云計算和人工智能等技術的發展，圖像識別技術逐漸登上新興科技的舞臺，許多新的技術方法與農業種植實際相融合，為圖像識別技術的應用奠定了基礎。在農業領域中，大范圍、實時、高效地獲取農情信息是現代化農業生產和管理的一個重要環節，傳統依靠人工采集和有線測量的數據獲取方式在實時性、精準性和便捷性等方面均無法滿足精準農業的要求。將圖像識別技術應用于農業中，實時監測大棚室內環境、作物長勢、作物品質等農業生產中的各個環節都有著至關重要的作用。

本項目基于北京市通州區、昌平區、大興區和順義區等已實施“數字菜田項目”采集的5 000 個設施溫室實時環境數據和圖像數據等，開展基于圖像識別技術的設施生產狀態和作物品種識別研究，構建設施溫室生產狀態識別模型和作物品種識別模型，并結合北京市設施農業臺賬信息管理系統設施基礎數據，最終集成到北京市種植業綜合管理平臺，為全市設施溫室動態自動監管提供技術支撐，滿足政府“誰在種、在哪種、種什么、怎么種、產多少”的產業監管需求。

1 技術路線

項目基于“數字菜田項目”獲取到的設施圖像數據，依托人工智能圖像識別技術，開展了設施溫室生產狀態、作物品種識別模型的研究及平臺搭建工作，建立了模型服務平臺，并與北京市種植業綜合管理平臺進行了數據對接，主要工作路線如圖1 所示。

圖1 工作路線Fig.1 Work roadmap

模型構建主要包括設施溫室生產狀態識別模型和設施溫室作物品種識別模型。設施溫室生產狀態識別模型主要包括基于圖像分類的設施溫室生產狀態識別模型和稀缺樣本標注環境下設施“大棚房”自動識別模型。設施溫室作物品種識別模型主要包括基于可解釋深度學習模型的果菜/葉菜分類識別、基于深度學習的設施溫室作物品種識別模型[1]。

面向設施溫室環境下的狀態與作物高效識別，以管理平臺所采集的眾多溫室、作物的圖像為基準，通過圖像預處理實現數據清洗、擴增和標注。利用圖像分類算法識別設施溫室生產狀態，進而結合圖像分割與目標檢測，利用圖像內土壤與便道比例關系及違禁物品檢測精準判別大棚房。針對存在作物種植的圖像樣本，依據不同作物大類形態與生育特征，進行一級作物分類及具體作物分類。所有步驟均利用增量數據驅動模型動態迭代升級。總技術路線如圖2 所示。

圖2 總技術路線Fig.2 Overall technical roadmap

2 研究內容

以圖像識別技術為核心，面向北京市設施溫室動態監測需求，構建了研究內容。

2.1 構建設施溫室生產狀態識別模型

以設施溫室為主要研究對象，綜合運用圖像分類、目標檢測和圖像分割等新一代視覺技術賦能，面向種植、休耕、撂荒和大棚房等不同農業生產狀態主要開展了以下研究，設施溫室生產狀態識別模型流程如圖3所示。

圖3 設施溫室生產狀態識別模型流程Fig.3 Production status recognition model process for facility greenhouses

2.1.1 高質量設施溫室圖像數據集構建

高質量的設施溫室圖像數據集，是設施溫室自動化監測的基礎[2]。本項目從物聯網中臺獲取了近4 萬張溫室設施、溫室生產狀態和作物品種圖片，由于大棚房圖片較少，因此根據國家規定從違禁物品和便道比例兩個方面進行大棚房預警，最終人工篩選違禁物品和便道圖像1 793 張，其中違禁物品118 張，便道圖像1 675 張。在此基礎上綜合應用人工識別和圖像分類技術，針對設施農業生產狀態的監測需求，經過數據清洗、數據標注、數據擴增及構建自動化異常圖像檢測模型，形成了2 萬多張包含種植、休耕、撂荒和大棚房不同生產狀態的高質量數據集，其中包括異常圖像3 751 張、損壞圖像3 100 張、正常圖像11 711 張、休耕圖像3 172 張、撂荒圖像4 254 張、種植圖像4 285張、違禁物品圖像1 180 張及土壤-便道圖像1 675 張。為自動化篩選異常數據以節省人力資源，構建了異常圖像檢測模型，又在樣本集基礎上，構建3 種主流異常圖像檢測模型進行試驗對比。最終結果為MobileNet V2 最好，準確率98.15%。

2.1.2 基于圖像分類的設施溫室生產狀態識別模型

為了加強對設施溫室生產狀態管理，解決溫室大棚房出現撂荒、閑置等問題，采集了設施溫室不同狀態下的圖片，分別運用4 種不同的分類模型對設施溫室的生產狀態進行識別，以此為依據實現對設施溫室生產狀態智能化管理。項目分別使用MobileNetV2、ResNet50、VGG-16 和ViT 對設施溫室的生產狀態進行工況識別，驗證幾種分類網絡對設施溫室生產狀態的分類性能。為了更加直觀表現不同模型下設施溫室生產狀態圖像分類的準確性和提取模型性能更多的信息，本項目采用了混淆矩陣。最終結果為工況識別使用MobileNet 分類模型最好，準確率98.43%，能夠精準識別撂荒、休耕和種植3 種生產狀態，為溫室狀態監管服務提供基礎。

2.1.3 稀缺樣本標注環境下設施大棚房自動識別

溫室大棚房屬于違法違規建設，其定義標準復雜，正因如此，很難通過溫室所安裝的攝像頭采集到足夠滿足大棚房標準樣本用于訓練。本項目綜合應用目標檢測和圖像分割技術，針對大棚房的相關政策，分別構建了溫室違禁物品檢測模型和溫室便道比例識別模型，可用于種植規范識別或者撂荒發生預警，如圖4所示[3]。

圖4 違禁物品識別及土壤-便道識別Fig.4 Identification of prohibited items and identification of "soil access road"

以北京市規劃和國土資源管理委員會發布的《大棚類設施農業項目違法違規用地整改標準》為基準，在缺少真實環境圖像樣本的背景下，結合MSCOCO 等公開數據集制定違禁物品黑名單，分別采用DeepLabv3 語義分割技術通過土壤-便道比例識別溫室違建、采用YOLO 目標檢測技術識別違規物品，綜合判定大棚房，實現覆蓋大棚房認定標準高效自動識別方法。基于3 000 余張圖片，使用7 種主流模型進行試驗對比。最終結果為使用YOLOX 和Unet 模型最好，準確率>90%。經過分析后得出土壤-便道比例閾值35.71%，超出35.71%則有大棚房風險。

2.2 構建設施溫室作物品種識別模型

以設施溫室作物為主要研究對象，綜合運用數據清洗、圖像擴展、圖像自動化標注和圖像分類等新一代人工智能技術賦能，針對10 種常見作物（番茄、芹菜、黃瓜、草莓、茄子、辣椒、油菜、韭菜、紅薯葉和苦瓜）開展研究，設施溫室作物品種識別模型流程如圖5 所示。

2.2.1 面向海量數據標簽自學習的圖像半自動預處理

針對所采集數據圖像標注中耗費大量人力現象、提升數據集泛化支撐能力，采用圖像模糊度評價、EISeg 標注平臺和多類型變換技術，開展數據清洗、半自動化標注和數據擴增研究，將圖片從4 萬余張擴充到30 萬余張，為后續研究構建體量大、樣本豐富、代表性強的訓練數據集。

2.2.2 基于可解釋深度學習模型的果菜/葉菜分類識別

本項目中涉及分類的作物種類多，而果菜和葉菜等作物大類具有全生育期明顯的植株生理性狀差異（如高度、覆蓋度等）。為了更好地利用模型準確識別出具體作物，構建獨立的深度學習模型提前判別果菜/葉菜一級作物，實現作物“粗分類”是本項目的關鍵問題，為后續具體作物識別模型縮小分類判定范圍從而“減負”。針對作物果菜/葉菜種類的“粗分類”問題，以大類作物的生理形態特征為驅動，對比最新網絡框架模型的分類精度，結合特征可視化技術，直觀展示分類結果所關聯的FeatureMap 圖像特征區域熱力分布，更好地解釋模型的運行機制，通過高精度大類作物分類為后續具體作物識別縮小范圍實現“減負”。利用果菜和葉菜一級作物20 萬余張圖片，對比MoblieNet、Resnet 50、VGG 和ViT 共4 種 主 流CNN架構分類網絡，其中ViT 模型效果最好，準確率99.71%，并且通過輕量化壓縮模型，便于邊緣部署[4]。

2.2.3 基于深度學習的設施溫室作物品種識別模型

針對設施農業10 類常見作物品種高效分類的問題，采用先進的EfficientNetV2 深度學習分類網絡進行作物品種識別。對北京市設施監控云平臺收集作物圖片進行均衡化擴充與圖像增強，然后根據數據量訓練相應地合適規模大小的EfficientNet 網絡，為后續根據不同的作物品種采用不同的農事管理策略提供基礎。利用10 種作物的20 萬余張圖片，使用EfficientNetV2 模型進行識別，針對10 類常見設施溫室作物，每類作物的識別率均達到85%以上，總體準確率89.43%。

2.3 建立設施溫室動態監測模塊

系統開發采用“模型訓練-模型部署-平臺對接”的方式。將設施溫室生產狀態識別模型和設施溫室作物品種識別模型與北京市種植業綜合管理平臺的物聯網中臺集成，構建設施溫室動態監測模塊，充分利用北京市種植業各類數據，實現了設施作物生產動態監測服務，設施溫室生產狀態識別模型應用效果和設施溫室作物品種識別模型應用效果如圖6 和圖7 所示。

3 創新點

（1）面向海量數據的標簽自學習下的圖像半自動預處理技術應用。項目通過對原始圖像進行預處理，實現擴展訓練數據體量，進而提升模型泛化能力，進一步結合半自動打標機制，在保證標準準確率的同時，有效減輕人工標注壓力。

（2）稀缺樣本標注環境下設施大棚房的自動識別技術創新。項目突破了原有對大棚房直接識別的固化思路，提出了采用圖像語義分割與目標檢測相結合的綜合大棚房判定方法，創造性地提出土壤-便道相對比例法識別違建，構建違規物品黑名單，實現違規物品的動態檢測。

（3）基于可解釋深度學習模型的果菜/葉菜分類識別技術創新。本項目的創新性在于采用“粗分類+特征識別”形式組合構成分類模型，避免過度依賴數據樣本和訓練模型的單一深度學習模型，提高預測結果準確率，避免直接端對端的黑箱學習過程，解析網絡層提取特征，并進行本地化的遷移學習或模型改進[5]。

4 效益及應用前景

4.1 效益分析

4.1.1 經濟效益

（1）通過對種植環境的監測、品種分析，可輔助生產和管理技術指導等科學生產管理和標準化種植，有助于建立穩定和適宜的生長環境，減少因環境不適和管理不善導致的減產和品質下降，提升了蔬菜產出規模，保障了產品長勢良好、大小均勻、外觀一致度高，提高了設施種植的品質等級。

（2）基于種植數據與市場需求數據等綜合大數據的分析，指導優化種植結構，合理排產，實現種植產出與市場需求的合理匹配，解決蔬菜上市扎堆、大量蔬菜滯銷的問題，保障蔬菜銷售價格，減少了因銷售不暢所帶來的損失。

4.1.2 社會效益

項目利用圖像識別技術，構建設施溫室生產狀態識別模型、作物品種識別模型，可以智能識別生產設施狀態（大棚房問題、撂荒、閑置和種植等），生產作物的信息，可以進行設施監管的異常報警，隨時摸清生產空間資源底牌，實時掌握生產空間資源的變化、資源利用等動態數據，為全市設施農業監管及補貼發放提供動態化、透明化的數據支撐，有助于推動以獎補帶動北京市設施農業產業振興和鄉村振興的成效，對全市農業供給側改革工作推進具有重要意義[6]。

4.2 應用前景分析

4.2.1 智能硬件升級，提升智能化服務技術水平

項目構建的設施溫室生產狀況識別模型和作物品種識別模型可以通過邊緣部署等手段嵌入到硬件設備中，實現對硬件設備的升級改造，擴展傳統設備的功能，提高智能化服務效能。

《北京市加快推進數字農業農村發展行動計劃（2022—2025）》提出，到2025 年，信息技術在設施生產中的應用率達到80%。可見，信息化與農業生產的有效融合應用是未來的主要趨勢，信息技術在農業領域的市場需求大[7]。

4.2.2 軟件平臺部署，強化設施農業數字化監管

項目將物聯網技術、圖像識別技術等農業智能化技術應用于農情信息的識別與設施動態監測、研究，建立設施溫室生產狀況識別模型和作物品種識別模型，部署到軟件平臺中，著力發揮先進軟件技術對農業生產空間資源變化、資源利用等動態數據的監控，強化設施農業數字化監管。《北京市“十四五”時期鄉村振興戰略實施規劃》提出，到2025 年，蔬菜產量達到220 萬t，自給率提升至20%以上。可見，設施作物的市場需求量較大，對作物進行數字化監管有利于作物的科學種植，以提高產量[8-10]。

4.2.3 大田場景遷移，保障糧食安全屏障

項目構建了針對設施農業動態監管與服務的技術路徑，包括“圖像采集-模型構建-模型量化-平臺對接”。應用前景較為廣泛，其技術路徑不僅僅局限于設施溫室，還可以推廣到其他的場景中去。未來，可以將設施溫室的智能化監管與服務的技術手段遷移到大田中去，結合大田實際采集圖像及構建大田作物生長參數識別模型，以穩定大田作物產量，提高大田作物質量。

5 結束語

本項目通過構建設施溫室生產狀態識別模型和設施溫室作物品種識別模型，不僅能精準掌握北京市設施蔬菜種植情況和產能情況，還能進一步整合現有北京市農業產業資源，匯集全市農業生產園區生產種植全過程的數據，實現精準且高效的集中監管、遠程指揮和決策支持，從而以科技手段助力北京市設施蔬菜發展，推進農業產業振興、鄉村振興。