基于圖像識(shí)別的植物物候期自動(dòng)觀測系統(tǒng)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

朱懷衛(wèi) 盧煥萍 黃光民 王廣倫 馮國安

基于圖像識(shí)別的植物物候期自動(dòng)觀測系統(tǒng)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

朱懷衛(wèi)1盧煥萍1黃光民2王廣倫2馮國安2

（1. 廣東省生態(tài)氣象中心 廣東廣州 510641；2. 廣東省農(nóng)業(yè)氣象試驗(yàn)站 廣東佛山 528225）

為解決人工觀測植物物候期費(fèi)時(shí)費(fèi)力、人手不足的問題，文章以珠三角地區(qū)特色果樹和觀花樹為觀測對(duì)象，基于圖像識(shí)別技術(shù)構(gòu)建植物物候期自動(dòng)識(shí)別模型，開發(fā)物候期自動(dòng)識(shí)別系統(tǒng)平臺(tái)。系統(tǒng)平臺(tái)可實(shí)時(shí)拍攝采集觀測植物全物候期視頻和高清圖像信息，具備識(shí)別高清視頻圖像實(shí)時(shí)觀測、自動(dòng)識(shí)別結(jié)果展示、人工訂正、植物科普信息展示等功能。經(jīng)過一年半時(shí)間的調(diào)試和功能升級(jí)，目前應(yīng)用平臺(tái)前期設(shè)計(jì)功能基本實(shí)現(xiàn)。該系統(tǒng)自動(dòng)化平臺(tái)的研發(fā)減少觀測工作量，提升農(nóng)業(yè)氣象服務(wù)水平，具有一定的業(yè)務(wù)應(yīng)用價(jià)值。

物候期；圖像識(shí)別；自動(dòng)觀測；平臺(tái)設(shè)計(jì)

廣東地區(qū)光照、熱量、降水等農(nóng)業(yè)氣象資源充足[1]，非常適宜花卉和亞熱帶水果生長。近年來隨著人民生活水平不斷提高，賞花、摘果等生態(tài)農(nóng)業(yè)旅游形式日益興起，提前預(yù)測觀賞性花卉開花期和瓜果采摘期[2]，對(duì)農(nóng)業(yè)氣象服務(wù)技術(shù)提出了更高的要求[3-4]。目前，我國農(nóng)業(yè)氣象觀測中物候觀測主要依賴人工，存在費(fèi)時(shí)費(fèi)力，且無法實(shí)時(shí)連續(xù)觀測植物物候期生長全過程等弊端[5]。因此，對(duì)農(nóng)業(yè)氣象的觀測方式和服務(wù)方式更迫切地提出了自動(dòng)化、系統(tǒng)化和智能化的要求[6-10]。實(shí)現(xiàn)物候期自動(dòng)化觀測技術(shù)對(duì)物候模型、植物物候期預(yù)測技術(shù)研發(fā)至關(guān)重要[5]。

廣東省農(nóng)業(yè)氣象試驗(yàn)站在物候觀測方面經(jīng)驗(yàn)豐富。1984年1月起，開始對(duì)木棉、苦楝、玉蘭3種樹木以及青蛙、蟾蜍、家燕3種動(dòng)物開展物候觀測，但現(xiàn)有的觀測對(duì)象無法滿足當(dāng)前農(nóng)業(yè)氣象觀測業(yè)務(wù)的需求。因此，基于2019年中國氣象局應(yīng)急減災(zāi)與公共服務(wù)司審批的廣東省農(nóng)業(yè)氣象試驗(yàn)站“三農(nóng)”服務(wù)專項(xiàng)項(xiàng)目，在農(nóng)試站全站內(nèi)布設(shè)8套高清視頻物候觀測設(shè)備，針對(duì)荔枝、龍眼、木棉、黃花風(fēng)鈴木等11種廣東特色果樹和觀花樹，搭建物候觀測對(duì)象實(shí)景觀測站，建設(shè)特色果樹和觀花樹木物候觀測系統(tǒng)，完善農(nóng)業(yè)氣象觀測體系。

該植物物候觀測系統(tǒng)首先基于廣州、東莞、茂名等地歷年荔枝、龍眼等全生育期物候期圖像觀測資料，人工標(biāo)注圖片樣本物候期特征并初步建立樣本數(shù)據(jù)庫，構(gòu)建物候期識(shí)別模型；其次，布設(shè)高清物候觀測設(shè)備建設(shè)植物物候?qū)嵕坝^測站，實(shí)時(shí)觀測并采集植物實(shí)時(shí)生長圖片，建立樣本圖片數(shù)據(jù)庫，對(duì)后期提高植物物候期識(shí)別模型精度及更好地提供農(nóng)業(yè)氣象服務(wù)具有重要的意義。

1 設(shè)計(jì)思路

針對(duì)廣東省農(nóng)業(yè)氣象試驗(yàn)站內(nèi)當(dāng)前的種植樹種確定觀測樹種對(duì)象，采集并分類標(biāo)記物候期圖像，建立物候期圖像數(shù)據(jù)庫。采用在機(jī)器視覺領(lǐng)域興起的，對(duì)二維圖像識(shí)別具有獨(dú)特優(yōu)勢的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)采集的物候觀測圖像進(jìn)行自動(dòng)分類識(shí)別，建立基于機(jī)器學(xué)習(xí)的植物種類和生長期自動(dòng)識(shí)別系統(tǒng)。

2 系統(tǒng)模塊設(shè)計(jì)

物候期自動(dòng)觀測系統(tǒng)各分系統(tǒng)和模塊共由8個(gè)部分組成。分別是：實(shí)景觀測系統(tǒng)、負(fù)載均衡識(shí)別模型、數(shù)據(jù)清洗模塊、圖像剪裁拆分模塊、圖像識(shí)別模塊、圖像分類模塊、周期分析模塊和顯示模塊，具體介紹如下。

（1）實(shí)景觀測系統(tǒng)：實(shí)時(shí)采集植物每日生長圖像信息，搭載8臺(tái)高清攝像機(jī)拍攝11種植物，后臺(tái)設(shè)置每臺(tái)攝像機(jī)的角度及時(shí)間，多角度采集多品種植物圖像，初步建立覆蓋11個(gè)樹種的植物圖像樣本數(shù)據(jù)庫。

（2）負(fù)載均衡識(shí)別模型：實(shí)時(shí)讀取實(shí)景觀測系統(tǒng)采集的圖像數(shù)據(jù)，創(chuàng)建識(shí)別進(jìn)程作業(yè)（流程：①創(chuàng)建request識(shí)別接口請(qǐng)求→②建立nginx分配計(jì)算機(jī)制→③依據(jù)植物標(biāo)識(shí)ID遞歸待處理源圖片數(shù)據(jù)→④讀取輸入源數(shù)據(jù)創(chuàng)建識(shí)別進(jìn)程作業(yè)）。

（3）數(shù)據(jù)清洗模塊：判斷植物圖像文件有效性，刪除并清理不具備有效性的樣本圖像。

（4）圖像裁剪拆分模塊：裁剪和拆分植物采集觀測的圖像。

（5）圖像識(shí)別模塊：該模塊是植物物候期自動(dòng)觀測系統(tǒng)的核心功能模塊。首先輪詢獲取圖片，輸入主要物候期識(shí)別模型并識(shí)別圖像物候期特征，輸出特征權(quán)重≥0.5的主要物候期識(shí)別模型識(shí)別結(jié)果。主要物候期識(shí)別模型檢索出的識(shí)別結(jié)果輸入圖像分類模塊整合或排序輸出結(jié)果，輸出識(shí)別結(jié)果包含主要物候期識(shí)別模型檢測目標(biāo)物候期進(jìn)入周期分類模塊，并分析判斷植物當(dāng)前物候期，若輸出結(jié)果不包含主要物候期識(shí)別模型的檢測目標(biāo)物候期，直接回到圖像裁剪模塊，待識(shí)圖像原圖輸入特殊物候期識(shí)別模型，識(shí)別圖像物候期特征。技術(shù)路線如圖1所示。

（6）圖像分類模塊：統(tǒng)計(jì)整合并排列物候期識(shí)別模型輸出的物候期特征檢索結(jié)果。

（7）周期分析模塊：判定植物當(dāng)前所處物候期。

（8）顯示模塊：實(shí)時(shí)顯示監(jiān)控植物物候生長圖像數(shù)據(jù)和物候期自動(dòng)識(shí)別結(jié)果。

圖1 植物物候期圖像識(shí)別技術(shù)路線圖

3 系統(tǒng)界面實(shí)現(xiàn)

開發(fā)植物物候期自動(dòng)觀測系統(tǒng)平臺(tái)用于對(duì)植物物候期自動(dòng)識(shí)別結(jié)果進(jìn)行展示，主要設(shè)計(jì)六大功能界面：系統(tǒng)首頁、觀測識(shí)別、訂正記錄、資料歸檔、科普資料、系統(tǒng)設(shè)置。模塊架構(gòu)詳見圖2。同時(shí)具備植物物候自動(dòng)觀測、物候期自動(dòng)識(shí)別、存儲(chǔ)、訂正、管理、科普等功能。平臺(tái)功能界面具體介紹如下。

圖2 植物物候期自動(dòng)觀測系統(tǒng)平臺(tái)功能架構(gòu)圖

3.1 系統(tǒng)首頁

該界面主要用于展示觀測區(qū)域?qū)崟r(shí)全景，具備720°旋轉(zhuǎn)、放大和縮小功能，且首頁全景圖上每個(gè)觀測植物采用定位點(diǎn)圖標(biāo)標(biāo)識(shí)，并在定位點(diǎn)右側(cè)顯示植物名片信息：圖片實(shí)況+植物名稱+當(dāng)前生長周期+下個(gè)物候期預(yù)計(jì)時(shí)間。系統(tǒng)首頁界面效果圖詳見圖3。

圖3 物候期自動(dòng)觀測系統(tǒng)首頁界面效果圖

3.2 觀測識(shí)別

該界面是植物物候期自動(dòng)觀測系統(tǒng)核心技術(shù)的展示界面，主要用于顯示植物實(shí)時(shí)或歷史生長圖像數(shù)據(jù)和物候期識(shí)別結(jié)果信息，識(shí)別結(jié)果信息包括：植物物種名稱、當(dāng)前物候生長期、該物候期生長特征、時(shí)間跨度、識(shí)別周期等。此外，該模塊可實(shí)現(xiàn)識(shí)別結(jié)果訂正、歷史觀測圖像及視頻查詢、植物物候期時(shí)間軸、植物物候期識(shí)別結(jié)果二維碼溯源等展示功能。荔枝和龍眼觀測識(shí)別界面效果圖詳見圖4。

圖4 物候期自動(dòng)觀測系統(tǒng)觀測識(shí)別界面效果圖（荔枝和龍眼果實(shí)成熟期）

3.3 訂正記錄

該界面主要用于管理并記錄觀測識(shí)別模塊中植物物候期識(shí)別結(jié)果的人工訂正信息。實(shí)時(shí)切換多種植物圖片通過查看詳情，顯示訂正記錄識(shí)別結(jié)果和訂正結(jié)果列表信息，包括識(shí)別次數(shù)、識(shí)別時(shí)間、人工訂正次數(shù)、人工訂正時(shí)間等，列表格Excel導(dǎo)出用于統(tǒng)計(jì)植物物候期周年統(tǒng)計(jì)。

3.4 資料歸檔

該界面主要用于存儲(chǔ)歷史觀測圖片和展示植物觀測結(jié)果歸檔形成的生長報(bào)告和觀測報(bào)告，生長報(bào)告和觀測報(bào)告實(shí)現(xiàn)自動(dòng)生成和下載功能。資料歸檔界面效果圖詳見圖5。

圖5 物候期自動(dòng)觀測系統(tǒng)資料歸檔界面效果圖

3.5 科普資料

該界面主要用于科普?qǐng)D文介紹觀測植物相關(guān)知識(shí)，包括品種科屬、植物花（果）期、形狀特征、功能用途、地理分布信息等。科普資料界面效果見圖6。

3.6 系統(tǒng)設(shè)置

該界面主要用于管理科普資料信息、觀測區(qū)域全景信息、人員權(quán)限信息、識(shí)別結(jié)果信息等。管理后臺(tái)界面效果見圖7。

圖6 物候期自動(dòng)觀測系統(tǒng)科普資料界面效果圖

4 結(jié)語

（1）為提高物候觀測數(shù)據(jù)的質(zhì)量和規(guī)范性，解決物候觀測中人手不足、效率低、費(fèi)時(shí)費(fèi)力的問題，采用卷積神經(jīng)網(wǎng)絡(luò)法自動(dòng)分類并識(shí)別采集的物候觀測二維圖像，建立基于機(jī)器學(xué)習(xí)的植物種類和物候期自動(dòng)識(shí)別系統(tǒng)。

（2）本研究植物物候期自動(dòng)觀測系統(tǒng)平臺(tái)共設(shè)計(jì)六大功能界面：系統(tǒng)首頁、觀測識(shí)別、訂正記錄、資料歸檔、科普資料和系統(tǒng)設(shè)置。

（3）基于實(shí)時(shí)拍攝的植物圖片，自動(dòng)識(shí)別并輸出植物當(dāng)前物候期結(jié)果是本觀測系統(tǒng)平臺(tái)設(shè)計(jì)的核心內(nèi)容之一。

（4）后期進(jìn)一步獲取多個(gè)植物物種的周年圖像樣本，人工標(biāo)定圖像中物候期特征，進(jìn)而構(gòu)建多個(gè)物種的物候期自動(dòng)識(shí)別模型及提高模型物候期自動(dòng)識(shí)別結(jié)果的精度，后續(xù)的工作中將更好地改進(jìn)和完善。

（5）目前，廣東省氣象為農(nóng)服務(wù)農(nóng)情調(diào)查業(yè)務(wù)工作，多以傳統(tǒng)人工調(diào)查實(shí)地調(diào)研為主。長期以來，人工觀測在觀測頻次、記錄方式、觀測技術(shù)手段、觀測精度等方面，還無法滿足數(shù)字農(nóng)情監(jiān)測以及種植氣象服務(wù)的要求。植物物候期自動(dòng)觀測系統(tǒng)平臺(tái)核心在于物候期自動(dòng)識(shí)別技術(shù)，該平臺(tái)果樹（荔枝和龍眼）物候期識(shí)別技術(shù)成熟，具有普遍適用性，適合在全省農(nóng)情調(diào)查物候期觀測業(yè)務(wù)中推廣。全省多點(diǎn)布置物候高清觀測攝像機(jī)，一方面可以全天候24 h內(nèi)監(jiān)測植物長勢，實(shí)時(shí)自動(dòng)化識(shí)別出物候期，另一方面助力構(gòu)建全省果樹（荔枝和龍眼）物候期自動(dòng)化觀測網(wǎng)絡(luò)體系。

[1] 國效寧. 廣東省農(nóng)業(yè)氣候資源特點(diǎn)及主要?dú)庀鬄?zāi)害分析[J]. 廣東農(nóng)業(yè)科學(xué), 2013, 40(6): 181-185+237.

[2] 劉俊, 李云云, 劉浩龍, 等. 氣候變化對(duì)成都桃花觀賞旅游的影響與人類適應(yīng)行為[J]. 地理研究, 2016, 35(3): 504-512.

[3] 李穎, 陳懷亮. 機(jī)器學(xué)習(xí)技術(shù)在現(xiàn)代農(nóng)業(yè)氣象中的應(yīng)用[J]. 應(yīng)用氣象學(xué)報(bào), 2020, 31(3): 257-266.

[4] 王高芳, 牛永波, 裴克莉, 等. 物聯(lián)網(wǎng)技術(shù)在農(nóng)業(yè)氣象服務(wù)中的應(yīng)用[C]. 第35屆中國氣象學(xué)會(huì)年會(huì)S14大數(shù)據(jù)、互聯(lián)網(wǎng)、融媒體時(shí)代氣象服務(wù)的創(chuàng)新與變革——第八屆氣象服務(wù)發(fā)展論壇. 北京: 中國氣象學(xué)會(huì), 2018:3.

[5] 周運(yùn)麗. 果園物候期自動(dòng)觀測系統(tǒng)初步研究和實(shí)現(xiàn)[J]. 中國新通信, 2018, 20(22): 136.

[6] 趙曉妮, 張藝博, 姚俊強(qiáng). 錨定目標(biāo)加快推進(jìn)氣象科技創(chuàng)新[N]. 中國氣象報(bào), 2022-05-25(001).

[7] 余衛(wèi)東, 楊光仙, 張志紅. 我國農(nóng)業(yè)氣象自動(dòng)化觀測現(xiàn)狀與展望[J]. 氣象與環(huán)境科學(xué), 2013, 36(2): 66-71.

[8] 阿衣敏·沙依熱特, 卡木塞亞·扎木在, 恰力哈爾·霍賽. 我國農(nóng)業(yè)氣象自動(dòng)化觀測現(xiàn)狀與展望[J]. 現(xiàn)代農(nóng)村科技, 2017(9): 85.

[9] 李要中, 劉鈞, 馬尚昌. 基于AM335X的農(nóng)作物氣象自動(dòng)觀測系統(tǒng)設(shè)計(jì)[J]. 氣象科技, 2017, 45(5): 818-824.

[10] 張雪芬, 農(nóng)業(yè)氣象自動(dòng)化觀測系統(tǒng)[Z]. 北京: 中國氣象局氣象探測中心, 2014-12-18.

Research and Implementation of Automatic Plant-phenological Observation System Based on the Image Recognition

ZHU Huaiwei1LU Huanping1HUANG Guangmin2WANG Guanglun2FENG Guoan2

(1. Guangdong Ecological Meteorology Center, Guangzhou, Guangdong 510641, China; 2. Guangdong Agro-meteorological Experimental Station, Foshan, Guangdong 528225, China)

In order to solve the problem of time-consuming and manpower shortage in observing plant phenophases manually, taking flower-appreciating and fruit trees as the observational object, build automatic recognition models based on the image recognition technology and developed the automatic plant-phenological observation system. The platform captures video and high-definition image information of plants during the total phenology in real-time, had these basic features such as real-time observation, automatic recognition result display, correction of results manually, popular science information display for plants. After a year and a half of debugging and upgrading, the pre-designed functions are now basically implemented. The automatic platform alleviates the daily workload of plant phenology operational observers and improve agricultural meteorological services, which is full of certain business application value.

phenological period; image recognition; automatic observation; platform design

Q948

A

10.12008/j.issn.1009-2196.2022.09.014

2022-04-24；

2022-05-24

廣東省氣象局科學(xué)技術(shù)研究項(xiàng)目青年基金（No.GRMC2020Q06）；廣東省生態(tài)氣象中心科學(xué)技術(shù)研究項(xiàng)目（No.2150400004）。

朱懷衛(wèi)（1992—），女，碩士研究生，中級(jí)工程師，研究方向?yàn)檗r(nóng)業(yè)氣象與氣象應(yīng)用等，Email：zhuhuaiwei214@163.com。

（責(zé)任編輯 龍婭麗）