基于時序巡航圖像的茶樹生長監(jiān)測研究

劉連忠，李孟杰，寧井銘

(1.安徽農業(yè)大學 信息與計算機學院，安徽 合肥 230036； 2.茶樹生物學與資源利用國家重點實驗室，安徽 合肥 230036)

我國是最早發(fā)現(xiàn)和利用茶的國家，也是茶葉的生產和出口大國。茶樹的生長容易受氣象要素、土壤條件、病蟲害、修剪、采摘等多方面因素影響[1-4]，需要定時獲取茶樹的生長信息，及時調整栽培方案，確保茶樹的健康生長。目前，對茶樹的生長監(jiān)測大多靠人力來完成，由于茶園面積廣闊，且多分布于山間，人力監(jiān)測費時費力，效率低下[5-6]。近些年，機器視覺技術已經發(fā)展為獲取作物生長信息的一種快捷手段[7-8]，通過作物圖像分析進行作物生長監(jiān)測，可以判斷作物的長勢[9-12]、水分[13-14]、營養(yǎng)[15-19]、病蟲害[20-21]等狀況。例如，Tardaguila等[22]使用圖像處理技術實現(xiàn)了葡萄園冠層特征分析，以及葡萄簇的葡萄數(shù)量、大小和質量估計；袁道軍等[23]基于油菜冠層圖像，用逐步回歸法建立了用圖像的顏色值監(jiān)測葉綠素含量、全氮含量、碳氮比值的最優(yōu)模型，具有較好的預測性能；Ramcharan等[24]應用遷移學習訓練深度卷積神經網絡來識別木薯3種病害和2種病蟲害，具有較高的準確率。此外，基于機器視覺的田間雜草識別[25-26]、作物產量估算[27-29]和果實成熟度判斷[30-32]等方面的研究，都表明機器視覺在農業(yè)生產監(jiān)測中具有廣闊的應用前景。

茶園面積廣闊，茶園中不同位置的茶樹生長變化并不完全相同，有些變化(如病蟲害等)往往是先在某個局部區(qū)域發(fā)生的，其整體變化并不明顯，通常的視頻監(jiān)控系統(tǒng)只對茶園整體進行監(jiān)測，從中很難發(fā)現(xiàn)茶樹生長的細微變化。此外，茶樹生長是一個隨時間動態(tài)變化的過程(如嫩芽萌發(fā)、病害發(fā)展等)，只有對同一部位進行持續(xù)監(jiān)測才能獲取茶樹生長變化的重要信息，采用多臺攝像機對各個部位進行監(jiān)測會大大增加設備成本和維護難度。為掌握茶園中茶樹生長的時空動態(tài)變化情況，本文設計一種單攝像機的圖像監(jiān)測系統(tǒng)來實現(xiàn)時間和空間2個維度的茶樹圖像信息采集。將茶園劃分為若干監(jiān)測區(qū)域，采用可變焦云臺攝像機(即PTZ攝像機，俗稱球機)每隔一段時間進行1次輪詢，抓拍各個監(jiān)測區(qū)域的圖像并按時間順序保存，得到茶樹生長圖像庫。通過對茶樹生長圖像庫的進一步分析，可以獲取茶樹生長變化的相關信息，包括與茶樹生長有關的茶樹營養(yǎng)缺失、病害發(fā)作、嫩芽萌發(fā)，以及與茶樹生長環(huán)境有關的光照、天氣變化等信息。

1 系統(tǒng)設計

1.1 硬件系統(tǒng)設計

1.1.1 硬件結構

系統(tǒng)采用星型局域網絡結構。可變焦云臺攝像機獲取田間的視頻流，通過一對光纖模塊進行遠距離傳輸，然后接入到局域網絡。監(jiān)測服務器也接入局域網絡，通過TCP/IP協(xié)議獲取攝像機的視頻流，并向其發(fā)送指令，控制攝像機的轉動和變焦。監(jiān)測系統(tǒng)硬件結構如圖1所示。

1.1.2 監(jiān)測區(qū)域劃分

實驗茶園選擇在安徽農業(yè)大學大楊鎮(zhèn)高新技術農業(yè)園內，茶園長10 m、寬5 m，共種植4排茶樹，品種為農抗早。將茶園劃分為4行、10列共40個監(jiān)測區(qū)域，每個區(qū)域的大小為1 m×1.25 m，在每個區(qū)域選擇靠近中央的1株茶樹進行監(jiān)測，獲取其生長圖像。監(jiān)測區(qū)域的劃分與編號如圖2所示。

1.1.3 攝像機選型與安裝

為了方便地獲取各個監(jiān)測區(qū)域的茶樹圖像，要求攝像機鏡頭可以自由轉動，并且能對監(jiān)測圖像進行縮放。目前監(jiān)控領域廣泛使用的可變焦云臺攝像機，其制造工藝成熟，價格也較為便宜，適合用于作物生長監(jiān)測。實驗中使用的變焦云臺攝像機為天津天地偉業(yè)公司生產，型號為TC-H556S，其主碼流分辨率為2 048×1 536，32倍光學變焦，水平360°連續(xù)旋轉，垂直轉動角度-16°～90°，最大幀率60 fps。將攝像機架設于茶園東邊一側的中間位置處，以方便觀察到茶園的每個角落。該攝像機的外觀尺寸與安裝效果如圖3所示。

圖1 茶樹生長圖像監(jiān)測系統(tǒng)硬件結構圖Fig.1 Hardware structure of image monitoring system for tea plant growth

圖2 監(jiān)測區(qū)域劃分與編號Fig.2 Division and numbering of monitoring areas

1.2 軟件系統(tǒng)設計

軟件系統(tǒng)的設計包括監(jiān)測區(qū)域定位、定時巡航抓拍、茶樹生長圖像庫生成、茶樹生長圖像庫檢索瀏覽等算法設計。茶樹監(jiān)測系統(tǒng)的軟件架構如圖4所示。

圖3 攝像機外觀尺寸與安裝效果圖Fig.3 Camera appearance size and installation effect

圖4 茶樹生長監(jiān)測系統(tǒng)軟件結構圖Fig.4 Software structure of tea plant growth monitoring system

將軟件結構分為監(jiān)測區(qū)域定位、定時巡航抓拍、茶樹生長圖像庫生成、茶樹生長圖像庫檢索、茶樹含氮量監(jiān)測5個模塊。監(jiān)測區(qū)域定位模塊實現(xiàn)指向某個監(jiān)測區(qū)域的P(Pan，水平參數(shù))、T(Tilt，垂直參數(shù))、Z(Zoom，放大倍數(shù))攝像機參數(shù)設置，定時巡航抓拍模塊實現(xiàn)各監(jiān)測區(qū)域圖像的定時抓拍，茶樹生長圖像庫生成模塊將抓拍的圖像以一定格式存儲到服務器中，茶樹生長圖像庫檢索模塊實現(xiàn)圖像的檢索和瀏覽，茶樹含氮量監(jiān)測模塊實現(xiàn)基于茶樹圖像的茶樹含氮量檢測。

1.2.1 監(jiān)測區(qū)域定位

對各監(jiān)測區(qū)域的攝像機控制參數(shù)P、T、Z進行設置，并將設置的參數(shù)保存到一個監(jiān)測區(qū)域定位表中，如表1所示。首先將茶園劃分為若干監(jiān)測區(qū)域，為了保證監(jiān)測到茶樹生長的細節(jié)信息，建議每個監(jiān)測區(qū)域的大小為1～2 m2。將PTZ相機的鏡頭調節(jié)至能夠觀察到整個監(jiān)測區(qū)域的位置，保存該區(qū)域的編號和對應的P、T、Z值。當需要拍攝該監(jiān)測區(qū)域的圖像時，在定位表中查找到與該監(jiān)測區(qū)域編號對應的P、T、Z值，并用P、T、Z值調用攝像機控制函數(shù)，使其轉動和縮放，從而使攝像機定位到該監(jiān)測區(qū)域。

1.2.2 定時巡航抓拍

將茶園劃分為若干監(jiān)測區(qū)域并對攝像機進行定位設置后，每隔一段時間抓拍1次各監(jiān)測區(qū)域的圖像信息，并保存至監(jiān)測服務器，方便用戶隨時進行檢索、對比。結合已經設置完成的監(jiān)測區(qū)域定位表，設計定時巡航抓拍算法。設置一個定時器，每隔固定時間t啟動1次巡航抓拍流程，對監(jiān)測區(qū)域進行輪巡。攝像機從監(jiān)測區(qū)域定位表中依次取出對應區(qū)域的P、T、Z值，隨后延遲3秒，等待攝像機指向某個監(jiān)測區(qū)域并保持穩(wěn)定后，抓拍該區(qū)域的圖像，并將獲取的圖像保存到茶樹生長圖像庫。算法流程如圖5所示。

表1 監(jiān)測區(qū)域定位表

Table 1 Monitoring areas positioning

監(jiān)測區(qū)域編號Number of monitoring areas水平參數(shù)P垂直參數(shù)T放大倍數(shù)Z170.215.532.5275.816.429.8381.617.633.0…………40171.926.913.8

1.2.3 茶樹生長圖像庫

為便于圖像的檢索和瀏覽，根據(jù)圖像抓拍的時間和位置在監(jiān)測服務器上建立層級文件夾。以“年-月-日”建立日期文件夾，每個日期文件夾下再按監(jiān)測區(qū)域編號建立文件夾。在每個監(jiān)測區(qū)域編號文件夾下，按“年-月-日-時-分-秒-監(jiān)測區(qū)域編號”命名抓拍的圖像文件。具體結構如圖6所示。

1.2.4 茶樹生長圖像庫檢索

可按拍攝時間和監(jiān)測區(qū)域瀏覽茶樹生長情況，也可以通過對茶樹生長圖像序列的分析，得到更為豐富的茶樹生長信息。輸入監(jiān)測區(qū)域的編號、日期后，從茶樹生長圖像庫中檢索指定監(jiān)測區(qū)域該日期的所有圖像文件。可以進行動態(tài)顯示，即設定播放速度，按時間順序顯示圖像，其間可以暫停或繼續(xù)播放；也可以逐張瀏覽圖像，并顯示該圖像的拍攝時間。

2 系統(tǒng)測試

軟件系統(tǒng)的運行環(huán)境使用Windows 10操作系統(tǒng)，開發(fā)工具采用微軟公司的Visual Studio，軟件功能采用C++語言進行開發(fā)。軟件具有可移植性、可拓展性、操作簡便的特點，在傳統(tǒng)監(jiān)控可進行PTZ調節(jié)、抓圖的功能上，主要增加了自動定時巡航抓拍與茶樹信息檢索的功能。

打開監(jiān)控軟件，輸入攝像機的網絡地址、端口號、賬號和密碼進行登錄。登錄成功后，進入監(jiān)測系統(tǒng)主界面。首先進行監(jiān)測區(qū)域定位的設置，調整好攝像機鏡頭位置，輸入監(jiān)測區(qū)域編號與名稱，點擊“設置”按鈕，記錄當前的位置信息。當輸入或選擇監(jiān)測區(qū)域的編號，點擊“調用”，攝像機定位并顯示該監(jiān)測區(qū)域的實時視頻，如圖7-A所示。選擇巡航時間、巡航抓拍起止區(qū)域編號，單擊“巡航抓拍”按鈕，則進行單次巡航抓拍，圖像保存在桌面；設置定時抓拍時間間隔，單擊“定時循環(huán)”按鈕，則進行定時巡航抓拍，抓拍的圖像按日期、監(jiān)測區(qū)域編號保存到茶樹生長圖像庫中。

當進行茶樹生長圖像的檢索時，在主界面中單擊“查看數(shù)據(jù)”按鈕，進入茶樹生長圖像庫檢索界面，如圖7-B所示。輸入監(jiān)測區(qū)域編號與日期，可檢索到符合條件的所有歷史圖像，并可以按時間順序動態(tài)播放。單擊“暫停”按鈕可暫時停止圖片的動態(tài)播放，此時通過單擊“上一張”“下一張”按鈕可逐張瀏覽圖像。

圖5 定時巡航抓拍算法流程Fig.5 Timing cruise capture algorithm flow

3 系統(tǒng)應用

利用茶樹生長圖像數(shù)據(jù)庫對茶樹的生長過程進行多方面的監(jiān)測。以下對2019年2月1日至4月30期間采集的圖像庫，分別從嫩芽監(jiān)測、病害監(jiān)測、含氮量監(jiān)測、光照監(jiān)測、天氣監(jiān)測等幾個方面討論、分析該系統(tǒng)的應用。

3.1 嫩芽監(jiān)測

由于同一監(jiān)測區(qū)域的拍攝位置是固定的，因此可以對比茶樹同一部位在不同時間的生長變化情況。圖8為監(jiān)測區(qū)域1的圖像上部枝條上嫩芽的萌發(fā)過程。可以看出，2019年4月10日該枝條尚未萌出新芽，4月20日已經長出新芽，4月30日新芽進一步長大。因此，從茶樹生長圖像庫中可以得到關于嫩芽生長的信息。采用圖像分割技術將嫩芽從圖像中分離出來，則可以計算嫩芽的長度、生長速度，進而鑒定嫩芽的品質、確定采摘嫩芽的最佳時機。

3.2 病害監(jiān)測

茶樹很容易感染各種病害，通過對比茶樹圖像隨時間的變化情況，可以從中發(fā)現(xiàn)其病害的發(fā)生、發(fā)展過程。圖9為從監(jiān)測區(qū)域13抓拍到的一個葉片發(fā)病過程。4月17日該葉片葉色泛黃，開始發(fā)生輕微病變，4月20日葉片已經全部變?yōu)辄S色，病害加重，4月22日葉片出現(xiàn)褐色斑塊，病害進一步加重，該葉片在5 d內發(fā)生了明顯的病變。因此，通過對比茶樹圖像中葉片的變化，可以發(fā)現(xiàn)病害的種類和為害程度，以便及時采取有效措施進行防治。

圖6 茶樹生長圖像庫結構圖Fig.6 Structure of tea tree growth image database

A，監(jiān)測系統(tǒng)主界面；B，茶樹生長圖像庫檢索界面。A， Main interface of monitoring system; B， Retrieval interface of image database of tea plant growth.圖7 茶樹生長圖像監(jiān)測系統(tǒng)界面Fig.7 Interface of monitoring system of tea plant growth image

3.3 含氮量監(jiān)測

氮是影響茶樹長勢的一個關鍵元素，茶樹的氮營養(yǎng)情況一般會在葉片顏色上有所體現(xiàn)[33]。為驗證利用茶樹監(jiān)測圖像進行茶樹氮營養(yǎng)監(jiān)測的可行性，于2019年4月中旬進行試驗，將施以5種不同含氮量基肥的茶園劃分為連續(xù)的40個監(jiān)測區(qū)域，每個區(qū)域隨機選取2株茶樹，每株茶樹摘取冠層枝條頂葉下第2葉10片，每5片1組，用凱氏定氮法測得80組樣本的實際含氮量數(shù)值。在采摘葉片前后，抓拍該40個監(jiān)測區(qū)域的圖像，經圖像降噪、背景分割等操作后[34]，提取圖像的R、G、B均值作為顏色特征參數(shù)。將80組樣本分為建模樣本和驗證樣本，對顏色特征參數(shù)與含氮量進行線性回歸分析。結果發(fā)現(xiàn)，無陽光直射時拍攝的圖像，其G值和B值與茶樹含氮量之間有較高的相關性，所建立的線性方程和誤差如表2所示。

在5月中旬再次進行相同試驗，依據(jù)監(jiān)測圖像和回歸方程得到各監(jiān)測區(qū)域茶樹的含氮量預測值，進一步繪制出茶樹含氮量預測值空間分布圖，如圖10所示。該預測值與驗證樣本實際值的最大相對誤差為16.53%，平均相對誤差為5.79%，均方根誤差為0.171。試驗結果表明，根據(jù)茶樹圖像可以對茶樹含氮量及其空間分布進行監(jiān)測。

圖8 茶樹嫩芽萌發(fā)監(jiān)測Fig.8 Monitoring of tea bud germination

圖9 茶樹病害監(jiān)測Fig.9 Monitoring of tea plant diseases

表2 顏色特征參數(shù)與茶樹含氮量的線性回歸分析結果

Table 2 Results of linear regression analysis of color parameters and nitrogen content of tea plant

回歸方程Regression equation樣本集Sample sets 最大相對誤差Maximum relative error/%平均相對誤差Mean relative error/%均方根誤差Root mean square errorN=3.435+2.484B-3.004G建模樣本Modeling sample12.144.300.154驗證樣本Validation sample11.824.640.157

圖10 茶樹含氮量預測值空間分布圖Fig.10 Spatial distribution of predicted nitrogen content of tea plant

3.4 光照監(jiān)測

露天狀態(tài)下一天中的光照條件是不斷發(fā)生變化的，通過一天中不同時間拍攝的茶樹圖像，可以監(jiān)測到茶樹生長環(huán)境的光照變化情況。圖11為2019年4月13日監(jiān)測區(qū)域4在不同時間的圖像。可以看出，06:50陽光較弱，圖像較暗，且葉片表明凝結許多露珠；13:50陽光強烈，圖像亮度大大增加，并出現(xiàn)大量反光和陰影區(qū)域；17:50陽光較為柔和，圖像中光照分布均勻，無明顯的反光和陰影，圖像清晰度較高。早晨和傍晚的茶樹圖像清晰度較高，用于茶樹的生長監(jiān)測效果更好。通過圖像中光照的變化，還可以得到茶樹一天的光照量，可幫助分析光照對茶樹生長的影響。

3.5 天氣監(jiān)測

天氣是影響茶樹生長的一個重要因素，尤其在春茶采摘期前后，天氣的變化對茶葉品質的形成有著關鍵作用，因此，監(jiān)測茶樹生長過程中的天氣變化情況，對茶樹種植有著重要意義[35-36]。從茶樹圖像中容易獲知每天的天氣情況，如圖12所示。選擇2019年3月1日到4月30日的茶樹圖像，把每天天氣記錄下來，可以得到該期間茶園各種天氣的統(tǒng)計圖，如圖13所示。可以看出，該茶園3—4月的天氣以晴、多云、陰天為主，而雨天相對較少。

圖11 茶樹一天中光照的變化(2019年4月13日，監(jiān)測區(qū)域4)Fig.11 Changes of light in tea plants during the day (On 13 April 2019， monitoring area 4)

圖12 天氣變化監(jiān)測Fig.12 Monitoring of weather change

圖13 茶園天氣變化統(tǒng)計圖(2019年3—4月)Fig.13 Statistical of tea plantation weather change (March-April 2019)

4 總結與展望

為了實現(xiàn)茶樹生長過程的快速監(jiān)測，本研究開發(fā)了一套茶樹生長圖像監(jiān)測系統(tǒng)，該系統(tǒng)設備成本低、信息量豐富、軟件操作簡單，能夠定時抓拍茶園中指定區(qū)域的茶樹細節(jié)圖像，生成茶樹生長圖像庫，并能實時監(jiān)看茶樹生長情況或檢索歷史圖像。為了展示茶樹生長圖像庫的用途，從光照變化、嫩芽萌發(fā)、病害、天氣、含氮量等方面的監(jiān)測進行了討論和分析，從中得到與茶樹生長有關的信息，并實現(xiàn)了茶樹含氮量的快速監(jiān)測。該監(jiān)測系統(tǒng)也適用于其他作物，為作物生長監(jiān)測提供一種直觀的、可追溯的數(shù)據(jù)來源。

下一步將對軟件進行進一步開發(fā)，將茶樹生長過程的監(jiān)測、統(tǒng)計與分析等信息添加至茶樹信息查看功能中，并增加衛(wèi)星遙感、無人機航拍等圖像數(shù)據(jù)，從而為茶樹生長監(jiān)測提供更全面的分析決策信息。