



DOI:10.13733/j.jcam.issn.2095-5553.2025.07.026
關鍵詞:智能巡檢機器人;冠層溫度;圖像配準;紅外熱成像;農業生產園區中圖分類號:S126;TP242.6 文獻標識碼:A 文章編號:2095-5553(2025)07-0181-10
Abstract:Toaddress thechallengesof effectiveandreal-time temperatureextractionofcropcanopyinagricultural orchards,this study focuseson kiwifruit and grape crops grown within theorchard topropose a novel intellient cable inspection robot and a canopy temperature extraction method based on the fusion of the CIELAB and HSV colorspaces,referred toas CIELAB—HSV.First,the intelligent inspection robot isequipped with data collection devices and travels along acableway toobtain environmentaldata and thermalinfraredandvisible light (TIRamp; V)images of the canopy. An automatic registration method,CAO—C2F is employed to align TIR 8. V images. The fusion of CIELABand HSV dual color spaces is used to extract canopy regions.Finally,the canopy region images’binary processing results are combined with the TIR temperature matrix to extract the canopy temperature.The experimental results show that the improved CIELAB—HSV method achieves the best extraction performance for canopy regions,with an average accuracy of 91.54% . Furthermore,the extracted canopy temperature,obtained through the combinedapplication of CAO一C2F and CIELAB—HSV,exhibits the highest correlation with ground-measured values,reaching a determination coefficient R2 of 0.952 5,surpassing the performance of CIELAB( R2=0.928 9 ),HSV (R2=0,9047) ,and ExG—Otsu ?R2=0,8913? .The combined CIELAB—HSV and CAO—C2F algorithms have an average processing time of 3.44s ,which enables the intelligent cable inspection robot toperform real-time canopy acquisition and dynamic monitoring of crop growth parameters in agricultural environments.
Keywords:inteligentcableinspection robots;canopy temperature;imageregistration;thermal infrared imaging; agricultural orchards
0 引言
冠層溫度是表征作物生理生態過程及能量平衡的重要參數之一,準確探測作物冠層溫度對綜合衡量作物的生長狀況、指導農業生產具有重要意義[1]。目前手持溫度儀不適用于實時準確獲取冠層溫度,難以對冠層溫度進行長期動態監測[2]。農田環境往往受限于不同作物類型、生長階段和地形條件,巡檢機器人良好安全的續航性是實時獲取作物冠層溫度的關鍵因素。為更好地適應復雜多變的農業生產地形和提高作業質量,設計了一種新型滑觸供電的巡檢機器人,能實時有效獲取作物的冠層溫度。
在園區巡檢機器人中,通過機載光學相機可以高效分析作物長勢。由于光學相機存在一定程度畸變,不少學者提出了有效的校正方法。Zhang[3提出了基于平面靶標的攝像機標定,已成為經典的嵌人式光學設備校正方法。為解決相機標定視場受限、標定精度不足的問題,Sun等4提出一種基于柔性多向目標(FMT)的相機標定方法,利用自動角點提取算法和優化算法計算全局相機的參數和畸變系數,將測量精度提高 3% ;Zhang等5提出了一種基于狀態變換的柔性雙目相機標定方法,很好地降低了單目和雙目相機標定的重投影誤差,其中單目相機的平均重投影誤差僅為0.0675pixel,雙目視覺相對測量誤差小于 1.75% .并驗證了方法的魯棒性。所有相機標定過程都需要對參數的解空間進行搜索,為提高標定參數的準確性,在獲取相機原參數后,采用優化后的搜索方法快速收斂最優結果。目前常用的方法是基于張氏標定的原理,利用智能優化算法對其進行改進,其中粒子群優化算法(PSO)可以較長時間保存最優解從而快速更新粒子位置78],為達到快速、準確收斂于相機參數最優解、降低重投影誤差的目的,采用基于粒子群優化的相機參數標定方法。
在紅外熱圖像中實時獲取作物冠層溫度的方法主要有閾值法、大津法和邊緣檢測等[9]。熱圖像自身的空間分辨率相對較低,導致溫度測量易出現空間位置偏差,需要將冠層可見光和同步的熱圖像進行數據融合分析[1],降低空間位置引起的溫度測量誤差。另外,巡檢機器人獲取的紅外熱圖像中還包含行間植被、土壤等地物背景,對準確提取溫度產生一定干擾,需要將可見光圖像和同步的熱圖像進行配準后再提取溫度。Liu等[1]利用反向傳播(BP)神經網絡從可見光圖像中提取冠層作為參考圖像,采用仿射變換對參考圖像和目標熱紅外圖像進行配準,提出了一種基于異質圖像特征配準的植物冠層熱紅外圖像識別方法,分割結果可滿足紅外熱冠層圖像的識別精度。為解決農作物冠層熱紅外圖像邊緣灰度級分布不均且噪聲較大對冠層分割帶來的影響,馬曉丹等[12]結合模糊神經網絡和仿射變換,從可見光圖像中準確獲取用于紅外熱圖像的參考圖像,平均有效分割率達 96.13% ,在實驗室環境中進行冠層溫度提取試驗,可有效分離一定溫度范圍內的冠層和背景區域。經典配準方法[13有多尺度強度不變特征描述符(PIIFD)、加速魯棒性特征(SURF)和尺度不變特征轉換(SIFT)等。Jiang等[14]提出的基于輪廓角方向(CAO)并由粗到精的配準方法,對紅外熱與可見光(TIRamp;V)圖像配準均方誤差顯著低于現有的SIFT、SURF和PIIFD,能解決不同尺度的異源圖像自動配準,為在ROS平臺下更好實現作物異源圖像配準,提高冠層圖像配準精度,采用CAO—C2F配準方法。
在弼猴桃與葡萄連片種植園區,為實現作物冠層溫度的實時準確獲取,基于ROS框架,創制包括微小氣象傳感器、紅外熱一可見光一體相機、高分辨率可見光相機等設備在內的滑索智能巡檢機器人。本文設計并提出面向機器人光學相機校正參數的搜索優化方法;在獲取冠層TIRamp;V圖像基礎上,采用基于輪廓特征的配準方法(CAO—C2F),利用雙色彩空間融合(CIELAB—HSV分割出冠層待測區域,再與TIR溫度矩陣融合分析后獲取冠層溫度。
1材料與方法
1. 1 智能巡檢機器人設計
園區智能巡檢機器人的功能組成如圖1所示。硬件由工業控制計算機、電源、運動控制單元、數采單元、2.4G無線接人點(AP)組成。以工業控制計算機作為系統服務設備,通過部署移動站點服務器架構(Linux + Nginx + MySQL + PHP,LNMP)和ROS[15] ,建立機器人軟件服務平臺,實現智能巡檢管理、運動控制、圖像與氣象參數實時傳輸和展示。
運動控制單元 數據采集單元圖像數據采集單元氣象數據采集單元全景相 可見 紅外熱成像相 二伺服電機光 氣象傳感器機 相 T機 1串口服務器機
電機驅動器交換機1t 11 1無線AP 電源模塊1 -→工業控制機用戶管理 控制模塊登 用戶信息管理 用戶 車體控制 云臺控制錄注 冊 權限管理 自動控 制 手動控制 =5-=5 水平轉動 垂直轉動 選擇相機 二一-一LNMP+ROS
為使智能巡檢機器人更好地適應戶外環境、高效完成作業任務,并利于后期維護與升級,將機器人模塊化設計,分為巡檢平臺、機器人車體和控制艙3大部分,如圖2所示。巡檢平臺包括塔架塔基、伺服電機、減速器以及牽引、承重索。車體內部安裝微小氣象傳感器,外部搭載全景相機、光學相機、紅外熱一可見光一體機,機器人車體實物如圖3所示。



牽引索與機器人車體固定連接,由伺服電機驅動牽引索做回環運動,從而帶動車體運動。控制艙內安裝工業控制計算機、電機驅動器,并包含 220V 交流電與以太網入口。同時,優化了纜索滑觸供電方式,采用兩端纜索低壓滑觸供電。將 220V 交流電接人控制艙后分為兩路,一路為控制箱內設備供電;另一路通過 0~70V 可調開關電源,轉化為 40V 安全直流低壓,通過導電承重索為機器人車體內部設備供電。數據傳輸使用無線網橋與千兆光纖,將車體內利用RS485協議通訊的微小氣象傳感器轉為網口通訊,與搭載相機、無線網橋接收端一并接入交換機,以此接收服務器端傳輸的控制指令。
運動控制機構由伺服電機與基于ROS的移動控制系統組成,控制模型如圖4所示。該控制模型由執行層、控制層以及決策層組成。決策層通過向Movebase節點發送電機轉速與方向指令控制機器行進,其中行進速度和方向分別通過調整電機轉速及電機驅動方向來控制;控制層中的Robotcontrol節點對Motordrive包發送控制指令,執行層的伺服電機執行前進后退等指定操作;執行層的伺服電機記錄電機運動里程并反饋至Robotcontrol節點完成機器人的運動控制。

1.2 數據采集
研究區域位于陜西省楊凌某現代農業綜合試驗示范站(五泉鎮)( (34°18′4.24′′N,107°58′10.26′′E) ,海拔為 563m ,屬暖溫帶半濕潤季風氣候,年降水量為635.1~663.9mm ,與陜西大規模弼猴桃(西安周至縣)、葡萄(西安鄂邑區)種植區域氣候相近。試驗區域為示范站內相鄰弼猴桃、葡萄地塊(圖5),塔架塔基設立在田地兩端,高 5m ,橫跨共計 300m 。分別于2023年5一6月的晴天和陰雨天控制智能巡檢機器人,自東向西同步采集數據。
1)相機標定。由于相機與拍攝目標距離 1m 左右,為使目標區域占滿相機視野,設計使用 13×9 的棋盤格作為光學相機標定板,格子間隔距離上下左右各50mm 。利用光學鏡頭拍攝不同姿態、不同角度的標定板,選擇其中18張圖像作為標定數據集。獲取標定板上的特征點坐標,以達到求解光學相機內外參數,從而對畸變圖像實現校正的目的。
2)TIRamp;V圖像采集。作物冠層覆蓋、空間分布和光照條件等是影響冠層溫度的主要因素。為分析不同生長條件下作物冠層溫度的差異,采集4種不同特征區域的冠層圖像,在弼猴桃區域設置鏡頭垂直地面拍攝,在葡萄區域設置鏡頭 45° 俯角拍攝。該一體機在溫度 -40%-70° 、濕度小于 95%RH 環境下,可識別 23m 溫度場,視場角為 50°×37.2° ,其中可見光鏡頭為1920像素 ×1080 像素,熱成像鏡頭為320像素 ×240 像素,溫度分辨率為 0.05°C 。由圖6可以看出,兩種作物均為樁栽種植,形成規律的行列,圖中有作物支撐架、藤條、滴灌裝置等地物背景。在戶外真實種植環境下,天氣情況和光照角度會隨時間發生不同程度的變化,在作物葉片表面表現出不同的陰影與色調,可能會導致采集圖像中細節難以區分、圖像形態和顏色發生變化,考慮到環境因素復雜多變,采集弼猴桃與葡萄冠層圖像各100組(一組指可見光及對應紅外熱圖像),包含晴天、陰雨天以及同一天的不同時間段(不同光照強度和角度),以驗證算法魯棒性。
圖6冠層特征區域示例圖像 Fig.6Sample images of characteristic areas in canopies

3)溫度數據獲取。為獲取冠層圖像像素點對應的溫度,根據SDK_Win64V6.1.9.48_build20230410開發包,利用私有網絡通信協議,遠程控制紅外熱相機,在采集圖像的同時截取碼流中攜帶的 160×120 TIR 溫度矩陣。為將本文方法獲取的冠層溫度與真實溫度進行相關性分析,利用手持測溫儀(測溫范圍-
520°C ,精度 ±2°C )獲取冠層實測溫度數據,其測量結果取9個激光點溫度的均值。圍繞試驗冠層區域,進行3次冠層溫度測量并取均值。
1.3 技術方法
1.3.1 參數校正
張氏標定[3能夠有效糾正圖像中的透視畸變和投影變換,有助于實現冠層圖像的幾何校正,對于相機內參和畸變參數尋優,采用粒子群算法[16]。傳統粒子群優化算法易陷入局部最優解,全局尋優能力隨權重變大而增強,但權重取值越小,局部的搜索能力越強,因此,需設置合適的慣性權重數值。在基礎粒子群算法上加入動態慣性權重來控制算法的尋優能力,采用線性遞減權值,并設置適應度函數,提高粒子的全局尋優性能,計算如式(1)和式(2)所示。

式中: Wt 一 動態慣性權重;Wmax 最大權重;Wmin 最小權重;Nitermax 最大迭代次數;Niter 迭代次數。
(20
式中: (x,y) 1 提取的圖像角點坐標,pixel;(x′,y′) 1 投影得到的世界坐標,pixel;m (204號 圖像數量,張;n (204號 單張圖像角點數目,個。
對于采集的標定板圖像,提取標定板的特征點,并進行特征點匹配,尋找多個圖像之間共享的對應點。PSO算法將相機參數表示為粒子群中的每個粒子,初始化粒子的位置和速度,位置代表相機參數的候選解,速度代表粒子在解空間中搜索的方向和速率。根據每個粒子的相機參數,計算適應度函數 F (特征點的重投影誤差),衡量粒子對于標定數據的擬合程度。采用PSO算法中的更新規則,按照當前粒子的位置、速度和適應度值,更新粒子的下一個位置和速度,將多次迭代后的粒子群最優解作為相機最優參數,計算如式(3)和式(4)所示。相機參數校正流程如圖7所示。
Xi,t+1=Xi,t+λ?Vi,t+1 (3)
式中: Xi,t+1 一 粒子下一時刻位置,pixel;Xi,t 一 一粒子當前位置,pixel;λ 一 一加速因子。
c2?rand(gbestt-Xi,t) (20號 (4)
式中: Wt 一 動態慣性權重;Vi,t 1 當前的粒子速度,pixel/s;c1、c2 1 學習因子;Ψpbesti (20 粒子群在第 i 個位置的局部最優位置,pixel;gbestt 一 粒子群第 χt 次迭代的全局最優位置,pixel。1開始 評估適應度F√讀取棋盤格圖像1 更新粒位置Xi,角點檢測 1T 更新慣性權重參數W

1. 3.2 冠層溫度提取方法
1)基于CAO一C2F的冠層圖像配準。針對冠層TIRamp;V圖像間光譜、視點及分辨率存在差異時無法配準的問題,采用基于輪廓特征的CAO一 C2F[14] 自動配準方法對采集的作物冠層TIRamp;V圖像進行配準。基于CAO法為提取描述符提供準確的主方向,以解決TIRamp;V圖像光譜和視點差異問題;利用由粗到精的特征匹配方法,通過全局優化匹配點位置,解決TIRamp;V圖像分辨率差異問題。輸入采集圖像后進行以下操作。(1)圖像預處理,將輸入的TIRamp;V圖像均灰度化,灰度值范圍線性拉伸以增強圖像細節,并把圖像分辨率調整為同一縱向分辨率,橫向分辨率等比調整。(2)通過Canny檢測器提取圖像中的冠層邊緣,再通過遍歷搜索方法獲得邊緣輪廓線,并進行平滑采樣處理。(3)特征點提取,將在輪廓圖像中檢測到的圖像角點作為特征點,在相同長度的采樣鄰域內為每個特征點設置2個輔助特征點,形成特征三角形,將以特征點為頂點的角平分向量的方向指定為該特征點的主方向,角平分矢量的方向為輪廓中線特征主方向,以實現尺度和視角不變性。(4)提取紅外熱圖像和不同采樣尺度下可見光圖像主方向上的尺度不變特征變換(SIFT)描述符,將可見光圖像多組SIFT描述符與紅外熱圖像SIFT分別進行雙邊匹配,根據匹配次數確定可見光圖像采樣尺度,并使用旋轉角度估計與連線一致性匹配方法篩選出正確匹配點,完成粗匹配。(5)將粗匹配特征點像素位置進行全局迭代優化,得到2組精確的點坐標后,利用最小二乘法得到TIRamp;V圖像間的最優投影變換矩陣。CAO—C2F配準方法流程如圖8所示。
2)基于CIELAB—HSV雙色彩空間融合的冠層區域分割。圖像配準結果的可見光圖像中,除作物冠層外還包含多種地物背景,對提取冠層溫度有較大干擾。LAB色彩空間由亮度(L)、綠—紅色度(A)和藍一黃色度 (B)3 個通道組成,在可見光圖像中,作物冠層具有明顯的綠色,地物信息包含其他顏色,利用LAB色彩空間可以將冠層與背景分割開。HSV色彩空間則由色調 (H) 、飽和度(S)和明度(V3個通道組成,由于光照角度、強度不同,作物冠層的色調和飽和度會隨之改變[17,18]。因此,將2種顏色空間轉換方法融合(CIELAB—HSV,以增強冠層的邊緣和紋理特征,并提高不同光照條件下分割冠層區域的準確率,算法流程如圖9所示。

首先,為縮短算法運行時長以滿足實時應用,利用算法并行處理的思想,將配準結果中的可見光圖像(RGB)分別向CIELAB模式和HSV模式轉化,并生成對應掩膜;其次,將2幅掩膜結合,再與原RGB圖像進行按位與操作,得到初步分割處理后的冠層區域圖像;最后,通過中值濾波、腐蝕操作、輪廓篩選操作,去除雜波毛刺、過濾雜草部分,得到最終冠層區域分割結果。
輸人圖像經過上述方法處理后,將冠層區域分割結果通過閾值區分冠層像素與背景像素,冠層像素與背景像素分別用1和0表示。將此二值矩陣與TIR溫度矩陣做點乘運算,即可獲得冠層逐像素溫度,運算過程如式(5)所示。其中二值矩陣是從配準結果圖像二值化結果中提取的 3×3 矩陣,以此為例說明運算過程, a11、a12、…、a33 代表紅外熱圖像中每像素溫度值,對結果矩陣中所有溫度求平均值,即可獲得冠層溫度。
試驗的評價指標采用重投影法[19]計算相機標定誤差,采用均方根誤差RMSE衡量匹配點定位精度以及整個配準算法精度[20]。采用分割精度SA對冠層區域分割精度進行評價, SA 值越大表示算法提取冠層區域越準確。利用決定系數 R2 度量提取冠層溫度與實測冠層溫度的相關性, R2 越接近1,相關性越強。
2 結果與分析
2.1相機參數校正結果分析
通過18張棋盤格標定板角點檢測并提取角點坐標,計算可見光相機的內參矩陣和畸變參數。基于張氏標定法得到的鏡頭參數,設為粒子群優化的初始值,單個粒子表示為
粒子在各個維度設置的上下浮動空間如表1所示,設置粒子群種群數量為70,學習因子 C1=1.5 , C2=0.75 .Wmax=0.8 , Wmin=0.3 ,最大迭代次數為450次。
表1粒子取值范圍Tab.1Value range of particles

迭代后得到的內參數矩陣

畸變參數
D=(-0.427 68,0.165 28,-2.726 2×10-4,
-4.502 5×10-4,7.900 5×10-2)
由圖10可知,弼猴桃區域的作物冠層信息保留較為豐富,地物信息少,鏡頭直拍冠層區域葉片寬度收縮,畸變消除。針對原始圖像中帶有支撐架、行間植被等背景區域,地物特征與邊緣輪廓明顯,校正后多株葡萄冠層輪廓趨于平齊,單株葡萄冠層圖像左側雜草帶與右下鋼纜校正效果明顯。但校正后圖像四周產生新的畸變,并丟失少量圖像信息。例如,在弼猴桃嫩葉冠層區域,可明顯看出左下角鋼纜(矩形框標出)在校正后圖像中比原始圖像中更扭曲;弼猴桃老葉冠層區域右下角葉片少量缺失(矩形框標出);這些圖像四周少量的畸變與信息缺失對于人眼觀測尚不明顯。試驗結果表明,加入粒子群優化算法優化相機參數后,平均重投影為0.0332pixel,與校正平均重投影誤差0.0631pixel相比,降低47.39個百分點,有助于生產者以正常視覺觀測作物生長情況。
圖10圖像校正結果 Fig.10Results after camera's calibration

2.2不同環境下圖像配準結果分析及評價
為驗證不同配準方法對弼猴桃、葡萄作物冠層圖像的配準效果,按圖6特征區域隨機選擇40組圖像,其中20組晴天,20組陰雨天。將這些具有尺度差異的特征區域TIRamp;V圖像,在不調整原圖像分辨率的基礎上,分別采用CAO一C2F、多尺度PIIFD、SIFT和HAPCG4種配準方法進行圖像配準。上述方法都在MATLABR202la下實現,實驗平臺為WindowslOX64操作系統,處理器為Intel(R)Core(TM)i3-6300CPU 3.80GHz ,RAM為 32GB 。
獼猴桃冠層區域的配準結果如圖11所示,其中橫坐標 1~20 組為晴天圖像, 21~40 組為雨天圖像。在配準精度方面,PIIFD方法表現最好,平均RMSE為1.2281pixel,其次為CAO—C2F方法,平均RMSE為1.7132pixel,且這兩種方法在弼猴桃的特征區域配準效果穩定性強。接下來為SIFT與HAPCG,由圖11可知,SIFT方法的RMSE 值高于PIIFD與CAO—C2F,而HAPCG方法在晴天圖像配準中RMSE值波動性極大,在陰天圖像配準中較平穩。實驗過程中發現,SIFT對8O組弼猴桃圖像都不能準確配準,其原因是弼猴桃葉片覆蓋度高,無其他特征物,導致目標區域輪廓不明顯,邊緣灰度變化不強烈,層次感不強,而SIFT對圖像形狀等特征提取是基于梯度信息,所以表現出較差的匹配效果。HAPCG方法的RMSE值波動較大是由于相位一致性配準要求每個像元的灰度值一致,而晴天光照強且照射在葉片上不均勻,灰度值差異大,配準誤差變大,陰雨天圖像由于光照變弱,灰度值趨于相近,配準效果較好。

在算法耗時方面,配準精度表現最好的PIIFD方法耗時遠高于另外3種方法,其平均耗時156.59s,最長耗時達655.97s,由圖11可知,PIIFD方法陰天圖像耗時波動大于晴天圖像,這是由于輸入陰天圖像為弱光拍攝,在紅外熱圖像中冠層與背景溫度差異表現明顯,尋找特征點對數量約為晴天的5倍,因此,陰雨天圖像耗時一般比晴天圖像耗時長,又由于方法中再次對匹配點進行擇優,所以該方法時間成本偏高。其余3種方法耗時從長到短排序為HAPCG、SIFT、CAO一C2F。綜上所述,配準效果較好的是CAO—C2F方法,無論弼猴桃冠層葉片葉齡長短,還是圖像采集天氣晴或陰,都表現出較高的準確性與強穩定性,且時間成本低,平均耗時 3.61s 。
葡萄冠層區域的配準結果如圖12所示,其中橫坐標 1~20 組為晴天圖像, 21~40 組為雨天圖像。在配準精度方面,PIIFD方法配準葡萄冠層圖像平均RMSE值最低,為1.1631pixel,且配準穩定性強;其次為CAO—C2F,平均RMSE為1.5601pixel;最后為HAPCG與SIFT方法。CAO—C2F方法用于多株葡萄冠層配準RMSE值波動性大,是因為與單株葡萄圖像相比,多株葡萄冠層圖像內部包含多株葡萄架與天空、地物等,結構復雜,投影變換過程中一些不重要特征信息影響配準結果,但其配準精度僅次于PIIFD。SIFT方法配準葡萄冠層圖像比配準弼猴桃冠層圖像效果更好,由于葡萄區域水泥樁等特征地物較多,在多株葡萄冠層配準中成功率為 35% ,在單株葡萄冠層配準中成功率為 52.5% 。HAPCG在單株葡萄冠層圖像的表現優秀,樣本中唯一達到高RMSE值的圖像是在太陽落山時,光照極度不均產生的。但HAPCG方法在多株葡萄冠層圖像配準表現一般,由于多株葡萄圖像包含成片的冠層,在光照均勻的情況下有配準成功的可能,但同時包含更多的地物信息,圖像顏色豐富,消減配準成功的可能性。

在算法耗時方面,CAO—C2F方法表現最好且穩定,平均耗時 3.15s 。其次為SIFT方法,平均耗時8.39s 。再次為HAPCG方法,平均耗時 18.08s 。最后是PIIFD方法,平均耗時53.22s,最長耗時為配準多株葡萄冠層圖像,耗時 143.99s 。綜上,為實現冠層圖像的實時精確配準,在弼猴桃與葡萄冠層區域均采用CAO—C2F方法。
2.3 冠層區域提取結果分析及評價
為驗證CIELAB—HSV雙色彩空間融合方法的分割精度,將配準結果中紅外熱圖像分辨率大小的可見光圖像保留,使用CIELAB—HSV、單一的CIELAB、HSV方法以及基于超綠特征的大津法(ExG—Otsu)[21]對冠層區域進行分割,結果如圖13所示。并分別計算分割精度與算法耗時,如表2所示。
由圖13可知,ExG—Otsu對存在陰影部分的冠層區域識別效果不佳,CIELAB可以很好地處理背景區域,但是雜草和冠層區域不能很好地進行分割。HSV可以很好地處理冠層和雜草區域,但是不能夠很好地處理背景區域,并且雜波較多。CIELAB—HSV可將冠層區域保留得相對完整,且可以處理與冠層區域相近的其他影響因素,與對照算法相比,可以獲得更加完整的冠層區域。
由表2可知,晴天拍攝冠層圖像的分割精度均高于雨天冠層圖像分割精度,天氣環境對冠層圖像的分割有一定影響,可能是由于雨天光線減弱、顏色信息受到干擾導致分割精度有所下降。試驗結果表明,CIELAB—HSV方法對4種特征區域分割精度最高,在2種天氣環境下,對4種特征區域的平均分割精度SA分別為 89.33%.92.89%.94.34%.86.14% ,平均耗時 Tr 較未使用并行處理算法降低 44.14% 、13.54%.11.27%.7.88% ,實時有效地完成冠層區域圖像提取。
圖13冠層區域提取結果 Fig.13Result of canopy area extraction

表2冠層提取算法精度和耗時 Tab.2 Accuracy and time-consuming of canopyextractionalgorithm

綜上,實驗已分別驗證了CAO—C2F與CIELAB—HSV同時適用于獼猴桃與葡萄冠層圖像的配準和分割。CAO一C2F與經典對比算法相比,配準和分割質量最優、耗時最少,受作物葉齡和天氣情況影響最小;CIELAB—HSV在不同天氣條件下分割精度最高,耗時小于單一CIELAB與HSV疊加方法。因此,選用CAO—C2F和CIELAB—HSV相結合的冠層溫度提取方法,在適用性和實時性方面具有優勢。
2.4冠層溫度提取結果分析與評價
為驗證不同算法與特征區域對冠層溫度提取結果的影響,使用4種冠層提取算法分別對同一時刻的4種特征區域進行溫度提取,此時試驗站內大氣氣溫為 32.12°C 。利用無重復雙因素分析法,對4種冠層提取算法與冠層特征區域進行分析,結果如表3所示。在算法維度上, F(6,10)=0.628,P=0.615 ,說明4種冠層區域提取算法獲取的冠層溫度值差異不大,各算法結果具有一致性。同時,在特征區域維度上,F(6,10)=4039.459,P=2.14×10-14?0.01 ,說明不同特征區域之間的冠層溫度差異性明顯。
表3無重復雙因素分析表 Tab.3Analysis of double factorswithout repetitions

注:SS為平方和; df 為自由度;MS為均方; F 為2種因素方差的比值; P 表示顯著性;
為臨界值。
為驗證冠層溫度提取方法的有效性,根據目前園區已有的弼猴桃、葡萄作物進行冠層溫度提取。對4種特征區域共100對樣本進行試驗,將提取冠層溫度與實測冠層溫度的相關程度進行分析,結果如圖14所示。基于改進的CIELAB—HSV算法提取冠層區域得到的冠層溫度與地面實測值相關性最高0 R2=0.9525 ),其次是CIELAB算法 (R2=0.928 9) ,再次是HSV( R2=0.9047) ,最后是ExG—Otsu?R2=0.891 3) 。改進的CIELAB—HSV算法能夠較好地提取出弼猴桃與葡萄冠層區域,并獲得更加精確的冠層溫度。

3結論
1)針對農業示范園區弼猴桃和葡萄生長數據獲取分析的需求,結合機器人控制技術與傳感器技術,設計一種園區智能巡檢機器人。采用軌道滑觸供電方式,集成數據采集設備,實現機器人遠程控制與全天候作物生長數據實時采集,為實時提取作物冠層溫度提供硬件設備基礎。
2)針對園區作物冠層溫度難以實時準確提取的問題,在智能巡檢機器人的基礎上引入圖像處理算法,基于CAO一C2F配準方法與改進的雙色彩空間融合(CIELAB一HSV方法,精準提取冠層區域,提出一種同時適用于弼猴桃和葡萄區域的冠層溫度實時提取的方法。結果表明,改進的CIELAB—HSV方法能夠更加精確地提取冠層區域,從而使提取的冠層溫度與地面實測溫度決定系數 R2 高達0.9525,均高于CIELAB(R2=0.928 9 )、HSV ?R2=0.9047? 以及ExG-Otsu(R2=0.891 3) 。且CIELAB—HSV方法平均耗時0.15s ,與CAO—C2F結合平均耗時可滿足機器人巡檢過程中實時獲取冠層溫度的需要,為農業生產中作物冠層溫度的實時獲取和分析提供技術支持。
參考文獻
[1]張軍華,沈楷程,陳丹艷,等.基于物聯網的日光溫室冠層特征溫度時空變化規律分析[J].農業機械學報,2021,52(7): 335-342.Zhang Junhua, Shen Kaicheng,Chen Danyan,et al.Spatio-temporalvariationofcanopycharacteristictemperature in solar greenhouse [J].Transactions of theChinese Society for Agricultural Machinery,2021,52(7):335-342.
[2]Marta Chiesi,LucaAngeli,PieroBattista,etal.Monitoring and analysis of crop irrigation dynamics in CentralItalythroughthe use ofMODISNDVI data[J].European Journal of Remote Sensing,2022,55(1): 23-36.
[3] Zhang Z. A flexible new technique for camera calibration [J].IEEETransactionson PatternAnalysisandMachineIntelligence,2000,22(11):1330—1334.
[4] Sun P, Zhou F, Wang L, etal. Anovel globalcamera calibration method based on flexible multidirectionaltarget[J]. IEEE Transactionson Instrumentationand Measurement,2023,72:5017513.
[5] Zhang H,Huo J, YangF,etal. Aflexiblecalibration method for large-range binocular vision systembased on state transformation [J].Optics andLaserTechnology,2023,164:109546.
[6]Guo J,Zhu Y,Wang J,et al.Research on cameracalibrationoptimizationmethodbased on improvedsparrow search algorithm [J]. Journal of ElectronicImaging,2023,32(1):13040.
[7]秦瑞康,楊月全,李福東,等.基于全參數自適應變異粒子群算法的單目相機標定[J].東南大學學報(自然科學版),2017,47(S1):193—198.Qin Ruikang, Yang Yuequan, Li Fudong, etal.Monocular camera calibration based on particleswarm algorithm with all parameter adaptivemutation mechanism [J]. Journal of Southeast University(Natural Science Edition),2017,47(S1):193—198.
[8]張貴陽,霍炬,楊明,等.基于雙更新策略加權差分進化粒子群的雙目相機標定[J].紅外與激光工程,2021,50(4):176-186.
[9]Gao S,Guan H, Ma X, et al. Soybean canopyextractionmethodbasedonmultispectral imageprocessing [J]. Spectroscopy and Spectral Analysis,2022,42(11):3568-3574.
[10]WangL,Zhao P,Chu N,etal.Ahierarchical bayesianfusion method of infrared and visible imagesfortemperaturemonitoringofhigh-speeddirect-driveblower[J]. IEEE Sensors Journal,2022,22(19):18815—18830.
[11]Liu M,Guan H,Ma X,et al. Recognition methodofthermal infrared images ofplant canopies basedonthecharacteristicregistrationofheterogeneousimages[J].Computers and Electronics in Agriculture,2020,177:105678.
[12]馬曉丹,劉夢,關海鷗,等.基于熱紅外圖像處理技術的農作物冠層識別方法研究[J].光譜學與光譜分析,2021,41(1):216-222.
[13]MengL,ZhouJ,LiuS,etal.Arobustregistration method for UAV thermal infrared andvisible images taken by dual-cameras [J]. ISPRS Journalof Photogrammetry and Remote Sensing,2022,192:189—214.
[14]JiangQ,Liu Y,Yan Y,et al.Acontour angleorientation for power equipment infrared and visibleimage registration [J]. IEEE Transactions on PowerDelivery,2021,36(4):2559-2569.
[15]Steven Macenski,Tully Foote,Brian Gerkey,etal.Robot operating system 2:Design, architecture,anduses in the wild[J].Science Robotics,2022,7(66):6074.
[16]徐呈藝,劉英,肖軼,等.基于改進粒子群算法的相機內參優化方法[J].激光與光電子學進展,2020,57(4):338-344.XuChengyi, Liu Ying, Xiao Yi, etal.Optimization method for camera intrinsic parametersbased on improved particle swarm algorithm [J]. Laser amp;.OptoelectronicsProgress,2020,57(4):338-344.
[17]李天華,孫萌,丁小明,等.基于YOLOv4十HSV的成熟期番茄識別方法[J].農業工程學報,2021,37(21):183—190.LiTianhua, SunMeng, DingXiaoming, etal.Tomato recognition method at the ripening stage based onYOLOv4 and HSV [J]. Transactions of the Chinese SocietyofAgriculturalEngineering,2021,37(21):183—190.
[18]曹英麗,林明童,郭忠輝,等.基于Lab顏色空間的非監督GMM水稻無人機圖像分割[J].農業機械學報,2021,52(1):162—169.Cao Yingli,Lin Mingtong, Guo Zhonghui,etal.UnsupervisedGMMforricesegmentationwithUAVimages based on lab color space[J]. Transactionsof the Chinese Society for Agricultural Machinery,2021,52(1):162—169.
[19]楊守瑞,段婉瑩,艾文宇,等.光場相機建模與畸變校正改進方法[J].紅外與激光工程,2023,52(1):239-247.
[20]周煜博,劉立群.基于EM—PCNN的果園蘋果異源圖像配準方法[J].農業工程學報,2022,38(5):175—183.Zhou Yubo,Liu Liqun.Heterologoussources imagesintheapple orchard registration method using EM—PCNN[J]. Transactions of the Chinese Society ofAgriculturalEngineering,2022,38(5):175—183.
[21] Luo Z,Yang W,Yuan Y,et al. Semantic segmentationofagricultural images:A survey [J].InformationProcessing in Agriculture,2023:1-15.