李龍杰 史勇 劉彥岑 郭俊先



摘要:為提高植物葉綠素檢測設備的普遍性和實用性,通過研究手機和單片機拍攝的RGB圖像與植物葉片葉綠素含量有無擬合關系,以圖像處理的方式進行葉綠素預測的相關試驗,為將來基于深度學習的植物葉綠素動態(tài)無損檢測提供試驗依據(jù)。通過OpenCV對圖像提取感興趣區(qū)域(RoI),并進行均值濾波、高斯濾波和中值濾波,對原圖和三種濾波后的圖像進行三通道顏色特征分離,利用最小二乘法(LS)將顏色特征參數(shù)的多種組合與葉綠素實測值進行擬合分析,發(fā)現(xiàn)4種圖像中均值濾波的擬合效果都普遍較好。在均值濾波中,手機K40拍攝的圖像存在(B-G-R)/(B+G)特征組合與葉片葉綠素擬合決定系數(shù)為0.912。單片機ESP32_CAM拍攝的圖像存在(G-B)B/(R+G)特征組合與葉片葉綠素擬合決定系數(shù)為0.778。運用梯度運算將均值濾波的RoI進行迭代處理,發(fā)現(xiàn)K40的決定系數(shù)略微下降,ESP32_CAM的決定系數(shù)出現(xiàn)好轉。通過對K40與ESP32_CAM進行預測模型驗證,兩者都表現(xiàn)為隨機森林(RF)回歸模型的性能最好,在K40中訓練集決定系數(shù)為0.953、訓練集均方根誤差為1.161,預測集決定系數(shù)為0.930、預測集均方根誤差為1.516,在ESP32_CAM中訓練集決定系數(shù)為0.794、訓練集均方根誤差為2.510,預測集決定系數(shù)為0.695、預測集均方根誤差為2.985。
關鍵詞:哈密瓜;葉綠素;RGB圖像;圖像識別;回歸預測
中圖分類號:S126
文獻標識碼:A
文章編號:2095-5553 (2024) 06-0149-07
收稿日期:2022年10月13日
修回日期:2023年2月20日
*基金項目:國家自然科學基金面上項目(61367001);新疆維吾爾自治區(qū)教育廳自然科學重點項目(XJEDU2020I009)
第一作者:李龍杰,男,1996年生,四川內江人,碩士研究生;研究方向為農業(yè)電氣化與自動化。E-mail: lidelongjie@163.com
通訊作者:郭俊先,男,1975年生,新疆巴里坤人,博士,教授;研究方向為農產品無損檢測。E-mail: junxianguo@163.com
Research on predicting Hami melon leaf chlorophyll based on RGB image processing
Li Longjie1, Shi Yong1, 2, Liu Yancen1, 2, Guo Junxian1, 2
(1. College of Electrical and Mechanical Engineering, Xinjiang Agricultural University, Urumqi, 830052, China;2. Xinjiang Key Laboratory of Intelligent Agricultural Equipment, Urumqi, 830052, China)
Abstract: In order to improve the universality and practicality of plant chlorophyll detection equipment, this study investigates whether there is a fitting relationship between RGB images captured by mobile phones and microcontrollers and the chlorophyll content of plant leaves. The purpose is to determine the relevant experiments that can predict chlorophyll through image processing, providing experimental basis for future dynamic non-destructive detection of plant chlorophyll based on deep learning. By using OpenCV to extract the region of interest (RoI) from the image and applying mean filtering, Gaussian filtering, and median filtering, the original image and the three filtered images are subjected to three-channel color feature separation. The least squares method (LS) is used to perform fitting analysis on various combinations of color feature parameters and measured chlorophyll values. It is found that the fitting effect of mean filtering is generally better among the four types of images. In mean filtering, the image captured by the mobile phone K40 has a feature combination of (B-G-R)/(B+G) with a coefficient of determination of 0.912 for fitting the leaf chlorophyll. The image captured by the microcontroller ESP32_CAM has a feature combination of (G-B)B/(R+G) with a coefficient of determination of 0.778 for fitting the leaf chlorophyll. By applying gradient operation to iteratively process the RoI of mean filtering, it is found that the coefficient of determination of K40 slightly decreases, while the coefficient of determination of ESP32_CAM improves. Through the verification of prediction models for K40 and ESP32_CAM, both show that the random forest (RF) regression model performs the best. In K40, the coefficient of determination for the training set is 0.953, the root mean square error for the training set is 1.161, the coefficient of determination for the prediction set is 0.930, and the root mean square error for the prediction set is 1.516. In ESP32_CAM, the coefficient of determination for the training set is 0.794, the root mean square error for the training set is 2.510, the coefficient of determination for the prediction set is 0.695, and the root mean square error for the prediction set is 2.985.
Keywords: Hami melon; Chlorophyll; RGB image; image recognition; regression forecasting
0 引言
葉綠素是植物進行光合作用得到必要生長能量的主要因素之一,葉片中的SPAD含量與植物的生長情況、光合作用、蒸騰速度和莖流速度都有著直接的關系,能夠快速有效地獲取植物SPAD含量,可以為植物的精準健康管理提供有價值的信息[1, 2]。通過拍攝植物生長情況的電子圖像,分別對其進行分割、去噪等處理,利用RGB的特征值與葉綠素實際含量值判斷相關性和建立預測模型,從而反演出葉綠素的預測值[3-5]。
目前,相關學者在利用RGB圖像預測植物葉綠素方面積累了一定的成果和經驗。李修華等[6]提出了一種智能手機結合輔助拍照裝置獲取植物葉片RGB圖像并及時檢測葉綠素含量的低成本方法。李麗等[7]研究表明,通過分析后發(fā)現(xiàn)選用的RGB模型適用于無損、高精確的測定葉片葉綠素含量。宋一帆等[8]研究表明,基于RGB色彩空間構建SPAD估算模型,可以快速、無損地預測葉片葉綠素含量。孫紅等[9]研究表明,建立基于冠層圖像的作物SPAD值檢測模型與分布圖,可為作物的營養(yǎng)動態(tài)快速分析與分布檢測提供依據(jù)。程立真等[10]研究表明,應用數(shù)碼相機基于RGB顏色模型可快速估測蘋果葉片葉綠素含量。曲怡鈴等[11]研究表明,結合統(tǒng)計方法和無人機RGB影像建立了毛竹相對葉綠素反演模型,可以精準反演毛竹相對葉綠素含量,為動態(tài)監(jiān)測毛竹葉綠素含量提供了可行的方法。張慧春等[12]研究表明,基于YOLOv5目標檢測模型識別出植物主枝冠層區(qū)域,得到葉綠素含量冠層分布的最佳估測模型并進行可視化,可實現(xiàn)植物苗期生長的監(jiān)測與植物長勢的快速評判,為氮脅迫早期診斷和氮肥科學施加提供技術指導。楊愛萍等[13]研究表明,RGB顏色空間和HSV顏色空間均與水稻葉片的SPAD值有極顯著的相關關系。
鑒于此,本文對不同生長時期的哈密瓜植株開展葉綠素預測的試驗研究。通過圖像特征組合與實測葉綠素含量存在的顏色特征關系,進一步驗證通過RGB圖像能夠預測葉綠素含量的可行性。
1 材料與方法
1.1 葉片圖像采集輔助裝置
環(huán)境光線對圖像拍攝質量影響很大,因此設計了一個具有穩(wěn)定可控光源的封閉型圖像采集箱(簡稱“采集箱”),結構如圖1所示。采集箱長寬為40 cm,高度為45 cm。以門為正方向,在頂端兩側內部安裝燈頭面朝下的LED光源裝置,通過專業(yè)型照度計TES 1339測得拍攝區(qū)域(底座中心位置)照度為735LX,中心處預留兩個4 cm×4 cm的方形拍攝孔,兩孔間距4 cm,采集箱內部5面為白色反光材料,底座為黑色材料。用手持葉綠素儀采集葉片葉綠素后將葉片置于拍攝區(qū)域,拍攝時Redmi K40和ESP32_CAM兩設備緊貼拍攝孔位置進行同時拍攝。
1.2 葉片圖像采集設備
在手機和單片機方面各選取一款作為圖像采集設備,分別是手機Redmi K40(下文簡稱K40)和單片機ESP32_CAM。將手持葉綠素儀測得葉綠素后的葉片迅速放入采集箱中,通過兩種圖像采集設備進行拍攝標記儲存,K40使用專業(yè)拍攝模式,選用4 800萬像素攝像頭進行拍攝,其他設置參數(shù)為:F:F/1.79,WB:AUTO,ISO:800,EV:0。ESP32_CAM選用OV2640模組200萬像素攝像頭進行拍攝,其他設置參數(shù),運行頻率:240 MHz,圖像存儲方式:WiFi無線通信本地局域網圖像服務器存儲。
兩種設備選擇分析:(1)選用K40拍攝的圖像進行葉綠素預測,為將來快速無損預測植物葉綠素開發(fā)手機APP或小程序提供試驗參考依據(jù)。優(yōu)點:手機使用者廣泛,性能高,方便攜帶,以K40拍攝的圖像進行葉綠素預測為基礎,開發(fā)手機APP或小程序能夠實現(xiàn)人人都能檢測植物葉綠素。缺點:價格高,如果試驗面積過大,會出現(xiàn)投入成本高或試驗進度緩慢等情況。(2)選用ESP32_CAM拍攝的圖像進行葉綠素預測,為將來實現(xiàn)遠程自動化檢測植物葉綠素的實時變化趨勢,對其判斷植物的生成情況進行預測分析提供試驗參考依據(jù)。優(yōu)點:價格極低,可以大規(guī)模投入試驗大田,大棚等試驗場地使用,用于長時間檢測植物生長情況,圖像可以本地SD內存卡和無線WiFi與服務器通信兩種方式存儲,功耗低。缺點:目前只支持OV2640和OV5640兩種攝像頭。
兩種拍攝設備的攝像頭像素不同,從而導致拍攝的圖像大小也存在差異,考慮到提取RGB三通道特征值后都是取平均參數(shù),故此進行如下操作,首先利用Python語言和OpenCV對利用采集箱拍攝的圖像進行預處理,按照指定區(qū)域(去除葉片以外綠色物體和其他雜物,同一設備截圖的區(qū)域相同,圖像大小不固定)批量截取圖片,再運用1.4節(jié)的圖像處理方式,提取RoI圖像,最后提取RGB三通道。
1.3 葉片數(shù)據(jù)采集
試驗地點:新疆智能農業(yè)裝備重點實驗室,試驗時間:2022年6月30日,當日下午17:00到17:30完成葉片葉綠素含量讀取和葉片拍攝工作。試驗隨機采集無明顯病蟲害、顏色均勻的幼苗期(5株)、開花期(5株)、結果期(5株)中不同長勢的哈密瓜植株葉片(一株8個葉片,共120樣本葉片),使用托普云農TYS-B B10手持葉綠素儀進行葉片葉綠素測定,采集時避開粗大的莖脈對每一葉片進行五點采集,取均值作為該葉片的葉綠素含量,葉綠素SPAD值的分布情況如圖2所示,最后將采集葉綠素后的葉片迅速置于采集箱中進行拍攝標記存儲。
1.4 葉片顏色特征自動提取
本文通過Python 語言與OpenCV結合,設計一種可以自動提取葉片顏色特征參數(shù)的圖像處理方法,該方法主要功能:提取拍攝圖像中葉片的感興趣區(qū)域(Region of Interest,RoI)、對RoI進行平滑處理、圖像大小處理和顏色特征參數(shù)分離。圖像特征參數(shù)分離流程如圖3所示。
1) RoI提取的流程:按照指定區(qū)域批量截取圖片,去除圖像中不需要考慮的部分。使用2G-R-B的方法進行圖像Otsu二值化,再與截取圖像進行位與運算,從而去除背景。
2) 平滑處理流程:對RoI分別進行均值濾波、高斯濾波和中值濾波。
3) 顏色特征參數(shù)分離流程:通過split將RoI圖進行RGB三通道參數(shù)分離,去除數(shù)組中含零的值,在通過mean對每一通道求取均值作為該圖像的RGB顏色特征值。
1.5 模型評估
預測模型的性能評估對判斷模型的性能和穩(wěn)定性至關重要,對預測模型性能的好壞和預測結果精度起著決定性作用。通常使用訓練集決定系數(shù)(Rc2)、預測集決定系數(shù)(Rp2)、訓練集均方根誤差(RMSEC)和預測集均方根誤差(RMSEP)作為評估模型性能的依據(jù)。Rc2和Rp2的值越高,說明預測建模效果越好,RMSEC和RMSEP的值越低,說明預測模型越穩(wěn)定。計算如式(1)~式(4)所示。
Rc2=∑nci=1(Ypi-Yi)2/∑nci=1(Ypi-Y)2(1)
Rp2=∑npi=1(Ypi-Yi)2/∑npi=1(Ypi-Y)2(2)
RMSEC=1nc∑nci=1(Ypi-Yi)2(3)
RMSEP=1np∑npi=1(Ypi-Yi)2(4)
式中:Ypi——第i個葉片葉綠素的預測值;
Yi——第i個葉片葉綠素的實測值;
Y——對應模型集中的葉片葉綠素的平均值;
nc——訓練集中的計算數(shù)量;
np——預測集中的計算數(shù)量。
2 結果與分析
2.1 葉片圖像處理分析
圖像處理采用Python語言與OpenCV的協(xié)同工作模式,通過預先對截取的原始圖像進行RGB三通道分離,利用特征值2G-R-B計算的結果選取最大值和最小值,用于圖像Otsu二值化,再與截取的原始圖像進行位與運算,從而獲得感興趣區(qū)域圖像,如圖4所示,該方式不僅原理簡單,代碼量少,低配計算機也能輕松駕馭,此外,在去除圖像背景方面效果顯著,為植物葉片葉綠素分析提供了高效途徑。
將幼苗期、開花期和結果期去除背景的RoI原始圖像進行均值濾波、高斯濾波和中值濾波操作后,分別對四種RoI圖像提取RGB三通道特征值,各顏色特征值組合如表1所示。
對各顏色特征值組合與實測葉綠素SPAD含量進行相關性分析,發(fā)現(xiàn)K40拍攝的圖像最敏感特征組合為(B-G-R)/(B+G),線性回歸方程的決定系數(shù)R2為0.912,ESP32_CAM拍攝的圖像最敏感特征組合為(G-B)B/(R+G),線性回歸方程的決定系數(shù)R2為0.778,相關性如表2所示。通過分析可以看出,無論是K40還是ESP32_CAM,RoI原始圖像和平滑處理后的圖像,R2值都在均值濾波中效果最佳。在決定系數(shù)中,兩設備表現(xiàn)出較大的精度差異,K40的R2均值比ESP32_CAM的R2均值高0.1以上,說明擬合效果受拍
攝像素和設備性能的影響。從相關性的擬合度來看,K40的擬合效果較好,ESP32_CAM的擬合效果次之。
2.2 顏色特征與SPAD的相關性分析
考慮到去除背景后的RoI圖像可能還存在黑色背景區(qū)域有非葉片的綠色噪點,并且葉片邊緣區(qū)域由于光照等環(huán)境因素導致該區(qū)域處于偏白色,這可能會影響到試驗的準確性,因此對均值濾波后的RoI圖像進行二次處理,將得到的二值圖像進行3次梯度運算,梯度=膨脹-腐蝕,在膨脹操作中,迭代次數(shù)均為0,在腐蝕運算中,迭代次數(shù)分別為3、6、9,共3種,迭代運算中矩形框大小為3像素×3像素,將梯度運算迭代的二值圖像分別與原均值濾波RoI圖像進行位與運算,以達到去除背景噪聲和葉片邊緣噪聲的效果。
分別對原始和梯度運算后的均值濾波RoI圖像提取RGB三通道特征值,K40和ESP32_CAM分別選用28種特征值組合,用于再次與葉綠素實測值進行相關性分析判斷,通過分析發(fā)現(xiàn),依舊有不少特征值組合與葉綠素含量存在較強的相關性,K40均值濾波RoI圖像最敏感特征組合為(B-G-R)/(B+G),ESP32_CAM梯度運算迭代9次的均值濾波圖像最敏感特征組合為(G-B)B/(R+G),K40線性回歸方程的決定系數(shù)略微下降,ESP32_CAM線性回歸方程的決定系數(shù)出現(xiàn)好轉。運用LS對K40與ESP32_CAM梯度運算特征參數(shù)與實測SPAD進行數(shù)據(jù)處理后如圖5~圖10所示。考慮到代碼的復用性,選用R2總和最大的作為預測模型的輸入。故此,K40選用原始均值濾波RoI圖像(迭代次數(shù)0次)特征值作為預測模型的輸入,ESP32_CAM選用迭代次數(shù)9次的均值濾波RoI圖像特征值作為預測模型的輸入。
2.3 模型驗證
將幼苗期、開花期和結果期三個階段的數(shù)據(jù),通過預處理得到最優(yōu)特征組合數(shù)據(jù)作為預測模型的輸入,以7∶3的劃分方式,將輸入的數(shù)據(jù)集分為訓練集與預測集兩個部分,通過不同的模型處理方法對葉綠素含量進行預測對比研究。如表3所示,在K40葉綠素預測模型中,對多個預測模型進行性能評估,得出隨機森林(RF)回歸模型預測性能最好,穩(wěn)定性最佳,訓練集決定系數(shù)Rc2=0.953、訓練集均方根誤差RMSEC=1.161,預測集決定系數(shù)Rp2=0.930、預測集均方根誤差RMSEP=1.516。同理,在ESP32_CAM葉綠素預測模型中,RF回歸模型預測性能最好,穩(wěn)定性最佳,訓練集決定系數(shù)Rc2=0.794、訓練集均方根誤差RMSEC=2.510,預測集決定系數(shù)Rp2=0.695、預測集均方根誤差RMSEP=2.985,各模型預測效果如圖11、圖12所示。
3 結論
該試驗以數(shù)字圖像分析處理為基礎,設計出能夠提供穩(wěn)定光源和相同拍攝距離的密閉拍攝環(huán)境進行兩種設備的拍攝工作,通過對圖像的顏色特征參數(shù)組合與葉綠素含量之間是否具有相關性展開研究。
1) 運用Python語言對原圖進行特征參數(shù)分離,以2G-R-B方式對圖像進行Otsu二值化,將圖像背景去除,然后再對RoI進行圖像平滑處理,最后對均值濾波后的RoI圖像進行梯度運算,對葉片邊界部分和圖像中的噪點進行迭代腐蝕,發(fā)現(xiàn)K40線性回歸方程的決定系數(shù)略微下降,ESP32_CAM線性回歸方程的決定系數(shù)出現(xiàn)好轉,通過數(shù)據(jù)的擬合分析進行數(shù)據(jù)降維,選用決定系數(shù)最佳的特征值數(shù)據(jù)作為預測模型的數(shù)據(jù)集。
2) 通過對兩種設備拍攝的圖像進行研究分析,發(fā)現(xiàn)兩種設備拍攝的圖像都可對葉綠素含量進行有效的預測,在這兩種設備中,K40訓練集決定系數(shù)Rc2=0.953、訓練集均方根誤差RMSEC=1.161,預測集決定系數(shù)Rp2=0.930、預測集均方根誤差RMSEP=1.516,在ESP32_CAM中訓練集決定系數(shù)Rc2=0.794、訓練集均方根誤差RMSEC=2.510,預測集決定系數(shù)Rp2=0.695、預測集均方根誤差RMSEP=2.985。
3) 對兩種拍攝設備進行分析,K40攜帶方便、實用性強和擴展性高等優(yōu)點,為將來快速無損預測植物葉綠素開發(fā)手機APP或小程序提供試驗參考依據(jù)。ESP32_CAM的價格極低,性價比極高,其預測效果也相當理想,可以大規(guī)模投入試驗大田、大棚等試驗場地使用,用于長時間檢測植物生長情況,為將來實現(xiàn)遠程自動化檢測植物葉綠素的實時變化趨勢,對其判斷植物的生成情況進行預測分析提供試驗參考依據(jù)。
參 考 文 獻
[1]Mielke M S, Lobo L S, da Costa G S, et al. Predictions of chlorophyll concentrations in the leaves of seedlings of two congeneric tropical trees from RGB digital image components [J]. Southern Forests: A Journal of Forest Science, 2021, 83(2): 177-184.
[2]Mendoza-Tafolla R O, Ontiveros-Capurata R E, Juarez-Lopez P, et al. Nitrogen and chlorophyll status in romaine lettuce using spectral indices from RGB digital images [J]. Zemdirbyste-Agriculture, 2021, 108(1).
[3]Milagres C C, Fontes P C R, Abreu J A A, et al. Plant growth stage and leaf part to diagnose sweet corn nitrogen status using chlorophyll sensor and scanner image analysis [J]. Journal of Plant Nutrition, 2021, 44(18): 2783-2792.
[4]Guo Y, Yin G, Sun H, et al. Scaling effects on chlorophyll content estimations with RGB camera mounted on a UAV platform using machine-learning methods [J]. Sensors, 2020, 20(18): 5130.
[5]do Amaral, Elizabeth S S, Daniela V D A, et al. Relationships between reflectance and absorbance chlorophyll indices with RGB (Red, Green, Blue) image components in seedlings of tropical tree species at nursery stage [J]. New Forests, 2019, 50: 377-388.
[6]李修華, 盧顯杰, 奚金陽, 等. 智能手機RGB圖像檢測植物葉片葉綠素含量的通用方法[J]. 農業(yè)工程學報, 2021, 37(22): 145-151.
Li Xiuhua, Lu Xianjie, Xi Jinyang, et al. Universal method to detect the chlorophyll content in plant leaves with RGB images captured by smart phones [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(22): 145-151.
[7]李麗, 程靈. 基于RGB模型建立快速檢測番茄葉片葉綠素含量的方法[J]. 分子植物育種, 2021, 19(20): 6906-6909.
Li Li, Cheng Ling. A method for rapid detection of chlorophyll content in tomato leaves based on RGB model [J]. Molecular Plant Breeding, 2021, 19(20): 6906-6909.
[8]宋一帆, 張武, 姚雨晴, 等. 基于RGB模型的大豆葉片葉綠素含量預測[J]. 江漢大學學報(自然科學版), 2020, 48(1): 65-72.
Song Yifan, Zhang Wu, Yao Yuqing, et al. Estimation of Chlorophyll content in soybean leaves based on RGB model [J]. Journal of Jianghan University (Natural Science Edition), 2020, 48(1): 65-72.
[9]孫紅, 邢子正, 喬浪, 等. 基于光飽和影響校正的作物葉綠素分布光譜成像檢測[J]. 光譜學與光譜分析, 2019, 39(12): 3897-3903.
Sun Hong, Xing Zizheng, Qiao Lang, et al. Spectral imaging detection of crop chlorophyll distribution based on optical saturation effect correction [J]. Spectroscopy and Spectral Analysis, 2019, 39(12): 3897-3903.
[10]程立真, 朱西存, 高璐璐, 等. 基于RGB模型的蘋果葉片葉綠素含量估測[J]. 園藝學報, 2017, 44(2): 381-390.
Cheng Lizhen, Zhu Xicun,Gao Lulu, et al. Estimation of chlorophyll content in apple leaves based on RGB model using digital camera [J]. Acta Horticulturae Sinica, 2017, 44(2): 381-390.
[11]曲怡鈴, 唐燕, 周忠生, 等. 基于無人機可見光影像的毛竹相對葉綠素含量反演研究[J]. 江西農業(yè)大學學報, 2022, 44(1): 139-150.
Qu Yiling, Tang Yan, Zhou Zhongsheng, et al. Study on model simulation of relative chlorophyll content of Moso bamboo based on UAV visible light image [J]. Acta Agriculturae Universitatis Jiangxiensis, 2022, 44(1): 139-150.
[12]張慧春, 張萌, 邊黎明, 等. 基于YOLO v5的植物葉綠素含量估測與可視化技術[J]. 農業(yè)機械學報, 2022, 53(4): 313-321.
Zhang Huichun, Zhang Meng, Bian Liming, et al. Estimation and visualization of chlorophyll content in plant based on YOLO v5 [J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(4): 313-321.
[13]楊愛萍, 張坤, 段里成, 等. 基于RGB與HSV顏色空間的水稻齊穗后葉片SPAD值估測方法研究[J]. 江西農業(yè)學報, 2019, 31(8): 106-112.
Yang Aiping, Zhang Kun, Duan Licheng, et al. Estimation method for SPAD value of rice leaves after full heading based on RGB and HSV color space [J]. Acta Agriculturae Jiangxi, 2019, 31(8): 106-112.